So stellen Sie Python-Crawler-Skripte unter Linux bereit und richten geplante Aufgaben ein

So stellen Sie Python-Crawler-Skripte unter Linux bereit und richten geplante Aufgaben ein

Letztes Jahr habe ich aufgrund von Projektanforderungen einen Crawler in Python geschrieben. Die gecrawlten Daten müssen in der PG-Datenbank der Produktionsumgebung gespeichert werden. Daher müssen Sie das Skript auf dem CentOS-Server bereitstellen und eine geplante Aufgabe einrichten, um das Skript automatisch zu starten.

Die Implementierungsschritte sind wie folgt:

1. Installieren Sie pip (das Betriebssystem wird mit Python 2.6 geliefert, das direkt verwendet werden kann, aber es gibt kein pip).

# Laden Sie das Pip-Installationspaket herunter wget "https://pypi.python.org/packages/source/p/pip/pip-1.5.4.tar.gz#md5=834b2904f92d46aaa333267fb1c922bb" --no-check-certificate
# Entpacken Sie das Installationspaket und installieren Sie tar -xzvf pip-1.5.4.tar.gz
cd pip-1.5.4
python setup.py installieren

2. Installieren Sie Bibliotheken von Drittanbietern mit pip

pip install PyGreSQL==5.0.3
pip-Installationsanforderungen == 2.18.3

3. Geplante Aufgaben einrichten

# Starten Sie den geplanten Task-Dienst service crond start
# Zeigen Sie den Dienststatus der geplanten Aufgabe an. Dienst-Crond-Status
# Öffnen Sie das Bearbeitungsfenster für geplante Aufgaben crontab -e 
# Fügen Sie zwei geplante Aufgaben hinzu, die jeden Tag einmal um 0:00 und 12:20 ausgeführt und in das Protokoll geschrieben werden 0 0 * * * /usr/bin/python /home/longrise/psrd/collect.py > /home/longrise/psrd/collect.log 2>&1 &

20 12 * * * /usr/bin/python /home/longrise/psrd/collect.py > /home/longrise/psrd/collect.log 2>&1 &

Die Syntax für geplante Aufgaben lautet wie folgt:
# Weitere Einzelheiten finden Sie unter man 4 crontabs

# Beispiel einer Jobdefinition:
# .---------------- Minute (0 - 59)
# | .------------- Stunde (0 - 23)
# | | .---------- Tag des Monats (1 - 31)
# | | | .------- Monat (1 – 12) ODER Jan., Feb., März, Apr. …
# | | | | .---- Wochentag (0 - 6) (Sonntag=0 oder 7) ODER So, Mo, Di, Mi, Do, Fr, Sa
# | | | | |
# * * * * * Benutzername-Befehl, der ausgeführt werden soll

Die oben beschriebene Methode zum Bereitstellen von Python-Crawler-Skripten unter Linux und zum Festlegen geplanter Aufgaben ist der gesamte Inhalt, den der Editor mit Ihnen teilt. Ich hoffe, dass er Ihnen als Referenz dienen kann. Ich hoffe auch, dass Sie 123WORDPRESS.COM unterstützen.

Das könnte Sie auch interessieren:
  • Jenkins-Konfigurations-Python-Skript-Timing-Task-Prozessdiagramm
  • Python BlockingScheduler-Timing-Aufgaben und andere Implementierungen
  • So verwenden Sie APScheduler, ein Python-Tool für zeitgesteuerte Aufgaben
  • Python geplante Aufgabe APScheduler Beispiel Beispiel detaillierte Erklärung
  • Mehrere gängige Methoden für geplante Python-Crawler-Aufgaben (empfohlen)

<<:  Detaillierte Erläuterung der Gründe für die Trennung von JS WebSocket und des Heartbeat-Mechanismus

>>:  Detaillierte Erläuterung der Methoden zur Überprüfung und Verwaltung von MySQL-Benutzerrechten

Artikel empfehlen

CSS-Implementierungscode für mehrstufige Menüs

Dies ist eine ziemlich coole Funktion, die Websei...

MySQL-Triggerprinzip und Analyse von Anwendungsbeispielen

Dieser Artikel erläutert anhand von Beispielen di...

Zusammenfassung der Berechtigungsprobleme bei gespeicherten MySQL-Prozeduren

Ja, gespeicherte MySQL-Prozeduren scheinen sehr s...

Bootstrap realisiert den Karusselleffekt

In diesem Artikel wird der spezifische Code von B...

Detailliertes Tutorial zum Upgrade von Zabbix Monitoring 4.4 auf 5.0

1. Zabbix-Backup [root@iZ2zeapnvuohe8p14289u6Z /]...

Detaillierte Erläuterung der Verwaltung und Verwendung von Docker Secrets

1. Was ist Docker Secret 1. Szenariodarstellung W...

Docker löscht private Bibliotheksbilder vollständig

Werfen wir zunächst einen Blick auf die allgemein...

So implementieren Sie Funktions-Currying und -Decurrying in Javascript

Funktion Currying (schwarzes Fragezeichen)? ? ? C...