So stellen Sie Python-Crawler-Skripte unter Linux bereit und richten geplante Aufgaben ein

So stellen Sie Python-Crawler-Skripte unter Linux bereit und richten geplante Aufgaben ein

Letztes Jahr habe ich aufgrund von Projektanforderungen einen Crawler in Python geschrieben. Die gecrawlten Daten müssen in der PG-Datenbank der Produktionsumgebung gespeichert werden. Daher müssen Sie das Skript auf dem CentOS-Server bereitstellen und eine geplante Aufgabe einrichten, um das Skript automatisch zu starten.

Die Implementierungsschritte sind wie folgt:

1. Installieren Sie pip (das Betriebssystem wird mit Python 2.6 geliefert, das direkt verwendet werden kann, aber es gibt kein pip).

# Laden Sie das Pip-Installationspaket herunter wget "https://pypi.python.org/packages/source/p/pip/pip-1.5.4.tar.gz#md5=834b2904f92d46aaa333267fb1c922bb" --no-check-certificate
# Entpacken Sie das Installationspaket und installieren Sie tar -xzvf pip-1.5.4.tar.gz
cd pip-1.5.4
python setup.py installieren

2. Installieren Sie Bibliotheken von Drittanbietern mit pip

pip install PyGreSQL==5.0.3
pip-Installationsanforderungen == 2.18.3

3. Geplante Aufgaben einrichten

# Starten Sie den geplanten Task-Dienst service crond start
# Zeigen Sie den Dienststatus der geplanten Aufgabe an. Dienst-Crond-Status
# Öffnen Sie das Bearbeitungsfenster für geplante Aufgaben crontab -e 
# Fügen Sie zwei geplante Aufgaben hinzu, die jeden Tag einmal um 0:00 und 12:20 ausgeführt und in das Protokoll geschrieben werden 0 0 * * * /usr/bin/python /home/longrise/psrd/collect.py > /home/longrise/psrd/collect.log 2>&1 &

20 12 * * * /usr/bin/python /home/longrise/psrd/collect.py > /home/longrise/psrd/collect.log 2>&1 &

Die Syntax für geplante Aufgaben lautet wie folgt:
# Weitere Einzelheiten finden Sie unter man 4 crontabs

# Beispiel einer Jobdefinition:
# .---------------- Minute (0 - 59)
# | .------------- Stunde (0 - 23)
# | | .---------- Tag des Monats (1 - 31)
# | | | .------- Monat (1 – 12) ODER Jan., Feb., März, Apr. …
# | | | | .---- Wochentag (0 - 6) (Sonntag=0 oder 7) ODER So, Mo, Di, Mi, Do, Fr, Sa
# | | | | |
# * * * * * Benutzername-Befehl, der ausgeführt werden soll

Die oben beschriebene Methode zum Bereitstellen von Python-Crawler-Skripten unter Linux und zum Festlegen geplanter Aufgaben ist der gesamte Inhalt, den der Editor mit Ihnen teilt. Ich hoffe, dass er Ihnen als Referenz dienen kann. Ich hoffe auch, dass Sie 123WORDPRESS.COM unterstützen.

Das könnte Sie auch interessieren:
  • Jenkins-Konfigurations-Python-Skript-Timing-Task-Prozessdiagramm
  • Python BlockingScheduler-Timing-Aufgaben und andere Implementierungen
  • So verwenden Sie APScheduler, ein Python-Tool für zeitgesteuerte Aufgaben
  • Python geplante Aufgabe APScheduler Beispiel Beispiel detaillierte Erklärung
  • Mehrere gängige Methoden für geplante Python-Crawler-Aufgaben (empfohlen)

<<:  Detaillierte Erläuterung der Gründe für die Trennung von JS WebSocket und des Heartbeat-Mechanismus

>>:  Detaillierte Erläuterung der Methoden zur Überprüfung und Verwaltung von MySQL-Benutzerrechten

Artikel empfehlen

Unterschiede zwischen Windows Server 2008R2, 2012, 2016 und 2019

Inhaltsverzeichnis Allgemeine Versionseinführung ...

MySQL fügt automatisch Millionen simulierter Datenoperationscodes ein

Ich verwende Navicat als Datenbanktool. Andere si...

Anwendung zur Verarbeitung von HTML-Tag-Überläufen

Verwenden Sie CSS, um Bildlaufleisten zu ändern 1...

SQL zur Implementierung der Wiederherstellung einer Zeitreihenversetzung

Inhaltsverzeichnis 1. Anforderungsbeschreibung 2....

Detaillierter Prozess zum Upgrade von gcc (Version 10.2.0) in der CentOS7-Umgebung

Inhaltsverzeichnis Kurze Einleitung 1. Überprüfen...

Was macht der legendäre VUE-Syntax-Sugar?

Inhaltsverzeichnis 1. Was ist syntaktischer Zucke...

So verbergen und entfernen Sie Bildlaufleisten in HTML

1. HTML-Tags mit Attributen XML/HTML-CodeInhalt i...

Reines CSS, um coole Neonlichteffekte zu erzielen (mit Demo)

Ich habe kürzlich die Tutorial-Reihe zu CSS-Anima...

Detaillierte Zusammenfassung von MySQL und verbindungsbezogenen Timeouts

MySQL und verbindungsbezogene Timeouts Vorwort: H...

Installieren Sie MySQL offline mit RPM unter CentOS 6.4

Verwenden Sie das RPM-Installationspaket, um MySQ...