Einführung in die Bereitstellung des Selenium-Crawler-Programms unter Linux

Einführung in die Bereitstellung des Selenium-Crawler-Programms unter Linux

Vorwort

Ich muss das Selenium-Crawler-Programm für die Arbeit auf dem Linux-Server bereitstellen. Ich möchte dies mit Ihnen teilen. Wenn Sie interessiert sind, können Sie einen Blick darauf werfen.


1. Was ist Selen?

Selenium ist ein Tool zum Testen von Webanwendungen. Selenium-Tests werden direkt im Browser ausgeführt, genau wie bei echten Benutzern, und Crawler verwenden sie, um einige von js dynamisch geladene Daten zu crawlen

2. Nutzungsschritte

1. Bibliothek importieren

Der Code lautet wie folgt

von selenium.webdriver Chrome importieren
von selenium.webdriver.chrome.service importiere Service
from selenium.webdriver.chrome.options import Options # Verwenden Sie einen Headless-Browser from selenium.webdriver import ChromeOptions
chrome_options = Optionen()
Optionen = ChromeOptions()
options.add_experimental_option('excludeSwitches', ['enable-automation']) # => Entfernen Sie den Browser, der von der automatisierten Testsoftware gesteuert wird options.add_experimental_option('useAutomationExtension', False)
chrome_options.add_argument("--headless") # => Headless-Modus für Chrome konfigurieren chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--disable-dev-shm-usage')

2. Testcode

Der Code lautet wie folgt:

s = Dienst(r"/home/Treiber/Chromedriver")
Treiber = Chrome(
     Dienst=s, Optionen=Chrome_Optionen
 )
 Treiber.get("https://www.baidu.com")
 drucken(diiver.title)

3. Bereitstellungsverfahren

1. Installieren Sie Chrome

Der Befehl lautet wie folgt:

yum installiere https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm
Überprüfen Sie die Version von Chrome: google-chrome --version

2. Chromedriver installieren

Der Befehl lautet wie folgt:

Laden Sie die Chromedriver-Treiberadresse entsprechend der entsprechenden Chrome-Version herunter: https://npm.taobao.org/mirrors/chromedriver
Meine Versionsnummer ist: 96.0.4664.45
wget https://npm.taobao.org/mirrors/chromedriver/96.0.4664.45/chromedriver_linux64.zip 
yum install -y entpacken zip
unzip chromedriver_linux64.zip # Entpacken Sie die Zip-Datei mkdir driver #Erstellen Sie einen neuen Ordner zum Speichern des Treibers chmod 777 driver/chromedriver # Dies ist die Berechtigung. Ich gebe ihr hier 777

3. Führen Sie den Testcode aus

Erstellen Sie eine neue test.py-Datei

vi test.py 

Bildbeschreibung hier einfügen

Speichern Sie test.py und führen Sie es aus.

Bildbeschreibung hier einfügen

Vor diesem Hintergrund ist meine Anfrage erfolgreich.

Zusammenfassen

Dies ist das Ende dieses Artikels über die Bereitstellung des Selenium-Crawler-Programms unter Linux. Weitere relevante Inhalte zum Linux-Selenium-Crawler-Programm finden Sie in früheren Artikeln von 123WORDPRESS.COM oder in den verwandten Artikeln weiter unten. Ich hoffe, Sie werden 123WORDPRESS.COM auch in Zukunft unterstützen!

Das könnte Sie auch interessieren:
  • Konfigurieren Sie eine Selenium-Umgebung basierend auf Linux und implementieren Sie den Betrieb

<<:  Der Unterschied zwischen Animation und Übergang

>>:  Grundlegende MySQL-Grundlagen: Gruppierungsfunktion, Aggregatfunktion, Gruppierungsabfrage – ausführliche Erklärung

Artikel empfehlen

jQuery+Ajax zum Erreichen eines einfachen Paging-Effekts

In diesem Artikel wird der spezifische Code von j...

JavaScript zum Implementieren eines Dropdown-Listenauswahlfelds

In diesem Artikelbeispiel wird der spezifische Ja...

Detaillierte Erklärung des Übergangsattributs einer einfachen CSS-Animation

1. Verständnis der Übergangsattribute 1. Das Über...

So aktivieren Sie die MySQL-Remoteverbindung auf einem Linux-Server

Vorwort Lernen Sie MySQL, um frühere Nicht-MK-Dat...

MySQL Master-Slave-Prinzip und Konfigurationsdetails

MySQL Master-Slave-Konfiguration und Prinzip, zu ...

Detaillierte Erläuterung der Verwendung von MySQL Explain (Analyseindex)

EXPLAIN zeigt, wie MySQL Indizes verwendet, um Au...

So stellen Sie mit C++ eine Verbindung zu MySQL her

C++ stellt zu Ihrer Information eine Verbindung z...

CSS fügt Scroll zu Div hinzu und verbirgt die Bildlaufleiste

CSS fügt dem div Scrollen hinzu und verbirgt die ...

Detaillierte Erläuterung des Zahlungsfunktionscodes des Vue-Projekts

1. Alipay-Methode: Alipay-Methode: Klicken Sie zu...

Nginx-Zugriffssteuerungs- und Parameteroptimierungsmethoden

Globale Nginx-Variablen Es gibt viele globale Var...

Zen Coding Einfaches und schnelles HTML-Schreiben

Zen-Codierung Es ist ein Texteditor-Plugin. In ei...