Grundlegende Verwendung des Befehls wget unter Linux

Vorwort

Linux wget ist ein Tool zum Herunterladen von Dateien, das in der Kommandozeile verwendet wird. Es ist ein unverzichtbares Tool für Linux-Benutzer, insbesondere für Netzwerkadministratoren, die häufig Software herunterladen oder Backups von Remote-Servern auf lokalen Servern wiederherstellen müssen.

Wenn wir einen virtuellen Host verwenden, können wir zur Abwicklung solcher Transaktionen die Daten zunächst nur vom Remote-Server auf die Festplatte unseres Computers herunterladen und sie dann mit dem FTP-Tool auf den Server hochladen. Dies ist eine Verschwendung von Zeit und Energie. Sie können nichts dagegen tun.

Mit Linux VPS kann es ohne den Upload-Schritt direkt auf den Server heruntergeladen werden. Das Tool wget ist klein, verfügt aber über alle Funktionen. Es unterstützt Breakpoint-Downloads, FTP- und HTTP-Downloadmethoden, Proxyserver und ist einfach einzurichten.

Nachfolgend erläutern wir anhand eines Beispiels die Verwendung von wget.

1. Laden Sie eine einzelne Datei mit wget herunter

Das folgende Beispiel lädt eine Datei vom Netzwerk herunter und speichert sie im aktuellen Verzeichnis

wget http://cn.wordpress.org/wordpress-3.1-zh_CN.zip

Während des Downloadvorgangs wird ein Fortschrittsbalken mit Informationen zum Abschluss des Downloads in Prozent, heruntergeladenen Bytes, der aktuellen Downloadgeschwindigkeit und der verbleibenden Downloadzeit angezeigt.

2. Mit wget -O herunterladen und unter anderem Dateinamen speichern

Standardmäßig verwendet wget das letzte Zeichen nach dem "/" als Befehl und der Dateiname zum Herunterladen dynamischer Links ist normalerweise falsch.

Fehler: Das folgende Beispiel lädt eine Datei herunter und speichert sie unter dem Namen download.php?id=1080

wget http://www.centos.bz/download?id=1

Obwohl die heruntergeladene Datei im ZIP-Format vorliegt, beginnt sie dennoch mit dem Befehl download.php?id=1080 .

Richtig: Um dies zu beheben, können wir den Parameter -O verwenden, um einen Dateinamen anzugeben:

wget -O wordpress.zip http://www.centos.bz/download.php?id=1080

3. Verwenden Sie wget –limit -rate, um die Download-Geschwindigkeit zu begrenzen

Wenn Sie wget ausführen, wird standardmäßig die gesamte mögliche Bandbreite zum Herunterladen genutzt. Wenn Sie jedoch eine große Datei herunterladen und auch andere Dateien herunterladen müssen, ist es notwendig, die Geschwindigkeit zu begrenzen.

wget –limit-rate=300k http://cn.wordpress.org/wordpress-3.1-zh_CN.zip

4. Verwenden Sie wget -c, um den Download fortzusetzen

Verwenden Sie wget -c, um einen unterbrochenen Download neu zu starten:

wget -c http://cn.wordpress.org/wordpress-3.1-zh_CN.zip

Für uns ist es sehr hilfreich, große Dateien herunterzuladen, die aufgrund von Netzwerkproblemen oder anderen Gründen plötzlich unterbrochen werden. Wir können mit dem Herunterladen fortfahren, anstatt eine Datei erneut herunterzuladen. Mit dem Parameter -c können Sie einen unterbrochenen Download fortsetzen.

5. Verwenden Sie wget -b zum Herunterladen im Hintergrund

Beim Herunterladen sehr großer Dateien können wir den Parameter -b verwenden, um den Download im Hintergrund durchzuführen.

wget -b http://cn.wordpress.org/wordpress-3.1-zh_CN.zip

Fortsetzung im Hintergrund, PID 1840.

Die Ausgabe wird in „wget-log“ geschrieben.

Mit dem folgenden Befehl können Sie den Download-Fortschritt überprüfen:

tail -f wget-log

6. Download unter getarntem Proxy-Namen

Einige Websites können Ihre Download-Anforderung ablehnen, da sie davon ausgehen, dass es sich bei dem Proxy-Namen nicht um einen Browser handelt. Sie können es jedoch durch die Verwendung des Parameters --user-agent verschleiern.

wget –user-agent="Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, wie Gecko) Chrome/10.0.648.204 Safari/534.16" Download-Link

7. Verwenden Sie wget –spider, um den Download-Link zu testen

Wenn Sie Downloads planen, sollten Sie testen, ob der Download-Link zum geplanten Zeitpunkt gültig ist. Zur Überprüfung können wir den Parameter --spider hinzufügen.

wget –spider URL

Wenn der Download-Link korrekt ist, wird er angezeigt

wget –spider URL
Spider-Modus aktiviert. Überprüfen Sie, ob eine Remote-Datei vorhanden ist.
HTTP-Anfrage gesendet, warte auf Antwort… 200 OK
Länge: nicht angegeben [text/html]
Remote-Datei existiert und könnte weitere Links enthalten,
aber die Rekursion ist deaktiviert – kein Abrufen.

Dadurch wird sichergestellt, dass der Download zum geplanten Zeitpunkt ausgeführt wird. Wenn Sie jedoch einen falschen Link angeben, wird der folgende Fehler angezeigt

wget –Spider-URL
Spider-Modus aktiviert. Überprüfen Sie, ob eine Remote-Datei vorhanden ist.
HTTP-Anfrage gesendet, warte auf Antwort… 404 Nicht gefunden
Remote-Datei existiert nicht – defekter Link!!!

Sie können Spider-Parameter in den folgenden Situationen verwenden:

Vor dem geplanten Download prüfen

Intervallerkennung der Website-Verfügbarkeit

Überprüfen Sie die Webseiten auf tote Links

8. Verwenden Sie wget –tries, um die Anzahl der Wiederholungsversuche zu erhöhen

Der Download kann auch fehlschlagen, wenn ein Problem mit dem Netzwerk vorliegt oder es sich beim Download um eine große Datei handelt. Standardmäßig unternimmt wget 20 neue Verbindungsversuche und unternimmt den Download von Dateien. Bei Bedarf können Sie die Anzahl der Wiederholungsversuche mit --tries erhöhen.

wget –tries=40 URL

9. Laden Sie mehrere Dateien mit wget -i herunter

Speichern Sie zunächst eine Download-Link-Datei

cat > dateiliste.txt
URL1
URL2
URL3
URL4

Verwenden Sie dann diese Datei und den Parameter -i zum Herunterladen

wget -i dateiliste.txt

10. Verwenden Sie wget –mirror, um die Website zu spiegeln

Das folgende Beispiel lädt die gesamte Website auf den lokalen Computer herunter.

wget –mirror -p –convert-links -P ./LOKALE URL

–miror: Konto eröffnen Mirror-Download -p: alle Dateien herunterladen, um HTML-Seiten normal anzuzeigen –convert-links: nach dem Herunterladen in lokale Links umwandeln -P ./LOCAL: alle Dateien und Verzeichnisse im angegebenen lokalen Verzeichnis speichern

11. Verwenden Sie wget –reject, um den Download im angegebenen Format zu filtern

Sie möchten eine Website herunterladen, aber keine Bilder. Dann können Sie den folgenden Befehl verwenden.

wget –reject=gif-URL

12. Verwenden Sie wget -o, um Download-Informationen in einer Protokolldatei zu speichern

Wenn Sie die Download-Informationen nicht direkt im Terminal, sondern in einer Protokolldatei anzeigen möchten, können Sie den folgenden Befehl verwenden:

wget -o download.log-URL

13. Verwenden Sie wget -Q, um die Gesamtgröße der Downloaddatei zu begrenzen

Wenn die Größe der herunterzuladenden Datei 5 MB überschreitet und Sie den Download beenden möchten, können Sie den folgenden Befehl verwenden:

wget -Q5m -i dateiliste.txt

Hinweis: Dieser Parameter funktioniert nicht beim Herunterladen einzelner Dateien, sondern nur beim rekursiven Download.

14. Verwenden Sie wget -r -A, um Dateien im angegebenen Format herunterzuladen

Diese Funktion kann in den folgenden Situationen verwendet werden

Alle Bilder von einer Website herunterladen

Alle Videos von einer Website herunterladen

Laden Sie alle PDF-Dateien von einer Website herunter

wget -r -A.pdf-URL

15. Download per FTP mit wget

Sie können wget zum Herunterladen von FTP-Links verwenden.

匿名FTP-Download mit wget

wget FTP-URL

FTP-Download mit Wget-Benutzernamen- und Kennwortauthentifizierung

wget –ftp-user=BENUTZERNAME –ftp-password=PASSWORT URL

Dies ist das Ende dieses Artikels über die grundlegende Verwendung des wget-Befehls unter Linux. Weitere relevante Inhalte zum wget-Befehl unter Linux finden Sie in den vorherigen Artikeln von 123WORDPRESS.COM oder in den folgenden verwandten Artikeln. Ich hoffe, dass jeder 123WORDPRESS.COM in Zukunft unterstützen wird!