Detaillierte Einführung in Robots.txt
|
Robots.txt ist eine reine Textdatei, in der Website-Administratoren Teile der Website angeben können, auf die Roboter nicht zugreifen sollen, oder festlegen können, dass Suchmaschinen nur bestimmte Inhalte indizieren. Grundlegende Einführung in robots.txt Robots.txt ist eine reine Textdatei, in der Website-Administratoren Teile der Website angeben können, auf die Roboter nicht zugreifen sollen, oder festlegen können, dass Suchmaschinen nur bestimmte Inhalte indizieren. Wenn ein Suchroboter (manchmal auch Suchspider genannt) eine Site besucht, prüft er zunächst, ob im Stammverzeichnis der Site eine robots.txt-Datei vorhanden ist. Wenn dies der Fall ist, bestimmt der Suchroboter den Zugriffsbereich anhand des Inhalts der Datei. Wenn die Datei nicht vorhanden ist, durchsucht der Suchroboter den Link. Darüber hinaus muss robots.txt im Stammverzeichnis einer Site abgelegt werden und der Dateiname muss vollständig aus Kleinbuchstaben bestehen. Syntax zum Schreiben von Robots.txt <br />Sehen wir uns zunächst ein Beispiel für Robots.txt an: http://www.csswebs.org/robots.txt Besuchen Sie die oben angegebene Adresse. Wir können den spezifischen Inhalt von robots.txt wie folgt sehen: # Robots.txt-Datei von http://www.csswebs.org # Alle Roboter durchsuchen die Domain Benutzeragent: * Nicht zulassen: Der obige Text bedeutet, dass alle Suchroboter auf alle Dateien auf der Site www.csswebs.org zugreifen dürfen. Spezifische Syntaxanalyse: Der Text nach # ist eine erklärende Information; Auf User-agent: folgt der Name des Suchroboters. Folgt darauf ein *, bezieht es sich auf alle Suchroboter; Auf Disallow: folgt das Dateiverzeichnis, auf das nicht zugegriffen werden darf. Nachfolgend werde ich einige spezifische Verwendungsmöglichkeiten von robots.txt auflisten: Allen Robotern den Zugriff erlauben Benutzeragent: * Nicht zulassen: Oder Sie können eine leere Datei "/robots.txt" erstellen Blockieren Sie den Zugriff aller Suchmaschinen auf Teile der Website Benutzeragent: * Nicht zulassen: / Blockieren Sie den Zugriff aller Suchmaschinen auf bestimmte Bereiche der Site (Verzeichnisse 01, 02, 03 im folgenden Beispiel). Benutzeragent: * Nicht zulassen: /01/ Nicht zulassen: /02/ Nicht zulassen: /03/ Blockieren Sie den Zugriff auf eine Suchmaschine (BadBot im Beispiel unten). Benutzeragent: BadBot Nicht zulassen: / Nur Zugriff von einer bestimmten Suchmaschine zulassen (Crawler im Beispiel unten) Benutzeragent: Crawler Nicht zulassen: Benutzeragent: * Nicht zulassen: / Darüber hinaus halte ich es für notwendig, dies zu erweitern und Roboter-Meta einzuführen: Der Robots-META-Tag zielt hauptsächlich auf bestimmte Seiten ab. Wie andere META-Tags (z. B. die verwendete Sprache, Seitenbeschreibung, Schlüsselwörter usw.) wird auch der Robots-META-Tag im <head> </head> der Seite platziert und dient speziell dazu, den Suchmaschinen-ROBOTS mitzuteilen, wie sie den Inhalt der Seite crawlen sollen. So schreiben Sie den Robots-META-Tag: Im Robots-META-Tag wird nicht zwischen Groß- und Kleinschreibung unterschieden. name="Robots" steht für alle Suchmaschinen und kann für eine bestimmte Suchmaschine als name="BaiduSpider" geschrieben werden. Der Inhaltsteil hat vier Befehlsoptionen: index, noindex, follow und nofollow. Die Befehle sind durch "," getrennt. Die INDEX-Direktive weist den Suchroboter an, die Seite zu crawlen. Die FOLLOW-Anweisung gibt an, dass der Suchroboter weiterhin die Links auf der Seite durchsuchen kann. Die Standardwerte für das Robots-Meta-Tag sind INDEX und FOLLOW, mit Ausnahme von inktomi, für das der Standardwert INDEX, NOFOLLOW ist. Es gibt also vier Kombinationen: ＜META NAME=”ROBOTS” INHALT=”INDEX,FOLLOW”＞ <META NAME="ROBOTS" INHALT="NOINDEX,FOLLOW"> ＜META NAME=”ROBOTS” INHALT=”INDEX,NOFOLLOW”＞ <META NAME="ROBOTS" INHALT="NOINDEX,NOFOLLOW"> Darunter kann <META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”> als <META NAME=”ROBOTS” CONTENT=”ALL”> geschrieben werden; <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"> kann geschrieben werden als <META NAME="ROBOTS" CONTENT="NONE"> Derzeit scheint sich die überwiegende Mehrheit der Suchmaschinenroboter an die Regeln von robots.txt zu halten. Was das Robots-META-Tag betrifft, gibt es derzeit nicht viel Unterstützung, aber die Unterstützung nimmt allmählich zu. Beispielsweise unterstützt die bekannte Suchmaschine GOOGLE es vollständig und GOOGLE hat außerdem einen Befehl „Archiv“ hinzugefügt, mit dem eingeschränkt werden kann, ob GOOGLE Schnappschüsse von Webseiten beibehält. Zum Beispiel: ＜META NAME=”googlebot” INHALT=”index,follow,noarchive”＞ |
>>: Sechs Methoden zur Nginx-Optimierung
Artikel empfehlen
Ein Beispiel für die schnelle Bereitstellung von Webanwendungen mit Tomcat in Docker
Nachdem wir die grundlegenden Vorgänge von Docker...
Google Translate Tool: Mehrsprachige Webseiten schnell umsetzen
Google China hat ein Übersetzungstool veröffentlic...
Zehn wichtige Fragen zum Erlernen der Grundlagen von Javascript
Inhaltsverzeichnis 1. Was ist Javascript? 2. Was ...
js implementiert eine Formularvalidierungsfunktion
In diesem Artikelbeispiel wird der spezifische Co...
JS, CSS und HTML zur Implementierung der Registrierungsseite
Eine mit HTML und CSS implementierte Registrierun...
Vue-Implementierungsbeispiel mit Google Recaptcha-Verifizierung
In unserem aktuellen Projekt müssen wir die Googl...
Zusammenfassung des Speicherorts und Tipps für Docker-Konfigurationscontainer
Tipps zur Verwendung von Docker 1. Bereinigen Sie...
Lassen Sie uns ausführlich über bitweise Operationen im React-Quellcode sprechen
Inhaltsverzeichnis Vorwort Mehrere gängige Bitope...
Analyse der HTTP-Dienstschritte auf einer virtuellen VMware-Maschine
1. Verwenden Sie xshell, um eine Verbindung mit d...
CentOS 7.2 erstellt einen Nginx-Webserver zum Bereitstellen des Uniapp-Projekts
Panther begann als Anfänger und ich bin immer noc...
Die Verbindung zwischen JavaScript und TypeScript
Inhaltsverzeichnis 1. Was ist JavaScript? 2. Wofü...
Implementierungsbeispiel für die Angabe der Container-IP beim Erstellen eines Containers in Docker
Wenn Docker einen Container erstellt, verwendet e...
Nginx Reverse Proxy Springboot JAR-Paket-Prozessanalyse
Die übliche Methode zum Bereitstellen eines Sprin...
WeChat-Applet implementiert SMS-Login in Aktion
Inhaltsverzeichnis 1. Vorschau der Schnittstellen...
Mysql SQL-Anweisungsvorgang zum Hinzufügen oder Ändern des Primärschlüssels
Tabellenfelder hinzufügen alter table table1 add ...