Detaillierte Einführung in Robots.txt
|
Robots.txt ist eine reine Textdatei, in der Website-Administratoren Teile der Website angeben können, auf die Roboter nicht zugreifen sollen, oder festlegen können, dass Suchmaschinen nur bestimmte Inhalte indizieren. Grundlegende Einführung in robots.txt Robots.txt ist eine reine Textdatei, in der Website-Administratoren Teile der Website angeben können, auf die Roboter nicht zugreifen sollen, oder festlegen können, dass Suchmaschinen nur bestimmte Inhalte indizieren. Wenn ein Suchroboter (manchmal auch Suchspider genannt) eine Site besucht, prüft er zunächst, ob im Stammverzeichnis der Site eine robots.txt-Datei vorhanden ist. Wenn dies der Fall ist, bestimmt der Suchroboter den Zugriffsbereich anhand des Inhalts der Datei. Wenn die Datei nicht vorhanden ist, durchsucht der Suchroboter den Link. Darüber hinaus muss robots.txt im Stammverzeichnis einer Site abgelegt werden und der Dateiname muss vollständig aus Kleinbuchstaben bestehen. Syntax zum Schreiben von Robots.txt <br />Sehen wir uns zunächst ein Beispiel für Robots.txt an: http://www.csswebs.org/robots.txt Besuchen Sie die oben angegebene Adresse. Wir können den spezifischen Inhalt von robots.txt wie folgt sehen: # Robots.txt-Datei von http://www.csswebs.org # Alle Roboter durchsuchen die Domain Benutzeragent: * Nicht zulassen: Der obige Text bedeutet, dass alle Suchroboter auf alle Dateien auf der Site www.csswebs.org zugreifen dürfen. Spezifische Syntaxanalyse: Der Text nach # ist eine erklärende Information; Auf User-agent: folgt der Name des Suchroboters. Folgt darauf ein *, bezieht es sich auf alle Suchroboter; Auf Disallow: folgt das Dateiverzeichnis, auf das nicht zugegriffen werden darf. Nachfolgend werde ich einige spezifische Verwendungsmöglichkeiten von robots.txt auflisten: Allen Robotern den Zugriff erlauben Benutzeragent: * Nicht zulassen: Oder Sie können eine leere Datei "/robots.txt" erstellen Blockieren Sie den Zugriff aller Suchmaschinen auf Teile der Website Benutzeragent: * Nicht zulassen: / Blockieren Sie den Zugriff aller Suchmaschinen auf bestimmte Bereiche der Site (Verzeichnisse 01, 02, 03 im folgenden Beispiel). Benutzeragent: * Nicht zulassen: /01/ Nicht zulassen: /02/ Nicht zulassen: /03/ Blockieren Sie den Zugriff auf eine Suchmaschine (BadBot im Beispiel unten). Benutzeragent: BadBot Nicht zulassen: / Nur Zugriff von einer bestimmten Suchmaschine zulassen (Crawler im Beispiel unten) Benutzeragent: Crawler Nicht zulassen: Benutzeragent: * Nicht zulassen: / Darüber hinaus halte ich es für notwendig, dies zu erweitern und Roboter-Meta einzuführen: Der Robots-META-Tag zielt hauptsächlich auf bestimmte Seiten ab. Wie andere META-Tags (z. B. die verwendete Sprache, Seitenbeschreibung, Schlüsselwörter usw.) wird auch der Robots-META-Tag im <head> </head> der Seite platziert und dient speziell dazu, den Suchmaschinen-ROBOTS mitzuteilen, wie sie den Inhalt der Seite crawlen sollen. So schreiben Sie den Robots-META-Tag: Im Robots-META-Tag wird nicht zwischen Groß- und Kleinschreibung unterschieden. name="Robots" steht für alle Suchmaschinen und kann für eine bestimmte Suchmaschine als name="BaiduSpider" geschrieben werden. Der Inhaltsteil hat vier Befehlsoptionen: index, noindex, follow und nofollow. Die Befehle sind durch "," getrennt. Die INDEX-Direktive weist den Suchroboter an, die Seite zu crawlen. Die FOLLOW-Anweisung gibt an, dass der Suchroboter weiterhin die Links auf der Seite durchsuchen kann. Die Standardwerte für das Robots-Meta-Tag sind INDEX und FOLLOW, mit Ausnahme von inktomi, für das der Standardwert INDEX, NOFOLLOW ist. Es gibt also vier Kombinationen: ＜META NAME=”ROBOTS” INHALT=”INDEX,FOLLOW”＞ <META NAME="ROBOTS" INHALT="NOINDEX,FOLLOW"> ＜META NAME=”ROBOTS” INHALT=”INDEX,NOFOLLOW”＞ <META NAME="ROBOTS" INHALT="NOINDEX,NOFOLLOW"> Darunter kann <META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”> als <META NAME=”ROBOTS” CONTENT=”ALL”> geschrieben werden; <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"> kann geschrieben werden als <META NAME="ROBOTS" CONTENT="NONE"> Derzeit scheint sich die überwiegende Mehrheit der Suchmaschinenroboter an die Regeln von robots.txt zu halten. Was das Robots-META-Tag betrifft, gibt es derzeit nicht viel Unterstützung, aber die Unterstützung nimmt allmählich zu. Beispielsweise unterstützt die bekannte Suchmaschine GOOGLE es vollständig und GOOGLE hat außerdem einen Befehl „Archiv“ hinzugefügt, mit dem eingeschränkt werden kann, ob GOOGLE Schnappschüsse von Webseiten beibehält. Zum Beispiel: ＜META NAME=”googlebot” INHALT=”index,follow,noarchive”＞ |
>>: Sechs Methoden zur Nginx-Optimierung
Artikel empfehlen
Installationsprozess von VMware vCenter 6.7 (grafisches Tutorial)
Hintergrund Ursprünglich wollte ich ein 6.7 Vcent...
Vant+postcss-pxtorem implementiert Browser-Anpassungsfunktion
Rem-Layout-Anpassung Die Stile in Vant verwenden ...
W3C Tutorial (16): Weitere W3C Aktivitäten
Dieser Abschnitt bietet einen Überblick über eini...
Installieren Sie Tomcat auf dem Linux-System und konfigurieren Sie den Start und das Herunterfahren des Dienstes
Konfigurieren des Startens und Herunterfahrens vo...
Eine kurze Einführung in die Verwendung des Dezimaltyps in MySQL
Die in MySQL unterstützten Gleitkommatypen sind F...
So richten Sie das Terminal so ein, dass Anwendungen nach dem Start von Ubuntu ausgeführt werden
1. Geben Sie „Start“ in die Menüleiste ein und kl...
So visualisieren Sie skizzierte Diagramme in Vue.js mit RoughViz
einführen Ein Diagramm ist eine grafische Darstel...
Detaillierte Erklärung von react setState
Inhaltsverzeichnis Ist setState synchron oder asy...
Grafisches Tutorial zur Installation und Konfiguration komprimierter Pakete für MySQL 5.7.24
In diesem Artikel finden Sie das Installations-Tu...
Informationen zur Installationsmethode für MySQL 8.0.13-ZIP-Pakete
MySQL 8.0.13 verfügt standardmäßig über einen Dat...
Lassen Sie uns über das Problem der Vue-Integration der SweetAlert2-Eingabeaufforderungskomponente sprechen
Inhaltsverzeichnis 1. Projektintegration 1. CDN-I...
Vue implementiert scrollbaren Popup-Fenstereffekt
In diesem Artikel wird der spezifische Code von V...
Implementierung der Anmeldeseite des tatsächlichen Kampfprotokolls von Vue
Inhaltsverzeichnis 1. Vorbereitende Maßnahmen 1.1...
Zusammenfassung häufiger Probleme und Anwendungskenntnisse in MySQL
Vorwort Bei der täglichen Entwicklung oder Wartun...
Probleme und Vorsichtsmaßnahmen beim Festlegen von maxPostSize für Tomcat
1. Warum maxPostSize festlegen? Der Tomcat-Contai...