wake-up-neo.net

Kann ich Google aufrufen, um meine robots.txt zu überprüfen?

Ich habe die Antworten in dieser Frage gelesen, aber sie lassen meine Frage immer noch offen: Zwischenspeichert Google robots.txt?

Ich habe in den Google Webmaster-Tools keine Möglichkeit gefunden, einen erneuten Download meiner robots.txt aufzurufen.

Durch einen Fehler wurde meine robots.txt ersetzt durch:

User-agent: *
Disallow: /

Und jetzt wurde mein gesamter Inhalt aus den Google-Suchergebnissen entfernt.

Offensichtlich bin ich daran interessiert, dies so schnell wie möglich zu korrigieren. Ich habe die robots.txt bereits ersetzt , finde aber keine Möglichkeit, die zwischengespeicherte Version von Google zu aktualisieren.

enter image description here

11
Der Hochstapler

Sie können nicht veranlassen, dass sie Ihre robots.txt erneut herunterladen, wenn Sie dies wünschen. Google wird es erneut crawlen und die neuen Daten verwenden, sobald sie für Ihre Website geeignet sind. Sie durchsuchen es in der Regel regelmäßig, sodass ich nicht erwarten würde, dass es lange dauert, bis Ihre aktualisierte Datei gefunden und Ihre Seiten erneut durchsucht und indiziert werden. Beachten Sie, dass es einige Zeit dauern kann, bis die neue robots.txt-Datei gefunden wird, bevor Ihre Seiten erneut gecrawlt werden, und bis sie wieder in den Suchergebnissen von Google angezeigt werden.

10
John Conde

Ich hatte das gleiche Problem, als ich am 16. Juni meine neue Website www.satyabrata.com startete.

Ich hatte einen Disallow: / in meinem robots.txt, genau wie Oliver. In den Google Webmaster-Tools wurde außerdem eine Warnmeldung zu blockierten URLs angezeigt.

Das Problem wurde gestern, 18. Juni, gelöst. Ich habe Folgendes getan. Ich bin nicht sicher, welcher Schritt funktioniert hat.

  1. Gesundheit -> Als Google holen: robots.txt und die Homepage. Dann senden Sie an Index.
  2. Einstellungen -> Bevorzugte Domain: URL als www.satyabrata.com anzeigen
  3. Optimierung -> Sitemaps: XML-Sitemap hinzugefügt.

Die Warnmeldung zu gesperrten URLs wurde entfernt und ein neues robots.txt wird in den Google Webmaster-Tools heruntergeladen.

Derzeit habe ich nur zwei Seiten in Google indiziert, die Homepage und robots.txt. Ich habe 10 Seiten auf der Website. Ich hoffe, der Rest wird bald indexiert.

1
Satyabrata Das

Ich hatte ein Problem, bei dem die Bilder auf einen separaten CNAME-Server verschoben wurden und im Bilderordner ein Disallow abgelegt wurde. Die Art und Weise, wie ich es klarstellen musste, war, dass robots.txt in den Webmaster-Tools als Google-Tool gelesen wurde. Als ich erfuhr, dass robots.txt abgerufen und gelesen wurde, reichte ich es ein. Damit wurde ein dreimonatiges Embargo für das Scannen von Bildern aufgehoben, bei dem Google meldete, dass die robots.txt-Datei gelesen wurde, das Spidering jedoch nicht an die Regeln angepasst wurde, die geändert wurden, um den Bildordner zuzulassen. Innerhalb einer Woche wurden die Bilder erneut indexiert.

Könnte einen Versuch wert sein. Es ist bekannt, dass Google gelegentlich stecken bleibt und die Datei nicht erneut liest.

0
Fiasco Labs