Triops
Bekanntes Mitglied
- Registriert
- 1. Juni 2013
- Beiträge
- 288
- Punkte
- 93
- XF Version
- 1.5.6
Im Grunde freut man sich ja, wenn die Google-Bots in Horden (bei mir oft 300 bis 800 Stück) vorbeikommen, alles indexieren und sich nach ein paar Stunden oder 1-2 Tagen zurückziehen.
Bei mir ist nun seit x Tagen die Hölle los. Meist um/über 500 Google-Bots sind fast ständig da und greifen ständig und immer wieder die "Aktuellsten Inhalte" ab:
Das geht seitenweise so!
Problem: ich muss für Leistung und Transfer bezahlen, der Cache reicht regelmäßig nicht mehr und die Seite wird mega zäh bis zum Stillstand / Fehlermeldungen.
Wie kann ich verhindern, dass diese Seite so oft und fortwährend von Google (Bing macht das nicht) aufgerufen wird?
Ich habe in den Ursprung der Site schon eine robots.txt gepackt, aber seit einer Stunde wird sie anscheinend nicht gelesen / ist nicht wirksam, denn die Bots verhalten sich weiterhin so.
User-Agent: Googlebot
Disallow: /find-new/
Kann man in den Webmastertools einzelne Bereiche blocken?
Was kann ich sonst tun bzw. prüfen, ob die robots.txt gelesen wird? Wie schnell wirkt sie?
Danke für jeden Hinweis. Ich bin mittlerweile echt genervt. Das war zwar immer mal so, vor allem nach Zeiten vieler, vieler neuer Beiträge in der Hochsaison, aber hier scheinen die Bots festzuhängen.
Bei mir ist nun seit x Tagen die Hölle los. Meist um/über 500 Google-Bots sind fast ständig da und greifen ständig und immer wieder die "Aktuellsten Inhalte" ab:
Das geht seitenweise so!
Problem: ich muss für Leistung und Transfer bezahlen, der Cache reicht regelmäßig nicht mehr und die Seite wird mega zäh bis zum Stillstand / Fehlermeldungen.
Wie kann ich verhindern, dass diese Seite so oft und fortwährend von Google (Bing macht das nicht) aufgerufen wird?
Ich habe in den Ursprung der Site schon eine robots.txt gepackt, aber seit einer Stunde wird sie anscheinend nicht gelesen / ist nicht wirksam, denn die Bots verhalten sich weiterhin so.
User-Agent: Googlebot
Disallow: /find-new/
Kann man in den Webmastertools einzelne Bereiche blocken?
Was kann ich sonst tun bzw. prüfen, ob die robots.txt gelesen wird? Wie schnell wirkt sie?
Danke für jeden Hinweis. Ich bin mittlerweile echt genervt. Das war zwar immer mal so, vor allem nach Zeiten vieler, vieler neuer Beiträge in der Hochsaison, aber hier scheinen die Bots festzuhängen.
