Jede Menge 403 Fehler für Suchmaschinen u.a. durch Benutzerprofile

[Arno Nühm]

Beim allmorgendlichen Blick in die Google-Webmastertools fällt mir immer wieder die steigende Anzahl an 403 Fehler-behafteten Seiten auf. Hier handelt es sich zu 99% um Benutzerprofile und Attachments, die von Gästen (und entsprechend eben auch vom Googlebot) nicht aufgerufen werden können/dürfen/sollen.

Selbst der testweise erfolgte Eintrag in der robots.txt hatte da keine Auswirkung drauf.

Einfach ignorieren? Oder kann man da was machen? Sollte man da was machen?

 

[DRaver]

Tja, Auswirkungen dürfte das nicht haben auf Rankings.
Trotzdem sehr nervig das Ganze.

Sonst einfach die Rechte zur Einschränkung weg nehmen aber das gibt dann mal einen richtigen Shitstorm

 

[au lait]

und zb dies bringt nichts?

User-agent: *
Disallow: attachments/
Allow: /

 

[DRaver]

Das passt nicht generell @au lait .

Beispielsweise könnten Mitglieder für Gäste sperren.
Dann würdest du diese Meldungen bekommen, wenn du die Profile ansonsten crawlen lassen willst.

 

[HWS]

Das Problem ist, dass XF 403 meldet. Sie sollten einfach 200 melden und eine Standard "Zugriff nicht erlaubt" Seite zeigen.
Manchmal ist Perfektionismus leider doch nicht so gut.