Frage zur robots.txt

Aber ich bekomme immer noch im Webmastertool, es sei ein "Robot.txt" vorhanden

gleiches Bild wie oben
 
dauert glaube ich etwas ...
 
Ja kann dauern ... Sollte es Morgen noch nicht gehen, sollte man doch nochmal nachsehen, aber bis dahin würde ich eher sagen es liegt an Google. Da Deine Robot.txt definitiv erreichbar ist. Siehe mein Link weiter vorne :)
 
Hallo zusammen,

für mich ist das Ganze noch etwas neu, habe aber grundsätzlich verstanden was man mit der robots.txt bezweckt.
Jetzt habe ich nur eine ganz dumme Frage: Gibt es die Datei robots.txt nach einer XF2-Installation? Bei uns gab es die nicht und ich habe sie jetzt mal im Root angelegt.
Ich hoffe, das war richtig so...
 
Ja, genau so. Der Inhalt der Robots.txt ist schlicht zu individuell zu definieren als das sich da eine Standard Robots.txt eignen würde.
 
Super, ich denke Euch für Eure Antwort.
Ich habe jetzt mal eine minimalistische angelegt (Muster von XenForo) und schaue mal, was Google Search dann die Tage draus macht. Die Live-Tests auf einzelne Pfade der Sitemap werden zumindest als erfolgreich angezeigt.
 
Dann mal hier noch ein weiteres Beispiel:

Code: 
# Schließe folgende Spider aus:
User-agent: WebReaper
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: Offline Explorer
Disallow: /
User-agent: HTTrack
Disallow: /
User-agent: Microsoft.URL.Control
Disallow: /
User-agent: EmailCollector
Disallow: /
User-agent: penthesilea
Disallow: /

# folgende Verzeichnisse/Dateien allen verbieten
User-agent: *
Disallow: /forum/admin.php
Disallow: /forum/install/

Sitemap: https://www.deinedomain.de/forum/sitemap.php

Wobei man vielleicht noch erwähnen sollte, das die Robots.txt nur einer Empfehlung und Bitte gleicht!

Will man nicht bitten sondern befehlen, dann ist die .htaccess weit besser geeignet, wenn auch diese nicht frei von Schatten ist (Performance)
 
Hallo Otto,

lieben Dank für die zusatz Infos.
Das die robots.txt darauf basiert, dass die Bots dies auch berücksichtigen hatte ich aus den vorherigen Beiträgen bereits herausgelesen.
Die kritischen Sachen habe ich über das Rechtesystem von XenForo blockiert und zudem arbeitet alles bislang noch ausschließlich über die index.php....
 
Ich würde mir dennoch, die Möglichkeiten der .htaccess mal anschauen. Gerade zum sperren von Verzeichnissen für bestimmte "Besucher". ;)
 
Hoi Otto,

danke für den Hinweis, ich werde mich mal einlesen.
Eigentlich bin ich mir aber nicht sicher, ob unser Hoster Apache oder IIS verwendet.
Aber ich werde das noch klären.
 
Was sollte eine aktuelle XF2.2.x robtots.txt mindestens/idealerweise enthalten?

Die von XF.com sieht wie folgt aus:

Code: 
User-agent: *
Disallow: /community/whats-new/
Disallow: /community/account/
Disallow: /community/attachments/
Disallow: /community/goto/
Disallow: /community/posts/
Disallow: /community/login/
Disallow: /community/admin.php
Allow: /

Sitemap: https://xenforo.com/community/sitemap.xml

Allerdings kritisiert unser deutscher Kollege Masetrix diese Version:

Traffic Down Since VB to XF Migration
 
Wenn man das Forum auf deutsch laufen lässt stimmt der pfad doch nicht, oder ?

Disallow: /community/attachments/

bei bis ist das Disallow: /forum/anhaenge/
 
Die Pfade werden ja nicht übersetzt?
 
Du musst dich einloggen oder registrieren, um hier zu antworten.
Zurück
Oben