Frage zur robots.txt

Silmarillion schrieb:
Muss da überhaupt was angepasst werden, Hoffi? Sollte doch eigentlich so passen?
Zum Vergrößern anklicken....
Ja, falls du via Routenfilter diese angepasst hast. ich hab einige Routen bei mir geändert auf deutsch.

Und bei vielen läuft das Forum auch nocht im community ordner.
 
Ich habe mich jetzt für folgende Variante entschieden:

Code: 
User-Agent: *
Disallow: /install/
Disallow: /whats-new/
Disallow: /online/
Disallow: /admin.php
Disallow: /search/
Disallow: /reactions/
Disallow: /login
Allow: /
Sitemap: https://www.meinforum.de/sitemap.xml

/goto/ und /posts/ habe ich jetzt erst einmal bewusst rausgenommen, da ich doch einige Beiträge von Personen, die ich durchaus als SEO-affin einschätze, gelesen habe, die dazu raten.
 
Echt?

Wo wird die erzeugt? Ich hab mit 2.2.4 immer noch nur die sitemap.php im root. :wideyed:
 
Seitens XF wird es allerdings empfohlen in den GWT die sitemap.xml-Variante zu wählen, da diese von Google leicht bevorzugt, präferiert würde. Aber schlussendlich ist wohl auch das nur eine von vielen Theorien.
 
Hoffi schrieb:
Ja, der Aufruf der XML Route ruft auch eine sitemap.php auf.
Zum Vergrößern anklicken....
Das meinte ich, die wird also weiterhin wie bisher abgelegt. Weil ein echtes XML File existiert in dem Sinne ja nicht. Deshalb wunderte ich mich. :)
 
Wie bekommt man die tags aus der Sitemap?

XF zeigt auf der Tags Seite ja nur noch "Beliebte Tags" und folglich hat man da immer wieder Fehler mit defekten Links und soft 404 - muss ja vielleicht nicht sein. :)
 
otto schrieb:
Wie bekommt man die tags aus der Sitemap?
Zum Vergrößern anklicken....
unter /admin.php?options/groups/sitemap/ kannst du das Häkchen entfernen und die SM dann neu generieren lassen.
/admin.php?tools/rebuild
 
Die einen sagen so, die anderen so.

In meinem Forum wird die Funktion kaum bis gar nicht benutzt, macht folglich wenig Sinn. Und konkret dieser Umstand:
otto schrieb:
XF zeigt auf der Tags Seite ja nur noch "Beliebte Tags"
Zum Vergrößern anklicken....
macht für mich die Sinnfrage schon wieder obsolet, weil lasse ich es in der XML, dann ernte ich in den GWT halt Fehlermeldungen über Soft 404, was ich einfach nicht möchte. :)
 
Bei mir sieht beim Aufruf die sitemap.php anders inhaltlich aus als die sitemap.xml
 
otto schrieb:
Die einen sagen so, die anderen so.

In meinem Forum wird die Funktion kaum bis gar nicht benutzt, macht folglich wenig Sinn. Und konkret dieser Umstand:

macht für mich die Sinnfrage schon wieder obsolet, weil lasse ich es in der XML, dann ernte ich in den GWT halt Fehlermeldungen über Soft 404, was ich einfach nicht möchte. :)
Zum Vergrößern anklicken....
Nachvollziehbar, Otto. Ich erhalte im Moment noch Soft404er aufgrund der nur bedingt aufrufbaren Mitgliederprofile. Ich denke die werde ich via robots.txt jetzt doch komplett sperren bzw. mit aufnehmen/einbinden.
 
Silmarillion schrieb:
Nachvollziehbar, Otto. Ich erhalte im Moment noch Soft404er aufgrund der nur bedingt aufrufbaren Mitgliederprofile. Ich denke die werde ich via robots.txt jetzt doch komplett sperren bzw. mit aufnehmen/einbinden.
Zum Vergrößern anklicken....

Hier müsste XF nachbessern denn hier gehört, bei vom User gesperrten Mitgliederprofilen, eine Rückmeldung in Form eines "204 No Content" hin denn der User ist ja vorhanden, nur will er keine "Daten" seines Profils veröffentlichen.
 
Masetrix schrieb:
Hier müsste XF nachbessern denn hier gehört, bei vom User gesperrten Mitgliederprofilen, eine Rückmeldung in Form eines "204 No Content" hin denn der User ist ja vorhanden, nur will er keine "Daten" seines Profils veröffentlichen.
Zum Vergrößern anklicken....
Wurde das offiziell schon vorgeschlagen?

Ich werde jetzt auch /tags/ ausschließen. Gibt wieder 404er (soft)...

 
Nachtrag: ok, sehe gerade dass ich gestern oder vorgestern /tags/ schon mit aufgenommen habe. Ergo wird der neue Fehler damit zusammenhängen!? Rausnehmen oder beibehalten?
 
Du musst dich einloggen oder registrieren, um hier zu antworten.
Zurück
Oben