Ich denke, das könnte eine nette robots.txt für Typo3 Installationen sein.
Man verbietet die Source-Ordner, erlaubt aber fileadmin und den uploads, sowie den Extension-Ordner. Um Vorschläge wird gebeten.
User-agent: *
Disallow: /typo3
Disallow: /typo3_src
Disallow: /t3lib
Zur Vermeidung von Double Content im Google Index könnte für die Module tt_news und indexedsearch noch folgendes ergänzt werden:
User-agent: googlebot
Disallow: /*?tx_ttnews
Disallow: /*?tx_indexedsearch
User-agent: *
Disallow: /typo3
Disallow: /typo3_src
! Ander Module die DC generieren analog.
Disallow: /t3lib
Hallo natalia,
wieso möchtest Du den fileadmin-ordner für Suchmaschinen zugänglich machen? Bei mir liegen da nur die Templates und das CSS, was ja eigentlich nichts mit dem Inhalt der Website zu tun hat und somit auch nicht in den Index aufgenommen werden müsste.
Grüße Michael
Im Fileadmin-Ordner könnten aber auch die Bilddateien liegen. Im Normalfall macht TYPO3 eine Kopie und legt sie im Uploads-Ordner ab, wenn man aber das DAM benutzt, dann werden die Dateien aus dem Fileadmin-Ordner verwendet. Evtl. hat man auch eigene Extensions, die Bilder direkt verwenden. Hmmm…