Forum Archive-Host

le_courlis · 03-09-2015 13:56:41

Bonjour,

j'avais placé le fichier robots.txt ainsi
/racine/public_html/robots.txt.

Or, dans les traces de visite, je constate que des bots ne le trouvent pas.
Le lien ciblé par les bots est /racine/robots.txt

J'ai donc tenté /racine/robots.txt

Est-ce la bonne méthode ? Peut-il être en double ou faut-il éviter ?

Merci

Cristal · 03-09-2015 14:44:15

Bonjour,

Le nom de domaine est lié au dossier public_html.
Vous ne devez interagir qu'avec ce dossier.

Le fichier robots.txt doit donc bien être mis dans public_html.

Après, cela peut venir de votre redirection .htaccess. Il faudrait ne pas la faire pour le fichier robots.txt.

le_courlis · 03-09-2015 16:26:37

Merci, je comprends.

Du coup, je teste une autorisation explicite sur robots.txt pour les crawlers. La syntaxe est un peu "au doigt mouillé".

Code:

<files robots.txt>
order allow,deny
#allow from all
allow from *bot*
</files>

Forum Archive-Host

#1 03-09-2015 13:56:41

la bonne place pour robots.txt

#2 03-09-2015 14:44:15

Re: la bonne place pour robots.txt

#3 03-09-2015 16:26:37

Re: la bonne place pour robots.txt

Code:

Pied de page des forums