Outil gratuit
Générateur de robots.txt.
Un robots.txt mal réglé laisse Google indexer des milliers de pages parasites. Configurez le vôtre proprement, avec les bons blocages.
À quoi ça sert ?
Le robots.txt est le panneau de signalisation à l'entrée de votre site : il indique aux moteurs de recherche quoi explorer et quoi ignorer. Surtout utile sur une boutique, où la recherche interne et les filtres créent des milliers d'adresses inutiles.
- Évite que Google s'éparpille sur des pages sans intérêt.
- Concentre votre référencement sur vos vraies pages.
- Déclare votre sitemap pour être trouvé plus vite.
Votre robots.txt
À placer à la racine de votre site : exemple.com/robots.txt. Le blocage du crawl n'est pas une protection : il n'empêche pas l'accès, il guide les robots.