# robots.txt file for http://tayeb.fr/ # from http://www.pmwiki.org/wiki/PmWiki/Robots # puis modifie par GT # Lire aussi http://www.robotstxt.org/faq/robotstxt.html # Note 1: en principe, il ne devrait pas y avoir de jokers (*) dans un robots.txt ... # Note 2: en principe, pas de ligne blanche dans un robots.txt (commencer par #) # Note 3: apres essais, Xenu ne se sert pas de ce fichier # Note 4: il est extremement instructif d'aller voir mon compte Google > Outils pour webmasters # > URL restreintes par un fichier robots.txt, afin de voir comment Google interprete ce fichier # Compilation des resultats sur K:\MO_Disks\H12\gerard.tayeb.free.fr\_Hors.web\Referencement\ # User-agent: * Disallow: /crawltrack/ Disallow: /albums/papillon/morpho/ Disallow: /misc/toledo/0706_pompe_eau/slides/IMG_ Disallow: /informatique/astuces/HTML/essais_pages_web/ Disallow: /wiki2/pmwiki.php/Cookbook/ Disallow: /wiki2/pmwiki.php/Login/ Disallow: /wiki2/pmwiki.php/Main/AllRecentChanges/ Disallow: /wiki2/pmwiki.php/PmWiki/ Disallow: /wiki2/pmwiki.php/Profiles/ Disallow: /wiki2/pmwiki.php/Site/ # Disallow: /wordpress/ Disallow: action= Disallow: RecentChanges Disallow: SearchWiki