User-Agent: * Allow: / # ###################################################################################################### # # robot.txt # # inserire le pagine o le directory che si vuole tener nascoste agli spider # # esempio di sintassi # # # # User-agent (con l'asterisco setto per tutti gli spider) # # # # Disallow # # # # esempi: # # # # Disallow: / # # Disallow: /intestazione.html # # Disallow: /links.html # # Disallow: /temporanei/ # # Disallow: /cgi-bin/ # # ###################################################################################################### #