O que é e para que serve o arquivo robots.txt?

O arquivo robots.txt é muito importante para as ferramentas de busca, pois é através dele que se torna possível bloquear determinados conteúdos que năo deverăo ser indexados pelos buscadores. Se você quer que o Google ou qualquer outro mecanismo de busca indexe todo o seu conteúdo, năo deve-se utilizar o arquivo robots.txt.

Atençăo:
# robots.txt é apenas um arquivo de texto que pode ser criado no notepad ou qualquer outro editor de texto ASCII e que salve com a extensăo .txt. Lembre-se que năo pode ser um html, tem que ser um txt e deve ficar na raiz do seu site.