Conhecendo recursos do robots.txt

AGRADEÇA AO AUTOR COMPARTILHE!

Crie o seu arquivo robots.txt e ajude os robôs dos mecanismos de busca a indexarem corretamente o seu site.

O arquivo robots.txt é usado para controlar a ação dos robôs dos mecanismos de busca dentro do seu site. Com esse arquivo é possível definir quais arquivos ou pastas o robô pode ou não indexar. O arquivo deve ser colocado na pasta raiz do site para que os robôs possam identificá-lo e processá-lo antes de vasculhar o site.

Sintaxe

Um arquivo robots.txt simples utiliza duas regras básicas, veja:

  • User-agent: identifica o robô que deverá receber a regra seguinte
  • Disallow: identifica o URL que deseja bloquear

O que deve estar listado na linha “User-agent”?

Um user-agent é um robô com mecanismos de pesquisa específicos. A Web Robots Database relaciona muitos bots comuns. Configure uma entrada para ser aplicada em um robô específico (listando o nome) ou configure-a para ser aplicada em todos os robôs (listando um asterisco). Uma entrada que se aplica a todos os robôs tem este formato:

User-agent: *

O Google usa diversos robôs (user-agents), por exemplo: para  pesquisa na web é o Googlebot, para sites desenvolvidos para celulares é o Googlebot-Mobile e para imagens o Googlebot-Image. É possível definir regras para cada um desses robôs utilizando a tag User-agent.

O que deve estar listado na linha “Disallow”?

A linha “Disallow” lista as páginas que você deseja bloquear. Relacione um URL específico ou um padrão. A entrada deve começar com uma barra (/).

Para bloquear todo o site, use uma barra normal.

Disallow: /

Para bloquear um diretório e tudo que houver nele, adicione a mesma barra após o nome do diretório.

Disallow: /diretorio-lixo/

Para bloquear uma página, liste a página.

Disallow: /arquivo_particular.html

Para remover uma imagem específica da pesquisa de imagens do Google, adicione o seguinte:

User-agent: Googlebot-Image
Disallow: /imagens/dogs.jpg

Para remover todas as imagens do seu site da pesquisa de imagens do Google:

User-agent: Googlebot-Image
Disallow: /

Para bloquear os arquivos de um tipo específico (por exemplo, .gif), use o seguinte:

User-agent: Googlebot
Disallow: /*.gif$

Para impedir que as páginas do seu site sejam rastreadas, mas continuem exibindo anúncios do AdSense, bloqueie todos os robôs, exceto o Mediapartners-Google. Isso impede que as páginas apareçam nos resultados de pesquisa, mas permite que o robô Mediapartners-Google analise as páginas para determinar os anúncios que devem ser mostrados. O robô Mediapartners-Google não compartilha páginas com outros user-agents do Google. Por exemplo:

User-agent: *
Disallow: /pasta1/User-agent: Mediapartners-Google
Allow: /pasta1/

Observe que as diretivas diferenciam caracteres maísculos e minúsculos. Por exemplo, Disallow: /arquivo_lixo.asp – bloquearia http://www.example.com/arquivo_lixo.asp, mas permitiria http://www.example.com/Arquivo_lixo.asp.

Correspondência por padrão

O Googlebot (mas não todos os mecanismos de pesquisa) respeita algumas correspondências por padrão.

Para fazer com que uma seqüência de caracteres gere uma correspondência, use um asterisco (*). Por exemplo, para bloquear o acesso a todos os subdiretórios que começam com “particular”:

User-agent: Googlebot
Disallow: /particular*/

Para bloquear o acesso a todos os URLs que incluam um ponto de interrogação (?) (mais especificamente, qualquer URL que comece com o nome do seu domínio, seguido por qualquer string, por um ponto de interrogação ou por qualquer string):

User-agent: Googlebot
Disallow: /*?

Para especificar a correspondência do fim do URL, use $. Por exemplo, para bloquear os URLs que terminam com .xls:

User-agent: Googlebot
Disallow: /*.xls$

Use essa correspondência por padrão juntamente com a instrução “Allow”. Por exemplo, se um “?” indicar um ID de sessão, convém excluir todos os URLs que contenham o caractere para assegurar que o Googlebot não rastreie páginas duplicadas. Mas os URLs terminados em “?” podem ser a versão da página que você deseja incluir. Nesse caso, você pode configurar o arquivo robots.txt da seguinte maneira:

User-agent: *
Allow: /*?$
Disallow: /*?

A instrução Disallow: / *? bloqueará qualquer URL que contenha um “?” (mais especificamente, a linha bloqueará qualquer URL que comece com o nome do seu domínio, seguido por qualquer string, seguida por um ponto de interrogação, seguido por qualquer string).

A instrução Allow: /*?$ permitirá qualquer URL que termine com “?” (mais especificamente, a linha permitirá qualquer URL que comece com o nome do seu domínio, seguido por uma string, seguida por um “?” e sem qualquer caractere depois do “?”).

Nota: A maneira mais fácil de criar um arquivo robots.txt é usar a ferramenta “Gerar robots.txt” do Google Webmasters Tools. Depois de criar o arquivo, use a ferramenta Analisar robots.txt para verificar se o arquivo apresenta o comportamento esperado.

Fonte: 72DPI

AGRADEÇA AO AUTOR COMPARTILHE!

Marcelo Alves

Mais artigos deste autor »

Marcelo Alves, graduado em Desenho Industrial com habilitação em Programação Visual pela Universidade do Estado de Minas Gerais. Atua como Webdesigner e Diretor de Criação desenvolvendo projetos de comunicação para web.


Deixe seu comentário

Seu endereço de e-mail não será publicado. Campos com * são obrigatórios!

Você pode usar estas tags e atributos de HTML: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code class="" title="" data-url=""> <del datetime=""> <em> <i> <q cite=""> <strike> <strong> <pre class="" title="" data-url=""> <span class="" title="" data-url="">