Robots txt é um arquivo de texto criado por webmasters para instruir robôs da web normalmente robôs de mecanismos de pesquisa sobre como rastrear páginas em seu site

Antes de mais nada, é bom saber porque o arquivo robots.txt tem tanta importância. Também conhecido como protocolo ou padrão de exclusão de robôs, é um arquivo de texto que avisa aos robôs da internet "quase sempre ferramentas de busca" quais páginas do seu site rastrear. Também avisa quais páginas ignorar.

O arquivo robots.txt é o primeiro arquivo que o Google detecta com seus robôs que analisam os sites. São esses robôs do Google que “rastreiam” as páginas. O primeiro passo para um robô chegar a um site é, portanto, olhar as indicações desse arquivo, se ele estiver presente, e tomar nota delas. É por isso que seu site não pode deixar de ter um arquivo robots.txt bem organizado.

Talvez você esteja se perguntando como eu bloqueio a visita de robôs da internet ao site.

User-agent: *

Disallow: /

E se você tem muitas páginas, o robô da ferramenta de busca vai tomar mais tempo para verificar o seu site, o que pode ter um efeito negativo no seu ranqueamento. Isso é porque o Googlebot (o robô da ferramenta de busca do Google) tem um “limite de rastreamento”.

De repente, há um número limitado de URLs que ele se permite rastrear, depende do “limite da taxa de rastreamento” ou da taxa limite de exploração, bem como da “demanda de rastreamento” ou da solicitação de exploração. A taxa limite de exploração depende de dois fatores:

• Saúde do rastreamento: é de certa forma o desempenho do site e do servidor. Quanto melhor for o funcionamento e qualidade do seu site e host, melhor.
• A partir do limite definido no Google Search Console, para alterá-lo, o suporte do Google fornece um artigo que explica como definir a velocidade de rastreamento do Googlebot.

A exploração do pedido também depende de dois fatores

• Quanto mais popularidade você tem (em outras palavras, backlinks de melhor qualidade), mais o Google deseja que seu conteúdo seja atualizado rapidamente.
• A falta de conteúdo atualizado: o Google deseja que seu site seja atualizado constantemente para fornecer a melhor experiência.

Nesse contexto, existem certos fatores que o Google diz que “afetam negativamente o rastreamento e a indexação de um site” que são:

1. Navegação (filtros usados ​​para selecionar produtos em sites de comércio eletrônico);
2. Identificadores de sessão (as páginas acessadas após uma conexão);
3. Algumas páginas de erro;
4. Páginas hackeadas;
5. Páginas de baixa qualidade e spam.

 O que colocar no seu arquivo Robots.txt

Sei que muitos de vocês estão lendo este artigo que simplesmente querem que o código seja colocado no arquivo robots.txt e siga em frente. No entanto, é importante que você entenda as regras que você especifica para os mecanismos de pesquisa. Também é importante reconhecer que não há um padrão acordado sobre o que colocar no arquivo robots.txt.

Melhores práticas de SEO

Verifique se você não está bloqueando nenhum conteúdo ou seções do seu site que deseja rastrear.
Os links nas páginas bloqueadas pelo robots.txt não serão seguidos. Isso significa:

1. A menos que eles também estejam vinculados a outras páginas acessíveis por mecanismos de pesquisa "ou seja, páginas não bloqueadas via robots.txt, meta robôs ou outros", os recursos vinculados não serão rastreados e não poderão ser indexados.

2. Não vincular patrimônio pode ser passado da página bloqueada para o destino do link. Se você tiver páginas para as quais deseja que o patrimônio seja passado, use um mecanismo de bloqueio diferente, exceto robots.txt. Não use robots.txt para impedir que dados confidenciais "como informações de usuários particulares" apareçam nos resultados do SERP.

Como outras páginas podem ser vinculadas diretamente à página que contém informações privadas "examinando as diretivas robots.txt no domínio raiz ou na página inicial", ela ainda pode ser indexada. Se você deseja bloquear sua página dos resultados da pesquisa, use a método diferente como proteção por senha ou o noindex meta diretiva. Alguns mecanismos de pesquisa têm vários agentes de usuário. Por exemplo, o Google usa o Googlebot para pesquisa orgânica e o Googlebot-Image para pesquisa de imagens.

A maioria dos agentes de usuário do mesmo mecanismo de pesquisa segue as mesmas regras, portanto, não há necessidade de especificar diretivas para cada um dos vários rastreadores de um mecanismo de pesquisa, mas ter a capacidade de fazer isso permite ajustar como o conteúdo do site é rastreado. Um mecanismo de pesquisa armazenará em cache o conteúdo robots.txt, mas geralmente atualiza o conteúdo em cache pelo menos uma vez por dia. Se você alterar o arquivo e quiser atualizá-lo mais rapidamente do que está ocorrendo, poderá envie seu robots.txt via url para o Google.

Robots.txt vs meta robôs vs x-robots

Tantos robôs! Qual é a diferença entre esses três tipos de instruções do robô? Primeiro, robots.txt é um arquivo de texto real, enquanto meta e x-robôs são meta diretrizes Além do que realmente são, os três cumprem funções diferentes. O Robots.txt dita o comportamento de rastreamento em todo o site ou diretório, enquanto os meta e x-robots podem ditar o comportamento da indexação no nível da página individual (ou elemento da página).

Parâmetros de controle de indexação:

• Noindex: Diz a um mecanismo de pesquisa para não indexar uma página.
• Index: Diz um mecanismo de pesquisa para indexar uma página. Observe que você não precisa adicionar essa meta tag; é o padrão.
• Follow: Mesmo que a página não esteja indexada, o rastreador deve seguir todos os links em uma página e passar capital próprio para as páginas vinculadas.
• Nofollow: Diz a um rastreador para não seguir nenhum link em uma página ou repassar qualquer patrimônio do link.
• Noimageindex: Diz a um rastreador para não indexar nenhuma imagem em uma página.
• None: Equivalente ao uso das tags noindex e nofollow simultaneamente.
• Noarchive: Os mecanismos de pesquisa não devem mostrar um link em cache para esta página em um SERP
• Nocache: O mesmo que noarchive, mas usado apenas pelo Internet Explorer e Firefox.
• Nosnippet: Diz a um mecanismo de pesquisa para não mostrar um trecho desta página (ou seja, meta descrição) desta página em um SERP.
• Noodyp/noydir [OBSOLETE]: Impede que os mecanismos de pesquisa usem uma página DMOZ descrição como o snippet SERP para esta página. No entanto, o DMOZ foi aposentado no início de 2017, tornando essa tag obsoleta.
• Unavailable_after: Os mecanismos de pesquisa não devem mais indexar esta página após uma data específica.

Ao configurar o seu arquivo robots.txt da maneira correta, você não está só melhorando o seu SEO. Também está ajudando seus visitantes. Se robôs de ferramentas de busca gastaram o limite de rastreamento de maneira correta, eles vão organizar e expor o seu conteúdo nas SERPs da melhor maneira possível, o que significa que você irá ficar mais visível.