“This site contains random life events and some occasional girlie geekness”

O googlebot é um Papa-tráfego!

Qualquer um de nós, que se considere webmaster, ainda que um pretenso e não profissional, gosta de ver o seus sites terem um bom ranking nos motores de busca, terem visitas com fartura, etc.

O que não gostamos é de ver o tráfego a dar grandes pulos de mês a mês, e o site a ficar offline por razões de Bandwitch Exceeded.

O site: hitdabreakz.com.

Análise: Desde meados de 2005 até Maio de 2007 esteve sempre como sub – domínio do meu site principal – wdesign-it.com – e como tinha tráfego ilimitado no meu antigo hosting, nunca me preocupei muito, mas em Maio decidimos avançar para uma conta e domínio próprios. E é ai que começa a escalada. Não se pode dizer que é um fórum cm milhares de visitas diárias, mas é bem sucedido, embora não haja rentabilização nenhuma com publicidade.

O 1º mês completo de Alojamento, Junho, o site registou um tráfego de 2.23gb, e em Junho 2.78gb. Até aqui normal, mas o salto em Agosto foi para os 6.79gb e em Setembro 9.78gb.

Após análise dos ficheiros de visita o meu hosting revela que o googlebot é que anda a visitar o site quase diariamente e que causa todo este gasto. Confesso que até sábado estas techicalities me passavam completamente ao lado, mas tive de passar o fim-de-semana a fazer os trabalhos de casa e eis o que resolvi fazer.

Adicionar todos os meus sites ao serviço sitemaps do google:
www.google.com/webmasters/sitemaps

Fazer um ficheiro Robots.txt e colocar na home directory dos sites.


User-agent: Googlebot
Disallow:
User-agent: Slurp
Disallow:
User-agent: MSNBot
Disallow:
User-agent: Googlebot-Image
Disallow: /
User-agent: yahoo-mmcrawler
Disallow: /
User-agent: psbot
Disallow: /
User-agent: *
Disallow:

Basicamente este ficheiro não permite que os robots do google não indexem imagens, o que já deve reduzir bastante o tráfego, mas permite a indexação normal de ficheiros e novas páginas.

Depois no Serviço de sitemaps do google configuro o Set crawl rate para slow:

Slower A slower crawl will reduce Googlebot’s traffic on your server, but we may not be able to crawl your site as often
E agora é ver durante as próximas semanas o desenvolvimento do tráfego.

Se mais alguém tiver outra sugestão para combater este problemo, gostaria que compartlhasse comigo as mesmas.