User-agent: * # aplicável a todos os robôs 
Visit-time: 0300-0400 #esta opção obrigaria a rastrear as páginas somente de 3 am a 4 am