Google dispone di specifici algoritmi per la scansione delle pagine di ciascun sito web tramite dei bot automatizzati (robot o crawler). Google cerca sempre di non sovraccaricare il server impostando automaticamente una velocità di scansione ma, in alcuni casi, può capitare che Google esageri con i tempi di scansione fino a sovraccaricare il server.
Cosa fare per modificare la velocità di scansione di Google?
Occorre innanzitutto possedere un account Google, se non lo avete provvedete subito a crearne uno perchè è indispensabile per accedere ai servizi Google.
1. Accedete alla pagina Google Webmasters Tools e se non avete ancora aggiunto il vostro sito aggiungetelo.
2. Dalla colonna sulla sinistra cliccate su Configurazione sito e successivamente su Impostazioni;
3. Adesso alla voce Velocità di scansione cliccate su Imposta velocità di scansione personalizzata e mettete pure 0.003 richieste al secondo. Se il problema del sovraccarico viene ridotto di molto provvedete successivamente ad aumentare un pò la velocità di scansione. Cliccate su Salva per apportare le modifiche.
NOTA: modificare la velocità di scansione non modifica la frequenza di scansione del nostro sito web ma il numero di richieste al secondo verso il nostro server effettuato da googlebot.
Nel caso in cui si voglia bloccare l'accesso di Googlebot al nostro sito web si può modificare il file httaccess.txt aggiungendo qualcosa simile a quanto segue:
RewriteEngine on
ErrorDocument 403 "Forbidden"
RewriteCond %{HTTP_USER_AGENT} ^BadBot
RewriteRule .* – [F]
