No use las respuestas de fallo 403/404 para limitar la tasa de Googlebot

Google plus ha anunciado pautas sobre de qué manera achicar apropiadamente la continuidad de rastreo de Googlebot debido al incremento del empleo indebido de los códigos de contestación 403/404, lo que podría perjudicar de forma negativa a los websites.

La guía halló que la utilización indebido de los códigos de contestación ha incrementado por la parte de los editores web y las redes de distribución de contenido.

Restricción de agilidad del robot de Google plus

Googlebot es el programa automatizado de Google plus que visita (rastrea) websites y descarga contenido.

Limitar la agilidad de Googlebot significa achicar la agilidad a la que Google plus rastrea un portal de internet.

El término tasa de rastreo de Google plus tiene relación a la proporción de peticiones de páginas efectuadas por Googlebot por segundo.

Hay oportunidades en las que un editor puede estimar ralentizar Googlebot, por servirnos de un ejemplo, si causa una carga excesiva en el servidor.

Google plus sugiere múltiples maneras de limitar la continuidad de rastreo de Googlebot, la primordial es emplear Google plus Search Console.

Restricción de agilidad empleando la consola de búsqueda ralentizará la continuidad de rastreo en el transcurso de un periodo de 90 días.

Otra forma de influir en la continuidad de rastreo de Google plus es a través de la utilización de Robots.txt para eludir que Googlebot rastree páginas particulares, directorios (categorías) o el lugar terminado.

Una cosa buena de Robots.txt es que solo le solicita a Google plus que se abstenga de seguir y no le solicita a Google plus que suprima un lugar de su índice.

No obstante, la utilización de robots.txt tiene la posibilidad de tener «efectos en un largo plazo» en los patrones de rastreo de Google plus.

Quizá por este motivo la solución ideal sea usar Search Console.

Google plus: frena la restricción de agilidad con 403/404

Google plus ha anunciado una guía en el blog de Search Central que recomienda a los editores que no empleen códigos de contestación 4XX (salvo el código de contestación 429).

La publicación del blog mentó particularmente la utilización indebido de los códigos de contestación de fallo 403 y 404 para limitar la tasa, pero la guía se aplica a todos y cada uno de los códigos de contestación 4XX salvo la contestación 429.

La recomendación es precisa por el hecho de que vieron un incremento en el número de editores que emplean esos códigos de contestación de fallo para limitar la tasa de rastreo de Google plus.

El código de contestación 403 quiere decir que el visitante (Googlebot en un caso así) tiene contraindicado el ingreso a la web.

El código de contestación 404 le afirma a Googlebot que la web ha desaparecido completamente.

El código de contestación de fallo del servidor 429 significa «demasiadas peticiones» y esta es una contestación de fallo válida.

Transcurrido un tiempo, Google plus puede remover páginas del índice de búsqueda si prosiguen utilizando estos 2 códigos de contestación de fallo.

Esto quiere decir que las páginas no se van a tener presente para su localización en los resultados de la búsqueda.

Google plus escribió:

“A lo largo de los últimos meses, vimos un incremento en los dueños de websites y ciertas redes de distribución de contenido (CDN) que procuran utilizar 404 y otros fallos de cliente 4xx (pero no 429) para intentar achicar el rastreo de Googlebot.

La versión corta de esta publicación de blog es: Por favor, no…”

Al final, Google plus sugiere utilizar los códigos de contestación de fallo 500, 503 o 429.

Un código de contestación 500 señala que se ha producido un fallo de adentro del servidor. La contestación 503 quiere decir que el servidor no puede conducir la petición de una página.

Google plus trata los dos géneros de respuestas como fallos temporales. Conque volveré después para revisar si las páginas están libres nuevamente.

Una contestación de fallo 429 le afirma al bot que hace demasiadas peticiones e inclusive puede solicitarle que espere una alguna proporción de tiempo antes de regresar a escanear.

Google plus sugiere comprobar la página del creador sobre la restricción de agilidad de Googlebot.

Lea la publicación del blog de Google plus:
No emplees 403 o 404 para limitar la cuota

Imagen cortesía de Shutterstock/Krakenimages.com