La optimización de buscadores web, en su sentido mucho más básico, hablamos de solo una cosa: las arañas de los buscadores rastrean y también indexan su lugar.
Pero prácticamente todos los websites van a tener páginas que no quiere integrar en este análisis.
Por poner un ejemplo, ¿verdaderamente quiere que su política de intimidad o las páginas de búsqueda internas aparezcan en los desenlaces de Google plus?
En el más destacable de las situaciones, no hacen nada para regentar activamente el tráfico a su lugar y, en el peor caso, tienen la posibilidad de desviar el tráfico de sus páginas mucho más esenciales.
A dios gracias, Google plus deja a los administradores de páginas web decirles a los robots de los buscadores qué páginas y contenido seguir y qué ignorar. Hay múltiples maneras de llevar a cabo esto, la más frecuente es emplear un fichero robots.txt o la metaetiqueta robots.
Contamos una increíble y descriptiva explicación de las desventajas de robots.txt que finalmente deberías leer.
Pero en concepto de prominente nivel, es un fichero de artículo fácil que está en la raíz de su lugar y prosigue Protocolo de exclusión de robots (REP).
Robots.txt da a los rastreadores normas sobre el lugar en su grupo, al tiempo que las metaetiquetas de robots tienen dentro normas para páginas concretas.
Ciertas etiquetas de metabot que puede emplear tienen dentro índiceque le afirma a los buscadores web que añadan la página a su índice; sin índicemencionarle que no indexe una página ni la integre en los resultados de la búsqueda; Continuarque le señala a un motor de búsqueda que prosiga los links en una página; no prosigasdiciéndole que no prosiga los links y considerablemente más.
Tanto las etiquetas robots.txt como las misión robots son herramientas útiles para sostener en su caja de herramientas, pero hay otra forma de entrenar a los bots de los buscadores a fin de que no indexen o no prosigan: X-Robots-Etiqueta.
¿Qué es X-Robots-Tag?
X-Robots-Tag es otra forma de supervisar de qué manera las arañas rastrean y también indexan sus webs. Como una parte de la contestación del encabezado HTTP a una dirección de Internet, controla la indexación de una página completa y elementos concretos en esa página.
Y al tiempo que utilizar etiquetas de misión-robots es bastante simple, X-Robots-Tag es un tanto más difícil.
Pero, naturalmente, esto expone el interrogante:
¿Cuándo debería utilizar X-Robots-Tag?
Obediente Google plus«Cualquier directiva que se logre utilizar en una metaetiqueta de robots asimismo se puede precisar como una etiqueta de X-Robots».
Más allá de que es viable detallar ordenes de robots.txt en los encabezados de una contestación HTTP tanto con la metaetiqueta de robots como con la etiqueta X-Robots, existen algunas ocasiones en las que le agradaría emplear la etiqueta X-Robots, ámbas más frecuentes . ser en el momento en que:
- Quiere supervisar de qué forma se rastrean y también indexan sus ficheros que no son HTML.
- Quiere pasar ordenes en todo el ubicación en vez de a nivel de página.
Por poner un ejemplo, si quiere eludir que se escanee una imagen o vídeo concreto, el procedimiento de contestación HTTP lo realiza mucho más simple.
El encabezado X-Robots-Tag asimismo es útil pues le deja conjuntar múltiples etiquetas en una contestación HTTP o utilizar una lista de ordenes separadas por comas para precisar ordenes.
Quizás no quiera que una cierta página se almacene en caché y quiera que no esté libre tras una cierta fecha. Puede utilizar una combinación de etiquetas «noarchive» y «unavailable_after» para señalar a los robots de los buscadores web que prosigan estas normas.
En esencia, la fuerza de X-Robots-Tag es que es considerablemente más maleable que la metaetiqueta de robots.
El beneficio de utilizar un X-Robots-Tag con las respuestas HTTP es que le deja utilizar expresiones regulares para realizar ordenes de exploración no HTML, tal como utilizar factores en un nivel global mucho más extenso.
Para asistirlo a entender la diferencia entre estas ordenes, es útil catalogarlas por tipo. Esto es, ¿son ordenes de rastreador o ordenes de índice?
Aquí hay una práctica hoja de trucos:
| Ordenes de rastreadores | Ordenes de indexación |
| Robots.txt – utilice las ordenes de agente de usuario, permiso, rechazo y mapa del ubicación para precisar dónde tienen la posibilidad de seguir los bots del motor de búsqueda en su lugar y dónde no se les deja seguir. | Etiqueta Misión Robot – le deja detallar y eludir que los buscadores hagan ver algunas páginas de un lugar en los resultados de la búsqueda.
no proseguir – le deja concretar links que no tienen que trasmitir autoridad o PageRank. Etiqueta X-Robots – Controla de qué manera se indexan las clases de ficheros detallados. |
¿Dónde pones la etiqueta de X-Robots?
Afirmemos que quiere denegar algunos géneros de ficheros. Un enfoque ideal sería añadir X-Robots-Tag a una configuración de Apache o un fichero .htaccess.
La etiqueta X-Robots se puede añadir a las respuestas HTTP de un ubicación en una configuración de servidor Apache a través del fichero .htaccess.
Ejemplos y usos reales de la etiqueta X-Robots
Eso suena excelente teóricamente, pero ¿de qué manera es en el planeta real? Veremos.
Imaginemos que no quiere que los buscadores indexen las clases de ficheros .pdf. Esta configuración en los servidores Apache se vería de esta forma:
Header equipo X-Robots-Tag "noindex, nofollow"
En Nginx, se vería de este modo:
location ~* .pdf$
En este momento, observemos un ámbito diferente. Pongamos que deseamos utilizar X-Robots-Tag para denegar la indexación de ficheros de imagen como .jpg, .gif, .png, etcétera. Puede llevar a cabo esto con una etiqueta X-Robots que se vería de este modo:
Header equipo X-Robots-Tag "noindex"
Tenga presente que entender de qué forma marchan estas ordenes y de qué manera se afectan entre sí es vital.
Por servirnos de un ejemplo, ¿qué ocurre si tanto la etiqueta X-Robots como la etiqueta metarobots se sitúan en el momento en que los rastreadores se dan cuenta una dirección de Internet?
Si esa dirección de Internet está denegada por robots.txt, ciertas ordenes de indexación y publicación no se tienen la posibilidad de conocer y no se proseguirán.
Si se tienen que continuar las ordenes, las dirección de Internet que las poseen no se tienen la posibilidad de seguir.
Busque una etiqueta de X-Robots
Existen varios métodos que se tienen la posibilidad de emplear para revisar si hay una etiqueta de X-Robots en el ubicación.
La manera mucho más simple de revisarlo es disponer un extensión del navegador que le afirmará a X-Robots-Tag información sobre la dirección de Internet.
Atrapa de pantalla de Robots Exclusion Checker, diciembre de 2022Otro complemento que puede utilizar para saber si se está empleando una etiqueta X-Robots, por poner un ejemplo, es Complementos para programadores web.
Al clickear en el complemento en su navegador y andar a «Ver encabezados de contestación», puede ver los distintos encabezados HTTP usados.
Otro procedimiento que se puede utilizar para detectar inconvenientes en websites de millones de páginas es Screaming Frog.
Tras realizar un ubicación por medio de Screaming Frog, puede proceder a la columna «X-Robots-Tag».
Esto le mostrará qué partes del ubicación utilizan la etiqueta, adjuntado con qué ordenes concretas.
Atrapa de pantalla del informe Screaming Frog. X-Robot-Tag, diciembre de 2022Empleo de X-Robots-Tags en su cibersitio
Entender y supervisar de qué manera los buscadores interaccionan con su ubicación es la piedra angular de la optimización de buscadores. Y X-Robots-Tag es una vigorosa herramienta que puede emplear exactamente para eso.
Observación: no está exenta de riesgos. Es muy simple cometer un fallo y desindexar su lugar.
Mencionado lo anterior, si lees este producto, probablemente no seas un novato en SEO. Siempre y cuando lo use de manera sabia, se tome su tiempo y compruebe su trabajo, hallará que X-Robots-Tag es una adición útil a su armamento.
Otros elementos:
Imagen señalada: Song_about_summer/Shutterstock
Fuente: searchenginejournal
Hashtags: #Todo #precisa #comprender #sobre #encabezado #HTTP #XRobotsTag
Comentarios recientes