Google ha incorporado una nueva versión actualizada del informe de estadísticas de rastreo en Search Console, con nuevas funciones e información sobre el comportamiento de Googlebot cuando rastrea tu web y los problemas que encuentra.
Se trata de una nueva versión del informe Crawl Stats que todavía puedes encontrar en las antiguas webmasters Tools (disponible hasta el 19 de enero de 2021), a la que se han incorporado gran cantidad de datos útiles que permiten detectar errores con facilidad.
En resumen, el nuevo informe de estadísticas de rastreo permite comprender cómo el robot de Google rastrea tu web:
- Ver el historial de rastreo de Google
- Ver detalles de las solicitudes de rastreo
- Realizar un seguimiento de los problemas de disponibilidad de tu sitio
- Ver los tipos de archivo y tamaños devueltos por tu sitio
Índice de contenidos
Qué es el rastreo y por qué es importante?
La información relacionada con el rastreo está dirigida a usuarios avanzados, que pueden acceder a ella revisando los datos de logs del servidor para localizar los rastreadores que nos visitan y realizar un seguimiento de los patrones de rastreo.
Los cambios en la frecuencia de rastreo o en el tiempo de respuesta del servidor pueden ser indicadores de problemas que deberías resolver si quieres que tu sitio se indexe y funcione correctamente.
El término rastreador se utiliza de forma genérica para hacer referencia a cualquier software (como un robot o una araña) con el que se detectan y analizan automáticamente sitios web siguiendo enlaces entre páginas web.
Los rastreadores siguen los enlaces que van encontrando para descubrir otras páginas y prestan especial atención a los sitios web nuevos, a los cambios en los actuales y a los enlaces obsoletos.
El rastreo es el proceso por el que el robot de Google accede a tu sitio para comprobar si existen nuevos contenidos o ha habido cambios en las páginas que ya había rastreado, y se llama frecuencia de rastreo al número de solicitudes por segundo que envía el robot a tu sitio cuando lo rastrea.
Si Google envía demasiadas solicitudes por segundo a tu web y ralentiza tu servidor, puedes solicitar que limite la velocidad de rastreo máxima usando la página de frecuencia de rastreo.
No puedes cambiar cada cuánto tiempo rastrea Google tu web, pero si quieres que rastree contenido nuevo o actualizado, puedes solicitarlo con la Herramienta de inspección de URLs.
Si quieres que se rastree una gran cantidad de URLs, es mejor que envíes un sitemap.
Si por el contrario hay partes de tu web a las que no quieres que acceda el robot de Google, puedes inhabilitar el rastreo con el archivo robots.txt.
Dónde está el informe de estadísticas de rastreo?
El informe de estadísticas de rastreo se encuentra dentro de la sección de configuración (ajustes) de Google Search Console
Nuevo informe de estadísticas de rastreo de Search Console
La gráfica del informe de Estadísticas de rastreo incluye las siguientes métricas:
- Total de solicitudes de rastreo: Solicitudes enviadas a tu web durante el periodo indicado, contando todas las solicitudes enviadas a una misma URL
- Tamaño total de la descarga: Tamaño total (en bytes) de todos los archivos y recursos descargados durante los rastreos, pero no se cuentan los que ya estaban en la caché por haberse descargado antes. Incluye archivos HTML, imágenes asociadas, CSS y secuencias de comandos
- Tiempo medio de respuesta: Tiempo medio que se tarda en obtener el contenido de una página como respuesta a una solicitud de rastreo sin contar la obtención de los recursos vinculados o insertados ni el tiempo de renderizado
A continuación, el informe ofrece tarjetas con información sobre el Host y el desglose de solicitudes de rastreo.
Hosts
La información sobre el estado del host soporta propiedades con múltiples hosts, permitiendo evaluar el rendimiento de todos los hosts de tu dominio en un solo lugar.
Puedes verificar el estado del host para cada uno de los principales hosts en la vista de resumen del informe.
Los detalles del estado del host en el informe permiten verificar la disponibilidad de tu sitio para el robot de Google en los últimos 90 días (aunque solo aparecen datos desde el 1 de noviembre), ofreciendo datos de estado y de tendencia e información específica de posibles errores en el archivo robots.txt, resolución de DNS y conectividad del servidor.
La herramienta ofrece estadísticas detalladas para el dominio de nivel superior y hasta 20 dominios secundarios, con ejemplos de URLs para mostrar dónde ocurrieron las solicitudes.
Haz clic en cualquier entrada de la tabla para generar una vista detallada de ese elemento, incluida una lista con URLs de ejemplo. Haz clic en una URL para ver información detallada sobre esa solicitud de rastreo.
Estado del Host
Haciendo clic en cualquiera de los Hosts, accederás a su informe de estadísticas de rastreo específicas, en el que encontrarás el apartado de estado del host con más información.
Lo ideal es que el estado del host sea Verde. Si el estado de disponibilidad es rojo, haz clic en él para ver los detalles de disponibilidad de los archivos robots.txt, la resolución de DNS y la conectividad del host.
Pueden indicarse los siguientes estados:
- Google no ha encontrado ningún problema de disponibilidad de rastreo en tu sitio durante los últimos 90 días. ¡Buen trabajo! No tienes que hacer nada más.
- Google ha detectado al menos un problema de disponibilidad de rastreo en los últimos 90 días en tu sitio, pero ocurrió hace más de una semana. Puede que se tratase de un problema temporal o que ya se haya resuelto.
- Google ha detectado al menos un problema de disponibilidad de rastreo en tu sitio durante la última semana. Como el error se ha producido recientemente, debes intentar determinar si se trata de un problema recurrente.
En el gráfico de cada categoría aparece una línea roja de puntos. Si la métrica está por debajo de la línea de puntos de esa categoría se considera un porcentaje de error aceptable.
Obtención de archivos robots.txt
El gráfico muestra el porcentaje de errores de las solicitudes de robots.txt durante un rastreo. Google solicita este archivo con frecuencia y, si la solicitud no devuelve un archivo válido (ya sea relleno o vacío) o una respuesta 404 (el archivo no existe), Google ralentizará o dejará de rastrear el sitio hasta que pueda obtener una respuesta aceptable de robots.txt.
Resolución de DNS
El gráfico muestra en qué momentos tu servidor DNS no ha reconocido el nombre del host o no ha respondido mientras se hacía el rastreo. Si detectas algún error, ponte en contacto con el registrador para asegurarte de que el sitio esté bien configurado y de que el servidor esté conectado a Internet.
Conectividad del servidor
El gráfico muestra en qué momentos el servidor no ha respondido o no ha proporcionado una respuesta completa de una URL durante el rastreo.
Desglose de solicitudes de rastreo
El desglose de solicitudes de rastreo se muestra en tarjetas agrupadas por códigos de respuesta, tipo de archivo rastreado, finalidad del rastreo y tipo de robot de Google (lista de user agents de Google)
Códigos de respuesta habituales
Códigos de respuesta correctos:
- Correcto (200)
- Movido permanentemente (301)
- Movido temporalmente (302)
- Movido (otro): otras respuestas de redirección 300 que no son 301 ni 302.
- Bloqueada por robots.txt: comprueba que no estás bloqueando páginas ni recursos que quieres que Google rastree
- Errores del tipo 404 (No encontrado): pueden deberse a enlaces rotos dentro o fuera de tu sitio. A menudo, devolver este error es lo correcto. Por ejemplo, si realmente se ha retirado una página.
Códigos de respuesta incorrectos:
- El archivo robots.txt no está disponible
- No autorizado (401/407)
- Error del servidor (5XX)
- Otro error de cliente (4XX)
- El DNS no responde
- Error de DNS
- Error de obtención
- No se ha podido acceder a la página
- El tiempo de espera de la página se ha agotado
- Error de redirección
- Otro error
Consulta la página de ayuda del informe de estadísticas de rastreo para ver más información sobre cómo resolver estos errores.
Tipos de archivos rastreados
El tipo de archivo devuelto por la solicitud, que puede tener los siguientes valores:
- HTML
- Imagen
- Vídeo: uno de los formatos de vídeo admitidos
- JavaScript
- CSS
- Otro XML: un archivo XML que no incluye RSS, KML ni ningún otro formato basado en XML
- JSON
- Distribución: un feed RSS o Atom
- Audio
- Datos geográficos: KML u otros datos geográficos
- Otro tipo de archivo: otro tipo que no se menciona en este artículo
- Desconocido (solicitudes con errores): si la solicitud falla, no se conoce el tipo de archivo
Finalidad del rastreo
Los posibles objetivos del rastreo son:
- Descubrimiento: Google nunca ha rastreado la URL solicitada.
- Actualizar: se vuelve a rastrear una página conocida.
Tipo de robot de Google
El tipo de user-agent empleado por Google para hacer la solicitud de rastreo puede ser:
- Smartphones
- Ordenador
- Imagen
- Vídeo
- Carga de recursos de la página
- AdsBot
- Otro tipo de agente
