Qué son los Robots?
En marketing digital un robot, bot, araña o rastreador es un software que rastrea las páginas web con diferentes objetivos, como por ejemplo indexar su contenido para los buscadores de internet.
Estos robots visitan las urls de un listado conocido, analizan automáticamente los enlaces que van encontrando y los siguen, al mismo tiempo que añaden los nuevos a su listado.
De esta forma los robots de los buscadores como Google, saltando de enlace en enlace, rastrean cada web para hacerse una idea de su contenido (crawling) y deciden para qué consultas podrían ser una respuesta válida (indexación), guardando los datos que necesita en su base de datos.
El robot principal de Google se llama Googlebot, que rastrea las páginas web como si fuera un ordenador, pero utiliza muchos otros para simular diversas características.
A continuación tienes un listado con los nombres de los robots de google y los Tokens de agente de usuario que se utilizan en los archivos robots.txt:
- Robot de Google: Googlebot (Ordenadores y smartphones)
- Robot de Google para Imágenes: Googlebot-Image
- Robot de Google para Noticias: Googlebot-News
- Robot de Google para Vídeo: Googlebot-Video
- APIs-Google: APIs-Google
- AdSense: Mediapartners-Google
- AdsBot para Web móvil en Android: AdsBot-Google-Mobile (Comprueba la calidad de los anuncios ubicados en las páginas web que se muestran en un dispositivo Android)
- AdsBot para Web móvil: AdsBot-Google-Mobile (Comprueba la calidad de los anuncios ubicados en las páginas web que se muestran en un iPhone)
- AdsBot: AdsBot-Google (Comprueba la calidad de los anuncios ubicados en las páginas web que se muestran en un ordenador)
- AdSense para dispositivos móviles: Mediapartners-Google
- Aplicaciones móviles para Android: AdsBot-Google-Mobile-Apps (Comprueba la calidad de los anuncios ubicados en las páginas web que se muestran en aplicaciones para Android. Sigue las reglas de robots de AdsBot-Google)
Volver al Diccionario SEO - Glosario de términos de marketing digital
