¿Qué es el Crawl Budget o Presupuesto de Rastreo?

Por qué es necesario el Presupuesto de Rastreo

Para hacernos una idea del contexto, tenemos que tener claro que Google visita nuestra web cada cierto tiempo.

Cuanto más pasa el tiempo, más contenido tendrá nuestra página web. Además, como el resto de páginas también aumentará su contenido. El problema viene cuando el día solo tiene 24 horas, tiempo que tiene Google para rastrear todas las páginas nuevas.

Para solucionar esto, Google puede utilizar más potencia (es decir, más servidores para rastrear, lo que se traduce en mayor coste) o resignarse y tardar más tiempo en crawlear la web.

Qué es el Presupuesto de Rastreo o Crawl Budget?

Pues bien, Google decidió no decantarse por ninguna de estas opciones. En su lugar, decidieron dedicar a cada página un tiempo fijo, determinado por ellos.

Este tiempo fijo es lo que se conoce como Crawl Budget. Google asignará - a grandes rasgos - un tiempo a tu web en base a la autoridad de tu sitio, la velocidad, accesibilidad y calidad del contenido. Además, también dependerá de la frecuencia con la que actualices y crees contenido. No es lo mismo un periódico que publica 100 noticias al día que un blog que publica 1 a la semana.

¿Por qué es importante tener en cuenta el Presupuesto de Rastreo en nuestra estrategia SEO?

Si Google dedica un tiempo determinado a nuestra página web, tenemos que intentar que el tiempo que se pase analizando nuestro sitio sea de la mayor calidad posible.

De esta forma, Google se centrará más en recoger las novedades de, por ejemplo, nuestro blog y no tanto en páginas tal vez irrelevantes (en cuanto a contenido) para el usuario final como el Aviso Legal o la página de ¿Has olvidado tu contraseña?.

¿Cómo podemos optimizar nuestro Presupuesto de Rastreo?

Por suerte, hay una serie de pasos generales que podemos seguir para optimizar nuestra estrategia de rastreo:

1. Detecta páginas indexadas que devuelvan un código de error. Solucionándolo, el crawler de Google no pasará tiempo frecuentemente leyendo nuestras páginas de error. Para ayudarnos, podemos usar una herramienta como Screaming Frog
2. Detecta contenido duplicado y arréglalo. Al hacerlo, Google no pasará tiempo leyendo varias veces la misma página.
3. Utiliza el fichero robots.txt para pedirle al GoogleBot que no indexe páginas que no nos interesen (aviso legal, política de cookies, etc.).

Una vez hayamos hecho esta optimización, podemos pasar más tiempo generando contenido de valor que atraiga links externos. Estos links aumentarán nuestra Autoridad de Dominio y, eventualmente, mejorará nuestro presupuesto de rastreo.