Como solucionar el Error 502 en Screaming Frog para poder crawlear la web

/, Trucos SEO/Como solucionar el Error 502 en Screaming Frog para poder crawlear la web

Como solucionar el Error 502 en Screaming Frog para poder crawlear la web

Llega el momento de auditar una web, ya sea de un cliente o una posible propuesta, una de las primeras cosas que haces es poner el dominio en Screaming Frog para ver como está la cosa. Zas Zas… vas y te encuentras que Screaming Frog no te crawlear la web, empiezas a revisar la configuración de Screaming Frog , todo ok… revisas de nuevo el comando site: para ver si la web se esta indexado.. Todo OK, revisas la cache de Google para comprobar que este todo bien y la ultima vez que paso… Nada, todo bien y el bot paso ayer mismo, revisas los headers con la consola de chrome te devuelve un 200…..

… hasta que al final te da por pinchar en la url y ves que Screaming Frog te devuelve en un 502!!

No te asuste, es cosa del servidor por el uso de un Firewall, puedes hablar con ellos y que te den acceso o bien puedes usar este truco para poder Crawlear la web.

Simplemente tienes que cambiar el user Agent, con decirle que eres Google Bot, te dejará rastrear la web sin problemas,  ya que el servidor no lo tiene cortado.

Para cambiar el User-Agent en Screaming Frog y poder crawlear debes ir al menu superior configuration> user agent y pon google bot, veras como te funciona

Descargar Screaming Frog: https://www.screamingfrog.co.uk/seo-spider/

 

Por | 2018-04-12T18:45:09+00:00 abril 12th, 2018|Categorías: Herramientas SEO, Trucos SEO|Sin comentarios

About the autor:

Actualmente profesora y consultora freelance de marketing online. Experta en Posicionamiento en buscadores SEO, he trabajado para Agencias internacionales y empresas como Enalquiler, Grupo Vocento y RTVE como SEO manager liderando equipos, durante los últimos 14 años. Mi experiencia se ha basado en dar visibilidad a productos, servicios, contenidos y marcas en los buscadores, en sectores de alta competitividad.

Deja tu comentario