Llega el momento de auditar una web, ya sea de un cliente o una posible propuesta, una de las primeras cosas que haces es poner el dominio en Screaming Frog para ver como está la cosa. Zas Zas… vas y te encuentras que Screaming Frog no te crawlear la web, empiezas a revisar la configuración de Screaming Frog , todo ok… revisas de nuevo el comando site: para ver si la web se esta indexado.. Todo OK, revisas la cache de Google para comprobar que este todo bien y la ultima vez que paso… Nada, todo bien y el bot paso ayer mismo, revisas los headers con la consola de chrome te devuelve un 200…..
… hasta que al final te da por pinchar en la url y ves que Screaming Frog te devuelve en un 502!!
No te asuste, es cosa del servidor por el uso de un Firewall, puedes hablar con ellos y que te den acceso o bien puedes usar este truco para poder Crawlear la web.
Simplemente tienes que cambiar el user Agent, con decirle que eres Google Bot, te dejará rastrear la web sin problemas, ya que el servidor no lo tiene cortado.
Para cambiar el User-Agent en Screaming Frog y poder crawlear debes ir al menu superior configuration> user agent y pon google bot, veras como te funciona
Descargar Screaming Frog: https://www.screamingfrog.co.uk/seo-spider/
Gracias me ayudó muchooo