Error 502 Screaming Frog
¿Estás intentando lanzar Screaming Frog, y solo crawlear una URLs?

Revisa los robots.txt y la configuración pero si te sigue pasando lo más seguro es que te esté dando un error 502.

¿Cómo hago para seguir con el Crawl si Screaming Frog me devuelve un 502?
Para solucionarlo solamente deberás cambiar el User-Agent por el de Google Bot.
Arriba en el menú superior->Configuation->User-Agent y selecciona del desplegable a Googlebot

No te alarmes, esto no quiere decir que el sitio este caído o que Google no pueda acceder. Esto suele ser una medida de seguridad que ponen los servidores.
¿Qué es un error 502?
Si tiene curiosidad y no solo quieres solucionar el problema del 502, sino que también te interesa saber que es un 502, te lo cuento brevemente.
Los errores de servidor 500/502/503 son Errores internos del servidor, es decir tenemos un problema de servidor. Y concretamente el error 502 Bad Gateway es un código de estado HTTP que devuelve el servidor cuando no es capaz de procesar una petición determinada.
Más información sobre el status code 502 lucushost.com/blog/error-502-bad-gateway
-
Temas:
