80legs.com – DDOS

A lo mejor no fue una mala idea, pero me trajo dolor de cabeza. Calculo que no soy el único…

Todo comenzó una mañana tranquila cuando uno de los servidores comenzó a levantar carga. Fue fácil determinar la causa:

|-httpd-+-589*[httpd]
| |-96*[httpd—suphp]
| |-259*[httpd—php-cgi]
| |-47*[httpd—httpd]
| |-9*[httpd—2*[php-cgi]]
| `-httpd—perl5.8.8

Culpable? Un sitio que tenia muchas visitas como la siguiente:

101.51.34.x – – [14/Jul/2012:09:02:20 -0300] “GET /index.php?option=com_zoom&Itemid=26&page=view&catid=23&key=5&hit=1 HTTP/1.1” 403 219 “-” “Mozilla/5.0 (compatible; 008/0.83; http://www.80legs.com/webcrawler.html) Gecko/2008032620”

Los accesos sin la leyenda “http://www.80legs.com/webcrawler.html” fueron apenas cientos, cuando con la misma sumaron decenas de miles en pocos minutos. Como podemos ver en el sitio de este…buscador, es inútil bloquear las IP (cosa que comprobé, son miles diferentes). La única solución que proponen es agregar este texto en el robots.txt del virtualhost:

User-agent: 008
Disallow: /

Sospecho que necesitan ahorrar el ancho de banda para rastreo de las web, ahora si no es DDOS le pega en el palo. Aplicando estas lineas al robots.txt realmente a la larga hace que las consultas paren, ahora…que hacemos si hay miles de sitios que necesitamos mantener en linea?

Por ahora no tuve una respuesta a la consulta que les he hecho al respecto, espero que no comiencen a ignorar el archivo robots.txt después de varios miles de bloqueos que seguramente van a tener, de lo contrario tendré que renunciar y me gusta lo que hago.

La frecuencia de rastreo esta entre dos y tres horas, por mas que actualicemos el robots.txt puede pasar un tiempo hasta que lo levanten (claro que para eso también necesitamos que este respondiendo el sitio). Buscando un poco en internet vemos que hay varios sitios afectados, mas que nada aquellos con contenido pesado y bases de datos. En resumen creo que es bueno tomarlo como advertencia del poder de DDOS que puede ser llevado a cabo con un botnet.

Deja un comentario

Para proteger el blog de SPAM, le pedimos que complete la tarea:WordPress CAPTCHA