Quand les bots se gavent : 70% de bande passante détournée

Découverte troublante hier en analysant les logs du serveur : certains bots particulièrement voraces - notamment MJ12bot et des crawlers WordPress mal configurés - monopolisaient près de 70% de la bande passante du site. Une véritable razzia numérique qui expliquait les lenteurs constatées ces derniers temps.

Face à cette situation, OVH a pris une mesure radicale : interruption complète de tous les bots, y compris Googlebot - ce qui n’est évidemment pas souhaitable pour le référencement à long terme.

Solution d’urgence déployée

Quelques lignes stratégiques ajoutées au fichier .htaccess pour bloquer les plus indésirables :

# Blocage bots gourmands
RewriteCond %{HTTP_USER_AGENT} MJ12bot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} WordPress [NC]
RewriteRule .* - [F,L]

Le problème est partiellement résolu, mais l’effet de cette modification reste à évaluer. Le temps de propagation de ces nouvelles règles dans l’infrastructure est encore inconnu - il faudra surveiller les métriques dans les prochaines heures.

Réflexions

Cette mésaventure soulève des questions importantes sur l’écosystème du web : comment des bots peuvent-ils aussi facilement parasiter les ressources d’un site ? Où est la frontière entre indexation légitime et pillage de contenu ?

Une chose est sûre : la vigilance est de mise. Les logs de serveur recèlent parfois des surprises désagréables qu’il vaut mieux découvrir avant que les performances ne s’effondrent complètement.

Affaire à suivre - prochaine analyse des métriques dans 24-48h.

When bots feast : 70% bandwidth hijacked

Troubling discovery yesterday while analyzing server logs : certain particularly voracious bots - notably MJ12bot and poorly configured WordPress crawlers - were monopolizing nearly 70% of the site’s bandwidth. A veritable digital raid that explained the slowdowns experienced recently.

Faced with this situation, OVH took a radical measure : complete interruption of all bots, including Googlebot - which is obviously not desirable for long-term SEO.

Emergency solution deployed

A few strategic lines added to the .htaccess file to block the most problematic ones :

# Blocking bandwidth-hungry bots
RewriteCond %{HTTP_USER_AGENT} MJ12bot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} WordPress [NC]
RewriteRule .* - [F,L]

The problem is partially resolved, but the effect of this modification remains to be evaluated. The propagation time of these new rules within the infrastructure is still unknown - metrics will need to be monitored in the coming hours.

Reflections

This mishap raises important questions about the web ecosystem : how can bots so easily parasitize a site’s resources ? Where is the boundary between legitimate indexing and content pillaging ?

One thing is certain : vigilance is required. Server logs sometimes contain unpleasant surprises that are better discovered before performance collapses completely.

To be continued - next metrics analysis in 24-48h.