INCIDENT: farga afectada per indexadors IA 2025-03-19 (00:00-10:35)
Resum
| Tipus | Incident |
| Inici | 2025-03-18 23:00 (UTC) |
| Final | 2025-03-19 09:35 (UTC) |
| Tíquet | #XYZ |
| Alertes | Sí |
| Reaccionen | @evilham |
| Impacte | El servei farga.eXO.cat ha estat funcionant lent o ha estat indisponible per persones que el fan servir. |
| Reporten | @evilham |
Coincidint amb la publicació de Drew DeVault: “deixeu d’externalitzar les vostres despeses cap a mi”, l’eXO torna a veure’s afectada per la mateixa tipologia d’abusos; aquest cop des d’Alibaba Cloud.
Línia de temps
Tots els temps en UTC.
- 00:00 INICI INCIDÈNCIA
- 10:08 @evilham analitza la situació amb els logs i whois i decideix bloquejar Alibaba Cloud
- 10:35 FINAL INCIDÈNCIA
Detecció
Possible millora d’alertes
La detecció ha estat impecable indicant un ús anòmal de CPU, que feia que farga.eXO.cat estigués indisponible.
Conclusions
- Les peticions es feien des de moltes IPs del mateix proveïdor, que per nosaltres és irrellevant
- També es feien amb UAs molt habituals
- Aplicar rate limits per IP o UA o combinacions d’aquestes dades no sembla viable
Quà ha anat bé?
- La monitorització ha alertat del problema ràpidament
- Les automatitzacions de desplegament han permès desplegar solucions ràpidament
Enllaços a documentació rellevant
- https://git.sr.ht/~evilham/cdist-evilham/commit/8514ca135ebb9459da54f4b7d8c56c84a1bf4c4b
- Please stop externalizing your costs directly into my face
- LLM crawlers continue to DDoS SourceHut | sr.ht status
- The Subprime AI Crisis
- https://git.sr.ht/~evilham/cdist-evilham/commit/790bc65a585708380a602d3e2afc531e0fd6bb54
- https://git.sr.ht/~evilham/cdist-evilham/commit/790bc65a585708380a602d3e2afc531e0fd6bb54