La base de donnée d'invidious (tables vidéos) à "légèrement" explosé durant la nuit (7Go).
La supervisioin augmente pas les disques comme ça donc on a failli froler la catastrophe. (Oui, ça surprend quand, au petit matin, tu reçois un mail "Problem on psql-1 : Disaster : Disk space : 3% remain (il en restait 1).
Le disque est augmenté mais faut que je regarde ce qui est stocké dans cette tables parce que 7Go de titre... Ça a failli dépasser Mastodon...
BOn bah j'ai ma réponse
Une IP a tapé plus de 72 000 fois tandis que les autres derrières n'ont fait que 2700 requêtes; 1169 et 700 (puis 300...)
Bon bah va falloir que je trouve un moyen de purger cette BDD
@Dryusdan 72000 ?
Hum c'est pas moi... :p
@manu_smx SI c'était toi tu n'y aurais plus accès x)
@Dryusdan Ah, je me serais fait bannir ?
@manu_smx Je bloque les IPs
trop de requête vers Google
Et ça a failli déglinguer les services dépendant de PostgreSQL
@Dryusdan Pourquoi pas un filtre fail2ban maison pour ce souci ?
Il me semble que tu l'as déjà sur ton infra, il faudrait donc juste trouver les logs des bots, voire s'il y a moyen de les reconnaître (plus de X requêtes/s montre que ce n'est pas un humain ? Un User Agent précis ?) et ensuite demander à fail2ban de tout drop 🙂
@victorhery Juste pour ce qui est question de perf :p
Même si un f2b maison c'est jouable, faut réussir à faire les bonnes regex et trouver les pattern d'attaques :p
Par exemple là le bot n'avait pas de user agent
@Dryusdan Ah bah ça pour le coup ça me parait assez simple, tu peux le bloquer direct au niveau du nginx
Pas de user agent, ça veut dire trèès probablement pas un navigateur, hors vu le service, un accès humain se fait forcément via un navigateur 🤔
(A tester avec les navigateurs TOR ou des plugins qui cachent le user agent.Mais l'enlever complètement ? Je pense pas)
@victorhery Non, ça le spoof, ça le vire pas.
Mais ça fais une attaque :p
Demain le même bot arrive en s'appelant firefox je l'ai dans le baba :p
@victorhery J'pensais partir sur ça : https://github.com/nbs-system/naxsi
@victorhery Ouai mais sinon fail2ban c'est bien 😇
Va falloir que je trouve un moyen de bloquer tout ça...
Mettre le rp derrière un firewall ? Chiant à mettre en oeuvre
Mettre en place un moyen d'analyser le trafic qui passe par Nginx et bloquer les comportements suspects ? (Un waf)
Possible, mais c'est plus compliqué...