Un matin, j'ai compté les alertes reçues par mon équipe pendant la nuit : quarante-sept. Sur ces quarante-sept, deux méritaient une action immédiate. Les autres étaient du bruit. Le vrai danger, ce n'était pas les deux vraies alertes, c'était que mes collègues avaient appris à ignorer leur téléphone. Une équipe qui coupe le son de ses alertes n'a plus de supervision, elle a juste un décor rassurant.
J'ai passé les mois suivants à supprimer des alertes plutôt qu'à en ajouter. Cela va à contre-courant de l'instinct. Quand un incident échappe à la surveillance, la réaction naturelle est de créer une nouvelle règle pour ne plus jamais le rater. Résultat : une accumulation de règles hyper-spécifiques qui se déclenchent pour des micro-variations sans conséquence. Chaque nouvelle alerte semble prudente prise isolément, et pourtant l'ensemble détruit la capacité de l'équipe à réagir.
Ma boussole aujourd'hui, c'est une question brutale : est-ce qu'un humain doit se lever de son lit pour ça ? Si la réponse est non, ce n'est pas une alerte, c'est au mieux un graphe à consulter le lendemain. J'ai déplacé des dizaines de règles depuis la catégorie qui réveille vers la catégorie qui informe. Le nombre d'alertes nocturnes a chuté, et curieusement, notre temps de réaction aux vrais incidents s'est amélioré, parce que les gens font de nouveau confiance à ce qui sonne.
J'aime aussi alerter sur les symptômes plutôt que sur les causes. Un utilisateur qui n'arrive pas à payer, voilà un symptôme qui mérite qu'on se réveille. Un pic de processeur sur une machine, c'est peut-être grave, ou peut-être totalement normal selon l'heure. Le symptôme parle le langage de l'utilisateur, la cause parle le langage de la machine, et c'est l'utilisateur qui paie nos salaires.
La supervision n'est pas un concours de quantité de métriques. C'est un exercice de discernement, où le silence bien conçu vaut mieux qu'un tableau de bord surchargé. Mon meilleur travail d'observabilité se mesure souvent au nombre d'alertes que j'ai eu le courage de supprimer.
– Sergey Shinder