Postmortem
Résumé
Depuis la mise en place de la version 28.0.11 nous avons identifié un nouveau bug majeur.
Lorsque des fichiers sont déplacés ils deviennent inaccessible, impossible de les ouvrir (avec onlyoffice), impossible de les télécharger.
Durées
| Start Time | Incident Detected By(User-reported/ Ad-hoc monitoring/ Alerting system) |
|---|---|
| Detection Time : 3 jours | Remonté par un ticket au support |
| Mitigation Time : 1 jour | Workaround et fix trouvé après 1 jour de debug |
| Resolution Time : 1 jour | Workaround et fix trouvé après 1 jour de debug |
Chronologie
| Date/Time | Who/What | Action/ Impact |
|---|---|---|
| 2024/10/25 16h40 | Utilisateur | Déplacement de plusieurs dossiers d’un utilisateur d’une de nos instances / Les fichiers deviennent inaccessibles |
| 2024/10/28 13h30 | Administrateur de l’organisation contributrice | Ticket créé pour nous remonter le problème |
| 2024/10/28 16h | IndieHosters | Investigation du sujet |
| 2024/10/29 16h | IndieHosters | Patch pour restaurer l’accès aux fichiers |
Impact
Impact sur les utilisateurices
Les fichiers sont visibles dans Nextcloud mais sont inaccessibles.
Impact sur l’infrastructure
Fichiers supprimés dans l’espace de stockage (MinIO) mais toujours présent dans la base de données Nextcloud.
Cause de l’incident?
Déclencheur(s)
Déplacement de fichiers/dossiers.
Root Cause(s)
Bug Introduit par Nextcloud - Object store move fixes and more by icewind1991 · Pull Request #48160 · nextcloud/server · GitHub et présent depuis mise à jours Jeudi 23/10/24
Quand des documents sont bougés d’un dossier appartenant à un utilisateurice vers un autre utilisateurice, les documents sont supprimés du stockage. Ce bug a lieu par exemple quand des fichiers sont bougé dans ou à partir d’un dossier partagé.
Mitigation & Résolution
Lessons apprises
Ce qui s’est bien passé
Debug efficace de nextcloud
Outillage pour restaurer déjà en place
Ce qui s’est mal passé
Bug non détécté avant d’être remonté par contributeurices
Bug non identifié lors de la QA - test de la fonctionnalité move a été fait mais pas dans le contexte d’un dossier partagé.
Nous avons été chanceux-ses
Remontée rapide par contributeurice
Peu de fichiers concernés par rapport au total
Actions
| Action Item | Type (Mitigate/ Prevent/ Process/ Other) | Who | Priority | Bug # | Due Date |
|---|---|---|---|---|---|
| Ajouer ce test dans la QA | Process | Arnaud | Haute | 29/10/24 | |
| Ajout patch | Fix | TimG | Haute | 29/10/24 | |
| Restauration des fichiers | Fix | Hugo | Haute | 29/10/24 |