État des services de Globenet

Un problème sur une des partitions du serveur gérant les mails de globenet et des domaines hébergés (rien à voir avec les mails de no-log) empêche la réception et la récupération des messages.

Nous arrêtons les services et lançons une vérification de la partition.

lundi à 15h : Jacques est parti pour intervenir sur place et réparer la partition.

mardi à 02h00 : Si nous sommes quasiment assurés que nous pourrons récupérer tous les messages (y compris ceux arrivés lundi matin et qui n'ont donc pas été sauvegardés sur notre machine de backup), la remise en service des partitions touchés se révèle plus complexe que prévu. Nous arrêtons donc pour ce soir et continuerons demain.

Excusez nous pour les désagréments....

mardi à 12h :

Nous avons pu remettre en service les partitions, apparemment sans dommage. Nous relançons les services progressivement.

mardi à 12h30 :

Le service de mail est à nouveau opérationnel.

mardi à 22h00 :

Le service web pour la gestion des listes de discussion/diffusion est opérationnel

Le réseau Globenet semble coupé depuis 10 minutes; à première vue, ça ressemble à un souci matériel, câble ou prise. On cherche à en savoir plus.

mise a jour : ca vient d'un switch (équipement réseau), qui ne répond plus; soit il a juste un hoquet, et il repart dans quelques minutes, soit il est mort et il faut le remplacer (temporairement en ~ 1h, définitivement en quelques jours).

mise à jour à 12h45 : le switch a été redémarré, il va mieux et le service est entièrement rétabli.

Cette coupure concernait tout le réseau de Globenet, y compris les serveurs hébergés et No-log. Elle a duré 50 minutes environ.

Les mails envoyés pendant la coupure ne sont pas perdus : ils sont encore sur les serveurs d'envoi qui réessayeront de les envoyer plus tard dans la journée.

Il semble que le mail, sur la plateforme d'hébergement mutualisé, est partiellement indisponible; ça semble être un souci de filesystem. On regarde.

PS : cela ne concerne pas les mails @no-log.org.

Une panne de courant est intervenue sur l'ensemble de la rangée des baies dans laquelles se trouvent nos serveurs vers 15h15. L'electricité a été rétablie vers 15h40.

Certains serveurs sont repartis tous seuls, pas d'autres. Nous travaillons à les remettere en route.

maj 19h : en fait la panne impactait plus que notre rangée, mais la moitié d'un étage du datacenter, soir plusieurs centaines de machines; tout semble être rentré dans l'ordre sans dégâts.

maj 02h : en fait, le service de mailing-listes était resté en rade, un hoquet mal digéré; un petit coup de pouce et c'est reparti.

Depuis 18h20 environ, les boites des domaines hébergés sur globenet (et non les boites no-log) sont indisponibles.

Ceci est dû à un probleme de systeme de fichiers.

Nous venons de lancer une vérification, qui devrait prendre quelques dizaines de minutes.

Mise à jour à 22h10 :

Aucune perte de donnée constatée, nous relançons les services.

Ce matin vers 10h et quart le serveur de mails et listes de diffusion de Globenet (levant) a planté.

Un redémarrage forcé a été effectué et nous sommes en train de réparer ce qui aurait pu être perdu dans l'intervalle (nous avons des sauvegardes de cette nuit).

Mise à jour, 19h30 : Ça a été plus long que prévu, avec encore quelques soucis de disques, résolus. Aucune donnée n'est perdue, tous les messages vont arriver (avec parfois un petit peu de retard).

PS: cette panne ne concerne pas les services de No-log.

Depuis une bonne semaine une intervention manuelle est requise tous les matins pour réouvrir le robinet des mails entrant sur le serveur de Globenet.

Cette panne est due à une autre panne ayant demandé un redémarrage forcé de la machine qui a lui-même entraîné une corruption de la base de données de postgrey, notre logiciel anti robots spameurs.

Ce matin nous avons supprimé cette base de données, les coupures matinales ne devraient donc plus arriver, en échange du désagrément d'avoir de nouveau à attendre parfois plusieurs minutes les courriels des correspondant réguliers, leurs adresses n'étant plus listées dans la base.

La base de données de postgrey devrait être plus ou moins reconstituée dans une semaine ou deux et ces petits délais d'attente redevenir exceptionnels.

De notre côté nous devrions décider rapidement des solutions à mettre en place pour éviter que ce problème se reproduise.

Merci à toutes les personnes qui nous ont signalé la panne et merci aussi de leur patience à toutes les personnes touchées par ce problème.

PS: Cette panne ne concerne pas No-log.

PPS: Cette panne ne concerne pas No-log.

PPPS: Cette panne n'a jamais concerné No-log, les commentaires ne sont pas un forum, désolé...

Depuis 18h30, les services du serveur hébergeant les mail et listes des domaines hébergés par globenet ne répondent plus.

Après l'avoir rebooté, nous constatons des erreurs de système de fichiers dans les logs.

Nous arrêtons donc les services afin de vérifier les disques.

mise à jour à 20h10 :

Les services sont relancés.

Un problème de filesystem a rendu les boites mail sur levant, le serveur gérant les domaines hébergés par globenet.

Nous arrêtons les services pour faire une petite vérification des disques, avant de le remettre en route...

mise à jour à 18h15 :

Les services sont relancés.

Depuis ce matin un disque du serveur bender est full, nous travaillons à résoudre le problème le plus rapidement possible.

les boites aux lettres impactées sont celles commençant par les lettres suivantes : 0 8 e f i l m u y

maj @ 09h50 : on va devoir arrêter le service afin de déplacer certaines données. nous préparons le déplacement afin que cela engendre le moins de coupure possible du service

maj @ 10h15 : début de l'arrêt de service

mag @ 11h30: la copie des données c'est bien passée et tous les services sont relancés. Toutes nos excuses pour la coupure.

Comme d'habitude il n'y a pas de perte de courriels (si ça avait la moindre chance d'arriver, on préviendrait très fort ...)

Bonjour,

La machine bender qui héberge les services No-log etait encore malade aujourd'hui, elle vient d'être redémarré et le service est revenu

Bonjour,

La machine bender qui héberge les services No-log est un peu malade ce matin, nous faisons notre possible pour rétablir le service au plus vite.

11h15 : Finalement les deux machines de No-log (bender et robby) ont été redémarrées, on dirait que ça a tout remis d'aplomb.

Une des unités disques raid contenant une partie des mails no-log étant indisponible, nous devons arrêter les services mail pendant quelques minutes, le temps de la vérifier et la réactiver.

Cet arret devrait durer une dizaine de minutes.

Mise à jour à 17h55 :

Les services sont relancés.

Un des systèmes de disques contenant les comptes commençant par la lettre "s" est devenu indisponible vers 13h15. Week-end aidant, nous n'en avons été informés que beaucoup plus tard...

La remise en service de ces comptes a entrainé une coupure de l'ensemble des services pendant une dizaine de minutes, vers 19h30.

Aucun courrier n'a été perdu.

Quelques problèmes subsistent à la suite de la panne d'hier.

L'accès aux pages de gestion des listes de diffusion (https://listes.globenet.org/) n'était pas redémarré, il fonctionne à nouveau depuis 10h ce matin.

Par contre, l'accès à l'interface d'administration des comptes est toujours inaccessible. Si nous ne trouvons pas de solution moins radicale, la machine sera redémarrée aujourd'hui vers 13h30 (comme ça coupera tous les sites hébergés pendant quelques minutes il vaut mieux faire ça quand il y a peu de monde).

Mise à jour, 13h25 : Il n'y a finalement pas eu besoin de redémarrer la machine pour refaire fonctionner l'interface d'administration des comptes. Espérons que tout marche effectivement cette fois-ci...