État des services de Globenet

Bonjour,

A la suite des différents événements récents, le système de disque du serveur bender (messagerie No-log) nécessite une reconstruction (synchronisation des disques entre eux afin de garantir la cohérence des données). Cela implique des accès ralentis aux données 1.

Les conséquences sont donc les mêmes, le serveur a du mal à délivrer les mesages 2 dans les comptes de chacun, il devrait donc y avoir du délai dans la réception de mail aujourd'hui encore. Tous les mails envoyés hier ont du arriver à destination; néanmoins, il se peut que quelques messages ne soient pas encore arrivés.

1. Graphe d'utilisation du cpu : le rose indique des lenteurs sur les accès disques.

2. Graphe des mails en attendes de delivrance dans le serveur de mail

Toujours dans l'optique de résoudre ses problèmes de manière définitive, il se peut que le service soit encore perturbé aujourd'hui. Nous allons néanmoins essayer de minimiser les coupures. Vous pouvez toujours continuer à consulter ce blog pour suivre le déroulement des opérations.

maj @ 12h00: L'accès à la lecture des mails est coupé (webmail, pop et imap) afin de libérer les ressources pour la reconstruction des disques, car si on laisse en l'état, cela risque de prendre 2j et perturber le service d'autant.

maj @ 12h20: Service temporairement réouvert, on fera finalement la coupure un peu plus tard.

Merci de votre compréhension et de votre patience.

Bonjour,

Suite à un incident chez un partenaire pour les accès modem No-log, les connexions ont été impossibles entre hier 30 octobre 2006 à 15h et aujourd'hui 31 octobre 2006 à 1h30.

Désolés pour la gène occasionée.

Des travaux sont en cours sur le serveur de mail de no-log afin de résoudre les problèmes de lenteurs dans l'envoi et la réception des mail. Le service devrait être pertubé une bonne partie de l'après midi. Nous vous tiendrons informés dès que nous aurons plus d'informations.

maj @ 16h37: Nous relançons les accès aux mails (webmail, pop et imap) vos pouvez donc à nouveau les consulter; le service qui délivre les mails est toujours arrété donc les nouveaux mails n'arriveront pas encore.

maj @ 17h10: Nous avons relancés postfix, le service qui délivre les mails. Nous restons vigilants et surveillons que tout rentre dans l'ordre.

Nouvel incident faisant suite à celui d'hier, le service est coupé intégralement pour environ 1h, nous travaillons à le rétablir au plus vite.

maj @ 15h00: Le problème persiste, cela devrait prendre plus de temps que prévu, nous vous informerons dès que nous aurons plus d'élément à vous fournir.

maj @ 15h30: Nous avons corrigé le problème, nous relançons progressivement les services. Afin de ne pas trop charger le serveur, nous y allons doucement en nous assurant que tout est bien réparé. Le service risque d'être perturbé encore un peu (1/2h à 1h environ), les mails qui vous ont été envoyé risquent de mettre un peu de temps à arriver, le temps que les serveurs les ayant gardé aux chaud nous les renvoient.

maj @ 16h00: Tous les services sont relancés, tout devrait être rentré dans l'ordre maintenant. Malgré tout, il se peut qu'il y ait certaine lenteur sur le webmail et dans l'envoi ou la reception des mails pendant quelques heures.

maj @ 19h30: Du fait qu'il y a plusieurs milliers de mails1 dans la fil d'attente du serveur de mail, nous avons désactivé la réception des messages le temps que le serveur distribue tout ce qu'il a en attente. Les mails à destination du serveur ne sont pas perdu pour autant et seront délivré une fois qu'on aurra réactivé la réception (les serveurs émetteur les gardent un certain en essayant régulièrement de les renvoyer)

1. postfix mail queue

Depuis le début de l'après-midi, la délivrance des messages arrivés sur le serveur no-log.org dans les boites des destinataires est extrèmement lente.

Nous essayons de corriger la situation.

17h50 : Nous avons coupé IMAP et POP (services de lecture et téléchargement des messages). Cela rend impossible la récupération des mails, mais cela permet de réduire la charge de la machine et vider la file d'attente. Reprise probable d'ici une demi-heure.

18h50 : Tous les mails en attente on été mis dans les boîtes, nous relançons IMAP et POP.

Cette après-midi (lundi 16 octobre 2006), une courte coupure de l'accès Internet par les modems de No-log aura lieu.

Cette dernière est la suite des travaux entamés ce week-end sur la refonte du réseau. Nous espérons qu'elle sera la plus brève possible.

18h52 : Intervention terminée. Elle a été plus longue que prévue, mais le service n'a été interrompu que par intermitence.

Mardi 11h51 : Un soucis de routage était resté caché jusqu'à ce matin. C'est maintenant corrigé, les accès refonctionne normallement et accède de nouveau à tout Internet.

L'intégralité des services et des serveurs hébergés par Globenet seront hors-ligne à partir de 23h ce samedi 14 octobre.

Cette coupure sera essentiellement lié au recablage intégral du réseau physique de Globenet. C'est la première et plus grosse étape d'une refonte du réseau prévue de longue date, visant à le rendre plus sûr et plus souple.

22:56 : On va commencer tout bientôt...

00:07 : Ça avance petit à petit, le recablage électrique est presque fini.

01:48 : Ça avance... le recablage est fini, tout beau tout propre. Reste la configuration logicielle de tout ça.

03:18 : L'essentiel de la configuration est finie. Encore quelques bricoles, les services risquent de faire des va-et-vient d'ici la fin.

04:21 : Fin de l'opération. Il est grand temps d'aller se coucher!

Voici le résultat :

Suite à la mise à jour du service gérant les listes de diffuisions (mailman), celui-ci s'est un peu mélangé les pinceaux dans ses scripts d'installation et avait cassé quelques liens. Le service est resté indisponible du dimanche 08 octobre à 12 au lundi 09 octobre à 10h.

Désolés pour la gène occasionnée.

Statistiques de mailman

Suite à des mise à jour de sécurité, le noyau Linux des serveurs nord et est a été mis à jour. Un redémarrage a eu lieu aujourd'hui vers 12h15 afin de prendre en compte les modifications.

La coupure n'a duré que quelques minutes.

Suite à des mise à jour de sécurité, le serveur ouest (responsable de l'hébergement des sites webs) a été redémarré.

Cette opération a rendu le service indisponible 15 à 20 minutes. Désolé pour la gène occasionée.

Une mise à jour d'apache sur le serveur ouest a pris un peu de temps ce matin et a engendré une coupure de service des accès aux sites web de l'ensemble des sites hébergés pendant environ 5 à 10 minutes ce matin vers 10h30. Tout est rentré dans l'ordre.

rappel : ouest est le serveur frontal des sites web.

Suite à une mise à jour de sécurité, il est nécessaire de redémarrer le serveur, l'opération ne devrait prendre que quelques minutes. Elle est planifiée ce samedi 07 octobre entre 23h et minuit.

mise à jour @ 23h28 : Reboot effectué à 23h25, rien à signaler

Afin de finir la mise en place de notre nouvel outil d'administration à distance, nous allons procéder cette après-midi à une brève coupure du service d'hébergement de site web de Globenet.