État des services de Globenet

Pour améliorer la stabilité du réseau de Gitoyen (par lequel Globenet est relié au reste du monde), il y a cette nuit une intervention technique avec remplacement d'une machine. Cela occasionnera quelques coupures intermittentes de tous les services.

Ce ne seront que des interruptions de connexion, mais les données, messages, etc... ne sont pas perdus.

Afin de mettre à jour la configuration du pare-feu de Globenet, des opérations vont se dérouler samedi 10 et dimanche 11 mai sur la machine qui traîte le trafic Internet du réseau de Globenet.

Il n'est pas prévu de coupure de services. Néanmoins, il se peut qu'il y ait de brèves interruptions.

Dimanche 11 mai - 12h30 : La configuration du pare-feu a été mise à jour. Si vous constatez des comportements réseaux inhabituels, contactez le support de Globenet : support (at) globenet.org.

Il semble que le mail, sur la plateforme d'hébergement mutualisé, est partiellement indisponible; ça semble être un souci de filesystem. On regarde.

PS : cela ne concerne pas les mails @no-log.org.

Une panne de courant est intervenue sur l'ensemble de la rangée des baies dans laquelles se trouvent nos serveurs vers 15h15. L'electricité a été rétablie vers 15h40.

Certains serveurs sont repartis tous seuls, pas d'autres. Nous travaillons à les remettere en route.

maj 19h : en fait la panne impactait plus que notre rangée, mais la moitié d'un étage du datacenter, soir plusieurs centaines de machines; tout semble être rentré dans l'ordre sans dégâts.

maj 02h : en fait, le service de mailing-listes était resté en rade, un hoquet mal digéré; un petit coup de pouce et c'est reparti.

Depuis 18h20 environ, les boites des domaines hébergés sur globenet (et non les boites no-log) sont indisponibles.

Ceci est dû à un probleme de systeme de fichiers.

Nous venons de lancer une vérification, qui devrait prendre quelques dizaines de minutes.

Mise à jour à 22h10 :

Aucune perte de donnée constatée, nous relançons les services.

La pare feu de Globenet et No-log qui est sur la machine Casserole a subi un gros lifting ce week end.

Tous les services (services mutualisés, service mail No-log, accès RTC No-log, serveurs dédiés) peuvent potentiellement être impactés par des problèmes d'accès. Nous avons effectué un maximum de tests, mais nous ne pouvons faire de vérifications exhaustives.

Si vous constatez des problèmes d'accès aux services ou des dysfonctionnements merci de nous le signaler en envoyant un mail a support (at) globenet.org.

L'équipe Globenet-No-log

L'équipe des bénévoles de Globenet va travailler ce week-end pour des travaux de maintenance sur l'ensemble des machines. Des risques de coupure sont à prévoir dans la nuit, mais au matin l'IMAP sur no-log sera de nouveau en service.

Cela va affecter aussi bien les services de Globenet que ceux de no-log, un peu de patience vous est demandé pour des machines plus fiables dans l'avenir.

Merci Equipe Globenet/no-log

Nous devons effectuer des mises à jour de sécurité sur certaines machines de Globenet.

Certaines machines vont être redémarrées mais les coupures de service ne devraient pas dépasser 5 minutes.

Mise à jour de 22h50 : Ça y est, les trois machines nécessitant une mise à jour ont été redémarrées. La denière était le routeur de Globenet et notre réseau a donc été injoignable pendant trois ou quatre minutes aux alentours de 22h40.

Les opérations de récupération des boites perdues se terminant, il reste encore quelque opérations physiques sur bender, afin d'enlever les disques qui avaient été corrompus et déplacer les nouveaux disques sur leurs emplacement définitifs.

Cela necessitera encore un arrêt du serveur (mais c'est le dernier, normalement!) et devrait durer environ un heure.

10/02/2008 18h45

Début de l'intervention, arrêt des services.

10/02/2008 20h30

Redémarrage des services.

Une dernière opération de copie est en cours, pour traiter les sous-dossiers des boites récupérées hier soir, qui n'avaient pas été traitées.

Après avoir recopié le contenu des boites endomagées en décembre sur d'autres disques durs (un message personnalisé sera envoyé aux personnes concernées par des pertes de messages), nous allons maintenant effectuer la fusion entre l'ancien contenu et celui reçu depuis le crash. Ceci provoquera l'interruption des services le temps de la synchronisation, ou au moins des perturbations pour certaines boites.

L'intervention devrait débuter vers 23h pour une durée de deux heures environ.

Mise à jour à 23h25 :

Nous coupons tous les services et commençons l'intervention.

Mise à jour à 3h45 :

L'intervention est terminée.

24 01 2008 20:00

Les opérations de maintenance en vue de stabiliser le fonctionnement des services de no-log reprennent. Malheureusement le serveur "ne reste pas ouvert durant la durée des travaux", celles ci nécessitant de redémarrer le serveur plusieurs fois. Nous vous tiendrons au courant de l'évolution ici même.

24 01 2008 23:20

Les manipulations sur les disques sont effectuées. Les services sont relancés à l'instant. Une opération de copie va être lancée en tache de fond cette nuit, pouvant provoquer quelques lenteurs d'accès. Nous serons bientot en mesure de préciser l'ampleur des dégats pour les boites parmis les 20000, et parmis les 1050.

Si d'autres opérations de maintenance sont nécessaires, nous vous tiendrons au courant par ce canal.

Amicalement et patiemment

L'équipe "sauvetage no-log"

22 01 2008 19:30

Reprise des actions de maintenance et malheureusement le serveur "ne reste pas ouvert durant la durée des travaux". Nous ne pouvons pas préciser l'heure de reprise, nos relations avec "Murphy" étant ce qu'elles sont, mais nous sommes des bénévoles et beaucoup travaillent demain matin, donc on espère tous que cela re-fonctionne rapidement. Nous serons alors à même de vous informer sur la date de récupération d'une partie des boîtes mails.

23 01 2008 01:06

Une copie des données vient d'être lancée afin de les transférer sur un système plus fiable. Cette copie devrait se terniner vers 8 ou 9 H. En fonction des résultats, les administrateurs système décideront de la suite à donner à leur action.

23 01 2008 10:30

Les opérations de copie se sont bien déroulées, et se sont terminées vers 10h. Après quelques manipulations complémentaires, les services viennent d'être relancés.

D'autres opérations de maintenance, nécessitant une coupure des services seront encore nécessaires dans les jours à venir pour récupérer les messages des 20000 boites en souffrance. Nous vous tiendrons au courant de leur déroulement ici même.

Amicalement et patiemment

L'équipe "sauvetage no-log"

15:00

Les opérations de maintenance sont maintenant entamées. Le serveur est arrêté. Nous vous informerons régulièrement de l'avancé de l'intervention. Vous pouvez aussi nous rejoindre sur irc, et ouvrir le dialogue pour la suite sur les listes de discussion.

20:00

Les opérations de maintenance se déroulent pour l'instant sans problèmes majeurs. Les nouveau disques ont été installés mais nous n'avons pas pour l'instant de visibilité quant à la durée de l'intervention.

01:00

Les services sont de nouveau en route, mais nous n'avons pu effectuer qu'une partie des actions planifiées. Il nous faudra donc continuer et arrêter de nouveau la machine. Concernant les boîtes mails temporairement vides, nous ne pouvons pas plus, actuellement, donner d'informations, mais les processus permettant la restauration d'une partie de celles-ci ont été fortement engagés. Ces actions devront avoir lieu mardi 22/01/08 dans la soirée, mais nous vous informerons plus dès que nous aurons arrêté un plan d'action.

Le service de messagerie no-log risque d'être interrompu demain après midi à partir de 14H

Le terme perfectif désigne autant la temporalité de l'intéruption que sa raison d'être. Suite aux dysfonctionnements importants survenus en décembre , les services ont été remis en route de manière dégradée. Il s'agit maintenant de faire en sorte que la machine puisse de nouveau fonctionner de manière optimale et c'est pour cette raison que le serveur doit être arrêter.

Les actions de maintenance comprennent aussi la migration des boites mails et l'envoi d'un courriel aux 1035 comptes qui n'ont, malheureusement pas survécus au krach. Quant à la durée de l'intervention, nous allons tout faire pour qu'elle soit la plus courte possible, mais nous prendrons le temps de faire les choses au mieux. Aussi prenez votre mal en patience, il est bon de temps en temps de se rappeler que dernière les machines il y a des gens qui les font fonctionner. Nous espérons simplement, que comme l'a affirmé l'un des "admin sys", Murphy soit parti en vacances.

En attentant, pour ceux qui auraient envie d'être plus informés du fonctionnement des courriers électroniques et pour comprendre l'intérêt que l'on peut avoir à faire usage d'un client de messagerie.

Nous vous informerons régulièrement de l'état d'avancement des travaux

Amicalement – L'équipe "sauvetage no-log"

Ce matin vers 10h et quart le serveur de mails et listes de diffusion de Globenet (levant) a planté.

Un redémarrage forcé a été effectué et nous sommes en train de réparer ce qui aurait pu être perdu dans l'intervalle (nous avons des sauvegardes de cette nuit).

Mise à jour, 19h30 : Ça a été plus long que prévu, avec encore quelques soucis de disques, résolus. Aucune donnée n'est perdue, tous les messages vont arriver (avec parfois un petit peu de retard).

PS: cette panne ne concerne pas les services de No-log.