État des services de Globenet

La pare feu de Globenet et No-log qui est sur la machine Casserole a subi un gros lifting ce week end.

Tous les services (services mutualisés, service mail No-log, accès RTC No-log, serveurs dédiés) peuvent potentiellement être impactés par des problèmes d'accès. Nous avons effectué un maximum de tests, mais nous ne pouvons faire de vérifications exhaustives.

Si vous constatez des problèmes d'accès aux services ou des dysfonctionnements merci de nous le signaler en envoyant un mail a support (at) globenet.org.

L'équipe Globenet-No-log

Les opérations de récupération des boites perdues se terminant, il reste encore quelque opérations physiques sur bender, afin d'enlever les disques qui avaient été corrompus et déplacer les nouveaux disques sur leurs emplacement définitifs.

Cela necessitera encore un arrêt du serveur (mais c'est le dernier, normalement!) et devrait durer environ un heure.

10/02/2008 18h45

Début de l'intervention, arrêt des services.

10/02/2008 20h30

Redémarrage des services.

Une dernière opération de copie est en cours, pour traiter les sous-dossiers des boites récupérées hier soir, qui n'avaient pas été traitées.

Après avoir recopié le contenu des boites endomagées en décembre sur d'autres disques durs (un message personnalisé sera envoyé aux personnes concernées par des pertes de messages), nous allons maintenant effectuer la fusion entre l'ancien contenu et celui reçu depuis le crash. Ceci provoquera l'interruption des services le temps de la synchronisation, ou au moins des perturbations pour certaines boites.

L'intervention devrait débuter vers 23h pour une durée de deux heures environ.

Mise à jour à 23h25 :

Nous coupons tous les services et commençons l'intervention.

Mise à jour à 3h45 :

L'intervention est terminée.

24 01 2008 20:00

Les opérations de maintenance en vue de stabiliser le fonctionnement des services de no-log reprennent. Malheureusement le serveur "ne reste pas ouvert durant la durée des travaux", celles ci nécessitant de redémarrer le serveur plusieurs fois. Nous vous tiendrons au courant de l'évolution ici même.

24 01 2008 23:20

Les manipulations sur les disques sont effectuées. Les services sont relancés à l'instant. Une opération de copie va être lancée en tache de fond cette nuit, pouvant provoquer quelques lenteurs d'accès. Nous serons bientot en mesure de préciser l'ampleur des dégats pour les boites parmis les 20000, et parmis les 1050.

Si d'autres opérations de maintenance sont nécessaires, nous vous tiendrons au courant par ce canal.

Amicalement et patiemment

L'équipe "sauvetage no-log"

22 01 2008 19:30

Reprise des actions de maintenance et malheureusement le serveur "ne reste pas ouvert durant la durée des travaux". Nous ne pouvons pas préciser l'heure de reprise, nos relations avec "Murphy" étant ce qu'elles sont, mais nous sommes des bénévoles et beaucoup travaillent demain matin, donc on espère tous que cela re-fonctionne rapidement. Nous serons alors à même de vous informer sur la date de récupération d'une partie des boîtes mails.

23 01 2008 01:06

Une copie des données vient d'être lancée afin de les transférer sur un système plus fiable. Cette copie devrait se terniner vers 8 ou 9 H. En fonction des résultats, les administrateurs système décideront de la suite à donner à leur action.

23 01 2008 10:30

Les opérations de copie se sont bien déroulées, et se sont terminées vers 10h. Après quelques manipulations complémentaires, les services viennent d'être relancés.

D'autres opérations de maintenance, nécessitant une coupure des services seront encore nécessaires dans les jours à venir pour récupérer les messages des 20000 boites en souffrance. Nous vous tiendrons au courant de leur déroulement ici même.

Amicalement et patiemment

L'équipe "sauvetage no-log"

15:00

Les opérations de maintenance sont maintenant entamées. Le serveur est arrêté. Nous vous informerons régulièrement de l'avancé de l'intervention. Vous pouvez aussi nous rejoindre sur irc, et ouvrir le dialogue pour la suite sur les listes de discussion.

20:00

Les opérations de maintenance se déroulent pour l'instant sans problèmes majeurs. Les nouveau disques ont été installés mais nous n'avons pas pour l'instant de visibilité quant à la durée de l'intervention.

01:00

Les services sont de nouveau en route, mais nous n'avons pu effectuer qu'une partie des actions planifiées. Il nous faudra donc continuer et arrêter de nouveau la machine. Concernant les boîtes mails temporairement vides, nous ne pouvons pas plus, actuellement, donner d'informations, mais les processus permettant la restauration d'une partie de celles-ci ont été fortement engagés. Ces actions devront avoir lieu mardi 22/01/08 dans la soirée, mais nous vous informerons plus dès que nous aurons arrêté un plan d'action.

Le service de messagerie no-log risque d'être interrompu demain après midi à partir de 14H

Le terme perfectif désigne autant la temporalité de l'intéruption que sa raison d'être. Suite aux dysfonctionnements importants survenus en décembre , les services ont été remis en route de manière dégradée. Il s'agit maintenant de faire en sorte que la machine puisse de nouveau fonctionner de manière optimale et c'est pour cette raison que le serveur doit être arrêter.

Les actions de maintenance comprennent aussi la migration des boites mails et l'envoi d'un courriel aux 1035 comptes qui n'ont, malheureusement pas survécus au krach. Quant à la durée de l'intervention, nous allons tout faire pour qu'elle soit la plus courte possible, mais nous prendrons le temps de faire les choses au mieux. Aussi prenez votre mal en patience, il est bon de temps en temps de se rappeler que dernière les machines il y a des gens qui les font fonctionner. Nous espérons simplement, que comme l'a affirmé l'un des "admin sys", Murphy soit parti en vacances.

En attentant, pour ceux qui auraient envie d'être plus informés du fonctionnement des courriers électroniques et pour comprendre l'intérêt que l'on peut avoir à faire usage d'un client de messagerie.

Nous vous informerons régulièrement de l'état d'avancement des travaux

Amicalement – L'équipe "sauvetage no-log"

Pour l'historique, c'est sur le billet précédent. Sinon, pour l'actu, c'est ici...

Le webmail est réouvert, en partie.

• vous ne recevez aucun des messages envoyés depuis dimanche. ce sera pour plus tard;
• certaines boites semblent vide, ou ne permettent pas de se connecter; pour la plupart, c'est temporaire, ce sont les boites sur lesquelles y'a encore du travail; les adresses touchées sont celles qui commencent par les lettres 1 2 3 5 7 9 b d j k o r t v x z;
• seul le webmail fonctionne. pas de pop/imap externe;
• c'est du temporaire/bricolage, pour vous permettre de prévenir les gens; pour tout ce qui est important, pensez à passer par une autre boutique.

Bonne journée quand même...

Mise à jour de 13h10 :

On a rallumé le radius ce qui veut dire que l'accès à internet par les modems de no-log est de nouveau possible.

mise à jour à 15h30 :

On a racheté des disques. Une partie des données qui ne nous semblait pas en très bon état est en cours de consolidation.

Détails sur la situation:

• 1050 comptes ont très probablement perdu tous les messages reçus avant dimanche soir et encore présents sur les serveurs
• 20000 comptes ne sont pas accessibles (ceux qui commencent par 1 2 3 5 7 9 b d j k o r t v x z).
• tous les autres comptes vont bien
• toutes les données du webmail sont intactes; donc vos carnets d'adresses ne sont pas perdus
• si vous ne pouvez pas accéder au webmail, c'est que vous êtres dans les 20000, et peut-être aussi dans les 1050
• nous ne recevons toujours pas les messages envoyés depuis dimanche soir; ils sont en attente sur les serveurs des expéditeurs; ils ne sont pas "perdus", mais certains ne vous parviendront pas et finiront par retourner à l'envoyeur.
• seul le webmail est ouvert; impossible d'accéder aux boites par un autre moyen
• le webmail vous permet d'envoyer des messages, pas d'en recevoir
• en plus, il semble que le serveur qui héberge ce blog d'info a des hoquets...

Perspectives proches (entre 24h et une semaine):

• peut être un acces au webmail pour tout le monde, mais avec des boites temporairement vides pour les 20000
• peut-être un accès POP pour tout le monde, aux mêmes conditions

Perspectives moins proches et pas garanties:

• récupération des boites mail des 20000

Perspectives très très incertaines:

• récupération des boites mail des 1050

Pour les gens qui voudraient participer, ça se passe d'abord sur irc, et sur les listes de discussion; manifestez-vous. De préférence des gens disponibles dans la durée. Pas besoin de sous mais de mains, de neurones et de sueur. Et de sourires aussi :)

Mise à jour de 16h27 :

Les 20000 comptes inaccessibles disposent d'une boite mail temporaire. Cela permet au moins d'accéder au webmail, de récupérer le carnet d'adresses et d'envoyer des courriels.

L'étape suivante est la réouverture de la réception des mails.

Mise à jour de 17h09 :

Et voilà, les mails passent à nouveau dans les deux sens. Les messages envoyés maintenant arriveront comme d'habitude; ceux envoyés depuis dimanche ne sont pas ''perdus', ils arriveront dans le désordre, si ils n'ont pas été renvoyés à l'expéditeur. L'utilisation de logiciels de messagerie (Thunderbird, Outlook, Apple Mail, Eudora, etc.) n'est pas encore possible. seul le webmail est ouvert.

Nous avons encore pas mal de travail pour récupérer ce qui peut l'être des messages archivés et pour reconstruire quelque chose de solide mais la situation est maintenant moins tendue.

Mise à jour de 23h00 :

Le service POP(S) est réouvert. Donc si vous utilisez un client de messagerie (Thunderbird, Outlook, etc.) en POP, vous pouvez récupérer vos messages à la maison. Si vous faites partie des comptes malchanceux, bah il n'y aura pas plus de messages en POP que par le webmail. Pas d'IMAP pour le moment, pour éviter les catastrophes en cas de synchronisation sur une boite vide.

Bonne nuit.

Mise à jour de jeudi 11h00 :

Le webmail s'est cassé la figure. C'est juste le webmail, rien de grave. On le relance.

Mise à jour de samedi 10h30 :

On a changé quelques réglages sur les nouveaux disques, hier. Pas grand chose de plus, on attend, on observe, on se repose. La récupération des boites actuellement inaccessibles ne débutera probablement pas avant la semaine prochaine. Faites ripailles!

Depuis 14h50 environ, une partie des comptes no-log est inaccessible. Seuls les comptes commençant par les lettres c, i et s sont concernés.

A priori, il ne s'agit que d'un problème de liaison entre les disques et la carte raid, avec peu de risques de pertes de données.

Nous préférons cependant prendre quelques précautions pour relancer les disques, qui nécessiteront peut-être une interruption générale du service dans l'heure qui suit.

mise à jour à 23h30 :

Nous sommes toujours en train de travailer sur le serveur, dont nous avons dû arrêter tous les services, suite à une cascade de problèmes imprévus.

Malgré quelques grosses frayeurs, nous avons pu réaccéder à tous les messages.

En tout état de cause, devant effectuer par la suite une vérification complete de la plus grosse unité raid5, les services ne pourront pas être rétablis avant demain matin.

Excusez nous pour le désagrément.

mise à jour à 4h00 (lundi 16/12) :

Finalement, ce n'est pas les unités raid1 qui nous ont causé des problèmes pendant la journée qui semblent lâcher, c'est la grosse unité raid5 qui contient pas loin de la moitié des mails no-log.

En effet, ce qui semblait être une simple vérification/réparation de routine, suite à des erreurs étant apparues sur cette unité au cours des opérations de la journée, semble se transformer un crash du système de fichiers.

Inutile de dire que si nous voulons sauver le maximum de messages, nous allons devoir y aller très précautioneusement, et qu'il est très peu probable que nous ne pourrons pas relancer les services avant au moins la fin de la matinée...

mise à jour à midi (toujours lundi) :

On a recommencé à regarder, c'est pas très joli à voir. Pour l'instant on a toujours aucune idée du temps qu'il faudra pour rétablir le service ni des conditions dans lesquelles cela se fera.

mise à jour à 22h50 (toujours lundi) :

Ça avance pas. C'est surtout un problème de décision, on ne sait pas quelle dose de bricolage choisir pour remettre en service No-log; c'est aussi un problème de motivation, dans l'équipe; accessoirement, c'est également un problème de taille de No-log. Mais ça n'est pas du tout un problème de sous. Patience, excuses, toussa :(

mise à jour à 01h00 (mardi 18/12) :

Pas la peine de traquer le service, rien ne se passera cette nuit. Dormez bien. Et relisez ce message.

mise à jour à 17h00 (toujours mardi) :

Rien de nouveau. Enfin si, juste un peu. Des gens de bonne volonté essaient de voir comment il serait possible de reprendre en main le truc, à plusieurs. Techniquement, la situation est un peu compliquée. Humainement aussi. C'est pas la fête...

Si vous avez des trucs importants/urgents, repliez-vous ailleurs autant que possible. Pour un service de mail, ouvert, "à la No-log", en France je ne connais rien d'autre; à l'étranger, il y a riseup, par exemple.

mise à jour à 19h00 (toujours mardi) :

On commence par des trucs de base, des mises a jour de firmware. Coupure du web intermittente a prévoir.

Je répète, pas besoin de sous. Merci, mais vraiment, pas besoin. Un peu plus besoin de savoir vers ou on va, par contre, et qui s'en occupe. Pour partie, ce qu'il faut c'est une équipe pour faire de l'admin système sur No-log; et probablement revoir le projet. Ça tombe sûrement mal pour plein de gens, va vous met dans la merde, etc. Pas cool. Pas vraiment prévu non plus.

mise à jour à 00h00 (mardi/mercredi) :

Les firmware ont été mis a jour, modulo des soucis de BIOS, quelques coups de fil, et quelques mails. Y'aura peut-être une réouverture de quelques services (mais clairement pas tout) pendant la nuit.

Pour les gens qui voudraienrt participer, ça se passe d'abord sur irc, et sur les listes de discussion; manifestez-vous. De preference des gens disponibles dans la durée.

mise à jour à 02h00 (mercredi 19/12) :

On va essayer de réouvrir le webmail. Pas pour recevoir ou lire les messages, mais pour pouvoir écrire des messages et prévenir les contacts.

Et dormir. Et aller acheter des disques. Et essayer d'avancer.

mise à jour à 03h00 (mercredi 19/12) :

Des bouts du webmail fonctionnent; les détails sont sur un nouveau billet. Et hop, on ferme les commentaires de celui-ci pour pas se disperser. 200 petits mots, merci merci :)

Suite à un problème avec ses disques durs, le serveur mail de Globenet est actuellement en panne.

Nous effectuons actuellement des vérifications afin de tenter de localiser le problème et tout devrait rentrer dans l'ordre dans peu de temps (si on ne tombe pas sur un problème beaucoup plus gros ce sera terminé avant la fin de l'après-midi dans le pire des cas).

Mise à jour, 15h45 : les services viennent de redémarrer, la réparation a bien fonctionner mais quelques courriels (deux ou trois vrais et quatre ou cinq pourriels) ont été plus ou moins endommagés. Nous sommes en train de prévenir les personnes concernées.

Toutes nos excuses pour cette coupure du service.

Notre unique outil anti-spam (postgrey) s'est bloqué plusieurs fois hier et aujourd'hui (jeudi et vendredi 1 et 2 octobre). L'unique symptôme du problème étant la non réception des mails, nous ne recevions donc pas les messages adressés au support ...

Après avoir été relancé, le logiciel fonctionne à nouveau mais nous le gardons sous surveillance en essayant d'avoir une idée de ce qui déclenche le problème.

Le reste des services de la plate-forme mutualisée de Globenet n'est pas affecté par cette panne.

Certains sites hébergés sur la plateforme mutualisée de Globenet peuvent être actuellement ralentis, en particulier les sites dynamiques de type SPIP. Nous venons en effet de découvrir la cause possible d'une surcharge de Nord, le serveur dédié au stockage.

Nous sommes actuellement en train de résoudre ce problème, mais cela prendra du temps (plusieurs centaines de milliers de fichiers à supprimer). Et la résolution du problème entraîne une aggravation temporaire de la situation.

Cette surcharge explique peut-être le ralentissement observé sur ce genre de sites depuis quelques mois.

Mise à jour Jeudi 1h00 :

La situation sur Nord semble avoir empiré d'un seul coup, ce qui semble avoir entrainé tout d'abord le plantage de Ouest (le serveur web), puis planté complètement Nord.

Nous essayons de le relancer, mais le file-system semble avoir été touché, ce qui provoque sa vérification automatique. Opération qui peut être assez longue....

Mise à jour 3h10 :

Le serveur est de nouveau actif.

Hier mardi, le webmail n'était plus accessible, entre 20h30 et 23h30. On s'en est rendu compte, et on a relancé la machine. Pas de parano, hein, cette fois ce n'était qu'une petite panne sans conséquences.

Depuis la mise en place dans le webmail, vendredi, d'une information sur la taille des boites de messagerie, beaucoup de non-logué.e.s ont promptement réagi, en faisant un gros ménage. Bien, super, en 3 jours on gagne 5% d'espace disque!! En contrepartie, le serveur est un peu à genoux, car tout ce nettoyage demande pas mal de boulot supplémentaire, recherche des messages, sélection, effacement, mise à jour des index, etc...

Mais bon, c'est un mal nécessaire. Tout devrait aller pour le mieux ensuite. Ne réprimez surtout pas vos envies de ménage; si vous pouvez les exercer en heures creuses (21h-9h), c'est mieux, sinon, on fait avec pendant quelques jours.

PS: On nous a souvent demandé comment télécharger les messages depuis le webmail. À défaut d'un logiciel de messagerie, qui n'a de sens que si vous disposez d'un ordinateur personnel, vous pouvez stocker vos messages importants sur une clé USB ou un disque dur externe. Regardez le bouton "Archive", en bas à droite de la liste des messages, configurable dans les "Options".

PS2: On commence cette semaine des tests de performance pour la nouvelle configuration des disques durs de bender, le serveur principal de No-log. Affaire à suivre...

Le service se rétablit doucement, le nouveau matériel (un processeur en plus, 2Go de mémoire RAM en plus et une batterie pour la carte de gestion des disques RAID1) semble aider grandement à supporter la charge. Il se peut qu'il y ait encore ponctuellement des problèmes d'accès, le temps pour nous de trouver les meilleurs réglages avec le nouveau matériel.

Nous allons néanmoins rester vigilants dans les prochains jours afin de s'assurer que la situation est stable.

Il y aura sûrement dans les semaines à venir d'autres opérations sur le serveur (changement et/ou ajout de disques, etc...) mais on vous en informera (ici) le moment venu.

1. La batterie supplémentaire permet d'activer certaines options sur la carte RAID pour de meilleures performances en lecture et écriture des données sur les disques durs.

Merci pour votre patience.