État des services de Globenet

Aller au contenu | Aller au menu | Aller à la recherche

jeudi 19 juin 2014

boreal - la partition système est presque pleine

Le disque principal de boreal, la machine principale du serveur mutualisé (panel AlternC, base de données...) est presque pleine. Les services peuvent être dégradés ou ralentis. On regarde d'où ça vient pour corriger.

UPDATE

Le problème venait d'un surcroît de charge causé par le forum d'un-e hébergé-e. Celui-ci était pris pour cible par des spammeurs publicitaires ce qui créait des accès considérables à la base de donnée. L'hébergé-e a été prévenu-e et a fermé le forum. Tout est rentré dans l'ordre.

mercredi 11 juin 2014

Problème sur le serveur de mails/listes des hébergés Globenet

Levan, le serveur gérant les mails et les listes des domaines hébergés par Globenet, ne répond plus depuis cette nuit.

Une intervention distante est en cours

Mise à jour 9h45

Les services sont rétablis.

jeudi 24 avril 2014

Coupure du réseau de Globenet

Un équipement réseau est en rade chez Liazo. Du coup, notre connexion avec Gitoyen est coupée. Un technicien de Liazo est en route pour remplacer l'équipement défectueux. On vous tient au courant.

Mise à jour de 08h

On espère que le réseau soit rétablit pour 08h30.

Mise à jour de 09h20

Le réseau a été rétablit vers 09h05.

lundi 24 mars 2014

Problème sur le serveur de mails/listes des hébergés Globenet

Levan, le serveur gérant les mails et les listes des domaines hébergés par Globenet, ne répond plus depuis une vingtaine de minutes.

Une tentative de reboot à distance n'ayant aucun effet, nous nous allons à Paris-Bourse afin voir plus en détail ce qui se passe.

mardi 7 janvier 2014

Problème sur le serveur de mails de Globenet

lundi 6 janvier 2014

Encore un début de semaine difficile pour levant. Il répond difficilement depuis le petit matin. Les disques tournent au maximum de leur capacité mais ce n'est pas suffisant. On regarde quels sont les processus (programmes) qui sont à l'origine de ces trop grandes sollicitations pour les stopper, histoire de redonner un peu d'air à la machine.

Vous pouvez avoir un petit aperçu en jetant un œil sur la métrologie du serveur https://supervision.globenet.org/munin/globenet.org/levant.globenet.org/index.html#disk

UPDATE : 14h

On a une partition système qui est pleine. Probablement les files d'attente de mail qui la remplissent complètement. On arrête le service d'envoi de mail et on diagnostique. La machine étant toujours très lente, c'est long d'avoir le résultat de chaque commande d'administration système.

UPDATE : 15h

Les services en cause ont été identifiés, on les a supprimé. Il semble que la conjonction de la reconstruction du RAID et du calcul d'occupation des boites mails ait été de trop ce mois-ci. Ce devrait être réglé. La charge système est retombée, on relance le service de réception de mail, si tout se passe bien, on pourra relancer les services POP et IMAP dans la foulée, ainsi que les listes de diffusion.

UPDATE : mardi 7 janvier 2014

Levant n'est toujours pas d'aplomb. Les disques n'étant pas encore changés et la synchronisation RAID est toujours en cours. Ce sera une journée difficile en perspective.

lundi 28 octobre 2013

Problème sur le serveur de mails de Globenet

Les services de mails et de listes de diffusion étaient difficilement accessibles aujourd'hui.

Un disque de la machine est devenu complètement instable et a entraîné des problèmes de lecture/écriture sur le serveur. Il a été déconnecté vers 17h ce qui a permis le rétablissement des services.

Il a été remplacé physiquement vers 22h30.

UPDATE mardi 29/10/13 10h

La synchronisation des données sur le nouveau disque devrait prendre un peu plus de deux jours.

UPDATE vendredi 01/11/13 9h

La synchronisation aura finalement pris 3 jours et demie. Les performances de la machine devraient maintenant être revenues à la normale.

dimanche 6 octobre 2013

Arret du serveur de mail mutualisé la nuit dernière

Hier soir, Levant (le serveur de mail des mutualisés de Globenet) est tombé en rade.

Nous avons essayé de le rebooter pendant la nuit, mais il semble que le paramétrage BIOS forçant le rallumage de la machine après une coupure/réactivation du courant a sauté il y a quelque temps.

Nous avons donc dû nous déplacer au datacenter afin de rallumer le serveur (et corriger le paramétrage BIOS au passage).

MISE À JOUR du vendredi 11/10/2013 9h10

Rebelote ce matin. La machine s'est plantée et n'a pas voulu redémarrer. Le BIOS a encore perdu son paramétrage, la pile doit être morte.

vendredi 6 septembre 2013

Problème sur le serveur de mails de globenet.

La partition contenant les mails s'est démontée sur Levant (le serveur de mail des domaiens hébergés par globenet).

Nous regardons à quoi c'est dû et tentons de la remettre rapidement en service.

Mise à jour à 15h40:

Après réparation de la partition fautive, les services ont été relancés.

samedi 3 août 2013

Problème sur le serveur de mail/listes de globenet.

Levant, le serveur de mail et listes de Globenet est en rade.

Un déplacement au datacenter est nécessaire pour le rebooter, ce qui devrait etre fait dans une bonne demi-heure.

mise à jour 17h10:

Le serveur est redémarré, mais nous préférons faire une petite vérification de certaines partition avant de relancer complètement les services.

mise à jour 19h00:

Les services mail ont été relancés, mais le serveur de listes sera remis en route un peu plus tard, le temps que les messages déjà en attente de dépar et ou de réception soient traités.

mise à jour lundi 5 août 16h00:

Le serveur ne s'est toujours pas bien remis. On stoppe le service de liste qui prend toutes les ressources et on le relancera dans la soirée quand ce sera plus calme au niveau des mails.

vendredi 26 juillet 2013

Problème de connexion entre Globenet et certaines zones d'internet

Cet après-midi, Globenet pouvait être inaccessible depuis certains réseaux d'internet. L'un des routeurs de notre opérateur internet, Gitoyen (AS20766) était dans les choux et ne jouait plus son rôle. Les perturbations auront pu être constatées entre 13h et 16h.

jeudi 20 juin 2013

Problème de connexion à certains services depuis Orange (France Telecom)

Ce matin, certains services Globenet étaient inaccessibles pour les utilisateurs et utilisatrices d'Orange. La machine levant (celle qui sert les mails et les listes de diffusion) n'était pas visible, alors que d'autres services comme les sites web l'étaient. Il est confirmé que c'était un problème interne au réseau d'Orange et leur souci serait réglé depuis 14h45 environ.

Pour les détails plus techniques, ce serait un problème de routage au niveau de l'AS5511 (Opentransit).

lundi 6 mai 2013

Problème d'accessibilité au webmail no-log.

Un problème sur la table mysql contenant les préférences des utilisateurs du webmail no-log empêchait son utilisation.

Après utilisation de la fonction mysql de réparation de tables, le webmail semble de nouveau accessible d'après les quelques tests que nous venons de faire.

Cependant, cette réparation ayant reporté des erreurs, il est possible que d'autres utilisateurs aient encore des problèmes. Dans ce cas nous devrons remplacer la table par une sauvegarde d'hier ou avant-hier.

Note : le problème ne concerne que les préférences (langues, affichage, ordre des messages...) pas d'autres fonctions du webmail comme les carnets d'adresses.

mercredi 17 avril 2013

Interface d'administration alternc indisponible

Les certificats de Globenet et no-log expirent aujourd'hui. On est en train de les remplacer. L'interface de gestion des comptes AlternC sera indisponibles quelques temps aujourd'hui, le temps de revoir quelques réglages. désolé de la gène occasionnée.

mardi 9 avril 2013

Service web fortement ralenti cet après-midi

Le serveur mutualisé a été à nouveau très sollicité cet après-midi. Il ne s'est pas écroulé sous le nombre important de connexions comme mardi dernier mais les sites ont été fortement ralentis et inaccessibles un moment pour certains. Le grand nombre de connexion était le fait de quelques adresse ip localisées, nous les avons bloquées et avons à nouveau baissé le nombre maximum de connexions simultanées acceptées par le serveur.

Par ailleurs, Nous allons augmenter la capacité mémoire de la machine afin de faire face plus sereinement à ce genre d'atteintes.

mardi 2 avril 2013

Service web coupé ce matin

Le serveur mutualisé a été très sollicité ce matin. Il s'est écroulé sous un nombre trop important de connexions simultanées pour sa capacité. Nous avons pu le remettre d'aplomb et baisser le paramêtre du nombre maximum de connexions simultanées acceptées par le serveur.

mardi 26 mars 2013

Globenet - les services de mail et listes de diffusion ne sont plus actifs

Depuis 7h00 ce matin, les services de mail et de liste de diffusion du mutualisé de Globenet ne répondent plus. À moins d'une bonne surprise, la situation risque de durer toute la matinée.

13h

Il a été constaté sur place que la machine était éteinte... pour une raison inconnue. Levant a été redémarrée, les services de mail et listes rétablis. Les mails n'ayant pas pu être reçus par la machine entre 7h et 13h devraient être livrés dans les prochaines heures.

mercredi 13 mars 2013

Problèmes de performance du serveur de mail de No-log.

Bien que neuf et équivalent à l'ancien, le disque qui a été installé dimanche dernier lors du redémarage de Bender ne semble pas tenir la charge. Il fonctionne en effet à 100% quaiment tout le temps.

Ceci influe principalement sur le temps d'arrivée des messages, mais aussi peut causer parfois des refus de connexion pour les utilisateurs.

Pour palier au problème, nous allons déplacer une parties des données qui sont écrites continuellement sur ce disque (une partie des logs) vers un petit disque qui était déjà installé sur le serveur mais non utilisé.

Ceci nécessitera une courte interruption des services, le temps qu'on bascule sur la nouvelle configuration.

21h35

La bascule a été faite, la charge sur le disque est revenue à un niveau beaucoup plus normal. Il n'y a plus qu'à voir ce que cela va donner demain dans la journée...

mise à jour vendredi à 18h35 :

Le déplacement d'une partie des données a aidé à alléger la charge, mais elle reste toutefois anrmalement importante.

Il est très possible que le problème vienne d'un mauvais paramétrage matériel du disque dur, qui peut être corrigé en y ajoutant un petit cavalier.

Pour cela, nous allons arreter très brievement le serveur (ça ne devrait pas prendre plus de deux ou trois minutes).

lundi 11 mars 2013

Le serveur de mail et listes de diffusion a du mal à récupérer du déménagement

Depuis qu'elle a été rebranchée, levant est très occupée. Elle qui s'occupe des listes de diffusion (et des mails) du service mutualisé. Or, mailman n'a pas fini de traiter tous les bounces en retard. Ça lui prend du temps processeur et beaucoup de mémoire.

Du coup, les accès aux mails, aux listes et à leurs interface web sont (très) ralentis. Ce devrait être le cas jusqu'à ce que mailman ai fini ses traitements de fond, ça avait pris plusieurs jours la dernière fois.

21h00

Le service de liste de diffusion a été stoppé un moment, le temps que les autres services du serveur puissent s'exécuter. Il y avait une pelletée de services qui n'avaient plus le temps de fonctionner normalement et qui s'accumulaient en ajoutant de la charge sur le système. Ils ont pu être épurés, les listes de diffusions ont été relancées et le tout semble maintenant mieux se comporter. Ainsi, le niveau de service devrait être meilleur, en attendant que mailman finisse ses bounces.

mardi 13h00

Le serveur semble s'être stabilisé, il ne hoquette plus depuis ce matin 8h. Si vous rencontrez encore des problèmes de temps de réponse ou autre, merci de nous le signaler.

vendredi 28 décembre 2012

Incidents suite à la maintenance

Bonjour,

Suite à la maintenance de cette nuit, quelques soucis ont été rencontrés:

  • le serveur DNS récursif ne s'est pas initialisé au démarrage de passoire, retardant ainsi le redémarrage du service mutualisé de mails. corrigé dans le quart d'heure.
  • Les répertoires partagés ne se sont pas remontés depuis boreal, empêchant les comptes FTP mutualisés d'accéder à leurs répertoires, corrigé vers 10h15.
  • Les machines virtuelles hébergées sur mario ont perdu leur routage, problème réglé vers 14h15.

Si vous rencontrez d'autres problèmes, merci de nous le signaler.

jeudi 4 octobre 2012

bug sur les listes de diffusion

il semblerait que nous avons un bug sur nos listes de diffusion.

Tous les messages contenant une (ou plusieurs) pièces jointes dont la taille totale dépasse 130Ko (à peu près) sont bloqués et disparaissent. Aucune notification, rien qui apparaisse dans les archives, les messages sont comme supprimés avant même d'être traités par la liste.

Merci à Nicolas de la Confédération paysanne pour son rapport de bug très précis.

Nous cherchons la source du problème pour le corriger.

EDIT du mercredi 10 octobre à 11h40

Il restait des fichiers corrompus suite au crash du serveur il y a trois semaines. Un nettoyage et une restauration de certains fichiers de configuration ont été faits, tout est rentré dans l'ordre.

EDIT du mardi 16 octobre à 14h20

Vous aurez pu constater des interruptions de service depuis quelques heures. Le serveur fait à nouveau des siennes. Un problème sur le système de fichier du système (séparé de celui des listes ou de celui des mails). Donc les données ne sont pas perdues mais le serveur n'est pas en forme. On est à son chevet.

- page 3 de 11 -