Bonsoir, 

Les derniers blocages d'installation sont tous résolus, normalement toutes les boites emails et tous les sites temporaires sont installés. 

Les clients n'ayant pas demandés l'installation d'un site temporaire auront une installation forcée à partir du 22/04. 

Certains clients dont nous ne gérons pas les DNS sont en attentes car nous ne pouvons pas réaliser les changements d'adressage, merci de vous reporter aux instructions dans votre compte client. 

Pour les sites de ventes en lignes les installations sont prévues la semaine prochaine afin de fournir un site vierge pour ressaisir les produits. Un email type vous sera envoyé afin de nous fournir les informations nécessaires à la configuration de votre site (transporteur, paiement, ...) 

L'analyse des récupérations des pages archivées par le référentiel externe est en cours. Nous espérons lancer les premiers tests de conversion en websee en début de semaine. Nous reviendrons vers vous rapidement pour vous donner une estimation des délais de rétablissement à l'issue de nos tests de conversion en websee. 

Message reçu d'OVH aujourd'hui au sujet de la récupération de nos sauvegardes :

"Voici le retour de nos administrateurs : Les instances "EG" sont des instances basées sur le stockage sur ceph. Ceph était sur sbg2 donc nous n'avons plus de données. Nous vérifions actuellement les backup (sauvegardes) interne mais nous n'avons aucune information pour le moment, ni aucune garantie. Si nous avons quelque chose, vous seriez automatiquement prévenu par e-mail."

Donc en clair la récupération des "sauvegardes" de nos serveurs par OVH est toujours en cours d'investigation.

Net15

Beaucoup de sites coupés n'ont pas encore demandé de site temporaire, sachez que la reconstruction des sites passera forcément par cette étape. N'hésitez pas à demander la création d'un site temporaire si ce n'est pas déjà fait. (en cliquant ici)

Les sites d'archive sont en cours de création à partir de archive.org. Il ne s'agit que de la première pierre en cas de reconstruction, et leur création ne se fait que si vous avez demandé la création d'un site temporaire."

Bonjour,

Voici le bilan de la situation pour les sites internet faits avec notre outil et les boutiques en ligne.

Nous sommes toujours dans l'attente de nos sauvegardes, nous n'avons aucune information officiel venant d'OVH confirmant soit une date de mise à disposition, soit l'information sur la perte totale des données. Nous avons eu un contact technique en cette fin d'après midi qui a renvoyé une demande d'expertise.

Etant donné le weekend rallongé qui s'annonce, je crains que nous n'ayons aucune information d'ici mercredi ou jeudi prochain.

Nous commencons à réfléchir sur les dispositions à prendre en cas de perte totale de nos sites, afin de revenir vers vous avec des solutions. 

Ce week-end, nous commencons la mise en place de la procédure de récupération à partir de archive.org qui permettrait d'avoir une base pour une eventuelle refonte de site.

Nous reviendrons vers vous dés que nous aurons plus d'informations.

Bonsoir,

Enfin une bonne nouvelle, certains backup commencent à apparaitre sur notre interface.

Pour l'instant il ne s'agit pas des serveurs WebSee (site vitrine). Il s'agit des serveurs qui se trouvaient dans SBG3.

Dés que nous avons plus d'informations, nous les posterons ici même.

Bonne soirée à tous, merci de votre patience et de vos encouragements.

Bonjour,  

Nous attendons des nouvelles de nos sauvegardes dans les prochains jours, par contre nous n'avons eu aucune information concernant une destruction de celles-ci, nous sommes donc assez confiants.

Dès que nous aurons l'information, vous serez informés sur notre site. Nous ferons notre maximum pour remonter au plus vite l'ensemble des sites. 

La procédure d'installation de sites temporaires et maintenant pleinement opérationnel. 

Nous reviendrons vers vous dans les prochains jours pour vous donner plus de nouvelles. 

Bonsoir, 

Aujourd'hui nous avons réussi à installer tous les sites en attente d'installation. Dans un premier temps seuls les clients faisant la demande ont un site temporaire. Quelques difficultés sur les certificats de sécurité ont ralenti la production, mais celle-ci devrait reprendre un rythme normal et rapide dès maintenant.  

Nous allons maintenant mettre en place le système d'aspiration de sites à partir de archives.org. 

Nous espérons mettre en place ce système pour la fin de semaine ou au maximum début de semaine prochaine. 

Nous savons que la situation est inconfortable, mais nous faisons notre maximum pour vous fournir tous les services à notre disposition. 

Nous espérons que notre accompagnement correspond à vos attentes vis-à-vis du caractère exceptionnel de cette crise.  

Bonjour, 

Nos techniciens ont réalisé ce week-end la majorité des modifications de DNS afin de faciliter l'installation de nos sites temporaires. Nous avons déjà déployé plus de 100 sites temporaires.  

Pour ceux qui ne l'ont pas déjà fait vous pouvez vous connectez sur la plate-forme https://emails-urgence.net15.fr/ afin de demander le déploiement d'un site temporaire. Sauf cas particulier, le site sera disponible en 5 minutes. 

Nous ne déploierons, pour l’instant, que les clients qui ont demandé un site temporaire. Ceux qui n’ont pas fait la demande sur notre plateforme ont une page par défaut non administrable.  

Nous commençons dès aujourd'hui à mettre les premiers sites archives à disposition, le processus devrait demander quelques jours de mise au point. Nous espérons pouvoir fournir ce service de manière optimale d'ici la fin de semaine.  

Nous attendons des nouvelles au niveau des sauvegardes, la date du 8 avril est toujours annoncée. 

Nous faisons notre maximum pour qu'un site internet soit disponible pour chacun de nos clients. Nous vous tiendrons informés de l'évolution de la situation. 

Bonsoir, 

Suite à un communiqué, OVH a annoncé que son rendu d'expertise pour les sauvegardes ne serait qu'à partir du 8 avril, donc nous en seront un peu plus qu'à partir de cette date pour une possible récupération des sites impactés. 

Dès maintenant, vous pouvez vous rendre sur votre interface https://emails-urgence.net15.fr/, et cliquer sur installer un site, et dans les jours suivant votre demande nous vous installerons un site administrable "vide" mais vous permettant de mettre du contenu en ligne en attendant le résultat d'expertise à partir du 8 avril pour informer vos internautes.

Nous avions décalé cette installation pour nous permettre d'explorer au maximum la solution du cache Google qui n'est pas viable. Un site archive sera donc ouvert à chaque client avec le contenu disponible sur archive.org. 

Nous espérons que cette solution ne soit que temporaire. 

Merci de votre patience et de votre compréhension.

Bonjour, 

Après plusieurs séries de tests, nos tentatives de récupération du cache google sont infructueuses. 

Concernant les sauvegardes, OVH remet en route les serveurs depuis ce matin, nous espérons avoir des nouvelles dans les prochains jours. 

Nous concentrons désormais tous nos efforts à la mise en place d'un site temporaire administrable afin de rendre nos clients autonomes dans leur communication. 
Vous pourrez d'ici demain midi demandé sur l'interface https://emails-urgence.net15.fr/  
L'ouverture d'un site internet sur votre nom de domaine, cette procédure d'ouverture est automatisée mais encore une fois une opération manuelle est à réaliser pour que le site soit en ligne. 

Nous annoncerons ici et sur Facebook le début des ouvertures de sites. 

Bonjour, 

Pas de nouvelle au niveau des sauvegardes nous sommes toujours en attente. 

Par contre nous avons une piste très intéressante pour retrouver des pages historisées par google et nos premiers tests sont assez concluant, nous pensons avoir trouver un système pour récupérer les pages en caches de Google.

Ce système nécessitera une petite aide de votre part. 

Nous avons développé une application qui sera à lancer sur n'importe quel ordinateur sous Windows 7 ou plus. 
 

Cet applicatif interrogera notre serveur pour lui demander du travail, notre serveur lui renverra un page de cache à aller visiter, nous renverra le résultat et attendra une minute. 
Les pages consultées sont juste du texte html sans images donc extrêmement légères et cela ne ralentira en rien votre navigation internet. Le but est de faire des interrogations aléatoires sur des sites mais d'un grand nombre de poste afin de ne pas avoir de blocage lors de la consultation. 

Je referais un point sur nos tests en fin de journée, afin de vous informer de la viabilité de ce processus. 

Bonjour, 

Sachez que nous sommes mobilisés, et que la non communication n'était pas une volonté de notre part, je mettrais une information quotidienne afin de faire un point de situation. 

Nous n'avons pas de nouvelle concernant les sauvegardes, elles ne sont pas officiellement perdues mais en cours d'analyse, le courant sera remis à partir du 22 mars dans les salles serveurs. Nous ne pensons pas avoir de nouvelle d'ici-là. 

Nous avons mis un message vocal sur notre répondeur afin de ne pas être coupé dans nos procédures, afin de limiter les coupures et les erreurs. Nous essayons autant que possible de répondre aux emails sur certains créneaux horaires. 

Nous avons une sauvegarde viable d'un de nos serveurs avec les sites non-responsive, ceux-ci sont en cours de restauration par notre équipe. 

La plateforme https://emails-urgence.net15.fr/  est en place et nous commençons à recréer les service web au fur et à mesure, la procédure est maintenant correctement adaptée et le rythme devrait s'accélérer. Afin de ne pas complexifier la situation, seul l'accès par Webmail est faisable dans un premier temps. 

Afin de ne pas rester dans l'attente, nous allons pour chaque site mettre une version statique issue de archive.org. Cela ne sera pas parfait mais permettra de débloquer légèrement la situation, et d'installer un kit WebSee avec un message par défaut sur tous les sites. 
Nous aurons donc un site administrable sur l'url principale ex www.votrenomdedomaine.fr de votre site avec un lien de redirection vers un sous domaine archive.votrenomdedomaine.fr avec l'image statique de archive.org.   

Sachez que nous faisons notre possible pour trouver toutes les solutions alternatives, mais nous avons besoin de temps dans certains cas pour ne pas faire d'erreur de jugement et trop se précipiter.

Nous espérons nous aussi un retour à la normale, en espérant récupérer des sauvegardes viables, dès que nous aurons des informations vous serez informés ici et sur Facebook. 

Merci de votre compréhension et pour vos messages de soutien. 

Lorenzo ESTEVE-VERMEIL, Président de Net15.

Bonjour, 

Les nouvelles du jour : 

Nos sauvegardes sont en cours d'investigation pour savoir si elles sont récupérables ou non, les délais annoncés s'allongent considérablement, on a une estimation au 26 mars. 

Afin de permettre une reprise d'activité nous venons de créer une plateforme pour vous permettre de recréer des compte emails. 

https://emails-urgence.net15.fr/ 

Nous savons que ce n'est pas idéal mais nous faisons notre possible pour rétablir une situation viable. 

A partir de lundi nous modifierons les DNS afin de recréer les comptes emails que vous aurez renseignés, en milieu de semaine nous prévoyons de déployer sur ce même serveur des kit websee pour chaque client avec un design par défaut, afin que vous puissiez communiquer avec vos clients. 

Merci de votre compréhension et de votre soutien que nous pouvons lire dans vos emails, 

Merci à toutes l'équipe de Net15 dont certains ont fait une journée/nuit casi continue avec moi depuis vendredi matin afin de proposer la plateforme d'email d'urgence à nos clients. 

Nous sommes tous concerné par cet incident et j'espère que nous trouverons ensemble les solutions de demain. 

Lorenzo ESTEVE-VERMEIL,

Président de Net15.

Bonjour,

Nous venons d'avoir un communiqué de la part de OVH :

Concernant Public Cloud, les régions OpenStack directement affectées par l'incendie sont : openstack-sbg1, openstack-sbg2, openstack-sbg3 et openstack-sbg4 (physiquement dans le datacenter SBG2)

Nous sommes en attente de l'information pour la disponibilité de nos sauvegardes quotidiennes, ainsi que la disponibilité de nos disques réseaux secondaire, qui contienent également des sauvegardes deux fois par semaine.

Nous faisons notre maximum pour avoir les informations, mais nous n'avons aucune réponse de la part d'ovh.

Nous n'avons pas pu déclenché notre plan de rétablissement d'urgence qui se base sur les sauvegardes intégrales de serveurs et qui ont été désactivées temporairement sur notre interface de gestion cloud (plus d'informations d'ici 48h).
Une fois les sauvegardes disponibles, nous mettrons notre plan de rétablissement en route qui dure au maximum 4 heures en fonction des disponibilités de livraison de nouveaux serveurs. Nous attendons pour l'instant de savoir si les machines cloud ont été impactées par l'incendie ou non ; nous n'avons à ce jour pas encore l'information.
La seule information que nous avons actuellement est une remise en ligne électrique prévue au 15 mars.

Nous avons une question récurrente et légitime : Pouvons-nous mettre en ligne une page d'attente temporaire ?

Au vu des dernières informations d'OVH et du travail engagé, nous espérons un retour en ligne d'une partie de nos serveurs impactés par l'incendie à partir du lundi 15 mars.

Nous vous tiendrons informés sur cette page sur l'évolution de la remise en service des sites et Emails se trouvant sur nos serveurs.

Nous avons eu la confirmation que les sauvegardes quotidiennes de l'intégralité de nos serveurs, étaient bien répliquées dans 3 sites spécifiques distincts, nous n'avons pas accès pour l'instant à nos sauvegardes et ne pouvons pas enclencher notre plan de rétablissement. 

Voici notre plan d'urgence suivant les dommages des serveurs : 

1. le serveur à brulé : recréation d'une instance à partir de notre sauvegarde du 9/03 

2. le serveur est dans une zone impactée : si possible redémarrage du serveur, sinon déplacement de l'instance cloud dans une zone non impactée. 

3. le serveur est dans une zone non impactée mais les liaisons électrique/internet sont en cours de rétablissement. Cela ne nécessitera aucune intervention. 

Nous n'utilisons pas les solutions d'hébergement ovh, mais uniquement la location de serveur dédié, il ne s'agit que de location matériel, toutes l'infrastructure logicielle est gérée par Net15. 

Dans le cas présent c'est le blocage du système cloud qui nous empêche de relancer notre plan d'urgence. Pour informations nous sommes passés de deux sauvegardes hebdomadaires à une sauvegarde quotidienne sur l'intégralité de notre parc de serveur, il y a déjà plusieurs mois. Nous mettons tout en œuvre pour délivrer le meilleur service disponible.

Tous les serveurs de SBG3 sont corrects. Ils sont éteints, mais pas touchés. Nous créons un plan pour les redémarrer et se connecter au réseau. pas d'ETA. Maintenant, nous allons vérifier SBG1.
"Les serveurs de NET15 se trouvent principalement dans SBG1 et SBG3, nous n'avions aucun serveur dans SBG2 qui lui a été entièrement détruit."

Le feu est terminé. Les pompiers continuent de refroidir les bâtiments avec de l'eau. Nous n'avons pas accès au site. C'est pourquoi SBG1, SBG3, SBG4 ne seront pas redémarrés aujourd'hui.

Voici tout d'abord une explication de l'impact sur votre hébergement.  

Net15 est son propre hébergeur, nous gérons nous même nos ressources serveurs et toute l'infrastructure logiciel. Afin de garantir une qualité de service, nous nous appuyons sur des datacenters chez qui nous louons les machines et la bande passante. 

Depuis de nombreuses années, nous nous appuyons sur l'architecture cloud d'ovh qui nous permet d'assurer une très bonne qualité de service. Il ne faut pas confondre avec les hébergements mutualisés ovh qui sont deux services très différents. Pour faire une analogie simple, si je loue un immeuble vide, je peux architecturer en locaux commerciaux ou en appartement selon mon bon vouloir et agrandir l'immeuble à ma guise et changer ce que je souhaite dans l'immeuble, avec l'hébergement mutualisé ovh vous êtes dans un appartement cloisonné sans possibilité d'évolution. 

Concernant notre politique de sauvegarde, nous sommes passés depuis plusieurs mois à un système de sauvegarde quotidienne au lieu de 2 par semaine et cela sans surcoût pour nos clients. Aujourd'hui nos sauvegardes existent puisqu'elle sont répliquées à 3 endroits physiques différents, mais l'interface de gestion nous permettant de créer de nouveaux serveurs ne nous permet pas encore de restaurer les serveurs impactés par l'incendie. Nous faisons notre possible pour planifier la remise en route mais nous sommes dépendants du redémarrage des salles d'hébergement, il est difficile de changer une roue sans roue de secours. 

Vous trouverez ci-dessous toutes les informations sur cet incident, nous mettons à jour régulièrement l'information en bas de page. Sachez que nous faisons notre possible pour rétablir au plus vite la situation. 

Suite à un incendie important pendant la nuit du 9 au 10 mars 2021 chez OVH 
qui est la plateforme hébergeant nos principaux serveurs, la plupart des sites et emails que nous gérons se trouvent actuellements indisponibles.

Nous essayerons de vous tenir au courant sur cette page dès que nous en serons plus.