Bonjour,

Nous avons un incident important sur un serveur cloud des sites non responsifs  depuis 11h35 aujourd'hui.

Nous devons procéder à une restauration du système, cela va durer plusieurs heures.

Nous nous excusons pour la gêne occasionnée.

L'équipe Support Net15.

--

Fin de l'incident à 19h08, les bases de données des sites de ventes en lignes ont été restauré à l'etat de 11h35 ce matin.

Bonjour,

Nous avons pris du retard sur la partie plateforme qui devra nous servir à vous informer. Le travail sur les sites est toujours notre priorité et continu à avancer. Nous avons travaillé à la reconstruction de notre base d'emails à partir d'échanges réalisés avec nos clients, il s'agit maintenant de fusionner les données sur la plateforme afin de pouvoir envoyer les emails.

Merci de votre compréhension.

L'équipe Net15.

Bonsoir,

Après une longue réunion en interne, nous avons décidé que le procédé d'utilisation d'un formulaire de retour allait être trop contraignant en gestion du côté client et du côté Net15.

Nous avons essayé de reconstituer notre base d'emails des clients impactés. Ainsi à partir du 18 mai en fin de journée, les clients ayant eu leur site remonté et dont un technicien aura fait un premier travail de remise en forme recevrons un email d'information, leur détaillant les points à regarder et les fichiers à remettre en place. Parmi eux, ceux dont la charte graphique n'est pas la définitive seront contactés par un conseiller pour vous donner un calendrier de réalisation.

Après mise à jour du contenu par les clients, ceux ayant besoin d'une assitance de reconstruction pourront faire une demande au support via notre système de ticket ou d'email, et nous vous transmettrons un formulaire simplifié en fonction des cas pour décrire exactement le problème.

En parallèle, les clients dont la charte graphique est bonne et dont le site contient moins de 75% des pages, ou n'ayant plus de charte graphique, auront un email 3 jours avant leur migration, afin de pouvoir s'y opposer. Dans ce cas nous proposerons des solutions personnalisées.

Nous revenons ers vous demain, pour un complément d'information.

Bonjour,

Comme nous vous en avons informés, OVH nous a informés il y a maintenant 1 mois que nos sauvegardes ne seraient pas accessibles ni récupérables. Durant ce mois, qui a pu paraitre long pour certains, nous avons travaillé sans relâche au développement et à la mise en place d’un système de reconstruction des sites de nos clients.

Net15 a recruté 4 nouveaux collaborateurs pour nous renforcer dans cette lourde tâche de reconstruction.

La migration en masse des sites d'archives en site administrable à été déployée à partir de ce jour, 12 mai 2021. Ne vous inquiéter pas si votre site n'est pas encore remonté, nous procédons par vagues.

Vos identifiants de connexion à votre site seront les même que ceux de votre site temporaire. Cette migration se substitue ainsi à votre site temporaire.

Si nous constatons (ou si vous constatez) que la charte graphique de votre site est discordante, nous vous remercions de nous en aviser afin que nous puissions intervenir dès lundi par l'équipe de développement qui mettra en place un site fonctionnel, puis en cas de besoin, le dossier sera transmis à l'équipe de graphistes afin de procéder à la refonte visuelle.

Nous allons devoir procéder par vagues :

1. Vérification fonctionnelle du site
2. Refonte visuelle du site si nécessaire.
3. En cas de besoin pour les sites concernés, recréation des contenus perdus,

De votre côté, vous pourrez (et nous vous y invitons), dès que le site sera accessible, à remettre vous-même les photo et les documents en téléchargement puisque le contenu de vos sites est de votre ressort. 

Cette opération est une opération d’ampleur pour NET 15 de sorte que nous remercions chacun de sa patience et de sa compréhension et, en cas de dysfonctionnement ou d’anomalie constatée, de nous en aviser par le formulaire exclusivement qui sera à remplir dés lundi sur le site net15.fr.

En vous réitérant nos remerciements ;

Lorenzo Estève-Vermeil

Plusieurs clients impactés par la perte de leurs données et sites internet consécutivement à l’incendie survenu chez OVH le 10 mars 2021 reçoivent des sollicitations qui se veulent alléchantes « d’intervention après sinistre » ou de « récupération » du site. Les clients de NET 15 n’échappent pas à cette démarche.

Nous attirons votre attention sur le fait que

• cette proposition n’est pas comparable avec le travail proposé par NET 15 et n’émane en aucun cas de NET 15
• les prix proposés sont exorbitants
• l’offre contient un abonnement qui engage celui qui y souscrit

 Nous vous rappelons que NET 15 a déjà engagé la récupération des sites de tous ses clients à ses frais.

 Nous ne saurions trop vous mettre en garde contre cette pratique.

Cher client,

 Vous êtes nombreux à nous témoigner votre soutien et à faire preuve de patience et nous vous en sommes très reconnaissants.

Nous souhaitons vous tenir informés de l’état d’avancement de nos travaux afin de permettre le rétablissement de votre site à la suite de la destruction de l’ensemble des données lors de l’incendie du Datacenter OVH de STRASBOURG.

Nous avons travaillé sans relâche de façon à développer un logiciel apte à accélérer la reconstruction de tous les sites dont votre site. Il nous faut en effet développer un outil capable de transformer une archive partielle html en un site administrable et vous pouvez imaginer que cela ne se fait pas simplement. Notre premier test manuel est très encourageant et nous avons encore quelques réglages à faire avant de pouvoir lancer les remontées de site de manière semi automatisée.

Deux personnes supplémentaires rejoignent l'équipe Net15 dès la semaine prochaine afin d’accroitre notre capacité à rétablir les sites et à surveiller ceux pour lesquels notre outil se révèlerait imparfait (même si naturellement, nous avons fait tout ce qui était possible pour que ces cas soient le plus rares possible).

Nous vous contacterons par un prochain message afin de vous informer individuellement des étapes vous concernant. Soyez assuré que nous sommes, comme vous, impatients d’atteindre cette étape. Nous sommes proches, merci encore pour votre patience face à cette situation exceptionnelle et imprévisible.

Cordialement.

Lorenzo Estève-Vermeil

Suite à la perte de nos sauvegardes par OVH ces comptes emails deviennent des comptes principaux et ne sont plus considérés comme des comptes de secours.

Vous pouvez dès à présent modifier vos paramètres ou faire configurer par votre prestataire informatique les comptes emails que vous avez fait recréer à partir de notre plateforme sur vos logiciels de messagerie type Outlook ou Thunderbird comme utilisé avant :

Nom du compte ou utilisateur : Votre adresse email
Mot de passe : celui indiqué dans votre compte https://emails-urgence.net15.fr/ identique à celui utilisé pour vous connecter au Webmail*

Pour le courrier sortant SMTP :
Serveur : mail.net-15.eu
Port : 587
Méthode de chiffrement : Aucune ou Sélectionnez « STARTTLS ».
Paramètres supplémentaires (serveur sortant) : cocher mon serveur requiert une authentification SMTP

*Vous pouvez toujours utiliser le Webmail pour la consultation de vos emails. Si vous utlisez une consultation uniquement par Webmail ou IMAP l'intégralité de vos emails seront stockés chez NET15 et peut engendrer une utilisation excessive de votre stockage. 

Bonsoir, 

Les derniers blocages d'installation sont tous résolus, normalement toutes les boites emails et tous les sites temporaires sont installés. 

Les clients n'ayant pas demandés l'installation d'un site temporaire auront une installation forcée à partir du 22/04. 

Certains clients dont nous ne gérons pas les DNS sont en attentes car nous ne pouvons pas réaliser les changements d'adressage, merci de vous reporter aux instructions dans votre compte client. 

Pour les sites de ventes en lignes les installations sont prévues la semaine prochaine afin de fournir un site vierge pour ressaisir les produits. Un email type vous sera envoyé afin de nous fournir les informations nécessaires à la configuration de votre site (transporteur, paiement, ...) 

L'analyse des récupérations des pages archivées par le référentiel externe est en cours. Nous espérons lancer les premiers tests de conversion en websee en début de semaine. Nous reviendrons vers vous rapidement pour vous donner une estimation des délais de rétablissement à l'issue de nos tests de conversion en websee. 

Message reçu d'OVH aujourd'hui au sujet de la récupération de nos sauvegardes :

"Voici le retour de nos administrateurs : Les instances "EG" sont des instances basées sur le stockage sur ceph. Ceph était sur sbg2 donc nous n'avons plus de données. Nous vérifions actuellement les backup (sauvegardes) interne mais nous n'avons aucune information pour le moment, ni aucune garantie. Si nous avons quelque chose, vous seriez automatiquement prévenu par e-mail."

Donc en clair la récupération des "sauvegardes" de nos serveurs par OVH est toujours en cours d'investigation.

Net15

Beaucoup de sites coupés n'ont pas encore demandé de site temporaire, sachez que la reconstruction des sites passera forcément par cette étape. N'hésitez pas à demander la création d'un site temporaire si ce n'est pas déjà fait. (en cliquant ici)

Les sites d'archive sont en cours de création à partir de archive.org. Il ne s'agit que de la première pierre en cas de reconstruction, et leur création ne se fait que si vous avez demandé la création d'un site temporaire."

Bonjour,

Voici le bilan de la situation pour les sites internet faits avec notre outil et les boutiques en ligne.

Nous sommes toujours dans l'attente de nos sauvegardes, nous n'avons aucune information officiel venant d'OVH confirmant soit une date de mise à disposition, soit l'information sur la perte totale des données. Nous avons eu un contact technique en cette fin d'après midi qui a renvoyé une demande d'expertise.

Etant donné le weekend rallongé qui s'annonce, je crains que nous n'ayons aucune information d'ici mercredi ou jeudi prochain.

Nous commencons à réfléchir sur les dispositions à prendre en cas de perte totale de nos sites, afin de revenir vers vous avec des solutions. 

Ce week-end, nous commencons la mise en place de la procédure de récupération à partir de archive.org qui permettrait d'avoir une base pour une eventuelle refonte de site.

Nous reviendrons vers vous dés que nous aurons plus d'informations.

Bonsoir,

Enfin une bonne nouvelle, certains backup commencent à apparaitre sur notre interface.

Pour l'instant il ne s'agit pas des serveurs WebSee (site vitrine). Il s'agit des serveurs qui se trouvaient dans SBG3.

Dés que nous avons plus d'informations, nous les posterons ici même.

Bonne soirée à tous, merci de votre patience et de vos encouragements.

Bonjour,  

Nous attendons des nouvelles de nos sauvegardes dans les prochains jours, par contre nous n'avons eu aucune information concernant une destruction de celles-ci, nous sommes donc assez confiants.

Dès que nous aurons l'information, vous serez informés sur notre site. Nous ferons notre maximum pour remonter au plus vite l'ensemble des sites. 

La procédure d'installation de sites temporaires et maintenant pleinement opérationnel. 

Nous reviendrons vers vous dans les prochains jours pour vous donner plus de nouvelles. 

Bonsoir, 

Aujourd'hui nous avons réussi à installer tous les sites en attente d'installation. Dans un premier temps seuls les clients faisant la demande ont un site temporaire. Quelques difficultés sur les certificats de sécurité ont ralenti la production, mais celle-ci devrait reprendre un rythme normal et rapide dès maintenant.  

Nous allons maintenant mettre en place le système d'aspiration de sites à partir de archives.org. 

Nous espérons mettre en place ce système pour la fin de semaine ou au maximum début de semaine prochaine. 

Nous savons que la situation est inconfortable, mais nous faisons notre maximum pour vous fournir tous les services à notre disposition. 

Nous espérons que notre accompagnement correspond à vos attentes vis-à-vis du caractère exceptionnel de cette crise.  

Bonjour, 

Nos techniciens ont réalisé ce week-end la majorité des modifications de DNS afin de faciliter l'installation de nos sites temporaires. Nous avons déjà déployé plus de 100 sites temporaires.  

Pour ceux qui ne l'ont pas déjà fait vous pouvez vous connectez sur la plate-forme https://emails-urgence.net15.fr/ afin de demander le déploiement d'un site temporaire. Sauf cas particulier, le site sera disponible en 5 minutes. 

Nous ne déploierons, pour l’instant, que les clients qui ont demandé un site temporaire. Ceux qui n’ont pas fait la demande sur notre plateforme ont une page par défaut non administrable.  

Nous commençons dès aujourd'hui à mettre les premiers sites archives à disposition, le processus devrait demander quelques jours de mise au point. Nous espérons pouvoir fournir ce service de manière optimale d'ici la fin de semaine.  

Nous attendons des nouvelles au niveau des sauvegardes, la date du 8 avril est toujours annoncée. 

Nous faisons notre maximum pour qu'un site internet soit disponible pour chacun de nos clients. Nous vous tiendrons informés de l'évolution de la situation. 

Bonsoir, 

Suite à un communiqué, OVH a annoncé que son rendu d'expertise pour les sauvegardes ne serait qu'à partir du 8 avril, donc nous en seront un peu plus qu'à partir de cette date pour une possible récupération des sites impactés. 

Dès maintenant, vous pouvez vous rendre sur votre interface https://emails-urgence.net15.fr/, et cliquer sur installer un site, et dans les jours suivant votre demande nous vous installerons un site administrable "vide" mais vous permettant de mettre du contenu en ligne en attendant le résultat d'expertise à partir du 8 avril pour informer vos internautes.

Nous avions décalé cette installation pour nous permettre d'explorer au maximum la solution du cache Google qui n'est pas viable. Un site archive sera donc ouvert à chaque client avec le contenu disponible sur archive.org. 

Nous espérons que cette solution ne soit que temporaire. 

Merci de votre patience et de votre compréhension.

Bonjour, 

Après plusieurs séries de tests, nos tentatives de récupération du cache google sont infructueuses. 

Concernant les sauvegardes, OVH remet en route les serveurs depuis ce matin, nous espérons avoir des nouvelles dans les prochains jours. 

Nous concentrons désormais tous nos efforts à la mise en place d'un site temporaire administrable afin de rendre nos clients autonomes dans leur communication. 
Vous pourrez d'ici demain midi demandé sur l'interface https://emails-urgence.net15.fr/  
L'ouverture d'un site internet sur votre nom de domaine, cette procédure d'ouverture est automatisée mais encore une fois une opération manuelle est à réaliser pour que le site soit en ligne. 

Nous annoncerons ici et sur Facebook le début des ouvertures de sites. 

Bonjour, 

Pas de nouvelle au niveau des sauvegardes nous sommes toujours en attente. 

Par contre nous avons une piste très intéressante pour retrouver des pages historisées par google et nos premiers tests sont assez concluant, nous pensons avoir trouver un système pour récupérer les pages en caches de Google.

Ce système nécessitera une petite aide de votre part. 

Nous avons développé une application qui sera à lancer sur n'importe quel ordinateur sous Windows 7 ou plus. 
 

Cet applicatif interrogera notre serveur pour lui demander du travail, notre serveur lui renverra un page de cache à aller visiter, nous renverra le résultat et attendra une minute. 
Les pages consultées sont juste du texte html sans images donc extrêmement légères et cela ne ralentira en rien votre navigation internet. Le but est de faire des interrogations aléatoires sur des sites mais d'un grand nombre de poste afin de ne pas avoir de blocage lors de la consultation. 

Je referais un point sur nos tests en fin de journée, afin de vous informer de la viabilité de ce processus. 

Bonjour, 

Sachez que nous sommes mobilisés, et que la non communication n'était pas une volonté de notre part, je mettrais une information quotidienne afin de faire un point de situation. 

Nous n'avons pas de nouvelle concernant les sauvegardes, elles ne sont pas officiellement perdues mais en cours d'analyse, le courant sera remis à partir du 22 mars dans les salles serveurs. Nous ne pensons pas avoir de nouvelle d'ici-là. 

Nous avons mis un message vocal sur notre répondeur afin de ne pas être coupé dans nos procédures, afin de limiter les coupures et les erreurs. Nous essayons autant que possible de répondre aux emails sur certains créneaux horaires. 

Nous avons une sauvegarde viable d'un de nos serveurs avec les sites non-responsive, ceux-ci sont en cours de restauration par notre équipe. 

La plateforme https://emails-urgence.net15.fr/  est en place et nous commençons à recréer les service web au fur et à mesure, la procédure est maintenant correctement adaptée et le rythme devrait s'accélérer. Afin de ne pas complexifier la situation, seul l'accès par Webmail est faisable dans un premier temps. 

Afin de ne pas rester dans l'attente, nous allons pour chaque site mettre une version statique issue de archive.org. Cela ne sera pas parfait mais permettra de débloquer légèrement la situation, et d'installer un kit WebSee avec un message par défaut sur tous les sites. 
Nous aurons donc un site administrable sur l'url principale ex www.votrenomdedomaine.fr de votre site avec un lien de redirection vers un sous domaine archive.votrenomdedomaine.fr avec l'image statique de archive.org.   

Sachez que nous faisons notre possible pour trouver toutes les solutions alternatives, mais nous avons besoin de temps dans certains cas pour ne pas faire d'erreur de jugement et trop se précipiter.

Nous espérons nous aussi un retour à la normale, en espérant récupérer des sauvegardes viables, dès que nous aurons des informations vous serez informés ici et sur Facebook. 

Merci de votre compréhension et pour vos messages de soutien. 

Lorenzo ESTEVE-VERMEIL, Président de Net15.

Bonjour, 

Les nouvelles du jour : 

Nos sauvegardes sont en cours d'investigation pour savoir si elles sont récupérables ou non, les délais annoncés s'allongent considérablement, on a une estimation au 26 mars. 

Afin de permettre une reprise d'activité nous venons de créer une plateforme pour vous permettre de recréer des compte emails. 

https://emails-urgence.net15.fr/ 

Nous savons que ce n'est pas idéal mais nous faisons notre possible pour rétablir une situation viable. 

A partir de lundi nous modifierons les DNS afin de recréer les comptes emails que vous aurez renseignés, en milieu de semaine nous prévoyons de déployer sur ce même serveur des kit websee pour chaque client avec un design par défaut, afin que vous puissiez communiquer avec vos clients. 

Merci de votre compréhension et de votre soutien que nous pouvons lire dans vos emails, 

Merci à toutes l'équipe de Net15 dont certains ont fait une journée/nuit casi continue avec moi depuis vendredi matin afin de proposer la plateforme d'email d'urgence à nos clients. 

Nous sommes tous concerné par cet incident et j'espère que nous trouverons ensemble les solutions de demain. 

Lorenzo ESTEVE-VERMEIL,

Président de Net15.

Bonjour,

Nous venons d'avoir un communiqué de la part de OVH :

Concernant Public Cloud, les régions OpenStack directement affectées par l'incendie sont : openstack-sbg1, openstack-sbg2, openstack-sbg3 et openstack-sbg4 (physiquement dans le datacenter SBG2)

Nous sommes en attente de l'information pour la disponibilité de nos sauvegardes quotidiennes, ainsi que la disponibilité de nos disques réseaux secondaire, qui contienent également des sauvegardes deux fois par semaine.

Nous faisons notre maximum pour avoir les informations, mais nous n'avons aucune réponse de la part d'ovh.

Nous n'avons pas pu déclenché notre plan de rétablissement d'urgence qui se base sur les sauvegardes intégrales de serveurs et qui ont été désactivées temporairement sur notre interface de gestion cloud (plus d'informations d'ici 48h).
Une fois les sauvegardes disponibles, nous mettrons notre plan de rétablissement en route qui dure au maximum 4 heures en fonction des disponibilités de livraison de nouveaux serveurs. Nous attendons pour l'instant de savoir si les machines cloud ont été impactées par l'incendie ou non ; nous n'avons à ce jour pas encore l'information.
La seule information que nous avons actuellement est une remise en ligne électrique prévue au 15 mars.

Nous avons une question récurrente et légitime : Pouvons-nous mettre en ligne une page d'attente temporaire ?

Au vu des dernières informations d'OVH et du travail engagé, nous espérons un retour en ligne d'une partie de nos serveurs impactés par l'incendie à partir du lundi 15 mars.

Nous vous tiendrons informés sur cette page sur l'évolution de la remise en service des sites et Emails se trouvant sur nos serveurs.

Nous avons eu la confirmation que les sauvegardes quotidiennes de l'intégralité de nos serveurs, étaient bien répliquées dans 3 sites spécifiques distincts, nous n'avons pas accès pour l'instant à nos sauvegardes et ne pouvons pas enclencher notre plan de rétablissement. 

Voici notre plan d'urgence suivant les dommages des serveurs : 

1. le serveur à brulé : recréation d'une instance à partir de notre sauvegarde du 9/03 

2. le serveur est dans une zone impactée : si possible redémarrage du serveur, sinon déplacement de l'instance cloud dans une zone non impactée. 

3. le serveur est dans une zone non impactée mais les liaisons électrique/internet sont en cours de rétablissement. Cela ne nécessitera aucune intervention. 

Nous n'utilisons pas les solutions d'hébergement ovh, mais uniquement la location de serveur dédié, il ne s'agit que de location matériel, toutes l'infrastructure logicielle est gérée par Net15. 

Dans le cas présent c'est le blocage du système cloud qui nous empêche de relancer notre plan d'urgence. Pour informations nous sommes passés de deux sauvegardes hebdomadaires à une sauvegarde quotidienne sur l'intégralité de notre parc de serveur, il y a déjà plusieurs mois. Nous mettons tout en œuvre pour délivrer le meilleur service disponible.

Tous les serveurs de SBG3 sont corrects. Ils sont éteints, mais pas touchés. Nous créons un plan pour les redémarrer et se connecter au réseau. pas d'ETA. Maintenant, nous allons vérifier SBG1.
"Les serveurs de NET15 se trouvent principalement dans SBG1 et SBG3, nous n'avions aucun serveur dans SBG2 qui lui a été entièrement détruit."

Le feu est terminé. Les pompiers continuent de refroidir les bâtiments avec de l'eau. Nous n'avons pas accès au site. C'est pourquoi SBG1, SBG3, SBG4 ne seront pas redémarrés aujourd'hui.

Voici tout d'abord une explication de l'impact sur votre hébergement.  

Net15 est son propre hébergeur, nous gérons nous même nos ressources serveurs et toute l'infrastructure logiciel. Afin de garantir une qualité de service, nous nous appuyons sur des datacenters chez qui nous louons les machines et la bande passante. 

Depuis de nombreuses années, nous nous appuyons sur l'architecture cloud d'ovh qui nous permet d'assurer une très bonne qualité de service. Il ne faut pas confondre avec les hébergements mutualisés ovh qui sont deux services très différents. Pour faire une analogie simple, si je loue un immeuble vide, je peux architecturer en locaux commerciaux ou en appartement selon mon bon vouloir et agrandir l'immeuble à ma guise et changer ce que je souhaite dans l'immeuble, avec l'hébergement mutualisé ovh vous êtes dans un appartement cloisonné sans possibilité d'évolution. 

Concernant notre politique de sauvegarde, nous sommes passés depuis plusieurs mois à un système de sauvegarde quotidienne au lieu de 2 par semaine et cela sans surcoût pour nos clients. Aujourd'hui nos sauvegardes existent puisqu'elle sont répliquées à 3 endroits physiques différents, mais l'interface de gestion nous permettant de créer de nouveaux serveurs ne nous permet pas encore de restaurer les serveurs impactés par l'incendie. Nous faisons notre possible pour planifier la remise en route mais nous sommes dépendants du redémarrage des salles d'hébergement, il est difficile de changer une roue sans roue de secours. 

Vous trouverez ci-dessous toutes les informations sur cet incident, nous mettons à jour régulièrement l'information en bas de page. Sachez que nous faisons notre possible pour rétablir au plus vite la situation. 

Suite à un incendie important pendant la nuit du 9 au 10 mars 2021 chez OVH 
qui est la plateforme hébergeant nos principaux serveurs, la plupart des sites et emails que nous gérons se trouvent actuellements indisponibles.

Nous essayerons de vous tenir au courant sur cette page dès que nous en serons plus.