Informatie over de storing in onze diensten sinds 21 april

Heeft u vragen of hulp nodig bij het aanpassen van uw configuratie?

Bel ons support nummer voor contact met één van onze medewerkers: 085 75 00 345

Deze pagina bevat:

E-mailaccounts op TriplonMail.nl

Inkomend (IMAP)

Let op! Bestaande lokale e-mail gaat verloren indien deze niet eerst naar een ander account wordt verplaatst of eerst een lokale back-up wordt gemaakt!

Server: imap-sync.triplonmail.nl
Protocol: IMAP, poort 993 met SSL/TLS-versleuteling (encryptie)

Uitgaand (SMTP)

Server: smtp.triplonmail.nl
Protocol: SMTP, poort 465 met SSL/TLS-versleuteling (encryptie)

Webmail

triplonmail.nl

Website hosting (LH4.triplon.net en LH1.triplon.net)

Voor deze websites is een nieuwe server ingericht: LH10.triplon.net. Herstelwerkzaamheden worden individueel per website uitgevoerd, maar vanwege de datacorruptie die ook in de externe back-ups is doorgetreden (door een hardware storing) is het niet altijd mogelijk de website te herstellen. Indien u zelf uw website kunt en wilt herstellen, neemt u dan even contact met ons op zodat we kunnen controleren of de database back-up intact is en teruggezet kan worden.

Inloggen in Plesk / FTP / SFTP / SSH

Nieuwe server: lh10.triplon.net
De inloggegevens zijn ongewijzigd gebleven

Updates en statusinformatie

Laatst bijgewerkt: TriplonMail op 20-05-2023 om 09:00.

Hosting

OK    Gedeelde website hosting

  • 03-05 23:30  Met uitzondering van enkele websites met veel maatwerk zijn alle klantwebsites weer operationeel. Mocht u vragen hebben over uw website, neemt u dan contact met ons op.
  • 25-04 10:30  Er wordt momenteel gewerkt aan het individueel herstellen van de databases. We hebben helaas nog geen zicht op de mate van corruptie op individueel niveau, maar informeren u hier zo spoedig mogelijk over.
  • 24-04 14:30  De configuraties van websites die voorheen op LH4.triplon.net draaiden (WordPress, PHP, Linux) zijn gemigreerd naar de nieuwe server LH10.triplon.net.

    We zijn bezig om alle websites individueel te herstellen. Dit is noodzakelijk omdat (voornamelijk) bestanden beschadigd kunnen zijn. Mocht u zelf beschikken over uw websitebestanden en -database(s), of wanneer u een tijdelijke pagina wilt plaatsen, dan kunt u vanaf nu met uw bestaande inloggegevens inloggen op het Plesk controlepaneel op lh10.triplon.net. Voor FTP en andere verbindingen dient u ook de nieuwe hostnaam te gebruiken.

    Indien u zelf uw website herstelt, wilt u dit ons dan telefonisch en/of per e-mail laten weten zodat we niet per ongeluk uw aanpassingen overschrijven?
  • 23-04 19:00  Een groot deel van de websites (afhankelijk van een database) is nog steeds onbereikbaar doordat we steeds tegen nieuwe datacorruptie aanlopen. Omdat databases stoppen met functioneren wanneer er een afwijking is het erg moeilijk ze weer vlot te trekken. Neemt u gerust contact met ons op voor de status van uw website!
  • 23-04 07:30  Doordat de problemen rondom het herstellen van de telefonie én de hosting zich blijven opstapelen hebben de herstelwerkzaamheden van de websites helaas nogmaals vertraging opgelopen. We zijn ons bewust van de grote impact die deze langdurige uitval heeft en doen er alles aan om de servers weer operationeel te krijgen en zijn erg dankbaar voor de tijd die we hiervoor krijgen!
  • 22-04 13:30  Naar verwachten zijn alle websites aan het einde van de dag weer bereikbaar. We zijn begonnen met herstelwerkzaamheden van de hosting voorheen draaiende op de LH4.triplon.net. De websites en data worden gemigreerd naar een nieuwe server, gebaseerd op de back-up van 20-04-2023 03:30 en later waar mogelijk aangevuld met de actuele data van het moment van de crash.
  • 22-04 01:00  Een groot deel van de websites met 'instap'-abonnementen zijn weer bereikbaar. Na overleg met diverse klanten is besloten waar mogelijk gebruik te maken van de dagelijkse back-ups die tussen 02:00 en 06:00 worden gemaakt. Omdat de databases tijdens deze back-ups bevroren worden biedt dit de grootste garantie in data consistentie. We nemen contact met u op wanneer er zich bijzonderheden voordoen of wanneer inlog- en/of andere relevante gegevens gewijzigd zijn. We willen u vragen uw website/webapplicatie ook een rustig door te lopen om de functionaliteit te testen.
  • 21-04 16:15  Diverse websites zijn weer bereikbaar. Er wordt begonnen met het voorbereiden van de migraties van de websites op Linux hosting server LH4.
  • 21-04 09:30  Gestart met herstelwerkzaamheden. We hebben besloten om enkele nieuwe servers te installeren en presentatie (statische) websites hierop te herstellen vanuit de laatste back-ups. Hierdoor zijn deze sites sneller weer online.

 

Virtualisatie

OK    Private virtuele servers

  • 01-05 14:00  Alle klant-specifieke virtuele servers zijn weer operationeel.
  • 20-04 19:30  Worden hersteld nadat alle cruciale diensten (e-mail) weer bereikbaar zijn.

 

Internet

OK    Internet - Verbindingen

  • 20-04 13:25  Dienst is weer operationeel.

 

OK    Internet - Virtuele routers

  • 20-04 21:10  Dienst is weer operationeel.

 

OK    Internet - VPN-toegang

  • 30-04 11:00  Dienst is weer operationeel.

 

OK    Internet - IPsec en andere interconnects

  • 20-04 13:25  Dienst is weer operationeel.

 

Telefonie

OK    Telefonie - Toestelregistratie

  • 20-04 19:30  Dienst is weer operationeel.

 

OK    Telefonie - Routering

  • 20-04 19:30  Dienst is weer operationeel.

 

OK    Telefonie - Routering

  • 20-04 19:30  Dienst is weer operationeel.

E-mail

+/-    TriplonMail.nl accounts

  • 20-05 09:00  Herstelwerkzaamheden zijn nog gaande. Gebruikers worden individueel geïnformeerd wanneer het herstel van hun account is afgerond.
  • 03-05 23:30  Doordat het herstellen van de websites langer heeft geduurd dan verwacht zijn de herstelwerkzaamheden aan de e-mail nog gaande.
  • 25-04 10:30  Herstelwerkzaamheden zijn nog gaande. Momenteel doorlopen we alle accounts individueel en proberen door het combineren van meerdere back-ups zoveel mogelijk historische data te herstellen. U kunt uw e-mail gewoon blijven gebruiken tijdens onze werkzaamheden. Op dit moment lijkt het er op dat 10-30% van de e-mails hersteld kan worden. Accounts die voor de crash e-mails bevatten ontvangen bericht wanneer de werkzaamheden zijn afgerond.
  • 24-04 15:20  Vanaf dinsdag 24-04 is het met alle accounts weer mogelijk om uw e-mail te synchroniseren met IMAP. Omdat het ons (nog) niet gelukt is de mailboxen (gedeeltelijk) te herstellen is hiervoor een handmatige aanpassing nodig om te voorkomen dat u per ongeluk nog lokaal opgeslagen e-mails per ongeluk verwijderd.

    Maak indien mogelijk eerst een back-up van uw lokale e-mailaccount voordat u de accountinstellingen aanpast! Soms is het ook mogelijk het nieuwe account naast het bestaande account toe te voegen.

    Het nieuwe serveradres voor IMAP-synchronisatie is: imap-sync.triplonmail.nl.
    Let op! Bestaande lokale e-mail gaat verloren indien deze niet eerst naar een ander account wordt verplaatst en/of er een lokale back-up van is gemaakt! Indien u nu alweer gebruikt wilt maken van IMAP-synchronisatie, neemt u dan even contact met ons op.
  • 23-04 07:00  Vannacht hebben we (voor accounts op het TriplonMail platform) het drastische besluit moeten nemen om (voorlopig) alleen de configuratie te herstellen en niet de inhoud van de postvakken te herstellen. Hierdoor is het eindelijk gelukt de e-mailstroom te herstellen en komen e-mails vanaf het moment van de crash alsnog binnen, maar is er geen toegang (meer) tot eerder bewaarde e-mails.

    Om te voorkomen dat eventuele lokale kopieën van uw postvak (die zijn opgeslagen in het e-mailprogramma op uw computer of telefoon) verloren gaan bij een volgende synchronisatie is het IMAP-protocol voorlopig nog niet te gebruiken. Inloggen op de webmail omgeving is momenteel de makkelijkste methode om toegang te krijgen. Of door het toevoegen van een POP3-account waarmee u de e-mail naar uw apparaat download.

    Het is nog niet helemaal duidelijk of we alsnog de accounts kunnen herstellen en zijn hier nog mee bezig. Later vandaag komen we met vervolgstappen/manieren om uw e-mail lokaal op te slaan. Ook hebben we diverse diverse lokale IT-partijen ingeschakeld die u hier (gratis) bij kunnen helpen. Contactinformatie/mogelijkheden volgen zo spoedig mogelijk!

    Server informatie voor het ophalen van e-mail:
    - Protocol: POP3
    - Server: triplonmail.nl
    - Poort: 110 (standaard) of 995 (ssl/tls)

    Server informatie voor het versturen van e-mail:
    - Protocol: SMTP
    - Server: triplonmail.nl
    - Poort: 25 (standaard) of 465 (ssl/tls)
  • 22-04 22:15  Tijdens de eerste volledige tests blijken er toch veel accounts beschadigd te zijn. We onderzoeken hoe we dit het beste kunnen oplossen terwijl we ondertussen de e-mail functionaliteit herstellen.
  • 22-04 21:45  De herstelwerkzaamheden zijn nog bezig en naar verwachting is de e-mail dienst halverwege de nacht weer operationeel.
  • 22-04 13:00  Momenteel zijn we bezig met het herstellen van het TriplonMail platform. Ondanks dat we eerst dachten dat herstel vanwege bestandscorruptie niet mogelijk was is het ons gelukt om de configuratie database weer werkend te krijgen. De servers en software van het platform moeten wel opnieuw geïnstalleerd worden. Het is nog niet bekend of alle postvakken volledig hersteld kunnen worden. In de loop van de dag hopen we een groot deel van het platform hersteld te hebben. Updates volgen.

 

OK   Mail.Triplon.net accounts

  • 23-04 07:00  E-mailaccounts op 'mail.triplon.net' (en via webmail op triplon.nl/mail zijn weer volledig operationeel. Verzenden en ontvangen is weer mogelijk en ook zijn alle postvakken succesvol hersteld. Helaas is dit niet het geval voor accounts op het TriplonMail-platform, waarover u hierboven meer informatie kunt vinden.
  • 22-04 13:00  Bezig met herstelwerkzaamheden. Meer informatie kunt u hierboven vinden onder 'TriplonMail'.
  • 22-04 01:00  Door de complexe structuur van de software gebruikt voor de TriplonMail.nl diensten is het nog niet gelukt de dienst te herstellen. De accounts van 'mail.triplon.net' zijn wel weer actief, al is het nog niet mogelijk om e-mail te ontvangen/versturen omdat dit via TriplonMail.nl loopt. Indien het op korte termijn niet mogelijk blijkt het gehele platform te herstellen, dan implementeren we een tussenlaag waardoor de accounts op mail.triplon.net weer functioneren (met een hoger percentage spam door het ontbreken van de filtering). Ook zullen we een (tijdelijk) alternatief voor TriplonMail.nl opzetten wanneer het ons niet lukt om samen met de ontwikkelaars van de software de database te repareren (vanwege het vluchtige karakter en het grote volume e-mails is een back-up van enkele uren geleden niet meer geschikt voor herstel).

 

OK    Inkomend e-mail

  • 23-04 07:00  Binnenkomende e-mail wordt weer direct afgeleverd. Wel kan het zijn dat u nog geen toegang tot uw account heeft wanneer deze op de TriplonMail omgeving draait. Meer informatie kunt u hierboven vinden.
  • 22-04 13:00  Bezig met herstelwerkzaamheden. Meer informatie kunt u hierboven vinden onder 'TriplonMail'.
  • 20-04 18:10  Dienst is weer operationeel. Binnenkomende e-mail wordt opgeslagen en later afgeleverd.

 

OK    Uitgaande e-mail

  • 23-04 07:00  Het is weer mogelijk om e-mails te versturen.
  • 22-04 13:00  Bezig met herstelwerkzaamheden. Meer informatie kunt u hierboven vinden onder 'TriplonMail'.
  • 21-04 09:40  De hersteltijd is nog onbekend.

Achtergrondinformatie

Kortsluiting en bitrot

Op donderdag 21 april is om 13:00 kortsluiting ontstaan in één van de opslagsystemen dat verantwoordelijk is voor een groot deel van de virtualisatie producten (zoals virtuele servers) en diensten die daarop draaien (e-mail, webhosting, telefonie).

Onze redundante en zorgvuldige netwerkopbouw heeft de afgelopen 8 jaar altijd garant gestaan diensten met een bereikbaarheidsgarantie van bijna 100%. Helaas heeft de samenloop van problemen in ons primaire datacentrum er nu toch voor gezorgd dat een groot deel van onze diensten onbereikbaar is geworden.

Ondanks dat alle apparatuur in ons datacentrum middels twee gescheiden aansluitingen van stroom wordt voorzien, was de piekbelasting door de kortsluiting dusdanig hoog dat het een overbelasting heeft veroorzaakt op beide aansluitingen en ervoor gezorgd heeft dat de andere servers ook zijn uitgevallen.

Na het overplaatsen van de schijven van de defecte server naar het stand-by systeem en het herstarten van het cluster kwam daarnaast al snel het tweede en catastrofale probleem aan het licht: bitrot. Bitrot is een zeldzaam verschijnsel dat kan optreden wanneer een harde schijf informatie niet meer goed opslaat omdat deze langere tijd ongewijzigd is gebleven. Dat bitrot niet eerder merkbaar wordt komt doordat servers vaak jarenlang draaien (zonder herstart) en de meestgebruikte informatie in hun werkgeheugen houden. Deze stukjes informatie op de opslag worden daardoor nooit gecontroleerd. Om het risico op bitrot te minimaliseren vervangen we regelmatig schijven en verschuiven we de data tussen verschillende schijfgroepen, maar helaas heeft dit niet kunnen voorkomen dat dit in de laatste weken toch heeft kunnen plaatsvinden.

Bij het onderzoeken van de snapshot back-ups die iedere 3 uur gemaakt worden bleek dat de aangetaste data ook hierin is meegekopieerd (ook in de snapshots die worden gesynchroniseerd naar onze externe back-up locatie). We zijn in overleg met de fabrikant van de opslagsystemen hoe dit heeft kunnen gebeuren, maar helaas lost dit voor uw data en bereikbaarheid niks op. Om de impact voor uw bedrijf zo klein mogelijk te houden hebben we daarom besloten onze support capaciteit per direct te bundelen met onze partner DUZZ ICT. Samen gaan we er alles aan doen om u zo goed mogelijk te ondersteunen in het voortzetten van uw werkzaamheden!

Waarschijnlijk heeft u ondertussen al één van onze medewerkers gesproken of wordt u binnen korte termijn door ons gebeld. Mocht u ondertussen vragen hebben over uw specifieke dienst(en), neemt u dan contact met ons op. We zijn telefonisch bereikbaar op 085 75 00 345.

Mijn welgemeende excuses voor het grote ongemak en de gevolgen die deze storing met zich meebrengt. We doen er alles aan onze dienstverlening zo snel mogelijk te herstellen.

Namens Triplon, Étienne Wilderink