ENGLISH
We are incredibly sorry to let you know that our newest game world - Meigs - has experienced a full data loss in yesterday’s downtime. Please find more information and statements concerning the further proceedings below.
What has happened?
In the evening of April 17th, a hardware outage in one of our provider’s data centers had rendered one of our machines - the one which hosts the two game worlds Kaitak and Meigs - inaccessible. Following a standard procedure, the server was rebooted to see whether it would come back up again. For reasons which are unknown to us, this reboot must have caught the server in an unfortunate moment and thereby corrupted the database files of the game worlds.
Are there backups?
Apparently, the hardware failure also corrupted the back-up process which was in progress for Meigs while the outage occurred. We tried to rescue data from the server’s SSDs but so far have only been successful in recovering Kaitak’s data. Long story short: We have a complete data loss and are unable to restore the Meigs game world.
What will happen to Meigs?
Being just about 3 weeks old, Meigs will be restarted just like a regular new game world as soon as possible. The settings will be the same as for the original launch and we will take additional measures against the enormous IPO cheating that was plaguing the server in its third week.
What happens to the credits on the game world?
The credit purchases are collected in a central account management tool, so your credit balance remains unaffected.
Will there be any compensations?
Yes, there will be appropriate compensations. Most importantly, all credits that have been spent on the Meigs game world will be refunded. As such, playing on Meigs will have been essentially free of charge. On top of this we will add 30% additional free credits. This way players which were active for a longer period of time will receive a higher compensation than those who just snuck a peek.
What will be done to prevent this in the future?
Even though this was a classic sequence of unfortunate events we will definitely have to rethink and restructure our processes to keep something like this from happening. We will have to ensure that the failure of a single server cannot cause a complete data loss like it did in this case and we will take measures to spread our backups across more machines and different data centers.
Current Status
Kaitak is running but has a long backlog. It also runs on regular hard disks right now instead of the faster SSDs it had before, so it will be picking up slower than usual. This will probably be fixed tomorrow, inducing another short downtime. Meigs will be restarted as soon as we have sorted out a compensation plan and all technical issues have been resolved.
Final words
A combination of technical issues in the data center and human error on our side have caused this disaster and we are aware that the loss of the affected player’s airlines hurts a lot. We are extremely sorry about all of this, but unfortunately we will have to accept the situation as it is. As such we can only beg your pardon and hope that you will stick with us either way. Thank you very much for your understanding and loyalty. We promise to work hard on avoiding such a problem in the future.
GERMAN
Es tut uns außerordenlich leid euch mitteilen zu müssen, dass unsere jüngste Spielwelt Meigs durch den gestrigen Ausfall eine vollständigen Datenverlust erlitten hat. Bitte lest für weitere Informationen und Aussagen zum weiteren Vorgehen die folgenden Absätze.
Was ist passiert?
Am Abend des 17. April kam es im Rechenzentrum eines unserer Provider zu einem Hardwareausfall welcher unseren Server für die Spielwelten Meigs und Kaitak unerreichbar machte. Entsprechend Standardprozeduren wurde ein Neustart der Maschine versucht um zu sehen, ob er wieder aufwachen würde. Aus uns weiterhin unbekannten Gründen muss dieser Reboot die Maschine in einem ungünstigen Moment erwischt haben, wodurch die Datenbankdateien der Spielwelt beschädigt wurden.
Gibt es Backups?
Anscheinend hat der Hardwareausfall auch den Backuprozess gestört, der zu diesem Zeitpunkt für die Spielwelt Meigs im Gange war. Wir haben versucht die Daten von den SSDs des Servers zu retten, was uns aber nur für die Kaitak-Daten gelungen ist. Um es kurz zu machen: Wir haben es mit einem vollständigen Datenverlust zu tun und sind nicht in der Lage, die Spielwelt Meigs wieder herzustellen.
Was wird mit Meigs passieren?
Da die Spielwelt nur etwa 3 Wochen alt war, werden wir Meigs so schnell wie möglich wie bei einem normalen Serverstart neustarten. Die Konfiguration wird die selbe sein wir beim ursprünglichen Launch und wir werden zusätzliche Maßnahmen gegen das gehäufte IPO-Cheating ergreifen, welches den Server in seiner dritten Woche geplagt hat.
Was passiert mit meinen Credits auf der Spielwelt?
Die Creditkäufe und Guthaben werden in unseren zentralen Accountverwaltung organisiert und bleiben gänzlich unbeeinflusst.
Wird es eine Erstattung geben?
Ja, es wird eine angemessene Erstattung für die betroffenen Spieler geben. Zunächst werden wir alle Credits zurückerstatten, die bisher für Meigs aufgewendet wurden. Das Spielen auf Meigs war also effektiv kostenlos. Zudem werden wir euch für die entstandenen Unannehmlichkeiten 30% zusätzliche Credits gutschreiben. So erhalten Spieler die länger dabei waren eine höhere Kompensation als diejenigen, die nur kurz mit von der Partie waren.
Was wird getan um so etwas in der Zukunft zu verhindern?
Auch wenn dies eine Verkettung ungünstiger Umstände war, werden wir unsere Prozesse und Strukturen überdenken müssen, um derartige Vorkommnisse in Zukunft zu verhindern. Wir müssen sicherstellen, dass der Ausfall einer einzigen Maschine keinen Datenverlust wie diesen bewirken kann, indem wir unsere Backups über mehr Server und Rechenzentren verteilen.
Aktueller Status
Kaitak ist wieder in Betrieb, ist aber in langem Rückstand. Zudem läuft die Spielwelt momentan nur auf normalen Festplatten statt den bisherigen SSDs, weswegen der Aufholvorgang etwas länger dauern könnte. Dies wird vermutlich morgen behoben, was noch einmal eine kurze Downtime zur Folge haben wird. Meigs wird neugestartet sobald wir einen Plan für die Erstattungen haben und wenn alle technischen Probleme ausgeräumt sind.
Abschießende Worte
Dieses Unglück wurde durch eine Kombination aus technischen Problemen im Rechenzentrum und menschlichen Fehlern auf unserer Seite verursacht und uns ist bewusst dass der Verlust ihrer Airlines für viele Spieler schmerzhaft sein wird. Uns tut dies alles aufrichtig leid, aber wir müssen die Situation nun so akzeptieren wie sie ist. Entsprechend können wir nur um euer Verständnis bitten und hoffen, dass ihr auch weiterhin Fans und Spieler von AirlineSim bleiben werdet. Wir Danken euch für euer Vertrauen und versprechen, dass wir hart arbeiten werden um derartige Vorfälle nicht wieder vorkommen zu lassen.