[EN/DE] Current game patch - problem status

Archive Announcements // Ankündigungen
1

[EN]

With todays patch we occured several strange problems and bugs. First of all, we are busy on gathering information and eliminating one after the other. You can be sure that we will not rest unless AirlineSim is running again without these bugs.This isn't an easy task as these bugs are not affecting all airlines and did not appear on our test server.

Currently known bugs and their status:

  • Can not use any fleet management function (clicking on all opens the menu below table, selecting single aircraft does not have any effect)

    Status: solved - it’s a cached file somewhere, simply hard-reload the page (pressed shift-key and click on reload)

  • Can not select all ingame messages

    Status: solved - it’s a cached file somewhere, simply hard-reload the page (pressed shift-key and click on reload)

  • Searching new flight number results into internal error

    Status: solved - it’s a cached file somewhere, simply hard-reload the page (pressed shift-key and click on reload)

  • No class selectable for new cabin configuration

    Status: solved - it’s a cached file somewhere, simply hard-reload the page (pressed shift-key and click on reload)

  • Flight cancled (Status: bad condition)

    Status: solved - this aircraft is not maintained and the condition is below minimum (as always) or you are using an old cabin configuration for this

  • Flight cancled (Status: still in air)

    Status: solved

  • Leasing fee or loan paid twice or more

    Status: solved and double/multiple payments added to bank account again

  • Broken link on detail for cargo building

    Status: solved

  • not able to assign cargo contracts

    Status: solved

  • timeouts (especially on Aspern and Stapleton)

    Status: improvements in progress

  • Flights don't update on time (especially on Aspern and Stapleton)

    Status: solved

If you have other bugs than listed above, please start a topic in the forums or send an e-mail to support@airlinesim.aero

[DE]

Mit der Einspielung des heutigen Patches entstanden einige merkwürdige Probleme und Fehler. Zunächst mal möchten wir betonen, dass wir fieberhalft versuchen die Probleme einzugrenzen und einem nach dem anderen zu beheben und nicht eher ruhen werden, bis AirlineSim wieder läuft. Das ist keine leichte Aufgabe, da nicht alle Airlines von diesen Bugs betroffen sind und diese auch auf den Testservern nicht auftraten.

Zur Zeit bekannte Fehler und der aktuerlle Status:

  • Keine Funktionen in der Flottenverwaltung auswählbar (bei "alle" öffnet das Menü zu den gewählten Maschinen, bei einzelnen markierten passiert nichts)

    Status: gelöst - liegt an einer Datei im Cache, bitte einen “Hard-Reload” machen (bei gedrückter Shift auf “Neu Laden” bzw. “Aktualisieren” im Browser klicken)

  • Man kann nicht "alle" In-Game-Nachrichten auswählen

    Status: gelöst - liegt an einer Datei im Cache, bitte einen “Hard-Reload” machen (bei gedrückter Shift auf “Neu Laden” bzw. “Aktualisieren” im Browser klicken)

  • Suche nach neuen freien Flugnummern führt zu einem "Internal Error"

    Status: gelöst - liegt an einer Datei im Cache, bitte einen “Hard-Reload” machen (bei gedrückter Shift auf “Neu Laden” bzw. “Aktualisieren” im Browser klicken)

  • Beim Anlegen einer Kabinen-Konfiguration lassen sich keine Klassen auswählen

    Status: gelöst - liegt an einer Datei im Cache, bitte einen “Hard-Reload” machen (bei gedrückter Shift auf “Neu Laden” bzw. “Aktualisieren” im Browser klicken)

  • Flug gelöscht (Status: schlechter Zustand)

    Status: gelöst - Flugzeug ist schlecht gewartet (wie bislang) oder hat noch eine alte Kabinenkonfiguration

  • Flug gelöscht (Status: noch in der Luft)

    Status: gelöst

  • Leasinggebühren oder Löhne werden mehrfach abgezogen

    Status: gelöst und doppelte/mehrfach abgezogene Kosten wurden wieder erstattet

  • Verwalten Link bei Frachtgebäuden führt auf nicht existierende Seite

    Status: gelöst

  • Internal Error bei Zuordnung von Frachtverträgen

    Status: gelöst

  • Time-Out (nicht rechtzeitig beendete Aktionen) - insbesondere auf Aspern und Stapleton

    Status: Verbesserungen in Arbeit

  • Flüge hinken zeitlich hinterher (insbesondere auf Aspern und Stapleton)

    Status: gelöst

Sollten andere als die zuvor aufgeführten Fehler auftreten, bitte einen Beitrag im Forum eröffnen oder eine Mail schreiben an: support@airlinesim.aero

2

[EN]

Here's a quick status update on the two most pressing issues:

  1. Leasing fee or loan paid twice or more
  2. Flight cancelled (Status: still in air)

After several hours of trying to hunt down the cause of this issues I only have some vague clues as to what's causing them or has been causing them, partly because they seem to be very airline-specific. From all we know, our hotfixes of the evening have fixed the core issues at least partially but we have a very hard time getting a clear picture of the situation since the effects of the bugs themselves, the follow-up effects of the bug and the consequences of the measures against deprecated seating configurations all kind of blur together.

Obviously, this also makes it hard right now to figure out a solution concerning the aftermath and how we will compensate the affected players and/or fix the damage made. We will discuss the possibility of using a backup, but this would be our last resort.

All of this will need to be discussed as soon as possible. I'm incredibly sorry that something of this sort has happened once again. We will keep you posted to the best of our abilities.

[DE]

Hier ist ein kurzes Status-Update zu den beiden dringendsten Themen :

    1.

Leasing-Abrechnungen oder  Gehälter dopellt oder mehrfach abgerechnet

    2. Flug gestrichen (Status: noch in der Luft)

Nach mehreren Stunden der Suche um die Ursache dieser Probleme zu finden, gibt es nur wenige Hinweise, was diese verursacht haben, unter anderem, weil diese abhängig von der Airline zu sein scheinen. Nach aktuellem Stand der Dinge, wurden die Haupt-Probleme durch unsere Hotfixes des Abends teilweise behoben. Es ist aber sehr schwierig, ein klares Bild von der Situation zu bekommen, da die Effekte der Fehler selbst, die Folgewirkungen des Fehlers und die Folgen der Maßnahmen gegen veraltete Sitzkonfigurationen aller Art keine eindeutige Aussagen zulassen.

Daher ist es zum gegenwärtigen Zeitpunkt auch schwerig eine Lösung zu den Folgen zu finden und wie wir die betroffenen Spieler kompensieren und / oder den Schaden teilweise beheben können. Wir werden die Möglichkeit der Verwendung eines Backup diskutieren, aber das würde unser letzter Ausweg sein.

 All dies muss so schnell wie möglich diskutiert und entschieden werden. Es tut mir leid, dass ein derartiger Fehler wieder einmal passiert ist. Wir halten Sie auf dem Laufenden.

3

[EN]

Here is an upgrade about today's activities:

Automatic Refunds (double/multiple contract updates)

Firstly and most importantly, we have started our first compensation activities. In detail, these look like this:

Technically, what we can do and have done already is to refund the double/multiple payment for these contract and transaction types:

  • Regular Leasing Payments
  • Leasing Payments from depot
  • Ground-Handing
  • Logistics

We only fixed the paying end. If you are a lessor or ground-handling operator: Don't tell anyone!

Double/Multiple Loan Repayments/Flight Cancellation Bug

In these cases, our possibilities are limited. What we can't do:

  • Refund the repayments for loans as we don't have the required tidbits of data available that allow us to identify double/multiple transactions automatically.
  • Fix schedules/bring back aircraft for players affected by the flight-cancellation bug.
  • Bring airlines back to life that might not have survived this disaster.

For everyone affected by any of this, please contact support@airlinesim.aero and we will try to find some kind of solution.

Further Compensations

We have had launch problems like this before. AirlineSim veterans will know what I mean. They will also know that we always try to compensate our players for our mishaps. As such we are planning to deactivate credit charges for all affected game worlds (that's all of them except Quimby) the coming week-end. Details will be announced in time.

On-Going Activities

We are still receiving (expected) bug reports from players concerning smaller issues not related to the ones mentioned above. Please keep them coming: We're fixing these constantly.

The new "spring cleaning" framework changes still show some teething issues, especially on the performance/tuning side, and we are looking into these as well. So if you see a lot of timeouts: We're working on fixing these.

Once again, thank you for your understanding and patience.

[DE]

Hier ist das nächste Status-Update der heutigen Maßnahmen:

Automatische Erstattungen (doppelte/mehrfache Abbuchungen von Verträgen)

Wir haben dafür unsere ersten Erstattungen gestartet. Diese sehen wie folgt aus:

Was wir technisch tun können und bereits getan haben, ist die Erstattung der doppelt oder mehrfach abgebuchten Vetragszahlungen folgender Arten:

  • normale Leasinggebühren
  • Leasingzahlungen aus dem Depot
  • Bodendienste
  • Logistik

Wir haben die Korrektur nur auf Seiten der Zahler durchgeführt. Wenn Sie also Leasinggeber oder Terminalanbieter sind: Erzählen Sie es nicht weiter! ;)

Doppelte/Mehrfache Kreditrückzahlungen / Gecancelte Flüge

In diesen Fällen sind unsere Möglichkeiten leider begrenzt: Was wir nicht machen können:

  • Erstatten der Kreditrückzahlungen, da wir keine Daten zur Verfügung haben, um doppelte/mehrfache Transaktionen automatisch zu identifizieren
  • Wiederherstellen von Flugplänen oder Flugzeugen, die von gecancelten Flügen betroffen waren
  • Wiederherstellen von Unternehmen, die dieses Disaster möglicherweise nicht überlebt haben

Falls Sie davon betroffen sind, melden Sie sich bitte per E-Mail an support@airlinesim.aero und wir werden versuchen, eine Lösung zu finden.

Weitere Wiedergutmachungen

Wir hatten auch früher schon Probleme wie dieses - AirlineSim-Veteranen werden wissen, wovon ich rede. Und sie werden auch wissen, dass wir immer versuchen, unsere Spieler für unsere Fehler zu entschädigen. Daher planen wir, am kommenden Wochenende auf allen betroffenen Spielwelten (das sind alle außer Quimby) die Creditabbuchungen zu deaktivieren. Details werden noch bekanntgegeben.

Weitere, laufende Maßnahmen

Wir erhalten immer noch (erwartete) Fehlerberichte von Spielern, die nicht mit den oben genannten Problemen zusammenhängen. Bitte berichten Sie uns diese weiterhin, wir arbeiten kontinuierlich an einer Behebung.

Die Änderungen aus dem “Frühjahrsputz” zeigen immer noch kleinere Kinderkrankheiten, besonders was Leistung/Tuning angeht und wir schauen und diese ebenso an. Wenn Sie viele Zeitüberschreitungen sehen: Wir arbeiten daran.

Noch einmal vielen Dank für Ihr Verständnis und Geduld!

4

[EN]

Update concerning performance issues on Stapleton and Aspern

These problems manifest themselves in two ways:

  1. Flights don't update on time
  2. Players experience a lot of time-out errors

This post is to let you know that I've been working feverishly (in the truest sense of the word) the whole day to find the cause of these rather gameworld-specific problems and to come up with a solution.

The in-depth explanation will probably be part of a post-mortem at a later point in time, but in short, both game worlds have a backlog in their flight update queue of between 4000 und 15000 flights, depending on the time of day and server load. We have managed to fine-tune several parameters in a way that these numbers seem to be constantly decreasing, but while they are as high as they are now, you will see the problems mentioned above. 

As a precaution, we have ordered additional hardware that will hopefully be operational by tomorrow. Should the situation not improve over the coming night, we will move one of the game worlds to a new physical machine to solve the problem "by throwing money at it". Once the most urgent issues are resolved, we'll have to delve deeper into optimizing the system.

We will keep you posted. Thank you very much for your understanding!

[DE]

Update betreffend der Leistungsprobleme auf Stapleton und Aspern

Diese Probleme zeigen sich auf zwei Arten:

  1. Flüge sind zeitlich nicht aktuell sondern hinken hinterher
  2. Spieler melden viele Zeitüberschreitungen

Ich möchte Sie mit diesem Beitrag wissen lassen, dass ich den gesamten Tag fieberhaft (im wahrsten Sinne des Wortes) daran gearbeitet habe, die Ursache für diese eher spielweltspezifischen Probeme zu lokalisieren und eine Lösung dafür zu finden.

Die detailliertere Erklärung wird es wohl erst nach dem Ende des Ganzen zu einem späteren Zeitpunkt geben, aber kurz gesagt haben beide Spielwelten momentan einen Rückstand von 4000 bis 15000 Flügen in der Updateroutine, abhängig von der Tageszeit und der Serverlast. Wir haben es geschafft, einige Parameter so zu optimieren, dass diese Zahlen nun konstant zu sinken scheinen, doch während sie noch so hoch sind wie momentan, werden Sie leider noch die oben genannten Probleme sehen.

Als Vorsichtsmaßnahme haben wir zusätzliche Hardware bestellt, die hoffentlich morgen zur Verfügung stehen sollte. Sollte sich die Situation in der kommenden Nacht nicht verbessern, werden wir eine der Spielwelten auf eine neue Maschine umziehen, um das Problem mit der Methode “Geld danach werfen” zu lösen. Sobald die dringendsten Punkte behoben sind, werden wir das System genauer durchforsten müssen.

Wir halten Sie auf dem Laufenden. Vielen Dank für Ihr Verständnis!

5

[EN]

Status Update, April 16th, 12:00 UTC

The good news first: Aspern has picked up it's backlog. All flights should be updated on time again and it looks stable. We're monitoring it though.

The less good news: Stapleton has improved but isn't perfect yet. Right now the backlog stands at about 10.000 flights which is a considerable improvement over the 35.000 it had this morning. I spent all of this morning adding various performance improvements to our flight update code but we're still trying to figure out why exactly it's Stapleton only that is causing so much trouble.

The new hardware ordered yesterday hasn't arrived yet but we're still holding that card up our sleeves just in case. I assume the server will be available some time today so we could set it up later today or tomorrow if necessary. As of right now I hope to be able to fix the problems without a move though.

[DE]

Status-Update, 16. April, 14:00 MESZ

Die guten Nachrichten zuerst: Aspern hat den Rückstand abgearbeitet. Alle Flüge sollten nun wieder pünktlich upgedated werden und es sieht stabil aus. Wir beobachten dies aber weiter.

Die weniger guten Nachrichten: Stapleton hat Fortschritte gemacht, ist aber noch nicht perfekt. Momentan steht der Rückstand bei etwa 10.000 Flügen, was eine klare Verbesserung gegenüber den mehr als 35.000 diesen Morgen ist. Ich habe den ganzen Vormittag damit verbracht, diverse Leistungsverbesserungen im Code zum Flugupdate hinzuzufügen, aber wir versuchen immer noch herauszufinden, warum genau Stapleton so viel Ärger macht.

Die neue Hardware, die wir gestern bestellt haben, steht noch nicht zur Verfügung, aber für den Fall der Fälle behalten wir dieses Ass im Ärmel. Ich gehe davon aus, dass der Server heute irgendwann zur Verfügung stehen wird, sodass wir ihn später oder morgen einrichten könnten, falls nötig. Im Moment hoffe ich jedoch, die Probleme ohne einen Umzug in den Griff zu bekommen.

6

[EN]

Status Update, April 16th, 21:45 UTC

Aspern: Status unchanged. Flights show no backlog. Game world seems to be responsive, at least we haven't gotten serious reports that say otherwise.

Stapleton: After further tweaks in the late afternoon, the situation stabilized and the backlog mostly disappeared. I still see slightly elevated values in the logs, because of which I will attempt further optimizations tomorrow.

General situation: Some other bugs reported to us over the day have been fixed but not rolled out to all game worlds yet. This will most likely happen tomorrow together with some more changes and the performance tweaks mentioned above. So if you come across any more issues, please let us know and we'll try to address them as soon as possible.

Compensations etc.: We are well aware that the situation over the past days has been a great nuisance and we are very sorry this has happened. As said before, there will be appropriate compensations, especially for those players on Stapleton/Aspern and those directly affected by the "cancelled flights" bug. All of the team have been working more or less around the clock since Monday, so we have to ask for your understanding that it might take a few days until we are able to present the final means of compensation. If you are directly affected by one of the bugs that occurred directly after launch on Monday, please keep in mind that you can contact support@airlinesim.aero to discuss your specific situation.

Once again, thank you very much for your patience. Optimizations and fixes will continue throughout the rest of the week and we'll keep you updated here!

[DE]

Status-Update, 16. April, 23:45 MESZ

Aspern: Die Lage hat sich nicht verändert. Die Flüge haben keinen Rückstand. Die Spielwelt reagiert zuverlässig, zumindest haben wir keine Meldungen erhalten, die gegenteilig wären.

Stapleton: Nach weiteren Anpassungen am späten Nachmittag hat sich die Situation stabilisiert und der Rückstand ist größtenteils verschwunden. Ich kann in den Logs noch leicht erhöhte Werte sehen, daher werde ich morgen weitere Optimierungen versuchen.

Grundsätzliche Lage: Einige andere Fehler, die uns über den Tag berichtet wurden, haben wir behoben, jedoch noch nicht auf allen Spielwelten eingespielt. Dies wird vermutlich morgen erledigt, zusammen mit einigen anderen Änderungen und Leistungsoptimierungen, die oben erwähnt sind. Wenn Sie also noch über weitere Fehler stolpern sollten, lassen Sie es uns bitte wissen und wir werden versuchen, uns so bald wie möglich darum zu kümmern.

Wiedergutmachungen etc.: Wir sind uns absolut bewusst, dass die Lage in den vergangenen Tagen eine große Beeinträchtigung war und es tut uns sehr leid, dass es dazu gekommen ist. Wie zuvor gesagt wird es angemessene Wiedergutmachungen geben, besonders für die Spieler auf Stapleton/Aspern und diejenigen, die vom Fehler der gecancelten Flüge direkt betroffen waren. Alle im Team haben seit Montag mehr oder weniger rund um die Uhr gearbeitet, deshalb bitten wir um Verständis, dass es noch einige Tage dauern kann, bis wir die finale Wiedergutmachung bekanntgeben können. Wenn Sie von einem der Fehler, die direkt nach dem Patch am Montag aufgetreten sind, betroffen waren, denken Sie bitte daran, dass Sie sich an support@airlinesim.aero wenden können um Ihre genaue Situaton zu schildern.

Nochmals vielen Dank für Ihre Geduld. Optimierungen und Fehlerbehebungen werden die Woche über fortgesetzt und wir werden Sie an dieser Stelle weiter auf dem Laufenden halten.

7

[EN]

Status Update, April 17th, 16:00 UTC

After my primary goal was to cut down the backlog of pending flights yesterday, I focused on improved responsiveness today. Many players were and still are reporting to see a lot of "operation timed out" messages and a general sluggishness of the game.

It's most likely that these symptoms result from the new way AirlineSim handles transactions: User- and system-triggered operations are both treated in the exact same way and dealt with in sequence by a limited pool of "workers". Now, if the "pacemaker" dumps several hundred flights onto that pool for processing and it takes just a short moment for each of these tasks to be completed, overall response times deteriorate for the users whose own tasks have to wait for all the other ones that came in before. 

I tried to fix this issue by adding a buffer between the pacemaker and the core for high-volume jobs like flight updates. This buffer will ensure that only a limited amount of tasks are sent to processing at any given time to allow user-triggered operations to "sneak in between".

The changes are rolled out to the game worlds as we speak. There are still two scenarios that might still cause slow response times or even timeouts:

  1. If a long running task (like a deletion) is in the queue in front of any given other operation, there's nothing one can do right now but wait.
  2. Same goes if the operation you are triggering yourself is slow by itself (like doing bulk price updates for a whole airline etc). 

There not much that can be done about this other than improving the execution time of the respective operations. To achieve this, one has to know the problematic operations first, though. For this reason I plan to build a statistics-system that can tell me more about where our bottlenecks are on a per-operation basis. 

It's most likely you will find more information on this here or in our development log.

[DE]

Status-Update, 17. April, 18:00 MESZ

Nachdem mein Primärziel gestern noch die Reduzierung des Rückstandes beim Flugupdate war, lag mein Fokus heute auf der Verbesserung der Antwortzeiten. Viele Spieler sind oder waren von häufigen Timeout-Meldungen oder einem allgemein zähen Spiel betroffen.

Es ist sehr wahrscheinlich, dass diese Symptome mit der neuen Art und Weise zusammen hängen, auf die AirlineSim nun Transaktionen behandelt: Sowohl Spieler- als auch System-Operationen werden auf die exakt gleiche Weise  nacheinander von einem Pool an "Arbeitern" abgearbeitet. Wenn der "Schrittmacher" diesem Pool nun auf einen Schlag mehrere hunderte Flüge zur Verarbeitung vorlegt und jede dieser Aufgaben auch nur einen kurzen Moment beansprucht, dann verschlechtern sich die Antwortzeiten für die Spieler, da ihre Operationen sich hinter allen bestehenden Aufgaben einreihen müssen.

Ich habe versucht, dieses Problem für Massen-Jobs wie dem Flugupdate durch den Einbau eines Puffers zwischen dem Schrittmacher und dem Kern zu läsen. Dieser Puffer stellt sicher, dass zu einem gegebenen Zeitpunkt nur eine begrenze Anzahl an Operationen an den Kern zur Verarbeitung weitergegeben werden, so dass sich user-seitige Operationen "dazwischen drängeln" können.

Die entsprechenden Änderungen befinden sich während ich diesen Text verfasse bereits auf dem Weg in die Spielwelten. Es gibt allerdings weiterhin zwei Situationen, die zu langsamen Reaktionszeiten oder sogar Timeouts führen können:

  1. Wenn sich vor einer beliebigen Operation eine sehr aufwändiger Job befindet (wie zum Beispiel eine Löschung), dann kann man nichts anderes tun, als auf dessen Abschluss zu warten.
  2. Das selbe gilt für Operationen, die man selbst auslöst, die aber recht aufwändig sind (zum Beispiel großflächige Preisanpassungen für eine ganze Airline).

Hier kann man nicht viel machen, außer die Laufzeit der betroffenen Operationen zu verkürzen. Um dies zu erreichen muss man aber zunächst wissen, welche Operationen überhaupt problematisch sind. Aus diesem Grund plane ich den Einbau eines Statistik-Systems, welches mir auf Operations-Ebene sagen kann, wo sich unsere Flaschenhälse befinden.

Hierzu werdet ihr vermutlich hier oder im Entwicklungs-Logbuch noch etwas lesen können.