Incident Status

✅ Stage-Stoerung behoben - Stage wieder voll funktionsfaehig

Stage-Stoerung vom 25.05. ist vollstaendig behoben. Frappe-Cloud-Engineering hat heute Nachmittag den blockierenden Site-State-Flag gecleart, alle Patches sind applied, Stage ist voll betriebsbereit.

✅ Stage-Stoerung behoben - Stage wieder voll funktionsfaehig

RESOLVED - 28.05.2026 ~17:00 CEST

Stoerung vollstaendig behoben. Frappe-Cloud-Engineering hat heute Nachmittag das blockierende Site-State-Flag geclear und Press hat unseren aktuellen Code-Stand (HEAD 11a1dd6) auf den neuen Bench bench-26912-000825-f2-frankfurt deployed. Alle Migrations-Patches sind sauber durchgelaufen.

Volle Funktionalitaet wieder verfuegbar: Stage-Site developcitaevents.f.frappe.cloud erreichbar, alle 35 Patches v2_27x..v2_29x applied, maintenance_mode aus, fatal_site_update geclear.

Was ist passiert

Am 25.05. ist auf unserer Stage-Umgebung ein Deployment gescheitert. Eine fehlerhafte Referenz in der Migrations-Liste hat dazu gefuehrt dass die Plattform den Update-Vorgang nicht zu Ende fuehren konnte. In der Folge sind weitere Bugs entdeckt worden die in Welle-Reihe auf der parallelen Stage citadevelop-new.f.frappe.cloud isoliert + gefixt wurden.

Recovery-Zeitstrahl

  • 25.05. ~21:25 CEST — Initial-Crash (Module-Reference v2_280)
  • 26.05. ~16:30 CEST — Komplette Welle (W-IDENTITY-FOLGE-SESSION-1) nachgepusht
  • 26.05. ~18:55 CEST — Folge-Bug v2_285 (Kwarg-Drift) gefixt
  • 26.05. ~21:45 CEST — Python 3.11-Inkompatibilitaet + Orphan-Scheduled-Job-Cleanup gefixt
  • 26.05. ~22:30 CEST — Parallele Stage citadevelop-new aus Backup hochgezogen + Migration komplett sauber durchgelaufen (empirischer Fix-Beweis)
  • 27.05. ~19:00 CEST — Jinja-Template-Bug im Maintenance-Banner gefixt
  • 28.05. ~14:56 CEST — Frappe-Cloud-Engineering cleart Flag + Press deployed neuen Bench mit Code-HEAD 11a1dd6
  • 28.05. ~17:00 CEST — Stage voll betriebsbereit, alle 35 Migrations-Patches applied

Was wir gelernt haben (3 strukturelle Lehren)

  1. Patch-Modul und Patch-Referenz muessen atomar in einem Commit landen. AST-Gate fuer Welle W-PROD-MERGE-DEFENSE-1 geplant.
  2. Keyword-Parameter-Refactorings brauchen Call-Site-Konsistenz-Check. AST-Gate fuer alle Patch-Helper-Funktionen geplant.
  3. Python-Version-Drift zwischen lokaler Entwicklung (3.12+) und Frappe-Cloud-Stage (3.11) muss pro Push verifiziert werden. AST-Gate fuer f-string-Backslash-Audit geplant.

Zusaetzlich 3 weitere Bug-Klassen werden in derselben Defense-Welle adressiert: Orphan-Scheduled-Job-Types, Jinja-Template-Parse-Validitaet, Cita-News-Inline-Style-Sanitizer-Drift.

Was fuer die Produktiv-Plattform gilt

app.cita.events war zu keinem Zeitpunkt betroffen. Der gesamte Vorfall beschraenkte sich ausschliesslich auf unsere interne Stage- und Test-Umgebung. Eure Events, Tickets, Buchungen und Auszahlungen liefen normal weiter.

Team-Sign-Off

Recovery + Fixes wurden vom kompletten Cita-Team freigegeben: Bea · Tomas · Sina · Maik · Anna · Paul · Niko · Daria · Frida · Mira · Ina · Pia.

Dank an Frappe-Cloud-Support

Frappe-Cloud-Engineering hat trotz der Komplexitaet des Site-State-Flags durchgehalten und uns sauber wieder rausgeholfen. Danke!


Letzte Aktualisierung: 28.05.2026 ~17:00 CEST. Status: RESOLVED. Banner auf gruen geschaltet. Stage voll funktionsfaehig.