SF2 Load-Forecasting Leaderboard

Leaderboard

Live-Wertung des Wettbewerbs ab Zieltag 21.07.2026 (UTC, „clean restart"): alle Mittelwerte starten bei null und zählen ausschließlich Tage ab diesem Zieltag, an denen ein Team selbst eine Prognose eingereicht hat. Fehlende Einreichungen zählen als NA und werden aus allen Metriken ausgeschlossen (kein LOCF); „Bewertete Tage" zeigt die Zahl der tatsächlich eingereichten Tage. Die Auswertung eines Zieltags erscheint am Folgetag, sobald die ENTSO-E-Ist-Werte veröffentlicht sind.

Ranking nach Mean MAE (Tie-Break: bewertete Tage). Fett markiert den besten Wert jeder Spalte: Minimum bei MAE/RMSE/MAPE/MASE, am nächsten an 0 beim Bias, am nächsten an 50 % bei der UPR, Maximum bei den bewerteten Tagen. MASE (Mean Absolute Scaled Error, Hyndman & Koehler 2006) skaliert die MAE am In-Sample-MAE der saisonal-naiven Prognose ŷ_t = y_t−24 h (Vortag, gleiche Stunde), berechnet über ein gleitendes 28-Tage-Fenster der Ist-Last bis zum Vortag des Zieltags; MASE < 1 bedeutet besser als die 24-Stunden-Persistenz, der Nenner ist pro Zieltag für alle Teams identisch (vgl. Hyndman & Koehler (2006), „Another look at measures of forecast accuracy", Int. J. Forecasting 22(4):679–688). Bias = Ø(Prognose − Ist), negativ = systematische Unterprognose; UPR = Anteil der Stunden mit Prognose < Ist. Beides macht die im Netzbetrieb teurere Unterprognose-Richtung sichtbar, die vorzeichenblinde Metriken (MAE/RMSE/MAPE) verbergen — die offiziellen ENTSO-E-Day-ahead-Lastprognosen sind nachweislich systematisch verzerrt, vgl. Möbius et al. (2023), „Enhancing Energy System Models Using Better Load Forecasts", arXiv:2302.11017.

Wegen Inaktivität ausgeblendet (keine Einreichung seit mindestens 7 bewerteten Zieltagen): ddkast (zuletzt 22.07.2026), hot_rod (zuletzt 22.07.2026), team_weather_report (zuletzt 20.08.2026). Die Historie bleibt erhalten — mit der nächsten Einreichung kehrt ein Team automatisch auf das Leaderboard zurück.

Prognose vs. Ist-Last

Stündliche 24-h-Prognose jedes Teams gegen die tatsächlich gemessene Netzlast (ENTSO-E Actual Total Load, DE). Die gestrichelte Linie ist die ENTSO-E-Day-ahead-Prognose als Referenz-Baseline. Zieltag über den Kalender wählbar.

Mittlere MAE je Team

Mittlerer absoluter Fehler [MW] über alle bewerteten Tage — die Ranking-Metrik des Leaderboards. Jede Stunde zählt gleich; kleiner = besser.

Mittlerer RMSE je Team

Wurzel des mittleren quadratischen Fehlers [MW]. Quadrieren gewichtet große Einzelfehler überproportional — wer Lastspitzen verpasst, fällt hier stärker ab als bei der MAE; kleiner = besser.

Mittlere MAPE je Team

Mittlerer absoluter Fehler relativ zur Ist-Last [%] — die klassische Referenzmetrik der Lastprognose-Praxis, vergleichbar über Tage mit unterschiedlichem Lastniveau; kleiner = besser.

Mittlere MASE je Team

MAE skaliert am saisonal-naiven In-Sample-MAE (m = 24 h, gleitendes 28-Tage-Fenster; Hyndman & Koehler 2006). Dimensionslos und über Tage mit unterschiedlichem Lastniveau vergleichbar; MASE < 1 = besser als die 24-h-Persistenz, kleiner = besser.

Mittlerer Bias je Team

Ø(Prognose − Ist) [MW], signiert: negativ = systematische Unterprognose (im Netzbetrieb die teurere Richtung), positiv = Überprognose. Bester Wert = am nächsten an der 0-Linie (gepunktet) — ein kleiner Bias bei großer MAE bedeutet: die Fehler heben sich auf, sind aber stündlich trotzdem groß.

Mittlere UPR je Team

Under-Prediction Rate [%]: Anteil der Stunden, in denen die Prognose unter der Ist-Last lag. 50 % (gepunktete Linie) ≈ ausgewogen; Werte nahe 100 % bzw. 0 % zeigen systematisch einseitige Prognosen. Bester Wert = am nächsten an 50 %.

MAE-Verlauf

Tages-MAE je Team innerhalb einer Kalenderwoche. Woche über den Kalender wählbar (KW-Zahl oder Tag anklicken).

Signifikanz der paarweisen Unterschiede

Holm-adjustierte p-Werte zweiseitiger gepaarter t-Tests auf den Tages-MAE-Werten der gemeinsamen Zieltage. Ins Panel kommen die Einträge mit Wertungen an mindestens der Hälfte der Live-Tage; verglichen werden genau die Zieltage, die alle Panel-Einträge teilen (vollständiges Block-Design). Zeilen und Spalten sind aufsteigend nach mittlerer MAE über diese Tage nummeriert; jede Zelle vergleicht das Team ihrer Zeile mit dem Team ihrer Spalten-Nummer. Die Zeile der Position 1 bleibt leer — sie benennt den Führenden, der kein besser platziertes Vergleichsteam hat. Dunkler = stärkere Evidenz für einen echten Unterschied; p ≥ 0.05 bedeutet: bei dieser Stichprobengröße statistisch nicht unterscheidbar.