Viele von Euch haben nach dem Update auf V17.3.11.12 davon berichtet, dass ihr System "zusammengebrochen" ist und "nichts mehr ging". Ich hatte Kontakt mit einigen von Euch: es handelte sich bei den meisten Fällen um User, die einen LoxBerry mit MQTT-Gateway benutzen und keinerlei Werte mehr über den LoxBerry / das Gateway hereinbekommen haben.
Ich habe daraufhin heute eine Messreihe durchgeführt um zu analysieren, was die neue Firewall von Loxone bewirkt. Die gute Nachricht: Das MQTT Gateway V2 des LoxBerry ist nicht betroffen, solange ihr nur abonniert und weiterleitet, was ihr in Loxone Config auch eingerichtet habt (sprich keine 404 Fehler in der Datenübersicht habt). Die schlechte Nachricht: Das MQTT Gateway V1 ist mit V17.3.11.12 und HTTP nicht mehr nutzbar (HTTP abschalten und UDP nutzen geht weiterhin).
Die komplette Analyse: Miniserver 17.3.11.12: Was die neue Application Firewall blockiert – Messungen an einem Gen 2
Seit Firmware 17.3.11.12 hat der Miniserver eine „Application Firewall“. Loxone nennt keine Grenzwerte. Ich habe sie an einem Miniserver Gen 2 mit Lasttests vermessen: HTTP und HTTPS, Keep-alive und neue Verbindungen, verschiedene User-Agents, UDP. Einen Gen 1 habe ich nicht getestet. Falsche Passwörter habe ich bewusst nicht getestet, weil der Miniserver den Benutzer nach Fehlversuchen sperrt.
Kurzfassung
Die Firewall reagiert nicht auf die Menge der Anfragen, sondern auf Anfragen an Bausteine oder virtuelle Eingänge, die es nicht gibt. Der Miniserver beantwortet sie mit HTTP 404, und jede davon bringt der IP des Absenders einen Strafpunkt. Ab 8 Punkten bremst der Miniserver alle Antworten an diese IP, ab 16 Punkten antwortet er mit HTTP 429.
Was zählt und was nicht
- Es zählt nur HTTP 404, also ein Wert an einen virtuellen Eingang, den es im Programm nicht gibt.
- Nicht gezählt werden: gültige Werte, Anfragen ohne Anmeldung (401), die 429-Antworten selbst und UDP.
- Die Punkte gelten pro Absender-IP. Andere Geräte im Netz sind nicht betroffen.
- Keinen Unterschied machen: Rate, Keep-alive oder neue Verbindung je Anfrage, HTTP oder HTTPS und der User-Agent. Auch die User-Agents von Loxone Config und der Loxone App werden genauso gesperrt; eine Ausnahme für Loxone-Programme gibt es nicht.
Wie die Sperre abläuft
- Punkt 1 bis 7: keine Auswirkung.
- Ab Punkt 8 wird jede Antwort an diese IP verzögert, je Punkt um etwa 0,26 bis 0,3 s, bis etwa 1,9 s. Das trifft auch gültige Werte und neue Verbindungen.
- Beim 16. Punkt kommt HTTP 429 (Too Many Requests) mit Retry-After 52 bis 55 s.
- Die Punkte bauen sich ab: etwa 0,04 s Verzögerung pro Sekunde, also etwa ein Punkt alle 7 s. Nach etwa 55 s ohne neue 404 ist alles wieder normal.
- 429 ist keine harte Sperre. 5 s nach dem 429 kam wieder 200, nur stark verzögert. Wer aber weiter 404 erzeugt, bleibt dauerhaft oben.
- Ein 404 alle 5 s löst nie eine Sperre aus, weil der Abbau schneller ist.
Gemessener Verlauf nach einem 429, eine gültige Anfrage alle 5 s:
Zeit Status Antwortzeit 0 s 429 5 ms 5 s 200 1945 ms 10 s 200 1745 ms 20 s 200 1344 ms 30 s 200 945 ms 40 s 200 544 ms 50 s 200 144 ms 55 s 200 4 ms
- alle virtuellen Eingänge vorhanden: 5,5 s (77 Werte/s), kein Fehler
- jeder 20. Wert an einen nicht vorhandenen Eingang: 95 s (4,4 Werte/s), ebenfalls kein 429
Erfolgreich getestete Raten (keine Sperre)
HTTP mit Anmeldung, gültige Werte an einen vorhandenen virtuellen Eingang:
- bis 200 Anfragen/s über eine Keep-alive-Verbindung
- 200 Anfragen/s mit je einer neuen Verbindung (2001 Verbindungen in 10 s)
- HTTPS: 100 Anfragen/s Keep-alive, 50 Anfragen/s mit neuen Verbindungen
- ab etwa 250 bis 300 Anfragen/s bremst der Miniserver für einige Sekunden (etwa 0,2 s je Antwort), sperrt aber nicht
- zum Vergleich: das Webinterface im Browser kam in der Spitze auf etwa 60 Anfragen/s, ohne 429
UDP:
- 100 Pakete/s und 500 Pakete/s, jeweils 10 s lang: keine Sperre, HTTP direkt danach normal. Ob jedes Paket verarbeitet wurde, habe ich nicht geprüft.
Was das für das MQTT Gateway V1 des LoxBerry bedeutet
- V1 abonniert die Topics global und schickt bei aktiviertem HTTP-Versand jeden empfangenen Wert per HTTP an den Miniserver, auch für Topics, zu denen es im Programm keinen virtuellen Eingang gibt. Jeder dieser Werte ist ein 404.
- V1 merkt sich diese 404 nicht und schickt beim nächsten Wert desselben Topics wieder.
- Bei einem globalen Abo hat in der Regel nur ein kleiner Teil der Topics einen virtuellen Eingang. Schon ein Wert ohne Eingang alle 7 s hält die Punkte konstant; ein Broker mit vielen Geräten liefert ein Vielfaches davon.
- Folge: Nach wenigen Sekunden werden alle HTTP-Antworten an den LoxBerry gebremst, kurz darauf kommt nur noch 429. Weil ständig neue 404 entstehen, endet die Sperre nicht. Auch die Werte, für die es einen virtuellen Eingang gibt, kommen nicht mehr an.
- Die Sperre gilt für die ganze IP des LoxBerry, also auch für Plugins, die auf demselben LoxBerry per HTTP mit dem Miniserver sprechen.
- Dass V1 für jeden Wert eine neue Verbindung öffnet, ist dagegen nicht die Ursache; neue Verbindungen zählen für die Firewall nicht.
Mit HTTP-Versand ist das MQTT Gateway V1 auf 17.3.11.12 damit so gut wie nutzlos. Der Versand per UDP ist von der Firewall nicht betroffen.
…jap, bin dran und bereite aktuell alles für einen Umzug auf einen frischen Loxberry 4 vor. Das neue MQTT V2 klingt ja wirklich fantastisch. Ich werde mich da wohl Stück für Stück rantasten und hoffe, dass alle meine installierten Plugins kompatibel sind.
Kommentar