V17.3.11.12: Analyse der neuen Application Firewall und Einfluss auf das MQTT Gateway

Einklappen
X
 
  • Zeit
  • Anzeigen
Alles löschen
neue Beiträge
  • Prof.Mobilux
    Supermoderator
    • 25.08.2015
    • 5675

    #1

    V17.3.11.12: Analyse der neuen Application Firewall und Einfluss auf das MQTT Gateway

    UPDATE 16.11.26: Die Firewall lässt sich deaktivieren - damit kann man auch das MQTT Gateway V1 noch weiter nutzen. Siehe #6


    Viele von Euch haben nach dem Update auf V17.3.11.12 davon berichtet, dass ihr System "zusammengebrochen" ist und "nichts mehr ging". Ich hatte Kontakt mit einigen von Euch: es handelte sich bei den meisten Fällen um User, die einen LoxBerry mit MQTT-Gateway benutzen und keinerlei Werte mehr über den LoxBerry / das Gateway hereinbekommen haben.

    Ich habe daraufhin heute eine Messreihe durchgeführt um zu analysieren, was die neue Firewall von Loxone bewirkt. Die gute Nachricht: Das MQTT Gateway V2 des LoxBerry ist nicht betroffen, solange ihr nur abonniert und weiterleitet, was ihr in Loxone Config auch eingerichtet habt (sprich keine 404 Fehler in der Datenübersicht habt). Die schlechte Nachricht: Das MQTT Gateway V1 ist mit V17.3.11.12 und HTTP nicht mehr nutzbar (HTTP abschalten und UDP nutzen geht weiterhin).

    Die komplette Analyse: Miniserver 17.3.11.12: Was die neue Application Firewall blockiert – Messungen an einem Gen 2

    Seit Firmware 17.3.11.12 hat der Miniserver eine „Application Firewall“. Loxone nennt keine Grenzwerte. Ich habe sie an einem Miniserver Gen 2 mit Lasttests vermessen: HTTP und HTTPS, Keep-alive und neue Verbindungen, verschiedene User-Agents, UDP. Einen Gen 1 habe ich nicht getestet. Falsche Passwörter habe ich bewusst nicht getestet, weil der Miniserver den Benutzer nach Fehlversuchen sperrt.

    Kurzfassung
    Die Firewall reagiert nicht auf die Menge der Anfragen, sondern auf Anfragen an Bausteine oder virtuelle Eingänge, die es nicht gibt. Der Miniserver beantwortet sie mit HTTP 404, und jede davon bringt der IP des Absenders einen Strafpunkt. Ab 8 Punkten bremst der Miniserver alle Antworten an diese IP, ab 16 Punkten antwortet er mit HTTP 429.

    Was zählt und was nicht
    • Es zählt nur HTTP 404, also ein Wert an einen virtuellen Eingang, den es im Programm nicht gibt.
    • Nicht gezählt werden: gültige Werte, Anfragen ohne Anmeldung (401), die 429-Antworten selbst und UDP.
    • Die Punkte gelten pro Absender-IP. Andere Geräte im Netz sind nicht betroffen.
    • Keinen Unterschied machen: Rate, Keep-alive oder neue Verbindung je Anfrage, HTTP oder HTTPS und der User-Agent. Auch die User-Agents von Loxone Config und der Loxone App werden genauso gesperrt; eine Ausnahme für Loxone-Programme gibt es nicht.

    Wie die Sperre abläuft
    • Punkt 1 bis 7: keine Auswirkung.
    • Ab Punkt 8 wird jede Antwort an diese IP verzögert, je Punkt um etwa 0,26 bis 0,3 s, bis etwa 1,9 s. Das trifft auch gültige Werte und neue Verbindungen.
    • Beim 16. Punkt kommt HTTP 429 (Too Many Requests) mit Retry-After 52 bis 55 s.
    • Die Punkte bauen sich ab: etwa 0,04 s Verzögerung pro Sekunde, also etwa ein Punkt alle 7 s. Nach etwa 55 s ohne neue 404 ist alles wieder normal.
    • 429 ist keine harte Sperre. 5 s nach dem 429 kam wieder 200, nur stark verzögert. Wer aber weiter 404 erzeugt, bleibt dauerhaft oben.
    • Ein 404 alle 5 s löst nie eine Sperre aus, weil der Abbau schneller ist.

    Gemessener Verlauf nach einem 429, eine gültige Anfrage alle 5 s:
    Code:
    Zeit   Status  Antwortzeit
     0 s   429        5 ms
     5 s   200     1945 ms
    10 s   200     1745 ms
    20 s   200     1344 ms
    30 s   200      945 ms
    40 s   200      544 ms
    50 s   200      144 ms
    55 s   200        4 ms
    Die Bremse kostet viel Durchsatz, lange bevor ein 429 kommt. 422 Werte am Stück über HTTPS:
    • alle virtuellen Eingänge vorhanden: 5,5 s (77 Werte/s), kein Fehler
    • jeder 20. Wert an einen nicht vorhandenen Eingang: 95 s (4,4 Werte/s), ebenfalls kein 429

    Erfolgreich getestete Raten (keine Sperre)

    HTTP mit Anmeldung, gültige Werte an einen vorhandenen virtuellen Eingang:
    • bis 200 Anfragen/s über eine Keep-alive-Verbindung
    • 200 Anfragen/s mit je einer neuen Verbindung (2001 Verbindungen in 10 s)
    • HTTPS: 100 Anfragen/s Keep-alive, 50 Anfragen/s mit neuen Verbindungen
    • ab etwa 250 bis 300 Anfragen/s bremst der Miniserver für einige Sekunden (etwa 0,2 s je Antwort), sperrt aber nicht
    • zum Vergleich: das Webinterface im Browser kam in der Spitze auf etwa 60 Anfragen/s, ohne 429

    UDP:
    • 100 Pakete/s und 500 Pakete/s, jeweils 10 s lang: keine Sperre, HTTP direkt danach normal. Ob jedes Paket verarbeitet wurde, habe ich nicht geprüft.


    Was das für das MQTT Gateway V1 des LoxBerry bedeutet
    • V1 abonniert die Topics global und schickt bei aktiviertem HTTP-Versand jeden empfangenen Wert per HTTP an den Miniserver, auch für Topics, zu denen es im Programm keinen virtuellen Eingang gibt. Jeder dieser Werte ist ein 404.
    • V1 merkt sich diese 404 nicht und schickt beim nächsten Wert desselben Topics wieder.
    • Bei einem globalen Abo hat in der Regel nur ein kleiner Teil der Topics einen virtuellen Eingang. Schon ein Wert ohne Eingang alle 7 s hält die Punkte konstant; ein Broker mit vielen Geräten liefert ein Vielfaches davon.
    • Folge: Nach wenigen Sekunden werden alle HTTP-Antworten an den LoxBerry gebremst, kurz darauf kommt nur noch 429. Weil ständig neue 404 entstehen, endet die Sperre nicht. Auch die Werte, für die es einen virtuellen Eingang gibt, kommen nicht mehr an.
    • Die Sperre gilt für die ganze IP des LoxBerry, also auch für Plugins, die auf demselben LoxBerry per HTTP mit dem Miniserver sprechen.
    • Dass V1 für jeden Wert eine neue Verbindung öffnet, ist dagegen nicht die Ursache; neue Verbindungen zählen für die Firewall nicht.

    Mit HTTP-Versand ist das MQTT Gateway V1 auf 17.3.11.12 damit so gut wie nutzlos. Der Versand per UDP ist von der Firewall nicht betroffen.

    Zuletzt geändert von Prof.Mobilux; vor 5 Tagen.
    Meine Projekte:
    LoxBerry: https://wiki.loxberry.de
    SmartFleet Flottenmanagement: https://smartfleetmanager.de (Diskussion)
    WeatherLox Wetterstation: https://weatherlox.de (Diskussion)​
  • Houseruckiii
    Extension Master
    • 31.10.2016
    • 116

    #2
    Boah! Danke für die ausführliche Analyse und Danke fürs MQTT Gateway V2!

    Kommentar

    • Gargamel
      MS Profi
      • 16.12.2018
      • 805

      #3
      Vielen Dank für die Analyse.

      Ich habe den LoxBerry am Wochenende neu aufgesetzt. Der LoxBerry und der Miniserver sind nun auf der aktuellsten Version.

      Leider habe ich nun das Problem dass der MS nicht mehr per http und https erreichbar ist? Wenn ich über den LoxBerry „Miniserver Authentifizieren“ mache dann kommt eine Fehlermeldung. Diese Fehlermeldung kommt komischerweise nicht immer. Gefühlt nach jeder zehnten Authentifizierung funktioniert es dann ist der MS eine Zeit lang erreichbar. Diese Verbindung bricht dann aber irgendwann wieder ab.

      Ich bin mir jetzt nicht sicher ob es an der neuen MS Version liegt oder weil ich den LB neu aufgesetzt habe und da nun irgendwas nicht passt?

      Was meint ihr? Kann ich das Problem irgendwie lösen?
      Angehängte Dateien

      Kommentar

      • Prof.Mobilux
        Supermoderator
        • 25.08.2015
        • 5675

        #4
        Ja er blockt dich. Wieviele 404 hast du um Reiter Datenverkehr im MQTT Gateway V2?
        Meine Projekte:
        LoxBerry: https://wiki.loxberry.de
        SmartFleet Flottenmanagement: https://smartfleetmanager.de (Diskussion)
        WeatherLox Wetterstation: https://weatherlox.de (Diskussion)​

        Kommentar


        • Gargamel
          Gargamel kommentierte
          Kommentar bearbeiten
          Ich hatte mit V1 über 10000. Das Zigbee Plugin hat da einiges in Anspruch genommen. Das habe ich nun Deinstalliert. Mit V2 sind es nun unter 50. Jetzt funktioniert es auch wieder und der MS ist wieder erreichbar. Vielen Dank für deine Hilfe.
      • MarkusCosi
        LoxBus Spammer
        • 28.09.2023
        • 405

        #5
        Vielen Dank für die tolle Analyse! Schade, dass Loxone diese Transparenz nicht bietet und derartige Änderungen vorab ankündigt. Wo sich Loxone so Community-nah in letzter Zeit gibt, hätte der Impact doch bekannt sein können/müssen...

        zu UDP: was ist beim Umstellen eigentlich zu beachten? Ich habe bisher alles mit MQTT übertragen. Müssen die virtuellen Eingänge in Loxone Config angepasst werden, oder ändert sich einfach nur das Protokoll im Hintergrund?

        vielen Dank!

        Kommentar


        • Prof.Mobilux
          Prof.Mobilux kommentierte
          Kommentar bearbeiten
          Es müssen die Eingänge in Loxone Config angepasst werden. MQTT nutzen beide zum loxBerry, von da zum Miniserver eben entweder HTTP oder UDP.

          Wechsel auf V2. V1 wird sowieso nicht mehr unterstützt. Jetzt ist der richtige Zeitpunkt.
          Zuletzt geändert von Prof.Mobilux; vor 5 Tagen.

        • MarkusCosi
          MarkusCosi kommentierte
          Kommentar bearbeiten
          dankeschön! …jap, bin dran und bereite aktuell alles für einen Umzug auf einen frischen Loxberry 4 vor. Das neue MQTT V2 klingt ja wirklich fantastisch. Ich werde mich da wohl Stück für Stück rantasten und hoffe, dass alle meine installierten Plugins kompatibel sind.
      • JeeyBee
        Smart Home'r
        • 13.01.2019
        • 39

        #6
        So wie ich soeben gesehen habe, könnte die Firewall im Notfall auch deaktiviert werden (siehe Anhang).
        Angehängte Dateien

        Kommentar


        • Prof.Mobilux
          Prof.Mobilux kommentierte
          Kommentar bearbeiten
          Sehr schön! Das wäre ja mal eine Information von Loxone wert gewesen.... :-(
      • Chris81
        Dumb Home'r
        • 02.03.2023
        • 10

        #7
        Danke für die Analyse. Ein freundlicher Nutzer hat mich auf Reddit darauf hingewiesen, dass unter Gateway Subscriptions für die nicht genutzten Werte einfache RegEx Regeln gesetzt werden müssen.
        Mein LLM hat mir nach einem screenshot aller virtuellen Eingänge, die ich in der Config in Verwendung habe, die korrekten RegEx Regeln erstellt. Diese in "Subscription Filter Expressions (RegEx)" eingetragen und schon funktionierte die Verbindung wieder. ohne 429er Fehler. Firewall ist noch aktiv.

        Kommentar


        • Prof.Mobilux
          Prof.Mobilux kommentierte
          Kommentar bearbeiten
          Oder auf Gateway V2 wechseln. V1 wird nicht mehr weiterentwickelt.

        • Chris81
          Chris81 kommentierte
          Kommentar bearbeiten
          Ja, lb 4 ist schon aufgesetzt. Migration steht aus. Damit die Shellys wieder kommunizieren war der RegEx Einsatz eine schnelle Lösung. Wollt ich nur ergänzen. Danke für deine/eure Entwicklungen! LG
      • orli
        Lox Guru
        • 13.11.2016
        • 2609

        #8
        Hi,

        ... da ich ebenfalls in dieses Problem gelaufen bin, habe ich mal gesucht:

        Code:
        https://IP-MS/dev/sys/firewallstatus
        Hier seht ihr eure Blocks mit aktuellem Status pro IP, Achtung: (aktuell) nur aufrufbar aus dem gleichen Netz. Aus einem anderen VLAN mag der MS nicht.

        Code:
        https://IP-MS/dev/sys/firewall/allow/192.168.xxx.yyy?comment=LoxBerry
        IP-Freigabe, ihr könnt eine IP auf die Allow-List setzen, dann könnt ihr (fürs Erste) normal weiter arbeiten und müsst nicht die ganze Firewall deaktivieren.

        Grüße,
        orli

        Kommentar


        • Diablo_Vmax1200
          Diablo_Vmax1200 kommentierte
          Kommentar bearbeiten
          Das ist ja super wenn das klappt. Hat jemand die Variante mit IP-Freigabe schon erfolgreich im Einsatz? Ich muss erstmal den Loxberry Update habe aber gerade mehre andere Baustellen und könnte mir das ein paar Tage dann aufsparen

        • Prof.Mobilux
          Prof.Mobilux kommentierte
          Kommentar bearbeiten
          Für ein paar Tage aufsparen einfach die Firewall ganz deaktivieren. Geht in den Projekt Einstellungen.

        • Diablo_Vmax1200
          Diablo_Vmax1200 kommentierte
          Kommentar bearbeiten
          ganz deaktivieren hat geklappt. Die Tipps von Orli haben bei mir leider nicht funktioniert. Leider bei Update mal wieder die SD Karte defekt...
      • vidor
        Smart Home'r
        • 11.04.2022
        • 41

        #9
        +1 404

        Kommentar

      • Prof.Mobilux
        Supermoderator
        • 25.08.2015
        • 5675

        #10
        Danke an orli für den Hinweis in #8. Ich habe beide Endpunkte an meinem Miniserver Gen 2 mit 17.3.11.12 getestet, mit einem Benutzer mit Administratorrechten.

        Vorweg: Tippfehler beim Status-Endpunkt
        Code:
        /dev/sys/firewallstatus
        gibt es nicht. Der Miniserver antwortet auch mit Adminrechten mit 404 – und jeder 404 ist für die Firewall ein Strafpunkt. Wer es mehrmals probiert, bremst sich damit selbst aus. Richtig ist ohne „status“:
        Code:
        /dev/sys/firewall
        Der Endpunkt zum Freigeben aus #8 stimmt so.

        Voraussetzungen
        • Ein Benutzer mit Administratorrechten. Ohne Anmeldung kommt 401. Mit einem Benutzer ohne Adminrechte habe ich es nicht getestet.
        • Laut orli geht es nur aus demselben Netz wie der Miniserver, nicht aus einem anderen VLAN. Das habe ich nicht nachgeprüft.
        • Die IP des LoxBerry, der freigegeben werden soll (zu finden im LoxBerry unter Netzwerk-Einstellungen).

        In den Beispielen steht IP-MS für die IP eures Miniservers und 192.168.1.50 für die IP eures LoxBerry.

        1. Status ansehen
        Im Browser aufrufen:
        Code:
        https://IP-MS/dev/sys/firewall
        Der Browser fragt nach Benutzer und Passwort, dort den Admin-Benutzer eintragen. Wer lieber die Konsole nimmt (curl fragt dann nach dem Passwort):
        Code:
        curl -u admin "https://IP-MS/dev/sys/firewall"
        Zurück kommt ein JSON, hier gekürzt und mit geänderten IPs:
        Code:
        {
          "revision": 5,
          "mode": "enforce",
          "firewallJson": { "version": 2, "source": "firewall.json",
                            "denylist": 1, "allowlist": 0, "lastError": "" },
          "lockdown": { "active": false, "remaining": 0, "level": 0 },
          "channels": [
            { "channel": "lan", "requests": 688509, "loginFailed": 8,
              "notFound": 21056, "rate": 242,
              "measures": { "delay": 6899, "tooMany": 1263, "block": 0 } },
            ...
          ],
          "clients": [
            { "id": 7, "key": "192.168.1.50", "channel": "lan",
              "score": 15,
              "delayFrom": 100, "tooManyFrom": 200, "blockFrom": 300,
              "measure": "allow", "blockRemaining": 0,
              "loginFailures": 0, "maxLoginFailures": 10,
              "idle": 0,
              "signals": { "notFound": 1086 } },
            ...
          ],
          "allowlist": [],
          "denylist": []
        }
        Die wichtigsten Felder:
        • clients: ein Eintrag pro IP, die mit dem Miniserver gesprochen hat. key ist die IP.
        • score: der aktuelle Punktestand dieser IP. Er baut sich von selbst wieder ab, bei mir waren 15 Punkte nach gut einer Minute wieder bei 0.
        • delayFrom, tooManyFrom, blockFrom: die Schwellen. Ab 100 bremst der Miniserver alle Antworten an diese IP, ab 200 kommt HTTP 429. Das passt zu meinen Messungen (Bremse nach 8, 429 nach 16 Anfragen an nicht vorhandene Eingänge), rechnerisch also etwa 12 bis 13 Punkte je 404. Was ab 300 passiert, weiß ich nicht, so weit bin ich nie gekommen.
        • signals.notFound: wie viele 404 diese IP bisher erzeugt hat. Hier sieht man schnell, welches Gerät die Firewall füttert.
        • channels / measures: wie oft der Miniserver insgesamt gebremst (delay), mit 429 abgewiesen (tooMany) oder gesperrt (block) hat.
        • allowlist und denylist: die freigegebenen und gesperrten IPs.


        2. LoxBerry freigeben
        Code:
        https://IP-MS/dev/sys/firewall/allow/192.168.1.50?comment=LoxBerry
        Der Kommentar ist frei wählbar, Leerzeichen als %20 schreiben. Die Antwort:
        Code:
        <LL control="dev/sys/firewall/allow/192.168.1.50" value="6" Code="200"/>
        value ist die neue Revision der Firewall-Regeln. Ruft man danach wieder den Status auf, steht die IP in der Allowlist:
        Code:
        "allowlist": [
          { "id": 0, "entry": "192.168.1.50/32", "creator": "admin", "comment": "LoxBerry" }
        ]
        Die Freigabe wirkt sofort. Ich habe danach von der freigegebenen IP 20 Anfragen an nicht vorhandene Eingänge hintereinander geschickt: kein Bremsen, kein 429, der Score blieb bei 0. Ohne Freigabe kommt beim 16. Mal das 429.

        3. Freigabe wieder entfernen
        Code:
        https://IP-MS/dev/sys/firewall/unallow/192.168.1.50
        Antwort wie oben mit Code="200" und der nächsten Revision, die Allowlist ist danach wieder leer.

        Hinweise
        • Statt /dev/ geht auch /jdev/, dann kommt die Antwort als JSON statt XML.
        • Ein falscher Befehl unterhalb von /dev/sys/firewall/ ist harmlos: Der Miniserver antwortet mit „unknown command“ und Code 400, das ist kein 404 und kostet keine Punkte. Ein falscher Pfad wie /dev/sys/firewallstatus dagegen ist ein 404.
        • Die Freigabe nimmt die IP komplett aus der Bewertung. Die Ursache bleibt: Jeder Wert an einen fehlenden virtuellen Eingang ist weiterhin ein Fehler. Sauberer ist es, die 404 abzustellen (MQTT Gateway V2, nur abonnieren, was es in Loxone Config gibt).
        • Ob die Freigabe einen Neustart des Miniservers übersteht, habe ich nicht geprüft. Auffällig ist, dass firewallJson.allowlist bei 0 blieb, obwohl ein Eintrag aktiv war. Nach einem Neustart also kurz im Status nachsehen.
        • Ob für eine freigegebene IP auch die Sperre nach falschen Passwörtern entfällt, habe ich nicht getestet.
        • Wer es eilig hat: Die Firewall lässt sich in Loxone Config in den Projekteinstellungen auch ganz abschalten (siehe #6).

        Ich werde das in den LoxBerry im Miniserver Widget mit einbauen. Damit kann man dann den LoxBerry dauerhaft whitelisten, ohne die gesamte Firewall komplett zu deaktivieren.
        Meine Projekte:
        LoxBerry: https://wiki.loxberry.de
        SmartFleet Flottenmanagement: https://smartfleetmanager.de (Diskussion)
        WeatherLox Wetterstation: https://weatherlox.de (Diskussion)​

        Kommentar

        • orli
          Lox Guru
          • 13.11.2016
          • 2609

          #11
          Ich bin aktuell mit meinem Testsystem auf einer Alpha vom 16.12., ich vermute das Kommando kommt dann erst noch.
          Es ist aber definitiv https://IP-MS/dev/sys/firewallstatus.

          Kommentar


          • Prof.Mobilux
            Prof.Mobilux kommentierte
            Kommentar bearbeiten
            Auf der 17.3.11.12 ist es das aus meinem Post #10. Vielleicht basteln sie da noch rum. Welche Version ist deine Alpha?

          • orli
            orli kommentierte
            Kommentar bearbeiten
            17.3.11.16

          • Prof.Mobilux
            Prof.Mobilux kommentierte
            Kommentar bearbeiten
            Und hast Du einen MS1 oder MS2? Ich vermute aktuell eher einen Unterschied zwischen MS1 und MS2.
        • Clubsport
          MS Profi
          • 11.01.2018
          • 608

          #12
          Wieder mal absolut katastrophal.... Danke Prof.Mobilux für diese Anleitung hier!! Sonst hätte ich wohl noch Wochen im Dunkeln gesessen....

          Kommentar

          • lantic
            Smart Home'r
            • 28.11.2019
            • 32

            #13
            Danke Prof.Mobilux !
            Wrong URL:
            ( Works also on MS Gen.1 (just use https://ip-ms/dev/sys/firewallstatus ; not https) )

            Correct URL:
            Works also on MS Go Gen.1 (17.3.11.12) : https://ip-ms/dev/sys/firewall (= no https)​
            Zuletzt geändert von lantic; vor 2 Tagen.

            Kommentar


            • Prof.Mobilux
              Prof.Mobilux kommentierte
              Kommentar bearbeiten
              Interesting - you also have "firewallstatus" in the URL, not "firewall". Which version of Loxone Config? Currently we have to different URL options. Maybe it's a difference between versions, difference between MS1 or MS2 (they use different os) or difference between http/https.
          Lädt...