[EXPERIMENTELL] MQTT Gateway – Performance-optimiert | Tester gesucht

[Str!ke1988]

Hallo zusammen,
in Abstimmung mit den LoxBerry-Core-Entwicklern stelle ich eine experimentelle, performance-optimierte Variante des MQTT Gateways bereit.

Anhang: mqttgateway_optimized.pl (V3.0.0.4-OPTIMIZED)

Ziel: Bessere Performance bei vielen MQTT-Topics/hohem Nachrichtendurchsatz.

---

Änderungen

• Early-Filtering: DoNotForward/Regex-Filter vor der JSON-Expansion
• HTTP Keep-Alive/Connection-Pooling via persistentem LWP::UserAgent
• Miniserver-Config Cache – kein wiederholtes Einlesen mehr
• Vorkompilierte Regexes, frühes Filtern gateway-eigener Topics, JSON::XS bevorzugt

---

⚠️ Nur testen mit Backup und Rollback-Möglichkeit – nicht auf kritischen Produktivanlagen!

---

Tester gesucht – besonders bei:

• hoher MQTT-Last / vielen Devices/Topics
• wahrnehmbaren Verzögerungen oder CPU-Spitzen

Feedback bitte hier im Thread:

• Setup (Broker, grobe Topic-/Message-Menge, Anzahl Miniservers)
• Vorher/Nachher (Latenz, CPU/RAM, Stabilität)
• Relevante Logs

Danke fürs Mitmachen!

[<Andreas>]

Ich finde es sehr gut das hier was passiert das MQTT Gateway war bei mir immer ein Flaschenhals beim Loxberry, das wird sicherlich vielen hier zu gute kommen

Mittlerweile betreibe ich aber keinen Loxberry mehr da ich auf das wunderbare loxmqttrealy umgestiegen bin und kann nicht beim Testen helfen (leider die VM erst seit kurzen gelöscht)

[darksside]

Hallo. Bitte schreiben Sie, wie man es installiert? In Docker oder direkt in Loxberry? Hast du eine Anleitung?

[Str!ke1988]

Probier mal die Anleitung

[Noschvie]

Hast du diese neue Version von einer KI beurteilen lassen?

[Str!ke1988]

ja

[OptimalNothing]

Frage: ab wann sprechen wir von vielen Geräten, hoher Last?

[Str!ke1988]

~ 40 Shellys, also ~1000 Topics, als ungefährer richtwert

[mcscotty]

Hallo zusammen, ich habe vor kurzem auf die Loxberry 4.x upgedatet und habe damit auch das MQTT Gateway erhalten, von dem hier die Rede ist. Allerdings verwende ich nicht das optimierte V2 Gateway, sondern die Legacy Variante V1, weil es mit der V2 gleich Probleme gegeben hatte. Ob die Ursache für die Probleme allerdings die V2 ist oder ein anderes, übergeordnetes Problem mit der Loxberry 4.X, habe ich noch nicht differenzieren können. Die 3X lief auf meinem RasPi seit Jahren einwandfrei. Ich habe etwa 2.700 MQTT Einträge, die über Debmatic, NibePi und einige andere Datenlieferanten kommen. Desweiteren habe ich einen Loxone Gen1 Server am Laufen und Nodered für die Visualisierung.

Seit Update auf 4.X muss ich mich täglich mit der SecurePIN im Loxberry MQTT Gateway einloggen, ansonsten werden nach einer gewissen Zeit keine Daten mehr zwischen dem MQTT Server und dem Loxone Server ausgetauscht. Es scheint sich um ein Autorisierungs-Problem zu handeln, aber es funktioniert ja immer eine Zeitlang, also müssten die Parameter und Credentials prinzipiell passen.

Insofern bin ich also de facto ein Tester, allerdings einer, der gerade ein Problem hat. Anbei ein aktuelles Log file. Hat jemand eine Idee, wo ich mit der Fehlersuche anfangen könnte?

Viele Grüße
Thomas

[Prof.Mobilux]

Die SecurePIN schützt nur das WebUI und hat rein gar nichts mit dem Gateway zu tun. Das V1 ist veraltet und wird nicht weiterentwickelt. In den LoxBerry V4 sind diese Änderungen hier auch nicht eingeflossen.

Wechsel mit 2700 Topics unbedingt auf V2. Was klappt daran nicht? Ohne Fehlermeldung können wir nicht helfen. "Geht nicht" ist keine Fehlermeldung...

[mcscotty]

Hallo Prof, danke für die Rückmeldung. "Geht nicht" heißt in meinem Fall, dass alle Daten im MQTT Server geschrieben werden, aber nach einer gewissen Zeit (meistens innerhalb von 24 Stunden) werden die Daten nicht mehr an den Loxone Server weitergegeben bzw. die Verbindung zwichen Loxone Miniserver und Loxberry ist down. Nachdem mein Nodered die Daten vom Loxone Miniserver holt, kommt auch da kein aktuelles Datum mehr an. Wenn ich mich dann mit der SecurePIN am WebUI anmelde, kommen die Daten sofort wieder. Das ist zu 100% reproduzierbar und müsste irgendein Problem mit der Autorisierung sein. Ich habe aber keine Idee, wo.

Nach Installation der 4.X habe ich registriert, dass die MQTT Daten nicht mehr sauber übermittelt werden. Ich bin dann direkt auf die V1 gewechselt, in der Hoffnung, dass dann alles wieder tut wie es soll. Die Logs etc. unter V.2 habe ich mir daher nicht im Einzelnen angesehen. Aufgrund Deiner Info werde jetzt wieder auf V2 wechseln und möglichst genau beobachten. Melde mich, wenn ich sagen kann, welche Effekte oder Fehlermeldungen auftauchen. Bis dahin!