LoxBerry V4.0.0 RELEASE!

Einklappen
X
 
  • Zeit
  • Anzeigen
Alles löschen
neue Beiträge
  • Prof.Mobilux
    Supermoderator
    • 25.08.2015
    • 5410

    #1

    LoxBerry V4.0.0 RELEASE!

    Major Release „Éowyn die im Kampf gegen das Böse über sich hinauswächst."

    Klicke auf die Grafik für eine vergrößerte Ansicht  Name: image.png Ansichten: 7 Größe: 635,2 KB ID: 486225

    Hallo zusammen,

    wir haben LoxBerry V4.0.0 als RELEASE veröffentlicht. Die Änderungen - insbesondere bei MQTT - sind umfangreich. Macht ein Backup bevor ihr euer System auf die neue Version zieht!

    Die größte Änderung ist das MQTT Gateway V2,
    welches auf maximale Performance optimiert wurde. Das Gateway ist eine komplette Neuentwicklung auf Python-Basis mit vollständig asynchroner Verarbeitung. Subscriptions werden jetzt nicht mehr pauschal sondern auf Topic-Basis durchgeführt (Opt In anstatt Opt Out), sodass nur noch die Daten wirklich verarbeitet und an den Miniserver gehen, die auch benötigt/gewünscht sind. Das alte MQTT Gateway V1 ist komplett erhalten geblieben und alle LoxBerrys, die auf V4.0.0 per Update gehen, nutzen standardmäßig erst einmal das Gateway V1 weiter.

    Eine weitere goße Neuerung ist der LoxBerry AppStore. Alles bleibt natürlich kostenlos - keine Agnst! Aber ihr könnt über den AppStore direkt und bequem im Bestand aller Plugins suchen, die auf https://wiki.loxberry.de gelistet sind und könnt diese auch direkt installieren. Kein manuelles Copy&Paste der Archiv-Url oder gar Download des Archivs und Upload auf dem LoxBerry mehr nötig!

    Zahlreiche weitere Optimierungen wurden durchgeführt - ganz offensichtlich ist die neue WebUI, die sogar Themes kann! Wir haben aus dem System das obsolete JQuery Mobile herausgeschmissen. Für Plugins steht es aber natürlich weiterhin zur Verfügung.

    Hier findet ihr die komplette Liste an Neuerungen: https://wiki.loxberry.de/installatio...ts_new_in_v400

    Ein bisschen Statistik: Seit der letzten Version 3.0.1 vom 13.01.2025 haben wir 694 Codeänderungen auf Github hochgeladen und insgesamt 459 Dateien geändert!

    Viel Spaß mit dem neuen Release!

    Viele Grüße
    Euer LoxBerry Core Team Christian, Michael, Philipp, Svethi, Wörsty
    (in alphabetischer Reihenfolge)
    Zuletzt geändert von Prof.Mobilux; vor 4 Tagen.
    LoxBerry: https://wiki.loxberry.de/start
  • SAWbri
    Extension Master
    • 07.05.2017
    • 129

    #2
    Vielen Dank, läuft super. Ich bekomme aber im Healthcheck "MQTT Gateway not running (no PID)" obwohl das Gateway normal funktioniert. Nutze die V2.

    Edit: War zu voreilig. Vermute, dass nach dem umstelllen auf V2 ein Neustart vom Loxberrry notwendig ist. Jetzt meldet Healthcheck nichts mehr.
    Zuletzt geändert von SAWbri; vor 3 Tagen.
    Grüße
    SAW

    Kommentar

    • Loxtom577
      MS Profi
      • 19.08.2018
      • 537

      #3
      Ich kann mich nur anschliessen. Der Loxberry V4 läuft super und bisher ohne Fehler, auch der Healthcheck bei MQTT V2.
      Hab auf mit aktuellem DietPi Trixie auf einem alten HP-Rechner.
      Danke für die super Arbeit.

      Kommentar

      • abauer1050
        Azubi
        • 26.09.2023
        • 3

        #4
        Beim Update auf die Version 4.0.0.12 auf einem Raspberry-Pi ist eine Fehlermeldung aufgetreten.
        Auch das Rücksetzen und erneutes Installieren brachte keine Abhilfe.t

        Alexander








        E: Unable to fetch some archives, maybe run apt-get update or try with --fix-missing?

        CRITICAL: Error installing python3-venv - Error 100

        INFO: Creating MQTT Gateway venv at /opt/loxberry/system/python_venv/mqttgateway...

        INFO: Executing command 'python3 -m venv '/opt/loxberry/system/python_venv/mqttgateway''...

        ERROR: ERROR executing command - Exitcode 1
        The virtual environment was not created successfully because ensurepip is not
        available. On Debian/Ubuntu systems, you need to install the python3-venv
        package using the following command.

        apt-get install python3-venv

        You may need to use sudo with that command. After installing the python3-venv
        package, recreate your virtual environment.

        Failing command: ['/opt/loxberry/system/python_venv/mqttgateway/bin/python3', '-Im', 'ensurepip', '--upgrade', '--default-pip']


        INFO: Executing command 'chown -R loxberry:loxberry '/opt/loxberry/system/python_venv/mqttgateway''...

        OK: Command executed successfully. - Exitcode 0


        ERROR: Update script /opt/loxberry/sbin/loxberryupdate/update_v4.0.0.6.pl finished with errors.

        07:02:27.742 INFO: exec_perl_script /opt/loxberry/sbin/loxberryupdate/update_v4.0.0.6.pl release=v4.0.0.12 logfilename=/opt/loxberry/log/system/loxberryupdate/20260617_070215_380_update.log cron= updatedir=/tmp/loxberryupdate/mschlenstedt-Loxberry-a429d7f with user - errcode 2

        07:02:27.742 ERROR: Update-Script update_v4.0.0.6 returned errorcode 2. Despite errors loxberryupdate.pl will continue.

        07:02:27.743 INFO: Script version: v4.0.0.9

        07:02:27.743 INFO: Running update script for v4.0.0.9...

        07:02:27.794 INFO: Executing /opt/loxberry/sbin/loxberryupdate/update_v4.0.0.9.pl release=v4.0.0.12 logfilename=/opt/loxberry/log/system/loxberryupdate/20260617_070215_380_update.log cron= updatedir=/tmp/loxberryupdate/mschlenstedt-Loxberry-a429d7f

        OK: Update script /opt/loxberry/sbin/loxberryupdate/update_v4.0.0.9.pl started.

        INFO: Installing 51-mqttfinder daemon script...

        OK: /system/daemons/system/51-mqttfinder installed.

        OK: /opt/loxberry/system/daemons/system/51-mqttfinder owner changed to root.

        INFO: Executing command 'chmod +x /opt/loxberry/system/daemons/system/51-mqttfinder'...

        OK: Command executed successfully. - Exitcode 0


        INFO: Executing command 'dos2unix /opt/loxberry/system/daemons/system/51-mqttfinder'...

        OK: Command executed successfully. - Exitcode 0


        OK: Update script /opt/loxberry/sbin/loxberryupdate/update_v4.0.0.9.pl finished.

        07:02:28.318 INFO: exec_perl_script /opt/loxberry/sbin/loxberryupdate/update_v4.0.0.9.pl release=v4.0.0.12 logfilename=/opt/loxberry/log/system/loxberryupdate/20260617_070215_380_update.log cron= updatedir=/tmp/loxberryupdate/mschlenstedt-Loxberry-a429d7f with user - errcode 0

        07:02:28.322 INFO: Script version: v4.0.0.12

        07:02:28.323 INFO: Running update script for v4.0.0.12...

        07:02:28.375 INFO: Executing /opt/loxberry/sbin/loxberryupdate/update_v4.0.0.12.pl release=v4.0.0.12 logfilename=/opt/loxberry/log/system/loxberryupdate/20260617_070215_380_update.log cron= updatedir=/tmp/loxberryupdate/mschlenstedt-Loxberry-a429d7f

        OK: Update script /opt/loxberry/sbin/loxberryupdate/update_v4.0.0.12.pl started.

        INFO: Installing MQTT Finder Watchdog cron job (cron.01min)...

        OK: /system/cron/cron.01min/mqttfinderwatchdog installed.

        OK: /opt/loxberry/system/cron/cron.01min/mqttfinderwatchdog owner changed to root.

        INFO: Executing command 'chmod +x /opt/loxberry/system/cron/cron.01min/mqttfinderwatchdog'...

        OK: Command executed successfully. - Exitcode 0


        INFO: Executing command 'dos2unix /opt/loxberry/system/cron/cron.01min/mqttfinderwatchdog'...

        OK: Command executed successfully. - Exitcode 0


        INFO: Ensuring MQTT Finder Watchdog script is executable...

        INFO: Executing command 'chmod +x /opt/loxberry/sbin/mqttfinderwatchdog.pl'...

        OK: Command executed successfully. - Exitcode 0


        INFO: Executing command 'dos2unix /opt/loxberry/sbin/mqttfinderwatchdog.pl'...

        OK: Command executed successfully. - Exitcode 0


        INFO: Checking if /etc/network/interfaces is a symlink (old LoxBerry layout)...

        OK: /etc/network/interfaces is already a regular file — no migration needed.

        OK: Update script /opt/loxberry/sbin/loxberryupdate/update_v4.0.0.12.pl finished.

        07:02:28.938 INFO: exec_perl_script /opt/loxberry/sbin/loxberryupdate/update_v4.0.0.12.pl release=v4.0.0.12 logfilename=/opt/loxberry/log/system/loxberryupdate/20260617_070215_380_update.log cron= updatedir=/tmp/loxberryupdate/mschlenstedt-Loxberry-a429d7f with user - errcode 0

        07:02:28.942 WARNING: Update scripts were processed, but 1 did return an error code. Please check these files and create an issue at GitHub including your log.

        07:02:28.942 INFO: Migrating configuration settings from default config...

        07:02:29.454 OK: LoxBerry config settings updated successfully.

        07:02:29.455 INFO: Updating LoxBerry legacy templates...

        07:02:31.027 OK: LoxBerry legacy template successfully updated.

        07:02:31.028 INFO: Updating Skels for Logfolders...

        07:02:31.928 OK: Skels for Logfolders successfully updated.

        07:02:31.929 INFO: LoxBerry's config version is updated from v4.0.0.5.999 to v4.0.0.12

        07:02:31.943 INFO: Cleaning up temporary download folder

        07:02:32.128 INFO: All procedures finished.

        07:02:32.229 WARNING: LoxBerry Update was SUCCESSFULL, but skipped at least 1 warnings or errors. Check the log.

        Angehängte Dateien

        Kommentar

        • Prof.Mobilux
          Supermoderator
          • 25.08.2015
          • 5410

          #5
          Kannst du mir sagen welche Distribution du verwendest? DietPi Bullseye, Bookworm oder Trixie?

          Kannst du unter "Mein LoxBerry" in den Systeminformationen sehen.
          LoxBerry: https://wiki.loxberry.de/start

          Kommentar

          • abauer1050
            Azubi
            • 26.09.2023
            • 3

            #6

            Hi das ist das Bullseye,
            ich habe noch eine Bildschirmhardcopy gemacht.
            Angehängte Dateien

            Kommentar

            • Prof.Mobilux
              Supermoderator
              • 25.08.2015
              • 5410

              #7
              Ich schaue mir das noch einmal an, aber Bullseye habe ich nicht mehr getestet. Das ist extrem veraltet. Du hast mehrere Möglichkeiten:

              Variante 1:
              Wenn Du das neue MQTT Gateway V2 nicht benutzen möchtest, kannst Du die Fehlermeldung ignorieren und die Version in general.json manuell hochsetzen (irgendwo gibt es glaube ich dort auch noch einen Eintrag zu "failed....", den Du entfernen musst. Sonst bekommst Du vermutlich die ganze Zeit Warnungen.

              Variante 2:
              Upgrade des LoxBerry erst auf Bookwom, dann auf Trixie. Dann LoxBerry V4.0 installieren. Vorher ein Backup machen!!!! Ich habe aber nie getestet, ob das so funktioniert. Aber Bookworm auf Trixie ist kein Problem, das ist getestet. Upgrade der Debian Distribution [LoxBerry Wiki - BEYOND THE LIMITS]

              Variante 3:
              Neuinstallation LoxBerry mit frischem DietPi Trixie.
              LoxBerry: https://wiki.loxberry.de/start

              Kommentar


              • abauer1050
                abauer1050 kommentierte
                Kommentar bearbeiten
                Ich habe mich für die Variante 3 entschieden. Bei der Eingabe der IP-Adresse kommt folgende Fehlermeldung

                Unglücklicherweise ist ein Fehler aufgetreten :-(
                System failure: Cannot write /etc/network/interfaces


                Alexander

              • Prof.Mobilux
                Prof.Mobilux kommentierte
                Kommentar bearbeiten
                Fix ist in der nächsten Release V4.0.0.13
            • duncan
              LoxBus Spammer
              • 28.08.2015
              • 354

              #8
              for older versions of dietpi you need to add the line

              deb http://security.ubuntu.com/ubuntu focal-security main universe

              to /etc/apt/sources.list

              log in as loxberry
              run su, root password
              nano /etc/apt/sources.list

              add the line above
              save the changes and exit

              run apt update

              then run the update to 4

              Kommentar

              • Allgäumatze
                Dumb Home'r
                • 09.07.2022
                • 24

                #9
                Hallo,

                bei meinem Rasperry PI4B mit Debian 12 (bookworm) habe ich nach meinem Update von v3.0.1.3 auf v4.0.0.12 folgende Probleme:

                A: MQTT Gateway - unter V1 läufts wie bisher, unter V2 bekomme ich keine Daten an meinen MS
                B: Update von Debian 12 auf 13 funktioniert nicht
                C: Fehlermeldung bei Backup, scheint aber zu funktionieren



                Danke für Eure Hilfe!

                zu A - MQTT Gateway:
                ich schicke per MQTT Daten meiner SMA Wallbox (aktuelle Ladeleistung (sma2mqtt/Wallbox/grid_apparent_power) und Wollbox-Status (sma2mqtt/Wallbox/operating_status)) an meinen MS.
                Nach der Umstellung auf V2 kommen keine Daten am MS an.
                Klicke auf die Grafik für eine vergrößerte Ansicht  Name: Screenshot 2026-06-17 Datenverkehr.png Ansichten: 0 Größe: 61,3 KB ID: 486354
                Neustart des Gateway und Neustart Loxberry bringt keine Abhilfe.
                Am MS hatte ich am MQTT-Plugin beim Topic bisher nur "sma2mqtt" eingetragen. Mit "sma2mqtt/#" kommt am MS auch nichts an.


                zu B - Update auf Debian 13 Trixie
                Fehlermeldung hier bei Update unter v3.0.1.3. Beim Updateversuch unter v4.0.0.12 kam glaub der gleiche Fehler, habs aber nicht gespeichert.

                login as: loxberry
                loxberry@loxberry's password:
                Linux loxberry 6.1.21-v8+ Energiezähler SMP PREEMPT Mon Apr 3 17:24:16 BST 2023 aarch64

                The programs included with the Debian GNU/Linux system are free software;
                the exact distribution terms for each program are described in the
                individual files in /usr/share/doc/*/copyright.

                Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
                permitted by applicable law.
                ────────────────────────────────────────────────── ───
                DietPi v9.9.0 : Update available
                ────────────────────────────────────────────────── ───
                - Device model : RPi 4 Model B (aarch64)
                - CPU temp : 55 °C / 131 °F : Running warm, but safe
                - LAN IP : 192.168.188.198 (eth0)
                - MOTD : Debian 13 Trixie has been released. Learn how to upgrade:
                Debian 13 Trixie has been released on 2025-08-09 and we want to give you a brief overview and info how to install it or upgrade your Bookworm system.

                ────────────────────────────────────────────────── ───

                DietPi Team : https://github.com/MichaIng/DietPi#t...i-project-team
                Patreon Legends : Chris Gelatt, ADSB.im
                Website : https://dietpi.com/ | https://twitter.com/DietPi_
                Contribute : https://dietpi.com/contribute.html
                Web Hosting by : https://myvirtualserver.com

                dietpi-update : Run now to update DietPi from v9.9.0 to v10.5.2

                dietpi-launcher : All the DietPi programs in one place
                dietpi-config : Feature rich configuration tool for your device
                dietpi-software : Select optimised software for installation
                htop : Resource monitor
                cpu : Shows CPU information and stats

                loxberry@loxberry:~ $ su -
                Password:
                ────────────────────────────────────────────────── ───
                DietPi v9.9.0 : Update available
                ────────────────────────────────────────────────── ───
                - Device model : RPi 4 Model B (aarch64)
                - CPU temp : 57 °C / 134 °F : Running warm, but safe
                - LAN IP : 192.168.188.198 (eth0)
                - MOTD : Debian 13 Trixie has been released. Learn how to upgrade:
                Debian 13 Trixie has been released on 2025-08-09 and we want to give you a brief overview and info how to install it or upgrade your Bookworm system.

                ────────────────────────────────────────────────── ───

                DietPi Team : https://github.com/MichaIng/DietPi#t...i-project-team
                Patreon Legends : Chris Gelatt, ADSB.im
                Website : https://dietpi.com/ | https://twitter.com/DietPi_
                Contribute : https://dietpi.com/contribute.html
                Web Hosting by : https://myvirtualserver.com

                dietpi-update : Run now to update DietPi from v9.9.0 to v10.5.2

                dietpi-launcher : All the DietPi programs in one place
                dietpi-config : Feature rich configuration tool for your device
                dietpi-software : Select optimised software for installation
                htop : Resource monitor
                cpu : Shows CPU information and stats

                root@loxberry:~# rm /etc/apt/sources.list.d/php.list
                root@loxberry:~# rm /etc/apt/sources.list.d/yarn.list
                root@loxberry:~# bash -c "$(curl -sSf 'https://raw.githubusercontent.com/MichaIn g/DietPi/dev/.meta/dietpi-trixie-upgrade')"
                [ INFO ] dietpi-trixie-upgrade | Upgrading APT packages to latest versions provi ded by Debian Bookworm
                [ SUB1 ] DietPi-Services > stop
                [ OK ] DietPi-Services | stop : cron
                [ OK ] DietPi-Services | stop : grafana-server
                [ OK ] DietPi-Services | stop : influxdb
                [ OK ] DietPi-Services | stop : mosquitto
                [ OK ] DietPi-Services | stop : apache2
                [ OK ] DietPi-Services | stop : smbd
                [ OK ] DietPi-Services | stop : nmbd
                [ OK ] DietPi-Services | stop : vsftpd
                [ OK ] DietPi-Services | stop : avahi-daemon
                [ INFO ] dietpi-trixie-upgrade | APT update, please wait...
                Get:1 https://deb.debian.org/debian bookworm InRelease [151 kB]
                Get:2 https://apt.grafana.com stable InRelease [7661 B]
                Get:3 https://deb.debian.org/debian bookworm-updates InRelease [55.4 kB]
                Get:4 https://deb.debian.org/debian-security bookworm-security InRelease [48.0 k B]
                Get:5 https://deb.debian.org/debian bookworm-backports InRelease [59.4 kB]
                Get:6 https://dietpi.com/apt bookworm InRelease [1934 B]
                Get:7 https://repos.influxdata.com/debian stable InRelease [6922 B]
                Get:8 https://archive.raspberrypi.com/debian bookworm InRelease [55.0 kB]
                Get:9 https://dietpi.com/apt all InRelease [31.8 kB]
                Err:2 https://apt.grafana.com stable InRelease
                The following signatures were invalid: EXPKEYSIG 963FA27710458545 Grafana Labs <engineering@grafana.com>
                Get:10 https://deb.debian.org/debian bookworm/main arm64 Packages [8690 kB]
                Get:11 https://deb.debian.org/debian bookworm/non-free arm64 Packages [75.8 kB]
                Get:12 https://deb.debian.org/debian-security bookworm-security/main arm64 Packa ges [308 kB]
                Get:13 https://deb.debian.org/debian bookworm-backports/main arm64 Packages.diff /Index [63.3 kB]
                Get:14 https://deb.debian.org/debian bookworm-backports/non-free arm64 Packages. diff/Index [21.8 kB]
                Get:15 https://deb.debian.org/debian bookworm-backports/main arm64 Packages T-20 26-06-16-0800.32-F-2026-03-15-0200.18.pdiff [40.3 kB]
                Get:15 https://deb.debian.org/debian bookworm-backports/main arm64 Packages T-20 26-06-16-0800.32-F-2026-03-15-0200.18.pdiff [40.3 kB]
                Get:16 https://deb.debian.org/debian bookworm-backports/non-free arm64 Packages T-2026-04-08-2012.01-F-2026-04-08-2012.01.pdiff [179 B]
                Get:16 https://deb.debian.org/debian bookworm-backports/non-free arm64 Packages T-2026-04-08-2012.01-F-2026-04-08-2012.01.pdiff [179 B]
                Get:17 https://dietpi.com/apt bookworm/main arm64 Packages [5652 B]
                Err:7 https://repos.influxdata.com/debian stable InRelease
                The following signatures couldn't be verified because the public key is not av ailable: NO_PUBKEY DA61C26A0585BD3B
                Get:18 https://archive.raspberrypi.com/debian bookworm/main arm64 Packages [575 kB]
                Fetched 10.2 MB in 7s (1405 kB/s)
                Reading package lists...
                W: An error occurred during the signature verification. The repository is not up dated and the previous index files will be used. GPG error: https://apt.grafana. com stable InRelease: The following signatures were invalid: EXPKEYSIG 963FA2771 0458545 Grafana Labs <engineering@grafana.com>
                W: Skipping acquire of configured file 'rpi4/binary-arm64/Packages' as repositor y 'https://dietpi.com/apt bookworm InRelease' doesn't have the component 'rpi4' (component misspelt in sources.list?)
                W: An error occurred during the signature verification. The repository is not up dated and the previous index files will be used. GPG error: https://repos.influx data.com/debian stable InRelease: The following signatures couldn't be verified because the public key is not available: NO_PUBKEY DA61C26A0585BD3B
                E: Failed to fetch https://apt.grafana.com/dists/stable/InRelease The following signatures were invalid: EXPKEYSIG 963FA27710458545 Grafana Labs <engineering@g rafana.com>
                E: Failed to fetch https://repos.influxdata.com/debian/...able/InRelease T he following signatures couldn't be verified because the public key is not avail able: NO_PUBKEY DA61C26A0585BD3B
                E: Some index files failed to download. They have been ignored, or old ones used instead.
                [FAILED] dietpi-trixie-upgrade | APT update
                - Command: apt-get -y -eany update
                [FAILED] dietpi-trixie-upgrade | Unable to continue, dietpi-trixie-upgrade will now terminate.


                zu C - Fehler Backup

                Klicke auf die Grafik für eine vergrößerte Ansicht  Name: Screenshot 2026-06-17 Backup.png Ansichten: 0 Größe: 29,3 KB ID: 486355
                Das Backup wird aber ausgeführt.

                Zuletzt geändert von Allgäumatze; vor einem Tag.

                Kommentar


                • Allgäumatze
                  Allgäumatze kommentierte
                  Kommentar bearbeiten
                  No, when I used v1 there was no # in the Loxone topic.

                  I tried it with v2 with # in the topic, but that didn't work either.

                  Why are you writing ##? According to the documentation, in my case it would be "sma2mqtt/#"; I tried it that way too, and it didn't work either.

                • Prof.Mobilux
                  Prof.Mobilux kommentierte
                  Kommentar bearbeiten
                  Er bekommt ein "Forbidden" vom Miniserver zurück (HTTP 403 Fehler). Da stimmen die Berechtigungen auf Miniserver Seite nicht. Zum Trixie Update: Stimtm die Systemuhrzeit? Funktioniert Deine DNS Auflösung? Er kann die Signaturen Deiner apt Datenbank nicht prüfen oder hält sie für ungültig.

                • Houseruckiii
                  Houseruckiii kommentierte
                  Kommentar bearbeiten
                  Eher in der Loxone Config die virtuellen Eingänge prüfen ob da '##' vorhanden ist
                  (Früher wurden _ im Topic durch ## maskiert oder so)
              • Holi
                Azubi
                • 18.08.2021
                • 7

                #10
                Hallo,

                Ich habe ein Problem mit dem MQTT Gateway V2, dieses stürzt regelmäßig, ohne mir ersichtlichen Grund ab!
                Das Gateway läuft und funktioniert, dann erhalte ich von meiner Überwachung eine Benachrichtigung, dass keine Werte mehr empfangen werden --> Status des Gateways ist "läuft nicht", der MQTT-Server läuft aber nach wie vor.
                Ich habe auch bereits das Log-Level auf Debug gestellt, aber kann keine Fehler oder Warnungen im Log finden!

                Das Verhalten tritt manchmal bereits nach 10min auf und manchmal erst nach Stunden!

                Bitte um Unterstützung, gerne kann auch von Remote auf meinen Loxberry zugegriffen werden.

                Debian - 13 (trixie)
                6.12.86+deb13-amd64
                ProxmoxVE 8.4
                Angehängte Dateien

                Kommentar


                • Holi
                  Holi kommentierte
                  Kommentar bearbeiten
                  Ich habe nun wieder auf Gateway V1 umgestellt, um zu sehen, ob dies stabiler läuft.
                  Da erneut nach ~30min das Gateway nicht gelaufen ist!
              • Prof.Mobilux
                Supermoderator
                • 25.08.2015
                • 5410

                #11
                Holi Das liegt am UDP Socket den er verliert. Das muss ich analysieren. Der gleiche Socket wird auch von Gateway V1 verwendet.

                Eventuell müssen wir da weitere Debug Meldungen einbauen. Ich melde mich per PN.
                LoxBerry: https://wiki.loxberry.de/start

                Kommentar

                • Prof.Mobilux
                  Supermoderator
                  • 25.08.2015
                  • 5410

                  #12
                  Holi Bitte im LoxBerry update einmal auf "Latest" schalten und das Update einspielen. Dann zurück auf "Release" stellen. Dann das MQTT Gateway auf V2 stellen und neu starten.

                  Das Gateway fängt nun Fehler ab anstelle komplett abzustürzen. Wenn es doch abstürzt, loggt es einen ausführlichen Traceback. Könnte also durchlaufen - obwohl trotzdem Fehler aufgetaucht sind. Bitte dann mal ein Log im Debug Modus hier posten, damit ich mir anschauen kann ob die Fehler weiterhin auftauchen.

                  Hintergrund: Es könnte sein, dass es Netzwerkprobleme gegeben hat oder sonstige Probleme mit dem UDP Socket. Das alte V1 Gateway hat das abgefangen, daher bekommt die Fehler so nicht mit. Das habe ich im V2 Gateway jetzt so ebenfalls aktiviert.
                  LoxBerry: https://wiki.loxberry.de/start

                  Kommentar


                  • Holi
                    Holi kommentierte
                    Kommentar bearbeiten
                    Danke!
                    Hab das Gateway wieder auf V2 umgestellt, musste jedoch die gesamten Abos wieder neu machen, da dies scheinbar nicht gespeichert oder wieder überschrieben wurde, beim Wechsel von V1 -> V2.

                    Test läuft!

                    Soll ich den Debug-Log in allen Fällen, auch wenns durchläuft, dir senden?

                  • Prof.Mobilux
                    Prof.Mobilux kommentierte
                    Kommentar bearbeiten
                    Ja bitte!

                  • Holi
                    Holi kommentierte
                    Kommentar bearbeiten
                    Hab dir das Log via PN gesendet!
                • Holi
                  Azubi
                  • 18.08.2021
                  • 7

                  #13
                  Ein weiterer Punkt beim MQTT Gateway V2 ist mir soeben aufgefallen.

                  Beim Datenverkehr werden mir die Datenpunkte mit @@ angezeigt als Befehlserkennung.
                  z.B.:
                  Klicke auf die Grafik für eine vergrößerte Ansicht  Name: image.png Ansichten: 0 Größe: 8,7 KB ID: 486401MQTT:\ishellies/PM-PVZaun/status/switch:0/ret_aenergy@@total=\i\v
                  MQTT:\ishellies/EM-Kuehlschrank/status/pm1:0/aenergy@@total=\i\v

                  Im UDP-Monitor sehe ich jedoch, dass die Datenpunkte mit "_" statt dem "@@" übertragen werden:

                  564 08:04:58.574 Holub Home Empfangen 192.168.20.204 MQTT Gateway 11883 MQTT: shellies/PM-PVZaun/status/switch:0/ret_aenergy_total=2244936.082

                  762 08:06:00.509 Holub Home Empfangen 192.168.20.204 MQTT Gateway 11883 MQTT: shellies/EM-Kuehlschrank/status/pm1:0/aenergy_total=845710.164
                  Zuletzt geändert von Holi; vor einem Tag.

                  Kommentar


                  • Prof.Mobilux
                    Prof.Mobilux kommentierte
                    Kommentar bearbeiten
                    Danke. Wird im V4.0.0.13 gefixt sein.
                • hismastersvoice
                  Supermoderator
                  • 25.08.2015
                  • 7642

                  #14
                  Mir ist auch aufgefallen der der MQTT V2 immer wieder hohe CPU Peaks verursacht.
                  Hardware Raspi 5 / 8GB Ram / SSD, als sollte es kein Engpass der Hardware sein.
                  Generell ist V2 Leistungshungriger als V1 bei mir.

                  Selbst wenn ich nur wenig abonniert habe kommen die bis zu >50% Peaks
                  Auch das Load average ist bei V2 höher als wenn ich V1 laufen haben.
                  Ich dachte das V2 wurde wegen der Leistung entwickelt oder habe ich das falsch verstanden?

                  Klicke auf die Grafik für eine vergrößerte Ansicht

Name: grafik.png
Ansichten: 0
Größe: 20,0 KB
ID: 486408
                  Kein Support per PN!

                  Kommentar

                  • Prof.Mobilux
                    Supermoderator
                    • 25.08.2015
                    • 5410

                    #15
                    Yepp, das hast Du richtig verstanden. Aber nicht um die CPU Leistung herunterzubringen sondern große Datenmengen (100te Topics mit JSON Expand wie z. B. bei Zigbee) trotzdem ohne Verzögerung an den MS auszuliefern. Das V1 hat das Problem, dass es bei hoher Last (vielen Daten) merhere Sekunden Verzögerung verursacht hat.

                    V1 arbeitet sequenziell, V2 arbeitet voll asynchron. Kommt viel, arbeitet er viel parallel ab. Aber wenn Du nur wenige Topics abonniert hast, dürfte das nicht ins Gewicht fallen. Kommt das als Spitze oder dauerhaft?

                    In meiner VM sieht das alles ziemlich unauffällig aus (120 abonnierte Werte)

                    Klicke auf die Grafik für eine vergrößerte Ansicht  Name: image.png Ansichten: 0 Größe: 62,1 KB ID: 486413

                    Ebenso der Load Average bei 4 CPUs bei ~ 15 - 25%:

                    Code:
                    loxberry@loxberrykeller:~ $ uptime
                    10:03:43 up 4 days, 34 min, 3 users, load average: 1.28, 0.98, 0.63
                    Angehängte Dateien
                    LoxBerry: https://wiki.loxberry.de/start

                    Kommentar


                    • hismastersvoice
                      hismastersvoice kommentierte
                      Kommentar bearbeiten
                      Sind nur spitzen dann geht es wieder auf 3-4% zurück.
                      Ich werde es mal genau anschauen wenn ich am WE mehr Zeit habe.
                      Ist eigentlich nicht schlimm, das Load average ist immer noch mit 0,2x -0,3x sehr niedrig.

                      Geht mir nur ums Verstehen.

                    • Prof.Mobilux
                      Prof.Mobilux kommentierte
                      Kommentar bearbeiten
                      Ok. Habe das gerade Claude nochmal analysieren lassen. Er hat ein paar Stellen im Logging gefunden, die noch optimierbar sind und CPU Last kosten, ansonsten sagt er:

                      1. HTTP oder UDP? (Main.use_http/use_udp) — HTTP = vielfach mehr CPU pro Datenpunkt.
                      2. Echte eingehende Nachrichtenrate auf den abonnierten Topics: mosquitto_sub -t '<topic>' -v | pv -l -i10 -r > /dev/null o. ä. zum Mitzählen.
                      3. Anzahl gewählter JSON-Felder pro Topic (jeder Wert = decode + extract + lock + send + Logzeile + Status-Dump).
                      4. Reconnect-Häufigkeit: im Gateway-Log grep -c "connection lost". Viele → Broker/Netz instabil → Retained-Bursts.
                      5. Peak live einfangen: py-spy dump --pid <PID> während eines Peaks zeigt genau die heiße Funktion; alternativ top -H -p <PID> für den Thread. Das ist die direkteste Evidenz — ich konnte den Peak hier nicht erzeugen, weil das Testsystem zu wenig Datenrate hat.

                      Punkt 5 wäre interessant aus meiner Sicht.

                      Sein allgemeines Fazit:

                      Fazit: Kein reproduzierbarer Dauerlast-Bug; V2 ist bei Leichtlast erwartbar etwas CPU-hungriger/peakiger als V1 (async-Overhead), bei Schwerlast dagegen schneller — genau das Designziel. Die realistischen Stellschrauben am User-System: UDP statt HTTP, Reconnect-Ursache prüfen falls vorhanden, und die tatsächliche Nachrichtenrate der wenigen, aber evtl. hochfrequenten Topics. Optionale Code-Optimierungen (Loglevel-Gate vor
                      den f-Strings, LOGOK pro Send drosseln, Status-Dump entkoppeln/throttlen) wären möglich — aber erst, wenn der py-spy-Dump die heiße Stelle bestätigt.

                      Die Codeoptimierungen werde ich auf jeden Fall noch einbauen.
                  Lädt...