Viele MicroSD-Karte Schreibvorgänge

[TomekWaw]

Hallo Amigos,

Ich habe mich kürzlich gefragt wieviel Daten mein LoxBerry auf der microSD-Karte spart.
Da ich verschiedene Parametre über SNMP and Cacti überwache (cpu, memory, temp usw.), habe ich zusätzlich die IOPS-Überwachung aktiviert.
Es sieht so aus:




Ich weiß nicht ob ich diese Graph richtig verstehe, aber es sieht so aus als würde mein LoxBerry fast die ganze Zeit etwas auf die Karte schreiben. Wenn dies wahr wäre, würde das Leben meiner Karte bald enden.

Ich benutze solche Plugins:



In der Docker ist deCONZ und Node-RED, aber meiner meinung nach tun sie wenig.
Ich habe MQTT doch, zu dem FHEM viel schreibt. Es sieht so aus, als ob seit dem letzten Zurücksetzen 22 Millionen Einträge gemacht wurden.

incoming-count 1101 2019-12-02 15:49:00
outgoing-count 22563955 2019-12-02 17:16:55

Schreibt jeder MQTT-Eintrag auf die karte??

Ein weiterer Verdacht ist CamStreamLox. Ich benutze dort VLC, um den HikVision MJPEG-Stream an mehr als einen Client zu verteilen. Keine Video-Processing. Auch sollte wohl nicht auf die Karte geschrieben werden....

Aber ich würde lieber nicht raten.
Habt jemand eine Idee wie herausfinden was auf der Karte gespeichert wird?

[svethi]

Der Loxberry selbst ist dafür optimiert nicht so viel auf die SD zu schreiben. Dafür werden extra RAM Disks angelegt für log/tmp etc. Die Schreibprozesse werden von Docker und anderen Plugins kommen. Ebenso schreiben Deine Überwachungstools auf die Disk

[TomekWaw]

Ich glaube Überwachungstools schreiben nicht. Benutze ich standard Linux net-snmp package mit nur eine custom Erweiterung für Raspberry Temperatur:

root@loxberry:~# tail -n1 /etc/snmp/snmpd.conf
extend .1.3.6.1.4.1.2021.51 ipmi-temp /usr/bin/sudo /opt/scripts/snmp-temp
root@loxberry:~# cat /opt/scripts/snmp-temp
#!/bin/bash
/opt/vc/bin/vcgencmd measure_temp|cut -d"=" -f2|cut -d"'" -f1

Alles andere ist Standard linux ucd/net snmp module.

[TomekWaw]

Ich habe den nächsten Schritt ausgedacht.
Ich habe iotop installiert und mit Optionen -ao gestartet.
Nach 10-15 Minuten sah es so aus:



Die meisten schreiben Rpimonitord, aber nicht zu dateien /var/run/rpimonitord.pid oder /var/log/rpimonitor.log

Es schreibt statistics hier 🤦♂️

root@loxberry:~# ls -al /var/lib/rpimonitor/stat/
total 3204
drwxr-xr-x 2 root root   4096 Oct 18 22:23 .
drwxrwxr-x 3 1000 1000   4096 Jul 17 05:09 ..
-rw-r--r-- 1 1000 1000 191804 Oct 18 22:23 empty.rrd
-rw-r--r-- 1 root root 191804 Dec  2 18:45 load15.rrd
-rw-r--r-- 1 root root 191804 Dec  2 18:45 load1.rrd
-rw-r--r-- 1 root root 191804 Dec  2 18:45 load5.rrd
-rw-r--r-- 1 root root 191804 Dec  2 18:45 log_plugins_used.rrd
-rw-r--r-- 1 root root 191804 Dec  2 18:45 memory_available.rrd
-rw-r--r-- 1 root root 191804 Dec  2 18:45 memory_free.rrd
-rw-r--r-- 1 root root 191804 Dec  2 18:45 net_received.rrd
-rw-r--r-- 1 root root 191804 Dec  2 18:45 net_send.rrd
-rw-r--r-- 1 root root 191804 Dec  2 18:45 sdcard_boot_used.rrd
-rw-r--r-- 1 root root 191804 Dec  2 18:45 sdcard_root_used.rrd
-rw-r--r-- 1 root root 191804 Dec  2 18:45 soc_temp.rrd
-rw-r--r-- 1 root root 191804 Jul 17 05:09 swap_used.rrd
-rw-r--r-- 1 root root 191804 Dec  2 18:45 tmp_used.rrd
-rw-r--r-- 1 root root 191804 Dec  2 18:45 uptime.rrd
-rw-r--r-- 1 root root 191804 Dec  2 18:45 wifi_received.rrd
-rw-r--r-- 1 root root 191804 Dec  2 18:45 wifi_send.rrd

Und /var/ lib/ befindet sich nicht auf dem Ramdisk....

Verstehe ich richtig, dass RPi-Monitor-Plugin eine große Zeitbombe ist? 💣
Erst jetzt ist mir aufgefallen, dass er dort einen Tab mit Statistiken hat, den ich überhaupt nicht brauche ...... 🤦♂️
(Ich sende fast das gleiche System-Statistiken via snmp zum normale Linux server)

Sehen Sie hier noch etwas Besorgniserregendes auf iotop screenshot?
Es scheint nicht so Mosquito, Docker, Deconz oder Node-Red zu viel schreiben, richtig?

[TomekWaw]

Christian Fenzl
Noch eine Frage für dich. Seht aus dass MQTT In-Memory Datensätze alle paar Minuten in /var/lib/mosquitto/mosquitto.db geschrieben werden:

root@loxberry:~# grep persistence_location /etc/mosquitto/mosquitto.conf
persistence_location /var/lib/mosquitto/
root@loxberry:~# ls -al /var/lib/mosquitto/mosquitto.db
-rw------- 1 mosquitto mosquitto 58078 Dec  2 19:06 /var/lib/mosquitto/mosquitto.db

Ist das Speichern of Mosquito DB auf der microSD-Karte erforderlich/nützlich in smart home Umwelt?
Wenn ich darüber nachdenke, scheint es mir dass ich keine Statusgeschichte auf MQTT Subjects brauche.
Glaubst Du dass es Sinn macht Mosquitto.db an Ramdisk zu belegen?

[TomekWaw]

So sind die Karteneinträge gesunken seit ich das RPi-Monitor-Plugin deinstalliert habe. Fast auf Null..

[orli]

Ist ja auch logisch. .rrd Files sind nunmal Messdaten, die ständig aktualisiert werden und Änderungen natürlich auch geschrieben werden müssen.
Nutzt der rpidaemond den Apache vom Loxberry oder wird der eigene, interne Webserver genutzt? Nutze das Plugin selbst nicht, aber in den FAQ's steht:

            I would like to use my favorite web server instead of the one embedded into [B]RPi-Monitor[/B]. Is it possible?[INDENT][B]Yes[/B], this is possible but not recommended. [B]RPi-Monitor[/B] embedded web server is optimized to reduce the usage of the SDCard (using shared memory instead of writing data on disk), reduce the resources used into the system. The Web interface is requiring some specific feature that can only be delivered by [B]RPi-Monitor[/B] embedded web server (like empty.rrd file generation ensuring a clean display of graphs).[/INDENT]

[TomekWaw]

Ich habe in diesem Plugin nichts gegenüber der Standardkonfiguration geändert. Insbesondere habe ich den Webserver nicht geändert. Um ehrlich zu sein, verstehe ich nicht wirklich wie ein Webserver RRD-Dateien zugeordnet werden kann, die normalerweise vom RRDtool-Programm betrieben werden, und insbesondere deren Speicherort.
Dieser FAQ-Eintrag ist für mich unverständlich.


Ich habe jetzt eine Warnung auf der Plugin-Seite gefunden:

Die Konfiguration erfolgt direkt im RPi-Monitor.
Das Plugin führt zur Erhöhung der SD-Karten-Aktivität

Erhöhung der SD-Karten-Aktivität - ist ein bisschen und leicht gesagt

[Christian Fenzl]

Bezüglich Mosquitto:
Dieser speichert seine Datenbank alle 30 Minuten, sowie beim Beenden, auf die SD-Karte. (Meine Datenbank ist ca. 15 KB groß.)

Man könnte das autosave_interval höher stellen, oder die persistence komplett ausschalten.

Komplett abgeschaltet bedeutet, dass die retain-Stati nach einem Mosquitto-Neustart oder LB-Reboot weg sind.

[TomekWaw]

Meine ist nicht viel mehr - 57KB. Ich werde tun was du empfehlst - autosave_interval auf 1 Stunde oder 8 Stunden erhöhen.
Mein LoxBerry ist praktisch nie neu gestartet und hat sehr lange uptime, daher habe ich keine Angst vor Verlusten.
Danke für deine antwort!

[Christian Fenzl]

Wäre zu überlegen, das Autosave auf 24 Stunden zu setzen. Ich hab mir dafür einen Issue für die nächste Version gesetzt, du kannst das aber auch selbst setzen.

autosave_interval seconds

[TomekWaw]

Noch besser! Fertig!

root@loxberry:~# tail -n1 /etc/mosquitto/mosquitto.conf
autosave_interval 86400
root@loxberry:~# systemctl restart mosquitto.service
root@loxberry:~#