LoxBerry: Statistik Plugin - Diskussion

[Robert L.]

>AVG, Min und Max IMMER

es ging mir eher ums "Prinzip" nicht um den konkreten Fall
also dass man einfach irgendwas! vergessen hat.. (was weiß ich jetzt auch noch nicht, aber um das gehts ja)

>Gerne kann sich jeder daheim ein Rechenzentrum mit Octacores .. aus nicht aggregierten Minutenwerten einen Jahresvergleich zu machen.
hab ich ja nie geschrieben, das Archiv nur ZUSÄTZLICH zum RRD
das RRD muss sich aus dem ARCHIV neu aufbauen lassen können..


>Etwas frech finde ich dein "erstmal machen, dann nachdenken".

kann man in RRD die Minutenwerte editieren??
nein,
dann finde ich es nicht frech..

[Christian Fenzl]

Im Vorschlag an Michael hab ich doch geschrieben, dass AVG, Min und Max IMMER dabei sein soll. Von der Datenmenge ist das vernachlässigbar.

Robert L. Etwas frech finde ich dein "erstmal machen, dann nachdenken".
Schau dich um: Seit 5 Jahren "denken" Leute nach, und was ist herausgekommen? Wieviele für den Laien einrichtbare Statistikaufzeichnungstools gibt es für Loxone?
Ich habe seit Jahren mit RRDTool gearbeitet, und meine Langzeiteerfahrungen an Michael weitergegeben. Michael ist auch nicht morgens aufgewacht, hat sich gedacht, "Statistik ist cool" und hat losprogrammiert, sondern hier aktiv alles, wo's um Statistik geht, mitverfolgt.

Nochmal möchte ich betonen, dass es hier um ein Statistiktool für den LoxBerry, also einen Raspberry Pi geht. Gerne kann sich jeder daheim ein Rechenzentrum mit Octacores und SAN-Speicher hinstellen, und sich seine Software installieren, um die Raumtemperatur der letzten 20 Jahre minutengenau aufzuzeichnen. Und ein Octacore 64GB RAM und RAID-0 hat dann sicher auch keine Probleme, aus nicht aggregierten Minutenwerten einen Jahresvergleich zu machen. Der Rasp kann das nicht.

lg, Christian

[Robert L.]

>Min und Max Werte wären schön - gerade beim Wetter. Aber das ist ne andere Diskussion

das ist aber die loxone Herangehensweise
erstmal machen, dann nachdenken

wir wollen das doch besser machen..

bei Wind z.b interessiert mich Durchschnitt z.b. überhaupt nicht, sondern Max
komme ich in 2 Jahren drauf, das Max wichtig wäre, aber ich nur Durchschnitt haben.. sind die Daten verloren..

Es reichen doch eigentlich druchschnittswerte pro Stunde oder gar pro Tag... will man wirklich nach 5 Jahren da noch so einen "drilldown" in die Daten machen? Reichen da nicht ab dem 2. Jahr Mittelwerte pro Tag oder alle 3-4 Stunden? Einen Trend anschauen möchte man sicher, aber pro Tag minutengenau alle Werte abfragen? Ich weiß nicht... Min und Max Werte wären schön - gerade beim Wetter. Aber das ist ne andere Diskussion :-)

P.S. Mittlerweile gibt es 10TB Festplatten, in den nächsten Jahren erwarten und 30 und 50 TB SSDs (da kann man immer höhere Kapazitäten erreichen, in größeren Sprüngen als bei klassischen HDDs). Vielleicht ist das dann mit dem minutengenauen Erfassen über 10 Jahre gar kein Thema mehr :-)

[Robert L.]

ich verstehe dich,
ich weiß aber nicht ob/wie einfach man dann an diese Minutenwerte kommt
ob man sie z.b. editieren kann


ich bleibe bei meiner Meinung: archiviert gehören die Daten in einem "lesbaren" Format,
als "backend" zum darstellen ist rrd sicher super..

[Prof.Mobilux]

Robert L.


Das ist ja das Charmante an RRD: 99,9% der Nutzer werden 5 Jahre alte 1-Minuten-Werte wohl eher nicht mehr benötigen... Aber Du hast ja auch die Möglichkeit, dass RRD-Archiv so einzustellen, dass die detaillierten Minutenwerte für die letzten 20 Jahre archiviert werden.

Der Große Vorteil ist, dass Du gleich vom ersten tag an weisst wieviel Speicherplatz Du brauchst.

[Robert L.]

kurze Anmerkung zum RRD: das hat einen großen Nachteil, die Daten gehen ja mit der Zeit verloren..

zum "graphisch" anschauen im Browser usw. alles toll

wenn man nichts vergessen hat..

hat man z.b. den Maximalwert vergessen (sondern nur Mittelwerte) bekommt man den nie wieder..

die "rohdaten" sollte man also auch archivieren (in einem platzsparenden Format, also eher nicht MySQL?)

bei TB Großen Festplatten (NAS usw) ja wohl kein Problem..

[svethi]

Das ist ja die Frage, das ist nicht immer gleich je nachdem wieviele Daten da drin sind.
oder gibt es jetzt doch schon eine Info zu allen Bausteinen/verschiedenen Varianten?!

[Prof.Mobilux]

Bezüglich des eigentlichen Imports würde ich den Weg gehen, nicht die Daten über die Loxone-API zu holen, sondern per FTP die Daten herunterzuladen, und das Loxone Binärformat selbst zu parsen. Das ist vermutlich um den Faktor 10-20 (je nach Pi-Hardware) schneller.
Da ich noch auf Loxone 7.4 bin, das Binärformat hab ich schon, bräuchte ich noch ein 8.x-Statistikfile zum Prüfen.

Das wäre natürlich elegant. Ich dachte bisher, dass das Binärformat noch nicht endgültig entschlüsselt/verstanden wurde. Ich selbst bin auch noch auf 7.4, aber vielleicht findest Du im Thread zum Statistik-Editor noch was brauchbares - ich meine mich zu erinnern, dass da viele ihre Beispiele hochgeladen haben, die der Editor noch nicht einwandfrei gelesen hatte.

[Christian Fenzl]

Bezüglich des eigentlichen Imports würde ich den Weg gehen, nicht die Daten über die Loxone-API zu holen, sondern per FTP die Daten herunterzuladen, und das Loxone Binärformat selbst zu parsen. Das ist vermutlich um den Faktor 10-20 (je nach Pi-Hardware) schneller.
Da ich noch auf Loxone 7.4 bin, das Binärformat hab ich schon, bräuchte ich noch ein 8.x-Statistikfile zum Prüfen.

Wenn mir jemand der Mitleser ein einzelnes, aktuelles Statistikfile der Config V8 vom MS kopieren und hier bereitstellen könnte, mit Zeit des Herunterladens und dem ungefähren letzten Wert (z.B. Außentemperatur ca. 3 Grad), kann ich vergleichen, ob sich eh nichts geändert hat.

Ich ich fang jetzt mal an, die Statistikdaten vom MS aufzubereiten, und sobald du deinen Code bei Github hast, schau ich, wie sich das einfügt.

[Prof.Mobilux]

Christian Fenzl: Ich habe vorgesehen, dass man die Datenaufzeichnung Pausieren (Stoppen) kann. Nach dem Anlegen einer Datenbank ist die Aufzeichnung per Default zunächst gestoppt, sodass man noch den Import von alten Daten erledigen kann und dann erst die Aufzeichnung startet. In den Standardeinstellungen ist das Startdatum der Datenbanken der 01.01.2009. Das müsste also passen.

Ein Import-Modul könnte ich mir so vorstellen: Ich lade das LoxoneConfig-File hoch und kann dann auswählen, für welche Bausteine ich Datenbanken anlegen will. Zusätzlich kann ich anwählen, ob ich die XML-MS-Statistiken mit importieren möchte. Für jeden zu importierenden Baustein habe ich ein DropDown mit den Voreinstellungen zur Datenbank-Erzeugung (siehe mein Screenshot). Mit diesen Einstellungen wird dann für diesen Baustein die Datenbank angelegt und eventuelle alte MS-Statistiken importiert. Die Voreinstellungen muss ich vor dem Import anlegen. Anschließend kann ich in der Übersicht die Datenaufzeichnung starten und neue Daten fließen ein.

Als weiteres Importmodul könnte man sich dann später auch vorstellen die alten Daten aus einer RRD-Datei einzulesen.

Wenn ich eine neue Datenbank erzeuge schreibe ich in ein Info-File zur Datenbank den rrdcreate-Aufruf und eine Ausgabe von rrdinfo - habe mir auch überlegt, dass man das eventuell später nochmal gebrauchen könnte

Aktuell werden die Datenbanken in ~/data/plugin abgelegt, Das ist für mich auch der richtige Ort. Bei der Deinstallation kommt ja auch noch eine Sicherheitsabfrage, ob man wirklich... Ich werde da noch einen rote Zusatz ergänzen, dass ALLE Daten ganz wirklich und im ernst gelöscht werden :-) Im Plugin würde ich zudem noch eine Art Backup oder soetwas vorsehen wollen, sodass man seine Datenbanken sichern kann und z. B. auf einen neuen LoxBerry umziehen kann oder so ähnlich.

Ja, genau das habe ich mir gerade auch gedacht. Ich konnte logisch noch folgen. Aber mehr als verstehen übersteigt dann meinen Horizont. Aber da steht bei Christian auch nicht umsonst "Lox Guru" (wahrscheinlich auch noch Guru in RRD und anderen artverwandten Themen)
Respekt Leute, ohne euch wäre 1. Loxberry nicht hier und 2. würden viele Dinge mir bei Loxone fehlen! Ich wünschte, ich könnte einfach mehr beitragen. Leider reicht mein Programmier-Know-How dafür leider nicht aus.

[svethi]

Cooler Text, das hat jetzt jeder verstanden *lach* aber bin auch dafür ;-)

[Christian Fenzl]

Prof.Mobilux Ich weiß nur noch nicht, ob das initiale Erstellen von RRDs durch Import gescheit ist. Ich hab noch gelesen, dass man per Update-Command alte Daten nicht mehr hineinbekommt. Würde heißen, RRD-aufgezeichnete Daten wären bei Statistik-Import verloren.
Obwohl, wenn ich darüber nachdenke, wäre das auch egal, weil die Loxone-Statistiken diese Daten dann ja auch enthält.

Gut wäre, wenn der Benutzer übers GUI die Einstellungen festlegen und das RRD gleich anlegen kann, aber das Update pro RRD abdrehen kann. Dann könnte ich - ohne mir wieder Gedanken über die RRA-Einstellungen machen zu müssen - direkt ins fertige RRD hineinfeuern.

Ich weiß noch nicht, ob man das später nochmal brauchen wird, aber vielleicht speicherst du den Anlage-Command für das RRD irgendwo ab.

Und was mir auch noch durch den Kopf gegangen ist, ob data/~plugin~ der richtige Ort für die RRD-Ablage ist, wo dieses Verzeichnis doch bei der Deinstallation gekillt wird (was vielleicht mal unabsichtlich, oder bei Problemen passiert).

[Prof.Mobilux]

Während du am GUI arbeitest, würde ich anbieten, einen Loxone-Import zu bewerkstelligen.

Das ist perfekt - dazu hätte ich keine Lust gehabt Ich hatte sowie schon vorgesehen das Skript zum Hinzufügen von neuen Werten/Datenbanken so zu bauen, dass alle parameter mit HTML-GET übertragen werden können. Ich würde jetzt noch ein Skriptmodus hinzufügen, sodass Dein Parser dann direkt per wget/curl das Skript zum Hinzufügen von Datenbanken aufrufen kann. Damit wäre der Code dann nur an einer Stelle zu pflegen.