LoxBerry: Statistik Plugin - Diskussion

[Christian Fenzl]

Kurz zur Zusammenfassung des Import-Problems:
Der Import geht jetzt, es war das FLOAT-Problem. FLOAT's lassen sich nur mittels DCOUNTER-DS-Type importieren, den es erst am RRDTool v1.50 gibt (Raspbian liefert v1.48 mit).

Jetzt gibt's ein neues Problem mit den Werten, das sich meines Erachtens nur in der Graphengine lösen lässt:
Die Delta-DS-Typen COUNTER und DCOUNTER normalisieren den Wert auf "Value pro Sekunde".
Beispiel:
Sekunde 100 wurde 12 kW importiert/gefetched.
Sekunde 301 wurde 14 kW importiert/gefetched.
RRDTool rechnet nun
(301-100)=201
(14-12)=2
(2/201)=0,00995 kW/Sekunde.
Für dieses Intervall (201) wird der Durchschnitt 0,00995 gespeichert.

Ein Chart für Werte pro Stunde muss jetzt selbst alle Durchschnittswerte der Stunde mal 3600 rechnen, um auf kWh zu kommen.
Ein Chart für Werte pro Tag muss alle Durchschnittswerte des Tages mal 3600*24 rechnen, um auf die KW des Tages zu kommen.
Ich mache in die DS-Definition für den Verbrauchszähler jetzt auch einen GAUGE-Zeile hinein, um zur Sicherheit trotzdem auch den ermittelten Absolutwert abzuspeichern. So kann ggf. auch die Graph-Engine das Delta berechnen.

Lg, Christian

[Prof.Mobilux]

Stimmt - ist gemergt :-)

[Christian Fenzl]

svethi Ich hab jetzt die Anpassung mit den Integern an Michael gepusht - wie ich ihn kenne, merged er am Morgen noch vor dem Zähneputzen ;-)
Ich habe auch Michael's fetch.pl angepasst, weil das bei den fortlaufenden Polls das gleiche Problem ist.
Dann müsstest du aber wirklich was sehen, sonst müssen wir in die nächste Runde mit Debugging! :-)

[svethi]

Was hast Du denn da für Daten wenn das bei Dir geht? Die in Deinem Beispiel sehen doch genauso aus.
Der Zähler hat keinen Tr sondern bekommt einen Wert zum dazuaddieren übermittelt.

[Christian Fenzl]

gut zu wissen - und dann auch zu fixen :-)
Jetzt muss ich mir die Stats-Definition also auch noch vorher anschauen ;-)

[Christian Fenzl]

Your code might be intermittently inserting floats for COUNTER, DERIVE or ABSOLUTE datasource types. Only integers are permitted on those datasource types.

[svethi]

Hihi, ich glaube nicht, dass Dir die XML was bringt. Das steht da nicht anders drin als in Deinem auskommentierten Beispiel in der bin/import.pl
bis auf V2 bei dem bei mir Inf steht. Warum auch immer. Vielleicht weil ich am Anfang keinen Leistungsgeber dran hatte.

Die Zeile oben ist aus dem rrd dump. Steht halt bei jedem Wert NaN drin, da er mit dem float nichts anzufangen wusste.
Importlog siehts so aus:

2017-01-30 18:43:14 INFO: =============== 6/2014 === STARTED XML processing ===============================
2017-01-30 18:43:20 INFO: Interpolation started to fill up missing values - Raw data: 722
2017-01-30 18:43:20 DEBUG: Last month data: 2014-06-30 23:55:00 Value: 1473.084
2017-01-30 18:44:26 INFO: Interpolation finished - Added data: 16847, Data count now 17569
2017-01-30 18:44:40 INFO: --> 2000 Datapoints prepared for RRD update ...
2017-01-30 18:44:40 ERROR: Error processing rrds::update: /dev/shm/stats4loximport/0001.rrd: not a simple unsigned integer: '1618.500'
2017-01-30 18:44:43 INFO: --> 4000 Datapoints prepared for RRD update ...
2017-01-30 18:44:43 ERROR: Error processing rrds::update: /dev/shm/stats4loximport/0001.rrd: not a simple unsigned integer: '1618.500'
2017-01-30 18:44:47 INFO: --> 6000 Datapoints prepared for RRD update ...
2017-01-30 18:44:47 ERROR: Error processing rrds::update: /dev/shm/stats4loximport/0001.rrd: not a simple unsigned integer: '1618.500'
2017-01-30 18:44:51 INFO: --> 8000 Datapoints prepared for RRD update ...
2017-01-30 18:44:51 ERROR: Error processing rrds::update: /dev/shm/stats4loximport/0001.rrd: not a simple unsigned integer: '1618.500'
2017-01-30 18:44:54 INFO: --> 8928 Datapoints prepared for RRD update ...
2017-01-30 18:44:54 ERROR: Error processing rrds::update: /dev/shm/stats4loximport/0001.rrd: not a simple unsigned integer: '1618.500'
2017-01-30 18:44:54 INFO: 8928 datapoints updated in 100 seconds.
2017-01-30 18:44:54 INFO: =============== 6/2014 === FINISHED =============================================

[Christian Fenzl]

svethi
Sorry, ich steh grad völlig am Schlauch.
Wo steht das?
Schickst mir einfach das XML dieses Monats (Download-Pfad steht im Log) und das Log, und vielleicht auch gleich das RRD?
Einfach zippen per PM
lg, Christian

[svethi]

Kenn ich mich mit Round Robin aus? Nö. Da kann ich ja auch gleich selber machen *g*
<!-- 2017-01-30 01:00:00 CET / 1485734400 --> <row><v>NaN</v></row>

Ich denke mal, dass das Feld wohl ebenso v heißt.

Im Log ist kein Feldnamen erwähnt.

[Christian Fenzl]

Welches Feld, wo, was, falsch angelegt? Ich brauche mehr Detaaails :-)

[svethi]

Christian Fenzl ich hab da mal reingesehen. Ist weder leer noch steht 0 drin. Steht NaN drin ;-) "Not a simple unsigned integer" beim Schreiben in die rrd.
Da ist wohl das Feld falsch angelegt ;-)

[Christian Fenzl]

svethi Zu deinem grünen aber leeren Import:
Ist es leer oder alles 0?
Kannst du mir ein Monats-XML schicken, um das mit meinen XMLs des Verbrauchszählers zu vergleichen. Und das Importlog. Weil meine Verbriahcszähler funktionieren.

lg, Christian

[svethi]

Eines ist klar, wenn Du erst einmal in Rente bist, hast Du auch wieder mehr Zeit ;-). Nur ob ich das Debugging dann noch hinbekomme kann ich nicht sagen :-)

[Prof.Mobilux]

Wenn ich mir die Screenshots und die CactiEngine von Christian Fenzl anschaue wird mir ganz schlecht - was haben wir da nur angefangen?!? Ich schätze an dem Ding programmieren wir noch wenn wir alle schon in Rente sind...

Die Navigation von Cacti finde ich cool - ich hatte an etwas viel einfacheres gedacht!. Ich wollte pro Chart einfach ein (fixes) Icon auf der Index-Seite verwenden, man klickt drauf und kommt zum eigentlichen Chart. Aber:



Die Navigation, die Christian Fenzl dort zeigt ist ja eine andere (wenn ich es richtig sehe). Wenn iich das auf uns übertrage wäre der Einstieg einer Index-Seite eine Auflistung aller Räume oder Kategorien. Dann klicke ich auf einen Raum/Kategorie und komme zu einer Miniaturansicht von allen Graphen, die dazu gehören. Der nächste Klick auf die Miniaturansicht öffnet dann den Graph mit Manupulationsmöglichkeiten bzw. je nach Engine einfach verschiedene Ansichten des Charts (wie oben bei Cacti). Das finde ich sehr cool!

Nur wird das eine Javascript-Orgie auf der Index-seite, wenn dort 10 Graphen per Javascript/Highchart als Übersicht gebaut werden sollen. Ich schätze mein iPad1 baut da ewig an der Seite :-) Das ist natürlich bei RRD einfacher gelöst mit den starren PNG-Graphen...

Config::Simple werde ich auch für die Definition nehmen. Meine jetzige Idee ist, dass pro Graph eine Config angelegt wird. Je nach Engine kann die Configdatei aber anders aussehen - also je nach dem, was die Engine für Optionen bietet. Im Header der Config-Datei muss daher fest fixiert sein, welche Engine verwendet wird. Anschließend muss es dann pro Engine einen Parser geben, der die Config-Datei auswertet.

[svethi]

:heul: jetzt ist der nach Stunden endlich mit der ersten durch und zeigt die auch grün an, jetzt ist der Chart leer. Muss dazu gestehen, dass ich böse bin und eigentlich nur Verbrauchszähler habe :-) hab auch schon auf value-count umgeschaltet. Bringt nix.