Tweet
Moin an das gesamte Team,
ich frage mich, ob folgendes möglich ist.
Gleich vorab, Datenbankkenntnis bei mir gehen richtung null.
Momentan fliegen (ob nun über MQTT collector oder live oder auch push/pull der Daten direkt vom MS) eine Menge an Datenpunkten in die influx Datenbank.
Als Beispiel:
Stromzähler sendet alle 60 Sekunden einen Wert für
-aktuellen Stromverbrauch
-Zählerstand
hiermit werte ich genau aus, wann welcher Verbrauch stattfindet, was in einer Stunde verbraucht, wurde und zum Beispiel am Tag.
Für den genauen Verbrauch sind die Daten alle 60 Sekunden relativ ausreichend.
Des Weiteren werte ich
-Aussentemperatur, die bei jeder Änderung einen Wert sendet
-Innentemperatur einzelner Räume
-IRR Ausgang (wann wird geheizt und wie stark)
aus.
Für die Ansicht der Daten für jetzt aktuell, letzte Stunde, letzter Tag sind das ziemlich genaue Auswertungen so möglich.
Aber es sind natürlich auch Massen an Daten, die in die DB geschrieben werden.
Wenn ich zum Beispiel mir dann den Verbrauch des letzten Monts anschaue, dann interessieren mich die 60 sekündigen Intervalle gar nicht mehr, sondern ich schaue auf die Stundenauswertung, vielleicht sogar nur Tagesauswertung.
Wenn ich nun weitere denke und irgendwann über das Jahr schaue, dann sind mir vermutlich nur noch die Tageswerte wichtig.
Eventuell sogar nur Wochenwerte, usw und sofort.
in drei Jahren reichen vermutlich die Monatswerte.
Nun zur eigentlichen Frage:
Es fliegen ja trotzdem massenhaft Daten in die Datenbank, diese füllt und füllt sich.
Gibt es eine Möglichkeit, dass nach bestimmter Zeit z.B. ein Monat, nur noch Mittelwerte über bestimmte Daten vorhanden sind und der Rest durch ein Automatismus gelöscht wird?
Als Beispiel (jetzt ohne genau drüber nachzudenken)
Gesamter Datensatz
-letzte Woche: alle Daten vorhanden, alle 60 Sekunden ein Wert
-letzter Monat: nur noch ein Mittelwert über 10 Min aller Daten
letztes Quartal: nur noch eine Mittelwert über eine Stunde aller Daten
letztes Jahr: nur noch ein Mittelwert über 6 Stunde aller Daten (oder Tagesdurchschnitt).
Verstet Ihr was ich meine?
Die Daten lassen ja die DB ohne Ende aufblähen mit Daten, die man in 6 Monaten nie wieder ansieht.
Der Speicher geht dann vermutlich auch irgendwann zu neige... Wenn man dann einen größeren nachrüstet, müssen Milliarden von Daten erstmal kopiert werden...
Oder ist das der DB völlig egal?
Danke und LG Simon
ich frage mich, ob folgendes möglich ist.
Gleich vorab, Datenbankkenntnis bei mir gehen richtung null.
Momentan fliegen (ob nun über MQTT collector oder live oder auch push/pull der Daten direkt vom MS) eine Menge an Datenpunkten in die influx Datenbank.
Als Beispiel:
Stromzähler sendet alle 60 Sekunden einen Wert für
-aktuellen Stromverbrauch
-Zählerstand
hiermit werte ich genau aus, wann welcher Verbrauch stattfindet, was in einer Stunde verbraucht, wurde und zum Beispiel am Tag.
Für den genauen Verbrauch sind die Daten alle 60 Sekunden relativ ausreichend.
Des Weiteren werte ich
-Aussentemperatur, die bei jeder Änderung einen Wert sendet
-Innentemperatur einzelner Räume
-IRR Ausgang (wann wird geheizt und wie stark)
aus.
Für die Ansicht der Daten für jetzt aktuell, letzte Stunde, letzter Tag sind das ziemlich genaue Auswertungen so möglich.
Aber es sind natürlich auch Massen an Daten, die in die DB geschrieben werden.
Wenn ich zum Beispiel mir dann den Verbrauch des letzten Monts anschaue, dann interessieren mich die 60 sekündigen Intervalle gar nicht mehr, sondern ich schaue auf die Stundenauswertung, vielleicht sogar nur Tagesauswertung.
Wenn ich nun weitere denke und irgendwann über das Jahr schaue, dann sind mir vermutlich nur noch die Tageswerte wichtig.
Eventuell sogar nur Wochenwerte, usw und sofort.
in drei Jahren reichen vermutlich die Monatswerte.
Nun zur eigentlichen Frage:
Es fliegen ja trotzdem massenhaft Daten in die Datenbank, diese füllt und füllt sich.
Gibt es eine Möglichkeit, dass nach bestimmter Zeit z.B. ein Monat, nur noch Mittelwerte über bestimmte Daten vorhanden sind und der Rest durch ein Automatismus gelöscht wird?
Als Beispiel (jetzt ohne genau drüber nachzudenken)
Gesamter Datensatz
-letzte Woche: alle Daten vorhanden, alle 60 Sekunden ein Wert
-letzter Monat: nur noch ein Mittelwert über 10 Min aller Daten
letztes Quartal: nur noch eine Mittelwert über eine Stunde aller Daten
letztes Jahr: nur noch ein Mittelwert über 6 Stunde aller Daten (oder Tagesdurchschnitt).
Verstet Ihr was ich meine?
Die Daten lassen ja die DB ohne Ende aufblähen mit Daten, die man in 6 Monaten nie wieder ansieht.
Der Speicher geht dann vermutlich auch irgendwann zu neige... Wenn man dann einen größeren nachrüstet, müssen Milliarden von Daten erstmal kopiert werden...
Oder ist das der DB völlig egal?
Danke und LG Simon
Kommentar