Webseite wächst und wächst
Das Backup einer Kundenwebseite wächst und wächst und wächst. Warum auch nicht? Allerdings wird es mittlerweile etwas unhandlich. Die Frage ist also, ob man jedes Mal alle Dateien ins Backup nehmen muß, oder ob man einen Teil davon als Altbestand lieber archivieren soll.
Bestandsaufnahme
Der Kunde betreibt eine Typo3-Webseite, auf der er über Sportereignisse berichtet. Natürlich mit entsprechend vielen Bildern.
Es ist also anzunehmen, daß die Anzahl der Bilder das Problem darstellen könnte. Und natürlich bilden diese auch die Chance ein Backup nach "neuen" und "alten" Dateien unterscheiden zu können.
# du -sh * | grep G 32G fileadmin 20K GPL.txt 41G typo3temp 19G uploads
Also gut. typo3temp muß man nicht ins Backup werfen.
Aber der Rest ist eine ziemlich flache Struktur aus Bildergalerien. Dateien sind nicht nach Datums-Verzeichnissen gruppiert.
Aber wie schaut die aktuelle Verteilung der Daten genau aus?
# (find fileadmin/ -type f -print0; find uploads/ -type f -print0) |
> xargs -0 ls -l |
> perl -ne '
next unless /(\d+) (\d+)-(\d+)-(\d+)/;
$s{"$2-$3-01"}+=$1;
$c{"$2-$3-01"}++;
END {
foreach (sort keys %c) {
printf "%s %d %d %d\n", $_, $c{$_}, $s{$_}, ($s{$_}/$c{$_})
}
}'Das gibt pro Monat eine Liste der Dateien, ihre Gesamtgröße und die durchschnittliche Größe.
Und natürlich plottet man sich das lieber hin (logarithmisch auf der Y-Achse)
Es gab offensichtlich eine größere Datenübernahme im zweiten Quartal 2011 und seit dem ist die Webseite regelmäßig gewachsen.
Erfreulich: Zumindest bietet sich die Möglichkeit, ältere Bilder separat zu archivieren und nur die neueren Dateien regulär im Backup zu halten.
Ausblick
Für die weitere Planung zeigt sich, daß eigentlich eine konstante Anzahl von Dateien pro Monat dazu kommt. Das ist erfreulich.
Allerdings wir die Datenmenge in den letzten Monaten merklich mehr. Deswegen lohnt sich ein Blick auf die durchschnittliche Dateigröße (in Byte, linear)
Sehr deutlich ist zu sehen, daß ab Frühjahr 2015 die Dateigröße um das zweieinhalbfache zugenommen hat.
Offenbar haben die Fotografen auf neue Kameras und neue Bildformate gewechselt. Und die Bildredaktion scheint die Bilder unbearbeitet zu übernehmen.
Das ist kein Fehler, denn Typo3 (zumindest die Extension) skaliert die Bildgrößen gemäß eines responsive Designs permanent neu. Diese Neuberechnung ist ein Quell steter Freude gewesen, weil da schon mal einige zig Konvertierungen pro Sekunde zusammen kommen. Das hatten wir schon letztes Jahr eingefangen und ist ein Thema für sich. Inzwischen sind wir bei erfreulichen 700 Konvertierungen pro Tag, wenn keine neuen Bilder hochgeladen werden.
Die Kapazitätsplanung des Backups kann also davon ausgehen, daß die Datenmengen sich verdreifachen werden, während ein Grundstock per separatem Archiv aus dem Backup entfernt werden kann. Das Backup wird also nicht weiter aus dem Ruder laufen.