Datenmenge verdoppelt sich für upload mit rsync - kann man das ändern?

Knowledge Base
1

Hallo,
ich benutze CM für die Speicherung meiner Daten in meinem Webspace. Die verschlüsselten Daten von meinem lokalen CM-Tresor lade ich mit rsync in den Webspace. Vorteil: Es werden nur die veränderten Daten hochgeladen.
Ich stelle allerdings fest, daß die synchronisierte Datenmenge ungefähr doppelt so groß ist, wie bei einer Synchronisation mit rsync auf meinem lokalen Speicher (von einem unverschlüsselten Arbeitsverzeichnis in den CM-Tresor). Wie kommt das?
Hängt das damit zusammen, daß Cryptomator eine ganz eigene seltsame Verzeichnisstruktur aufbaut und sich dadurch faktisch viel mehr Dateien für die Sychronisation verändert haben als in der original Verzeichnisstruktur?
Kann man dieses Verhalten von Cryptomator abschalten, daß er praktisch analog zur original Verzeichnisstruktur verschlüsselt und nicht mehr diese spezielle VZ-Struktur anlegt - und Datensparsamer ist?

Grüße!

2

Wilkommen in der Cryptomator Community :slight_smile:

Das kann eigentlich nur bei sehr kleinen Tresoren mit vielen kleinen Verzeichnissen der Fall sein.

Was meinst du mit “Datenmenge” ?
Man kann den belegten Speicher betrachten oder die Anzahl der Dateien.

Belegter Speicher

Wenn es um den belegten Speicherplatz geht, dann ist jede Datei im verschlüsselten Zustand ca 0,14% größer als das Original (siehe How much larger are encrypted files? - #3 by tobihagemann). Zusätzlich wird für jedes Verzeichnis oder Symlink ein weiteres Verzeichnis und eine Datei mit einer Größe von 1KB angelegt (nachzulesen in der Dokumentation).

Anzahl der synchronisierten Dateien

Wenn du die Anzahl der zu synchronisierenden Dateien meinst, dann kann es beim Erstellen oder Löschen von vielen Verzeichnissen (Unterverzeichnisse werden nicht mitgerechnet) zu einer Verdreifachung der betrachteten Dateien kommen (das eigentliche Datenverzeichnis, die Verzeichnislinkdatei und deren Ordner). Bei einem Verschieben kommt es zu einer Verdoppelung. Bei Änderungen einer Datei ist es ein 1:1 Verhältnis (naja fast, da kommts dann auf den Dateinamenlänge an).

Soweit so schön, um auf deine Frage zurückzukehren: Wenn du die Anzahl der veränderten Dateien meinst, ist eine Verdopplung möglich, wenn du viele Verzeichnisse bearbeitets (d.h. diese verschiebst, erstellst oder löschst) oder du Dateien mit sehr langen Namen betrachtest. Und ja, das liegt dann an der veränderten Verzeichnistruktur.

Nein, man kann es nicht abschalten. Aber dadurch wäre Cryptomator nur datensparsamer, wenn ansonsten in der Summe Dateiänderungen im Größenbereich von Kilobytes(!) gemacht werden.

Unerwartet hohe Sync-Aktivität kann viele Gründe haben, aber aus meiner Sicht ist Cryptomator keiner davon. Die Daten werden verschlüsselt und werdend dabei höchstens um 0,15% größer, und das wars. Verändert man die Verzeichnisstruktur innerhalb seines Tresors, gibt es einen Overhead bei der Anzahl der Dateien, aber die Datenmenge ist für heutige Verhältnisse faktisch gleich.

Ein anderer Grund für erhöhte Sync-Aktivität können versteckte oder temporäre Dateien sein. Viele Programme nutzen sie, und manche räumen sie nicht auf. Auch das Kompilieren von Quellcode ist eine mögliche Ursache.

3

Ja, vielen Dank schon mal für die schnelle Reaktion.

Mit Datenmenge meine ich tatsächlich die Bits und Byts. Bei einem Synchronisationslauf gestern hat rsync normal ca. 80 Dateien u. Verzeichnisse in das virtuelle CM-Verzeichnis übertragen. Beim synchronisieren des CM-Tresors in die Cloud wurden dann rund 100 Dateien u. Verzeichnisse übertragen. Das tatsächliche Datenvolumen wurde aber zunächst mit 4.9 MB und beim übertragen in die Cloud mit 11,7 MB angegeben. Die jeweiligen fertigen Kopien des gesamten synchronisierten Verzeichnisses ist jeweils etwa gleich groß.

Das heißt, das Endergebnis ist absolut o.k. und es gibt keinen nennenswerten Datenzuwachs. Nur für die Übertragung ins Netz (Upload) - und das frißt ja die Zeit - fällt ein signifikant größeres Datenvolumen an, als bei einem Sync zwischen unverschlüsselten Verzeichnissen auf dem lokalen Datenträger.
Hier habe ich mal die Ausgabe der Vorgänge zusammengefaßt:

>>>
Belegung des Cryptoverzeichnisses und des temporären Arbeitsverzeichnis:

2,4G	/home/clr/.cloud/CloudVZ
2,4G	/home/clr/.cloud/TmpVZ

Bitte wählen Sie: I für IMPORT und E für EXPORT: 

rsync...
sending incremental file list

[Arbeitsverzeichnis nach Cryptoverezichnis]

sent 4,938,264 bytes  received 2,288 bytes  760,084.92 bytes/sec
total size is 2,481,356,216  speedup is 502.24

rsync...
sending incremental file list

[Cryptoverzeichnis in die Cloud]

sent 11,441,943 bytes  received 37,841 bytes  199,648.42 bytes/sec
total size is 2,490,740,554  speedup is 216.97
<<<

Tja, und ich würde es natürlich gerne effizient gestalten und nur soviel Daten syncen wie nötig. Mache ich da also was falsch oder ist das jetzt so? Datenmüll müßte ja auch beim ersten Syncen schon auffallen.

Grüße!