Festplatten Spiegeln - Vergleichen soll schneller gehen als bei Freefilesync...

[talkomat]

Ich spiegele zur Datensicherung externe Festplatten.
Meist haben Sie 10 Hauptordner, und dahinter Verschachtelung, und es wurde nur in einem Ordner was geändert.
Ich habe lange eine recht alte Version von Carbon Copy Cloner genutzt, und jetzt mal FreeFilesync getestet.
Mich nervt an beiden, dass das Vergleichen der Festplatten über eine Stunde dauert, auch wenn nur eine kleine Datei auf der Quell-Festplatte geändert wurde.
Im Prinzip würde es ja vermutlich reichen, wenn die App in den Hauptordnern sieht, ob sie gleich groß sind und es ein neueres Änderungsdatum gibt, das geht ja sogar manuell in 10 Sekunden.
Mit welcher App geht das vergleichen schneller, was empfehlt ihr?

Ich würde nicht gerne im Terminal arbeiten (muss man wohl mit manchen Apps) und nicht viel Geld ausgeben (die 50 Euro von Carbon Copy Cloner sind mir dafür zu viel, wenn es 8 Euro sind wäre es kein Problem).
(Alternativ könnte ich auch manuelll kopieren oder auf der Quellfestplatte nur einen Ordner "zu kopieren" anlegen, und nur diesen synchrionisieren, und danach immer auf beiden Platten in einen anderen Ordner schieben.
Aber da Datensicherung ne wichtige Sache ist, finde ich Terminalbefehle oder Ordner manuell schieben dafür nicht so ideal.

 

[Marcel Bresink]

Im Prinzip würde es ja vermutlich reichen, wenn die App in den Hauptordnern sieht, ob sie gleich groß sind

Das kann man nicht sehen, ohne alle Unterordner zu durchsuchen.

Es ist auch nicht zu erwarten, dass es allzu große Geschwindigkeitsunterschiede zwischen verschiedenen Programmen gibt. Performance-Probleme liegen oft daran, dass die Platten ungünstig angebunden sind oder das falsche Dateisystem verwenden.

Wie sind die Platten angeschlossen und wie sind deren Volumes formatiert?

 

[talkomat]

APFS (Groß-/Kleinschreibung). Angebunden mit Micro-USB an USB C vom Macbook.
Ich war davon ausgegangen, dass es möglichkeiten gibt, dass die Apps gar nicht jede DAtei in aller Tiefe vergleichen müssen.
Warum geht das nicht? Ich kann mir ja auch im Finder die letzte Ädnerung und die Größe des Hauptordners anzeigen lassen, ist diese Anzeige zu unzuverlässig?
Wenn das nicht so ist, ist es vermutlich tatsächlich am schlauesten, einen Ordner anzulegen auf beiden Festplatten mit Dateien, die "mit hoher Wahrscheinlichkeit nie wieder geändert werden", und diesen von der Synchronisierung auszuschließen.
Dann muss 90 % der Festplatte nicht jedes Mal neu nach Veränderungen gescannt werden.

Als Anmerkung evt. noch wichtig: Ich sichere hier komplette alte Fotosessions, und jeder ORdner hat mindestens ein paar GB. Eine Änderung ist also immer auch eine erkennbare Größen-Änderung, da nicht nur eine kleine Datei geändert wird,

 

[Wuchtbrumme]

schon mal cow-Dateisysteme und Snapshots angeschaut?
Wenn es dateibasiert sein soll ist rsync so ziemlich das Optimum. Man kann dann noch schauen, dass sich eben nicht alle Dateien ändern (so ganz bin ich aus Deinen Schilderungen noch nicht schlau geworden). Wenn sich Dateidaten ändern (last accessed, last modified, ...) dann sind das halt Änderungen.

 

[talkomat]

Sind Cow und Snapshots PRogramme oder was ist das?
Ich sichere auf der gleichen Art Platte wie die Quellplatte.- Kaufe meist 2 identische 3TB oder 4 TB Platten.,
Und dann wird die Platte 1 nach und nach gefüllt,. und jeweils auf Platte 2 gesichert.

 

[Wuchtbrumme]

sorry, ich hätte das auch erklären und dabei genauer sein sollen, weil APFS auch ein COW-Dateisystem ist.
COW steht für Copy on write, also Kopieren beim Schreiben. https://de.wikipedia.org/wiki/Copy-On-Write
COW-Dateisysteme können die Blöcke verwalten und nicht nur dateibasiert arbeiten. Den inhaltlichen Zustand aller Blöcke kann man per Snapshot sichern. In Bezug auf Deine Anforderung, das Delta von Änderungen schnell synchronisieren zu können, könnte man also jedes Mal Schnappschüsse übertragen - von Snapshot zu Snapshot ist das zu übertragende Delta genau das Delta der veränderten Blöcke. Sprich, niemand muss hingehen und Dateien auf Änderungen prüfen: man überträgt einfach den aktuellen inhaltlichen Zustand. Es wäre dabei möglich, dass in einer 10GB-großen Datei nur 1Byte geändert wurde, nehmen wir mal an, das letzte Byte. Dann wäre das Delta nahe an nur einem Byte, allerdings müsste der letzte Block der Datei übertragen werden - aber nicht einmal die 10GB Rest.

Das geht mit APFS, das geht mit ZFS. Aktuelle Versionen von CCC sollten das eigentlich können, ich weiß allerdings nicht, ob man dazu was einstellen muss. Prüf das mal. Wenn das eingestellt werden muss - und schon ist - dann spricht viel für SMR als Grund für die Schnarchigkeit.

Welches genaue Festplattenmodell verwendest Du denn?

 

[talkomat]

Danke. Ich habe keine aktuelle CCC Version mehr sondern nur noch eine alte.
Die 50 Euro die CCC kostet sind mir eigentlich ein bischen zu viel dafür.
Ich kaufe Festpatten immer was ich gerade günstig kriege, zuletzt WD Elements Portable externe Festplatte 5 TB (mobiler Speicher, USB 3.0-Schnittstelle, Plug-and-Play, für Windows formatiert) Schwarz https://www.amazon.de/dp/B07X41PWTY?ref_=ppx_hzsearch_conn_dt_b_fed_asin_title_1&th=1

 

[Marcel Bresink]

Ich kann mir ja auch im Finder die letzte Ädnerung und die Größe des Hauptordners anzeigen lassen

Das geht aber nur sofort, wenn der Finder die Daten zufällig gecachet hat. Ansonsten erscheint dort üblicherweise der Hinweis "Größe: Größe wird berechnet" und erst nach ein paar Minuten erscheint der Wert. Der Finder kann diese Daten auch nur durch Durchsuchen der Unterordner bestimmen.

Apple hatte zwar zur Einführung von APFS vor ein paar Jahren versprochen, dass das System eine Funktion bekommen soll, die eine beliebige Ordnergröße sofort liefern kann, aber darauf warten die Entwickler bis heute und auch der Finder kann das offenbar nicht.

könnte man also jedes Mal Schnappschüsse übertragen

In der Theorie ja. Mir ist allerdings keine Schnittstelle bekannt, mit der es Apple ermöglichen würde, auf die Rohdaten eines Schnappschuss' zuzugreifen. Man kann Schnappschüsse nur anlegen, löschen, auflisten, umbenennen, mounten oder wiederherstellen. Und wenn man das von einem selbst geschriebenen Programm aus machen will, braucht der Entwickler dafür eine spezielle Genehmigung von Apple.

 

[Wuchtbrumme]

Ich kaufe Festpatten immer was ich gerade günstig kriege, zuletzt WD Elements Portable externe Festplatte 5 TB (mobiler Speicher, USB 3.0-Schnittstelle, Plug-and-Play, für Windows formatiert) Schwarz https://www.amazon.de/dp/B07X41PWTY?ref_=ppx_hzsearch_conn_dt_b_fed_asin_title_1&th=1

ah, das dachte ich mir. Das ist ein SMR-Modell (als Faustregel: alle 2,5"-Modelle sind heutzutage SMR). Wenn man die nur ein einziges Mal beschreibt sind sie billig und vielleicht nicht einmal schlecht. Ansonsten muss man das Thema Zeit einfach ad acta legen und sie machen lassen.

CMR-Festplatten sind besser geeignet. Bei 3,5" ab 8TB sind - falls in der Zwischenzeit nicht wieder was passiert ist - alle Modelle basierend auf CMR. Meist kann man aber anhand der Festplattenspezifikationen herauslesen, ob CMR oder SMR zum Einsatz kommt. Für ganz einfach gibt es auf www.geizhals.de in der Preissuchmaschine für Festplatten eine Option "nicht-SMR" osä.

In der Theorie ja. Mir ist allerdings keine Schnittstelle bekannt, mit der es Apple ermöglichen würde, auf die Rohdaten eines Schnappschuss' zuzugreifen. Man kann Schnappschüsse nur anlegen, löschen, auflisten, umbenennen, mounten oder wiederherstellen. Und wenn man das von einem selbst geschriebenen Programm aus machen will, braucht der Entwickler dafür eine spezielle Genehmigung von Apple.

danke für diese Erläuterungen, dann kann es ja wohl auch CCC nicht? Ich hatte aber eigentlich auch nur an ZFS gedacht.

 

[MacAlzenau]

Das geht aber nur sofort, wenn der Finder die Daten zufällig gecachet hat. Ansonsten erscheint dort üblicherweise der Hinweis "Größe: Größe wird berechnet" und erst nach ein paar Minuten erscheint der Wert. Der Finder kann diese Daten auch nur durch Durchsuchen der Unterordner bestimmen.

Und das kann leider auch mal endlos dauern und zu keinem Ende führen.
Und es hilft, nach meinen Erfahrungen, auch nicht immer, die Infobox zu schließen und neu aufzurufen.

Ordner sind halt auch nur Dateien mit einer Liste der darin enthaltenen Objekte, kein fixer Platz auf der Festplatte, wo man die Größe „von außen“ sofort sehen kann.

 

[Keef]

Ich nutze die Mac-App „SyncTime“. Kostet derzeit 18€ im AppStore.

 

[talkomat]

Ich nutze die Mac-App „SyncTime“. Kostet derzeit 18€ im AppStore.

Und sychronisierat Du ganze Festplatten? Musst Du nicht jedes Mal ne Stunde fürs Vergleichen warten, bevor das kopieren der Daten losgeht?

 

[ImpCaligula]

Ich spiegele zur Datensicherung externe Festplatten.

Aber da Datensicherung ne wichtige Sache ist

Darf ich kurz einwenden, dass das Spiegeln von Backup Daten keine Datensicherung ist?


Eigentlich wäre der richtige Weg:

Lokales Original ---> Datensicherung Software / Mechanik A ---> externes Ziel A
Lokales Original ---> Datensicherung Software / Mechanik B ---> externes Ziel B

Beispiel.
Ich sichere mein MacBook und die Daten in 3 unterschiedlichen Wegen.
A - meine Daten sind generell auf dem MacBook und in Apples iCloud
B - meine Daten werden mit TimeMachine auf meinem NAS gesichert
C- meine Daten sichere ich mit einem USB BackUp Tool auf eine externe SSD

Drei Mechaniken / Software Lösungen (iCloud, TimeMachine und USB BackUp Tool) an drei verschiedene Orte (Cloud, NAS, externe SSD).

Wenn Du mir jetzt sagst, das machst Du auch mit mindestens 2 Systemen und 2 Orten - nur dass Du halt eines der Speichermedien nochmals sicherst - wäre das ok, denn das mache ich mit einem NAS auch!

In Wirklichkeit sieht das bei mir nämlich so aus:
Lokales Original ---> Apple Cloud Sync ---> Apple iCloud
Lokales Original ---> Apple TimeMachine ---> NAS HDDs ---> Synology Copy ---> externes Speichergerät
Lokales Original ---> USB BackUp Tool ---> externe USB SSD

Ich sichere / spiegle meine NAS nämlich auch auf eine externe SSD - aber das ist halt ein zusätzlicher Baustein unter vielen Bausteinen.


Wenn das aber bei Dir nur so aussieht:
Lokales Original ---> Software A ---> externes Ziel A ---> Software B ---> externes Ziel B

Dann hat das nichts mit Erhöhung der Datensicherheit zu tun!

Beispiel.

Wenn Deine Daten verseucht oder korrupt sind - dann werden diese von Lokal, nach A, nach B kopiert. Und dann hast Du weder auf dem Notebook, noch auf A noch auf B unversehrte Daten! Wenn Software A beim sichern Mist baut - dann wird der Mist von A nach B kopiert und Du hast wieder keine original Daten! Und so weiter...


Ich wollte es nur freundlich anmerken, falls dem so ist - oder andere User hier mitlesen. Immer wieder - letztens wieder im MediaMarkt beim Verkauf einer 2bay NAS - höre ich mit, wie jemand eine Spiegelung als Datensicherheit verkauft.

 

[talkomat]

Darf ich kurz einwenden, dass das Spiegeln von Backup Daten keine Datensicherung ist?

Okay, Du wirst jetzt sehr OT und ich würde mich freuen, wenn Du dafür einen eigenen Thread aufmachst.
Trotzdem kurz als Antwort:
1.Ich bin Fotograf und prouziere oft 20 bis 50GB am Tag auf Reisen. Diese dann Abends noch im Hotel in die Cloud zu sichern, wird oft bei deutschen Internetgeschwindigkeiten nicht klappen.
2.Ich sichere auf 3 Timemachines an unterschiedlichen Orten. Eine Timemachine sichere ich auf eine Samsung T7 in Checkkartengröße und habe sie permanent im Portemonnaie. Aber aufgrund der Datenmenge ist klar, dass die Daten von den Timemachine Platten nach ein paar Monaten verschwinden werden.
3.In diesem Thread soll es um das spiegeln gehen, mit dem ich langfristig sichere. Dies tue ich auf jeweils 2 Festplatten wie hier im Thread beschrieben mit Carbon Copy Cloner oder seit vorgestern im Test Freefilesync, diese werden an unterschiedlichen Orten gelagert.
Für weitere OT-Diskussionen gerne einen neuen Thread aufmachen,

 

[ImpCaligula]

Für weitere OT-Diskussionen gerne einen neuen Thread aufmachen,

Na ja - wir handhaben das im Forum schon so, dass wenn es nicht völlig vom Thema abschweift, dass wir auch Nebenaspekte beleuchten - wie in Deinem Fall. Oft schon hatten wir, dass User Hilfe zu A suchten und sich dann im Thread herausstellte, dass A völlig unsinnig ist.

Und wenn Du in einem öffentlichen Beitrag schreibst, dass Du zur Steigerung der Datensicherheit ein Backup eines Backups machst - dann darf man (ich) das schon öffentlich korrigieren und so nicht stehen lassen. Mitleser sollen nicht den Eindruck hier im Forum bekommen, dass solche Methoden zur Steigerung der Datensicherheit beitragen!

Diese dann Abends noch im Hotel in die Cloud zu sichern, wird oft bei deutschen Internetgeschwindigkeiten nicht klappen.

Musst Du nicht - gibt ja auch noch externe USB Stick oder externe SSD Platten.

Eine Timemachine sichere ich auf eine Samsung T7 in Checkkartengröße und habe sie permanent im Portemonnaie.

Und um genau das geht es. Beruflich bedingt kann ich Dir versichern, dass Du nicht der Erste wärst, der feststellte, dass sein TimeMachine Backup - wenn er es braucht - nicht lesbar ist. Wenn Du also ein korruptes TM Backup auf eine externes Medium kopierst - gewinnst Du dadurch gar nichts.

Ich hatte erst eine Physiotherapie Praxis die ein TM Backup auf ein NAS gemacht hat und dieses TM Backup dann auf ein externes Medium geschoben hat. Als wir dann das TM Backup zurückspielen wollten ging es nicht, weil korrupt - und die TM Sicherung der TM Sicherung ging natürlich auch nicht. Die Dame hatte also am Ende gar nichts. Da sieht man dann erwachsene Menschen Heulkrämpfe bekommen.

Und das TM Backups korrupt sind - mal Google anwerfen - ist nicht selten.

Daher lautet die Regel ja immer - ein Backup eines Backups alleine ist kein Backup! Oder zumindest keine Steigerung der Datensicherheit! Daher immer zwei verschiedene Techniken zum sichern an zwei verschiedene Orte.


Aber ich respektiere in dem Fall Deinen Wunsch und äußere mich zu dem Thema nicht mehr

 

[Wuchtbrumme]

ein ganz pragmatischer Workaround für Dein Problem @talkomat wäre ja, die wenigen bearbeiteten Dateien in eine extra Location zu speichern, bis dahin manuell extra auf die Backupmedien zu speichern - und dann zuhause korrekt einzupflegen, wo man mehr Zeit hat und das Ding meinetwegen auch im Hintergrund rödeln darf.

Den Einwand von @ImpCaligula kann man mal erwähnen, ich hoffe, niemand kommt auf die blödsinnige Idee, nicht seine Dateien, sondern irgendeinen Stand an Kopien als das wirklich sicherungswürdige zu betrachten und das mehrfach zu kopieren. Man sollte seine Backups auch ab und an mal überprüfen.

Mein Speicher- und Sicherungskonzept* war broken by design, mit meinen Datenträgern könnte man die Gehwege Berlins pflastern. Ich bin nun auf ZFS umgestiegen, was allerdings etwas Aufwand und Kosten für ein Linux-NAS waren, mit dem die Ablage (Speicherkonzept) überhaupt mal sinnvoll begonnen wird (TrueNAS Scale).
*Sicherungswürdiges auf den alten Datenträgern lassen und von Zeit zu Zeit bei Mehrbedarf auf größere Medien umsteigen. Dann noch extra Kopien von - und eins-fix-drei hat man den Überblick verloren und traut sich nicht mehr dran, womit sich das Problem potenziert.

Idee: https://github.com/zenaan/quick-fixes-ftfw/blob/master/zfs/zfs.md
Finde ich sehr charmant. Systemunabhängig (bis auf dass ZFS unterstützt werden muss), keine Vorarbeit bei evtl. Recovern nötig.

Zurück zur Ausgangsfrage:
-Synchronisierung auf extra Datenträger
rsync:

rsync-HOWTO

man rsync (->Lesen)
-rsync mit GUI: z.B. SyncFolders Pro

mit rsync habe ich den Fall mal lokal bei mir für Dich nachgestellt:
-ich habe den Bilderordner von 2024 aus dem Archiv vom NAS (immerhin 80GB) auf ein Testverzeichnis auf dem Mac kopiert
-leeres Zielverzeichnis erstellt

2024/May/30/IMG_1008.DNG

sent 80618984299 bytes  received 34974 bytes  1771846577 bytes/sec
total size is 80608991521  speedup is 1.00
[11:59:15] user:~ $ mc -x
[11:59:33] user:~ $ rsync -avn testpics/2024 testpics_backup_destination
Transfer starting: 1655 files

sent 84022 bytes  received 20 bytes  1977 bytes/sec
total size is 80608991521  speedup is 959151.26
[12:00:29] user:~ $ rsync -avn testpics/2024 testpics_backup_destination
Transfer starting: 1655 files

sent 84022 bytes  received 20 bytes  1847 bytes/sec
total size is 80608991521  speedup is 959151.26
[12:00:33] user:~ $ touch ./testpics/2024/July/21/_D4_7597.CR2
[12:01:03] user:~ $ rsync -avn testpics/2024 testpics_backup_destination
Transfer starting: 1655 files
2024/July/21/_D4_7597.CR2

sent 84028 bytes  received 26 bytes  1807 bytes/sec
total size is 80608991521  speedup is 959014.33
[12:01:06] user:~ $

Du siehst hier:
-den Rest vom Sync von der Source auf der SSD zum Testziel auf der SSD.
-zwei weitere Syncs, die beide nichts machten und sofort fertig waren (nur zum Versuch, dass nicht jedes Mal irgendwas verglichen werden muss)
-dann ein touch, was das Datum/Uhrzeit der Datei in einem Ordner ändert
-ein weiterer Sync mit --dry-run (-n), der nur diese Änderung synchronisiert
-achte auf die Zeiten

rsync und rsync-benutzende Tools brauchen dieselben Uhrzeiten. Wenn Du über andere Mechanismen als rsync die Dateien kopierst (und/oder an Dateisystemsettings herumgespielt hast) ist ziemlich sicher, dass die nicht übereinstimmen und daher erst dann gesynct werden kann, wenn die Dateien verglichen sind (Binärvergleiche sind aufwändig).

Bei SyncFolders Pro kann man Tasks erstellen und dann ausführen.


Ich empfehle da, unter "Vergleichs-Prüfungen" Zeitstempel+Dateigröße auszuwählen (als Minimum). Ganz sicher ist die Methode mit Prüfsumme, aber das dauert auch am Längsten und wenn die Herkunft der Dateien garantiert ist und Du keinen Logikfehler machst, braucht man die Option eigentlich nicht.
Du siehst auch die Sync-Modes, wo man alles mögliche erreichen kann. Obacht, man schaue sich die Tabelle an; es gibt auch Modi, die die Quelle "updaten". Das Tool ist halt mächtig und manch einer möchte ja vielleicht mehrere Orte gleich haben, egal, ob da was gelöscht, hinzugefügt oder verändert wird. Ich finde die Herangehensweise aber vorbildlich selbsterklärend.

Hier die Ergebnisse der Tests, über rsync in der Shell zu SyncFolders Pro:

[12:22:00] user:~ $ du -ks testpics*
78722828    testpics
78722820        testpics_backup_destination
78722820        testpics_backup_destination_SyncFoldersPro

Übrigens3 kann man auch den freien Speicherplatz von iPad oder iPhone zur Datensicherung benutzen (ggfls. USB-Adapter mit Lightning).

 

[Keef]

@talkomat
Für einen zeitlichen Vergleich kann ich momentan nur Syncfolder für Windows heranziehen. Dort synchronisiere ich den Bilderordner mit einem Inhalt von 2,5 TB. Kommen neue Bilder in unterschiedlichen Unterordnern hinzu, wird der gesamte Bilderordner überprüft. Ca. 150 neue Bilder werden gesichert, gelöschte Bilder vom Sicherungslaufwerk entfernt. Dauer maximal 10 Minuten.
Ähnlich zügig funktioniert es auch mit SyncTime.

SyncTime - Desairem

SyncTime is the easy-to-use and flexible solution to synchronize your files. Keep all your backup copies up to date with the click of a button, with automated schedules, from the Shortcuts app (requires macOS 13 or newer) or even via AppleScript. Unlimited sync items. You can create as many sync...

desairem.com

Bei der Geschwindigkeit kommt es aber nicht nur auf die Software an. Sehr wichtig sind auch die Art der Anschlüsse an Computer und Festplatte. Es dürfte wohl klar sein, dass USB C/TB4 schneller ist als alle älteren Verbindungen.

 

[talkomat]

Bei der Geschwindigkeit kommt es aber nicht nur auf die Software an. Sehr wichtig sind auch die Art der Anschlüsse an Computer und Festplatte. Es dürfte wohl klar sein, dass USB C/TB4 schneller ist als alle älteren Verbindungen.

Natürlich ist mir klar, dass USB C schneller ist.
Mir geht es aber gar nicht darum,, ob 20gb neue Fotos nun 2o Sekunden oder 20 Minuten zum kopieren benötigen - mir geht es darum, dass zusätzlioch vorher immer eine Stunde oder länger Daten abgeglichen werden.

 

[Wuchtbrumme]

Natürlich ist mir klar, dass USB C schneller ist.
Mir geht es aber gar nicht darum,, ob 20gb neue Fotos nun 2o Sekunden oder 20 Minuten zum kopieren benötigen - mir geht es darum, dass zusätzlioch vorher immer eine Stunde oder länger Daten abgeglichen werden.

ich denke, ich habe bewiesen, dass rsync-basierte Tools das können, *ohne* vorher abzugleichen

 

[NorbertM]

mir geht es darum, dass zusätzlioch vorher immer eine Stunde oder länger Daten abgeglichen werden.

Ich habe gerade mal FreeFileSync Windows laufen lassen. Der Abgleich von 400.000 Dateien mit einer Netzwerkfreigabe dauert bei mir ca. eine Minute. Vielleicht hast du irgendeine Option falsch gesetzt?