TimeMachine Performance SMB vs HDD vs SSD

[James Atlick]

Bin selber grosser Fan von TimeMachine Backups auf HDD/SSD mit APFS.
Meiner Erfahrung nach, funktioniert TimeMachine besser per APFS als über SMB.
Ein Netzlaufwerk mit SMB ist nicht nur komplexer, sondern auch langsamer.

Hier ein Vergleich:
Quelle

Externe SSDs sind sehr günstig und klein geworden, kann es jedem nur empfehlen.

 

[Mavalok2]

Meiner Erfahrung nach, funktioniert TimeMachine besser per APFS als über SMB.

Kann es sein, dass Du hier AFP (Apple Filing Protocol) meinst? Denn APFS ist das File System von Apple und kein Netzwerkprotokoll. AFP wurde von Apple seit knapp 13 Jahren nicht mehr weiterentwickelt. Also nicht mehr ganz aktuell. Aber wenn es funktioniert.

 

[Wuchtbrumme]

Kann es sein, dass Du hier AFP (Apple Filing Protocol) meinst? Denn APFS ist das File System von Apple und kein Netzwerkprotokoll. AFP wurde von Apple seit knapp 13 Jahren nicht mehr weiterentwickelt. Also nicht mehr ganz aktuell. Aber wenn es funktioniert.

der Text im Link weiß auch nicht, wie APFS geschrieben wird bis auf im letzten Absatz. Man kann auch viel hinterfragen, z.B. weiß man nicht, ob er sein RAIDz2 vernünftig aufgesetzt hat. Wer ein extra Metadata-Device einsetzt, aber die Menge des Hauptspeichers nicht erwähnt, schürt zumindest mal Zweifel, ob er weiß, was er tut. Die SMB-Version samt Konfigurationsoptionen fehlt auch. Valide Testcases sind das auch nicht unbedingt.

Anyway, ich glaube, die Kernaussage, dass Sicherungen übers Netzwerk länger dauern können, darf trotzdem stehenbleiben.

Das ist aber gar nicht der Punkt. Sicherungen übers Netzwerk haben den Vorteil, dass man sich nicht ums Anschließen kümmern muss. In der Folge kann eine verlässliche Sequenz von Backups eher garantiert werden, als wenn ein Mensch sich noch selbst überwinden muss. Idealerweise steht der Backupserver woanders - kann also z.B. fernab von Einbruch, Feuer oder Blitzeinschlag sein. Die Dauer des Backups würde ich ansonsten vernachlässigen (solange sichergestellt ist, dass die gebackupte Datenmenge pro Zeiteinheit zeitnah transferiert wird).

 

[James Atlick]

Kann es sein, dass Du hier AFP (Apple Filing Protocol) meinst?

Nö Meine das lokale Dateisystem.

Das ist aber gar nicht der Punkt. Sicherungen übers Netzwerk haben den Vorteil, dass man sich nicht ums Anschließen kümmern muss. In der Folge kann eine verlässliche Sequenz von Backups eher garantiert werden, als wenn ein Mensch sich noch selbst überwinden muss.

Stimmt, die externe Platte kann aber auch einfach immer eingesteckt bleiben. Gerade bei einem macMini wie hier beschrieben.

Idealerweise steht der Backupserver woanders

Auch einverstanden, allerdings wird es dann noch komplizierter und noch unrealistischer für den 0815 User.
Ich könnte es zwar umsetzten, bin aber zu faul.

Für mich persönlich ist das TimeMachine Backup auch nicht deswegen da. Meine Daten sind alle in der Cloud. TimeMachine Backup ist für mich eine Sicherung, sollte in der iCloud was schief gehen oder ich einen Fehler machen.
Bei einem Feuer melde ich mich einfach wieder bei iCloud an auf einem neuen Gerät und brauche keine offsite backup.

 

[NorbertM]

Ein Netzlaufwerk mit SMB ist nicht nur komplexer, sondern auch langsamer.

Die Geschwindigkeit sehe ich in dem Fall zweitrangig, da so ein Server ohnehin immer laufen sollte. Bei mir ist das ein Raspberry, der sich vorrangig um Smarthome und TV-Recording kümmert. Daneben sichere ich monatlich auf zwei externe Festplatten im Wechsel.

 

[kelevra]

Ich bevorzuge auch den immer meinen laufenden Unraid File Server als TimeMachine Ziel, sowohl für den stationären Mac Mini, als auch oder speziell auch für das MacBook.

Der Server wird nachts regelmäßig auf ein zweites System im Keller mit RAIDZ2 gesichert.

Geschwindigkeiten sind da völlig irrelevant. Die Datenmengen auf den Arbeitsgeräten, die im Alltag dazukommen sind überschaubar. Die Backups des Fileservers laufen nachts.

Ist aber zugegebenermaßen ein totales Nerd Overkill Setup, dass sicherlich nicht jeder Endnutzer so aufsetzen werden will/kann.

 

[Mavalok2]

Anyway, ich glaube, die Kernaussage, dass Sicherungen übers Netzwerk länger dauern können, darf trotzdem stehenbleiben.

Ach so, jetzt verstehe ich. Ich habe nicht ganz verstanden, wie man ein Netzwerkprotokoll (SMB) mit einem Filesystem (APFS) vergleichen kann. Der Vergleich ist in etwa wie: "Meine Pirelli Reifen sind schneller als mein Ferrari."

Hier in diesem Vergleich fehlen so ziemlich alle Faktoren. Die "Grundaussage" (ziemlich gut versteckt ), dass zuhause eine externe Festplatte schneller ist als ein Netzwerkspeicher ist, mag sicher grundsätzlich stimmen, aber das dürfte wohl auch auf eine externe Festplatte mit exFAT, HFS+ und auch NTFS Filesystem zutreffen. Hat also erst Mal nichts mit dem Filesystem zu tun. Die wichtigere Frage wäre wohl: Wie ist die externe Festplatte angebunden? USB2, USB3, USB4, Thunderbold, eSATA, Fireware und welche Generation dann? Wie schnell ist das Netzwerk? 1GbE, 2,5 GbE, 10GbE, 40GbE, 100GbE? Ein 100GbE Netzwerk dürfte schneller als Thunderbold5 sein, auch wenn man dies zuhause wohl kaum haben wird. Und diese Übertragungsgeschwindigkeiten nützen gar nichts, wenn die Endgeräte dies nicht hergeben. Thunderbold5 Gehäuse, in dem dann eine alte HDD werkelt...

@James Atlick
Wenn Du ein paar technische Daten mit dazugibst, dann habe wir anderen eine Chance das Ganze nachzuvollziehen, einzuschätzen und zu vergleichen.

 

[James Atlick]

Hat also erst Mal nichts mit dem Filesystem zu tun.

Bisschen schon. APFS ist CoW und kann Snapshots.
Ehrlich gesagt bin ich negativ überrascht und hätte mir sogar eine noch bessere Performance von APFS erhofft.
Mit ZFS geht sowas fast instant.
Warum TimeMachine 24s für ein Backup ohne geänderte Daten braucht, kann ich mir nicht ganz erklären.
Vielleicht wird da doch kein Snapshot gesendet?

 

[Marcel Bresink]

Ich habe nicht ganz verstanden, wie man ein Netzwerkprotokoll (SMB) mit einem Filesystem (APFS) vergleichen kann.

Auf der Datei-Ebene des Betriebssystems, und damit auch für Time Machine, sind das tatsächlich einfach zwei verschiedene Dateisysteme. Es ist allerdings richtig, dass man dort korrekt nicht von SMB spricht, sondern von "smbfs".

Ebenso muss man sagen, dass Time Machine über ein Netzwerk hinweg noch "zweieinhalb" zusätzliche Dateisysteme einschiebt, die es beim Direktzugriff auf eine Platte gar nicht braucht, so dass das ganze wesentlich aufwändiger sein muss. Bei Time Machine im Netz arbeitet ein

- APFS-Dateisystem in einem
- virtuellen Disk Image-Gerät (HDI-Schicht) auf einem
- SMB-Dateisystem auf einem
- unbekannten Dateisystem des File-Servers.

Mit ZFS geht sowas fast instant.

So eine Behauptung ergibt keinen Sinn, da Time Machine nur auf "HFS+ mit Ordner-Hard-Links" oder APFS arbeiten kann, jedoch nicht auf ZFS.

Warum TimeMachine 24s für ein Backup ohne geänderte Daten braucht,

Time Machine muss auch in dem Fall
- komplette Schnappschüsse für alle zu sichernden Volumes auf den jeweiligen Quell-Volumes anlegen,
- Millionen von Datei-Attributen in Quell- und jeweiligen Zielschnappschuss miteinander vergleichen,
- die Menge der nicht zu sichernden Dateien davon wieder abziehen,
- einen neuen Zielschnappschuss anlegen,
- die berechnete Menge der geänderten Dateien in den Zielschnappschuss übertragen.

Dass macOS eine Stunde läuft, ohne dass sich Datei-Attribute von Benutzerdateien geändert haben, ist so gut wie unmöglich.

 

[James Atlick]

So eine Behauptung ergibt keinen Sinn, da Time Machine nur auf "HFS+ mit Ordner-Hard-Links" oder APFS arbeiten kann, jedoch nicht auf ZFS.

Natürlich macht der Vergleich auch Sinn, schliesslich ist APFS CoW.
Von einem CoW FS erwarte ich instant snapshots und ein senden dieser.
Egal ob dies nun ZFS, BTRFS, ReFS oder APFS ist.

- komplette Schnappschüsse für alle zu sichernden Volumes auf den jeweiligen Quell-Volumes anlegen,

Das sollte beinahe instant sein, weil CoW.

- Millionen von Datei-Attributen in Quell- und jeweiligen Zielschnappschuss miteinander vergleichen,

Eigentlich nicht.
Das ist ja der Vorteil von CoW Snapshots gegenüber zum Beispiel stur mittels rsyc/robocopy oder was auch immer Dateien vergleichen.
Es werden nicht Dateien verglichen, es wird ein neuer Snapshot gemacht und dieser dann geschickt.
Jedenfalls bei ZFS mit ZFS send.

Die gleiche Dauer von der SSD sowie HDD deutet darauf hin, dass nicht die Bandbreite oder IPOS der externen Disk der Flaschenhals ist, sondern irgendwas beim Host selbst.

Ist aber auch nicht sonderlich wichtig, 25s sind ja noch immer voll im Rahmen.
Einen Vergleichswert mit HFS+ ohne Snapshots wäre noch spannend.

 

[Marcel Bresink]

Von einem CoW FS erwarte ich instant snapshots und ein senden dieser. [...] Es werden nicht Dateien verglichen, es wird ein neuer Snapshot gemacht und dieser dann geschickt.

So funktioniert Time Machine nicht. Das ist eine komplett andere Vorgehensweise.

 

[kelevra]

Auf einem lokalen Backup nutzt TimeMachine tatsächlich CoW, da APFS genutzt wird. Auf einem Netzlaufwerk werden Hardlinks in einem sparsebundle genutzt (für unveränderte Dateien).

 

[Marcel Bresink]

Nein, das stimmt so nicht. Wie oben schon geschrieben, sicherte macOS 10 in "HFS+ mit Ordner-Hard-Links" und macOS ab Version 11 in APFS.

Das ist auf Netzlaufwerken genauso, nur dass sich da das HFS/APFS-Sicherungs-Volume auf einem Disk Image in einem Sparse-Bundle in einem SMB-Netzlaufwerk auf einem beliebigen Dateisytem befindet.

 

[kelevra]

Ja, und seitdem auf der lokalen (!) Disk APFS für TimeMachine genutzt wird (seit macOS 11 Big Sur) werden da auch APFS Snapshots und 'copy on write' unterstützt (das kommt ja vom APFS). Das wurde in einem Developer Talk zur Einführung bei Big Sur auch so erwähnt.

Auf einem Netzlaufwerk liegen im sparsebundle, was im Prinzip nur ein Image ist, das gemountet wird, einzelne Ordner. macOS zeigt diese als "TimeMachine Backups" an:



Schaut man da mal von einem nicht Mac rein, sieht man, dass es lediglich Ordner (nicht Images) sind, die die verschlüsselten Daten plus ein paar plist enthalten:



APFS (oder früher HFS+) wird nur auf lokal angeschlossenen Laufwerken für Time Machine genutzt.

 

[Marcel Bresink]

Auf einem Netzlaufwerk liegen im sparsebundle, was im Prinzip nur ein Image ist, das gemountet wird, einzelne Ordner.

Nein, der Finder zeigt das so an, egal ob man HFS+ oder APFS verwendet, aber das ist reine Simulation.

Schaut man da mal von einem nicht Mac rein, sieht man, dass es lediglich Ordner (nicht Images) sind, die die verschlüsselten Daten plus ein paar plist enthalten:

Genau das ist die Definition eines Sparse-Bundles. Das ist ein Disk-Image, das in Form eines macOS-Pakets abgelegt wird. Ob das verschlüsselt ist, wird durch den Inhalt des Image festgelegt.

APFS (oder früher HFS+) wird nur auf lokal angeschlossenen Laufwerken für Time Machine genutzt.

Nein, das ist komplett falsch.

 

[James Atlick]

Dass macOS eine Stunde läuft, ohne dass sich Datei-Attribute von Benutzerdateien geändert haben, ist so gut wie unmöglich.

Spielt keine Rolle, du kannst auch direkt nach dem Abschliessen eines Backups das nächste Starten und die Situation bleibt gleich. Aber klar, paar Dinge ändern sich auch innert einer Minute.

So funktioniert Time Machine nicht. Das ist eine komplett andere Vorgehensweise.

Schade. Darum ist es also so langsam. Wie funktioniert es dann, wenn nicht mit snapshot send?

Nein, das ist komplett falsch.

Darum liebe ich Marcel in diesem Forum
Voll auf Angriff! Alles muss auf die Goldwage! Jedes Wort!
Immer alles als falsch darstellen, aber bloss nix erklären!

Spoiler: Haare spalten

Glaube was kelevra sagen wollte, ist das APFS auf lokalen Festplatten genutzt wird, während bei SMB Freigaben APFS unmöglich ist. Weil dort halt ext4, NTFS, ZFS oder was auch immer der Storage drunter ist, aber ganz sicher kein APFS. Und selbst wenn die völlig exotische Option eines macOS shares auf APFS Basis tatsächlich jemand nutzt, ist da immer noch SMB drüber. Das schreibst du ja aber auch selber, darum verstehe ich den Einwand nicht.

Habe noch das hier gefunden:
Time Machine saves one snapshot of your startup disk approximately every hour, and keeps it for 24 hours. It keeps an additional snapshot of your last successful Time Machine backup until space is needed.
https://support.apple.com/en-us/102154

Es wird zwar nicht genau erklärt warum es einen zusätzlichen Snapshot gibt beim Verwenden von TM, aber vielleicht sendet es doch Snapshots?

Vielleicht dienen die Snapshots aber auch nur einer schnelleren recovery:
Wenn du Time Machine verwendest, sichert Time Machine auch einen lokalen Schnappschuss, den du zum Wiederherstellen früherer Dateiversionen verwenden kannst, auch wenn dein Backup-Volume nicht angeschlossen ist. Diese Schnappschüsse werden stündlich erstellt, auf demselben Volume wie die Originaldateien gespeichert und für 24 Stunden oder solange gesichert, bis der Speicherplatz auf dem Volume benötigt wird. Lokale Schnappschüsse werden nur auf Volumes im Apple File System (APFS)-Format erstellt.
https://support.apple.com/de-de/guide/mac-help/mh11430/15.0/mac/15.0

Vermute mal, wenn ich eine Datei von vor 4h wiederherstellen möchte, wird versucht dies aus dem lokalen Snapshot zu machen, statt langsam über USB oder SMB die Datei wieder zu holen. So verstehe ich es jedenfalls.

Mal unabhängig von TimeMachine, kann APFS snapshots senden? Konnte dazu nirgends was finden.

 

[Marcel Bresink]

Wie funktioniert es dann, wenn nicht mit snapshot send?

Das hatte ich in #9 erklärt. Time Machine sichert seit 18 Jahren dateiweise, egal ob mit HFS+ oder APFS.

aber bloss nix erklären!

Wie es funktioniert, war in #9 und auch nochmal in #13 erklärt.

während bei SMB Freigaben APFS unmöglich ist.

Das ist so nicht richtig. Ich erkläre es jetzt ein drittes Mal, jetzt von unten nach oben statt von oben nach unten:

- Der Server verwendet ein beliebiges Dateisystem. Darauf hat macOS keinen direkten Zugriff.
- Per SMB wird indirekter Netzzugriff auf die Dateien in diesem Dateisystem ermöglicht. Das ist für macOS ein smbfs-Dateisystem.
- Auf der SMB-Freigabe legt macOS ein Sparse-Bundle an. Das ist eine spezielle Dateipaketstruktur, die über mehrere unsichtbare Ordner und viele kleine Dateien auch auf den simpelsten darunterliegenden Dateisystemen spärliche gefüllte "Riesendateien" platzsparend simulieren kann.
- In so einer simulierten spärlichen Riesendatei speichert macOS ein Disk-Image ab. Optional wird Kontingentierung für dieses Disk Image vorgesehen.
- Das Disk Image ist mit "APFS (Groß-/Kleinschreibung)" formatiert, wahlweise verschlüsselt oder unverschlüsselt.
- Diese synthetische APFS-Platte enthält das Ziel-Volume, auf das Time Machine sichert. Das Volume ist exakt gleich aufgebaut wie eine normale externe Sicherungsplatte.

APFS-Sicherungs-Volumes von Time Machine sind wie folgt aufgebaut:

- Die letzte Datensicherung liegt "normal" auf dem Volume.
- Jeder Time Machine-Schnappschuss davor liegt in einem APFS-Schnappschuss.
- Wenn Time Machine oder der Finder auf die Time Machine-Daten zugreift, werden alle APFS-Schnappschüsse der Sicherung als Virtuelle Volumes gemountet. Angenommen, der Rechner ist ständig in Betrieb und läuft etwa 4 Monate, dann gibt es 1-mal die letzte Datensicherung auf dem APFS-Volume, 24 Schnappschüsse für die letzten Stunden und 16 Wochenschnappschüsse. In dem Fall mountet macOS also 40 Volumes. Auf der grafischen Oberfläche werden die Inhalte der Volumes als Time Machine-Schnappschüsse dargestellt.

Es wird zwar nicht genau erklärt warum es einen zusätzlichen Snapshot gibt beim Verwenden von TM,

Da sich Dateien während der Time Machine-Sicherung ändern könnten, was die Sicherung inkonsistent machen würde, sichert Time Machine sozusagen nicht die Originaldaten eines Volumes, sondern einen APFS-Schnappschuss dieser Originaldaten, der zu Beginn des Sicherungslaufs angelegt wird.

Vielleicht dienen die Snapshots aber auch nur einer schnelleren recovery:

Ja, das ist eine zweite, optionale Verwendung. Wenn der Platz ausreicht, wird der Quell-Schnappschuss nach Ende der Sicherung nicht gelöscht, sondern bleibt als zweite Datensicherung einfach liegen, bis er (wie jede andere Time Machine-Sicherung) bereinigt wird. Wenn der Benutzer Daten wiederherstellt, kann er auch die Quell-Schnappschüsse als besonders schnelle Datenquelle auswählen.

Mal unabhängig von TimeMachine, kann APFS snapshots senden?

Nein, das ist offiziell im Moment nicht vorgesehen.

 

[James Atlick]

Das hatte ich in #9 erklärt. Time Machine sichert seit 18 Jahren dateiweise, egal ob mit HFS+ oder APFS.

Ok. Das wäre ja richtig schlecht. Dann dauert ein Backup von Millionen von Files ewig, während es bei ZFS und BTRFS Millisekunden dauert.

Nein, das ist offiziell im Moment nicht vorgesehen.

Irgendwie schwach. Da nutzt Apple CoW (mit allen Nachteilen von CoW) und vergibt dann so eine Chance.