"Korrupte" Dateien ausfindig machen

[beardedGUY]

Hallo Gemeinde!
Ich hoffe ich jemand von euch hat eine Zündende Idee oder kennt ein Programm, welches mit massiv Arbeit abnehmen kann.

Die Fragestellung in kurz:
Gibt es ein Programm, welches Ordner oder gar Volumes auf korrupte/beschädigte Datein (Bilder) überprüfen kann?
Im besten Falle mit dann eine Liste auswirft oder zumindest im Log gefundenes anzeigt...

Aber zunächst zu den relevanten Daten:
macOS: Ventura 13.1
Externe SSD von SanDisk 2TB Format: Mac OS Extended

Das Problem:
Ich bin Fotograf und habe dementsprechend mittlerweile über 16K Bilder auf 1,7 TB angehäuft.
Da ich "nur" 1TB internen Speicher habe, sind die Bilder aus performancegründen auf einer externen SSD.
Die TimeMachine sichert auch diese externe SSD - seit Jahr und Tag sehr zuverlässig.
Seit einiger Zeit bekomme ich nun die Meldung, dass das BackUp nicht abgeschlossen werden konnte und bekomme den Link zu einem der Bilder - gehe ich zu diesem ist das Bild fragmentiert, mal mehr, mal weniger. Ich habe 2 Backups, einmal über die TimeMachine und einmal über eine Sicherungskopie welche die externe SSD 1:1 auf eine HDD spiegelt. Daher ist ein "echter" Verlust nicht möglioch. Allerdings ist die SSD aus performancegründen als Arbeitsvolume alternativlos und ich möchte vermeiden, dass ich nun das nächste Jahr 1 Bild in der Stunde wiederherstelle, weil mich die TimeMachine darauf aufmerksam macht. Daher meine obige Frage: kann das ein Programm für mich übernehmen?

Ich habe beim kopieren (zusätzlicher Vorgang, nicht die eigentliche Sicherung) festgestellt, dass bei einigen der "kaputten" Bilder der Prozess stoppt und ich die Meldung bekomme, dass diese Datei in Verwendung ist. Klingt für mich nach einem Fehler im Speichersystem - lustiger weiße betrifft das aber nicht alle Bilder, welche eine macke haben... Stelle ich die originale Datei wieder her, geht alle...
Ich bin gespannt auf eure Vorschläge oder Meinungen.

 

[Marcel Bresink]

Du versucht, das Problem an der falschen Stelle zu lösen.

Sicherungsprogrammen ist der Inhalt einer Datei völlig egal. Der wird blind kopiert. Das heißt, wenn selbst Time Machine schon merkt, dass etwas mit einer Datei nicht stimmt, muss schon mit dem Datenträger an sich etwas ziemlich schieflaufen. Das kann z.B. ein Problem mit dem Volume, mit dem Anschlusskabel oder mit der SSD-Hardware sein.

Um die Konsistenz des Dateisystems zu prüfen, ist die Funktion "Erste Hilfe" des Festplattendienstprogramms da. (Volume auswählen, dann "Ablage > Erste Hilfe starten".

 

[beardedGUY]

Um die Konsistenz des Dateisystems zu prüfen, ist die Funktion "Erste Hilfe" des Festplattendienstprogramms da. (Volume auswählen, dann "Ablage > Erste Hilfe starten".

Hi Marcel,
das habe ich natürlich als erstes gemacht - allerdings wird mir durch das Tool mitgeteilt, dass alles in Ordnung sei.

Sicherungsprogrammen ist der Inhalt einer Datei völlig egal. Der wird blind kopiert.

Richtig, daher habe ich ja auch bei beiden Sicherungen (Mirror & TimeMachine) das Problem, dass ich es entweder nicht mitbekomme, wenn eine Datei beschädigt ist, oder es eben einen Fehler schmeißt und ich manuell das Bild wiederherstelle. Aber eben nur das eine.
Daher war meine Frage nach einem Programm, welches die Bilder durch schaut und die Fehlerhaften erkennt. Denn anscheinend gibt es ja auch ein Merkmal - sonst würde die TimeMachine einfach kopieren.

Das kann z.B. ein Problem mit dem Volume, mit dem Anschlusskabel oder mit der SSD-Hardware sein.

Soweit ich das ausschließen konnte, scheint die SSD ansonsten zu funktionieren. Eine neue wird aber so oder so geholt...

Beispiele der defekten Bilder sind mal anbei... Ich gehe davon aus, dass die Metadaten, welche ja auch gerne mal blind drüber geschrieben werden durch ein Problem der SSD nun die Bilder zerfleddern... Aber alle einzeln durchchecken... keine Chance!

 

[u0679]

Klingt für mich nach einem Fehler im Speichersystem

ja, ich denke, Du solltest die externe SSD umgehend tauschen gegen eine neue.

 

[Wuchtbrumme]

Hi,

zu Deiner Sicherungslogik wollte ich anmerken- weil Du behauptest, echter Verlust sei nicht möglich - dass das sehr wohl bei dem Fehlerbild und Spiegeln geht. Du musst sicherstellen (und ich nehme an, das tust Du), dass die Festplatte, die die SSD 1:1 spiegelt, dass dies nur manuell erfolgt. Und das auch nur, wenn alle Dateien in Ordnung sind. Es gibt dann je nach Methode (CCC/SuperDuper! oder Rsync) die Möglichkeit, Quelle und Ziel zu vergleichen, was aber auch wiederum nur betrachtet, was *nach* dem Lesen der defekten Datei geschieht. Soll heißen, der Fehler kann sich aufs Backup fortpflanzen - und wie Marcel schreibt, die Quelle muss zu allererst OK sein.

Das Fehlerbild mit korrupten Dateien könnte an einem Defekt der SSD liegen (wear level?), aber auch an etwas so banalem wie ein ungeeignetes USB-Kabel.

Falls Du ein Backup noch hast, wo alle Dateien in Ordnung sind, könntest Du ein Compare (z.B. mit SyncFolders Pro und entsprechenden Optionen) laufen lassen. Vielleicht auch zweimal. Wenn dann unterschiedliche Dateien im Vergleich unterschiedlich sind, spricht das schon sehr für einen Kabelfehler.

 

[Marcel Bresink]

Denn anscheinend gibt es ja auch ein Merkmal - sonst würde die TimeMachine einfach kopieren.

Nein, darauf will ich ja hinaus. Genau das ist eben nicht der Fall. Time Machine kann nicht prüfen, ob der Inhalt einer Datei konsistent ist. Deshalb muss bereits ein viel schlimmeres Problem auf einer höheren Ebene (Dateisystem oder Hardware) vorliegen.

Das heißt auch, dass das Überprüfen der Dateiinhalte keinen Sinn ergibt, weil es bei diesem Symptomen wahrscheinlich ist, dass bei verschiedenen Leseversuchen unterschiedliche Ergebnisse geliefert werden.

Nochmals anders gesagt: Der momentane Aufbau produziert fehlerhafte Lesevorgänge. Wenn es dabei zufällig ein Foto trifft, merkst Du das, wenn es dabei zufällig die Metadaten des Dateisystems trifft, merkt Time Machine das.

 

[beardedGUY]

zu Deiner Sicherungslogik wollte ich anmerken- weil Du behauptest, echter Verlust sei nicht möglich - dass das sehr wohl bei dem Fehlerbild und Spiegeln geht. Du musst sicherstellen (und ich nehme an, das tust Du), dass die Festplatte, die die SSD 1:1 spiegelt, dass dies nur manuell erfolgt.

Hi Wuchtbrumme,
hier beschreibst Du ja genau mein derzeitiges Problem - Ich habe eine Sicherung seitdem ich auf die SSD Bilder lade, somit ist die Quelle fehlerfrei gewesen zum Zeitpunkt X und ich kann auch bei den jetzt fehlerhaften Bildern die "unbeschadeten" restoren.
Die 1:1 Spiegelung kann ich aber nicht manuell überprüfen, da ich da nicht fertig werde. Darum düchtete ich mir, es gäbe ein Programm, welches korrupte Datein erkennen kann (welche ja aufgrund "falscher" Leseprozesse korrupt übertragen wurden).

Das heißt auch, dass das Überprüfen der Dateiinhalte keinen Sinn ergibt, weil es bei diesem Symptomen wahrscheinlich ist, dass bei verschiedenen Leseversuchen unterschiedliche Ergebnisse geliefert werden.

Hi Marcel,
naja, nicht ganz, ich habe die Bilder mittlerweile 2x gesichert, mein Problem ist aber eben genau dieses: unabhängig von der SSD möchte ich natürlich nun etwaige defekte Bilder auf der ersten Sicherung (Welche ja nur 1:1 kopiert wurde und somit ebenfalls kauderwelsch beinhalten kann) ausmachen und durch die primäre, TimeMachine-Sicherung die originale Datei, sprich die "unbeschädigte" wiederherstellen. aber ich kann keine 16.000 Dateien durchschauen. :O

 

[Marcel Bresink]

Es ist für ein Computerprogramm nicht möglich, einen reinen Nutzdatenfehler, wie z.B. falsche Pixel in einem Bild zu erkennen. Das geht nur bei Metadaten, die Widersprüche zeigen, oder bei Daten, die speziell mit Prüfsummen gesichert sind. Bei üblichen JPEG- oder Raw-Bildern ist so etwas nicht vorgesehen. Da könnte man höchstens mit statistischen Verfahren abschätzen, ob eine Datei unwahrscheinliche "Loch- oder Störmuster" in den Daten enthält.

Es bleibt nichts anderes, als einen byte-weisen Vergleich zwischen Quelldaten und Sicherungsdaten durchzuführen, und bei allen Dateien, bei denen Abweichungen festgestellt werden, manuell zu prüfen, welche Datei die "richtige" ist.

Einen Vergleich von Ordnerhierarchien kann man über die Unix-Befehlszeile maßschneidern. Bei Time Machine gibt es außerdem schon von Apple vorgefertigte Befehle, z.B. tmutil compare oder tmutil verifychecksums. Für die grafische Oberfläche gibt es verschiedene Software von Drittanbietern. Da bin ich befangen, da ich selbst mehrere solcher Programme entwickelt habe.

 

[Wuchtbrumme]

. Da bin ich befangen, da ich selbst mehrere solcher Programme entwickelt habe.

weiß nicht, ob das noch unter Werbung fällt, wenn ich nachfrage, welche das sind?

Mit SyncFolders Pro geht es aber auch mit den entsprechenden Optionen.

Wobei, wenn ich es richtig verstanden habe, ist die Quelle, von der aktuell restored wird, ja auch aus einem nicht vollständigen Spiegeln hervorgegangen. Kurzum, er wird gar keinen einzigen komplett intakten Datensatz haben.

 

[beardedGUY]

Wobei, wenn ich es richtig verstanden habe, ist die Quelle, von der aktuell restored wird, ja auch aus einem nicht vollständigen Spiegeln hervorgegangen. Kurzum, er wird gar keinen einzigen komplett intakten Datensatz haben.

Ja, mehr oder weniger. Leider habe ich die 1:1 Spiegelung erst gemacht, als die ersten Bilder anfingen zu fragmentieren. Wobei es mir ja eh nichts gebracht hätte - er hätte ja die Bilder als „anders“ identifiziert und dann mit dem Lesefehler den Spiegel aktualisiert.

Was ich aber eben noch habe ist die TimeMachine welche alle Bilder immer brav kurz nach Import gesichert hat. Aus dieser restore ich.
Leider kann ich aber nicht einfach den „Ordner“ nehmen und diesen wiederherstellen. Abgesehen von der Zeit, welches mir egal wäre, sind durch Bearbeitungen ja zusätzliche Dateien gespeichert. Diese wären dann weg (mittlerweile speichert Lightroom als Beispiel die Bearbeitungsaktionen nicht mehr als zusätzliche Dateien)

Ich war zu sehr geblendet davon, dass die TimeMachine ja einen Fehler schmeißt, bei Bildern, welche kaputt sind. Aber klar, welches Programm soll den Fehler an sich erkennen, wenn es keine Referenz hat.
Danke euch!

Für die grafische Oberfläche gibt es verschiedene Software von Drittanbietern. Da bin ich befangen, da ich selbst mehrere solcher Programme entwickelt habe.

Für meine Spiegelungen und Bootbaren Backups nehme ich ChronoSync. Scheint mir auch ein gutes Tool zu sein, aber hat eben auch Grenzen.