Es sind aktuell zwei Wege die da verfolgt werden. Eine ist das Dateisystem selbst, also so etwas wie APFS, ZFS oder BTRFS, HammerFS, ggf. noch andere. Wichtig hierbei ist, dass der Weg von der Platte bis zur CPU prüfbar wird. Eine ganz andere Richtung sind Profispeicher für Scale-Out oder Hyperscaling. Diese arbeiten auch mit Hashcode, es sind nur noch Einzelplatten und nicht mehr RAID Verbünde. Jede Platte wird für sich als Datentopf für Objektdaten genutzt. Es ist so, dass man Daten und Hashcode sogar trennt und nicht verrechnet ablegt. Alle großen wie Amazon, Google, Azure etc. nutzen solche Technologien. Wenn man wie oben erwähnt einen 256 Bit Hashcode aus den Objekten errechnet, dann ist der Hashcode so fern von jeglicher Gleichheit, dass man diesen gleich noch als Deduplikation mit nutzen kann. Wenn also zwei gleiche Objekte in diesem Speichersystem liegen, dann wird die zweite Datei nur noch per Link dargestellt und das Objekt so nicht nochmal gespeichert. Die Großen sparen so gleich noch Platz ein.
Zuletzt bearbeitet: