Fragen zu Thunderbolt Bridge

[double_d]

Hallo zusammen und schonmal einen guten Start ins neue Jahr.
Nach ziemlich langer Abstinenz aus beruflichen und privaten Gründen, treibt es mich in mein Heimatforum zurück.
Einmal, um mal wieder "Hallo" zu sagen und letztlich auch, um die hoffentlich immer noch geballte Kompetenz von Apfeltalk in Anspruch zu nehmen.

Mein Setup besteht aus einem MacBook Pro 16" M4 Max und einem MacMini M1 aus 2020.
Laut Spezifikation besitzt der MacMini TB3 an zwei Anschlüssen und das MacBook TB5 an drei Anschlüssen.
Also einmal max. 40Gbit/s brutto und einmal max. 120GBit/s brutto.

Zu weiteren Peripheriegeräten gehören noch zwei Thunderbolt 4 Docks. Einmal ein OWC TB4 Dock und einmal eines von Sabrent, welches "nur" ein TB4 Hub ist. Aber die sind erstmal außen vor.

Ich versuche nun seit einigen Tagen zu verstehen, wie eine Thunderbolt Bridge zwischen dem MacMini und dem MacBook funktioniert.
Ich habe von den Docks einige TB4 zertifizierte Kabel, aber auch extra ein TB4 Kabel von Anker gekauft. Mit allen Kabeln lässt sich eine direkte Verbindung zwischen dem MacMini und dem MacBook per Thunderbolt Bridge herstellen. Allerdings immer mit verschiedenen Ergebnissen in der Übersichtsanzeige der jeweiligen Netzwerkeinstellungen.

In der Regel hat das MacBook eine Thunderbolt 1- und der MacMini eine Thunderbolt 2 Anbindung, wenn die Bridge aufgebaut wird.

Mit BlackMagic Speed messe ich beim Zugriff vom MacBook auf den MacMini schreibend auf die Systemplatte etwa 600MB/s und lesend knapp 700MB/s.
Das ändert sich i. Ü. auch nicht, wenn ich beide Thunderbolt Docks dazwischen stecke. Das entspricht bei etwas unter 5GBit/s mit viel Zähneknirschen und einem großzügigen Abzug von Overhead (also 50%) der Thunderbolt 1 Verbindung, die brutto 10Gbit/s leisten kann und mit der sich das MacBook Pro mit dem MacMini verbindet. Der MacMini selbst greift laut Black Magic auf seine Systemplatte mit knapp 3000MB/s zu. Lesen und schreibend.

Soweit so prima. Also habe ich nun eine max. 10GBit/s Verbindung mit etwas weniger als 50% Verlust und kann so auf alle Platten, die am Mini oder auch an den Docks angeschlossen sind lesen und schreiben mit dieser Geschwindigkeit. Für alle USB-C angeschlossenen Geräte reicht das auch. Allerdings habe ich auch zwei NVMe Platten in einem TB4 Gehäuse. Die NVMe selbst sind Crucial P3 mit maximalen Schreib- und Leseraten von 4.200MB/s und 5.000MB/s. Demnach auch TB4 tauglich. Das Gehäuse frisst etwas, aber auf knapp 3.000MB/s komme ich, wenn ich es direkt am MacBook Pro anschließe.

Mir ist klar, dass ich insgesamt nicht höher als Thunderbolt 3 kommen kann, da der Mini eben nicht mehr in der Spezifikation hat. Aber da das MacBook Thunderbolt 5 bereitstellt, hatte ich vermutet, dass mindestens Thunderbolt 3 in der Bridge aktiviert wird und ich auf die entsprechenden Bruttoraten komme. Natürlich abzüglich eines Overhead und letztlich auch in Abhängigkeit der jeweils angeschlossenen Datenträger.

Jetzt ist also für mich nicht klar, warum die Thunderbolt Bridge lediglich auf MacBook Seite Thunderbolt 1 aktiviert. Liegt das eventuell einfach am Kabel, oder an einer Inkompatibilität zwischen TB3 und TB5, so dass der Mini der Bremsklotz ist? Wenn es so ist, dann ist es so, jedoch benötige ich dann keine teuren NVMe Datenträger, sondern kann mir billige 2,5" SSDs kaufen, die eh nicht mehr als 500MB/s schaffen.

Dazu ist mir nicht ganz klar, ob die zwei Anschlüsse des Mini und auch die drei Anschlüsse des MacBook Pro jeweils TB3/TB5 bereitstellen, oder sich die Bandbreite teilen, so dass beim Mini auf beiden Anschlüssen maximal 40Gbit/s und am MacBook auf allen drei Anschlüssen max. 120Gbit/s liegen, wenn an allen etwas angeschlossen ist. Zumindest kann ich das bei der externen NVMe Platte am MacBook nicht gänzlich nachvollziehen. Ich habe das OWC Dock mit einem USB-C Monitor dort angeschlossen und über das Dock auf einen weiteren seiner TB4 Anschlüsse Daten auf eine der NVMe Platten kopiert und gleichzeitig die Geschwindigkeit der anderen NVMe direkt am Anschluss des MacBook Pro gemessen und hatte keine Unterscheide zum Zustand ohne Dock festgestellt.

Vielleicht kann mir jemand Licht ins Dunkle bringen oder hat einen Tipp, wie ich die Thunderbolt Bridge etwas aufbohren kann um nicht mit TB1 hier rumhampeln zu müssen.

Danke vorweg.

 

[Marcel Bresink]

In der Regel hat das MacBook eine Thunderbolt 1- und der MacMini eine Thunderbolt 2 Anbindung, wenn die Bridge aufgebaut wird.

Das darf eigentlich nicht sein. Aber es wäre theoretisch denkbar, dass der Mac mini irgendetwas an dem TB4-Kabel nicht "versteht", weil er nur einen TB3-Anschluss hat.
Was zeigt denn das Programm "Systeminformationen" als Geschwindigkeit der Verbindung in der Thunderbolt-Übersicht an?

Also habe ich nun eine max. 10GBit/s Verbindung mit etwas weniger als 50% Verlust und kann so auf alle Platten, die am Mini oder auch an den Docks angeschlossen sind lesen und schreiben mit dieser Geschwindigkeit.

Dabei ist zu berücksichtigen, dass ja nicht direkt auf die Platten zugegriffen wird. Du betreibst hier den Mac mini als File-Server, nur dass statt Ethernet jetzt Thunderbolt als Verbindung genutzt wird.

Je nach dem, welches Server-Protokoll Du verwendest (SMB oder NFS), welches Transportprotokoll (TCP oder UDP) und welche Netzwerkpaketgröße (Standard oder Jumbo Frames), wird die Geschwindigkeit stark schwanken. Die Bremse dürfte mehr der Aufwand für File-Server und Netzwerk sein, nicht das physische Kabel.

Dazu ist mir nicht ganz klar, ob die zwei Anschlüsse des Mini und auch die drei Anschlüsse des MacBook Pro jeweils TB3/TB5 bereitstellen

Ja, jeder Anschluss kann gleichzeitig seine Maximalgeschwindigkeit liefern, wenn der jeweilige Rechner dahinter die Daten entsprechend bereitstellt.

 

[double_d]

Hallo Marcel,

vielen Dank für Deine Antwort. Ich habe das Setup wieder so angeschlossen, wie ich es eigentlich verwenden möchte. Daher die Docks mit in der Übersicht. Es ändert wie gesagt nichts, ob ich MacBook und MacMini direkt verbinde, oder über die beiden Docks laufen lasse. Lediglich bei der Nutzung der mir vorhandenen Kabel kam es schon vor, dass bei der Direktverbindung erst gar keine Verbindung aufgebaut wurde. Aber für die Kabel halte ich tatsächlich meine Hand nicht ins Feuer. Bis auf das von Anker und das von OWC, welches bei dem Dock dabei war, dürfte der Rest aus chinesischer Produktion sein. Sabrent und Acasis sind da die Hersteller von Hub und von den NVMe Gehäusen. Sind zwar alle gleich dick und haben auch alle den Blitz und die 4 an den Steckern aufgedruckt, aber da weiß man ja nie. Zumindest tun sie, wenn man die Geräte einzeln an beide Macs anschließt, ohne irgendwelche Einschränkungen ihren Dienst.

Dabei ist zu berücksichtigen, dass ja nicht direkt auf die Platten zugegriffen wird. Du betreibst hier den Mac mini als File-Server, nur dass statt Ethernet jetzt Thunderbolt als Verbindung genutzt wird.

Ja. Das weiß ich einzuordnen. Vielleicht ist Black Magic hier nicht das richtige Tool. Die Thunderbolt Bridge ist eine Netzwerkverbindung. Allerdings decken sich die angezeigten Werte von Black Magic mit den real beobachteten Werten eines Kopiervorgangs. iPerf3, was ich im Nachgang zu Deinem Beitrag zum Testen der Netzwerkverbindung genutzt habe, liefert bei der reinen Verbindung auch nur 20Gbit/s. Schluckt also auch gut 50% des "möglichen" Durchsatzes. Entspricht dann eher der TB2 Verbindung, die der Mini in den Details der Thunderbolt Bridge anzeigt.



Server ist hier der Mini, Client das MacBook. Das obige Ergebnis würde mir im Durchsatz ja reichen, wenn ich auf die Systemplatte schreibe und davon lese. 20Gbit/s ist 20mal schneller als Gbit-LAN zu meiner Synology. Damit könnte ich die Rohdaten auch auf den Mini auslagern und am MacBook bei Bedarf (z.B. in FinalCut) einbinden. Für die USB-C Peripherie ist das allemal genug, aber selbst die verliert ja auf die "möglichen" 10Gbit/s ebenfalls 50% des Durchsatzes.

Vielleicht noch ein paar Worte zu der Wahl dieses Setups:
Der MacMini war bis zum Kauf des MacBook Pro der Hauptrechner für meine Anwendungen. Als stationärer Rechner dementsprechend auch immer mit den externen Datenträgern verbunden. Da er aber immer häufiger an die Grenzen gestoßen ist bei sehr großen Projekten und ich die Option zur Mobilität vermisst habe, habe ich anstelle einen Mac Studio oder einen M4 Mini zu kaufen, das MacBook Pro mit der zweitgrößten Standardausstattung gewählt. Geld wächst bei mir auch nicht auf dem Baum im Hinterhoff. . Nun nutze ich das MacBook Pro zu 80% mobil und den Rest stationär an dem USB-C Bildschirm mit externer Tastatur und Maus/Trackpad. Würde ohne den Mini, bei dem die Datenplatten per Thunderbolt und USB-C angeschlossen sind bedeuten, dass ich jedesmal, wenn ich das MacBook vom Dock nehme, alle angeschlossenen Datenträger (bis auf die Synology) HotPlug verliere. Sie müssten also alle erst ausgeworfen werden. Bei der Thunderbolt Bridge bleiben sie einfach am Mini verbunden und ich kann die Serververbindung zum Mini einfach kappen. In meiner Vorstellung ist das für alle Schreib- und Lesevorgänge auf den externen Datenträgern besser. Der Mini kann dann ausgelagerte Renderingvorgänge, die er noch schafft einfach weiter durchführen, die Daten auf die Platten schreiben und ich kann das MacBook ohne irgendwelche "Datenverluste" weiter für andere Aufgaben benutzen und mobil arbeiten.

Ob das allerdings nun das gelbe vom Ei ist und eine optimale Lösung darstellt, weiß ich nicht. Es funktioniert in der Praxis zumindest für meine Bedürfnisse nahezu perfekt, bis eben auf die Bandbreite der Verbindung.

Vielleicht gibt es aber auch noch eine andere Lösung? Datensicherung und auch Bestandsdatenabruf muss darüber nicht gemacht werden. Da liegen die Daten auf der Synology und die müssen auch nicht wirklich "inTime" zur Verfügung stehen. Fotos oder Dokumente sind aufgrund der Größe eh unkritisch und in wenigen Sekunden von der Synology per WLAN oder LAN kopiert. Bei den Mediatheken sieht das anders aus. Die sind schonmal mehrere hundert Gigabyte bis hin zu Terrabyte groß. Auch die fertigen Projekte hätte ich gerne direkt live und ohne große zeitliche Einbuße vom MacBook Pro auf die Systemplatte des Mini geschrieben, oder zumindest später dahin kopiert, ohne dass es bis hin zu Stunden dauert. Die Sicherung davon kann dann so lange dauern wie sie will. Die Sync Aufgaben für das Backup können über Nacht laufen.

Für alles, was ich mobil benötige, reicht dann die Synology und bei größeren Daten nutze ich eines der NVMe TB4 Gehäuse, auf dem die aktuellen Arbeitsdaten aus diesem Bereichen liegen. Manchmal, und das in erster Linie bei der stationären Arbeit, muss ich aber noch auf andere abgeschlossene Projekte zugreifen, die ich nicht auf der NVMe habe und auch nicht auf der recht schmalen 1TB Platte des MacBook.
Tatsächlich war ich dann zu geizig und bin es immer noch die Platte aufs Maximum von 8TB bei Apple zu konfigurieren. Für 2.500 Schleifen kann ich ne Menge TB Kabel, Docks und externen Speicher jenseits der 8TB kaufen.

Das ist eigentlich der Hauptgrund, warum ich den Mini reaktiviert habe.

Danke auch diesmal vorweg fürs Lesen.

/edit
Ach so, leider vergessen darauf einzugehen.

Je nach dem, welches Server-Protokoll Du verwendest (SMB oder NFS), welches Transportprotokoll (TCP oder UDP) und welche Netzwerkpaketgröße (Standard oder Jumbo Frames), wird die Geschwindigkeit stark schwanken. Die Bremse dürfte mehr der Aufwand für File-Server und Netzwerk sein, nicht das physische Kabel.

Ich nehme an, dass SMB das Protokoll ist und der Transport über TCP läuft.
Wie ich das auf NFS oder SMB UDP umstellen könnte, weiß ich leider nicht.





Im Bereich der Hardware habe ich auch bereits die "manuelle Konfiguration" und MTU = JUMBO genutzt, was ebenfalls keine Besserung brachte.

Eine im Internet gefundene Lösung für langsame Thunderbolt Verbindungen, die auf die Reduzierung der CPU Last abzielt hat ebenfalls kein besseres Ergebnis geliefert. Die iPerf3 Ergebnisse haben sich erwartungsgemäß halbiert und lagen auf Server, sowie auf Client Seite bei weniger als 10Gbit/s, aber die erhoffte Performance beim Schreibvorgang trotz der langsameren Netzwerkanbindung blieb aus.

sudo sysctl -w net.inet.tcp.tso=0

Habe ich auf beiden Seiten für einen Test eingeschaltet, danach aber wieder auf Value = 1 gesetzt.

 

[double_d]

Wirklich viele Erfahrungsberichte und Infos sind zu dem Thema ja nicht zu finden.
Ich habe nun noch ein anderes Kabel bestellt und mit dem wird zumindest auf der Seite des MacBook Pro eine Thunderbolt 3 Verbindung aufgebaut. MacMini bleibt bei Thunderbolt 2. Allerdings nur über den Sabrent TB4 Hub am Mini. Stecke ich das Kabel direkt an die Ports von MacBook und MacMini, habe ich TB1 am MacBook und TB2 am Mini als Brücke. Gleiches beim OWC Dock. Interessant, dass hier das Sabrent China-Gedöns weniger Zicken macht als OWC. Ganz schön ernüchternd.

Interessanterweise misst iPerf3 aber ja irgendwas zwischen 21 und 23 Gbit/s pro Sekunde, egal wo ich die Verbindung herstelle und auch egal was die beiden Netzwerkeinstellungen anzeigen, während Black Magic stur bei maximal 600MB/s Datentransferrate bleibt. Das ist und bleibt für Thunderbolt 2 und eine Verbindung, die mit 20Gbit/s angegeben ist einfach zu langsam.

Allerdings hat mich die Thunderbolt 3 Spezifikation des Mini bei der Suche nach einer entsprechenden Lösung auf folgenden Eintrag aufmerksam gemacht:

Welchen maximalen Datendurchsatz erreicht Thunderbolt?
Die maximale Datenübertragungsgeschwindigkeit von Thunderbolt 3 und 4 beträgt 40 Gbit/s. Um den maximalen Datendurchsatz zu erreichen benötigt Thunderbolt 3 ein "aktives" USB Typ-C-Kabel, das speziell für die Verwendung mit Thunderbolt entwickelt wurde. Die Verwendung eines standardmäßigen (passiven) USB-C-Kabels reduziert die maximale Geschwindigkeit von Thunderbolt 3 auf 20 Gbit/s. Thunderbolt 4 erreicht seinen maximalen Datendurchsatz auch ohne eines "aktiven" Kabels, solange dies USB4 Gen 3 zertifiziert ist.

Gefunden auf folgender Webseite: datapro

Nun ergibt das bis auf die Unterschiede iPerf3 und Black Magic auch Sinn, dass ich hier mit allen möglichen Kabeln und egal ob Direktverbindung oder über HUB/Dock angeschlossen maximal die TB2 Verbindung beim Mini angezeigt bekomme.
Stutzig macht mich eben nur, dass real da maximal 2Gbit/s an Datenrate zustande kommen, wenn ich mal eine Datei auf die Systemplatte vom Mini schiebe.

Aber ich bin jetzt mal mutig und schiebe das alles auf den Standard von Thunderbolt 3 und die Tatsache, dass ich ein, bzw. mehrere passive TB4 Kabel benutze und benutzt habe. Hab jetzt tatsächlich nochmal ein aktives TB4 Kabel bestellt. So wie es oben in dem Absatz geschrieben steht, dürfte die Thunderbolt Version (3 oder 4) egal sein. Hauptsache aktives USB-C Kabel mit Thunderbolt Spezifikation.

Bin gespannt ob das dann klappt. Ich werde berichten. Ansonsten hab ich wohl nen M1 Mini abzugeben.

 

[Wuchtbrumme]

Laut Spezifikation besitzt der MacMini TB3 an zwei Anschlüssen und das MacBook TB5 an drei Anschlüssen.
Also einmal max. 40Gbit/s brutto und einmal max. 120GBit/s brutto.

ob der Mini zwei Busse hat, weiß ich nicht. Aber das MBP sollte 3 Busse TB5 haben - also theoretisch 360Gbit/s. Puh, krass.

Allerdings hat mich die Thunderbolt 3 Spezifikation des Mini bei der Suche nach einer entsprechenden Lösung auf folgenden Eintrag aufmerksam gemacht:

gut, dass Du das selbst gefunden hast, darauf hätte ich auch abgestellt. Es gibt kein wirklich sicheres äußerlich erkennbares Kennzeichen für aktive Kabel. Ein Indikator mag die Länge sein, 2m müssen nach Spec aktiv sein, aber dank unserer chinesischen Freunde gibt es auch dafür Gegenbeispiele (die natürlich nicht funktionieren). Passive TB-Kabel, die im Prinzip reine USB-Datenkabel mit USB Typ-C-Steckern sind, sollten kürzer als 80cm sein und die Reduzierung auf 20Gbit/s könnte daran liegen.

OWC vertreibt ganz ordentliche aktive TB3-Kabel (die auch für TB5 reichen), Caldigit auch. Preisbereich um die 69 Euro/Stück.
Ich vermute aber stark, dass wenn Du jetzt schon Limitierungen unterhalb der Kabelkapazität siehst - wie Marcel schreibt - der Aufwand für den Mini insbesondere zu groß ist. MTU anpassen (so groß wie geht), vielleicht noch NFS ausprobieren, bei SMB Signing off vereinbaren...