iperf3-Geschwindigkeit nach Netzwerkkomponentenaustausch

[Wuchtbrumme]

Hallo,

habe die Netzwerkkomponenten bei mir ausgetauscht und bin mit Testen ein wenig limitiert - ich habe hat nur zwei 10Gbe-Hosts, ein NAS und einen Mac Studio. Es sollte noch ein weiterer Linux-PC dazukommen, dann kann ich das besser testen, aber bis dahin habe ich die Hoffnung, dass hier jemand in die richtige Richtung weisen kann. Prinzipiell könnte ich natürlich den alten Switch rausholen, das ist wahrscheinlich der einfachste Gegentest, auch die CPU-Auslastung des Switches kann man sich angucken, aber vll. purzelt ja hier derweil was Sinnvolles rein, damit die Suche weitergehen kann…

Also, Beobachtung, am selben Switch:
-Mac Studio->NAS 9Gbps
-NAS->Mac Studio 4,5Gbps
(gemessen mit iperf3 mit -s und -c <IP>)

Das beobachte ich mit Standard-MTU (1500B) des Auslieferzustands (war schon die Kontrolle, waren dann 7,6/4,4Gbps). Mit Jumbo-Frames auch. Ich bemerke verworfene Pakete in ifconfig, aber das kommt mir nicht besonders viel vor. Test mit UDP - ganz wirr niedrige Transferrate.

Ideen?

 

[voyager]

hat das NAS nen Cache (SSD) ? evtl dass da was reinspielt?

 

[Wuchtbrumme]

hat das NAS nen Cache (SSD) ? evtl dass da was reinspielt?

nein, Cache-SSD habe ich für den Otto Normalanwender mit nur wenig Durchsatz bereits als sinnfrei bis kontraproduktiv ausgeschlossen.

Die Messergebnisse beziehen sich auf iperf3, das sollte unabhängig vom Speichersubsystem des NAS sein.

 

[voyager]

was hast du denn an Praxis Werten? Wenns kein SSD only NAS ist, wird die sowieso deutlich darunter liegen

 

[Wuchtbrumme]

Hi,

ich danke Dir für Deinen Einsatz, aber das ist keine Frage, die an die Netzwerkbeobachtung mit iperf3 geknüpft wäre. Die ist uabhängig davon.

iperf3 sendet und empfängt rein über das IP-seitige Netzwerk, da ist kein non-volatiles Speichergerät beteiligt.

…aber die Behauptung mit SSD-only mag ich trotzdem von der Hand weisen - 5 aktuelle Festplatten im RAID5 oder RAIDz1 füllen bereits 10Gbe ganz gut mit entsprechend konstruiertem Testaufbau (grosse Dateien).

 

[voyager]

welches NAS ist es denn?

interessant wär der Test mit einem anderen 10G fähigen Client. so wüsstest du, ob die 5 Gbit am NAS limitieren, oder am Mac.

ich hab am Mac und auch NAS das thema nicht, kann mit 2 clients je 10G bei mir voll zugreifen (r+w). mit Unifi Netzwerkhardware (Aggregation Switch)
wenn du kein großes Vlan zeugs und so machst, denke ich nicht dass es der switch ist

 

[Wuchtbrumme]

ich weiss, dass mit dem alten Switch und demselben Mac und NAS es mal funktioniert hat, ohne dieses gefühlte 5Gbe-Limit downstream Mac. Leider ist der andere PC noch im Zulauf. Ich habe noch einen 5Gbe-Client, ich würde sagen, da merkt man auch etwas, dass es weniger ist downstream zum Mac.
Keine Ahnung, vll. ist‘s ja auch ein Mac-Problem. Habe mir das schon lange nicht mehr angesehen, wills ja eigentlich eher nutzen als ständig rumspielen (müssen).

 

[voyager]

ich hab 1x nen Mac(10G Uplink) und 1x nen Win PC (20Gbit uplink), auf meine NAS (Qnap TS-435xeu 4x Solidigm SSD Raid 5, 20G Uplink) und keine Probleme. am Win PC mach ich auch mal die 20G dicht(lesend). das Laufwerk hab ich als iSCSI eingebunden.

 

[Wuchtbrumme]

Verhalten tritt unabhängig vom Switch auf und ist auch unabhängig vom anderen Host.
Aber eine Abhängigkeit besteht mit dem Mac Studio.

 

[Wuchtbrumme]

Zurück zum Thema, ich habe einiges herausfinden können.
Einerseits hatte ich auf dem neuen Switch einen Konfigurationsfehler (ein Mgmt-Port war der primären Bridge zugeordnet, das hat massiv Last auf dem Switch verursacht). Das ergab ungefähr genauso viel Einschränkung, wie zweitens eine zu kleine MTU auf manchen Ports des alten Switches und drittens scheint Apple für meine sonstige Hardware viel zu fordernde Ciphern für SSH zu verwenden (ganz abgesehen davon dass scp, das ich normalerweise verwende, noch ganz andere Probleme zu haben scheint).
Mit scp -d [email protected] <Quelle> <Ziel> bekomme ich tatsächlich um die 700MB/s auf den Mac Studio, selbst von einem alten IvyBridge-i7 mit PCIe3.0-SSD. Das finde ich schon ganz ok und es funktioniert auch für andere Hardware (wie das NAS).

Mit den dropped packets muss ich noch gucken, möglicherweise gibt es da doch noch irgendwo einen MTU-Mismatch, der bei udp zu lost packets führt und ansonsten zu etwas niedrigerer Datenrate bei den iperf3-Tests.

 

[James Atlick]

Einerseits hatte ich auf dem neuen Switch einen Konfigurationsfehler (ein Mgmt-Port war der primären Bridge zugeordnet, das hat massiv Last auf dem Switch verursacht).

Let me guess, Mikrotik?

Alte iPerf3 versionen waren single threaded. Das NAS ist aber eventuell auch bei Multithreaded CPU bound. Mehr kann ich aus der Ferne leider nicht sagen. Bei meiner OPNsense musst ich entweder den iperf kurz hitnereinander starten oder den PowerD auf hiadaptive umstellen, ansonsten haben die Stromsparmechanismen iperf ausgebremst.

 

[Wuchtbrumme]

Let me guess, Mikrotik?

yep.

Alte iPerf3 versionen waren single threaded.

ich benutze schon eine aktuelle Version.

Das NAS ist aber eventuell auch bei Multithreaded CPU bound.

ist ein C246 mit Xeon E3-2148G, passt schon üblicherweise. Wenn ich im Betrieb keine 10Gbps bekomme, dann liegt das meiner Meinung nach an vielen kleinen Dateien, die transferiert werden und SMB Signing habe ich nicht ausgeschaltet.

Bei meiner OPNsense musst ich entweder den iperf kurz hitnereinander starten oder den PowerD auf hiadaptive umstellen, ansonsten haben die Stromsparmechanismen iperf ausgebremst.

das habe ich noch nicht gelesen, interessant - aber ist grundsätzlich mal BSD, k.A. ob das auch auf TrueNAS Scale zutrifft.

 

[James Atlick]

Sorry, kann Dir nicht weiterhelfen kann.
Finde aber line speed sollte eigentlich schon für iperf erreicht werden, sonst ist doch was faul?
Klar, smb Kasumpel, SSH usw. ist nochmals eine andere Baustelle, aber iperf? Das sollte klappen.

Was passiert wenn du die Ports mal tauscht? Geht dann die Performance in die andere Richtung in die Knie?

Wenn du keine komplizierten Settings hast, könntest du mal versuchen von routerOS auf swOS zu wechseln.
Finde da kann man deutlich weniger Mist bauen bei Mikrotik