neuer Mac für LLM

[Wuchtbrumme]

Hallo,

wenn man LLM lokal machen wollen würde, was wäre denn eine Preis-/Leistungs-optimierte Geräteausstattung für die besten und größten Modelle und vielleicht noch etwas Potential für die möglicherweise zu erwartenden kommenden Modelle, wenn man den neuen Mac Studio mal als Trigger nimmt für die neue Gerätegeneration? Mehr als 5200 Euro würde ich nicht ausgeben wollen.

Meine jetzige Ausstattung ist ein Mac Studio M1 Max in der kleinen Core-Variante, aber 64GB RAM und 2TB SSD - das reicht mir dicke für alle Applikationen und auch die Modelle, die ich ausprobiert habe (deepseek-r1 u.a. bis 70b), sind geschwindigkeitsmäßig ok (nicht aber hinsichtlich der Qualität ihrer Ausgabe).

Das Gerät müsste schon sehr viel flotter sein als der M1 um den Betrag zu rechtfertigen. Mit AI würde ich mich sehr gerne näher beschäftigen und auch nutzbar machen. Ansonsten Lightroom Classic, Logic, FCPX, Surfen, Wordprocessing und Krimskrams, den jeder Computer heute kann.

 

[voyager]

Wenn du sie „ernsthaft“ lokal machen willst, den Studio mit M3 Ultra, in der Basisausstattung 5000€ , dafür 96GB Ram . Da wär schon Platz für einiges an LLM, und mit den 60 GPU Cores,.. genug Kraft dazu (und auch deutlich Mehrleistung)

Wenn du mehr als 1TB brauchst, kannst du ja auch mit TB5 extern ran. Und vermutlich kommt da sicher auch in nächster Zukunft ein Upgrade Kit von Drittherstellern. Für die M1,.. Generation vom Studio gibts die ja schon länger (und ja auch M4 Mini inzwischen)


Mehr Ram oder 80 Core geht dann halt massiv übers Budget


Michi hat den 80 Core (mit 512GB) gestern im Stream gezeigt und etwas rechnen lassen. Ist eh auf YT. Und nächste Woche kommt noch n Video zum M3 Ultra im Studio