Deepseek Model R1 läuft lokal auf dem Mac Studio M3 Ultra

Das Large Language Modell R1 vom Chinesischen Startup Deepseek lässt sich ohne Probleme lokal auf einem vollausgebauten Mac Studio mit M3 Ultra installieren und betreiben. Aber nicht nur das: Es steht dann auch auf iPhone, iPads und Mac im gleichen Netzwerk zur Verfügung.

Der Mac Studio mit M3 Ultra ist – wenn vollausgebaut – derzeit Apples teuerster Mac. Mit 32 CPU, 80 GPU und 32 Neural Engine-Kernen, sowie 512 GB Ram und 16 TB SSD ist er mehr als gut ausgestattet. Gerade für lokale KI-Anwendungen ist genau diese Variante des Mac Studio ideal. Denn zum Beispiel das vollständige LLM von Deepseek ist bereits über 400 GB groß und muss, damit es schnelle Antworten liefern kann, im Ram laufen.

Ollama lädt Deepseek-R1

Deepseek bietet auch kleinere Modelle mit sieben oder acht Gigabyte an, diese funktionieren auch gut. Wer allerdings den vollen Umfang von Deepseek lokal nuten will, kommt um den 400-GB-Download nicht herum,  Damit nicht nur der Mac Studio Zugriff auf das LLM hat, kommt die kostenlose Software Ollama zum Einsatz. Diese kommt ohne GUI und startet einen Server auf dem Mac. Natürlich kann Ollama auch kleiner Modelle laufen lassen, hier geht es jetzt aber um das Große.

Für den Download großer Modelle (Deepseek R1 hat über 400 GB) sollte es schneller Internetanschluss vorhanden sein.

Ollama wird mittels Terminal-Kommandos bedient. Damit werden Modelle geladen und gestartet. Außerdem findet auch der eigentliche Chat dann im Terminal statt. Das ist auf Dauer wenig komfortabel, daher gibt es auch Lösungen wie Open WebUI die ein sehr gutes Webinterface hinzufügen und ebenfalls lokal auf dem Mac laufen. Die Installation von Open WebUI ist allerdings nicht ganz einfach und erfordert neben Terminal auch Unix/Linux-Kenntnisse. Ist der Prozess aber erstmal geschafft, steht dem Lokalen KI-Erlebnis nichts mehr im Wege.

Kleinere Modelle für kleinere Macs

Die Installation von beiden Tools auf dem Mac ist aber nicht unbedingt einfach. Und nur wenn alles richtig gemacht wird bekommt man das Erlebnis des lokalen KI-Chatbots mit einer guten Weboberfläche. Für das große Deepseek-R1-Modell kommt man um mindestens 256 GB Ram nicht herum. Es gibt aber zum Glück auch kleinere Modelle von 7-32 GB ist alles dabei. Damit lässt sich der Spaß auch auf einem Mac mini M4 oder einem älteren Mac Studio betreiben.

Es gibt so viele Optionen für das System. Diese würden die Länge dieses Artikels sprengen. Daher hin ein paar weiterführende Links. Richtet man sich danach, oder fragt im Zweifel auch die KI, sollte die lokale Installation von Ollama und Open-WebUI eigentlich kein Problem sein.

Passwort nicht vergessen

Beim Ersten Start des Webinterfaces fragt OpenWebUI nach einer E-Mail-Adresse und einem Passwort. Diese Daten werden nur lokal gespeichert und für den Admin Zugang genutzt. Das Passwort sollte man nicht vergessen, bzw. dafür sorgen, dass es in der Passwort-App landet. Eine Wiederherstellung eines vergessenen Passwortes ist sehr umständlich.

Im lokalen Netzwerk verfügbar

Da Open WebUI mit einem eigenen Webserver kommt, kann die lokale KI nun auch im gesamten lokalen Netzwerk genutzt werden. Der Mac mit der Ollama-Installation ist somit zum Server geworden.

Ollama -> https://ollama.com/

OpenWebUI -> https://openwebui.com/

DeepSeek Modelle bei Huggingface -> https://huggingface.co/deepseek-ai

Viel Erfolg mit der lokalen KI.

Titelbild: Ollama