Apple hat  zwei neue, leistungsstarke Sprachmodelle veröffentlicht. Diese Modelle sollen Entwickler:innen und Unternehmen weltweit zugutekommen und zeigen, wie Apple kompakte, aber dennoch leistungsstarke KI-Frameworks entwickelt.

Innovative Modelle von Apple

Das Machine Learning-Team von Apple beteiligt sich aktiv am Open-Source-Projekt DataComp für Sprachmodelle und arbeitet dabei mit anderen Branchenführern zusammen. Die beiden neuen Modelle, die von Apple entwickelt wurden, zeigen bemerkenswerte Leistungen und übertreffen sogar führende Modelle wie Llama 3 und Gemma. Solche Sprachmodelle sind entscheidend für das Training von KI-Engines wie ChatGPT und bieten ein robustes Framework, das Architektur, Parameter und Datensatzfilterung umfasst, um die Datenqualität zu verbessern.

Überlegene Leistung und Effizienz

Apple hat im Rahmen des DataComp-Projekts ein größeres Modell mit sieben Milliarden Parametern und ein kleineres Modell mit 1,4 Milliarden Parametern eingereicht. Das größere Modell hat das bisher führende Modell MAP-Neo um 6,6 % in Benchmark-Tests übertroffen. Was Apples Modelle besonders auszeichnet, ist ihre Effizienz: Das DataComp-LM-Modell verwendet 40 % weniger Rechenleistung bei gleichzeitiger Erreichung dieser beeindruckenden Benchmarks. Dieses Modell hat sich auch als das leistungsstärkste unter den Modellen mit offenen Datensätzen erwiesen und konnte sogar mit Modellen, die private Datensätze verwenden, konkurrieren.

Verpflichtung zur Open-Source-Gemeinschaft

Apple hat seine Modelle vollständig als Open-Source veröffentlicht und stellt den Datensatz, die Gewichtsmodelle und den Trainingscode anderen Forschern zur Verfügung. Sowohl das größere als auch das kleinere Modell haben in den Massive Multi-task Language Understanding Benchmarks (MMLU) gut abgeschnitten und konnten mit kommerziellen Modellen konkurrieren.

Auf der WWDC-Konferenz im Juni hat Apple sowohl Apple Intelligence als auch Private Cloud Compute vorgestellt und damit Kritiker:innen zum Schweigen gebracht, die behaupteten, Apple sei in Bezug auf künstliche Intelligenz-Anwendungen hinter der Branche zurückgeblieben. Forschungspapiere des Machine Learning-Teams, die vor und nach diesem Ereignis veröffentlicht wurden, beweisen, dass das Unternehmen tatsächlich ein führender Akteur in der KI-Branche ist.

Diese Modelle sind nicht für den Einsatz in zukünftigen Apple-Produkten gedacht, sondern sollen als Forschungsprojekte der Gemeinschaft zeigen, wie effektiv kleine oder große Datensätze für das Training von KI-Modellen kuratiert werden können. Apples Machine Learning-Team hat zuvor Forschungsergebnisse mit der größeren KI-Gemeinschaft geteilt. Die Datensätze, Forschungsnotizen und anderen Ressourcen sind alle auf HuggingFace.co zu finden, einer Plattform, die sich der Erweiterung der KI-Gemeinschaft widmet.

Quelle: Appleinsider
Titelbild: Huggingface