Meta sei dank sind Open-Source-Modelle nicht mehr so weit hinter kommerziellen Sprach-KIs. In kurzer Zeit sind immer neuere, bessere Llama-Modelle herausgekommen, teilweise auch extrem kleine, die für den Einsatz lokal auf dem Smartphone optimiert sind. Llama-3.2-1B etwa, das sich jetzt über die App fullmoon per Testflight kosten- und problemlos auf iPhones, iPads und Silicon-Macs installieren lässt – also nicht nur den neueren Geräten wie bei Apple Intelligence.
Ein paar Minuten dauert der Download, bei manchen scheint er sich auch aufzuhängen. Da empfiehlt Entwickler Jordan Singer, die App einmal zu schließen und wieder zu starten, den Bildschirm aber auf jeden Fall geöffnet zu lassen. Bei mir ging die Installation ohne zu meckern durch, danach präsentiert sich eine rudimentäre Chat-Oberfläche, mit der man mit Llama-3.2-1B ins Gespräch kommen kann.

Jetzt dürft ihr aber wirklich nicht zu viel von so einem kleinen Modell erwarten, das mit weniger als einem Hundertstel der Parameter auskommen muss, die etwa ein GPT-4 mitbringt. Dennoch ist die Geschwindigkeit beeindruckend. Nach kurzem Durchatmer vor der ersten Nachricht ergibt sich danach eine erstaunlich flüssige Konversation – auf sehr niedrigem Niveau, aber immerhin.
Ausnehmend hilfreiche Chats hat man mit fullmoon natürlich nicht, die Qualität der Antworten reicht zu nicht mehr als einer netten Tech-Demo. Das dahinterstehende Start-up Mainframe hat allerdings große Pläne. Ihr Ziel: “we’re building a future operating system with AI as the default”. Ob das jetzt auf fullmoon aufbaut, bezweifle ich. Viel mehr will Gründer Singer damit einen Open-Source-Grundstein legen, der von der Community weiterentwickelt wird. Multimodalität, Anbindungen an iOS-Shortcuts, mehr Modelle, detaillierte Einstellungen – alles denkbar für ihn. Dürfen dann andere implementieren.