On-Device AI
Synthese
On-Device AI
On-Device AI bezeichnet die Ausführung von KI-Modellen direkt auf lokaler Hardware – ohne Cloud-Anbindung. Das Projekt whisper.cpp (von Georgi Gerganov) demonstriert dies exemplarisch: Es portiert OpenAIs Whisper-Spracherkennungsmodell in reines C/C++, sodass es auf CPUs, Apple Silicon (via Core ML) und GPUs läuft – auf MacBooks, Raspberry Pis oder Smartphones, ohne Internetverbindung.
Der praktische Kern ist Effizienz durch Quantisierung und hardwarenahe Optimierung. whisper.cpp nutzt GGML als Tensor-Bibliothek, unterstützt 4-bit- bis 16-bit-Quantisierung und erreicht dabei Echtzeit-Transkription auf Consumer-Hardware. Datenschutz und Latenz sind strukturelle Vorteile: Audiodaten verlassen das Gerät nie.
On-Device AI ist kein Nischenphänomen mehr – das Muster (open weights + C-Port + Quantisierung) hat sich mit llama.cpp auf LLMs übertragen und zeigt, dass viele als „Cloud-only” geltende Modelle tatsächlich lokal lauffähig sind, wenn man Modellgröße und Präzision anpasst.