Lokales KI-Modell & KI-Server in nur einer Datei*

# Lokales KI-Modell & KI-Server in nur einer Datei* ## ... nach ein paar Klicks ohne weitere Software nutzbar. ## 1. Ein Download, für jedes Betriebssystem - Windows, Mac & Linux Unter https://github.com/Mozilla-Ocho/llamafile?tab=readme-ov-file#other-example-llamafiles ein Modell runterladen - steht in der dritten vierten Spalte z.B. "Llama-3.2-1B-Instruct.Q6_K.llamafile" Wenn Du einfach die Schritte ausprobieren willst: Nimm das kleinste Modell ( [Downloadlink](https://huggingface.co/Mozilla/Llama-3.2-1B-Instruct-llamafile/blob/main/Llama-3.2-1B-Instruct.Q6_K.llamafile?download=true) ). "LLaMA 3.2 1B Instruct" kann zwar auf "Hello!" antworten, aber erwarte keine Wunder ... oder Sprachkenntnisse. Aber hey, wir testen einfach mal, obs geht! Falls Du Dich jetzt fragst: Aber ich habe doch einen xxx Computer mit einem zzz Betriebssystem ... geht das? Ja, das geht - das Spezial-Format ist universell. Zusatzfrage: Geht das auch auf dem Ipad? *Nein*. Telefon? *Nein*. Die haben meist zu wenig Hauptspeicher ... und man kann nur Sachen über die App-Store installieren. ### Apropos gehen ... Das gehen wird vor allem bestimmte von Speicher-Grenzen, die Formel lautet grob: **Größe eigener Hauptspeicher - 6 GB = maximale Größe lokale LLM**. Das heißt: * 08 GB = 2 GB Modelle (sowas die das Modell oben) * 16 GB = 10 GB Modelle (also etwas wie ) * 24 GB = 18 GB Modelle (da geht auch) * größer - also vielleicht xx GB? Halleluja, hier ist ... **Achtung, Komlexität durch Inkompatibilität**: *Windows-Nutzende nur bis 4 GB Dateigröße, sonst wirds ein wenig komplizierer, und das schreibe ich auf der Zugfahrt auf :-D ## 2. Modell auf der Festplatte finden und lauffähig machen Okay, Download erfolgt. Und nun? Als nächstes muss der Computer verstehen, dass die Datei kein Dokument sondern ein Programm ist. Bei Windows wird Dokument/Programm über die Endung festgelegt, bei Mac/Linux wird das über eine Art von Metadaten geregelt. Die sogenannten "Rechte" zur Datei über das Kommandozeilentool chmod gesetzt. > $ chmod 755 DeineDatei [Enter] setzt die Rechte für die Datei mit den Namen DeineDatei auf Ausführbar, Lesbar für alle und Schreibbar für den Besitzenden, also Dich. Das $ gibts Du nicht mit ein, das steht für den Zeilenanfang. [Enter] bedeutet, dass Du die Entertaste drückst und den Befel ausführst. *Beispiel* also mit der Datei von ganz oben > chmod 755 Llama-3.2-1B-Instruct.Q6_K.llamafile gibst Du in dem Verzeichnis ein, in dem diese Datei liegt, also vermutlich Download oder ähnlich. Und wenn Du schnell zu diesem Vereichnis willst: > cd ~ [Enter] > cd Download [Enter] Kurzgesagt: **Mac/Linux**: Terminal -> cd Download, chmod 755 *.llamafile **Windows** -> Benenne z.B. google_gemma-3-4b-it-Q6_K.llamafile in google_gemma-3-4b-it-Q6_K.llamafile.exe um ## 3. Starten & den Virenscanner vielleicht beschwichtigen Beim ersten Start überprüfen moderne Betriebssysteme ob die Datei nicht gefährlich für den Computer ist. Wenn also die Datei nicht ausgeführt wird, dann schau ob die eine Fehlermeldung bekommst und befrage Google oder eine KI wie man eine Ausnahme für eine Datei mit dieser Fehlermeldung macht. Du kannst mir auch gerne eine Fehlermeldung senden und ich schreibe hier für alle auf, wie man das löst. **Mac/Linux** im Terminal den Dateinamen eingeben also wie > ./google_gemma-3-4b-it-Q6_K.llamafile (Und wie gesagt, die Datei liegt vermutlich im Download Ordner) **Windows** Einfach ein Doppelklick auf das Exe - und dann springt vermutlich der Virenscanner an. (auch da liegt vermutlich die Datei im Download Ordner, aber du hast ja Fenster!) Es läuft? Du siehst dann eine Grüne Schrift und LLAMA Außerdem geht je nach Systemeinstellungen auf Deinem Computer ein Browserfenster auf. Falls nicht: ## 4. Modell im Browser benutzen Browser auf http://localhost:8000 öffnen (funktionier natürlich nur auf dem lokalen Rechner, wenn das Modell läuft) ## 5. *Bonus*: Die Nutzenden-Oberfläche einfacher machen Wenn man das Modell mit ./modellname --server -v2 startet, ist die Oberfläche moderner! - - - ### Einen habe ich noch - Ein Geheimtipp, denn niemand im Saal hatte ein Abo?! # KAGI: Web-Suche gut wie früher [Bezahlte, aber gut Suche und KI-Oberfläche in einem. Das ist leider kostenpflichtig - aber ohne Werbung und mit Datenschutz.](https://kagi.com) Montag Abend gibts dazu einen Linkedin Post. **Aber da jemand schon während des Panels fragte:** # Wem gehört KAGI? Kagi sitzt in den USA und ist eine [public benefit corporation (PBC)](https://blog.kagi.com/what-is-next-for-kagi#4), ähnlich wie [Bluesky](https://bsky.social/about/blog/2-7-2022-overview). Laut eigener Auskunft wurde Kagi (kahgii ausgesprochen) in 2018 von Vladimir Prelovac in Palo Alto, CA (USA) gegründet. Kagi's Beirat besteht aus Raghu Murthi, Dr. Norman Winarsky und Stephen Wolfram (den sollte jeder wegen [Wolfram Alpha](https://www.wolframalpha.com/) kennen).