EleMo kann direkt auf deinem eigenen Rechner ausgeführt werden. Bei vollständig lokaler Einrichtung verarbeitet dein Computer die Eingaben und erzeugt die Antworten selbst. Dafür ist kein Cloud-Dienst erforderlich.
Dein Rechner übernimmt dabei die gesamte Berechnung. Deshalb lohnt es sich, vor dem Download zu prüfen, welche Modellversion zu deiner Hardware passt.
Was bedeutet Q8?
In diesem Kurs erhältst du Zugang bis zur Q8-Version von EleMo.
Q8 bezeichnet eine Form der Quantisierung. Dabei werden die Zahlenwerte des Modells mit geringerer numerischer Präzision gespeichert. Das verringert die Dateigröße und den Speicherbedarf gegenüber einer höherpräzisen Ausgangsversion.
Q8 benötigt mehr Speicher als stärker quantisierte Varianten wie Q4 oder Q5. Wie sich die jeweilige Variante auf die Ergebnisse auswirkt, lässt sich anhand konkreter Aufgaben beurteilen.
Welche Hardware brauchst du?
Entscheidend sind der verfügbare Arbeitsspeicher, die Grafikhardware und die Einstellungen der verwendeten Software. Auch die eingestellte Kontextlänge, also wie viel Text das Modell gleichzeitig berücksichtigen kann, beeinflusst den Speicherbedarf.
Für die große Q8-Version dienen folgende Angaben als Orientierung:
| System | Orientierung |
|---|---|
| Mac mit Apple Silicon | 48 GB gemeinsamer Arbeitsspeicher oder mehr bieten Reserve für Modell und Verarbeitung. Bei 32 GB kann es je nach Modelldatei und Einstellungen eng werden. |
| Windows-PC | 64 GB RAM bieten Reserve für einen Betrieb, bei dem auch der normale Arbeitsspeicher genutzt wird. Eine unterstützte Grafikkarte kann die Berechnung beschleunigen. Entscheidend ist dabei auch ihr verfügbarer Grafikspeicher. |
Bei Apple Silicon nutzen Prozessor und Grafikeinheit einen gemeinsamen Speicher, den sogenannten Unified Memory.
Bei vielen Windows-PCs sind Arbeitsspeicher und Grafikspeicher getrennt. Passt das Modell nicht vollständig in den Grafikspeicher, kann geeignete Software die Verarbeitung zwischen CPU und GPU aufteilen. Das kann die Textgenerierung verlangsamen.
Diese Speicherangaben allein garantieren noch keine bestimmte Geschwindigkeit.
Den Speicherplatz für den Download einplanen
Zusätzlich benötigst du ausreichend freien Platz auf deiner SSD oder Festplatte. Prüfe die Größe der angebotenen GGUF-Datei und plane Reserve für Software und weitere Dateien ein. Die Downloadgröße entspricht nicht dem gesamten Speicherbedarf während der Nutzung.
Was, wenn dein Rechner weniger Speicher hat?
Stärker quantisierte Varianten wie Q4 oder Q5 benötigen weniger Speicher und können eine Alternative sein.
Auch diese Varianten sind bei einem großen Modell jedoch anspruchsvoll. Für einen Rechner mit 16 GB RAM lässt sich deshalb keine allgemeine Empfehlung geben. Prüfe die Anforderungen der konkreten Datei und teste zunächst mit kurzen Eingaben.
Welche Software kannst du verwenden?
Für den Einstieg kommen beispielsweise LM Studio oder AnythingLLM Desktop infrage. Verwende eine aktuelle Version, die die Architektur der ausgewählten EleMo-Datei unterstützt.
Für eine vollständig lokale Verarbeitung müssen das Modell und die dafür verwendeten Komponenten lokal eingerichtet sein. Externe KI-Dienste oder Online-Erweiterungen dürfen dabei keine Eingaben übertragen.
Dein nächster Schritt
Prüfe den Arbeitsspeicher und den freien Speicherplatz deines Rechners. In der nächsten Lektion findest du den KI-Download und wählst die passende Modelldatei aus.
×
💬 Offene Sprechstunde