Modelle und Rechner
Sprachmodelle sind das Herz der KI. Hier erfährst du, wie du Modelle auswählst, installierst und bei Bedarf weitere Rechner für mehr Leistung anhängst.
2 Min. Lesezeit Kapitel 7
Was ist ein Sprachmodell?#
Ein Sprachmodell ist die eigentliche «Intelligenz», die Fragen beantwortet und Texte schreibt. Es gibt kleine, schnelle Modelle und grosse, besonders fähige. Grössere Modelle brauchen mehr Arbeitsspeicher und profitieren stark von einer Grafikkarte.
OnPrem AI startet ohne Modell. Erweiterungen installieren die Modelle, die sie brauchen, automatisch. Für den Chat kannst du zusätzlich eigene Modelle wählen.
Welches Modell passt?#
Als grobe Orientierung:
| Grösse | Arbeitsspeicher | Geeignet für |
|---|---|---|
| Klein | ca. 6 GB | schnelle Antworten, einfache Aufgaben, Server ohne Grafikkarte |
| Mittel | ca. 9 GB | gute Qualität für die meisten Büroaufgaben |
| Gross | ca. 15 GB und mehr | anspruchsvolle Texte, lange Dokumente, beste Qualität |
Gerne empfehlen wir dir Modelle, die zu deiner Hardware und deinen Aufgaben passen: [email protected].
Modelle verwalten#
Ein Modell installieren:
aictl model install <modell>
Das Modell wird heruntergeladen und steht sofort im Chat zur Auswahl.
Alle installierten Modelle anzeigen:
aictl model ls
Ein Modell entfernen:
aictl model rm <modell>
Weitere Rechner hinzufügen#
Wird der Hauptserver zu langsam, kannst du weitere Rechner als Modell-Rechner anhängen, zum Beispiel einen Rechner mit starker Grafikkarte. Auf diesen Rechnern läuft nur die Modell-Engine. Die KI-Zentrale verteilt die Anfragen automatisch auf alle Rechner, die ein Modell bereitstellen.
-
Erzeuge auf dem Hauptserver den Befehl zum Anhängen:
aictl node join-command gpu-1 -
Installiere auf dem neuen Rechner das Werkzeug
aictl(siehe Installation). -
Führe dort den Befehl aus, den der Hauptserver ausgegeben hat.
Danach installierst du Modelle gezielt auf dem neuen Rechner:
aictl model install <modell> --node gpu-1
Achtung: Hauptserver und Modell-Rechner sollten im selben internen Netz oder über ein VPN verbunden sein. Der Port 7700 darf nicht aus dem Internet erreichbar sein.
Rechner verwalten#
| Befehl | Wirkung |
|---|---|
aictl node ls |
zeigt alle Rechner und ihren Zustand |
aictl node drain gpu-1 |
nimmt einen Rechner vorübergehend aus der Verteilung, zum Beispiel für Wartung |
aictl node undrain gpu-1 |
nimmt ihn wieder auf |
aictl node rm gpu-1 |
entfernt einen Rechner dauerhaft |
Zusätzliche Modell-Rechner brauchen keine eigene Lizenz.
Cloud-Modelle zuschalten#
Wenn du für bestimmte Aufgaben ein Cloud-Modell nutzen möchtest, kannst du es in der KI-Zentrale hinterlegen. Der Chat zeigt dann bei jedem Modell an, ob es lokal oder extern läuft. So entscheiden deine Mitarbeitenden bewusst, welche Daten das Haus verlassen dürfen.
Ohne Cloud-Modelle bleibt alles vollständig auf deiner Hardware.
Nicht gefunden, was du suchst?
Unser Support hilft dir gerne weiter.