Systemanforderungen

Betriebssystem#

OnPrem AI läuft auf einem aktuellen Linux-Server (64 Bit, Intel/AMD oder ARM). Wir empfehlen eine gängige Distribution wie Ubuntu Server oder Debian in einer aktuellen Langzeitversion.

Der Server sollte ausschliesslich für OnPrem AI verwendet werden. Andere Anwendungen auf derselben Maschine können sich mit der Plattform in die Quere kommen.

Alles Weitere, was die Plattform zum Laufen braucht, installiert aictl automatisch.

Hardware-Empfehlungen#

Wie viel Leistung du brauchst, hängt vor allem davon ab, wie grosse Sprachmodelle du nutzen willst und wie viele Personen gleichzeitig arbeiten.

Das sind Richtwerte. Wir beraten dich gerne bei der Wahl der Hardware: [email protected].

Braucht es eine Grafikkarte?#

Nein, aber sie macht einen grossen Unterschied. Ohne Grafikkarte laufen kleinere Modelle auf dem Prozessor, grössere werden aber spürbar langsamer. Mit einer passenden Grafikkarte (NVIDIA oder AMD) antwortet die KI deutlich schneller.

Reicht ein Server nicht mehr aus, kannst du später weitere Rechner anhängen. Mehr dazu unter Modelle und Rechner.

Anforderungen der Erweiterungen#

Jede Erweiterung braucht zusätzlich Speicher und Rechenleistung:

Die Installation prüft vor dem Start, ob genug Platz und Leistung vorhanden sind, und bricht sonst mit einem verständlichen Hinweis ab.

Netzwerk#

• Internet wird für Installation, Updates und neue Erweiterungen benötigt. Im Alltag läuft die Plattform auch ohne Verbindung weiter, siehe Lizenz.
• Ports 80 und 443 müssen erreichbar sein, wenn dein Team über eine Domain wie chat.firma.ch zugreifen soll.
• Port 7700 wird nur benötigt, wenn du weitere Rechner für Modelle anhängst. Er sollte nur im internen Netz erreichbar sein.

Browser#

Für die Arbeit mit OnPrem AI genügt ein aktueller Browser wie Chrome, Edge, Firefox oder Safari. Auf den Arbeitsplätzen muss nichts installiert werden.