<< Hilfenavigation einblenden Home > Handbuch > Künstliche Intelligenz > KI-Installation Installation

GPT-Dienste einrichten

Sie haben die Wahl zwischen

•Cloud-Diensten von OpenAI, Microsoft Azure und anderen kompatiblen Anbietern

•sowie lokal installierten GPT-Lösungen (siehe unten).

Datenschutz bei Cloud beachten

Nehmen Sie die geltenden Vorschriften bitte grundsätzlich bei allen Cloud-Diensten und -Speichern ernst. Unternehmer dürfen personenbezogenen Daten nur an Cloud-Dienste geben, wenn diese die DSGVO-Anforderungen erfüllen. Dienste von OpenAI auf US-Servern erfüllen die Anforderungen nicht, Microsoft bietet diese Dienste aber auch auf Servern in Deutschland und anderen EU-Ländern an.

Erste Schritte

Es gibt einige Lösungen, die lokal auf dem PC oder zentral im Unternehmensnetzwerk laufen und dabei keine Daten an Dritte weitergeben. Diese GPT (Generative Pre-trained Transformer) bzw. LLM (Large Language Model) laufen ohne Cloud und ermöglichen die Nutzung verschiedener Modelle. Der Datenschutz ist dann also kein Problem und die nutzungsabhängigen Kosten für einen Cloudservice entfallen.

Lokal installierbare quelloffene Lösungen sind beispielsweise PrivateGPT, LocalGPT und GPT4All. Letztere Lösung von Nomic AI zeichnet sich vor allem durch die unkomplizierte Installation als einfache Windows-App aus.

Systemanforderungen

KI-Systeme stellen hohe Anforderungen an die Computerhardware. Wenn Sie eine lokale GPT-Lösung nutzen möchten, dann achten Sie bitte auf die Anforderungen der jeweiligen Software. Folgende Angaben basieren auf den Informationen von Nomic AI für GPT4All unter Windows und unseren Erfahrungen:

Wenn eine geeignete Grafikkarte vorhanden ist, dann ist die CPU-Leistung eher unwichtig. KI-Funktionen erfordern eine hohe Parallelverarbeitung und laufen am effizientesten auf Grafikprozessoren. Falls Sie Zeitüberschreitungen bei den KI-Funktionen erhalten, können Sie die Wartezeit (Timeout) verlängern.

Installation von GPT4All

Installieren Sie das Programm auf dem Computer, auf dem auch Office Manager DMS ausgeführt wird.

1.Öffnen Sie die Download-Seite und laden Sie den GPT4All-Installer für Windows.

2.Starten Sie das Programm und wechseln Sie zur Registerseite Settings | Application.

3.Falls Sie den Speicherort für die zu installierenden Modelle anpassen möchten, dann tun Sie dies bitte jetzt bei Download Path.

4.Deaktivieren: Die Option Enable Datalaka wäre zwar hilfreich für den Softwarehersteller, aus Datenschutzgründen sollte diese aber deaktiviert sein.

5.CPU Threads: GPTs benötigen viel Rechenleistung. Sie werden dies merken, wenn die lokale KI Aufgaben für Sie erledigt. Geben Sie möglichst viele "Logische Prozessoren" für die Berechnungen frei. Im Windows-Taskmanager können Sie auf der Seite Leistung | CPU prüfen, wie viele in Ihrem Computer vorhanden sind. Das Programm nutzt aber auch, sofern geeignet, die installierte Grafikkarte, weil Grafikprozessoren mit ihrer parallelen Verarbeitung ideal für die maschinellen Lernmodelle sind. Mit der Option Device können Sie die Nutzung der GPU bei Bedarf anpassen.

6.Aktivieren Sie Enable Local API Server, damit Office Manager DMS mit GPT4All kommunizieren kann. Falls Sie den API Server Port ändern, müssen Sie dies später bei den Einstellungen im DMS manuell anpassen. Also möglichst den Port 4891 beibehalten.

7.Wechseln Sie zur Registerseite Models.

8.Laden Sie bitte das Modell "Llama 3 8b Instruct", dieses wird in der Grundeinstellung im DMS genutzt. Sie können selbstverständlich weitere Modelle, wie "Mistral Instruct" und "GPT4All Falcon", laden und mit diesen experimentieren. Beachten Sie aber immer die jeweiligen Lizenzbedingungen.

KI-Funktionen aktivieren

1.Wählen Sie in Office Manager DMS bitte den Menübefehl Datei | Optionen | Einstellungen und wechseln Sie zur Registerseite Künstliche Intelligenz.

2.Aktivieren Sie die Option GPT-Funktionen aktivieren und beachten Sie den Hinweis. Sofern GPT4All, wie oben beschrieben installiert wurde, sind jetzt alle Funktionen bis auf die Bilderkennung fertig eingerichtet.

3.Klicken Sie auf OK.

Erster Test

Haben Sie bereits ein fremdsprachiges Dokument im Archiv? Wenn ja, dann markieren Sie dieses und klicken Sie im Hauptmenü Start | Verwenden bitte auf die untere Hälfte des Mausschalters Öffnen und wählen den Befehl Übersetzung zeigen.

Oder Sie lassen sich einfach ein paar Wörter übersetzen.

Das Eingabefeld für die Volltext-Suche kann auch GPT-Befehle annehmen:

•Geben Sie beispielsweise "übersetze: Hello world" ein und klicken Sie auf den im Eingabefeld integrierten Mausschalter .

•Oder stellen Sie eine allgemeine Frage: "Frage: Was macht eine Archivierungssoftware?"