Lokale KI für Unternehmen: Künstliche Intelligenz im eigenen Netzwerk

Was mit lokaler KI gemeint ist

Hinter jeder Chat-KI steckt ein Sprachmodell: ein Programm, das aus sehr vielen Texten gelernt hat, Sprache zu verstehen und selbst zu formulieren. Bei den bekannten Diensten läuft dieses Modell in großen Rechenzentren. Jede Eingabe reist über das Internet dorthin, die Antwort nimmt denselben Weg zurück.

Bei lokaler KI läuft ein solches Modell auf einem eigenen Rechner im Betrieb. „Lokal“ heißt dabei nicht, dass jeder Arbeitsplatz eine eigene KI bekommt. Ein zentraler KI-Rechner steht im Büro oder im Technikraum, das Team öffnet die Oberfläche im Browser wie eine interne Website. Für die Arbeit selbst braucht die KI keine Verbindung nach draußen.

Ein Arbeitstag mit lokaler KI im Architekturbüro

Wie das im Alltag aussehen kann, zeigt ein Beispiel: ein Architekturbüro mit zehn Leuten. Die KI ist dort für wenige, klar beschriebene Aufgaben eingerichtet und kennt die Vorlagen des Büros, die Bauverträge und die Baubeschreibungen der laufenden Projekte.

• Am Morgen will die Projektleitung wissen, was der Bauvertrag eines Projekts zur Abnahme regelt. Die KI nennt die Stelle im Vertrag, gelesen wird sie trotzdem im Original.
• Nach der Baubesprechung macht die KI aus den Stichpunkten ein Protokoll in dem Aufbau, den das Büro immer verwendet.
• Am Nachmittag braucht das Sekretariat eine Mängelanzeige an eine Baufirma. Den Entwurf liefert die KI aus einer Vorlage und den Notizen vom Ortstermin.
• Ein Bauherr schickt Unterlagen auf Englisch. Die KI übersetzt sie als Arbeitsfassung ins Deutsche.

Keines dieser Dokumente erreicht einen fremden Server. Bei Verträgen mit Geheimhaltungsklausel entscheidet genau das darüber, ob KI überhaupt infrage kommt.

Aufgaben, für die sich lokale KI eignet

Lokale Modelle zeigen ihre Stärken bei klar umrissenen Aufgaben, für die es im Betrieb eine schriftliche Grundlage gibt:

• Fragen an eigene Unterlagen. Betriebsanleitungen, Verträge, Musterschreiben und Hausregeln werden befragbar, mit Hinweis auf die Fundstelle.
• Entwürfe für Texte und E-Mails. Aus ein paar Stichpunkten wird ein Schreiben im Ton des Hauses.
• Zusammenfassungen. Lange Berichte, Gutachten oder Schriftwechsel schrumpfen auf das, was für die nächste Entscheidung zählt.
• Protokolle. Aus Notizen oder einer Aufnahme entsteht ein geordnetes Protokoll. Eine Aufnahme setzt das Einverständnis aller Beteiligten voraus.
• Angaben auslesen. Rechnungsnummern, Termine, Vertragsparteien oder Laufzeiten wandern aus Dokumenten in eine Liste.
• Übersetzungen. Schreiben und Unterlagen werden als Arbeitsfassung übersetzt, ohne dass der Text an einen Übersetzungsdienst geht.

Welche davon im eigenen Betrieb gut funktionieren, hängt vor allem von den Unterlagen ab und davon, wie genau das Ergebnis stimmen muss.

Was ein Betrieb für lokale KI braucht

Zur lokalen KI gehört mehr als ein Rechner. Diese Bausteine kommen zusammen:

• Ein KI-Rechner. Je nach Aufgabe ein leistungsstarker PC oder ein kleiner Server. Wie groß er sein muss, hängt von der Zahl der gleichzeitigen Nutzer und der Art der Aufgaben ab.
• Ein fester Platz im Firmennetz. Das Gerät ist nur von innen erreichbar. Von unterwegs geht es ausschließlich per VPN hinein, also über eine verschlüsselte Verbindung ins Büronetz.
• Konten und Rechte. Jede Person meldet sich mit eigenem Konto an und sieht nur die Unterlagen, die zu ihrer Arbeit gehören.
• Notstrom. Eine USV schützt vor den Folgen eines plötzlichen Stromausfalls.
• Datensicherung. Einstellungen, Dokumente und Verläufe landen regelmäßig auf einem NAS, einem Speicher im Netzwerk.
• Wartung. Betriebssystem, KI-Software und Sprachmodell bekommen Updates, die vorher geprüft werden.

Die Einbindung ins Netz gehört bei uns zur Netzwerktechnik, die Sicherung zu Backup und Datensicherung. Die Wartung mit allen Updates übernehmen wir, auf Wunsch monatlich, vierteljährlich oder halbjährlich.

Wo lokale KI an Grenzen stößt

Lokale Modelle sind deutlich kleiner als die Modelle der großen Cloud-Dienste. Das zeigt sich an einigen Stellen:

• Bei offenen, verzwickten Fragen ohne Unterlagen formulieren sie weniger treffsicher.
• Ihr Allgemeinwissen ist schmaler, und was nach ihrem Training geschehen ist, kennen sie nicht.
• Sehr lange Dokumente auf einmal zu verarbeiten kostet viel Rechenleistung. Hier setzt die Hardware die Grenze.
• Arbeiten viele Personen gleichzeitig damit, wachsen die Wartezeiten, wenn das Gerät knapp bemessen ist.

Für die typische Schreib- und Lesearbeit im Büro reicht ein gut eingerichtetes lokales Modell häufig aus. Für anspruchsvolle Auswertungen über viele Themen hinweg reicht es manchmal nicht. Das klären wir vor der Anschaffung, damit kein Gerät gekauft wird, das die gewünschte Aufgabe nicht schafft.

Wie bei jeder KI gilt: Was den Betrieb verlässt, liest vorher ein Mensch.

Datenschutz wird einfacher, bleibt aber Aufgabe

Weil keine Eingaben an einen KI-Anbieter gehen, entfallen viele Fragen, die bei Cloud-Diensten zu klären sind: wo verarbeitet wird, wie lange Eingaben gespeichert bleiben und ob sie in das Training einfließen. Der Datenschutz wird dadurch spürbar einfacher, denn keine Eingabe landet bei Dritten.

Die Datenschutz-Grundverordnung gilt trotzdem, denn auch im eigenen Haus werden personenbezogene Daten verarbeitet. Zugriffsrechte, Löschfristen für Verläufe und eine kurze Beschreibung der Verarbeitung gehören deshalb zum Projekt. Rechtlich verbindlich ist dieser Überblick nicht, er ersetzt keine Rechtsberatung.

Wovon der Aufwand für eine lokale KI abhängt

Einen Festpreis von der Stange gibt es nicht, weil jeder Betrieb anders ausgestattet ist. Den Aufwand bestimmen vor allem diese Punkte:

• Nutzer und Texte. Wie viele Personen gleichzeitig arbeiten und wie lang die Dokumente sind, entscheidet über die Hardware.
• Zahl der Aufgaben. Jede Aufgabe braucht eigene Anweisungen, Vorlagen und Tests.
• Ordnung in der Ablage. Je aufgeräumter die Unterlagen sind, desto weniger Vorarbeit fällt an, bevor die KI sie nutzen kann.
• Vorhandene Technik. Stehen Netzwerkschrank, USV, NAS und VPN schon bereit, ist weniger zu tun als bei einem Neuaufbau.
• Umfang der Wartung. Wie oft Updates, Tests und Anpassungen eingeplant werden, legt der Betrieb fest.

Laufende Gebühren je Person fallen bei der lokalen KI weg, dafür kommen Anschaffung und Strom für das Gerät dazu. Kalkuliert wird jedes Projekt für sich, mehr dazu auf der Seite Kosten.

Wer erst herausfinden will, welche Aufgaben sich überhaupt eignen, beginnt mit einer KI-Beratung. Was zur Einrichtung gehört und wie wir dabei vorgehen, steht bei unserem Angebot zur lokalen KI im Betrieb.