Lokale KI in Vorarlberg: Sprachmodelle im eigenen Betrieb planen und einrichten

Vorarlberg ist ein Land der Industrie- und Familienbetriebe. Im Rheintal und Walgau sitzen Maschinenbauer, Zulieferer, Textil- und Lebensmittelhersteller, die ihr Know-how über Jahrzehnte aufgebaut haben. Dazu kommen Kanzleien, Steuerberatungen und Arztpraxen, die täglich mit vertraulichen Daten arbeiten. Für all diese Betriebe stellt sich beim Thema KI dieselbe Frage: Wie nutzen wir Sprachmodelle, ohne unsere sensibelsten Daten in eine fremde Cloud zu geben?

Eine lokale KI ist eine mögliche Antwort. Das Sprachmodell läuft auf einem Server im eigenen Betrieb, Anfragen und Dokumente verlassen das Netzwerk nicht.

Warum lokale KI für Vorarlberger Betriebe interessant ist

Industrie mit wertvollem Know-how. Konstruktionsdaten, Prüfberichte und Kalkulationen sind das Kapital vieler Vorarlberger Unternehmen. Wer an Kunden mit Geheimhaltungsvereinbarungen liefert, muss oft genau nachweisen können, wo deren Daten liegen. Eine lokale KI macht dieses Wissen durchsuchbar, ohne es aus dem Werk zu geben. Mehr dazu im Beitrag Lokale KI in der Industrie.

Freie Berufe mit Verschwiegenheitspflicht. Kanzleien, Steuerberatungen und Arztpraxen dürfen vertrauliche Daten nicht ohne Weiteres an Dritte weitergeben. Lokale KI umgeht die Weitergabe an einen Cloud-Anbieter. Beispiele zeigen die Beiträge zu Anwaltskanzleien, Steuerberatern und Arztpraxen.

Unabhängigkeit. Viele Familienbetriebe denken in Generationen. Eine Lösung, deren Preis, Bedingungen und Modell von einem US-Konzern bestimmt werden, passt nicht immer zu diesem Denken. Offene Modelle auf eigener Hardware lassen sich selbst steuern und bei Bedarf austauschen.

Was eine lokale KI im Betrieb übernehmen kann

• Fragen an eigene Unterlagen: Handbücher, Verträge, Prüfberichte oder Akten in normaler Sprache befragen, mit Fundstelle in der Antwort
• Dokumente auslesen: Rechnungen, Lieferscheine oder Formulare erfassen und als Entwurf in die bestehende Software übergeben
• Diktate und Besprechungen transkribieren: Aufnahmen bleiben auf dem eigenen Server
• Mails vorsortieren und Entwürfe schreiben: verschickt wird erst nach Freigabe
• Ein interner KI-Assistent: ein Chatfenster für Zusammenfassungen und Textentwürfe, mit Anmeldung über das Firmenkonto

Die KI bereitet vor, der Mensch prüft und entscheidet. Sprachmodelle können sich irren. Antworten aus eigenen Unterlagen nennen deshalb die Fundstelle, damit sie im Original geprüft werden können, und nichts verlässt den Betrieb ohne Freigabe.

Worauf Sie bei der Auswahl eines Anbieters achten sollten

Auch in Vorarlberg gibt es mittlerweile mehrere Anbieter für lokale KI. Diese Fragen helfen beim Vergleich:

• Wird vor dem Kauf getestet? Achten Sie darauf, ob mit Ihren Aufgaben gemessen wird, welches Modell reicht und welche Hardware nötig ist, bevor Sie Geld ausgeben.
• Offene Modelle oder geschlossenes System? Mit offenen Modellen und einer standardisierten Schnittstelle bleiben Sie flexibel und können später auf bessere Modelle umsteigen.
• Fertige Anwendungen oder nur Hardware? Ein Server mit Sprachmodell ist erst der Anfang. Entscheidend ist, ob danach auch die Anwendungen eingerichtet werden, die Ihr Team tatsächlich nutzt.
• Wer betreut das System? Updates, Modellwechsel, Störungen: Klären Sie vorab, wer sich darum kümmert und wie der Fernzugang geregelt ist.
• Wo liegen die Grenzen? Lokale Modelle sind bei komplexem Schlussfolgern schwächer als die größten Cloud-Modelle. Fragen Sie nach, welche Ihrer Aufgaben davon betroffen sind.

Wie Goma-IT vorgeht

Goma-IT sitzt in Bludenz; Termine im Betrieb sind in ganz Vorarlberg möglich. Der Ablauf:

1. Erstgespräch (30 Minuten, kostenlos): Welche Daten müssen lokal bleiben, welche Aufgaben soll die KI übernehmen?
2. Machbarkeits-Check: Test passender offener Modelle auf gemieteter GPU-Rechenleistung in einem EU-Rechenzentrum, möglichst vergleichbar mit der geplanten Hardware, mit Beispiel- oder anonymisierten Dokumenten. Ergebnis: Antwortqualität, Richtwerte zur Geschwindigkeit, Hardware-Empfehlung und Circa-Preisspanne.
3. Beschaffung: genaue Stückliste, Anschaffung durch den Betrieb, auf Wunsch abgestimmt mit dem IT-Partner.
4. Installation und Test im Betrieb, Anbindung an Ablagen und Firmenkonto, Einführung im Team.
5. Betrieb: Updates, Modellwechsel und Betreuung über einen gesicherten Fernzugang, den der Betrieb freigibt.

Wie das im Detail aussieht, steht auf der Seite Lokale KI (On-Premise). Welche Hardware realistisch nötig ist, erklärt der Beitrag Hardware für lokale KI.