KI lokal betreiben: Wann sich ein eigenes Modell lohnt

Kurz gesagt: Ein lokal betriebenes Modell lohnt sich, wenn zwei Bedingungen zusammenkommen. Erstens: Es gibt Aufgaben mit Daten, die das Haus nicht verlassen dürfen, etwa Befundbriefe, Mandantenschreiben oder Gutachten. Zweitens: Es gibt jemanden, der einen Rechner einrichten und pflegen kann, oder einen Dienstleister dafür. Fehlt eine der beiden Bedingungen, ist ein Geschäftstarif bei einem Anbieter mit Vertrag der einfachere und meist bessere Weg. Für einen Betrieb, der ein paar Mails in der Woche formulieren will, ist ein eigenes Modell Killefitz.

Was „lokal“ bedeutet

Bei ChatGPT, Copilot oder Claude läuft das Sprachmodell auf Rechnern des Anbieters. Deine Eingabe geht über das Internet dorthin, die Antwort kommt zurück. Ein lokales Modell läuft dagegen auf einem Rechner in deinem Betrieb. Programme wie Ollama machen das inzwischen ohne Programmierkenntnisse möglich: Modell herunterladen, starten, in einer Chat-Oberfläche benutzen. Die Eingaben bleiben im Haus, kein Anbieter sieht sie, kein Vertrag mit einem Dritten ist nötig.

Das klingt nach der Lösung für alle Datenschutzfragen. Für manche Betriebe ist es das auch. Für die meisten ist es ein Werkzeug mit eigenen Kosten, die man vorher kennen sollte.

Wann es sich lohnt

Der klare Fall sind Berufsgeheimnisträger und Betriebe mit besonderen Datenkategorien. Eine Praxis, die Befundbriefe aus Stichworten formulieren will. Eine Kanzlei, die Schriftsätze zusammenfassen möchte. Eine Schule, die Zeugnisbemerkungen entwerfen will. In allen Fällen stehen Gesundheitsdaten, Mandantendaten oder Schülerdaten im Text. Die gehören nach unserer Einschätzung ohne geklärte Rechtsgrundlage und Vertragslage in kein allgemeines Werkzeug eines Anbieters. Ein lokales Modell löst dieses Problem an der Wurzel: Die Daten gehen nirgendwohin.

Auch ohne Geheimnisschutz kann lokal sinnvoll sein, wenn viele Leute viel Text erzeugen und die Lizenzkosten je Nutzer über die Jahre ins Gewicht fallen. Bei Betrieben bis 50 Leuten ist das aber selten der entscheidende Grund.

Was es kostet

Ein lokales Modell braucht einen Rechner mit ordentlicher Grafikkarte und genug Speicher. Ein normaler Bürorechner reicht für kleine Modelle, für brauchbare Textqualität bei längeren Dokumenten braucht es mehr. Rechne mit einem eigenen Gerät, das nur dafür da ist, plus Einrichtung und Pflege. Modelle werden aktualisiert, die Software auch, und wenn der Rechner ausfällt, steht das Werkzeug. Jemand muss zuständig sein.

Dazu kommt ein Qualitätsunterschied. Modelle, die auf einem Rechner im Betrieb laufen, sind kleiner als die der großen Anbieter. Für Textbausteine, Zusammenfassungen und Umformulierungen reichen sie gut. Bei komplexen Aufgaben, langen Recherchen oder anspruchsvollem Stil merkst du den Abstand. Das ist kein Grund gegen lokal, aber ein Grund, vorher mit echten Aufgaben zu testen.

Wann es sich nicht lohnt

Wenn deine Aufgaben ohne Personenbezug auskommen, brauchst du kein lokales Modell. Angebotstexte aus Stichworten, Stellenanzeigen, Website-Texte, Protokollentwürfe: Das geht mit einem Geschäftstarif einfacher und in besserer Qualität. Wenn niemand im Betrieb einen Rechner betreuen will und kein Dienstleister dafür da ist, wird das lokale Modell nach einem halben Jahr zum Staubfänger. Und wenn das Ziel nur ist, „unabhängig von den Großen“ zu sein, ist das ein Gefühl, kein Anwendungsfall.

Ein häufiger Irrtum: Lokal heißt nicht automatisch erlaubt. Auch auf dem eigenen Rechner ist die Verarbeitung von Patientendaten eine Verarbeitung, für die es eine Rechtsgrundlage braucht. Was wegfällt, ist der Dienstleister und damit der Auftragsverarbeitungsvertrag. Das ist unsere praktische Einschätzung, keine Rechtsberatung. Bei Unsicherheit entscheidet dein Anwalt oder Datenschutzbeauftragter.

Der Mittelweg: europäische Anbieter

Zwischen dem Großanbieter aus den USA und dem eigenen Rechner gibt es europäische Anbieter, die Sprachmodelle in Europa betreiben und Geschäftsverträge nach europäischem Recht anbieten. Für viele Betriebe mit sensiblen Daten ist das der bessere Kompromiss: weniger Pflegeaufwand als lokal, klarere Vertragslage als beim Großanbieter. Welche Anbieter das sind und wo auch sie nicht helfen, steht in Europäische KI-Anbieter.

Was wir selbst machen

Wir nutzen Claude und ChatGPT im Geschäftstarif für Entwürfe, nie mit Kundendaten. Für unseren eigenen Betrieb lohnt sich ein lokales Modell nicht, weil in unseren Texten keine sensiblen Daten stehen. Bei Praxen und Kanzleien sieht das anders aus. Dann schauen wir uns gemeinsam an, ob ein lokales Modell die Aufgabe trägt, wer den Rechner pflegt und ob die Textqualität für den Zweck reicht. Wir verkaufen dabei weder Hardware noch Lizenzen und bekommen keine Provision.

Fazit

Lokal lohnt sich für Betriebe, die sensible Daten verarbeiten müssen und jemanden haben, der die Technik pflegt. Für alle anderen ist es Aufwand ohne Nutzen. Ob dein Betrieb dazugehört, klären wir in der KI-Orientierung. Was für Praxen im Besonderen gilt, steht auf KI für Praxen. Welche Daten überhaupt in ein Werkzeug dürfen, erklärt DSGVO und KI: Welche Daten dürfen in ein KI-Werkzeug?.