Zum Inhalt springen

news-informatives · 5. August 2026

Eigene Organisations-KI: Warum immer mehr Unternehmen ihre KI lokal betreiben

Eine eigene KI im Haus gilt als Antwort auf die Abhängigkeit von US-Anbietern. Vorgeschrieben ist sie nur in Sonderfällen, und günstiger als Miete wird sie erst bei hoher Auslastung. Der Beitrag rechnet beide Wege durch, ordnet die offenen Modelle ein und zeigt, warum Betriebsrat und Datenschutzbeauftragter vor der Hardware kommen.

Autor

Stephan Hannach

Digitale Souveränität ist 2026 vom Schlagwort zur Beschaffungsanforderung geworden. 85 Prozent der deutschen Unternehmen halten Deutschland für zu abhängig von US-Cloud-Anbietern, vor einem Jahr waren es 78 Prozent. 37 Prozent würden einen Dienst nutzen, der Daten ausschließlich in Deutschland verarbeitet, auch wenn er weniger kann oder mehr kostet. Im Vorjahr waren es 27 Prozent [1]. Zugleich erreichen offene KI-Modelle Leistung nahe der proprietären Spitze.

Aus beidem entsteht ein neues Zielbild: die eigene Organisations-KI. Ein offenes Modell arbeitet mit dem Wissen des Unternehmens und bleibt unter dessen Kontrolle. Dieser Beitrag zeigt, wann lokaler Betrieb Pflicht ist, ab wann er sich rechnet und welche Modelle sich eignen.

Die kurze Antwort

Gesetzlich vorgeschrieben ist lokale KI nur in Sonderfällen wie Verschlusssachen. Die meisten Organisationen entscheiden sich aus anderen Gründen dafür: Kontrolle über die eigenen Daten und Unabhängigkeit von einzelnen Anbietern.

Über die Wirtschaftlichkeit entscheidet die Auslastung, nicht die Modellwahl. Eine 96-GB-GPU im eigenen Haus kostet an Technik rund 8.500 Euro im Jahr. Gemietet kostet dieselbe Klasse 3.500 Euro bei acht Stunden am Tag und 19.000 Euro im Dauerbetrieb. Der Umschlagpunkt liegt je nach Anbieter zwischen rund 2.200 und 7.000 Betriebsstunden im Jahr. Für einen Assistenten zu Bürozeiten heißt das: mieten, sofern keine Vorgabe etwas anderes verlangt. Der größte Posten ist ohnehin das Personal, und er fällt in beiden Fällen an.

Organisations-KI heißt dabei nicht Hardwarebesitz. Auch auf gemieteter GPU oder in einer gemanagten Private Cloud bleibt es Ihre Organisations-KI, solange offenes Modell, Wissensbasis und Kontrolle bei Ihnen liegen.

Vor der Technik stehen zwei Beteiligte, die in Beiträgen zum Thema meist fehlen: der Betriebsrat und der Datenschutzbeauftragte. Beide bestimmen den Zeitplan stärker als jede Lieferzeit.

Die häufigste Ausgangslage

In vielen Betrieben nutzen Beschäftigte längst öffentliche Chatdienste, teils über private Konten und ohne Regelung. Wer so startet, hat zuerst eine Ordnungsfrage und keine Beschaffungsfrage. Eine Regelung darüber, welche Daten in welches Werkzeug dürfen, wirkt sofort und kostet nichts. Eine Organisations-KI wirkt erst nach Monaten. Sie ersetzt die vorhandenen Dienste auch nur dann, wenn sie ihnen im Alltag nahekommt. Klären Sie deshalb zuerst, was heute passiert.

Woraus eine Organisations-KI besteht

Drei Bausteine:

  • Ein offenes Modell, das austauschbar bleibt, wenn eine bessere Generation erscheint.
  • Die eigene Wissensbasis, angebunden über Suche und bestehende Berechtigungen.
  • Eine Betriebsplattform mit Zugriffskontrolle, Protokollierung und klaren Verantwortlichkeiten.

Der strategische Kern liegt im ersten Punkt. Das Modell ist austauschbar, Wissensbasis und Prozesse bleiben. Genau das unterscheidet eine Organisations-KI von der Abhängigkeit von einem Anbieter.

Die Wissensbasis ist zugleich die empfindlichste Stelle. Angebundene Dokumente öffnen einen Weg für manipulierte Inhalte und für Datenabfluss, Stichwort Prompt Injection. Das BSI hat dazu im Januar 2026 einen Leitfaden mit Gegenmaßnahmen veröffentlicht [18]. Berechtigungen und Protokollierung gehören deshalb von Anfang an dazu.

Auf europäische Rechenkapazität können Sie vorerst nicht bauen. Von den 200 Milliarden Euro der InvestAI-Initiative fließen 20 Milliarden in sogenannte AI Gigafactories [2]. Die Bewerbungsfrist läuft bis zum 12. November 2026, ausgewählt ist bislang kein Standort [3].

Wann lokale KI Pflicht ist und wann Entscheidung

Keine der einschlägigen Regelungen schreibt ein Betriebsmodell vor. Die DSGVO und das NIS2-Umsetzungsgesetz, in Kraft seit Dezember 2025, verlangen risikoangemessene Maßnahmen, und zwar technologieneutral [4] [7].

Standortbezug entsteht trotzdem, nur indirekt. Die DSGVO reguliert Übermittlungen in Drittländer [4]. Im Finanzsektor gehören Verarbeitungs- und Speicherorte in den Vertrag, und kritische Dienstleister aus Drittländern brauchen binnen zwölf Monaten eine Tochter in der EU [8]. In vier Konstellationen führt kaum ein Weg an kontrollierten, meist lokalen Umgebungen vorbei:

KonstellationWarum lokal gesetzt ist
Verschlusssachen ab VS-NfDVerschlusssachen dürfen nur auf IT verarbeitet werden, die dafür freigegeben ist. Für VS-NfD genügt regelmäßig eine ISO-27001-Zertifizierung auf Grundschutzbasis mit Geheimschutzbaustein [9]. In der Liste der vom BSI zugelassenen Sicherheitsprodukte ist Stand 2026 kein KI-Dienst enthalten [10].
Geheimschutzbetreute UnternehmenWer Verschlusssachenaufträge des Bundes ausführt, unterliegt dem Geheimschutzhandbuch. Dessen Auflagen erfassen IT-Systeme ausdrücklich und greifen auf Unterauftragnehmer durch [11].
Kundenvorgaben und getrennte NetzeAuftraggeber aus Automotive, Verteidigung oder Forschung schreiben definierte Umgebungen vor. Netze ohne Internetzugang erreichen externe Dienste ohnehin nicht.
Hochsensible Daten ohne belastbaren VertragsrahmenWo Auftragsverarbeitung, Prüfungsrechte oder Löschnachweise nicht durchsetzbar sind, bleibt der eigene Betrieb der einfachere Weg.

Was hier ausdrücklich nicht steht: Berufsgeheimnisträger. Sie gelten in vielen Beiträgen als Fall für zwingend lokale Systeme, und das ist seit 2017 falsch. Das Strafrecht erlaubt die Einbindung externer Dienstleister, soweit sie erforderlich ist [12]. Das Berufsrecht regelt die Bedingungen, von der sorgfältigen Auswahl bis zum vergleichbaren Schutzniveau im Ausland [13]. Kanzleien und Praxen dürfen externe Dienste also nutzen. Sie tragen dafür Verfahrenspflichten, deren Verletzung strafbar ist.

Alle übrigen Organisationen brauchen keine Pflicht als Begründung. Kontrolle und Unabhängigkeit genügen, wenn die Rechnung aufgeht.

Was der AI Act schon heute verlangt

Der AI Act schreibt ebenfalls kein Betriebsmodell vor, bringt aber Pflichten unabhängig vom Standort. Wer eine Organisations-KI einführt, ist Betreiber im Sinne der Verordnung, also jemand, der ein KI-System in eigener Verantwortung verwendet [5]. Drei Punkte gehören für diese Rolle auf die Liste.

KI-Kompetenz. Die Pflicht gilt seit dem 2. Februar 2025 und wurde zum 27. Juli 2026 neu gefasst [5] [6]. Betreiber ergreifen seither Maßnahmen, um die Entwicklung der KI-Kompetenz ihres Personals zu unterstützen. Die Verordnung sagt ausdrücklich, dass sie niemanden verpflichtet, für eine Person ein bestimmtes Kompetenzniveau zu garantieren. Eine Rechtspflicht bleibt es trotzdem, einen eigenen Bußgeldtatbestand hat sie nicht. Einzelheiten stehen in unserem Beitrag zur Schulungspflicht nach Artikel 4.

Transparenz. Seit dem 2. August 2026 müssen Nutzer erkennen können, dass sie mit einem KI-System sprechen, und künstlich erzeugte Inhalte müssen maschinenlesbar gekennzeichnet sein. Diese beiden Pflichten treffen allerdings den Hersteller und nicht Sie als Betreiber. Sie selbst sind gefragt, wenn Sie Emotionen erkennen oder Menschen biometrisch einordnen, und wenn Sie Deepfakes oder veröffentlichte Texte zu Angelegenheiten von öffentlichem Interesse erzeugen [5]. Ein interner Assistent löst das im Regelfall nicht aus. Mehr dazu im Beitrag zur Kennzeichnungspflicht nach Artikel 50.

Einstufung. Ein interner Assistent mit Wissensbasis ist im Regelfall kein Hochrisiko-System. Er wird aber eines, wenn er Bewerbungen sichtet oder Bewerber bewertet, und ebenso, wenn er die Leistung oder das Verhalten von Beschäftigten beobachtet oder bewertet [5]. Erstellt er Profile von Personen, gilt er immer als hochriskant. Die Pflichten für solche Systeme hat die EU im Juli 2026 nach hinten verlegt. Sie greifen ab Dezember 2027, und für KI in regulierten Produkten wie Maschinen oder Medizintechnik ab August 2028 [6]. Verschoben heißt aber nicht entfallen. Die Einstufung entscheidet darüber, was das System später darf, und gehört deshalb an den Anfang.

Ein vierter Punkt wird bei selbst betriebenen Modellen leicht übersehen. Aus dem Betreiber wird ein Hersteller mit deutlich strengeren Pflichten, sobald er ein System unter eigenem Namen bereitstellt, es wesentlich verändert oder seinen Zweck so ändert, dass ein Hochrisiko-System entsteht [5].

Was vor der Technik geklärt sein muss

Der Betriebsrat. Ein System, das protokolliert, wer welche Frage stellt, ist mitbestimmungspflichtig. Es genügt, dass es zur Überwachung geeignet ist, eine Überwachungsabsicht braucht es nicht [14]. Seit 2021 gilt außerdem: Muss der Betriebsrat den Einsatz von KI beurteilen, gilt die Hinzuziehung eines Sachverständigen als erforderlich. Über Person und Kosten braucht es weiterhin eine Vereinbarung mit dem Arbeitgeber [15]. Planen Sie diese Runde ein. Lokaler Betrieb macht das Thema sogar sichtbarer, denn die Protokolle liegen auswertbar im eigenen Haus.

Der Datenschutzbeauftragte. Vor dem Start steht die Datenschutz-Folgenabschätzung. Die Aufsichtsbehörden empfehlen sie für die Einführungsphase und nennen dabei ausdrücklich die Beteiligung von Datenschutzbeauftragten und Betriebsräten. Für den Aufbau aus Modell plus Wissensbasis gibt es seit Oktober 2025 eine eigene Orientierungshilfe [17]. Ein Punkt wird oft zu spät gelesen: Ein C5-Testat oder eine Zertifizierung nach ISO 27001 nimmt Ihnen die Verantwortung nicht ab. Die Rechenschaftspflicht der DSGVO bleibt bei Ihnen [4], beim Cloud-Dienst wie im eigenen Haus.

Was der eigene Betrieb kostet

Gerechnet wird über mehrere Jahre und nicht über den Kaufpreis. Acht Posten gehören in jede Kalkulation:

  • Hardware und Abschreibung
  • Strom und Kühlung
  • Personal mit Spezialkenntnissen
  • laufender Modellwechsel
  • Sicherheit
  • Redundanz und Sicherung
  • Auslastung, denn ungenutzte GPU-Stunden kosten genauso viel wie genutzte
  • Migration und Ausstieg

Beispielrechnung: kleiner Assistent für 50 Nutzer

Das Szenario: ein interner Assistent mit Wissensbasis für rund 50 Beschäftigte. Ein Modell der 20- bis 30-Milliarden-Klasse läuft auf einem Server mit einer 96-GB-GPU. Die Werte sind gerundete Größenordnungen und kein Angebot, Projekt- und Integrationskosten sind nicht enthalten.

PositionAnnahmeGrößenordnung pro Jahr
Server mit einer 96-GB-GPUrund 16.000 Euro Anschaffung, Abschreibung über vier Jahreca. 4.000 Euro
Strom und KühlungGPU auf 450 Watt begrenzt, mit Host rund 6.000 kWh, 32,6 Cent je kWh, Kühlaufschlag ein Drittelca. 2.600 Euro
Wartung, Ersatz, Reserverund 12 Prozent der Hardwarekostenca. 1.900 Euro
Technik zusammenca. 8.500 Euro
Betrieb und Pflege0,2 Stellenanteile, 80.000 Euro Vollkosten je Stelleca. 16.000 Euro
Summeca. 24.500 Euro

Als Monatsrate sind das rund 2.050 Euro, also etwa 41 Euro je Nutzer. Zwei Zeilen brauchen eine Erläuterung, weil sie in der Rückfrage sonst nicht halten.

Zur Hardware: Die NVIDIA RTX Pro 6000 Blackwell mit 96 GB kostet im deutschen Handel netto ab rund 10.500 Euro, die Server-Variante ab rund 13.200 Euro [20]. Der Hersteller hat den Listenpreis in rund 15 Monaten um gut die Hälfte auf 13.250 US-Dollar erhöht [19]. Mit Serverplattform ergibt das 14.500 bis 17.500 Euro netto [21], die Rechnung setzt 16.000 Euro an. Nicht enthalten sind Netzwerk, unterbrechungsfreie Stromversorgung, Rack und Einbau. Der Strompreis ist der amtliche Durchschnitt für Abnehmer unter 20 Megawattstunden im zweiten Halbjahr 2025 [24].

Zur 0,2-Stelle: Verlangt werden Linux, Container, GPU-Treiber, ein Inferenzserver wie vLLM, die Anbindung an das Berechtigungssystem und eine Überwachung, die Ausfälle vor den Nutzern bemerkt. Reine Windows-Administration deckt das nach unserer Erfahrung nicht ab. Wer diese Kenntnisse nicht im Haus hat, hat an dieser Stelle eine Personalfrage und keine Budgetfrage, und sollte die gemanagte Variante weiter unten prüfen.

Ab wann sich der Kauf gegen die Miete rechnet

Mietpreise enthalten kein Personal, die 24.500 Euro oben schon. Vergleichbar ist deshalb nur die Technikebene. Dieselbe GPU-Klasse kostet bei Marktplatzanbietern ab etwa 1,40 US-Dollar je Stunde, typisch um 2,50 und bei den großen Cloud-Anbietern 3 bis 4,50 [19] [27]. Umgerechnet zum EZB-Kurs von 1,1535 US-Dollar je Euro [26] ergibt das:

Betriebsstunden im JahrMiete bei 1,40 US-DollarMiete bei 2,50 US-DollarEigene Technik
2.920 Stunden (8 Stunden täglich)ca. 3.500 Euroca. 6.300 Euroca. 8.500 Euro
4.380 Stunden (halbe Auslastung)ca. 5.300 Euroca. 9.500 Euroca. 8.500 Euro
8.760 Stunden (Dauerbetrieb)ca. 10.600 Euroca. 19.000 Euroca. 8.500 Euro

Abgerechnet wird die Reservierungszeit und nicht die Rechenzeit. Ein Assistent, der von sieben bis neunzehn Uhr bereitstehen soll, belegt zwölf Stunden am Tag, auch wenn er nur Minuten rechnet. Reine Anfragezeit zahlt nur, wer Aufgaben bündelt und die Umgebung dazwischen abschaltet. Das passt zu Stapelverarbeitung, nicht zu einem Assistenten.

Der Umschlagpunkt liegt bei rund 7.000 Betriebsstunden gegen den günstigsten Mietpreis, bei 3.900 gegen den typischen und bei 2.200 bis 3.300 gegen die großen Cloud-Anbieter. Warum also kaufen, wenn Mieten die Hälfte kostet? Weil es nur bei geringer Auslastung die Hälfte kostet.

Für das Szenario aus diesem Beitrag heißt das: mieten. Zwölf Stunden Bereitschaft an 250 Werktagen ergeben rund 3.000 Stunden. Dort kostet Miete 3.600 bis 6.500 Euro, eigene Technik 8.500 Euro. Eigene Hardware trägt nur, wenn eine Vorgabe sie verlangt, wenn die Karte nachts weitere Lasten trägt oder wenn die Bereitschaft deutlich länger ist. Der Personalanteil ist dabei kein Argument für die Miete, denn Plattform, Berechtigungen, Wissensbasis und Modellwechsel bleiben auch dann Ihre Aufgabe. Für Piloten ist Miete immer der richtige Weg: nichts beschafft, kein Budget gebunden, nach vier Wochen ohne Verlust beendet.

Welche offenen Modelle sich eignen

Lokaler Betrieb braucht Modelle mit frei verfügbaren Gewichten, sogenannte Open-Weight-Modelle. Offene Gewichte heißen nicht automatisch Open Source, denn die Lizenz regelt die Nutzung. Bei gemischter Architektur bestimmt die Gesamtgröße den Speicherbedarf und die Zahl der aktiven Parameter die Rechenlast. Alle Angaben stammen aus den Modellkarten der Anbieter, Stand 4. August 2026 [28 bis 41].

ModellAnbieterGrößeLizenzHardware-Klasse
Kimi K3Moonshot AI (China)2,8 Bio. Parameter, 104 Mrd. aktiveigene Lizenz, Vereinbarung nötig ab 20 Mio. US-Dollar Umsatz in zwölf Monaten, interne Nutzung ausgenommenKnoten mit 8 x B300 oder 16 x B200 nach Herstellerempfehlung
GLM-5.2Z.ai (China)753 Mrd. ParameterMITCluster
DeepSeek V4 ProDeepSeek (China)1,6 Bio. Parameter, 49 Mrd. aktivMITCluster
DeepSeek V4 FlashDeepSeek (China)304 Mrd. Parameter, Fassung vom 31.07.2026MITServer mit mehreren Profi-GPUs
Qwen3.6Alibaba (China)27 Mrd. dicht, daneben 35 Mrd. mit 3 Mrd. aktivApache 2.0einzelne Profi-GPU oder Workstation
Mistral Medium 3.5Mistral AI (Frankreich)128 Mrd. Parameter, dichtmodifizierte MIT, Einschränkungen für große Umsätze prüfenServer mit mehreren GPUs
Mistral Small 4Mistral AI (Frankreich)119 Mrd. Parameter, 6,5 Mrd. aktivApache 2.0Server mit mehreren GPUs, geringe Rechenlast
Devstral Small 2Mistral AI (Frankreich)24 Mrd. ParameterApache 2.0einzelne Profi-GPU
gpt-oss 20b und 120bOpenAI (USA)21 Mrd. mit 3,6 Mrd. aktiv, 117 Mrd. mit 5,1 Mrd. aktivApache 2.0ab 16 GB Grafikspeicher, für die größere Variante eine 80-GB-GPU
Llama 4Meta (USA)Scout 109 Mrd. und Maverick 400 Mrd., je 17 Mrd. aktivCommunity-Lizenz. Die Nutzungsrichtlinie nimmt Unternehmen mit Sitz in der EU von den Rechten an den multimodalen Varianten aus, Endnutzer eingebundener Produkte sind davon nicht betroffen [38]Server mit Profi-GPUs

Zwei Punkte sind wichtiger als jede Benchmark-Tabelle. Erstens verschiebt sich die Offenheit einzelner Anbieter: Alibabas Spitzenmodelle der Max-Reihe gibt es nur noch über eine Schnittstelle. Wer sich auf eine Modellfamilie festlegt, kann deren Offenheit nicht als dauerhaft voraussetzen. Zweitens unterscheiden sich die Lizenzen erheblich. MIT und Apache 2.0 kommen ohne Umsatzschwellen, die Lizenzen von Moonshot und Meta nicht.

Wählen Sie nach Aufgabe. Für Zusammenfassungen, Suche und Assistenz genügt oft ein einzelner Server. Erst komplexe Analyse- und Agentenaufgaben rechtfertigen mehr. Testen Sie mit echten Aufgaben, bevor Sie Hardware beschaffen.

Eigenbetrieb oder gemanagte Private Cloud

Beim Eigenbetrieb beschafft und betreibt das Unternehmen alles selbst, mit voller Gestaltungshoheit und vollem Personalbedarf. Bei einer gemanagten Private Cloud steht die Hardware im eigenen Haus und ein Dienstleister betreibt die Plattform. Wer die Kenntnisse aus dem Abschnitt zur 0,2-Stelle nicht im Haus hat, findet hier den praktikableren Weg.

Ein Beispiel für den zweiten Weg ist das Angebot von Brillianza, einem Partner von arvex.one. Wir legen daran dieselben Maßstäbe an wie an andere Modelle [44]. Nach Anbieterangaben umfasst es Hardware, Plattform und Betrieb beim Kunden zu einem Festpreis über 60 Monate, in den Varianten Online, Detached und Airgapped. Fernzugriffe, Telemetrie, Schlüsselkontrolle, Dienstgüte und Ausstieg prüfen Sie wie bei jedem Anbieter selbst, ebenso die Passung der GPU-Klassen zu Ihrem Modell.

Woran Sie den Nutzen messen

Ob sich der Aufwand lohnt, zeigt sich an wenigen Punkten: gesparte Zeit je Vorgang, Trefferquote der Wissenssuche auf echte Fragen und tatsächliche Nutzung nach vier Wochen. Typische erste Anwendungsfälle sind die Suche über die interne Dokumentation, Entwürfe für wiederkehrende Texte und die Klassifikation von Eingängen. Legen Sie die Messpunkte vor dem Piloten fest. Dann liefert er eine Entscheidungsgrundlage und nicht nur einen Eindruck.

In fünf Schritten zur eigenen Organisations-KI

  1. Feststellen, was heute läuft: welche KI-Dienste, welche Daten, welche Konten.
  2. Anwendungsfall und Schutzbedarf klären, bevor über Infrastruktur gesprochen wird.
  3. Beteiligte einbeziehen. Datenschutzbeauftragter und Betriebsrat gehören in diese Phase, nicht in die Abnahme.
  4. Auslastung schätzen. Liegt eine Grundlast vor oder ein schwankender Pilot? Das entscheidet die Wirtschaftlichkeit stärker als die Modellwahl.
  5. Zwei bis drei Modelle auf gemieteter GPU mit echten Aufgaben und den festgelegten Messpunkten testen. Erst danach über Eigenbetrieb oder gemanagtes Modell entscheiden.

Wann Sie sauber dastehen

Sechs Unterlagen werden in der Praxis regelmäßig verlangt, und wer sie hat, kann in eine Leitungsrunde gehen:

  • Feststellung von Schutzbedarf und Datenklassen, also die Antwort darauf, welche Daten das System sehen darf.
  • Datenschutz-Folgenabschätzung, soweit erforderlich. Die Kriterien nennt die Orientierungshilfe der Aufsichtsbehörden [17].
  • Ergebnis der Mitbestimmung, in der Regel eine Betriebsvereinbarung zu Nutzung und Protokollauswertung.
  • Betriebs- und Rollenkonzept: wer hat Zugriff, wer wertet Protokolle aus, wer ist im Störungsfall zuständig.
  • Nutzungsregelung für die Beschäftigten mit zulässigen Eingaben und gesperrten Datenklassen.
  • Belege für die Maßnahmen zur KI-Kompetenz, etwa Schulungsnachweise und interne Leitlinien [5].

Diese Zusammenstellung ist keine Rechtspflicht, sondern das, wonach in Prüfungen und Leitungsrunden gefragt wird. Für die Betriebsvereinbarung lässt sich kein Endtermin zusichern, denn ohne Einigung entscheidet die Einigungsstelle [14]. Planbar ist dagegen der Beginn, weil der Betriebsrat schon in der Planungsphase zu unterrichten ist [16]. Wer das parallel zur Modellauswahl ansetzt, verliert im günstigen Fall keine Zeit.

Exkurs: die offene Frontier-Klasse für 100 Nutzer

Dieser Abschnitt ist nur relevant, wenn Sie ein Modell der offenen Spitzenklasse selbst betreiben wollen. Gerechnet ist er für rund 100 Nutzer.

Kimi K3 belegt komprimiert rund 1,56 Terabyte. Empfohlen ist mindestens ein Knoten mit acht B300-Beschleunigern [28] [29]. Die Rechnung setzt eine kleinere Konfiguration aus zwei Servern mit je acht H200 an, also eine Untergrenze mit wenig Reserve und keine Produktionsempfehlung. Zwei solcher Server kosten 640.000 bis 840.000 US-Dollar, umgerechnet 555.000 bis 728.000 Euro [22]. Die Rechnung nimmt das untere Ende.

PositionAnnahmeGrößenordnung pro Jahr
Zwei 8-GPU-Server mit H200rund 555.000 Euro Anschaffung, Abschreibung über vier Jahreca. 139.000 Euro
Strom und Kühlungrund 14 kW im Schnitt, etwa 70 Prozent der Anschlussleistung [23], Kühlfaktor 1,35, 22 Cent je kWhca. 36.000 Euro
Betrieb und Pflege0,5 Stellenanteile für Cluster und Inferenz, 80.000 Euro Vollkosten je Stelleca. 40.000 Euro
Wartung, Ersatz, Reserverund 8 Prozent der Hardwarekostenca. 44.000 Euro
Summeca. 259.000 Euro

Als Monatsrate sind das rund 21.600 Euro, also gut 200 Euro je Nutzer bei nicht gleichzeitiger Nutzung. Dauerhafte Agenten-Pipelines erhöhen den Bedarf. Die 22 Cent für Strom sind konservativ angesetzt, denn der Verbrauch von rund 166 Megawattstunden liegt über der Schwelle für Industriekonditionen um 16,7 Cent [25].

Ob der Kauf die Miete schlägt, hängt am Anbieter. Etablierte verlangen für 16 H200 rund 60 bis 95 US-Dollar je Stunde, dann spart der Kauf im Dauerbetrieb deutlich. Im regulären Mietbetrieb kostet die H200 typisch 3,50 bis 4,40 US-Dollar je GPU-Stunde. Nur im Spot-Markt mit unterbrechbarer Kapazität geht es auf 1,40 US-Dollar hinunter, und dann bleibt Miete günstiger [27]. Frontier-Klasse im eigenen Haus trägt dort, wo Vorgaben sie verlangen oder wo sie messbar Entwicklerstunden spart.

Häufige Fragen

Was ist eine eigene Organisations-KI?

Eine KI-Umgebung unter Kontrolle des Unternehmens: ein offenes, austauschbares Modell, die eigene Wissensbasis mit bestehenden Berechtigungen und eine Betriebsplattform mit Protokollierung. Sie kann selbst betrieben, gemietet oder gemanagt sein.

Ist lokal betriebene KI automatisch datenschutzkonform?

Nein. Die DSGVO gilt unabhängig vom Verarbeitungsort [4], Übermittlungen in Drittländer brauchen aber eine eigene Grundlage. Berechtigungen, Löschkonzepte und Protokollierung bleiben Ihre Aufgabe. Ein schlecht betriebenes lokales System kann unsicherer sein als ein zertifizierter Cloud-Dienst.

Braucht die Einführung die Zustimmung des Betriebsrats?

Wo ein Betriebsrat besteht und das System die Nutzung protokolliert: ja. Es genügt, dass es zur Überwachung geeignet ist [14]. Dazu kommt der Sachverständige, dessen Hinzuziehung bei KI als erforderlich gilt [15].

Lassen sich ChatGPT, Claude oder Copilot lokal betreiben?

Die Modelle nicht. Die Gewichte hinter ChatGPT und Claude sind nicht verfügbar, und Microsoft 365 Copilot braucht die Cloud. Auch Microsofts Angebot für getrennte Umgebungen bringt andere lokale Modelle mit, nicht den Copilot [43]. OpenAIs offene gpt-oss-Modelle sind nicht die Modelle hinter ChatGPT. GitHub Copilot lässt sich in Visual Studio Code mit lokal gehosteten Modellen nutzen, inzwischen ohne GitHub-Konto und ohne Abo. Das gilt aber nur für den Chat und nicht für Vervollständigungen im Editor, und die Administration kann es sperren [42].

Gibt es europäische Alternativen zu Modellen aus den USA und China?

Ja, mit Einschränkungen. Mistral liefert produktionsreife Open-Weight-Modelle aus Frankreich. Apertus aus der Schweiz, entwickelt an EPFL und ETH Zürich, liegt seit Juli 2026 in Version 1.5 unter Apache 2.0 vor [39]. Teuken-7B stammt aus einem 2025 beendeten Förderprojekt, und nur eine Variante erlaubt die kommerzielle Nutzung [40]. OpenEuroLLM plant erste Gewichte zum Jahresende 2026, bislang gibt es dort nur Referenzmodelle aus der Forschung [41].

Reicht ein kleineres Modell für unseren Anwendungsfall?

Häufig ja. Zusammenfassungen, Klassifikation und interne Assistenz laufen oft auf einer einzelnen Profi-GPU. Ein Test mit echten Aufgaben sagt mehr als jede Benchmark.

Die KI-Kompetenz nach dem AI Act und die Fragen nach zulässigen Eingaben und Datenklassen behandeln wir in unseren KI-Schulungen, die Produkt- und Architekturauswahl auf Leitungsebene in Claude für Entscheider.

Über den Autor

Stephan Hannach ist zertifizierter Atlassian- und KI-Trainer und begleitet Unternehmen bei der Einführung von Claude und Atlassian-Werkzeugen.

Hinweis

Dieser Beitrag bietet eine allgemeine Orientierung und ist keine Rechtsberatung, denn die konkrete Anwendung hängt vom Einzelfall ab. Bei Zweifeln fragen Sie eine Rechtsanwältin oder einen Rechtsanwalt.

Quellen

Stand aller Angaben: 4. August 2026. Alle Links am 4. August 2026 geprüft.

Markt und Infrastruktur

  1. Bitkom: Presseinformation vom 17.06.2026 zum Cloud Report 2026, 603 Unternehmen ab 20 Beschäftigten, 85 nach 78 Prozent und 37 nach 27 Prozent: bitkom.org, Studienbericht: PDF
  2. Europäische Kommission: EU launches InvestAI, 11.02.2025: digital-strategy.ec.europa.eu
  3. EuroHPC Joint Undertaking: AI Gigafactories Call, 30.07.2026: eurohpc-ju.europa.eu

Recht, Mitbestimmung und Geheimschutz

  1. Datenschutz-Grundverordnung (EU) 2016/679, hier Art. 3 zum Anwendungsbereich, Art. 5 Abs. 2 und Art. 24 zur Rechenschaftspflicht, Art. 32 zur Sicherheit der Verarbeitung, Art. 35 zur Datenschutz-Folgenabschätzung, Art. 42 Abs. 4 zur Zertifizierung und Kapitel V zur Drittlandübermittlung: eur-lex.europa.eu
  2. KI-Verordnung (EU) 2024/1689, hier Art. 3 Nr. 4 zum Betreiber, Art. 4 zur KI-Kompetenz seit 02.02.2025 in der Fassung seit 27.07.2026, Art. 6 mit Anhang III Nr. 4 zur Beschäftigung, Art. 25 Abs. 1 zum Übergang der Betreiber- in die Anbieterrolle und Art. 50 zu den Transparenzpflichten seit 02.08.2026, dort Abs. 1 und 2 für Anbieter sowie Abs. 3 und 4 für Betreiber: eur-lex.europa.eu
  3. Änderungsverordnung (EU) 2026/1744 vom 08.07.2026, Digital-Omnibus zur KI, ABl. L vom 24.07.2026, in Kraft seit 27.07.2026. Neufassung von Art. 4 durch Art. 1 Nr. 5, Verschiebung der Hochrisiko-Pflichten durch Art. 1 Nr. 40 auf den 02.12.2027 für Systeme nach Anhang III und den 02.08.2028 für Systeme nach Anhang I: eur-lex.europa.eu
  4. Gesetz zur Umsetzung der NIS-2-Richtlinie und zur Regelung wesentlicher Grundzüge des Informationssicherheitsmanagements in der Bundesverwaltung vom 02.12.2025, BGBl. 2025 I Nr. 301 vom 05.12.2025, in Kraft seit 06.12.2025: recht.bund.de
  5. Digital Operational Resilience Act (EU) 2022/2554, hier Art. 30 Abs. 2 Buchst. b zu Verarbeitungs- und Speicherorten im Vertrag und Art. 31 Abs. 12 zur EU-Tochter binnen zwölf Monaten: eur-lex.europa.eu
  6. Verschlusssachenanweisung (VSA), hier § 50 zur Freigabe von VS-IT und § 51 zur Zulassung von IT-Sicherheitsprodukten: verwaltungsvorschriften-im-internet.de
  7. BSI: Zulassung und Liste zugelassener IT-Sicherheitsprodukte: bsi.bund.de
  8. Bundesministerium für Wirtschaft und Energie: Geheimschutzhandbuch, hier Abschnitt 1.10 zu den Pflichten des nicht amtlichen VS-Auftraggebers, unter anderem bei VS-Unteraufträgen, und Abschnitt 6.11 zu VS auf IT-Systemen: bmwe-sicherheitsforum.de
  9. Strafgesetzbuch, § 203 Abs. 3 und 4 zu mitwirkenden Personen, Reform 2017: gesetze-im-internet.de
  10. Bundesrechtsanwaltsordnung, § 43e zur Inanspruchnahme von Dienstleistungen: gesetze-im-internet.de
  11. Betriebsverfassungsgesetz, § 87 Abs. 1 Nr. 6 zur Mitbestimmung bei technischen Einrichtungen, nach gefestigter Rechtsprechung des Bundesarbeitsgerichts genügt die objektive Eignung zur Überwachung, sowie Abs. 2 zur Einigungsstelle: gesetze-im-internet.de
  12. Betriebsverfassungsgesetz, § 80 Abs. 3 Satz 1 und 2, Sachverständiger bei KI gilt als erforderlich, Vereinbarung über Person und Kosten nach Satz 1: gesetze-im-internet.de
  13. Betriebsverfassungsgesetz, § 90 Abs. 1 Nr. 2 und 3 zur Unterrichtung über die Planung technischer Anlagen sowie von Arbeitsverfahren und Arbeitsabläufen einschließlich des Einsatzes von künstlicher Intelligenz, sowie Abs. 2 zur rechtzeitigen Beratung: gesetze-im-internet.de
  14. Datenschutzkonferenz: Orientierungshilfe Künstliche Intelligenz und Datenschutz vom 06.05.2024 sowie Orientierungshilfe zu generativen KI-Systemen mit RAG-Methode vom Oktober 2025: datenschutzkonferenz-online.de
  15. BSI: Evasion-Attacks auf LLMs, Gegenmaßnahmen in der Praxis, Version 1.0 vom 15.01.2026: bsi.bund.de (PDF)

Hardware, Strom und Preise

  1. Thunder Compute: NVIDIA RTX Pro 6000 Blackwell, Listen-, Straßen- und Mietpreise, 01.08.2026. Listenpreis 13.250 US-Dollar nach 8.565 US-Dollar im März 2025, Miete ab 1,42 US-Dollar bei Vast.ai, AWS 3,36 und Google Cloud 4,50: thundercompute.com
  2. Geizhals: Preisvergleich RTX Pro 6000 Blackwell, Bruttopreise, netto ab rund 10.500 Euro für die Workstation Edition und ab rund 13.200 Euro für die Server Edition: geizhals.de
  3. Lenovo Press: ThinkSystem RTX Pro 6000 Blackwell Server Edition: lenovopress.lenovo.com
  4. Mercatus: NVIDIA H200 Server Price in 2026, 8-GPU-Server 320.000 bis 420.000 US-Dollar: mercatus-ai.com
  5. NVIDIA: DGX H100/H200 User Guide, Anschlussleistung bis 10,2 kW: docs.nvidia.com
  6. Statistisches Bundesamt: Strompreise für Nicht-Haushaltskunden, Pressemitteilung 111/2026 vom 31.03.2026, Abnehmer unter 20 MWh im zweiten Halbjahr 2025: 32,58 Cent je kWh: destatis.de
  7. BDEW: Strompreisanalyse April 2026, Industrie-Neuabschlüsse von 160 MWh bis 20 GWh: 16,7 Cent je kWh: bdew.de
  8. Europäische Zentralbank: Euro-Referenzkurse, 03.08.2026: 1,1535 US-Dollar je Euro: ecb.europa.eu
  9. ComputePrices: Mietpreise je GPU-Stunde für H200 und RTX Pro 6000, Stand 04.08.2026, H200 im On-Demand-Betrieb typisch 3,50 bis 4,40 US-Dollar und im Spot-Markt ab 1,40 US-Dollar: computeprices.com

Modelle

  1. Moonshot AI: Kimi K3, Model Card und Lizenz: huggingface.co
  2. vLLM: Deploying Kimi K3, Hardware-Empfehlung, 27.07.2026: vllm.ai
  3. Z.ai: GLM-5.2: huggingface.co
  4. DeepSeek: V4 Pro: huggingface.co
  5. DeepSeek: V4 Flash, Fassung vom 31.07.2026: huggingface.co
  6. Alibaba: Qwen3.6: huggingface.co
  7. Mistral AI: Model Card Mistral Medium 3.5: docs.mistral.ai
  8. Mistral AI: Mistral Small 4: huggingface.co
  9. Mistral AI: Devstral Small 2: huggingface.co
  10. OpenAI: gpt-oss: huggingface.co
  11. Meta: Llama 4 Community License: llama.com. Die EU-Ausnahme für multimodale Varianten steht nicht in der Lizenz, sondern in der Acceptable Use Policy: llama.com, Textfassung im Repository von Meta: github.com
  12. EPFL: Apertus 1.5, 24.07.2026: actu.epfl.ch
  13. Fraunhofer IAIS: OpenGPT-X und Teuken-7B, Projektende 31.03.2025: iais.fraunhofer.de
  14. OpenEuroLLM: Deliverables, erste Modellgewichte zum 31.12.2026: openeurollm.eu

Betriebsmodelle

  1. Visual Studio Code: Language models und eigener Schlüssel: code.visualstudio.com
  2. Microsoft: Sovereign Cloud, Betrieb ohne Verbindung, 24.02.2026: blogs.microsoft.com
  3. Brillianza: gemanagte Private Cloud in der Kundenliegenschaft, Anbieterangaben: brillianza.de

Zurück zur Übersicht

Mehr lesen

Ähnliche Beiträge

Kontakt

Bereit für den nächsten Schritt?

Jetzt Kontakt aufnehmen

Telefonisch oder über das Formular, unverbindlich und unkompliziert.