Alle FeaturesSouveräner Arbeitsplatz

KI auf Ihren eigenen Servern

GPU-Nodes in Ihrem eigenen Cluster führen die Modelle aus. Der NVIDIA GPU Operator installiert die Treiber, HAMi lässt mehrere Workloads eine GPU teilen, und KEDA skaliert sie. Sie bringen die Modelle mit, und sie laufen auf Hardware, die Sie kontrollieren.

Open WebUI mit dem Modell ministral-3:8b, das auf die Bitte um eine Mitarbeiterinformation zum Umzug der E-Mail auf die eigenen Server des Unternehmens antwortet.
Open WebUI, eine beispielhafte Chat-Oberfläche, mit ministral-3:8b, einem Open-Weight-Modell von Mistral AI unter der Lizenz Apache-2.0

Die Screenshots stammen aus den Apps auf einem Testserver, mit erfundenen Daten.

Was in Ihrer Hand bleibt

  • Das Modell läuft auf GPU-Nodes in Ihrem eigenen Cluster, sodass Prompts und Dokumente auf Hardware bleiben, die Sie kontrollieren.

  • Open-Weight-Modelle sind Dateien, die Sie herunterladen, offline ausführen und als Kopie behalten können. Vollständig offene Modelle wie Apertus und OLMo veröffentlichen zusätzlich ihre Trainingsdaten, sodass Sie prüfen können, wie sie entstanden sind.

  • Die Chat-Oberfläche und die Coding-Tools sind eigene Programme, die mit Ihrem Modell sprechen, sodass Sie jedes davon austauschen können.

  • Die Lizenz entscheidet, was Sie mit einem Modell tun dürfen. Manche Open-Weight-Modelle haben Einschränkungen für Unternehmen in der EU oder ab bestimmten Umsätzen. Die Tabelle unten führt sie auf.

Open-Source-Apps dahinter

  • NVIDIA GPU Operator
  • HAMi
  • KEDA

Alternative zu

Geschlossene KI-Assistenten von Anbietern außerhalb der EU, etwa ChatGPT, Microsoft Copilot, Google Gemini und Claude

Open-Weight-Modelle, die Sie betreiben können

Open-Weight bedeutet, dass die Modelldateien veröffentlicht sind und Sie sie selbst betreiben können. Offene Trainingsdaten bedeuten, dass auch die Daten veröffentlicht sind und Sie prüfen können, wie das Modell entstanden ist. Die Tabelle wurde am 2026-10-15 aus den Model Cards, Lizenzdateien und Ankündigungen der Hersteller zusammengestellt.

  • MistralMistral Large 3, Mistral Small 4, Mistral Medium 3.5
    Hersteller
    Mistral AI
    Land
    Frankreich
    Offene Trainingsdaten
    Nein
    Lizenz
    Apache-2.0, Modified MIT

    Large 3 und Small 4 stehen unter Apache-2.0. Medium 3.5 und Devstral 2 nutzen eine modifizierte MIT-Lizenz, die Unternehmen mit einem weltweiten konsolidierten Monatsumsatz von über 20 Mio. USD keine Rechte einräumt. Large 4 wurde am 2026-10-06 angekündigt, seine Lizenz ist noch nicht bekannt. Laut Mistral folgen die Gewichte bis Ende Oktober.

  • ApertusApertus 1.5 70B, Apertus 1.5 8B
    Hersteller
    EPFL, ETH Zurich, CSCS
    Land
    Schweiz
    Offene Trainingsdaten
    Ja
    Lizenz
    Apache-2.0

    Vollständig offen: Die Gewichte, die Trainingsdaten und alle Details zum Training sind veröffentlicht. Version 1.5 folgte am 2026-07-24.

  • EuroLLMEuroLLM-22B, EuroLLM-9B
    Hersteller
    IST Lisbon, Unbabel, University of Edinburgh et al.
    Land
    Europäische Union
    Offene Trainingsdaten
    Nicht bestätigt
    Lizenz
    Apache-2.0

    Entwickelt von europäischen Universitäten und Unternehmen und von der EU finanziert. Laut Model Card ist es das beste vollständig offene Modell aus der EU in allgemeinen Benchmarks. Die mehrsprachigen Web-Daten für das Pre-Training (EuroWeb) und die Instruktionsdaten (EuroBlocks) sind öffentlich auf Hugging Face. Dass auch die übrigen Trainingsdaten öffentlich sind, haben wir nicht bestätigt.

  • TeukenTeuken-7B-instruct-v0.6
    Hersteller
    OpenGPT-X: Fraunhofer, FZ Jülich, TU Dresden, DFKI
    Land
    Deutschland
    Offene Trainingsdaten
    Nicht bestätigt
    Lizenz
    CC-BY-NC-4.0, Apache-2.0

    In Deutschland für 24 EU-Sprachen entwickelt. Das neueste Release, Teuken-7B-instruct-v0.6 (2025-07), steht unter CC-BY-NC-4.0, das die kommerzielle Nutzung ausschließt. Die Version unter Apache-2.0 ist die ältere v0.4 (2024-10).

  • OLMoOlmo 3.1 32B Think, Olmo 3.1 32B Instruct
    Hersteller
    Ai2
    Land
    Vereinigte Staaten
    Offene Trainingsdaten
    Ja
    Lizenz
    Apache-2.0

    Vollständig offen: Die Gewichte, die Trainingsdaten (Dolma 3 und Dolci), der Trainingscode und die Checkpoints sind veröffentlicht.

  • GemmaGemma 4 31B, Gemma 4 26B-A4B, Gemma 4 12B
    Hersteller
    Google
    Land
    Vereinigte Staaten
    Offene Trainingsdaten
    Nein
    Lizenz
    Apache-2.0

    Gemma 4 (2026-04-02) steht unter Apache-2.0. Frühere Versionen von Gemma nutzten eine eigene Lizenz von Google.

  • gpt-ossgpt-oss-120b, gpt-oss-20b
    Hersteller
    OpenAI
    Land
    Vereinigte Staaten
    Offene Trainingsdaten
    Nein
    Lizenz
    Apache-2.0

    Apache-2.0. OpenAI veröffentlicht die Gewichte und Referenzcode, aber nicht die Trainingsdaten.

  • Llama, MuseMuse Glimmer 30B, Llama 4 Scout, Llama 4 Maverick
    Hersteller
    Meta
    Land
    Vereinigte Staaten
    Offene Trainingsdaten
    Nein
    Lizenz
    Llama 4 Community License, Apache-2.0

    Llama 4 nutzt die Llama 4 Community License. Ihre Acceptable Use Policy verweigert die Lizenz für die multimodalen Llama-4-Modelle Personen mit Wohnsitz in der EU und Unternehmen mit Hauptsitz in der EU. Muse Glimmer 30B (2026-08-10) steht unter Apache-2.0.

  • DeepSeekDeepSeek-V4-Pro, DeepSeek-V4-Flash, DeepSeek-V4.1-Flash
    Hersteller
    DeepSeek
    Land
    China
    Offene Trainingsdaten
    Nein
    Lizenz
    MIT

    MIT-Lizenz. DeepSeek veröffentlicht die Gewichte, einen technischen Bericht und einen Teil des Infrastrukturcodes, aber nicht die Trainingsdaten.

  • GLMGLM-5.3, GLM-5.3-Flash
    Hersteller
    Zhipu AI (Z.ai)
    Land
    China
    Offene Trainingsdaten
    Nein
    Lizenz
    GLM-5.3 License, MIT

    GLM-5.3 steht unter einer MIT-ähnlichen Lizenz mit einer Bedingung: Ein Unternehmen, das gehosteten Zugang zum Modell verkauft (Model-as-a-Service) und in beliebigen 12 Monaten einen Konzernumsatz von über 10 Mrd. USD hat, muss vor der kommerziellen Nutzung die Sicherheitsprüfung von Z.AI bestehen. GLM-5.3-Flash und GLM-5.2 stehen unter MIT.

  • QwenQwen3.8-2.4T-A95B, Qwen3.8-27B, Qwen3.8-Flash-Next
    Hersteller
    Alibaba
    Land
    China
    Offene Trainingsdaten
    Nein
    Lizenz
    Qwen3.8-Max License, Qwen Community License 1.0, Apache-2.0

    Qwen3.8-27B steht unter Apache-2.0. Für Qwen3.8-2.4T-A95B braucht ein Unternehmen, das gehosteten Zugang zum Modell (Model-as-a-Service) oder einen KI-Arbeitsassistenten verkauft, ab 50 Mio. USD Umsatz in 12 Monaten eine eigene Lizenz. Für Qwen3.8-Flash-Next braucht es sie bei jedem Umsatz.

  • KimiKimi K3, Kimi K2.7 Code
    Hersteller
    Moonshot AI
    Land
    China
    Offene Trainingsdaten
    Nein
    Lizenz
    Kimi K3 License, Modified MIT

    Kimi K3: Ein Unternehmen, das gehosteten Zugang zum Modell verkauft (Model-as-a-Service), braucht ab 20 Mio. USD Umsatz in 12 Monaten eine eigene Vereinbarung. Ein Produkt mit mehr als 100 Millionen Nutzern pro Monat oder 20 Mio. USD Monatsumsatz muss den Namen Kimi K3 anzeigen.

Programmieren mit offenen Modellen

Open-Weight-Modelle können heute schon einen Coding-Agent antreiben, aber die besten geschlossenen Modelle liegen noch vorn. Bei Terminal-Bench 4.0 (Daten vom 2026-10-06) erzielt GLM-5.3 als bestes Open-Weight-Modell 41,8 % gelöste Aufgaben. Das beste geschlossene Ergebnis erzielt Claude Opus 5.5 mit 64,8 %. Beide liefen mit Claude Code als Agent.

Ollama legt das Kontextfenster standardmäßig anhand des GPU-Speichers fest: 4k Tokens unter 24 GiB, 32k von 24 bis 48 GiB und 256k ab 48 GiB (laut Dokumentation, gelesen am 2026-10-15). Dieselbe Dokumentation empfiehlt für Coding-Tools mindestens 64.000 Tokens – vergrößern Sie das Fenster also, bevor Sie einen Coding-Agent starten. Die Dokumentation von Aider weist darauf hin, dass bei großen Repositorys selbst die Repository-Map nicht in das Kontextfenster eines Modells passen kann.

Aider-Dokumentation: Repository-Map

Open-Source-Coding-Tools, die ein lokales Modell nutzen können

Schreiben mit offenen Modellen

Eine Chat-Oberfläche vor einem Open-Weight-Modell auf Ihrem eigenen Server kann Texte entwerfen und umschreiben, ohne dass ein Prompt Ihre Server verlässt. Im Text-Leaderboard von Arena (gelesen am 2026-10-15) steht das beste Open-Weight-Modell, Kimi K3, mit 1488 Punkten auf Platz 17. Das erstplatzierte Modell ist geschlossen, erreicht 1525 Punkte und ist noch als vorläufig markiert. Die Rangspanne von Kimi K3 reicht von 9 bis 29, die Reihenfolge ist also nicht exakt.

Chat-Oberflächen, die Sie selbst betreiben können

Open WebUI, Onyx und LobeHub ergänzen die Lizenz um eigene Bedingungen – lesen Sie diese, bevor Sie eine davon einführen.

Öffentliche Leaderboards

  • Terminal-Bench 4.0

    Coding-Agents lösen Aufgaben in einem Terminal. Jedes Ergebnis gilt für einen Agent und ein Modell zusammen. Daten vom 2026-10-06.

  • Text-Leaderboard von Arena

    Bewertet 415 Modelle anhand von 8.804.675 Nutzerstimmen. Gelesen am 2026-10-15.

  • Artificial Analysis

    Bewertet Modelle anhand von zehn Evaluierungen in seinem Intelligence Index (v4.3.2) und führt ein eigenes Diagramm für Open-Weight-Modelle. Gelesen am 2026-10-15.

  • SWE-bench VerifiedNicht aktuell

    Der neueste Eintrag stammt vom 2026-02-26, daher fehlen Modelle, die danach erschienen sind.

  • Aider PolyglotNicht aktuell

    Der letzte Eintrag stammt vom 2025-10-03.

  • LiveCodeBenchNicht aktuell

    Die Daten umfassen Aufgaben von 2023-05 bis 2025-04 und Modelle bis Mitte 2025, daher kann es keine Modelle von 2026 einordnen.

Wie souverän ist Ihr Setup?

Bewerten Sie dieses Feature und den Rest Ihres Stacks in der kostenlosen Selbstbewertung.

Zur Selbstbewertung