Ollama

    Ollama: offene Sprachmodelle auf Ihrer eigenen Hardware.

    Notizen, die das Haus nicht verlassen dürfen, fasst ein offenes Modell auf Ihrem Server zusammen. Wir messen an Ihren Aufgaben, ob Qualität und Hardware reichen.

    Für Organisationen, deren Daten das eigene Netz nicht verlassen sollen oder deren Aufgaben ohne Internetverbindung laufen müssen.

    • Ollama
    • gpt-oss
    • OpenClaw
    • Hermes Agent
    • Docker
    • Microsoft Foundry
    Ein Rustico im Verzascatal mit Blick auf den Ponte dei Salti, ein Mann arbeitet am Laptop mit Ollama, ein Kabel führt zu einem kleinen Rechner auf dem Tisch, daneben Kastanien und der Roboter-Agent
    01

    Wo lokale Modelle passen

    Die Rechtsabteilung der Muster AG fasst vertrauliche Gesprächsnotizen zusammen: Das Modell läuft auf einem Server im eigenen Rechenzentrum, Ollama stellt es im internen Netz über eine Schnittstelle bereit, und keine Anfrage geht nach aussen. Lokale Modelle passen dort, wo Daten Ihr Netz nicht verlassen sollen, wo eine Aufgabe ohne Internetverbindung laufen muss oder wo viele gleichartige Texte anfallen. Für Planung, Recherche und Agenten mit Werkzeugen bleiben grosse Modelle in Microsoft Foundry meist die stärkere Wahl, und beides lässt sich in einer Anwendung verbinden.

    02

    Was wir mit Ollama bauen

    Ollama stellt offene Modelle über eine REST-Schnittstelle bereit, auch mit OpenAI-kompatiblen Endpunkten; eine Anwendung, die für die OpenAI-API geschrieben ist, wechselt über die Basisadresse auf ein lokales Modell. Wir setzen es für diese Aufgaben ein:

    • Lokaler TextdienstZusammenfassen, Übersetzen, Klassifizieren und Felder aus Dokumenten auslesen, auf einem Server in Ihrem Netz, angebunden an die Anwendung, die diese Texte heute verarbeitet.Ergebnis: vertrauliche Texte werden verarbeitet, ohne dass eine Anfrage Ihr Netz verlässt.
    • Modell für Ihren persönlichen AgentenOpenClaw oder Hermes Agent geben private Notizen und erste Entwürfe an ein lokales Modell, Mails und Planung an ein Cloud-Modell.Ergebnis: der Text, der privat bleiben soll, bleibt auf Ihrem Rechner.
    • Entwicklung und TestsIhr Team erprobt Prompts, Embeddings und Abläufe mit einem lokalen Modell und Testdaten, bevor die Anwendung gegen ein Modell in Microsoft Foundry läuft.Ergebnis: Abläufe sind geprüft, bevor sie Azure erreichen.
    • Abgesicherter BetriebZugang nur aus dem internen Netz, Anmeldung über einen vorgeschalteten Proxy, Cloud-Modelle und Websuche abgeschaltet, eine Liste freigegebener Modelle und ein Protokoll der Anfragen.Ergebnis: die IT weiss, welches Modell läuft, wer es nutzt und dass nichts hinausgeht.
    03

    Hardware, Netz, Modelllizenz

    Ein Testsatz mit typischen Aufgaben und Beispieldaten, an dem sich zeigt, was das Modell leisten muss. Hardware, die zum Modell passt: Modellgrösse, Grafikspeicher und die Zahl gleichzeitiger Anfragen bestimmen, was ein Server trägt, und mehr Parallelität braucht mehr Speicher. Die Lizenz jedes offenen Modells prüfen wir für Ihren Einsatz. Jede Verbindung, die aus der Umgebung hinausführt, halten wir fest und geben sie ausdrücklich frei. Und eine Person, die Updates, Modellwechsel und den Server verantwortet.

    04

    Was die Messung entscheidet

    Wir messen Qualität, Antwortdauer und Ressourcenbedarf an Ihrem Testsatz, im Vergleich mit einem Modell in Microsoft Foundry. Ausfälle, Updates und Zugriffe spielen wir durch, und wir prüfen im Protokoll, dass keine Verbindung nach aussen ohne Freigabe besteht. Die Entscheidung berücksichtigt neben der Hardware auch die Pflege und die Frage, wer den Betrieb verantwortet.

    Was Sie von uns erhalten

    Der Modellvergleich an Ihren Aufgaben.

    Bevor Sie sich für ein Modell entscheiden, prüfen wir die Kandidaten an Ihren eigenen Aufgaben und halten fest, welches wofür passt. Hier als Muster mit erfundenen Ergebnissen und neutral benannten Modellen.

    Prüfbericht

    Muster

    Modellvergleich an drei Aufgaben

    Kunde
    Muster AG, Bern (erfunden)
    Aufgaben
    Verträge zusammenfassen, Fragen zu Reglementen, Code-Review
    Geprüft
    14. bis 20. Oktober 2026
    Testdaten
    Anonymisierte Dokumente und ein Test-Repository
    • 4Modelle verglichen
    • 3Aufgaben
    • 120Testfälle
    • 2Modelle empfohlen

    Zusammenfassung

    Wir haben zwei Cloud-Modelle und zwei offene Modelle an drei Aufgaben der Muster AG geprüft, mit 120 Testfällen aus anonymisierten Dokumenten. Für Verträge und Code empfehlen wir ein Cloud-Modell mit geregelter Datenverarbeitung. Für Fragen zu den internen Reglementen antwortete ein offenes Modell auf eigener Hardware gleich genau und bleibt im eigenen Netz.

    TestfälleAufgabe und ErgebnisEmpfehlung
    40Verträge zusammenfassen: Cloud-Modell A fand jede Kündigungsfrist, offenes Modell C übersah zwei in Anhängen.Cloud-Modell A
    50Fragen zu Reglementen: alle vier antworteten mit Quelle, offenes Modell C so genau wie die Cloud-Modelle.Offenes Modell C, im eigenen Netz
    30Code-Review: die Cloud-Modelle A und B fanden die eingebauten Fehler, die offenen Modelle etwa die Hälfte.Cloud-Modell A oder B

    Vor dem Einsatz zu klären

    • Den Vertrag zur Datenverarbeitung für das Cloud-Modell prüft der Rechtsdienst.
    • Für das offene Modell braucht es einen Server mit Grafikkarte; das Angebot liegt bei der IT.

    So geht es weiter

    Mit Ihrem Entscheid richten wir die gewählten Modelle ein und wiederholen die Testfälle nach jedem Modellwechsel. Im echten Bericht stehen die Modelle mit Namen und Version.

    Muster mit erfundenen Angaben einer Muster AG.

    Erkennen Sie Ihre Lage wieder? Erzählen Sie uns, wo Sie heute stehen.

    Kontakt

    Aktuelles.

    Stand: Oktober 2026

    • Stand Oktober 2026

      Ollama hört standardmässig nur auf den eigenen Rechner.

      Der Server bindet sich an 127.0.0.1 auf Port 11434. Wer ihn mit OLLAMA_HOST im Netz freigibt, regelt den Zugang davor, etwa über einen Reverse Proxy, und hält fest, wer das Modell erreicht.

      Quelle: Ollama Docs: FAQ
    • Stand Oktober 2026

      Cloud-Modelle und Websuche lassen sich abschalten.

      Neben lokalen Modellen bietet Ollama Cloud-Modelle an, die bei Ollama laufen und eine Anmeldung brauchen. Mit OLLAMA_NO_CLOUD=1 oder disable_ollama_cloud in der server.json schaltet der Server beides ab. Lokal ausgeführt sieht Ollama nach eigener Aussage weder Prompts noch Daten.

      Quelle: Ollama Docs: FAQ
    • Stand Oktober 2026

      OpenAI-kompatible Endpunkte auf dem eigenen Server.

      Unter localhost:11434/v1 stehen Chat Completions, Completions, Embeddings, Modelle und die Responses-API ohne gespeicherten Zustand bereit. Anwendungen, die für die OpenAI-API geschrieben sind, wechseln damit über die Basisadresse auf ein lokales Modell.

      Quelle: Ollama Docs: OpenAI compatibility
    • Stand Oktober 2026

      MIT-Lizenz, für macOS, Windows, Linux und Docker.

      Ollama selbst steht unter MIT-Lizenz und läuft auf macOS, Windows und Linux sowie als offizielles Docker-Image. Für die Modelle gelten die Lizenzen ihrer Hersteller, die wir pro Einsatz prüfen.

      Quelle: GitHub: ollama/ollama

    Was IT-Teams vor dem ersten Modell fragen.

    Verlassen unsere Daten das Haus?

    Beim lokalen Betrieb bleiben Prompts und Antworten auf Ihrem Server. Verbindungen nach aussen entstehen durch Cloud-Modelle, Websuche und das Herunterladen von Modellen. Cloud-Funktionen schalten wir ab, Modelle laden wir über einen freigegebenen Weg, und jede Verbindung nach aussen halten wir fest.

    Welche Hardware brauchen wir?

    Das bestimmen Modell und Last. Ein kleines Modell läuft auf einem aktuellen Laptop, ein grosses braucht einen Server mit Grafikkarten und viel Grafikspeicher. Passt ein Modell nicht in den Grafikspeicher, rechnet Ollama teilweise auf dem Prozessor, und die Antworten kommen langsamer. Wir messen mit Ihrem Testsatz, bevor Hardware beschafft wird.

    Wie viele Personen können gleichzeitig arbeiten?

    Standardmässig verarbeitet jedes geladene Modell eine Anfrage zur gleichen Zeit, weitere warten in einer Warteschlange. Mit OLLAMA_NUM_PARALLEL lässt sich das erhöhen; der Speicherbedarf wächst mit Parallelität und Kontextlänge. Für eine Abteilung planen wir die Last auf einem Server, für das ganze Unternehmen ist meist Microsoft Foundry die tragfähigere Wahl.

    Sind offene Modelle so gut wie GPT oder Claude?

    Für eng umrissene Aufgaben wie Zusammenfassen, Klassifizieren oder Felder auslesen oft gut genug. Für lange Planung, Recherche und Agenten mit Werkzeugen liegen die grossen Cloud-Modelle meist vorn. Ollama arbeitet standardmässig mit einem Kontextfenster von 4096 Tokens, das wir für lange Dokumente erhöhen, was Speicher kostet. Der Vergleich an Ihrem Testsatz entscheidet.

    Wer betreibt den Server?

    Ihre IT oder unser Team für Support & Operations. Dazu gehören Updates von Ollama und Betriebssystem, die Liste freigegebener Modelle, die Sicherung der Konfiguration und die Überwachung von Last und Zugriffen. Wer das übernimmt, steht vor dem Start fest.

    Den nächsten Schritt gemeinsam klären

    Beschreiben Sie uns Ihren heutigen Ablauf, die beteiligten Systeme und das gewünschte Ergebnis. Im ersten Gespräch klären wir, welche Informationen für einen sinnvollen nächsten Schritt fehlen.