Hugging Face

    Hugging Face: offene Modelle finden, prüfen und bei Ihnen betreiben.

    Das Modell, das Ihre Lieferantenmails im eigenen Netz zuordnet, kommt mit Lizenz und Modellkarte vom Hub. Wir wählen es aus, spiegeln es zu Ihnen und betreiben es dort, mit Ollama oder in Microsoft Foundry.

    Für IT-Teams, die ein offenes Modell mit geprüfter Lizenz im eigenen Netz betreiben oder auf eigene Daten abstimmen wollen.

    • Hugging Face Hub
    • Enterprise Hub
    • Safetensors
    • Ollama
    • vLLM
    • Microsoft Foundry
    Der botanische Garten auf den Brissago-Inseln, eine Gärtnerin topft beschriftete Setzlinge um, am Laptop eine Liste von Modellen, daneben der Roboter-Agent mit Giesskanne
    01

    Wo der Hub ins Spiel kommt

    Die Muster AG will Lieferantenmails in drei Sprachen automatisch der richtigen Abteilung zuordnen, und die Mails dürfen das Haus nicht verlassen. Die IT sucht auf dem Hub ein Modell mit passender Lizenz, liest die Modellkarte, lädt die Gewichte einmal über den Proxy und startet sie auf dem Server im eigenen Netz. Hugging Face passt, wenn Sie ein offenes Modell selbst betreiben, feinabstimmen oder zwischen Standorten verschieben wollen und wenn die Herkunft jedes Modells nachvollziehbar sein muss. Dasselbe Modell läuft lokal mit Ollama, auf einer GPU-Maschine mit vLLM oder aus der Hugging-Face-Sammlung in Microsoft Foundry, und die Anwendung wechselt nur die Basisadresse.

    02

    Was wir mit Hugging Face bauen

    Der Hub hält Modelle, Datensätze und Modellkarten mit Lizenz und Herkunft; die Bibliotheken dazu laden, prüfen und betreiben sie. Wir setzen ihn für diese Aufgaben ein:

    • Modellauswahl mit NachweisFür Ihre Aufgabe stellen wir drei bis fünf Kandidaten vom Hub zusammen, prüfen Lizenz, Herkunft und Dateiformat und messen sie an Ihrem Testsatz.Ergebnis: ein Modellregister mit Version, Lizenz und Messwert pro Modell.
    • Spiegel im eigenen NetzDie freigegebenen Modelle lädt ein Dienstkonto einmal über Ihren Proxy; danach arbeiten Server und Rechner aus dem lokalen Cache, mit abgeschaltetem Zugriff auf den Hub.Ergebnis: kein Download zur Laufzeit, jede Version im Haus.
    • Betrieb auf drei WegenLokal mit Ollama direkt aus einem GGUF-Repository, auf GPU-Servern mit vLLM oder llama.cpp, oder aus der Hugging-Face-Sammlung in Microsoft Foundry, wenn die Last ein Azure-Abonnement braucht.Ergebnis: eine Anwendung, die über die Basisadresse den Betriebsort wechselt.
    • Eigene Modelle und DatensätzeFeinabstimmungen und Trainingsdaten liegen in einer privaten Organisation auf dem Hub, mit Anmeldung über Microsoft Entra ID, Speicherort EU und Prüfprotokoll.Ergebnis: das Team teilt Modelle intern, ohne dass sie öffentlich werden.
    03

    Lizenz, Zugang, Spiegel

    Ein Testsatz mit typischen Aufgaben und Beispieldaten. Die Lizenz jedes Modells, gelesen für Ihren Einsatz, denn Apache 2.0, MIT und die Lizenzen einzelner Hersteller erlauben Unterschiedliches. Ein Dienstkonto mit Token für den Zugriff, weil zugangsbeschränkte Modelle Benutzername und E-Mail an den Herausgeber übermitteln und niemand sein privates Konto dafür nutzen soll. Ein freigegebener Weg für Downloads durch Ihren Proxy und ein Speicherort für den Cache. Und eine Person, die Modellregister, Updates und Betrieb verantwortet.

    04

    Was die Messung entscheidet

    Wir messen Qualität, Antwortdauer und Ressourcenbedarf am Testsatz, pro Kandidat und pro Betriebsort, und vergleichen mit einem Modell in Microsoft Foundry. Im Protokoll prüfen wir, dass zur Laufzeit keine Verbindung zum Hub besteht, dass jede Datei zur Prüfsumme der Modellkarte passt und dass nur Modelle ohne ausführbaren Code im Register stehen. Die Entscheidung hält fest, welches Modell wo läuft und wer es pflegt.

    Was Sie von uns erhalten

    Der Modellvergleich an Ihren Aufgaben.

    Bevor Sie sich für ein Modell entscheiden, prüfen wir die Kandidaten an Ihren eigenen Aufgaben und halten fest, welches wofür passt. Hier als Muster mit erfundenen Ergebnissen und neutral benannten Modellen.

    Prüfbericht

    Muster

    Modellvergleich an drei Aufgaben

    Kunde
    Muster AG, Bern (erfunden)
    Aufgaben
    Verträge zusammenfassen, Fragen zu Reglementen, Code-Review
    Geprüft
    14. bis 20. Oktober 2026
    Testdaten
    Anonymisierte Dokumente und ein Test-Repository
    • 4Modelle verglichen
    • 3Aufgaben
    • 120Testfälle
    • 2Modelle empfohlen

    Zusammenfassung

    Wir haben zwei Cloud-Modelle und zwei offene Modelle an drei Aufgaben der Muster AG geprüft, mit 120 Testfällen aus anonymisierten Dokumenten. Für Verträge und Code empfehlen wir ein Cloud-Modell mit geregelter Datenverarbeitung. Für Fragen zu den internen Reglementen antwortete ein offenes Modell auf eigener Hardware gleich genau und bleibt im eigenen Netz.

    TestfälleAufgabe und ErgebnisEmpfehlung
    40Verträge zusammenfassen: Cloud-Modell A fand jede Kündigungsfrist, offenes Modell C übersah zwei in Anhängen.Cloud-Modell A
    50Fragen zu Reglementen: alle vier antworteten mit Quelle, offenes Modell C so genau wie die Cloud-Modelle.Offenes Modell C, im eigenen Netz
    30Code-Review: die Cloud-Modelle A und B fanden die eingebauten Fehler, die offenen Modelle etwa die Hälfte.Cloud-Modell A oder B

    Vor dem Einsatz zu klären

    • Den Vertrag zur Datenverarbeitung für das Cloud-Modell prüft der Rechtsdienst.
    • Für das offene Modell braucht es einen Server mit Grafikkarte; das Angebot liegt bei der IT.

    So geht es weiter

    Mit Ihrem Entscheid richten wir die gewählten Modelle ein und wiederholen die Testfälle nach jedem Modellwechsel. Im echten Bericht stehen die Modelle mit Namen und Version.

    Muster mit erfundenen Angaben einer Muster AG.

    Erkennen Sie Ihre Lage wieder? Erzählen Sie uns, wo Sie heute stehen.

    Kontakt

    Aktuelles.

    Stand: Oktober 2026

    • Stand Oktober 2026

      Jedes GGUF-Modell vom Hub läuft direkt in Ollama.

      Mit ollama run hf.co/{Organisation}/{Repository}:{Quantisierung} startet Ollama ein Modell direkt aus dem Hub, ohne eigenes Modelfile; ohne Angabe nimmt es Q4_K_M, wenn vorhanden. Private Repositorys brauchen den SSH-Schlüssel von Ollama im Hugging-Face-Konto.

      Quelle: Hugging Face Docs: Use Ollama with any GGUF model
    • Stand Oktober 2026

      Die Hugging-Face-Sammlung in Microsoft Foundry läuft ohne Verbindung zum Hub.

      Managed Compute in Microsoft Foundry, derzeit in der Vorschau, stellt Modelle aus der Sammlung aus einer Microsoft-Registry bereit: nur Safetensors, kein ausführbarer Code, Gewichte vorab in Azure-Speicher geladen, deshalb kein ausgehender Zugriff auf den Hub. Abrechnung pro Beschleuniger und Stunde, vorerst nur als globale Bereitstellung und ohne SLA.

      Quelle: Microsoft Learn: Managed compute in Microsoft Foundry
    • Stand Oktober 2026

      Speicherort EU für Modelle und Datensätze im Team- und Enterprise-Plan.

      Organisationen mit Team- oder Enterprise-Plan wählen, ob neue Repositorys in den USA oder in der EU liegen; ohne Plan liegen sie immer in den USA, und die Schweiz ist keine eigene Region. Dazu kommen SSO über SAML 2.0 oder OIDC mit Microsoft Entra ID, ein Prüfprotokoll mit Export über die API und Ressourcengruppen für den Zugriff.

      Quelle: Hugging Face Docs: Storage Regions
    • Stand Oktober 2026

      Offline-Modus und Telemetrie-Schalter in den Bibliotheken.

      Mit HF_HUB_OFFLINE=1 lesen die Bibliotheken nur aus dem lokalen Cache und sprechen den Hub nicht mehr an; HF_HOME setzt den Speicherort, HF_TOKEN das Token eines Dienstkontos und HF_HUB_DISABLE_TELEMETRY=1 schaltet die Nutzungsdaten der Bibliotheken ab.

      Quelle: Hugging Face Docs: Environment variables

    Was IT-Teams vor dem ersten Download fragen.

    Dürfen wir jedes Modell vom Hub geschäftlich nutzen?

    Das regelt die Lizenz jedes Modells. Apache 2.0 und MIT erlauben den geschäftlichen Einsatz, Lizenzen einzelner Hersteller setzen Bedingungen, etwa eine Nutzerzahl oder einen Verwendungszweck, und manche Modelle sind nur auf Anfrage zugänglich. Wir lesen die Lizenz für Ihren Fall und halten das Ergebnis im Modellregister fest.

    Was sieht Hugging Face von uns?

    Beim Download das Konto, das lädt, und bei zugangsbeschränkten Modellen Benutzername und E-Mail, die an den Herausgeber des Modells gehen. Beim Betrieb auf Ihrem Server nichts: Prompts und Antworten bleiben im Haus, und mit abgeschaltetem Hub-Zugriff und ohne Telemetrie geht auch zur Laufzeit keine Anfrage hinaus. Deshalb lädt ein Dienstkonto, nicht ein Mitarbeitender.

    Wie schützen wir uns vor schädlichen Modelldateien?

    Wir nehmen nur Modelle im Safetensors-Format ins Register, lehnen Repositorys ab, die beim Laden eigenen Code ausführen wollen, und prüfen die Prüfsummen gegen die Modellkarte. Der Hub scannt Repositorys auf Schadsoftware und Pickle-Dateien, und die Sammlung in Microsoft Foundry lässt nur geprüfte Safetensors-Modelle zu. Der Download läuft über Ihren Proxy und ist dort protokolliert.

    Brauchen wir den Enterprise-Plan?

    Für das Laden öffentlicher Modelle nicht. Sobald Ihr Team eigene Feinabstimmungen oder Datensätze ablegt, lohnt sich eine Organisation mit Team- oder Enterprise-Plan: Anmeldung über Microsoft Entra ID, Speicherort EU, Prüfprotokoll, Ressourcengruppen und Verwaltung der Token. Wer nichts hochlädt, braucht nur ein Dienstkonto mit Token.

    Welche Laufzeit betreiben wir?

    Für einen Server oder Arbeitsplatz Ollama, das GGUF-Modelle direkt vom Hub startet. Für GPU-Server mit vielen gleichzeitigen Anfragen vLLM, das Hugging Face selbst empfiehlt, seit Text Generation Inference nur noch gewartet wird. Für eine Anwendung in Ihrem Azure-Abonnement die Hugging-Face-Sammlung in Microsoft Foundry, mit Entra ID, Ihren Protokollen und Abrechnung pro Stunde.

    Können wir ein Modell auf unsere Daten feinabstimmen?

    Ja, mit den Bibliotheken transformers und peft auf einer GPU-Maschine bei Ihnen oder in Ihrem Azure-Abonnement; das Ergebnis liegt als Adapter oder Modell in Ihrer privaten Organisation. Ob eine Feinabstimmung mehr bringt als ein besserer Prompt mit Beispielen, zeigt der Testsatz vorher, und oft reicht das kleinere Modell mit guter Anleitung.

    Den nächsten Schritt gemeinsam klären

    Beschreiben Sie uns Ihren heutigen Ablauf, die beteiligten Systeme und das gewünschte Ergebnis. Im ersten Gespräch klären wir, welche Informationen für einen sinnvollen nächsten Schritt fehlen.