Speicher-Leitfaden für Entwickler

Wo lokale KI-Modelle gespeichert werden

Jedes Werkzeug legt seine Gewichte woanders ab, keines sagt Ihnen wo, und zusammen sind sie das, was auf einer Entwicklerfestplatte am schnellsten wächst. Hier ist die vollständige Liste, nach Plattform.

14 Tage kostenlos testen, keine Karte nötig. Danach einmalig 15 $ für 3 Rechner, macOS und Linux.

Bytesweep listet lokale KI-Modellspeicher nach Größe auf einem Entwickler-Mac

Warum kein Cleaner sie findet

Gängige Mac-Cleaner entstanden, bevor es lokale Modelle gab, und sie arbeiten mit einer festen Liste bekannter Cache-Ordner. ~/.ollama steht nicht darauf. Ein Werkzeug meldet also selbstbewusst, Ihr Mac sei sauber, während 120 GB Gewichte in einem versteckten Ordner in Ihrem Benutzerverzeichnis liegen — und weil es Punkt-Ordner sind, zeigt der Finder sie ebenfalls nicht.

Die Pfade

Ollama

macOS    ~/.ollama/models
Linux    /usr/share/ollama/.ollama/models
Windows  %USERPROFILE%\.ollama\models

Auflisten und entfernen Sie mit Ollama selbst, damit sein Manifest konsistent bleibt:

ollama list
ollama rm llama3:70b

Verlegen Sie den Speicher auf eine externe Festplatte, indem Sie Folgendes setzen OLLAMA_MODELS , bevor Sie den Server starten.

LM Studio

macOS    ~/.lmstudio/models
Linux    ~/.lmstudio/models
Windows  %USERPROFILE%\.lmstudio\models

Ältere Versionen nutzten ~/.cache/lm-studio/models; wenn Sie über mehrere Releases hinweg aktualisiert haben, prüfen Sie beide. Das Verzeichnis ist im Reiter „My Models“ der App einstellbar — der sichere Weg, es zu verlegen.

Hugging Face — transformers, diffusers, datasets

macOS/Linux  ~/.cache/huggingface/hub
Windows      %USERPROFILE%\.cache\huggingface\hub

Meist der größte und unordentlichste, weil jede Bibliothek, die den Hub berührt, hierher schreibt. Prüfen und aufräumen Sie interaktiv mit dem offiziellen Werkzeug:

pip install "huggingface_hub[cli]"
huggingface-cli scan-cache
huggingface-cli delete-cache

Verlegen Sie ihn mit HF_HOME. Beachten Sie, dass der Hub-Cache Symlinks in einen blobs-Ordner nutzt — ihn mit einem Werkzeug zu kopieren, das Symlinks folgt, verdoppelt seine Größe.

PyTorch

~/.cache/torch/hub
~/.cache/torch/kernels

Vortrainierte Checkpoints, heruntergeladen von torch.hub. Verlegen mit TORCH_HOME.

Sieben Pfade, und der eine, den Sie vergessen haben

Diese Liste stimmt heute. Sie wächst mit jedem neuen Werkzeug, das Sie ausprobieren, und der Speicher, den Sie aus den Augen verlieren, ist der teure. Bytesweep findet all diese und die seither hinzugekommenen, meldet sie nach Größe und markiert Gewichte als zu prüfen statt zum Aufräumen — denn ein Modell, das Sie selbst feinabgestimmt haben, ist kein Cache, und nichts sonst auf Ihrer Festplatte ist so teuer, wenn man es falsch macht.

GPT4All

macOS    ~/Library/Application Support/nomic.ai/GPT4All
Linux    ~/.local/share/nomic.ai/GPT4All
Windows  %LOCALAPPDATA%\nomic.ai\GPT4All

Whisper und whisper.cpp

~/.cache/whisper
./models  (inside a whisper.cpp checkout)

Ebenfalls einen Blick wert

~/.cache/torch/sentence_transformers
~/.keras/models
~/.cache/gguf
~/.cache/vllm

Bevor Sie ein Modell löschen

Ein Cache ist kein Gewicht

Alles andere auf einer Entwicklerfestplatte bildet sich in Sekunden neu. Ein 40-GB-Modell ist ein erneuter Download über Ihre Leitung, und eine Quantisierung, die Sie selbst erzeugt haben, oder ein Modell, das Sie selbst feinabgestimmt haben, kommt gar nicht zurück. Diese Ordner verdienen eine Prüfung, keinen Sweep.

Löschen Sie über das Werkzeug, wo es eines gibt

Ollama und Hugging Face führen beide ein Manifest neben den Blobs. Dateien von Hand zu löschen lässt den Index auf Dinge zeigen, die weg sind, was später als verwirrende Fehler auftaucht. ollama rm und huggingface-cli delete-cache gibt es genau dafür.

Verlegen statt löschen

Jedes Werkzeug oben kann seinen Speicherort über eine Umgebungsvariable oder eine Einstellung verlegen. Wenn Sie eine externe Festplatte haben, ist den Speicher zu verlegen besser, als dieselben Gewichte immer wieder zu löschen und neu zu ziehen.

Jeden Modellspeicher auf Ihrer Festplatte finden

Bytesweep kennt all diese Pfade, meldet sie nach Größe neben Docker, Xcode und node_modules und markiert Gewichte als zu prüfen statt als gefahrlos löschbar — denn ein feinabgestimmtes Modell ist kein Cache.

Verwandt: Docker disk space · Xcode cleanup · die vollständige Mac-Liste

Fragen

Wie ändere ich, wo Ollama Modelle speichert?

Setzen Sie die Umgebungsvariable OLLAMA_MODELS auf das gewünschte Verzeichnis und starten Sie den Ollama-Server neu. Setzen Sie sie auf macOS für die Startumgebung der App, nicht nur in Ihrer Shell, sonst sieht die Desktop-App sie nicht.

Ist es sicher, ~/.cache/huggingface zu löschen?

Sicher in dem Sinne, dass nichts kaputtgeht — was fehlt, wird bei der nächsten Nutzung neu geladen. Teuer in dem Sinne, dass „nächste Nutzung“ 30 GB erneut bedeuten kann. Nutzen Sie huggingface-cli scan-cache , um zu sehen, was da ist, und löschen Sie gezielt.

Warum tauchen die Modellordner im Finder nicht auf?

Die meisten beginnen mit einem Punkt, den macOS standardmäßig ausblendet. Drücken Sie in einem Finder-Fenster Cmd-Shift-. , um sie einzublenden, oder öffnen Sie den Pfad direkt über Gehe zu → Gehe zum Ordner.

Kann ich Modelle auf einer externen Festplatte halten?

Ja, und ab hundert Gigabyte ist das die bessere Antwort. Ollama nutzt OLLAMA_MODELS, Hugging Face nutzt HF_HOME, PyTorch nutzt TORCH_HOME, und LM Studio hat eine Einstellung in der App. Rechnen Sie über USB mit langsamerem erstem Laden.

Warum ist mein Modellordner größer als die Modelle, die ich geladen habe?

Meist abgebrochene Downloads und überholte Revisionen. Der Hugging-Face-Hub-Cache behält jede Revision eines Repositories, die Sie je gezogen haben, nicht nur die aktuelle — genau das soll Ihnen scan-cache zeigen.