Yerel yapay zekâ modelleri nerede saklanır

Her araç ağırlıklarını başka bir yerde tutuyor, hiçbiri size nerede olduğunu söylemiyor ve hepsi birlikte bir geliştiricinin diskinde en hızlı büyüyen şey. İşte platform platform tam liste.

İndirmesi ve taraması ücretsiz. Temizleme bir lisans gerektirir: bilgisayar başına tek ödeme, Mac veya Windows.

Geliştirici verileri: Xcode, Docker, npm ve daha fazlası; her öğe ne olduğunu ve kaldırılırsa ne olacağını söyler

Bunları neden hiçbir temizleyici bulamıyor

Yaygın Mac temizleyicileri yerel modeller var olmadan önce yazıldı ve bilinen önbellek klasörlerinden oluşan sabit bir listeyle çalışıyorlar. ~/.ollama o listede yok. Böylece bir araç, ev dizininizdeki gizli bir klasörde 120 GB ağırlık dururken Mac'inizin tertemiz olduğunu güvenle bildirir — üstelik bunlar nokta ile başlayan klasörler olduğu için Finder da göstermez.

Yollar

Ollama

macOS    ~/.ollama/models
Linux    /usr/share/ollama/.ollama/models
Windows  %USERPROFILE%\.ollama\models

Manifestosu tutarlı kalsın diye listelemeyi ve kaldırmayı Ollama'nın kendisiyle yapın:

ollama list
ollama rm llama3:70b

Sunucuyu başlatmadan önce OLLAMA_MODELS değişkenini ayarlayarak depoyu harici bir sürücüye taşıyın.

LM Studio

macOS    ~/.lmstudio/models
Linux    ~/.lmstudio/models
Windows  %USERPROFILE%\.lmstudio\models

Eski sürümler ~/.cache/lm-studio/modelskullanıyordu; birkaç sürüm boyunca yükselttiyseniz ikisine de bakın. Dizin, uygulamanın My Models sekmesinden ayarlanabilir; taşımanın güvenli yolu budur.

Hugging Face — transformers, diffusers, veri kümeleri

macOS/Linux  ~/.cache/huggingface/hub
Windows      %USERPROFILE%\.cache\huggingface\hub

Genelde en büyüğü ve en dağınığı; çünkü Hub'a dokunan her kitaplık buraya yazar. Resmî araçla etkileşimli biçimde inceleyip temizleyin:

pip install "huggingface_hub[cli]"
huggingface-cli scan-cache
huggingface-cli delete-cache

şununla taşıyın: HF_HOME. Hub önbelleğinin bir blobs klasörüne sembolik bağlantılar kullandığını unutmayın — sembolik bağlantıları izleyen bir araçla kopyalamak boyutu ikiye katlar.

PyTorch

~/.cache/torch/hub
~/.cache/torch/kernels

İndirilmiş ağırlıklar: torch.hubtarafından indirilen önceden eğitilmiş kontrol noktaları. Şununla taşıyın: TORCH_HOME.

GPT4All

macOS    ~/Library/Application Support/nomic.ai/GPT4All
Linux    ~/.local/share/nomic.ai/GPT4All
Windows  %LOCALAPPDATA%\nomic.ai\GPT4All

Whisper ve whisper.cpp

~/.cache/whisper
./models  (inside a whisper.cpp checkout)

Ayrıca kontrol etmeye değer

~/.cache/torch/sentence_transformers
~/.keras/models
~/.cache/gguf
~/.cache/vllm

Bir modeli silmeden önce

Önbellek, ağırlık değildir

Bir geliştiricinin diskindeki diğer her şey saniyeler içinde yeniden oluşur. 40 GB'lık bir model, bağlantınız üzerinden yeniden indirmedir; yerelde ürettiğiniz bir niceleme ya da kendi ince ayarınızı yaptığınız bir model ise hiç geri gelmez. Bu klasörler süpürmeyi değil, incelemeyi hak eder.

Aracı olan yerde araçla silin

Ollama da Hugging Face de blobların yanında bir manifesto tutar. Dosyaları kendiniz silerseniz manifesto onları listelemeyi sürdürür ve bu, sonradan kafa karıştırıcı hatalar olarak ortaya çıkar. ollama rm ve huggingface-cli delete-cache tam bunun için var.

Silmek yerine taşıyın

Yukarıdaki her araç, deposunu bir ortam değişkeni ya da ayar üzerinden taşımayı destekler. Harici bir sürücünüz varsa, depoyu taşımak aynı ağırlıkları defalarca silip yeniden çekmekten iyidir.

Sorular

Ollama'nın modelleri nerede sakladığını nasıl değiştiririm?

Şu OLLAMA_MODELS ortam değişkenini istediğiniz dizine ayarlayın, sonra Ollama sunucusunu yeniden başlatın. macOS'ta bunu yalnızca kabuğunuzda değil uygulamanın başlatma ortamı için ayarlayın, yoksa masaüstü uygulaması görmez.

~/.cache/huggingface silmek güvenli mi?

Hiçbir şeyin bozulmaması anlamında güvenli — eksik olan her şey bir sonraki kullanımda yeniden inilir. Pahalı olması anlamında ise "bir sonraki kullanım" 30 GB'ı yeniden çekmek olabilir. Şunu kullanın: huggingface-cli scan-cache — ne olduğunu görmek ve seçerek silmek için.

Model klasörleri Finder'da neden görünmüyor?

Çoğu nokta ile başlar ve macOS bunları varsayılan olarak gizler. Bir Finder penceresinde Cmd-Shift-. tuşlarına basarak gösterin ya da Git → Klasöre Git ile yolu doğrudan açın.

Modelleri harici bir sürücüde tutabilir miyim?

Evet ve yüz gigabaytı geçtiğinizde daha iyi cevap budur. Ollama OLLAMA_MODELS, Hugging Face HF_HOME, PyTorch TORCH_HOMEkullanır; LM Studio'nun ise uygulamada bir ayarı vardır. USB üzerinden ilk yüklemelerin daha yavaş olacağını hesaba katın.

Model klasörüm neden indirdiğim modellerden büyük?

Genelde yarım kalmış indirmeler ve yerini yenisine bırakmış sürümler yüzünden. Hugging Face hub önbelleği, bir depodan çektiğiniz her sürümü tutar, yalnızca güncel olanı değil; zaten scan-cache tam da bunu göstermek için tasarlandı.