Geliştirici depolama rehberi

Yerel yapay zekâ modelleri nerede saklanır

Her araç ağırlıklarını başka bir yerde tutuyor, hiçbiri size nerede olduğunu söylemiyor ve hepsi birlikte bir geliştiricinin diskinde en hızlı büyüyen şey. İşte platform platform tam liste.

14 gün ücretsiz deneme, kart gerekmez. Ardından 3 bilgisayar için tek seferlik 15 dolar, macOS ve Linux.

Bytesweep, bir geliştirici Mac'inde yerel yapay zekâ model depolarını boyuta göre listeliyor

Bunları neden hiçbir temizleyici bulamıyor

Yaygın Mac temizleyicileri yerel modeller var olmadan önce yazıldı ve bilinen önbellek klasörlerinden oluşan sabit bir listeyle çalışıyorlar. ~/.ollama o listede yok. Böylece bir araç, ev dizininizdeki gizli bir klasörde 120 GB ağırlık dururken Mac'inizin tertemiz olduğunu güvenle bildirir — üstelik bunlar nokta ile başlayan klasörler olduğu için Finder da göstermez.

Yollar

Ollama

macOS    ~/.ollama/models
Linux    /usr/share/ollama/.ollama/models
Windows  %USERPROFILE%\.ollama\models

Manifestosu tutarlı kalsın diye listelemeyi ve kaldırmayı Ollama'nın kendisiyle yapın:

ollama list
ollama rm llama3:70b

Sunucuyu başlatmadan önce OLLAMA_MODELS değişkenini ayarlayarak depoyu harici bir sürücüye taşıyın.

LM Studio

macOS    ~/.lmstudio/models
Linux    ~/.lmstudio/models
Windows  %USERPROFILE%\.lmstudio\models

Eski sürümler ~/.cache/lm-studio/modelskullanıyordu; birkaç sürüm boyunca yükselttiyseniz ikisine de bakın. Dizin, uygulamanın My Models sekmesinden ayarlanabilir; taşımanın güvenli yolu budur.

Hugging Face — transformers, diffusers, veri kümeleri

macOS/Linux  ~/.cache/huggingface/hub
Windows      %USERPROFILE%\.cache\huggingface\hub

Genelde en büyüğü ve en dağınığı; çünkü Hub'a dokunan her kitaplık buraya yazar. Resmî araçla etkileşimli biçimde inceleyip temizleyin:

pip install "huggingface_hub[cli]"
huggingface-cli scan-cache
huggingface-cli delete-cache

şununla taşıyın: HF_HOME. Hub önbelleğinin bir blobs klasörüne sembolik bağlantılar kullandığını unutmayın — sembolik bağlantıları izleyen bir araçla kopyalamak boyutu ikiye katlar.

PyTorch

~/.cache/torch/hub
~/.cache/torch/kernels

İndirilmiş ağırlıklar: torch.hubtarafından indirilen önceden eğitilmiş kontrol noktaları. Şununla taşıyın: TORCH_HOME.

Yedi yol ve unuttuğunuz o bir tane

Bu liste bugün doğru. Her yeni araç denediğinizde uzuyor ve gözden kaçırdığınız depo pahalı olanıdır. Bytesweep bunların hepsini ve sonradan eklenenleri bulur, boyutlarıyla bildirir ve ağırlıkları süpürmek için değil incelemek için işaretler — çünkü kendi ince ayarınızı yaptığınız bir model önbellek değildir ve diskinizde yanlış yapmanın bu kadar pahalı olduğu başka bir şey yoktur.

GPT4All

macOS    ~/Library/Application Support/nomic.ai/GPT4All
Linux    ~/.local/share/nomic.ai/GPT4All
Windows  %LOCALAPPDATA%\nomic.ai\GPT4All

Whisper ve whisper.cpp

~/.cache/whisper
./models  (inside a whisper.cpp checkout)

Ayrıca kontrol etmeye değer

~/.cache/torch/sentence_transformers
~/.keras/models
~/.cache/gguf
~/.cache/vllm

Bir modeli silmeden önce

Önbellek, ağırlık değildir

Bir geliştiricinin diskindeki diğer her şey saniyeler içinde yeniden oluşur. 40 GB'lık bir model, bağlantınız üzerinden yeniden indirmedir; yerelde ürettiğiniz bir niceleme ya da kendi ince ayarınızı yaptığınız bir model ise hiç geri gelmez. Bu klasörler süpürmeyi değil, incelemeyi hak eder.

Aracı olan yerde araçla silin

Ollama ve Hugging Face, blob'ların yanında bir manifest tutar. Dosyaları elle kaldırmak, dizinin artık var olmayan şeyleri göstermesine yol açar; bu da sonradan kafa karıştırıcı hatalar olarak ortaya çıkar. ollama rm ve huggingface-cli delete-cache tam bunun için var.

Silmek yerine taşıyın

Yukarıdaki her araç, deposunu bir ortam değişkeni ya da ayar üzerinden taşımayı destekler. Harici bir sürücünüz varsa, depoyu taşımak aynı ağırlıkları defalarca silip yeniden çekmekten iyidir.

Diskinizdeki her model deposunu bulun

Bytesweep bu yolların hepsini bilir, onları Docker, Xcode ve node_modules'in yanında boyutlarıyla bildirir ve ağırlıkları süpürmesi güvenli değil, incelenmeye değer olarak işaretler — çünkü ince ayarlı bir model önbellek değildir.

İlgili: Docker disk space · Xcode cleanup · tam Mac listesi

Sorular

Ollama'nın modelleri nerede sakladığını nasıl değiştiririm?

Şu OLLAMA_MODELS ortam değişkenini istediğiniz dizine ayarlayın, sonra Ollama sunucusunu yeniden başlatın. macOS'ta bunu yalnızca kabuğunuzda değil uygulamanın başlatma ortamı için ayarlayın, yoksa masaüstü uygulaması görmez.

~/.cache/huggingface silmek güvenli mi?

Hiçbir şeyin bozulmaması anlamında güvenli — eksik olan her şey bir sonraki kullanımda yeniden inilir. Pahalı olması anlamında ise "bir sonraki kullanım" 30 GB'ı yeniden çekmek olabilir. Şunu kullanın: huggingface-cli scan-cache — ne olduğunu görmek ve seçerek silmek için.

Model klasörleri Finder'da neden görünmüyor?

Çoğu nokta ile başlar ve macOS bunları varsayılan olarak gizler. Bir Finder penceresinde Cmd-Shift-. tuşlarına basarak gösterin ya da Git → Klasöre Git ile yolu doğrudan açın.

Modelleri harici bir sürücüde tutabilir miyim?

Evet ve yüz gigabaytı geçtiğinizde daha iyi cevap budur. Ollama OLLAMA_MODELS, Hugging Face HF_HOME, PyTorch TORCH_HOMEkullanır; LM Studio'nun ise uygulamada bir ayarı vardır. USB üzerinden ilk yüklemelerin daha yavaş olacağını hesaba katın.

Model klasörüm neden indirdiğim modellerden büyük?

Genelde yarım kalmış indirmeler ve yerini yenisine bırakmış sürümler yüzünden. Hugging Face hub önbelleği, bir depodan çektiğiniz her sürümü tutar, yalnızca güncel olanı değil; zaten scan-cache tam da bunu göstermek için tasarlandı.