修改 ollama 載入模型,每5分鐘就會自動卸載掉

ollama 的載入模型,每5分鐘就會自動卸載掉。這個會有點麻煩,卸載之後,當重新連上來時,又得重頭開始讀一次,會要一些時間。
用下列這個指令,保持168個小時,也就是7天,小時的 h 要小寫:

ollama run MODEL-NAME –keepalive XXXh
ollama run glm-4.7-flash:latest –keepalive 168h

然後在本機用這下面這個指令 測試

curl http://localhost:11434/api/ps

回應:

{“models”:[{“name”:”glm-4.7-flash:latest”,”model”:”glm-4.7-flash:latest”,”size”:22947018624,”digest”:”d1a8a26252f18b34301218d22abd2620a65b85ba4b78987842eb157e01321222″,”details”:{“parent_model”:””,”format”:”gguf”,”family”:”glm4moelite”,”families”:[“glm4moelite”],”parameter_size”:”29.9B”,”quantization_level”:”Q4_K_M”},”expires_at”:”2026-03-07T11:00:27.488092758+08:00“,”size_vram”:22947018624,”context_length”:32768}]}

看其中的到期日:
expires_at”:”2026-03-07T11:00:27.488092758+08:00
2026年3月7號
代表這個模型會一直存在記憶體中,保持7天. OK.

發佈留言

− 2 = 4
Powered by MathCaptcha

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料