5.3 KiB
| id | pageType | updatedAt | sourceIds | confidence | status | claims | ||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| concept-vram-management | concept | 2026-10-09T17:29:13+03:00 |
|
0.9 | active |
|
Concept: VRAM Management
Summary
Управление VRAM GPU (RTX 5090 32GB) для эффективной работы AI-моделей через Ollama на Dell Precision 5560. Ключевая проблема: Ollama не поддерживает параллельную работу моделей — одна модель в VRAM, остальные грузятся/выгружаются на каждый запрос.
Description
VRAM-архитектура (2026-08-26): qwen3.8-27b-q5xl (Q5_K_XL, ~28GB VRAM) + num_ctx 131072 + keep_alive 12h = resident primary model. qwen3.6-35b-192k и qwen3-vl:32b = mutually exclusive on-demand — не загружаются одновременно с resident 27b. Это ограничение VRAM/архитектуры, а не ошибка OpenClaw. bge-m3 и qwen2.5vl:32b (19.7 ГБ) постоянно не загружены в VRAM.
Задержки (EMBEDDING-TRADING.md)
- Embedding (bge-m3): при загруженной primary — ~30-60 сек (выгрузка + загрузка); при idle primary — ~5-10 сек.
- Image (qwen2.5vl:32b): каждый запрос = выгрузка primary → загрузка VL ≈ 30-60 сек; после завершения primary не восстанавливается автоматически.
- КРИТИЧНО:
num_gpu: 0запрещено — 32GB модель на CPU повесит Dell Precision (ноутбук, не сервер). Всегда GPU.
Варианты решения
- Откладывать embedding до выгрузки primary (idle) — простой, но медленный.
- embed-as-code в Ollama (bge-m3 на CPU) — рекомендован первым к проверке.
- Отдельный процесс sentence-transformers для embedding.
- Более компактная квантованная primary (освободить VRAM).
Текущие модели (actualized 2026-10-09)
resident primary qwen3.8-27b-q5xl (~28GB, Q5_K_XL, num_ctx 131072, keep_alive 12h) → main/coder/evaluator/setup/humanizer (humanizer — с 2026-10-09, явная легализация дрейфа, решение владельца); qwen3.6-35b-192k (13.7 ГБ, on-demand, без агентов — ранее humanizer; смена моделей только по явному решению); image qwen3-vl:32b (config) / qwen2.5vl:32b (доступна); embedding bge-m3 (1024 dims).
Tags
- vram
- gpu
- optimization
- ollama
- memory-management
Sources
Related
Related Pages
- Concept: Bridge Mode
- Concept: Mail Pipeline (arno@eurostela.ru)
- Concept: Nextcloud Sync Folder (arno.nextcloud)
- Concept: Routing
- Concept: Search Tool Priority
- Entity: Beget (хостинг / IMAP)
- Entity: Dream Diary (DREAMS.md)
- Entity: Ollama
- Entity: OpenClaw
- Hermes Restructure (2026-09-07): Source of Truth → INFRASTRUCTURE.md
- Infrastructure Overview
- Synthesis: Agent Architecture