obsidian-vault/concepts/VRAM-Management.md
2026-09-21 04:15:02 +00:00

77 lines
4.6 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

---
id: concept-vram-management
pageType: concept
updatedAt: 2026-08-27 05:22:36.529000+00:00
sourceIds:
- sources/embedding-trading.md
- sources/memory.md
confidence: 0.9
status: active
claims:
- text: 'VRAM-архитектура (RTX 5090 32GB, 2026-08-26): qwen3.8-27b-q5xl (Q5_K_XL, ~28GB VRAM) + num_ctx
131072 + keep_alive 12h = resident primary model; qwen3.6-35b-192k и qwen3-vl:32b = mutually exclusive
on-demand (не загружаются одновременно с resident 27b) — ограничение VRAM/архитектуры, а не ошибка
OpenClaw. Модели по агентам: main/coder/evaluator/setup → qwen3.8-27b-q5xl; humanizer → qwen3.6-35b-192k
(on-demand, не менять); image qwen3-vl:32b (on-demand); embedding bge-m3.'
status: supported
evidence:
- kind: source-file
sourceId: source.memory
path: sources/memory.md
lines: MEMORY.md (workspace), секция '### AI Models (Actualized 2026-08-26)', строки 45-58
note: 'final state: 27b-q5xl резидентный primary; on-demand 35b-192k/vl:32b mutually exclusive; hot-reload
без рестарта 21:31:49; backup: projects/openclaw-tooling/backups/openclaw.json.model-assign-pre-2026-08-26
(provenance: CHANGELOG.md 2026-08-26 21:35 MSK)'
updatedAt: 2026-08-27 08:04:00+03:00
---
# Concept: VRAM Management
## Summary
Управление VRAM GPU (RTX 5090 32GB) для эффективной работы AI-моделей через Ollama на Dell Precision 5560. Ключевая проблема: Ollama не поддерживает параллельную работу моделей — одна модель в VRAM, остальные грузятся/выгружаются на каждый запрос.
## Description
VRAM-архитектура (2026-08-26): qwen3.8-27b-q5xl (Q5_K_XL, ~28GB VRAM) + num_ctx 131072 + keep_alive 12h = resident primary model. qwen3.6-35b-192k и qwen3-vl:32b = mutually exclusive on-demand — не загружаются одновременно с resident 27b. Это ограничение VRAM/архитектуры, а не ошибка OpenClaw. bge-m3 и qwen2.5vl:32b (19.7 ГБ) постоянно не загружены в VRAM.
### Задержки (EMBEDDING-TRADING.md)
- **Embedding (bge-m3):** при загруженной primary — ~30-60 сек (выгрузка + загрузка); при idle primary — ~5-10 сек.
- **Image (qwen2.5vl:32b):** каждый запрос = выгрузка primary → загрузка VL ≈ 30-60 сек; после завершения primary не восстанавливается автоматически.
- **КРИТИЧНО:** `num_gpu: 0` запрещено — 32GB модель на CPU повесит Dell Precision (ноутбук, не сервер). Всегда GPU.
### Варианты решения
1. Откладывать embedding до выгрузки primary (idle) — простой, но медленный.
2. embed-as-code в Ollama (bge-m3 на CPU) — **рекомендован первым к проверке**.
3. Отдельный процесс sentence-transformers для embedding.
4. Более компактная квантованная primary (освободить VRAM).
### Текущие модели (actualized 2026-08-26)
resident primary `qwen3.8-27b-q5xl` (~28GB, Q5_K_XL, num_ctx 131072, keep_alive 12h) → main/coder/evaluator/setup; `qwen3.6-35b-192k` (13.7 ГБ, on-demand, humanizer, не менять); image `qwen3-vl:32b` (config) / qwen2.5vl:32b (доступна); embedding `bge-m3` (1024 dims).
## Tags
- vram
- gpu
- optimization
- ollama
- memory-management
## Sources
- [[EMBEDDING-TRADING.md]]
- [[MEMORY.md]]
## Related
<!-- openclaw:wiki:related:start -->
### Related Pages
- [Concept: Bridge Mode](Bridge-Mode.md)
- [Concept: Mail Pipeline (arno@eurostela.ru)](Mail-Pipeline.md)
- [Concept: Nextcloud Sync Folder (arno.nextcloud)](Nextcloud-Sync-Folder.md)
- [Concept: Routing](Routing.md)
- [Concept: Search Tool Priority](Search-Tool-Priority.md)
- [Entity: Beget (хостинг / IMAP)](../entities/Beget.md)
- [Entity: Dream Diary (DREAMS.md)](../entities/Dream-Diary.md)
- [Entity: Ollama](../entities/Ollama.md)
- [Entity: OpenClaw](../entities/OpenClaw.md)
- [Hermes Restructure (2026-09-07): Source of Truth → INFRASTRUCTURE.md](../syntheses/hermes-restructure-2026-09-07-source-of-truth-infrastructure-md.md)
- [Infrastructure Overview](../syntheses/infrastructure-overview.md)
- [Synthesis: Agent Architecture](../syntheses/Agent-Architecture.md)
<!-- openclaw:wiki:related:end -->