obsidian-vault/concepts/VRAM-Management.md
2026-10-11 09:00:01 +00:00

84 lines
5.4 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

---
id: concept-vram-management
pageType: concept
updatedAt: 2026-10-09T17:29:13+03:00
sourceIds:
- sources/embedding-trading.md
- sources/memory.md
confidence: 0.9
status: active
claims:
- text: 'VRAM-архитектура (RTX 5090 32GB, 2026-08-26): qwen3.8-27b-q5xl (Q5_K_XL, ~28GB VRAM) + num_ctx
131072 + keep_alive 12h = resident primary model; qwen3.6-35b-192k и qwen3-vl:32b = mutually exclusive
on-demand (не загружаются одновременно с resident 27b) — ограничение VRAM/архитектуры, а не ошибка
OpenClaw. Модели по агентам (actualized 2026-10-09): main/coder/evaluator/setup/humanizer → qwen3.8-27b-q5xl
(humanizer — с 2026-10-09, явная легализация дрейфа, решение владельца; ранее qwen3.6-35b-192k on-demand,
не менять); qwen3.6-35b-192k остаётся в Ollama без агентов (смена моделей — только по явному решению);
image qwen3-vl:32b (on-demand); embedding bge-m3-8192 (провайдер ollama-embeddings @ 11435).'
status: supported
evidence:
- kind: source-file
sourceId: source.memory
path: sources/memory.md
lines: MEMORY.md (workspace), §3 «SYSTEM ARCHITECTURE & EXTERNAL KNOWLEDGE», bullet 'Agent models (snapshot verified 2026-10-09)', строка 31
note: 'final state 2026-10-09: все агенты qwen3.8-27b-q5xl (humanizer — законный статус дрейфа,
явное решение владельца; ранее qwen3.6-35b-192k on-demand, не менять); qwen3.6-35b-192k остаётся в
Ollama без агентов; смена моделей — только по явному решению (ingest sources/memory.md
2026-10-09T13:51:47.385Z)'
updatedAt: 2026-10-09T17:29:13+03:00
---
# Concept: VRAM Management
## Summary
Управление VRAM GPU (RTX 5090 32GB) для эффективной работы AI-моделей через Ollama на Dell Precision 5560. Ключевая проблема: Ollama не поддерживает параллельную работу моделей — одна модель в VRAM, остальные грузятся/выгружаются на каждый запрос.
## Description
VRAM-архитектура (2026-08-26): qwen3.8-27b-q5xl (Q5_K_XL, ~28GB VRAM) + num_ctx 131072 + keep_alive 12h = resident primary model. qwen3.6-35b-192k и qwen3-vl:32b = mutually exclusive on-demand — не загружаются одновременно с resident 27b. Это ограничение VRAM/архитектуры, а не ошибка OpenClaw. bge-m3 и qwen2.5vl:32b (19.7 ГБ) постоянно не загружены в VRAM.
### Задержки (EMBEDDING-TRADING.md)
- **Embedding (bge-m3):** при загруженной primary — ~30-60 сек (выгрузка + загрузка); при idle primary — ~5-10 сек.
- **Image (qwen2.5vl:32b):** каждый запрос = выгрузка primary → загрузка VL ≈ 30-60 сек; после завершения primary не восстанавливается автоматически.
- **КРИТИЧНО:** `num_gpu: 0` запрещено — 32GB модель на CPU повесит Dell Precision (ноутбук, не сервер). Всегда GPU.
### Варианты решения
1. Откладывать embedding до выгрузки primary (idle) — простой, но медленный.
2. embed-as-code в Ollama (bge-m3 на CPU) — **рекомендован первым к проверке**.
3. Отдельный процесс sentence-transformers для embedding.
4. Более компактная квантованная primary (освободить VRAM).
### Текущие модели (actualized 2026-10-09)
resident primary `qwen3.8-27b-q5xl` (~28GB, Q5_K_XL, num_ctx 131072, keep_alive 12h) → main/coder/evaluator/setup/humanizer (humanizer — с 2026-10-09, явная легализация дрейфа, решение владельца); `qwen3.6-35b-192k` (13.7 ГБ, on-demand, без агентов — ранее humanizer; смена моделей только по явному решению); image `qwen3-vl:32b` (config) / qwen2.5vl:32b (доступна); embedding `bge-m3` (1024 dims).
## Tags
- vram
- gpu
- optimization
- ollama
- memory-management
## Sources
- [[EMBEDDING-TRADING.md]]
- [[MEMORY.md]]
## Related
<!-- openclaw:wiki:related:start -->
### Referenced By
- [Pg-Boss Queue & AI Inference Worker](../syntheses/pg-boss-queue-ai-inference-worker.md)
### Related Pages
- [Concept: Bridge Mode](Bridge-Mode.md)
- [Concept: Mail Pipeline (arno@eurostela.ru)](Mail-Pipeline.md)
- [Concept: Nextcloud Sync Folder (arno.nextcloud)](Nextcloud-Sync-Folder.md)
- [Concept: Routing](Routing.md)
- [Concept: Search Tool Priority](Search-Tool-Priority.md)
- [Entity: Beget (хостинг / IMAP)](../entities/Beget.md)
- [Entity: Dream Diary (DREAMS.md)](../entities/Dream-Diary.md)
- [Entity: Ollama](../entities/Ollama.md)
- [Entity: OpenClaw](../entities/OpenClaw.md)
- [Hermes Restructure (2026-09-07): Source of Truth → INFRASTRUCTURE.md](../syntheses/hermes-restructure-2026-09-07-source-of-truth-infrastructure-md.md)
- [Infrastructure Overview](../syntheses/infrastructure-overview.md)
- [Synthesis: Agent Architecture](../syntheses/Agent-Architecture.md)
<!-- openclaw:wiki:related:end -->