--- id: concept-vram-management pageType: concept updatedAt: 2026-08-27 05:22:36.529000+00:00 sourceIds: - sources/embedding-trading.md - sources/memory.md confidence: 0.9 status: active claims: - text: 'VRAM-архитектура (RTX 5090 32GB, 2026-08-26): qwen3.8-27b-q5xl (Q5_K_XL, ~28GB VRAM) + num_ctx 131072 + keep_alive 12h = resident primary model; qwen3.6-35b-192k и qwen3-vl:32b = mutually exclusive on-demand (не загружаются одновременно с resident 27b) — ограничение VRAM/архитектуры, а не ошибка OpenClaw. Модели по агентам: main/coder/evaluator/setup → qwen3.8-27b-q5xl; humanizer → qwen3.6-35b-192k (on-demand, не менять); image qwen3-vl:32b (on-demand); embedding bge-m3.' status: supported evidence: - kind: source-file sourceId: source.memory path: sources/memory.md lines: MEMORY.md (workspace), секция '### AI Models (Actualized 2026-08-26)', строки 45-58 note: 'final state: 27b-q5xl резидентный primary; on-demand 35b-192k/vl:32b mutually exclusive; hot-reload без рестарта 21:31:49; backup: projects/openclaw-tooling/backups/openclaw.json.model-assign-pre-2026-08-26 (provenance: CHANGELOG.md 2026-08-26 21:35 MSK)' updatedAt: 2026-08-27 08:04:00+03:00 --- # Concept: VRAM Management ## Summary Управление VRAM GPU (RTX 5090 32GB) для эффективной работы AI-моделей через Ollama на Dell Precision 5560. Ключевая проблема: Ollama не поддерживает параллельную работу моделей — одна модель в VRAM, остальные грузятся/выгружаются на каждый запрос. ## Description VRAM-архитектура (2026-08-26): qwen3.8-27b-q5xl (Q5_K_XL, ~28GB VRAM) + num_ctx 131072 + keep_alive 12h = resident primary model. qwen3.6-35b-192k и qwen3-vl:32b = mutually exclusive on-demand — не загружаются одновременно с resident 27b. Это ограничение VRAM/архитектуры, а не ошибка OpenClaw. bge-m3 и qwen2.5vl:32b (19.7 ГБ) постоянно не загружены в VRAM. ### Задержки (EMBEDDING-TRADING.md) - **Embedding (bge-m3):** при загруженной primary — ~30-60 сек (выгрузка + загрузка); при idle primary — ~5-10 сек. - **Image (qwen2.5vl:32b):** каждый запрос = выгрузка primary → загрузка VL ≈ 30-60 сек; после завершения primary не восстанавливается автоматически. - **КРИТИЧНО:** `num_gpu: 0` запрещено — 32GB модель на CPU повесит Dell Precision (ноутбук, не сервер). Всегда GPU. ### Варианты решения 1. Откладывать embedding до выгрузки primary (idle) — простой, но медленный. 2. embed-as-code в Ollama (bge-m3 на CPU) — **рекомендован первым к проверке**. 3. Отдельный процесс sentence-transformers для embedding. 4. Более компактная квантованная primary (освободить VRAM). ### Текущие модели (actualized 2026-08-26) resident primary `qwen3.8-27b-q5xl` (~28GB, Q5_K_XL, num_ctx 131072, keep_alive 12h) → main/coder/evaluator/setup; `qwen3.6-35b-192k` (13.7 ГБ, on-demand, humanizer, не менять); image `qwen3-vl:32b` (config) / qwen2.5vl:32b (доступна); embedding `bge-m3` (1024 dims). ## Tags - vram - gpu - optimization - ollama - memory-management ## Sources - [[EMBEDDING-TRADING.md]] - [[MEMORY.md]] ## Related ### Related Pages - [Concept: Active Projects](Active-Projects.md) - [Concept: Bridge Mode](Bridge-Mode.md) - [Concept: Mail Pipeline (arno@eurostela.ru)](Mail-Pipeline.md) - [Concept: Nextcloud Sync Folder (arno.nextcloud)](Nextcloud-Sync-Folder.md) - [Concept: Routing](Routing.md) - [Concept: Search Tool Priority](Search-Tool-Priority.md) - [Concept: Workspace File Policy](Workspace-File-Policy.md) - [Entity: Beget (хостинг / IMAP)](../entities/Beget.md) - [Entity: Dream Diary (DREAMS.md)](../entities/Dream-Diary.md) - [Entity: Ollama](../entities/Ollama.md) - [Entity: OpenClaw](../entities/OpenClaw.md) - [Hermes Restructure (2026-09-07): Source of Truth → INFRASTRUCTURE.md](../syntheses/hermes-restructure-2026-09-07-source-of-truth-infrastructure-md.md)