80 lines
5.3 KiB
Markdown
80 lines
5.3 KiB
Markdown
---
|
||
id: concept-vram-management
|
||
pageType: concept
|
||
updatedAt: 2026-10-09T17:29:13+03:00
|
||
sourceIds:
|
||
- sources/embedding-trading.md
|
||
- sources/memory.md
|
||
confidence: 0.9
|
||
status: active
|
||
claims:
|
||
- text: 'VRAM-архитектура (RTX 5090 32GB, 2026-08-26): qwen3.8-27b-q5xl (Q5_K_XL, ~28GB VRAM) + num_ctx
|
||
131072 + keep_alive 12h = resident primary model; qwen3.6-35b-192k и qwen3-vl:32b = mutually exclusive
|
||
on-demand (не загружаются одновременно с resident 27b) — ограничение VRAM/архитектуры, а не ошибка
|
||
OpenClaw. Модели по агентам (actualized 2026-10-09): main/coder/evaluator/setup/humanizer → qwen3.8-27b-q5xl
|
||
(humanizer — с 2026-10-09, явная легализация дрейфа, решение владельца; ранее qwen3.6-35b-192k on-demand,
|
||
не менять); qwen3.6-35b-192k остаётся в Ollama без агентов (смена моделей — только по явному решению);
|
||
image qwen3-vl:32b (on-demand); embedding bge-m3-8192 (провайдер ollama-embeddings @ 11435).'
|
||
status: supported
|
||
evidence:
|
||
- kind: source-file
|
||
sourceId: source.memory
|
||
path: sources/memory.md
|
||
lines: MEMORY.md (workspace), §3 «SYSTEM ARCHITECTURE & EXTERNAL KNOWLEDGE», bullet 'Agent models (snapshot verified 2026-10-09)', строка 31
|
||
note: 'final state 2026-10-09: все агенты qwen3.8-27b-q5xl (humanizer — законный статус дрейфа,
|
||
явное решение владельца; ранее qwen3.6-35b-192k on-demand, не менять); qwen3.6-35b-192k остаётся в
|
||
Ollama без агентов; смена моделей — только по явному решению (ingest sources/memory.md
|
||
2026-10-09T13:51:47.385Z)'
|
||
updatedAt: 2026-10-09T17:29:13+03:00
|
||
---
|
||
|
||
# Concept: VRAM Management
|
||
|
||
## Summary
|
||
Управление VRAM GPU (RTX 5090 32GB) для эффективной работы AI-моделей через Ollama на Dell Precision 5560. Ключевая проблема: Ollama не поддерживает параллельную работу моделей — одна модель в VRAM, остальные грузятся/выгружаются на каждый запрос.
|
||
|
||
## Description
|
||
VRAM-архитектура (2026-08-26): qwen3.8-27b-q5xl (Q5_K_XL, ~28GB VRAM) + num_ctx 131072 + keep_alive 12h = resident primary model. qwen3.6-35b-192k и qwen3-vl:32b = mutually exclusive on-demand — не загружаются одновременно с resident 27b. Это ограничение VRAM/архитектуры, а не ошибка OpenClaw. bge-m3 и qwen2.5vl:32b (19.7 ГБ) постоянно не загружены в VRAM.
|
||
|
||
### Задержки (EMBEDDING-TRADING.md)
|
||
- **Embedding (bge-m3):** при загруженной primary — ~30-60 сек (выгрузка + загрузка); при idle primary — ~5-10 сек.
|
||
- **Image (qwen2.5vl:32b):** каждый запрос = выгрузка primary → загрузка VL ≈ 30-60 сек; после завершения primary не восстанавливается автоматически.
|
||
- **КРИТИЧНО:** `num_gpu: 0` запрещено — 32GB модель на CPU повесит Dell Precision (ноутбук, не сервер). Всегда GPU.
|
||
|
||
### Варианты решения
|
||
1. Откладывать embedding до выгрузки primary (idle) — простой, но медленный.
|
||
2. embed-as-code в Ollama (bge-m3 на CPU) — **рекомендован первым к проверке**.
|
||
3. Отдельный процесс sentence-transformers для embedding.
|
||
4. Более компактная квантованная primary (освободить VRAM).
|
||
|
||
### Текущие модели (actualized 2026-10-09)
|
||
resident primary `qwen3.8-27b-q5xl` (~28GB, Q5_K_XL, num_ctx 131072, keep_alive 12h) → main/coder/evaluator/setup/humanizer (humanizer — с 2026-10-09, явная легализация дрейфа, решение владельца); `qwen3.6-35b-192k` (13.7 ГБ, on-demand, без агентов — ранее humanizer; смена моделей только по явному решению); image `qwen3-vl:32b` (config) / qwen2.5vl:32b (доступна); embedding `bge-m3` (1024 dims).
|
||
|
||
## Tags
|
||
- vram
|
||
- gpu
|
||
- optimization
|
||
- ollama
|
||
- memory-management
|
||
|
||
## Sources
|
||
- [[EMBEDDING-TRADING.md]]
|
||
- [[MEMORY.md]]
|
||
|
||
## Related
|
||
<!-- openclaw:wiki:related:start -->
|
||
### Related Pages
|
||
|
||
- [Concept: Bridge Mode](Bridge-Mode.md)
|
||
- [Concept: Mail Pipeline (arno@eurostela.ru)](Mail-Pipeline.md)
|
||
- [Concept: Nextcloud Sync Folder (arno.nextcloud)](Nextcloud-Sync-Folder.md)
|
||
- [Concept: Routing](Routing.md)
|
||
- [Concept: Search Tool Priority](Search-Tool-Priority.md)
|
||
- [Entity: Beget (хостинг / IMAP)](../entities/Beget.md)
|
||
- [Entity: Dream Diary (DREAMS.md)](../entities/Dream-Diary.md)
|
||
- [Entity: Ollama](../entities/Ollama.md)
|
||
- [Entity: OpenClaw](../entities/OpenClaw.md)
|
||
- [Hermes Restructure (2026-09-07): Source of Truth → INFRASTRUCTURE.md](../syntheses/hermes-restructure-2026-09-07-source-of-truth-infrastructure-md.md)
|
||
- [Infrastructure Overview](../syntheses/infrastructure-overview.md)
|
||
- [Synthesis: Agent Architecture](../syntheses/Agent-Architecture.md)
|
||
<!-- openclaw:wiki:related:end -->
|