obsidian-vault/concepts/VRAM-Management.md
2026-10-09 14:30:02 +00:00

5.3 KiB
Raw Blame History

id pageType updatedAt sourceIds confidence status claims
concept-vram-management concept 2026-10-09T17:29:13+03:00
sources/embedding-trading.md
sources/memory.md
0.9 active
text status evidence updatedAt
VRAM-архитектура (RTX 5090 32GB, 2026-08-26): qwen3.8-27b-q5xl (Q5_K_XL, ~28GB VRAM) + num_ctx 131072 + keep_alive 12h = resident primary model; qwen3.6-35b-192k и qwen3-vl:32b = mutually exclusive on-demand (не загружаются одновременно с resident 27b) — ограничение VRAM/архитектуры, а не ошибка OpenClaw. Модели по агентам (actualized 2026-10-09): main/coder/evaluator/setup/humanizer → qwen3.8-27b-q5xl (humanizer — с 2026-10-09, явная легализация дрейфа, решение владельца; ранее qwen3.6-35b-192k on-demand, не менять); qwen3.6-35b-192k остаётся в Ollama без агентов (смена моделей — только по явному решению); image qwen3-vl:32b (on-demand); embedding bge-m3-8192 (провайдер ollama-embeddings @ 11435). supported
kind sourceId path lines note
source-file source.memory sources/memory.md MEMORY.md (workspace), §3 «SYSTEM ARCHITECTURE & EXTERNAL KNOWLEDGE», bullet 'Agent models (snapshot verified 2026-10-09)', строка 31 final state 2026-10-09: все агенты qwen3.8-27b-q5xl (humanizer — законный статус дрейфа, явное решение владельца; ранее qwen3.6-35b-192k on-demand, не менять); qwen3.6-35b-192k остаётся в Ollama без агентов; смена моделей — только по явному решению (ingest sources/memory.md 2026-10-09T13:51:47.385Z)
2026-10-09T17:29:13+03:00

Concept: VRAM Management

Summary

Управление VRAM GPU (RTX 5090 32GB) для эффективной работы AI-моделей через Ollama на Dell Precision 5560. Ключевая проблема: Ollama не поддерживает параллельную работу моделей — одна модель в VRAM, остальные грузятся/выгружаются на каждый запрос.

Description

VRAM-архитектура (2026-08-26): qwen3.8-27b-q5xl (Q5_K_XL, ~28GB VRAM) + num_ctx 131072 + keep_alive 12h = resident primary model. qwen3.6-35b-192k и qwen3-vl:32b = mutually exclusive on-demand — не загружаются одновременно с resident 27b. Это ограничение VRAM/архитектуры, а не ошибка OpenClaw. bge-m3 и qwen2.5vl:32b (19.7 ГБ) постоянно не загружены в VRAM.

Задержки (EMBEDDING-TRADING.md)

  • Embedding (bge-m3): при загруженной primary — ~30-60 сек (выгрузка + загрузка); при idle primary — ~5-10 сек.
  • Image (qwen2.5vl:32b): каждый запрос = выгрузка primary → загрузка VL ≈ 30-60 сек; после завершения primary не восстанавливается автоматически.
  • КРИТИЧНО: num_gpu: 0 запрещено — 32GB модель на CPU повесит Dell Precision (ноутбук, не сервер). Всегда GPU.

Варианты решения

  1. Откладывать embedding до выгрузки primary (idle) — простой, но медленный.
  2. embed-as-code в Ollama (bge-m3 на CPU) — рекомендован первым к проверке.
  3. Отдельный процесс sentence-transformers для embedding.
  4. Более компактная квантованная primary (освободить VRAM).

Текущие модели (actualized 2026-10-09)

resident primary qwen3.8-27b-q5xl (~28GB, Q5_K_XL, num_ctx 131072, keep_alive 12h) → main/coder/evaluator/setup/humanizer (humanizer — с 2026-10-09, явная легализация дрейфа, решение владельца); qwen3.6-35b-192k (13.7 ГБ, on-demand, без агентов — ранее humanizer; смена моделей только по явному решению); image qwen3-vl:32b (config) / qwen2.5vl:32b (доступна); embedding bge-m3 (1024 dims).

Tags

  • vram
  • gpu
  • optimization
  • ollama
  • memory-management

Sources