obsidian-vault/entities/Ollama.md
2026-10-11 09:00:01 +00:00

229 lines
15 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

---
id: entity-Ollama
pageType: entity
updatedAt: 2026-10-09T17:24:25+03:00
sourceIds:
- sources/memory.md
- sources/embedding-trading.md
- sources/user.md
claims:
- id: ollama-agents-models-2026-08-26
text: 'Модели по агентам (MEMORY.md, actualized 2026-10-09): main → наследует default (`qwen3.8-27b-q5xl`);
coder-agent → `ollama-local/qwen3.8-27b-q5xl` (2026-08-26, было -coder тег); evaluator-agent → `ollama-local/qwen3.8-27b-q5xl`
(2026-08-26, было `qwen3.6-35b-192k`); humanizer-agent → `ollama-local/qwen3.8-27b-q5xl` (с 2026-10-09: законный
статус дрейфа, явное решение владельца; ранее `qwen3.6-35b-192k` on-demand, не менять); setup-agent →
`ollama-local/qwen3.8-27b-q5xl` (с 2026-08-22); qwen3.6-35b-192k остаётся в Ollama без агентов; смена моделей —
только по явному решению'
status: supported
evidence:
- kind: source-file
sourceId: source.memory
path: sources/memory.md
lines: MEMORY.md (workspace), §3 «SYSTEM ARCHITECTURE & EXTERNAL KNOWLEDGE», bullet 'Agent models (snapshot verified 2026-10-09)', строка 31
note: 'final state 2026-10-09: все агенты qwen3.8-27b-q5xl (humanizer — законный статус дрейфа, явное решение
владельца; ранее qwen3.6-35b-192k on-demand, не менять); qwen3.6-35b-192k остаётся в Ollama без агентов;
смена моделей — только по явному решению (ingest sources/memory.md 2026-10-09T13:51:47.385Z)'
updatedAt: 2026-10-09T17:24:25+03:00
- id: ollama-vram-arch-2026-08-26
text: 'VRAM-архитектура (RTX 5090 32GB, 2026-08-26): qwen3.8-27b-q5xl (Q5_K_XL, ~28GB VRAM) + num_ctx
131072 + keep_alive 12h = resident primary model; qwen3.6-35b-192k и qwen3-vl:32b = mutually exclusive
on-demand (не загружаются одновременно с resident 27b). Это ограничение VRAM/архитектуры, а не ошибка
OpenClaw.'
status: supported
evidence:
- kind: source-file
sourceId: source.memory
path: sources/memory.md
lines: MEMORY.md (workspace), секция '### AI Models (Actualized 2026-08-26)', строки 45-58
note: 'final state: 27b-q5xl резидентный primary; on-demand 35b-192k/vl:32b mutually exclusive; hot-reload
без рестарта 21:31:49; backup: projects/openclaw-tooling/backups/openclaw.json.model-assign-pre-2026-08-26
(provenance: CHANGELOG.md 2026-08-26 21:35 MSK)'
updatedAt: 2026-08-27 08:04:00+03:00
- id: ollama-agents-models-2026-08-22
text: 'Модели по агентам (MEMORY.md, actualized 2026-08-22): main → наследует default (`qwen3.8-27b-q5xl`);
coder-agent → `ollama-local/qwen3.8-27b-q5xl-coder` (config.patch 2026-08-21 19:31 MSK, hot-reload;
ранее `qwen3.6:27b`); setup-agent → `ollama-local/qwen3.8-27b-q5xl` (с 2026-08-22, решение пользователя;
config.patch baseHash 67dd5c64; ранее `qwen3.6-35b-192k`); evaluator-agent, humanizer-agent → `ollama-local/qwen3.6-35b-192k`'
status: superseded
evidence:
- kind: source-file
sourceId: source.memory
path: sources/memory.md
lines: MEMORY.md (workspace), секция '### AI Models (Actualized 2026-08-26)', строки 45-58
note: заменено claim ollama-agents-models-2026-08-26 (2026-08-26 model assignment)
updatedAt: 2026-08-27 08:04:00+03:00
- text: 'Model Keep-Alive Policy (2026-08-26): qwen3.8-27b-q5xl → openclaw.json params.keep_alive=12h
(per-model, Ollama body pass-through, dist stream-DwcvMYU5.js:261-263,331); bge-m3/qwen3.6-35b-192k/qwen3-vl:32b
— default/on-demand (5m); Ollama env НЕ менялся; backup: projects/openclaw-tooling/backups/openclaw.json.keepalive-12h-pre-2026-08-26.
Подтверждено live 2026-08-26 16:29 MSK: /api/ps expiry 27b = +12h ровно после OpenClaw model call
(per-request семантика Ollama: запрос без keep_alive сбивает expiry в 5m default); Ollama 0.32.13
уважает per-request keep_alive'
status: supported
evidence:
- kind: source-file
sourceId: source.memory
path: sources/memory.md
lines: 'MEMORY.md (workspace), секция ''## Configuration Management -> ### Model Keep-Alive Policy
(2026-08-26)'', строки 119-121'
note: 'final state: keep_alive=12h per-model, live-подтверждено 2026-08-26 16:29 MSK (+12h expiry);
backup-путь'
updatedAt: 2026-08-26 16:40:00+03:00
updatedAt: 2026-08-26 16:40:00+03:00
- text: 'Сервер: Dell Precision 5560 (i7-11850H, 64GB, eGPU RTX 5090 32GB) → http://192.168.1.200:11434'
status: supported
confidence: 0.95
evidence:
- kind: source-file
sourceId: source.user
path: sources/user.md
updatedAt: 2026-08-19 02:06:57.501000+00:00
updatedAt: 2026-08-22 11:51:00+03:00
- text: 'Primary model: `ollama-local/qwen3.8-27b-q5xl` — agents.defaults.model.primary, занимает ~30
ГБ VRAM'
status: supported
confidence: 0.95
evidence:
- kind: source-file
sourceId: source.memory
path: sources/memory.md
updatedAt: 2026-08-22 09:11:48.958000+00:00
updatedAt: 2026-08-22 11:51:00+03:00
- text: 'Native dreaming (memory-core.dreaming) DISABLED 2026-08-22 (user decision; was `ollama-local/qwen3.6-35b-192k`):
enabled=false, cron ''Memory Dreaming Promotion'' auto-removed; единственный pipeline = cron dreaming-sweep
(03:00 MSK) на main model'
status: supported
confidence: 0.95
evidence:
- kind: source-file
sourceId: source.memory
path: sources/memory.md
updatedAt: 2026-08-22 09:11:48.958000+00:00
updatedAt: 2026-08-22 11:51:00+03:00
- text: 'Image model: `ollama-local/qwen3-vl:32b` (config); qwen2.5vl:32b (19.7 ГБ) доступна, но каждый
image-запрос = выгрузка primary → загрузка VL ≈ 30-60 сек; после генерации primary НЕ восстанавливается
автоматически'
status: supported
confidence: 0.8
evidence:
- kind: source-file
sourceId: source.memory
path: sources/memory.md
updatedAt: 2026-08-22 09:11:48.958000+00:00
- kind: source-file
sourceId: source.embedding-trading
path: sources/embedding-trading.md
updatedAt: 2026-08-21 17:04:21.004000+00:00
updatedAt: 2026-08-22 11:51:00+03:00
- text: 'Embedding model: bge-m3-8192, 1024 dims, http://192.168.1.200:11435 (провайдер ollama-embeddings,
с 2026-10-04; ранее bge-m3 через 11434); при загруженной primary ~30-60
сек, при idle primary ~5-10 сек'
status: supported
confidence: 0.9
evidence:
- kind: source-file
sourceId: source.memory
path: sources/memory.md
updatedAt: 2026-08-22 09:11:48.958000+00:00
- kind: source-file
sourceId: source.embedding-trading
path: sources/embedding-trading.md
updatedAt: 2026-08-21 17:04:21.004000+00:00
updatedAt: 2026-10-04 19:10:48+03:00
- text: 'КРИТИЧНО: никогда не использовать `num_gpu: 0` — 32GB модель на CPU повесит Dell (ноутбук, не
сервер); всегда GPU; при проблеме: `systemctl --user restart ollama` на Dell'
status: supported
confidence: 0.9
evidence:
- kind: source-file
sourceId: source.embedding-trading
path: sources/embedding-trading.md
updatedAt: 2026-08-21 17:04:21.004000+00:00
updatedAt: 2026-08-22 11:51:00+03:00
- text: 'Варианты решения VRAM-конфликта: embed-as-code (рекомендован первым к проверке), embedding только
при idle, отдельный процесс sentence-transformers, более компактная квантованная primary'
status: supported
confidence: 0.75
evidence:
- kind: source-file
sourceId: source.embedding-trading
path: sources/embedding-trading.md
updatedAt: 2026-08-21 17:04:21.004000+00:00
updatedAt: 2026-08-22 11:51:00+03:00
- text: 'Memory search storage (actualized 2026-08-17): ~/.openclaw/agents/{agent-id}/agent/openclaw-agent.sqlite
per agent (main, coder-agent, evaluator-agent, humanizer-agent, setup-agent); legacy ~/.openclaw/memory/*.sqlite.migrated
(5 × ~5MB) удалены при cleanup 2026-08-17; embedding API на http://192.168.1.200:11434'
status: supported
confidence: 0.95
evidence:
- kind: source-file
sourceId: source.memory
path: sources/memory.md
updatedAt: 2026-08-22 09:11:48.958000+00:00
updatedAt: 2026-08-22 11:51:00+03:00
- text: 'LLM Concurrency Caps — ЭКСПЕРИМЕНТ (2026-08-26): в openclaw.json выставлены agents.defaults.maxConcurrent=1,
agents.defaults.subagents.maxConcurrent=1, cron.maxConcurrentRuns=1 — цель: исключить concurrent prefill
на Ollama (192.168.1.200:11434); backup конфига: projects/openclaw-tooling/backups/openclaw.json.concurrency-111-pre-2026-08-26'
status: supported
evidence:
- kind: source-file
sourceId: source.memory
path: sources/memory.md
lines: 'MEMORY.md (workspace), секция ''## Configuration Management → ### LLM Concurrency Caps (2026-08-26)'',
строки 116-117'
note: 'final state: три cap''а = 1, эксперимент, backup-путь'
updatedAt: 2026-08-26 12:50:00+03:00
updatedAt: 2026-08-26 12:50:00+03:00
---
# Entity: Ollama
## Summary
Локальный сервер AI-моделей, запущенный на Dell Precision 5560. Обеспечивает inference для OpenClaw и других сервисов. Ключевое ограничение: Ollama не поддерживает параллельную работу моделей — при каждом запросе к embedding/image-модели основная модель выгружается из VRAM (EMBEDDING-TRADING.md).
## Claims
- Сервер: Dell Precision 5560 (i7-11850H, 64GB, eGPU RTX 5090 32GB) → http://192.168.1.200:11434
- Primary model: `ollama-local/qwen3.8-27b-q5xl` — agents.defaults.model.primary, занимает ~30 ГБ VRAM
- Модели по агентам (MEMORY.md, actualized 2026-08-26): main → наследует default (`qwen3.8-27b-q5xl`); coder-agent → `ollama-local/qwen3.8-27b-q5xl` (2026-08-26, было -coder тег); evaluator-agent → `ollama-local/qwen3.8-27b-q5xl` (2026-08-26, было `qwen3.6-35b-192k`); humanizer-agent → `ollama-local/qwen3.8-27b-q5xl` (с 2026-10-09: законный статус дрейфа, явное решение владельца; ранее `qwen3.6-35b-192k` on-demand, не менять; qwen3.6-35b-192k остаётся в Ollama без агентов, смена моделей — только по явному решению); setup-agent → `ollama-local/qwen3.8-27b-q5xl` (с 2026-08-22)
- VRAM-архитектура (RTX 5090 32GB, 2026-08-26): qwen3.8-27b-q5xl (Q5_K_XL, ~28GB VRAM) + num_ctx 131072 + keep_alive 12h = resident primary model; qwen3.6-35b-192k и qwen3-vl:32b = mutually exclusive on-demand (не загружаются одновременно с resident 27b). Это ограничение VRAM/архитектуры, а не ошибка OpenClaw
- Native dreaming (memory-core.dreaming) DISABLED 2026-08-22 (user decision; was `ollama-local/qwen3.6-35b-192k`): enabled=false, cron 'Memory Dreaming Promotion' auto-removed; единственный pipeline = cron dreaming-sweep (03:00 MSK) на main model
- Image model: `ollama-local/qwen3-vl:32b` (config); qwen2.5vl:32b (19.7 ГБ) доступна, но каждый image-запрос = выгрузка primary → загрузка VL ≈ 30-60 сек; после генерации primary НЕ восстанавливается автоматически
- Embedding model: bge-m3-8192, 1024 dims, http://192.168.1.200:11435 (провайдер ollama-embeddings, с 2026-10-04; ранее bge-m3 через 11434); при загруженной primary ~30-60 сек, при idle primary ~5-10 сек
- КРИТИЧНО: никогда не использовать `num_gpu: 0` — 32GB модель на CPU повесит Dell (ноутбук, не сервер); всегда GPU; при проблеме: `systemctl --user restart ollama` на Dell
- Варианты решения VRAM-конфликта: embed-as-code (рекомендован первым к проверке), embedding только при idle, отдельный процесс sentence-transformers, более компактная квантованная primary
- Memory search storage (actualized 2026-08-17): ~/.openclaw/agents/{agent-id}/agent/openclaw-agent.sqlite per agent (main, coder-agent, evaluator-agent, humanizer-agent, setup-agent); legacy ~/.openclaw/memory/*.sqlite.migrated (5 × ~5MB) удалены при cleanup 2026-08-17; embedding API на http://192.168.1.200:11434
- LLM Concurrency Caps — ЭКСПЕРИМЕНТ (2026-08-26): в openclaw.json выставлены agents.defaults.maxConcurrent=1, agents.defaults.subagents.maxConcurrent=1, cron.maxConcurrentRuns=1 — цель: исключить concurrent prefill на Ollama (192.168.1.200:11434); backup конфига: projects/openclaw-tooling/backups/openclaw.json.concurrency-111-pre-2026-08-26
- Model Keep-Alive Policy (2026-08-26): qwen3.8-27b-q5xl → openclaw.json params.keep_alive=12h (per-model, Ollama body pass-through, dist stream-DwcvMYU5.js:261-263,331); bge-m3/qwen3.6-35b-192k/qwen3-vl:32b — default/on-demand (5m); Ollama env НЕ менялся; backup: projects/openclaw-tooling/backups/openclaw.json.keepalive-12h-pre-2026-08-26. Подтверждено live 2026-08-26 16:29 MSK: /api/ps expiry 27b = +12h ровно после OpenClaw model call (per-request семантика Ollama: запрос без keep_alive сбивает expiry в 5m default); Ollama 0.32.13 уважает per-request keep_alive
## Tags
- ai
- model-server
- ollama
- gpu
- vram
## Sources
- [[USER.md]]
- [[MEMORY.md]]
- [[EMBEDDING-TRADING.md]]
## Related
<!-- openclaw:wiki:related:start -->
### Referenced By
- [Pg-Boss Queue & AI Inference Worker](../syntheses/pg-boss-queue-ai-inference-worker.md)
### Related Pages
- [Concept: Bridge Mode](../concepts/Bridge-Mode.md)
- [Concept: Mail Pipeline (arno@eurostela.ru)](../concepts/Mail-Pipeline.md)
- [Concept: Nextcloud Sync Folder (arno.nextcloud)](../concepts/Nextcloud-Sync-Folder.md)
- [Concept: Routing](../concepts/Routing.md)
- [Concept: Search Tool Priority](../concepts/Search-Tool-Priority.md)
- [Concept: VRAM Management](../concepts/VRAM-Management.md)
- [Entity: Beget (хостинг / IMAP)](Beget.md)
- [Entity: Dream Diary (DREAMS.md)](Dream-Diary.md)
- [Entity: Finance (Personal Finance Management)](Finance.md)
- [Entity: OpenClaw](OpenClaw.md)
- [Entity: Ирина](Ирина.md)
- [Entity: Сергей](Сергей.md)
<!-- openclaw:wiki:related:end -->