obsidian-vault/sources/embedding-trading-md.md
2026-09-20 20:40:46 +03:00

84 lines
4.1 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

---
pageType: source
id: source.embedding-trading-md
title: EMBEDDING-TRADING.md
sourceType: local-file
sourcePath: /home/owner/.openclaw/workspace/EMBEDDING-TRADING.md
ingestedAt: 2026-07-05T14:04:24.494Z
updatedAt: 2026-07-05T14:04:24.494Z
status: active
---
# EMBEDDING-TRADING.md
## Source
- Type: `local-file`
- Path: `/home/owner/.openclaw/workspace/EMBEDDING-TRADING.md`
- Bytes: 3408
- Updated: 2026-07-05T14:04:24.494Z
## Content
```text
# EMBEDDING / IMAGE MODEL — ограничение VRAM
## Проблема
- Ollama не поддерживает параллельную работу моделей
- Основная модель (qwen3.6-35b-128k) занимает ~30 ГБ VRAM
- bge-m3 и qwen2.5vl:32b не загружены в VRAM
- При любом embedding/image-запросе: выгрузка основной модели → загрузка другой → обратно
## Задержки
### Embedding (bge-m3)
- При загруженной основной модели: ~30-60 сек (выгрузка + загрузка)
- Когда основная модель просрочена (idle): ~5-10 сек
### Image model (qwen2.5vl:32b, 19.7 ГБ)
- **Не загружена в VRAM вообще**
- Каждый image-запрос = выгрузка qwen3.6 + загрузка qwen2.5vl: ~30-60 сек
- После завершения — основная модель не восстанавливается автоматически
## Текущий статус
- bge-m3: работает, 1024 dims, корректные эмбеддинги
- qwen2.5vl:32b: доступна, тестирование зависает на таймауте (загрузка модели)
- VRAM: RTX 5090 32GB
## Варианты решения
1. **Отложить embedding** до когда основная модель выгружена (idle)
2. **Использовать embed-as-code** в ollama — загрузить bge-m3 на CPU через nproc
3. **Перейти на embedding-as-code** с отдельным процессом (sentence-transformers)
4. **Обрезать qwen3.6** до более компактной квантованной версии чтобы оставить место
## Рекомендация
Сначала проверить вариант embed-as-code. Если не работает — использовать embedding только при простое.
---
## Image Model Notes
- qwen2.5vl:32b (19.7 GB) — основная imageModel
- При каждом image-запросе: выгрузка qwen3.6 → загрузка qwen2.5vl → генерация
- После генерации: основная модель **не восстанавливается** автоматически
- Пользователь должен учитывать ~60сек задержку перед каждым image-запросом
- При активной основной модели: image-запросы будут крайне медленными
### ⚠️ КРИТИЧНОЕ ПРЕДОСТЕРЕЖЕНИЕ
- **НИКОГДА не используй `num_gpu: 0`** — модель 32GB на CPU повесит Dell
- Dell Precision 5560 — ноутбук, не сервер, CPU не тянет большие модели
- **Всегда используй GPU** (ollama defaults к GPU для моделей > 1GB)
- Если нужно проверить imageModel — подождите пока qwen3.6 просрочится
- Тестировать quality ответов: ждать idle основной модели → один image-запрос → фиксировать результат
- При любой проблеме: перезапуск ollama — `systemctl --user restart ollama` на Dell (192.168.1.200)
```
## Notes
<!-- openclaw:human:start -->
<!-- openclaw:human:end -->
## Related
<!-- openclaw:wiki:related:start -->
### Referenced By
- [Concept: VRAM Management](../concepts/VRAM-Management.md)
- [Entity: Ollama](../entities/Ollama.md)
- [Entity: OpenClaw](../entities/OpenClaw.md)
<!-- openclaw:wiki:related:end -->