4.1 KiB
4.1 KiB
| pageType | id | title | sourceType | sourcePath | ingestedAt | updatedAt | status |
|---|---|---|---|---|---|---|---|
| source | source.embedding-trading-md | EMBEDDING-TRADING.md | local-file | /home/owner/.openclaw/workspace/EMBEDDING-TRADING.md | 2026-07-05T14:04:24.494Z | 2026-07-05T14:04:24.494Z | active |
EMBEDDING-TRADING.md
Source
- Type:
local-file - Path:
/home/owner/.openclaw/workspace/EMBEDDING-TRADING.md - Bytes: 3408
- Updated: 2026-07-05T14:04:24.494Z
Content
# EMBEDDING / IMAGE MODEL — ограничение VRAM
## Проблема
- Ollama не поддерживает параллельную работу моделей
- Основная модель (qwen3.6-35b-128k) занимает ~30 ГБ VRAM
- bge-m3 и qwen2.5vl:32b не загружены в VRAM
- При любом embedding/image-запросе: выгрузка основной модели → загрузка другой → обратно
## Задержки
### Embedding (bge-m3)
- При загруженной основной модели: ~30-60 сек (выгрузка + загрузка)
- Когда основная модель просрочена (idle): ~5-10 сек
### Image model (qwen2.5vl:32b, 19.7 ГБ)
- **Не загружена в VRAM вообще**
- Каждый image-запрос = выгрузка qwen3.6 + загрузка qwen2.5vl: ~30-60 сек
- После завершения — основная модель не восстанавливается автоматически
## Текущий статус
- bge-m3: работает, 1024 dims, корректные эмбеддинги
- qwen2.5vl:32b: доступна, тестирование зависает на таймауте (загрузка модели)
- VRAM: RTX 5090 32GB
## Варианты решения
1. **Отложить embedding** до когда основная модель выгружена (idle)
2. **Использовать embed-as-code** в ollama — загрузить bge-m3 на CPU через nproc
3. **Перейти на embedding-as-code** с отдельным процессом (sentence-transformers)
4. **Обрезать qwen3.6** до более компактной квантованной версии чтобы оставить место
## Рекомендация
Сначала проверить вариант embed-as-code. Если не работает — использовать embedding только при простое.
---
## Image Model Notes
- qwen2.5vl:32b (19.7 GB) — основная imageModel
- При каждом image-запросе: выгрузка qwen3.6 → загрузка qwen2.5vl → генерация
- После генерации: основная модель **не восстанавливается** автоматически
- Пользователь должен учитывать ~60сек задержку перед каждым image-запросом
- При активной основной модели: image-запросы будут крайне медленными
### ⚠️ КРИТИЧНОЕ ПРЕДОСТЕРЕЖЕНИЕ
- **НИКОГДА не используй `num_gpu: 0`** — модель 32GB на CPU повесит Dell
- Dell Precision 5560 — ноутбук, не сервер, CPU не тянет большие модели
- **Всегда используй GPU** (ollama defaults к GPU для моделей > 1GB)
- Если нужно проверить imageModel — подождите пока qwen3.6 просрочится
- Тестировать quality ответов: ждать idle основной модели → один image-запрос → фиксировать результат
- При любой проблеме: перезапуск ollama — `systemctl --user restart ollama` на Dell (192.168.1.200)