58 lines
3.5 KiB
Markdown
58 lines
3.5 KiB
Markdown
---
|
||
id: source-EMBEDDING-TRADING
|
||
pageType: source
|
||
updatedAt: 2026-08-16T23:50:00+03:00
|
||
---
|
||
# EMBEDDING / IMAGE MODEL — ограничение VRAM
|
||
|
||
## Проблема
|
||
- Ollama не поддерживает параллельную работу моделей
|
||
- Основная модель (qwen3.6-35b-128k) занимает ~30 ГБ VRAM
|
||
- bge-m3 и qwen2.5vl:32b не загружены в VRAM
|
||
- При любом embedding/image-запросе: выгрузка основной модели → загрузка другой → обратно
|
||
|
||
## Задержки
|
||
### Embedding (bge-m3)
|
||
- При загруженной основной модели: ~30-60 сек (выгрузка + загрузка)
|
||
- Когда основная модель просрочена (idle): ~5-10 сек
|
||
|
||
### Image model (qwen2.5vl:32b, 19.7 ГБ)
|
||
- **Не загружена в VRAM вообще**
|
||
- Каждый image-запрос = выгрузка qwen3.6 + загрузка qwen2.5vl: ~30-60 сек
|
||
- После завершения — основная модель не восстанавливается автоматически
|
||
|
||
## Текущий статус
|
||
- bge-m3: работает, 1024 dims, корректные эмбеддинги
|
||
- qwen2.5vl:32b: доступна, тестирование зависает на таймауте (загрузка модели)
|
||
- VRAM: RTX 5090 32GB
|
||
|
||
## Варианты решения
|
||
1. **Отложить embedding** до когда основная модель выгружена (idle)
|
||
2. **Использовать embed-as-code** в ollama — загрузить bge-m3 на CPU через nproc
|
||
3. **Перейти на embedding-as-code** с отдельным процессом (sentence-transformers)
|
||
4. **Обрезать qwen3.6** до более компактной квантованной версии чтобы оставить место
|
||
|
||
## Рекомендация
|
||
Сначала проверить вариант embed-as-code. Если не работает — использовать embedding только при простое.
|
||
|
||
---
|
||
|
||
## Image Model Notes
|
||
- qwen2.5vl:32b (19.7 GB) — основная imageModel
|
||
- При каждом image-запросе: выгрузка qwen3.6 → загрузка qwen2.5vl → генерация
|
||
- После генерации: основная модель **не восстанавливается** автоматически
|
||
- Пользователь должен учитывать ~60сек задержку перед каждым image-запросом
|
||
- При активной основной модели: image-запросы будут крайне медленными
|
||
|
||
### ⚠️ КРИТИЧНОЕ ПРЕДОСТЕРЕЖЕНИЕ
|
||
- **НИКОГДА не используй `num_gpu: 0`** — модель 32GB на CPU повесит Dell
|
||
- Dell Precision 5560 — ноутбук, не сервер, CPU не тянет большие модели
|
||
- **Всегда используй GPU** (ollama defaults к GPU для моделей > 1GB)
|
||
- Если нужно проверить imageModel — подождите пока qwen3.6 просрочится
|
||
- Тестировать quality ответов: ждать idle основной модели → один image-запрос → фиксировать результат
|
||
- При любой проблеме: перезапуск ollama — `systemctl --user restart ollama` на Dell (192.168.1.200)
|
||
|
||
## Related
|
||
<!-- openclaw:wiki:related:start -->
|
||
- No related pages yet.
|
||
<!-- openclaw:wiki:related:end -->
|