3.5 KiB
3.5 KiB
| id | pageType | updatedAt |
|---|---|---|
| source-EMBEDDING-TRADING | source | 2026-08-16T23:50:00+03:00 |
EMBEDDING / IMAGE MODEL — ограничение VRAM
Проблема
- Ollama не поддерживает параллельную работу моделей
- Основная модель (qwen3.6-35b-128k) занимает ~30 ГБ VRAM
- bge-m3 и qwen2.5vl:32b не загружены в VRAM
- При любом embedding/image-запросе: выгрузка основной модели → загрузка другой → обратно
Задержки
Embedding (bge-m3)
- При загруженной основной модели: ~30-60 сек (выгрузка + загрузка)
- Когда основная модель просрочена (idle): ~5-10 сек
Image model (qwen2.5vl:32b, 19.7 ГБ)
- Не загружена в VRAM вообще
- Каждый image-запрос = выгрузка qwen3.6 + загрузка qwen2.5vl: ~30-60 сек
- После завершения — основная модель не восстанавливается автоматически
Текущий статус
- bge-m3: работает, 1024 dims, корректные эмбеддинги
- qwen2.5vl:32b: доступна, тестирование зависает на таймауте (загрузка модели)
- VRAM: RTX 5090 32GB
Варианты решения
- Отложить embedding до когда основная модель выгружена (idle)
- Использовать embed-as-code в ollama — загрузить bge-m3 на CPU через nproc
- Перейти на embedding-as-code с отдельным процессом (sentence-transformers)
- Обрезать qwen3.6 до более компактной квантованной версии чтобы оставить место
Рекомендация
Сначала проверить вариант embed-as-code. Если не работает — использовать embedding только при простое.
Image Model Notes
- qwen2.5vl:32b (19.7 GB) — основная imageModel
- При каждом image-запросе: выгрузка qwen3.6 → загрузка qwen2.5vl → генерация
- После генерации: основная модель не восстанавливается автоматически
- Пользователь должен учитывать ~60сек задержку перед каждым image-запросом
- При активной основной модели: image-запросы будут крайне медленными
⚠️ КРИТИЧНОЕ ПРЕДОСТЕРЕЖЕНИЕ
- НИКОГДА не используй
num_gpu: 0— модель 32GB на CPU повесит Dell - Dell Precision 5560 — ноутбук, не сервер, CPU не тянет большие модели
- Всегда используй GPU (ollama defaults к GPU для моделей > 1GB)
- Если нужно проверить imageModel — подождите пока qwen3.6 просрочится
- Тестировать quality ответов: ждать idle основной модели → один image-запрос → фиксировать результат
- При любой проблеме: перезапуск ollama —
systemctl --user restart ollamaна Dell (192.168.1.200)
Related
- No related pages yet.