obsidian-vault/sources/embedding-trading-source.md
2026-09-20 20:40:46 +03:00

3.5 KiB
Raw Permalink Blame History

id pageType updatedAt
source-EMBEDDING-TRADING source 2026-08-16T23:50:00+03:00

EMBEDDING / IMAGE MODEL — ограничение VRAM

Проблема

  • Ollama не поддерживает параллельную работу моделей
  • Основная модель (qwen3.6-35b-128k) занимает ~30 ГБ VRAM
  • bge-m3 и qwen2.5vl:32b не загружены в VRAM
  • При любом embedding/image-запросе: выгрузка основной модели → загрузка другой → обратно

Задержки

Embedding (bge-m3)

  • При загруженной основной модели: ~30-60 сек (выгрузка + загрузка)
  • Когда основная модель просрочена (idle): ~5-10 сек

Image model (qwen2.5vl:32b, 19.7 ГБ)

  • Не загружена в VRAM вообще
  • Каждый image-запрос = выгрузка qwen3.6 + загрузка qwen2.5vl: ~30-60 сек
  • После завершения — основная модель не восстанавливается автоматически

Текущий статус

  • bge-m3: работает, 1024 dims, корректные эмбеддинги
  • qwen2.5vl:32b: доступна, тестирование зависает на таймауте (загрузка модели)
  • VRAM: RTX 5090 32GB

Варианты решения

  1. Отложить embedding до когда основная модель выгружена (idle)
  2. Использовать embed-as-code в ollama — загрузить bge-m3 на CPU через nproc
  3. Перейти на embedding-as-code с отдельным процессом (sentence-transformers)
  4. Обрезать qwen3.6 до более компактной квантованной версии чтобы оставить место

Рекомендация

Сначала проверить вариант embed-as-code. Если не работает — использовать embedding только при простое.


Image Model Notes

  • qwen2.5vl:32b (19.7 GB) — основная imageModel
  • При каждом image-запросе: выгрузка qwen3.6 → загрузка qwen2.5vl → генерация
  • После генерации: основная модель не восстанавливается автоматически
  • Пользователь должен учитывать ~60сек задержку перед каждым image-запросом
  • При активной основной модели: image-запросы будут крайне медленными

⚠️ КРИТИЧНОЕ ПРЕДОСТЕРЕЖЕНИЕ

  • НИКОГДА не используй num_gpu: 0 — модель 32GB на CPU повесит Dell
  • Dell Precision 5560 — ноутбук, не сервер, CPU не тянет большие модели
  • Всегда используй GPU (ollama defaults к GPU для моделей > 1GB)
  • Если нужно проверить imageModel — подождите пока qwen3.6 просрочится
  • Тестировать quality ответов: ждать idle основной модели → один image-запрос → фиксировать результат
  • При любой проблеме: перезапуск ollama — systemctl --user restart ollama на Dell (192.168.1.200)
  • No related pages yet.