obsidian-vault/sources/embedding-trading.md
2026-09-20 20:40:46 +03:00

3.9 KiB
Raw Permalink Blame History

pageType id title sourceType sourcePath ingestedAt updatedAt status
source source.embedding-trading EMBEDDING TRADING local-file /home/owner/.openclaw/workspace/EMBEDDING-TRADING.md 2026-08-21T17:04:21.004Z 2026-08-21T17:04:21.004Z active

EMBEDDING TRADING

Source

  • Type: local-file
  • Path: /home/owner/.openclaw/workspace/EMBEDDING-TRADING.md
  • Bytes: 3408
  • Updated: 2026-08-21T17:04:21.004Z

Content

# EMBEDDING / IMAGE MODEL — ограничение VRAM

## Проблема
- Ollama не поддерживает параллельную работу моделей
- Основная модель (qwen3.8-27b-q5xl) занимает ~30 ГБ VRAM
- bge-m3 и qwen2.5vl:32b не загружены в VRAM
- При любом embedding/image-запросе: выгрузка основной модели → загрузка другой → обратно

## Задержки
### Embedding (bge-m3)
- При загруженной основной модели: ~30-60 сек (выгрузка + загрузка)
- Когда основная модель просрочена (idle): ~5-10 сек

### Image model (qwen2.5vl:32b, 19.7 ГБ)
- **Не загружена в VRAM вообще**
- Каждый image-запрос = выгрузка qwen3.6 + загрузка qwen2.5vl: ~30-60 сек
- После завершения — основная модель не восстанавливается автоматически

## Текущий статус
- bge-m3: работает, 1024 dims, корректные эмбеддинги
- qwen2.5vl:32b: доступна, тестирование зависает на таймауте (загрузка модели)
- VRAM: RTX 5090 32GB

## Варианты решения
1. **Отложить embedding** до когда основная модель выгружена (idle)
2. **Использовать embed-as-code** в ollama — загрузить bge-m3 на CPU через nproc
3. **Перейти на embedding-as-code** с отдельным процессом (sentence-transformers)
4. **Обрезать qwen3.6** до более компактной квантованной версии чтобы оставить место

## Рекомендация
Сначала проверить вариант embed-as-code. Если не работает — использовать embedding только при простое.

---

## Image Model Notes
- qwen2.5vl:32b (19.7 GB) — основная imageModel
- При каждом image-запросе: выгрузка qwen3.6 → загрузка qwen2.5vl → генерация
- После генерации: основная модель **не восстанавливается** автоматически
- Пользователь должен учитывать ~60сек задержку перед каждым image-запросом
- При активной основной модели: image-запросы будут крайне медленными

### ⚠️ КРИТИЧНОЕ ПРЕДОСТЕРЕЖЕНИЕ
- **НИКОГДА не используй `num_gpu: 0`** — модель 32GB на CPU повесит Dell
- Dell Precision 5560 — ноутбук, не сервер, CPU не тянет большие модели
- **Всегда используй GPU** (ollama defaults к GPU для моделей > 1GB)
- Если нужно проверить imageModel — подождите пока qwen3.6 просрочится
- Тестировать quality ответов: ждать idle основной модели → один image-запрос → фиксировать результат
- При любой проблеме: перезапуск ollama — `systemctl --user restart ollama` на Dell (192.168.1.200)

Notes

  • No related pages yet.