--- pageType: source id: source.embedding-trading title: EMBEDDING TRADING sourceType: local-file sourcePath: /home/owner/.openclaw/workspace/EMBEDDING-TRADING.md ingestedAt: 2026-08-21T17:04:21.004Z updatedAt: 2026-08-21T17:04:21.004Z status: active --- # EMBEDDING TRADING ## Source - Type: `local-file` - Path: `/home/owner/.openclaw/workspace/EMBEDDING-TRADING.md` - Bytes: 3408 - Updated: 2026-08-21T17:04:21.004Z ## Content ```text # EMBEDDING / IMAGE MODEL — ограничение VRAM ## Проблема - Ollama не поддерживает параллельную работу моделей - Основная модель (qwen3.8-27b-q5xl) занимает ~30 ГБ VRAM - bge-m3 и qwen2.5vl:32b не загружены в VRAM - При любом embedding/image-запросе: выгрузка основной модели → загрузка другой → обратно ## Задержки ### Embedding (bge-m3) - При загруженной основной модели: ~30-60 сек (выгрузка + загрузка) - Когда основная модель просрочена (idle): ~5-10 сек ### Image model (qwen2.5vl:32b, 19.7 ГБ) - **Не загружена в VRAM вообще** - Каждый image-запрос = выгрузка qwen3.6 + загрузка qwen2.5vl: ~30-60 сек - После завершения — основная модель не восстанавливается автоматически ## Текущий статус - bge-m3: работает, 1024 dims, корректные эмбеддинги - qwen2.5vl:32b: доступна, тестирование зависает на таймауте (загрузка модели) - VRAM: RTX 5090 32GB ## Варианты решения 1. **Отложить embedding** до когда основная модель выгружена (idle) 2. **Использовать embed-as-code** в ollama — загрузить bge-m3 на CPU через nproc 3. **Перейти на embedding-as-code** с отдельным процессом (sentence-transformers) 4. **Обрезать qwen3.6** до более компактной квантованной версии чтобы оставить место ## Рекомендация Сначала проверить вариант embed-as-code. Если не работает — использовать embedding только при простое. --- ## Image Model Notes - qwen2.5vl:32b (19.7 GB) — основная imageModel - При каждом image-запросе: выгрузка qwen3.6 → загрузка qwen2.5vl → генерация - После генерации: основная модель **не восстанавливается** автоматически - Пользователь должен учитывать ~60сек задержку перед каждым image-запросом - При активной основной модели: image-запросы будут крайне медленными ### ⚠️ КРИТИЧНОЕ ПРЕДОСТЕРЕЖЕНИЕ - **НИКОГДА не используй `num_gpu: 0`** — модель 32GB на CPU повесит Dell - Dell Precision 5560 — ноутбук, не сервер, CPU не тянет большие модели - **Всегда используй GPU** (ollama defaults к GPU для моделей > 1GB) - Если нужно проверить imageModel — подождите пока qwen3.6 просрочится - Тестировать quality ответов: ждать idle основной модели → один image-запрос → фиксировать результат - При любой проблеме: перезапуск ollama — `systemctl --user restart ollama` на Dell (192.168.1.200) ``` ## Notes ## Related - No related pages yet.