--- id: concept-mail-pipeline pageType: concept updatedAt: 2026-09-06T17:24:51.591Z sourceIds: - sources/memory.md - sources/changelog.md tags: - mail - cron - trigger - imap - dedup - nextcloud confidence: 0.98 status: active claims: - text: LLM в mail-pipeline запускается только при fire:true trigger-скрипта status: supported evidence: - kind: source-file sourceId: source.memory path: sources/memory.md updatedAt: 2026-08-22T09:11:48.958Z updatedAt: 2026-08-22T09:11:48.958Z - text: Дедупликация ведётся по Message-ID (fallback sha1), state в skills/nextcloud-aio-oc/state/mail_seen.json status: supported evidence: - kind: source-file sourceId: source.memory path: sources/memory.md updatedAt: 2026-08-22T09:11:48.958Z updatedAt: 2026-08-22T09:11:48.958Z - text: Fetch не обнуляет Unread (mark_seen=False) status: supported evidence: - kind: source-file sourceId: source.memory path: sources/memory.md updatedAt: 2026-08-22T09:11:48.958Z updatedAt: 2026-08-22T09:11:48.958Z - text: UID-баг 2026-08-10 закрыт переписыванием mail_detect.py status: supported evidence: - kind: source-file sourceId: source.memory path: sources/memory.md updatedAt: 2026-08-22T09:11:48.958Z updatedAt: 2026-08-22T09:11:48.958Z - text: "Evaluator-agent вердикт по переработке: PASS 13/13 (fallback в промпте джоба исправлен на mail.py check --folder INBOX)" status: supported evidence: - kind: source-file sourceId: source.changelog path: sources/changelog.md updatedAt: 2026-06-25T18:02:53.657Z updatedAt: 2026-08-18T06:33:00+03:00 - text: "Beget IMAP: баточный UID MOVE не работает (NO или silent no-op), перенос/удаление только по одному UID за команду" status: supported evidence: - kind: source-file sourceId: source.memory path: sources/memory.md updatedAt: 2026-08-22T09:11:48.958Z updatedAt: 2026-08-22T09:11:48.958Z - text: "Beget IMAP: UID SEARCH SUBJECT отклоняется сервером (BAD: Unknown argument TEST) — поиск по теме client-side" status: supported evidence: - kind: source-file sourceId: source.memory path: sources/memory.md updatedAt: 2026-08-22T09:11:48.958Z updatedAt: 2026-08-22T09:11:48.958Z - text: "Beget IMAP: имена папок требуют префикса INBOX. (добавлен _normalize_folder() в mail.py, 2026-08-17)" status: supported evidence: - kind: source-file sourceId: source.memory path: sources/memory.md updatedAt: 2026-08-22T09:11:48.958Z updatedAt: 2026-08-22T09:11:48.958Z - id: mail-check-reenabled-2026-09-06 text: "mail-check (81689c8a-f1a4-4c0d-bb23-d096775a75bb) re-enabled 2026-09-06 (test-run PASS) после авто-отключения 2026-09-05 — root cause: npm-install OpenClaw 2026.9.1 поверх живого гейтвея (code-mode worker timeout → consecutive-failures); гейтвей перезапущен 2026-09-06 04:45" status: supported evidence: - kind: source-file sourceId: source.memory path: sources/memory.md lines: "MEMORY.md, секция Cron Jobs (Actualized 2026-09-06 MSK): строка Status (mail-check) re-enabled 2026-09-06, test-run PASS; строка 521 Live cron (wiki-ingest-event re-enabled 2026-09-06)" updatedAt: 2026-09-06T16:39:03.000Z updatedAt: 2026-09-06T19:39:00+03:00 --- # Concept: Mail Pipeline (arno@eurostela.ru) ## Summary Почтовый пайплайн arno@eurostela.ru (Beget IMAP) после переработки 2026-08-16: один cron-джоб `mail-check` с нативным trigger-скриптом, дедупликация по Message-ID, state-файл, LLM запускается только при новых письмах. ## Description ### Cron: mail-check - ID `81689c8a-f1a4-4c0d-bb23-d096775a75bb`, schedule every 15m + нативный event-trigger (cron `triggers.enabled`), session=isolated, payload agentTurn (timeout 300s), delivery announce → telegram:862485388. - Trigger-скрипт: `skills/nextcloud-aio-oc/scripts/mail_check_trigger.mjs` → вызывает `python3 .../mail_detect.py --trigger` → JSON `{fire, message}` на stdout. fire:false → модель НЕ запускается, в Telegram ничего не уходит; любые ошибки/таймаут/мусор → fire:false (скрипт никогда не бросает). - fire:true → LLM читает новые письма через `mail.py get UID`, формирует суть/класс/важность на русском, вложения-картинки → vision-модель (`qwen3-vl:32b`, правило v2), одно сообщение в Telegram. ### mail_detect.py (переписан 2026-08-16) - Режимы: `--trigger` (JSON fire/message) и `--debug` (dry-run). - Fetch с `mark_seen=False` — Unread-флаг IMAP не обнуляется. - Дедупликация по **Message-ID**, fallback `sha1(date|from|subject)`. - State: `skills/nextcloud-aio-oc/state/mail_seen.json` (cap 1000, переживает ребут; bootstrap 16 писем 2026-08-16). Файл НЕ удалять. - Ошибки IMAP → fire:false, exit 0. - Закрыл UID-баг от 2026-08-10 (динамические UID Beget IMAP + TypeError int/bytes в `mail.py get`). ### mail.py (2 точечных фикса 2026-08-16) - `cmd_check` → `mark_seen=False`; `load_account` → общий env-chain. - Env-chain пароля: `IMAP_PASS_ARN → IMAP_PASS → NEXTCLOUD_MAIL_PASS` (рабочая: IMAP_PASS; /etc/environment + env gateway). User/host fallback: `IMAP_USER`/`IMAP_HOST`. ### Beget IMAP Limitations (verified 2026-08-17) - **Баточный UID MOVE не работает:** `UID MOVE 119 120 INBOX.Trash` → `NO` ("Client tried to access nonexistent namespace") даже с корректным префиксом INBOX. Ранее (2026-08-17 20:26) наблюдался silent no-op (OK, но ничего не перенеслось). Одно-UID MOVE работает стабильно (подтверждено дважды: UID 119, 120). Перенос/удаление — только по одному UID за команду (mail.py delete так и работает). - **SEARCH SUBJECT не парсится:** `UID SEARCH SUBJECT "текст"` → `BAD: Unknown argument TEST`. Поиск по теме — только client-side фильтрация. - **Имена папок:** всегда с префиксом `INBOX.` (INBOX.Trash, INBOX.Junk, INBOX.Sent); "Trash" без префикса → NO. В mail.py добавлена `_normalize_folder()` (2026-08-17). ### Отменённые/удалённые - `mail-detect` (50c4362c, пароль был в промпте) и `mail-analyze` (bef0b684) — удалены 2026-08-16. - `mail-daily-report-9am` — НЕ возвращён (решение пользователя). - Legacy /tmp-файлы (last_seen_uids.json, mail_pattern_log.json, mail_new.json, mail_analyze_pending) удалены. ### Heartbeat status (2026-08-18) - **Heartbeat DISABLED** (every="0m") — больше не управляет почтой. Mail check исключительный через cron `mail-check`. ## Claims - LLM в mail-pipeline запускается только при fire:true trigger-скрипта - Дедупликация ведётся по Message-ID (fallback sha1), state в skills/nextcloud-aio-oc/state/mail_seen.json - Fetch не обнуляет Unread (mark_seen=False) - UID-баг 2026-08-10 закрыт переписыванием mail_detect.py - Evaluator-agent вердикт по переработке: PASS 13/13 (fallback в промпте джоба исправлен на mail.py check --folder INBOX) - Beget IMAP: баточный UID MOVE не работает (NO или silent no-op), перенос/удаление только по одному UID за команду - Beget IMAP: UID SEARCH SUBJECT отклоняется сервером (BAD: Unknown argument TEST) — поиск по теме client-side - Beget IMAP: имена папок требуют префикса INBOX. (добавлен _normalize_folder() в mail.py, 2026-08-17) - mail-check re-enabled 2026-09-06 (test-run PASS) после авто-отключения 2026-09-05 (npm-install OpenClaw 2026.9.1 → code-mode worker timeout → consecutive-failures); гейтвей перезапущен 2026-09-06 04:45 ## Tags - mail - cron - trigger - imap - dedup - nextcloud ## Sources - [[MEMORY.md]] ## Related ### Related Pages - [Concept: Active Projects](Active-Projects.md) - [Concept: Bridge Mode](Bridge-Mode.md) - [Concept: Nextcloud Sync Folder (arno.nextcloud)](Nextcloud-Sync-Folder.md) - [Concept: Routing](Routing.md) - [Concept: Search Tool Priority](Search-Tool-Priority.md) - [Concept: VRAM Management](VRAM-Management.md) - [Concept: Workspace File Policy](Workspace-File-Policy.md) - [Entity: Beget (хостинг / IMAP)](../entities/Beget.md) - [Entity: Dream Diary (DREAMS.md)](../entities/Dream-Diary.md) - [Entity: Ollama](../entities/Ollama.md) - [Entity: OpenClaw](../entities/OpenClaw.md) - [Hermes Restructure (2026-09-07): Source of Truth → INFRASTRUCTURE.md](../syntheses/hermes-restructure-2026-09-07-source-of-truth-infrastructure-md.md)