obsidian-vault/concepts/Mail-Pipeline.md
2026-11-02 23:15:01 +00:00

221 lines
15 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

---
id: concept-mail-pipeline
pageType: concept
updatedAt: 2026-11-02T23:07:11.000Z
sourceIds:
- sources/memory.md
- sources/changelog.md
tags:
- mail
- cron
- trigger
- imap
- dedup
- nextcloud
confidence: 0.98
status: active
claims:
- text: LLM в mail-pipeline запускается только при fire:true trigger-скрипта
status: supported
evidence:
- kind: source-file
sourceId: source.memory
path: sources/memory.md
updatedAt: 2026-08-22T09:11:48.958Z
updatedAt: 2026-08-22T09:11:48.958Z
- text: Дедупликация ведётся по Message-ID (fallback sha1), state в
skills/nextcloud-aio-oc/state/mail_seen.json
status: supported
evidence:
- kind: source-file
sourceId: source.memory
path: sources/memory.md
updatedAt: 2026-08-22T09:11:48.958Z
updatedAt: 2026-08-22T09:11:48.958Z
- text: Fetch не обнуляет Unread (mark_seen=False)
status: supported
evidence:
- kind: source-file
sourceId: source.memory
path: sources/memory.md
updatedAt: 2026-08-22T09:11:48.958Z
updatedAt: 2026-08-22T09:11:48.958Z
- text: UID-баг 2026-08-10 закрыт переписыванием mail_detect.py
status: supported
evidence:
- kind: source-file
sourceId: source.memory
path: sources/memory.md
updatedAt: 2026-08-22T09:11:48.958Z
updatedAt: 2026-08-22T09:11:48.958Z
- text: "Evaluator-agent вердикт по переработке: PASS 13/13 (fallback в промпте
джоба исправлен на mail.py check --folder INBOX)"
status: supported
evidence:
- kind: source-file
sourceId: source.changelog
path: sources/changelog.md
updatedAt: 2026-06-25T18:02:53.657Z
updatedAt: 2026-08-18T06:33:00+03:00
- text: "Beget IMAP: баточный UID MOVE не работает (NO или silent no-op),
перенос/удаление только по одному UID за команду"
status: supported
evidence:
- kind: source-file
sourceId: source.memory
path: sources/memory.md
updatedAt: 2026-08-22T09:11:48.958Z
updatedAt: 2026-08-22T09:11:48.958Z
- text: "Beget IMAP: UID SEARCH SUBJECT отклоняется сервером (BAD: Unknown
argument TEST) — поиск по теме client-side"
status: supported
evidence:
- kind: source-file
sourceId: source.memory
path: sources/memory.md
updatedAt: 2026-08-22T09:11:48.958Z
updatedAt: 2026-08-22T09:11:48.958Z
- text: "Beget IMAP: имена папок требуют префикса INBOX. (добавлен
_normalize_folder() в mail.py, 2026-08-17)"
status: supported
evidence:
- kind: source-file
sourceId: source.memory
path: sources/memory.md
updatedAt: 2026-08-22T09:11:48.958Z
updatedAt: 2026-08-22T09:11:48.958Z
- id: mail-check-reenabled-2026-09-06
text: "mail-check (81689c8a-f1a4-4c0d-bb23-d096775a75bb) re-enabled 2026-09-06
(test-run PASS) после авто-отключения 2026-09-05 — root cause: npm-install
OpenClaw 2026.9.1 поверх живого гейтвея (code-mode worker timeout →
consecutive-failures); гейтвей перезапущен 2026-09-06 04:45"
status: supported
evidence:
- kind: source-file
sourceId: source.memory
path: sources/memory.md
lines: "MEMORY.md, секция Cron Jobs (Actualized 2026-09-06 MSK): строка Status (mail-check) re-enabled 2026-09-06, test-run PASS; строка 521 Live cron (wiki-ingest-event re-enabled 2026-09-06)"
updatedAt: 2026-09-06T16:39:03.000Z
updatedAt: 2026-09-06T19:39:00+03:00
- id: mail-check-trigger-v3-2026-10-05
text: "mail-check trigger v3 (2026-10-05; provenance: CHANGELOG [INFRA] 2026-10-05 10:15–11:20 MSK): обновление OpenClaw (2026.9.8) удалило legacy API tools.call('exec') в cron trigger-скриптах — mail_check_trigger.mjs переписан на прямой await exec({command}) + json({...}) (формат automation/cron-jobs/schedules.md «Event triggers»); v2-скрипт падал «cron trigger evaluation timed out», doctor auto-migration отмёл как unsafe. Счётчик ошибок IMAP перенесён в persistентный trigger.state (count/last_error/last_at/last_alert_at; алерт fire:true при 3+ ошибках подряд, повтор каждые 5, cooldown 4ч; best-effort зеркало state/mail_errors.json, non-fatal); детектор mail_detect.py --trigger и семантика fire/dedup без изменений; бюджет 2 exec из допустимых 5, wall < 30s; backup v2: mail_check_trigger.mjs.bak-v2. Payload agentTurn timeout 300s → 900s (300s не хватало на холодный isolated-запуск main + конкуренция за единственный GPU Ollama 27B; при 300s payload падал ровно в 300000ms model-call-started). E2E verified 2026-10-05 11:15 MSK: forced run → status ok, delivery delivered (Telegram 862485388), consecutiveErrors 0."
status: supported
evidence:
- kind: source-file
sourceId: source.changelog
path: sources/changelog.md
note: "provenance: CHANGELOG.md [INFRA] 2026-10-05 10:15–11:20 MSK (mail-check v3 + timeout fix)"
- kind: source-file
sourceId: source.memory
path: sources/memory.md
lines: "MEMORY.md, §3, «Cron configuration snapshot (verified 2026-10-05)»"
updatedAt: 2026-10-05T08:54:23.150Z
- id: mail-check-reenabled-2026-10-24
text: "mail-check (81689c8a-f1a4-4c0d-bb23-d096775a75bb, 15m) включён снова
2026-10-24 после фикса DNS (MikroTik 192.168.88.1) — цепочка 144
ошибок иссякла; семантика trigger v3 без изменений (прямой exec()+json()
без legacy tools.call, счётчик ошибок IMAP в persistентном trigger.state,
payload agentTurn timeout 900s)"
status: supported
evidence:
- kind: source-file
sourceId: source.memory
path: sources/memory.md
lines: "MEMORY.md §3, строка «Cron configuration snapshot»: 'mail-check (15m; включён снова 2026-10-24 после fixes DNS (MikroTik 192.168.88.1); цепочка 144 ошибок иссякла)'"
updatedAt: 2026-10-24T23:00:57.981Z
updatedAt: 2026-10-24T23:07:09.000Z
- id: mail-check-disabled-2026-11-02
text: "mail-check (81689c8a-f1a4-4c0d-bb23-d096775a75bb, 15m) отключён
2026-11-02 (enabled false): Beget IMAP временно down по требованию
пользователя 2026-11-02; payload agentTurn timeout 900s; schedule/payload/
delivery/trigger.script не тронуты (audit PASS, CHANGELOG [INFRA] 2026-11-02
~19:40 MSK)"
status: supported
evidence:
- kind: source-file
sourceId: source.memory
path: sources/memory.md
lines: "MEMORY.md §3, строка «Cron configuration snapshot»: 'mail-check (15m; отключён 2026-11-02 (enabled false): Beget IMAP временно down по требованию пользователя 2026-11-02; payload agentTurn timeout 900s)'"
updatedAt: 2026-11-02T23:00:33.386Z
updatedAt: 2026-11-02T23:07:11.000Z
---
# Concept: Mail Pipeline (arno@eurostela.ru)
## Summary
Почтовый пайплайн arno@eurostela.ru (Beget IMAP) после переработки 2026-08-16: один cron-джоб `mail-check` с нативным trigger-скриптом, дедупликация по Message-ID, state-файл, LLM запускается только при новых письмах.
## Description
### Cron: mail-check
- ID `81689c8a-f1a4-4c0d-bb23-d096775a75bb`, schedule every 15m + нативный event-trigger (cron `triggers.enabled`), session=isolated, payload agentTurn (timeout 900s, с 2026-10-05; было 300s — payload упрался ровно в 300000ms model-call-started), delivery announce → telegram:862485388.
- Trigger-скрипт (**v3, с 2026-10-05**): `skills/nextcloud-aio-oc/scripts/mail_check_trigger.mjs` → новый формат automation/cron-jobs/schedules.md «Event triggers»: прямой `await exec({command})` + `json({...})` (legacy `tools.call('exec')` удалён обновлением OpenClaw 2026.9.8). Вызывает `python3 .../mail_detect.py --trigger` → JSON `{fire, message}`. fire:false → модель НЕ запускается, в Telegram ничего не уходит; любые ошибки/таймаут/мусор → fire:false (скрипт никогда не бросает). Ошибки IMAP считаются в persistентном `trigger.state` (count/last_error/last_at/last_alert_at): алерт (fire:true) при 3+ ошибках подряд, повтор каждые 5, cooldown 4ч; best-effort зеркало `state/mail_errors.json` (non-fatal). Бюджет: 2 exec из 5, wall < 30s. Backup v2: `mail_check_trigger.mjs.bak-v2`.
- fire:true → LLM читает новые письма через `mail.py get UID`, формирует суть/класс/важность на русском, вложения-картинки → vision-модель (`qwen3-vl:32b`, правило v2), одно сообщение в Telegram.
### mail_detect.py (переписан 2026-08-16)
- Режимы: `--trigger` (JSON fire/message) и `--debug` (dry-run).
- Fetch с `mark_seen=False` — Unread-флаг IMAP не обнуляется.
- Дедупликация по **Message-ID**, fallback `sha1(date|from|subject)`.
- State: `skills/nextcloud-aio-oc/state/mail_seen.json` (cap 1000, переживает ребут; bootstrap 16 писем 2026-08-16). Файл НЕ удалять.
- Ошибки IMAP → fire:false, exit 0.
- Закрыл UID-баг от 2026-08-10 (динамические UID Beget IMAP + TypeError int/bytes в `mail.py get`).
### mail.py (2 точечных фикса 2026-08-16)
- `cmd_check` → `mark_seen=False`; `load_account` → общий env-chain.
- Env-chain пароля: `IMAP_PASS_ARN → IMAP_PASS → NEXTCLOUD_MAIL_PASS` (рабочая: IMAP_PASS; /etc/environment + env gateway). User/host fallback: `IMAP_USER`/`IMAP_HOST`.
### Beget IMAP Limitations (verified 2026-08-17)
- **Баточный UID MOVE не работает:** `UID MOVE 119 120 INBOX.Trash` → `NO` ("Client tried to access nonexistent namespace") даже с корректным префиксом INBOX. Ранее (2026-08-17 20:26) наблюдался silent no-op (OK, но ничего не перенеслось). Одно-UID MOVE работает стабильно (подтверждено дважды: UID 119, 120). Перенос/удаление — только по одному UID за команду (mail.py delete так и работает).
- **SEARCH SUBJECT не парсится:** `UID SEARCH SUBJECT "текст"` → `BAD: Unknown argument TEST`. Поиск по теме — только client-side фильтрация.
- **Имена папок:** всегда с префиксом `INBOX.` (INBOX.Trash, INBOX.Junk, INBOX.Sent); "Trash" без префикса → NO. В mail.py добавлена `_normalize_folder()` (2026-08-17).
### Отменённые/удалённые
- `mail-detect` (50c4362c, пароль был в промпте) и `mail-analyze` (bef0b684) — удалены 2026-08-16.
- `mail-daily-report-9am` — НЕ возвращён (решение пользователя).
- Legacy /tmp-файлы (last_seen_uids.json, mail_pattern_log.json, mail_new.json, mail_analyze_pending) удалены.
### Heartbeat status (2026-08-18)
- **Heartbeat DISABLED** (every="0m") — больше не управляет почтой. Mail check исключительный через cron `mail-check`.
## Claims
- LLM в mail-pipeline запускается только при fire:true trigger-скрипта
- Дедупликация ведётся по Message-ID (fallback sha1), state в skills/nextcloud-aio-oc/state/mail_seen.json
- Fetch не обнуляет Unread (mark_seen=False)
- UID-баг 2026-08-10 закрыт переписыванием mail_detect.py
- Evaluator-agent вердикт по переработке: PASS 13/13 (fallback в промпте джоба исправлен на mail.py check --folder INBOX)
- Beget IMAP: баточный UID MOVE не работает (NO или silent no-op), перенос/удаление только по одному UID за команду
- Beget IMAP: UID SEARCH SUBJECT отклоняется сервером (BAD: Unknown argument TEST) — поиск по теме client-side
- Beget IMAP: имена папок требуют префикса INBOX. (добавлен _normalize_folder() в mail.py, 2026-08-17)
- mail-check re-enabled 2026-09-06 (test-run PASS) после авто-отключения 2026-09-05 (npm-install OpenClaw 2026.9.1 → code-mode worker timeout → consecutive-failures); гейтвей перезапущен 2026-09-06 04:45
- mail-check trigger v3 (2026-10-05): прямой exec()+json() без legacy tools.call; счётчик ошибок IMAP в trigger.state (алерт 3+/5/4ч); payload timeout 300s→900s; E2E verified 2026-10-05 (delivered Telegram)
- mail-check включён снова 2026-10-24 после фикса DNS (MikroTik 192.168.88.1); цепочка 144 ошибок иссякла; trigger v3 без изменений
- mail-check отключён 2026-11-02 (enabled false): Beget IMAP временно down по требованию пользователя 2026-11-02; trigger v3 и payload (timeout 900s) не тронуты
## Tags
- mail
- cron
- trigger
- imap
- dedup
- nextcloud
## Sources
- [[MEMORY.md]]
## Related
<!-- openclaw:wiki:related:start -->
### Related Pages
- [Concept: Bridge Mode](Bridge-Mode.md)
- [Concept: Nextcloud Sync Folder (arno.nextcloud)](Nextcloud-Sync-Folder.md)
- [Concept: Routing](Routing.md)
- [Concept: Search Tool Priority](Search-Tool-Priority.md)
- [Concept: VRAM Management](VRAM-Management.md)
- [Entity: Beget (хостинг / IMAP)](../entities/Beget.md)
- [Entity: Dream Diary (DREAMS.md)](../entities/Dream-Diary.md)
- [Entity: Ollama](../entities/Ollama.md)
- [Entity: OpenClaw](../entities/OpenClaw.md)
- [Hermes Restructure (2026-09-07): Source of Truth → INFRASTRUCTURE.md](../syntheses/hermes-restructure-2026-09-07-source-of-truth-infrastructure-md.md)
- [Infrastructure Overview](../syntheses/infrastructure-overview.md)
- [Synthesis: Agent Architecture](../syntheses/Agent-Architecture.md)
<!-- openclaw:wiki:related:end -->