obsidian-vault/concepts/Mail-Pipeline.md
2026-11-02 23:15:01 +00:00

15 KiB
Raw Blame History

id pageType updatedAt sourceIds tags confidence status claims
concept-mail-pipeline concept 2026-11-02T23:07:11.000Z
sources/memory.md
sources/changelog.md
mail
cron
trigger
imap
dedup
nextcloud
0.98 active
text status evidence updatedAt
LLM в mail-pipeline запускается только при fire:true trigger-скрипта supported
kind sourceId path updatedAt
source-file source.memory sources/memory.md 2026-08-22T09:11:48.958Z
2026-08-22T09:11:48.958Z
text status evidence updatedAt
Дедупликация ведётся по Message-ID (fallback sha1), state в skills/nextcloud-aio-oc/state/mail_seen.json supported
kind sourceId path updatedAt
source-file source.memory sources/memory.md 2026-08-22T09:11:48.958Z
2026-08-22T09:11:48.958Z
text status evidence updatedAt
Fetch не обнуляет Unread (mark_seen=False) supported
kind sourceId path updatedAt
source-file source.memory sources/memory.md 2026-08-22T09:11:48.958Z
2026-08-22T09:11:48.958Z
text status evidence updatedAt
UID-баг 2026-08-10 закрыт переписыванием mail_detect.py supported
kind sourceId path updatedAt
source-file source.memory sources/memory.md 2026-08-22T09:11:48.958Z
2026-08-22T09:11:48.958Z
text status evidence updatedAt
Evaluator-agent вердикт по переработке: PASS 13/13 (fallback в промпте джоба исправлен на mail.py check --folder INBOX) supported
kind sourceId path updatedAt
source-file source.changelog sources/changelog.md 2026-06-25T18:02:53.657Z
2026-08-18T06:33:00+03:00
text status evidence updatedAt
Beget IMAP: баточный UID MOVE не работает (NO или silent no-op), перенос/удаление только по одному UID за команду supported
kind sourceId path updatedAt
source-file source.memory sources/memory.md 2026-08-22T09:11:48.958Z
2026-08-22T09:11:48.958Z
text status evidence updatedAt
Beget IMAP: UID SEARCH SUBJECT отклоняется сервером (BAD: Unknown argument TEST) — поиск по теме client-side supported
kind sourceId path updatedAt
source-file source.memory sources/memory.md 2026-08-22T09:11:48.958Z
2026-08-22T09:11:48.958Z
text status evidence updatedAt
Beget IMAP: имена папок требуют префикса INBOX. (добавлен _normalize_folder() в mail.py, 2026-08-17) supported
kind sourceId path updatedAt
source-file source.memory sources/memory.md 2026-08-22T09:11:48.958Z
2026-08-22T09:11:48.958Z
id text status evidence updatedAt
mail-check-reenabled-2026-09-06 mail-check (81689c8a-f1a4-4c0d-bb23-d096775a75bb) re-enabled 2026-09-06 (test-run PASS) после авто-отключения 2026-09-05 — root cause: npm-install OpenClaw 2026.9.1 поверх живого гейтвея (code-mode worker timeout → consecutive-failures); гейтвей перезапущен 2026-09-06 04:45 supported
kind sourceId path lines updatedAt
source-file source.memory sources/memory.md MEMORY.md, секция Cron Jobs (Actualized 2026-09-06 MSK): строка Status (mail-check) re-enabled 2026-09-06, test-run PASS; строка 521 Live cron (wiki-ingest-event re-enabled 2026-09-06) 2026-09-06T16:39:03.000Z
2026-09-06T19:39:00+03:00
id text status evidence updatedAt
mail-check-trigger-v3-2026-10-05 mail-check trigger v3 (2026-10-05; provenance: CHANGELOG [INFRA] 2026-10-05 10:15–11:20 MSK): обновление OpenClaw (2026.9.8) удалило legacy API tools.call('exec') в cron trigger-скриптах — mail_check_trigger.mjs переписан на прямой await exec({command}) + json({...}) (формат automation/cron-jobs/schedules.md «Event triggers»); v2-скрипт падал «cron trigger evaluation timed out», doctor auto-migration отмёл как unsafe. Счётчик ошибок IMAP перенесён в persistентный trigger.state (count/last_error/last_at/last_alert_at; алерт fire:true при 3+ ошибках подряд, повтор каждые 5, cooldown 4ч; best-effort зеркало state/mail_errors.json, non-fatal); детектор mail_detect.py --trigger и семантика fire/dedup без изменений; бюджет 2 exec из допустимых 5, wall < 30s; backup v2: mail_check_trigger.mjs.bak-v2. Payload agentTurn timeout 300s → 900s (300s не хватало на холодный isolated-запуск main + конкуренция за единственный GPU Ollama 27B; при 300s payload падал ровно в 300000ms model-call-started). E2E verified 2026-10-05 11:15 MSK: forced run → status ok, delivery delivered (Telegram 862485388), consecutiveErrors 0. supported
kind sourceId path note
source-file source.changelog sources/changelog.md provenance: CHANGELOG.md [INFRA] 2026-10-05 10:15–11:20 MSK (mail-check v3 + timeout fix)
kind sourceId path lines
source-file source.memory sources/memory.md MEMORY.md, §3, «Cron configuration snapshot (verified 2026-10-05)»
2026-10-05T08:54:23.150Z
id text status evidence updatedAt
mail-check-reenabled-2026-10-24 mail-check (81689c8a-f1a4-4c0d-bb23-d096775a75bb, 15m) включён снова 2026-10-24 после фикса DNS (MikroTik 192.168.88.1) — цепочка 144 ошибок иссякла; семантика trigger v3 без изменений (прямой exec()+json() без legacy tools.call, счётчик ошибок IMAP в persistентном trigger.state, payload agentTurn timeout 900s) supported
kind sourceId path lines updatedAt
source-file source.memory sources/memory.md MEMORY.md §3, строка «Cron configuration snapshot»: 'mail-check (15m; включён снова 2026-10-24 после fixes DNS (MikroTik 192.168.88.1); цепочка 144 ошибок иссякла)' 2026-10-24T23:00:57.981Z
2026-10-24T23:07:09.000Z
id text status evidence updatedAt
mail-check-disabled-2026-11-02 mail-check (81689c8a-f1a4-4c0d-bb23-d096775a75bb, 15m) отключён 2026-11-02 (enabled false): Beget IMAP временно down по требованию пользователя 2026-11-02; payload agentTurn timeout 900s; schedule/payload/ delivery/trigger.script не тронуты (audit PASS, CHANGELOG [INFRA] 2026-11-02 ~19:40 MSK) supported
kind sourceId path lines updatedAt
source-file source.memory sources/memory.md MEMORY.md §3, строка «Cron configuration snapshot»: 'mail-check (15m; отключён 2026-11-02 (enabled false): Beget IMAP временно down по требованию пользователя 2026-11-02; payload agentTurn timeout 900s)' 2026-11-02T23:00:33.386Z
2026-11-02T23:07:11.000Z

Concept: Mail Pipeline (arno@eurostela.ru)

Summary

Почтовый пайплайн arno@eurostela.ru (Beget IMAP) после переработки 2026-08-16: один cron-джоб mail-check с нативным trigger-скриптом, дедупликация по Message-ID, state-файл, LLM запускается только при новых письмах.

Description

Cron: mail-check

  • ID 81689c8a-f1a4-4c0d-bb23-d096775a75bb, schedule every 15m + нативный event-trigger (cron triggers.enabled), session=isolated, payload agentTurn (timeout 900s, с 2026-10-05; было 300s — payload упрался ровно в 300000ms model-call-started), delivery announce → telegram:862485388.
  • Trigger-скрипт (v3, с 2026-10-05): skills/nextcloud-aio-oc/scripts/mail_check_trigger.mjs → новый формат automation/cron-jobs/schedules.md «Event triggers»: прямой await exec({command}) + json({...}) (legacy tools.call('exec') удалён обновлением OpenClaw 2026.9.8). Вызывает python3 .../mail_detect.py --trigger → JSON {fire, message}. fire:false → модель НЕ запускается, в Telegram ничего не уходит; любые ошибки/таймаут/мусор → fire:false (скрипт никогда не бросает). Ошибки IMAP считаются в persistентном trigger.state (count/last_error/last_at/last_alert_at): алерт (fire:true) при 3+ ошибках подряд, повтор каждые 5, cooldown 4ч; best-effort зеркало state/mail_errors.json (non-fatal). Бюджет: 2 exec из 5, wall < 30s. Backup v2: mail_check_trigger.mjs.bak-v2.
  • fire:true → LLM читает новые письма через mail.py get UID, формирует суть/класс/важность на русском, вложения-картинки → vision-модель (qwen3-vl:32b, правило v2), одно сообщение в Telegram.

mail_detect.py (переписан 2026-08-16)

  • Режимы: --trigger (JSON fire/message) и --debug (dry-run).
  • Fetch с mark_seen=False — Unread-флаг IMAP не обнуляется.
  • Дедупликация по Message-ID, fallback sha1(date|from|subject).
  • State: skills/nextcloud-aio-oc/state/mail_seen.json (cap 1000, переживает ребут; bootstrap 16 писем 2026-08-16). Файл НЕ удалять.
  • Ошибки IMAP → fire:false, exit 0.
  • Закрыл UID-баг от 2026-08-10 (динамические UID Beget IMAP + TypeError int/bytes в mail.py get).

mail.py (2 точечных фикса 2026-08-16)

  • cmd_check → mark_seen=False; load_account → общий env-chain.
  • Env-chain пароля: IMAP_PASS_ARN → IMAP_PASS → NEXTCLOUD_MAIL_PASS (рабочая: IMAP_PASS; /etc/environment + env gateway). User/host fallback: IMAP_USER/IMAP_HOST.

Beget IMAP Limitations (verified 2026-08-17)

  • Баточный UID MOVE не работает: UID MOVE 119 120 INBOX.Trash → NO ("Client tried to access nonexistent namespace") даже с корректным префиксом INBOX. Ранее (2026-08-17 20:26) наблюдался silent no-op (OK, но ничего не перенеслось). Одно-UID MOVE работает стабильно (подтверждено дважды: UID 119, 120). Перенос/удаление — только по одному UID за команду (mail.py delete так и работает).
  • SEARCH SUBJECT не парсится: UID SEARCH SUBJECT "текст" → BAD: Unknown argument TEST. Поиск по теме — только client-side фильтрация.
  • Имена папок: всегда с префиксом INBOX. (INBOX.Trash, INBOX.Junk, INBOX.Sent); "Trash" без префикса → NO. В mail.py добавлена _normalize_folder() (2026-08-17).

Отменённые/удалённые

  • mail-detect (50c4362c, пароль был в промпте) и mail-analyze (bef0b684) — удалены 2026-08-16.
  • mail-daily-report-9am — НЕ возвращён (решение пользователя).
  • Legacy /tmp-файлы (last_seen_uids.json, mail_pattern_log.json, mail_new.json, mail_analyze_pending) удалены.

Heartbeat status (2026-08-18)

  • Heartbeat DISABLED (every="0m") — больше не управляет почтой. Mail check исключительный через cron mail-check.

Claims

  • LLM в mail-pipeline запускается только при fire:true trigger-скрипта
  • Дедупликация ведётся по Message-ID (fallback sha1), state в skills/nextcloud-aio-oc/state/mail_seen.json
  • Fetch не обнуляет Unread (mark_seen=False)
  • UID-баг 2026-08-10 закрыт переписыванием mail_detect.py
  • Evaluator-agent вердикт по переработке: PASS 13/13 (fallback в промпте джоба исправлен на mail.py check --folder INBOX)
  • Beget IMAP: баточный UID MOVE не работает (NO или silent no-op), перенос/удаление только по одному UID за команду
  • Beget IMAP: UID SEARCH SUBJECT отклоняется сервером (BAD: Unknown argument TEST) — поиск по теме client-side
  • Beget IMAP: имена папок требуют префикса INBOX. (добавлен _normalize_folder() в mail.py, 2026-08-17)
  • mail-check re-enabled 2026-09-06 (test-run PASS) после авто-отключения 2026-09-05 (npm-install OpenClaw 2026.9.1 → code-mode worker timeout → consecutive-failures); гейтвей перезапущен 2026-09-06 04:45
  • mail-check trigger v3 (2026-10-05): прямой exec()+json() без legacy tools.call; счётчик ошибок IMAP в trigger.state (алерт 3+/5/4ч); payload timeout 300s→900s; E2E verified 2026-10-05 (delivered Telegram)
  • mail-check включён снова 2026-10-24 после фикса DNS (MikroTik 192.168.88.1); цепочка 144 ошибок иссякла; trigger v3 без изменений
  • mail-check отключён 2026-11-02 (enabled false): Beget IMAP временно down по требованию пользователя 2026-11-02; trigger v3 и payload (timeout 900s) не тронуты

Tags

  • mail
  • cron
  • trigger
  • imap
  • dedup
  • nextcloud

Sources