190 lines
12 KiB
Markdown
190 lines
12 KiB
Markdown
---
|
||
id: concept-mail-pipeline
|
||
pageType: concept
|
||
updatedAt: 2026-10-05T08:54:23.150Z
|
||
sourceIds:
|
||
- sources/memory.md
|
||
- sources/changelog.md
|
||
tags:
|
||
- mail
|
||
- cron
|
||
- trigger
|
||
- imap
|
||
- dedup
|
||
- nextcloud
|
||
confidence: 0.98
|
||
status: active
|
||
claims:
|
||
- text: LLM в mail-pipeline запускается только при fire:true trigger-скрипта
|
||
status: supported
|
||
evidence:
|
||
- kind: source-file
|
||
sourceId: source.memory
|
||
path: sources/memory.md
|
||
updatedAt: 2026-08-22T09:11:48.958Z
|
||
updatedAt: 2026-08-22T09:11:48.958Z
|
||
- text: Дедупликация ведётся по Message-ID (fallback sha1), state в
|
||
skills/nextcloud-aio-oc/state/mail_seen.json
|
||
status: supported
|
||
evidence:
|
||
- kind: source-file
|
||
sourceId: source.memory
|
||
path: sources/memory.md
|
||
updatedAt: 2026-08-22T09:11:48.958Z
|
||
updatedAt: 2026-08-22T09:11:48.958Z
|
||
- text: Fetch не обнуляет Unread (mark_seen=False)
|
||
status: supported
|
||
evidence:
|
||
- kind: source-file
|
||
sourceId: source.memory
|
||
path: sources/memory.md
|
||
updatedAt: 2026-08-22T09:11:48.958Z
|
||
updatedAt: 2026-08-22T09:11:48.958Z
|
||
- text: UID-баг 2026-08-10 закрыт переписыванием mail_detect.py
|
||
status: supported
|
||
evidence:
|
||
- kind: source-file
|
||
sourceId: source.memory
|
||
path: sources/memory.md
|
||
updatedAt: 2026-08-22T09:11:48.958Z
|
||
updatedAt: 2026-08-22T09:11:48.958Z
|
||
- text: "Evaluator-agent вердикт по переработке: PASS 13/13 (fallback в промпте
|
||
джоба исправлен на mail.py check --folder INBOX)"
|
||
status: supported
|
||
evidence:
|
||
- kind: source-file
|
||
sourceId: source.changelog
|
||
path: sources/changelog.md
|
||
updatedAt: 2026-06-25T18:02:53.657Z
|
||
updatedAt: 2026-08-18T06:33:00+03:00
|
||
- text: "Beget IMAP: баточный UID MOVE не работает (NO или silent no-op),
|
||
перенос/удаление только по одному UID за команду"
|
||
status: supported
|
||
evidence:
|
||
- kind: source-file
|
||
sourceId: source.memory
|
||
path: sources/memory.md
|
||
updatedAt: 2026-08-22T09:11:48.958Z
|
||
updatedAt: 2026-08-22T09:11:48.958Z
|
||
- text: "Beget IMAP: UID SEARCH SUBJECT отклоняется сервером (BAD: Unknown
|
||
argument TEST) — поиск по теме client-side"
|
||
status: supported
|
||
evidence:
|
||
- kind: source-file
|
||
sourceId: source.memory
|
||
path: sources/memory.md
|
||
updatedAt: 2026-08-22T09:11:48.958Z
|
||
updatedAt: 2026-08-22T09:11:48.958Z
|
||
- text: "Beget IMAP: имена папок требуют префикса INBOX. (добавлен
|
||
_normalize_folder() в mail.py, 2026-08-17)"
|
||
status: supported
|
||
evidence:
|
||
- kind: source-file
|
||
sourceId: source.memory
|
||
path: sources/memory.md
|
||
updatedAt: 2026-08-22T09:11:48.958Z
|
||
updatedAt: 2026-08-22T09:11:48.958Z
|
||
- id: mail-check-reenabled-2026-09-06
|
||
text: "mail-check (81689c8a-f1a4-4c0d-bb23-d096775a75bb) re-enabled 2026-09-06
|
||
(test-run PASS) после авто-отключения 2026-09-05 — root cause: npm-install
|
||
OpenClaw 2026.9.1 поверх живого гейтвея (code-mode worker timeout →
|
||
consecutive-failures); гейтвей перезапущен 2026-09-06 04:45"
|
||
status: supported
|
||
evidence:
|
||
- kind: source-file
|
||
sourceId: source.memory
|
||
path: sources/memory.md
|
||
lines: "MEMORY.md, секция Cron Jobs (Actualized 2026-09-06 MSK): строка Status (mail-check) re-enabled 2026-09-06, test-run PASS; строка 521 Live cron (wiki-ingest-event re-enabled 2026-09-06)"
|
||
updatedAt: 2026-09-06T16:39:03.000Z
|
||
updatedAt: 2026-09-06T19:39:00+03:00
|
||
- id: mail-check-trigger-v3-2026-10-05
|
||
text: "mail-check trigger v3 (2026-10-05; provenance: CHANGELOG [INFRA] 2026-10-05 10:15–11:20 MSK): обновление OpenClaw (2026.9.8) удалило legacy API tools.call('exec') в cron trigger-скриптах — mail_check_trigger.mjs переписан на прямой await exec({command}) + json({...}) (формат automation/cron-jobs/schedules.md «Event triggers»); v2-скрипт падал «cron trigger evaluation timed out», doctor auto-migration отмёл как unsafe. Счётчик ошибок IMAP перенесён в persistентный trigger.state (count/last_error/last_at/last_alert_at; алерт fire:true при 3+ ошибках подряд, повтор каждые 5, cooldown 4ч; best-effort зеркало state/mail_errors.json, non-fatal); детектор mail_detect.py --trigger и семантика fire/dedup без изменений; бюджет 2 exec из допустимых 5, wall < 30s; backup v2: mail_check_trigger.mjs.bak-v2. Payload agentTurn timeout 300s → 900s (300s не хватало на холодный isolated-запуск main + конкуренция за единственный GPU Ollama 27B; при 300s payload падал ровно в 300000ms model-call-started). E2E verified 2026-10-05 11:15 MSK: forced run → status ok, delivery delivered (Telegram 862485388), consecutiveErrors 0."
|
||
status: supported
|
||
evidence:
|
||
- kind: source-file
|
||
sourceId: source.changelog
|
||
path: sources/changelog.md
|
||
note: "provenance: CHANGELOG.md [INFRA] 2026-10-05 10:15–11:20 MSK (mail-check v3 + timeout fix)"
|
||
- kind: source-file
|
||
sourceId: source.memory
|
||
path: sources/memory.md
|
||
lines: "MEMORY.md, §3, «Cron configuration snapshot (verified 2026-10-05)»"
|
||
updatedAt: 2026-10-05T08:54:23.150Z
|
||
---
|
||
|
||
# Concept: Mail Pipeline (arno@eurostela.ru)
|
||
|
||
## Summary
|
||
Почтовый пайплайн arno@eurostela.ru (Beget IMAP) после переработки 2026-08-16: один cron-джоб `mail-check` с нативным trigger-скриптом, дедупликация по Message-ID, state-файл, LLM запускается только при новых письмах.
|
||
|
||
## Description
|
||
|
||
### Cron: mail-check
|
||
- ID `81689c8a-f1a4-4c0d-bb23-d096775a75bb`, schedule every 15m + нативный event-trigger (cron `triggers.enabled`), session=isolated, payload agentTurn (timeout 900s, с 2026-10-05; было 300s — payload упрался ровно в 300000ms model-call-started), delivery announce → telegram:862485388.
|
||
- Trigger-скрипт (**v3, с 2026-10-05**): `skills/nextcloud-aio-oc/scripts/mail_check_trigger.mjs` → новый формат automation/cron-jobs/schedules.md «Event triggers»: прямой `await exec({command})` + `json({...})` (legacy `tools.call('exec')` удалён обновлением OpenClaw 2026.9.8). Вызывает `python3 .../mail_detect.py --trigger` → JSON `{fire, message}`. fire:false → модель НЕ запускается, в Telegram ничего не уходит; любые ошибки/таймаут/мусор → fire:false (скрипт никогда не бросает). Ошибки IMAP считаются в persistентном `trigger.state` (count/last_error/last_at/last_alert_at): алерт (fire:true) при 3+ ошибках подряд, повтор каждые 5, cooldown 4ч; best-effort зеркало `state/mail_errors.json` (non-fatal). Бюджет: 2 exec из 5, wall < 30s. Backup v2: `mail_check_trigger.mjs.bak-v2`.
|
||
- fire:true → LLM читает новые письма через `mail.py get UID`, формирует суть/класс/важность на русском, вложения-картинки → vision-модель (`qwen3-vl:32b`, правило v2), одно сообщение в Telegram.
|
||
|
||
### mail_detect.py (переписан 2026-08-16)
|
||
- Режимы: `--trigger` (JSON fire/message) и `--debug` (dry-run).
|
||
- Fetch с `mark_seen=False` — Unread-флаг IMAP не обнуляется.
|
||
- Дедупликация по **Message-ID**, fallback `sha1(date|from|subject)`.
|
||
- State: `skills/nextcloud-aio-oc/state/mail_seen.json` (cap 1000, переживает ребут; bootstrap 16 писем 2026-08-16). Файл НЕ удалять.
|
||
- Ошибки IMAP → fire:false, exit 0.
|
||
- Закрыл UID-баг от 2026-08-10 (динамические UID Beget IMAP + TypeError int/bytes в `mail.py get`).
|
||
|
||
### mail.py (2 точечных фикса 2026-08-16)
|
||
- `cmd_check` → `mark_seen=False`; `load_account` → общий env-chain.
|
||
- Env-chain пароля: `IMAP_PASS_ARN → IMAP_PASS → NEXTCLOUD_MAIL_PASS` (рабочая: IMAP_PASS; /etc/environment + env gateway). User/host fallback: `IMAP_USER`/`IMAP_HOST`.
|
||
|
||
### Beget IMAP Limitations (verified 2026-08-17)
|
||
- **Баточный UID MOVE не работает:** `UID MOVE 119 120 INBOX.Trash` → `NO` ("Client tried to access nonexistent namespace") даже с корректным префиксом INBOX. Ранее (2026-08-17 20:26) наблюдался silent no-op (OK, но ничего не перенеслось). Одно-UID MOVE работает стабильно (подтверждено дважды: UID 119, 120). Перенос/удаление — только по одному UID за команду (mail.py delete так и работает).
|
||
- **SEARCH SUBJECT не парсится:** `UID SEARCH SUBJECT "текст"` → `BAD: Unknown argument TEST`. Поиск по теме — только client-side фильтрация.
|
||
- **Имена папок:** всегда с префиксом `INBOX.` (INBOX.Trash, INBOX.Junk, INBOX.Sent); "Trash" без префикса → NO. В mail.py добавлена `_normalize_folder()` (2026-08-17).
|
||
|
||
### Отменённые/удалённые
|
||
- `mail-detect` (50c4362c, пароль был в промпте) и `mail-analyze` (bef0b684) — удалены 2026-08-16.
|
||
- `mail-daily-report-9am` — НЕ возвращён (решение пользователя).
|
||
- Legacy /tmp-файлы (last_seen_uids.json, mail_pattern_log.json, mail_new.json, mail_analyze_pending) удалены.
|
||
### Heartbeat status (2026-08-18)
|
||
- **Heartbeat DISABLED** (every="0m") — больше не управляет почтой. Mail check исключительный через cron `mail-check`.
|
||
|
||
## Claims
|
||
- LLM в mail-pipeline запускается только при fire:true trigger-скрипта
|
||
- Дедупликация ведётся по Message-ID (fallback sha1), state в skills/nextcloud-aio-oc/state/mail_seen.json
|
||
- Fetch не обнуляет Unread (mark_seen=False)
|
||
- UID-баг 2026-08-10 закрыт переписыванием mail_detect.py
|
||
- Evaluator-agent вердикт по переработке: PASS 13/13 (fallback в промпте джоба исправлен на mail.py check --folder INBOX)
|
||
- Beget IMAP: баточный UID MOVE не работает (NO или silent no-op), перенос/удаление только по одному UID за команду
|
||
- Beget IMAP: UID SEARCH SUBJECT отклоняется сервером (BAD: Unknown argument TEST) — поиск по теме client-side
|
||
- Beget IMAP: имена папок требуют префикса INBOX. (добавлен _normalize_folder() в mail.py, 2026-08-17)
|
||
- mail-check re-enabled 2026-09-06 (test-run PASS) после авто-отключения 2026-09-05 (npm-install OpenClaw 2026.9.1 → code-mode worker timeout → consecutive-failures); гейтвей перезапущен 2026-09-06 04:45
|
||
- mail-check trigger v3 (2026-10-05): прямой exec()+json() без legacy tools.call; счётчик ошибок IMAP в trigger.state (алерт 3+/5/4ч); payload timeout 300s→900s; E2E verified 2026-10-05 (delivered Telegram)
|
||
|
||
## Tags
|
||
- mail
|
||
- cron
|
||
- trigger
|
||
- imap
|
||
- dedup
|
||
- nextcloud
|
||
|
||
## Sources
|
||
- [[MEMORY.md]]
|
||
|
||
## Related
|
||
<!-- openclaw:wiki:related:start -->
|
||
### Related Pages
|
||
|
||
- [Concept: Bridge Mode](Bridge-Mode.md)
|
||
- [Concept: Nextcloud Sync Folder (arno.nextcloud)](Nextcloud-Sync-Folder.md)
|
||
- [Concept: Routing](Routing.md)
|
||
- [Concept: Search Tool Priority](Search-Tool-Priority.md)
|
||
- [Concept: VRAM Management](VRAM-Management.md)
|
||
- [Entity: Beget (хостинг / IMAP)](../entities/Beget.md)
|
||
- [Entity: Dream Diary (DREAMS.md)](../entities/Dream-Diary.md)
|
||
- [Entity: Ollama](../entities/Ollama.md)
|
||
- [Entity: OpenClaw](../entities/OpenClaw.md)
|
||
- [Hermes Restructure (2026-09-07): Source of Truth → INFRASTRUCTURE.md](../syntheses/hermes-restructure-2026-09-07-source-of-truth-infrastructure-md.md)
|
||
- [Infrastructure Overview](../syntheses/infrastructure-overview.md)
|
||
- [Synthesis: Agent Architecture](../syntheses/Agent-Architecture.md)
|
||
<!-- openclaw:wiki:related:end -->
|