176 lines
9.7 KiB
Markdown
176 lines
9.7 KiB
Markdown
---
|
||
id: concept-mail-pipeline
|
||
pageType: concept
|
||
updatedAt: 2026-09-06T17:24:51.591Z
|
||
sourceIds:
|
||
- sources/memory.md
|
||
- sources/changelog.md
|
||
tags:
|
||
- mail
|
||
- cron
|
||
- trigger
|
||
- imap
|
||
- dedup
|
||
- nextcloud
|
||
confidence: 0.98
|
||
status: active
|
||
claims:
|
||
- text: LLM в mail-pipeline запускается только при fire:true trigger-скрипта
|
||
status: supported
|
||
evidence:
|
||
- kind: source-file
|
||
sourceId: source.memory
|
||
path: sources/memory.md
|
||
updatedAt: 2026-08-22T09:11:48.958Z
|
||
updatedAt: 2026-08-22T09:11:48.958Z
|
||
- text: Дедупликация ведётся по Message-ID (fallback sha1), state в
|
||
skills/nextcloud-aio-oc/state/mail_seen.json
|
||
status: supported
|
||
evidence:
|
||
- kind: source-file
|
||
sourceId: source.memory
|
||
path: sources/memory.md
|
||
updatedAt: 2026-08-22T09:11:48.958Z
|
||
updatedAt: 2026-08-22T09:11:48.958Z
|
||
- text: Fetch не обнуляет Unread (mark_seen=False)
|
||
status: supported
|
||
evidence:
|
||
- kind: source-file
|
||
sourceId: source.memory
|
||
path: sources/memory.md
|
||
updatedAt: 2026-08-22T09:11:48.958Z
|
||
updatedAt: 2026-08-22T09:11:48.958Z
|
||
- text: UID-баг 2026-08-10 закрыт переписыванием mail_detect.py
|
||
status: supported
|
||
evidence:
|
||
- kind: source-file
|
||
sourceId: source.memory
|
||
path: sources/memory.md
|
||
updatedAt: 2026-08-22T09:11:48.958Z
|
||
updatedAt: 2026-08-22T09:11:48.958Z
|
||
- text: "Evaluator-agent вердикт по переработке: PASS 13/13 (fallback в промпте
|
||
джоба исправлен на mail.py check --folder INBOX)"
|
||
status: supported
|
||
evidence:
|
||
- kind: source-file
|
||
sourceId: source.changelog
|
||
path: sources/changelog.md
|
||
updatedAt: 2026-06-25T18:02:53.657Z
|
||
updatedAt: 2026-08-18T06:33:00+03:00
|
||
- text: "Beget IMAP: баточный UID MOVE не работает (NO или silent no-op),
|
||
перенос/удаление только по одному UID за команду"
|
||
status: supported
|
||
evidence:
|
||
- kind: source-file
|
||
sourceId: source.memory
|
||
path: sources/memory.md
|
||
updatedAt: 2026-08-22T09:11:48.958Z
|
||
updatedAt: 2026-08-22T09:11:48.958Z
|
||
- text: "Beget IMAP: UID SEARCH SUBJECT отклоняется сервером (BAD: Unknown
|
||
argument TEST) — поиск по теме client-side"
|
||
status: supported
|
||
evidence:
|
||
- kind: source-file
|
||
sourceId: source.memory
|
||
path: sources/memory.md
|
||
updatedAt: 2026-08-22T09:11:48.958Z
|
||
updatedAt: 2026-08-22T09:11:48.958Z
|
||
- text: "Beget IMAP: имена папок требуют префикса INBOX. (добавлен
|
||
_normalize_folder() в mail.py, 2026-08-17)"
|
||
status: supported
|
||
evidence:
|
||
- kind: source-file
|
||
sourceId: source.memory
|
||
path: sources/memory.md
|
||
updatedAt: 2026-08-22T09:11:48.958Z
|
||
updatedAt: 2026-08-22T09:11:48.958Z
|
||
- id: mail-check-reenabled-2026-09-06
|
||
text: "mail-check (81689c8a-f1a4-4c0d-bb23-d096775a75bb) re-enabled 2026-09-06
|
||
(test-run PASS) после авто-отключения 2026-09-05 — root cause: npm-install
|
||
OpenClaw 2026.9.1 поверх живого гейтвея (code-mode worker timeout →
|
||
consecutive-failures); гейтвей перезапущен 2026-09-06 04:45"
|
||
status: supported
|
||
evidence:
|
||
- kind: source-file
|
||
sourceId: source.memory
|
||
path: sources/memory.md
|
||
lines: "MEMORY.md, секция Cron Jobs (Actualized 2026-09-06 MSK): строка Status (mail-check) re-enabled 2026-09-06, test-run PASS; строка 521 Live cron (wiki-ingest-event re-enabled 2026-09-06)"
|
||
updatedAt: 2026-09-06T16:39:03.000Z
|
||
updatedAt: 2026-09-06T19:39:00+03:00
|
||
---
|
||
|
||
# Concept: Mail Pipeline (arno@eurostela.ru)
|
||
|
||
## Summary
|
||
Почтовый пайплайн arno@eurostela.ru (Beget IMAP) после переработки 2026-08-16: один cron-джоб `mail-check` с нативным trigger-скриптом, дедупликация по Message-ID, state-файл, LLM запускается только при новых письмах.
|
||
|
||
## Description
|
||
|
||
### Cron: mail-check
|
||
- ID `81689c8a-f1a4-4c0d-bb23-d096775a75bb`, schedule every 15m + нативный event-trigger (cron `triggers.enabled`), session=isolated, payload agentTurn (timeout 300s), delivery announce → telegram:862485388.
|
||
- Trigger-скрипт: `skills/nextcloud-aio-oc/scripts/mail_check_trigger.mjs` → вызывает `python3 .../mail_detect.py --trigger` → JSON `{fire, message}` на stdout. fire:false → модель НЕ запускается, в Telegram ничего не уходит; любые ошибки/таймаут/мусор → fire:false (скрипт никогда не бросает).
|
||
- fire:true → LLM читает новые письма через `mail.py get UID`, формирует суть/класс/важность на русском, вложения-картинки → vision-модель (`qwen3-vl:32b`, правило v2), одно сообщение в Telegram.
|
||
|
||
### mail_detect.py (переписан 2026-08-16)
|
||
- Режимы: `--trigger` (JSON fire/message) и `--debug` (dry-run).
|
||
- Fetch с `mark_seen=False` — Unread-флаг IMAP не обнуляется.
|
||
- Дедупликация по **Message-ID**, fallback `sha1(date|from|subject)`.
|
||
- State: `skills/nextcloud-aio-oc/state/mail_seen.json` (cap 1000, переживает ребут; bootstrap 16 писем 2026-08-16). Файл НЕ удалять.
|
||
- Ошибки IMAP → fire:false, exit 0.
|
||
- Закрыл UID-баг от 2026-08-10 (динамические UID Beget IMAP + TypeError int/bytes в `mail.py get`).
|
||
|
||
### mail.py (2 точечных фикса 2026-08-16)
|
||
- `cmd_check` → `mark_seen=False`; `load_account` → общий env-chain.
|
||
- Env-chain пароля: `IMAP_PASS_ARN → IMAP_PASS → NEXTCLOUD_MAIL_PASS` (рабочая: IMAP_PASS; /etc/environment + env gateway). User/host fallback: `IMAP_USER`/`IMAP_HOST`.
|
||
|
||
### Beget IMAP Limitations (verified 2026-08-17)
|
||
- **Баточный UID MOVE не работает:** `UID MOVE 119 120 INBOX.Trash` → `NO` ("Client tried to access nonexistent namespace") даже с корректным префиксом INBOX. Ранее (2026-08-17 20:26) наблюдался silent no-op (OK, но ничего не перенеслось). Одно-UID MOVE работает стабильно (подтверждено дважды: UID 119, 120). Перенос/удаление — только по одному UID за команду (mail.py delete так и работает).
|
||
- **SEARCH SUBJECT не парсится:** `UID SEARCH SUBJECT "текст"` → `BAD: Unknown argument TEST`. Поиск по теме — только client-side фильтрация.
|
||
- **Имена папок:** всегда с префиксом `INBOX.` (INBOX.Trash, INBOX.Junk, INBOX.Sent); "Trash" без префикса → NO. В mail.py добавлена `_normalize_folder()` (2026-08-17).
|
||
|
||
### Отменённые/удалённые
|
||
- `mail-detect` (50c4362c, пароль был в промпте) и `mail-analyze` (bef0b684) — удалены 2026-08-16.
|
||
- `mail-daily-report-9am` — НЕ возвращён (решение пользователя).
|
||
- Legacy /tmp-файлы (last_seen_uids.json, mail_pattern_log.json, mail_new.json, mail_analyze_pending) удалены.
|
||
### Heartbeat status (2026-08-18)
|
||
- **Heartbeat DISABLED** (every="0m") — больше не управляет почтой. Mail check исключительный через cron `mail-check`.
|
||
|
||
## Claims
|
||
- LLM в mail-pipeline запускается только при fire:true trigger-скрипта
|
||
- Дедупликация ведётся по Message-ID (fallback sha1), state в skills/nextcloud-aio-oc/state/mail_seen.json
|
||
- Fetch не обнуляет Unread (mark_seen=False)
|
||
- UID-баг 2026-08-10 закрыт переписыванием mail_detect.py
|
||
- Evaluator-agent вердикт по переработке: PASS 13/13 (fallback в промпте джоба исправлен на mail.py check --folder INBOX)
|
||
- Beget IMAP: баточный UID MOVE не работает (NO или silent no-op), перенос/удаление только по одному UID за команду
|
||
- Beget IMAP: UID SEARCH SUBJECT отклоняется сервером (BAD: Unknown argument TEST) — поиск по теме client-side
|
||
- Beget IMAP: имена папок требуют префикса INBOX. (добавлен _normalize_folder() в mail.py, 2026-08-17)
|
||
- mail-check re-enabled 2026-09-06 (test-run PASS) после авто-отключения 2026-09-05 (npm-install OpenClaw 2026.9.1 → code-mode worker timeout → consecutive-failures); гейтвей перезапущен 2026-09-06 04:45
|
||
|
||
## Tags
|
||
- mail
|
||
- cron
|
||
- trigger
|
||
- imap
|
||
- dedup
|
||
- nextcloud
|
||
|
||
## Sources
|
||
- [[MEMORY.md]]
|
||
|
||
## Related
|
||
<!-- openclaw:wiki:related:start -->
|
||
### Related Pages
|
||
|
||
- [Concept: Active Projects](Active-Projects.md)
|
||
- [Concept: Bridge Mode](Bridge-Mode.md)
|
||
- [Concept: Nextcloud Sync Folder (arno.nextcloud)](Nextcloud-Sync-Folder.md)
|
||
- [Concept: Routing](Routing.md)
|
||
- [Concept: Search Tool Priority](Search-Tool-Priority.md)
|
||
- [Concept: VRAM Management](VRAM-Management.md)
|
||
- [Concept: Workspace File Policy](Workspace-File-Policy.md)
|
||
- [Entity: Beget (хостинг / IMAP)](../entities/Beget.md)
|
||
- [Entity: Dream Diary (DREAMS.md)](../entities/Dream-Diary.md)
|
||
- [Entity: Ollama](../entities/Ollama.md)
|
||
- [Entity: OpenClaw](../entities/OpenClaw.md)
|
||
- [Hermes Restructure (2026-09-07): Source of Truth → INFRASTRUCTURE.md](../syntheses/hermes-restructure-2026-09-07-source-of-truth-infrastructure-md.md)
|
||
<!-- openclaw:wiki:related:end -->
|