From 4353f5406939ff9bf3207c9191ae17e04c9b2ff0 Mon Sep 17 00:00:00 2001 From: Sergey Date: Mon, 2 Nov 2026 23:15:01 +0000 Subject: [PATCH] Auto-sync 2026-11-02 23:15:01 --- concepts/Mail-Pipeline.md | 17 +- concepts/Mail-Pipeline.md.bak-ingest-20261103 | 206 ++++++++++++++++++ index.md | 2 +- reports/provenance-coverage.md | 8 +- sources/memory.md | 10 +- 5 files changed, 232 insertions(+), 11 deletions(-) create mode 100644 concepts/Mail-Pipeline.md.bak-ingest-20261103 diff --git a/concepts/Mail-Pipeline.md b/concepts/Mail-Pipeline.md index 2ae24dc..aa5c3b7 100644 --- a/concepts/Mail-Pipeline.md +++ b/concepts/Mail-Pipeline.md @@ -1,7 +1,7 @@ --- id: concept-mail-pipeline pageType: concept -updatedAt: 2026-10-24T23:07:09.000Z +updatedAt: 2026-11-02T23:07:11.000Z sourceIds: - sources/memory.md - sources/changelog.md @@ -124,6 +124,20 @@ claims: lines: "MEMORY.md §3, строка «Cron configuration snapshot»: 'mail-check (15m; включён снова 2026-10-24 после fixes DNS (MikroTik 192.168.88.1); цепочка 144 ошибок иссякла)'" updatedAt: 2026-10-24T23:00:57.981Z updatedAt: 2026-10-24T23:07:09.000Z + - id: mail-check-disabled-2026-11-02 + text: "mail-check (81689c8a-f1a4-4c0d-bb23-d096775a75bb, 15m) отключён + 2026-11-02 (enabled false): Beget IMAP временно down по требованию + пользователя 2026-11-02; payload agentTurn timeout 900s; schedule/payload/ + delivery/trigger.script не тронуты (audit PASS, CHANGELOG [INFRA] 2026-11-02 + ~19:40 MSK)" + status: supported + evidence: + - kind: source-file + sourceId: source.memory + path: sources/memory.md + lines: "MEMORY.md §3, строка «Cron configuration snapshot»: 'mail-check (15m; отключён 2026-11-02 (enabled false): Beget IMAP временно down по требованию пользователя 2026-11-02; payload agentTurn timeout 900s)'" + updatedAt: 2026-11-02T23:00:33.386Z + updatedAt: 2026-11-02T23:07:11.000Z --- @@ -175,6 +189,7 @@ claims: - mail-check re-enabled 2026-09-06 (test-run PASS) после авто-отключения 2026-09-05 (npm-install OpenClaw 2026.9.1 → code-mode worker timeout → consecutive-failures); гейтвей перезапущен 2026-09-06 04:45 - mail-check trigger v3 (2026-10-05): прямой exec()+json() без legacy tools.call; счётчик ошибок IMAP в trigger.state (алерт 3+/5/4ч); payload timeout 300s→900s; E2E verified 2026-10-05 (delivered Telegram) - mail-check включён снова 2026-10-24 после фикса DNS (MikroTik 192.168.88.1); цепочка 144 ошибок иссякла; trigger v3 без изменений +- mail-check отключён 2026-11-02 (enabled false): Beget IMAP временно down по требованию пользователя 2026-11-02; trigger v3 и payload (timeout 900s) не тронуты ## Tags - mail diff --git a/concepts/Mail-Pipeline.md.bak-ingest-20261103 b/concepts/Mail-Pipeline.md.bak-ingest-20261103 new file mode 100644 index 0000000..2ae24dc --- /dev/null +++ b/concepts/Mail-Pipeline.md.bak-ingest-20261103 @@ -0,0 +1,206 @@ +--- +id: concept-mail-pipeline +pageType: concept +updatedAt: 2026-10-24T23:07:09.000Z +sourceIds: + - sources/memory.md + - sources/changelog.md +tags: + - mail + - cron + - trigger + - imap + - dedup + - nextcloud +confidence: 0.98 +status: active +claims: + - text: LLM в mail-pipeline запускается только при fire:true trigger-скрипта + status: supported + evidence: + - kind: source-file + sourceId: source.memory + path: sources/memory.md + updatedAt: 2026-08-22T09:11:48.958Z + updatedAt: 2026-08-22T09:11:48.958Z + - text: Дедупликация ведётся по Message-ID (fallback sha1), state в + skills/nextcloud-aio-oc/state/mail_seen.json + status: supported + evidence: + - kind: source-file + sourceId: source.memory + path: sources/memory.md + updatedAt: 2026-08-22T09:11:48.958Z + updatedAt: 2026-08-22T09:11:48.958Z + - text: Fetch не обнуляет Unread (mark_seen=False) + status: supported + evidence: + - kind: source-file + sourceId: source.memory + path: sources/memory.md + updatedAt: 2026-08-22T09:11:48.958Z + updatedAt: 2026-08-22T09:11:48.958Z + - text: UID-баг 2026-08-10 закрыт переписыванием mail_detect.py + status: supported + evidence: + - kind: source-file + sourceId: source.memory + path: sources/memory.md + updatedAt: 2026-08-22T09:11:48.958Z + updatedAt: 2026-08-22T09:11:48.958Z + - text: "Evaluator-agent вердикт по переработке: PASS 13/13 (fallback в промпте + джоба исправлен на mail.py check --folder INBOX)" + status: supported + evidence: + - kind: source-file + sourceId: source.changelog + path: sources/changelog.md + updatedAt: 2026-06-25T18:02:53.657Z + updatedAt: 2026-08-18T06:33:00+03:00 + - text: "Beget IMAP: баточный UID MOVE не работает (NO или silent no-op), + перенос/удаление только по одному UID за команду" + status: supported + evidence: + - kind: source-file + sourceId: source.memory + path: sources/memory.md + updatedAt: 2026-08-22T09:11:48.958Z + updatedAt: 2026-08-22T09:11:48.958Z + - text: "Beget IMAP: UID SEARCH SUBJECT отклоняется сервером (BAD: Unknown + argument TEST) — поиск по теме client-side" + status: supported + evidence: + - kind: source-file + sourceId: source.memory + path: sources/memory.md + updatedAt: 2026-08-22T09:11:48.958Z + updatedAt: 2026-08-22T09:11:48.958Z + - text: "Beget IMAP: имена папок требуют префикса INBOX. (добавлен + _normalize_folder() в mail.py, 2026-08-17)" + status: supported + evidence: + - kind: source-file + sourceId: source.memory + path: sources/memory.md + updatedAt: 2026-08-22T09:11:48.958Z + updatedAt: 2026-08-22T09:11:48.958Z + - id: mail-check-reenabled-2026-09-06 + text: "mail-check (81689c8a-f1a4-4c0d-bb23-d096775a75bb) re-enabled 2026-09-06 + (test-run PASS) после авто-отключения 2026-09-05 — root cause: npm-install + OpenClaw 2026.9.1 поверх живого гейтвея (code-mode worker timeout → + consecutive-failures); гейтвей перезапущен 2026-09-06 04:45" + status: supported + evidence: + - kind: source-file + sourceId: source.memory + path: sources/memory.md + lines: "MEMORY.md, секция Cron Jobs (Actualized 2026-09-06 MSK): строка Status (mail-check) re-enabled 2026-09-06, test-run PASS; строка 521 Live cron (wiki-ingest-event re-enabled 2026-09-06)" + updatedAt: 2026-09-06T16:39:03.000Z + updatedAt: 2026-09-06T19:39:00+03:00 + - id: mail-check-trigger-v3-2026-10-05 + text: "mail-check trigger v3 (2026-10-05; provenance: CHANGELOG [INFRA] 2026-10-05 10:15–11:20 MSK): обновление OpenClaw (2026.9.8) удалило legacy API tools.call('exec') в cron trigger-скриптах — mail_check_trigger.mjs переписан на прямой await exec({command}) + json({...}) (формат automation/cron-jobs/schedules.md «Event triggers»); v2-скрипт падал «cron trigger evaluation timed out», doctor auto-migration отмёл как unsafe. Счётчик ошибок IMAP перенесён в persistентный trigger.state (count/last_error/last_at/last_alert_at; алерт fire:true при 3+ ошибках подряд, повтор каждые 5, cooldown 4ч; best-effort зеркало state/mail_errors.json, non-fatal); детектор mail_detect.py --trigger и семантика fire/dedup без изменений; бюджет 2 exec из допустимых 5, wall < 30s; backup v2: mail_check_trigger.mjs.bak-v2. Payload agentTurn timeout 300s → 900s (300s не хватало на холодный isolated-запуск main + конкуренция за единственный GPU Ollama 27B; при 300s payload падал ровно в 300000ms model-call-started). E2E verified 2026-10-05 11:15 MSK: forced run → status ok, delivery delivered (Telegram 862485388), consecutiveErrors 0." + status: supported + evidence: + - kind: source-file + sourceId: source.changelog + path: sources/changelog.md + note: "provenance: CHANGELOG.md [INFRA] 2026-10-05 10:15–11:20 MSK (mail-check v3 + timeout fix)" + - kind: source-file + sourceId: source.memory + path: sources/memory.md + lines: "MEMORY.md, §3, «Cron configuration snapshot (verified 2026-10-05)»" + updatedAt: 2026-10-05T08:54:23.150Z + - id: mail-check-reenabled-2026-10-24 + text: "mail-check (81689c8a-f1a4-4c0d-bb23-d096775a75bb, 15m) включён снова + 2026-10-24 после фикса DNS (MikroTik 192.168.88.1) — цепочка 144 + ошибок иссякла; семантика trigger v3 без изменений (прямой exec()+json() + без legacy tools.call, счётчик ошибок IMAP в persistентном trigger.state, + payload agentTurn timeout 900s)" + status: supported + evidence: + - kind: source-file + sourceId: source.memory + path: sources/memory.md + lines: "MEMORY.md §3, строка «Cron configuration snapshot»: 'mail-check (15m; включён снова 2026-10-24 после fixes DNS (MikroTik 192.168.88.1); цепочка 144 ошибок иссякла)'" + updatedAt: 2026-10-24T23:00:57.981Z + updatedAt: 2026-10-24T23:07:09.000Z + +--- + +# Concept: Mail Pipeline (arno@eurostela.ru) + +## Summary +Почтовый пайплайн arno@eurostela.ru (Beget IMAP) после переработки 2026-08-16: один cron-джоб `mail-check` с нативным trigger-скриптом, дедупликация по Message-ID, state-файл, LLM запускается только при новых письмах. + +## Description + +### Cron: mail-check +- ID `81689c8a-f1a4-4c0d-bb23-d096775a75bb`, schedule every 15m + нативный event-trigger (cron `triggers.enabled`), session=isolated, payload agentTurn (timeout 900s, с 2026-10-05; было 300s — payload упрался ровно в 300000ms model-call-started), delivery announce → telegram:862485388. +- Trigger-скрипт (**v3, с 2026-10-05**): `skills/nextcloud-aio-oc/scripts/mail_check_trigger.mjs` → новый формат automation/cron-jobs/schedules.md «Event triggers»: прямой `await exec({command})` + `json({...})` (legacy `tools.call('exec')` удалён обновлением OpenClaw 2026.9.8). Вызывает `python3 .../mail_detect.py --trigger` → JSON `{fire, message}`. fire:false → модель НЕ запускается, в Telegram ничего не уходит; любые ошибки/таймаут/мусор → fire:false (скрипт никогда не бросает). Ошибки IMAP считаются в persistентном `trigger.state` (count/last_error/last_at/last_alert_at): алерт (fire:true) при 3+ ошибках подряд, повтор каждые 5, cooldown 4ч; best-effort зеркало `state/mail_errors.json` (non-fatal). Бюджет: 2 exec из 5, wall < 30s. Backup v2: `mail_check_trigger.mjs.bak-v2`. +- fire:true → LLM читает новые письма через `mail.py get UID`, формирует суть/класс/важность на русском, вложения-картинки → vision-модель (`qwen3-vl:32b`, правило v2), одно сообщение в Telegram. + +### mail_detect.py (переписан 2026-08-16) +- Режимы: `--trigger` (JSON fire/message) и `--debug` (dry-run). +- Fetch с `mark_seen=False` — Unread-флаг IMAP не обнуляется. +- Дедупликация по **Message-ID**, fallback `sha1(date|from|subject)`. +- State: `skills/nextcloud-aio-oc/state/mail_seen.json` (cap 1000, переживает ребут; bootstrap 16 писем 2026-08-16). Файл НЕ удалять. +- Ошибки IMAP → fire:false, exit 0. +- Закрыл UID-баг от 2026-08-10 (динамические UID Beget IMAP + TypeError int/bytes в `mail.py get`). + +### mail.py (2 точечных фикса 2026-08-16) +- `cmd_check` → `mark_seen=False`; `load_account` → общий env-chain. +- Env-chain пароля: `IMAP_PASS_ARN → IMAP_PASS → NEXTCLOUD_MAIL_PASS` (рабочая: IMAP_PASS; /etc/environment + env gateway). User/host fallback: `IMAP_USER`/`IMAP_HOST`. + +### Beget IMAP Limitations (verified 2026-08-17) +- **Баточный UID MOVE не работает:** `UID MOVE 119 120 INBOX.Trash` → `NO` ("Client tried to access nonexistent namespace") даже с корректным префиксом INBOX. Ранее (2026-08-17 20:26) наблюдался silent no-op (OK, но ничего не перенеслось). Одно-UID MOVE работает стабильно (подтверждено дважды: UID 119, 120). Перенос/удаление — только по одному UID за команду (mail.py delete так и работает). +- **SEARCH SUBJECT не парсится:** `UID SEARCH SUBJECT "текст"` → `BAD: Unknown argument TEST`. Поиск по теме — только client-side фильтрация. +- **Имена папок:** всегда с префиксом `INBOX.` (INBOX.Trash, INBOX.Junk, INBOX.Sent); "Trash" без префикса → NO. В mail.py добавлена `_normalize_folder()` (2026-08-17). + +### Отменённые/удалённые +- `mail-detect` (50c4362c, пароль был в промпте) и `mail-analyze` (bef0b684) — удалены 2026-08-16. +- `mail-daily-report-9am` — НЕ возвращён (решение пользователя). +- Legacy /tmp-файлы (last_seen_uids.json, mail_pattern_log.json, mail_new.json, mail_analyze_pending) удалены. +### Heartbeat status (2026-08-18) +- **Heartbeat DISABLED** (every="0m") — больше не управляет почтой. Mail check исключительный через cron `mail-check`. + +## Claims +- LLM в mail-pipeline запускается только при fire:true trigger-скрипта +- Дедупликация ведётся по Message-ID (fallback sha1), state в skills/nextcloud-aio-oc/state/mail_seen.json +- Fetch не обнуляет Unread (mark_seen=False) +- UID-баг 2026-08-10 закрыт переписыванием mail_detect.py +- Evaluator-agent вердикт по переработке: PASS 13/13 (fallback в промпте джоба исправлен на mail.py check --folder INBOX) +- Beget IMAP: баточный UID MOVE не работает (NO или silent no-op), перенос/удаление только по одному UID за команду +- Beget IMAP: UID SEARCH SUBJECT отклоняется сервером (BAD: Unknown argument TEST) — поиск по теме client-side +- Beget IMAP: имена папок требуют префикса INBOX. (добавлен _normalize_folder() в mail.py, 2026-08-17) +- mail-check re-enabled 2026-09-06 (test-run PASS) после авто-отключения 2026-09-05 (npm-install OpenClaw 2026.9.1 → code-mode worker timeout → consecutive-failures); гейтвей перезапущен 2026-09-06 04:45 +- mail-check trigger v3 (2026-10-05): прямой exec()+json() без legacy tools.call; счётчик ошибок IMAP в trigger.state (алерт 3+/5/4ч); payload timeout 300s→900s; E2E verified 2026-10-05 (delivered Telegram) +- mail-check включён снова 2026-10-24 после фикса DNS (MikroTik 192.168.88.1); цепочка 144 ошибок иссякла; trigger v3 без изменений + +## Tags +- mail +- cron +- trigger +- imap +- dedup +- nextcloud + +## Sources +- [[MEMORY.md]] + +## Related + +### Related Pages + +- [Concept: Bridge Mode](Bridge-Mode.md) +- [Concept: Nextcloud Sync Folder (arno.nextcloud)](Nextcloud-Sync-Folder.md) +- [Concept: Routing](Routing.md) +- [Concept: Search Tool Priority](Search-Tool-Priority.md) +- [Concept: VRAM Management](VRAM-Management.md) +- [Entity: Beget (хостинг / IMAP)](../entities/Beget.md) +- [Entity: Dream Diary (DREAMS.md)](../entities/Dream-Diary.md) +- [Entity: Ollama](../entities/Ollama.md) +- [Entity: OpenClaw](../entities/OpenClaw.md) +- [Hermes Restructure (2026-09-07): Source of Truth → INFRASTRUCTURE.md](../syntheses/hermes-restructure-2026-09-07-source-of-truth-infrastructure-md.md) +- [Infrastructure Overview](../syntheses/infrastructure-overview.md) +- [Synthesis: Agent Architecture](../syntheses/Agent-Architecture.md) + diff --git a/index.md b/index.md index 022bbc9..28aa067 100644 --- a/index.md +++ b/index.md @@ -4,7 +4,7 @@ - Render mode: `native` - Total pages: 81 -- Claims: 182 +- Claims: 183 - Sources: 36 - Entities: 11 - Concepts: 13 diff --git a/reports/provenance-coverage.md b/reports/provenance-coverage.md index d8db2f5..a202eeb 100644 --- a/reports/provenance-coverage.md +++ b/reports/provenance-coverage.md @@ -3,22 +3,22 @@ pageType: report id: report.provenance-coverage title: Provenance Coverage status: active -updatedAt: 2026-10-31T23:24:22.157Z +updatedAt: 2026-11-02T23:07:29.680Z --- # Provenance Coverage ## Generated -- Evidence entries: 220 +- Evidence entries: 221 - Claims missing evidence: 0 ### Evidence Classes -- source-file: 219 +- source-file: 220 - file: 1 ### Top Evidence Sources -- source.memory: 106 +- source.memory: 107 - source.agents: 35 - source.bridge-workspace-4c6d747f-memory-2d62c497: 22 - source.user: 20 diff --git a/sources/memory.md b/sources/memory.md index bf7b277..ea174b5 100644 --- a/sources/memory.md +++ b/sources/memory.md @@ -4,8 +4,8 @@ id: source.memory title: MEMORY sourceType: local-file sourcePath: /home/owner/.openclaw/workspace/MEMORY.md -ingestedAt: 2026-11-01T23:00:40.063Z -updatedAt: 2026-11-01T23:00:40.063Z +ingestedAt: 2026-11-02T23:00:33.386Z +updatedAt: 2026-11-02T23:00:33.386Z status: active --- @@ -14,8 +14,8 @@ status: active ## Source - Type: `local-file` - Path: `/home/owner/.openclaw/workspace/MEMORY.md` -- Bytes: 30018 -- Updated: 2026-11-01T23:00:40.063Z +- Bytes: 29902 +- Updated: 2026-11-02T23:00:33.386Z ## Content ```text @@ -55,7 +55,7 @@ status: active * **Core Skills Docs:** `skills/nextcloud-aio-oc/docs/mail-py-reference.md` (Почта, IMAP/Beget лимиты, Vision-обработка). * **Obsidian Wiki Vault (LTM):** Персональные данные, сущности, концепты и синтезы. Вызываются строго точечно через `wiki_get`. * **Личный автотранспорт / Гараж:** Данные машин и мотоциклов искать в папке `wiki/entities/transport/` (например, `ford-mondeo-4`). -* **Cron configuration snapshot (snapshot 2026-10-05; обновлено 2026-10-18 по миграции wiki-ingest + skill-review:)** active — mail-check (15m; включён снова 2026-10-24 после fixes DNS (MikroTik 192.168.88.1); цепочка 144 ошибок иссякла trigger v3 2026-10-05: прямой exec()+json() без legacy tools.call, счётчик ошибок IMAP в trigger.state; payload agentTurn timeout 900s), wiki-ingest-queue (ежедневно 02:00 MSK, strict schedule, wiki-ingest → очередь background_automation; старый wiki-ingest-event (30m) — disabled, 2026-10-18), wiki-ingest-backup (ежедневно 04:00 MSK), wiki-full-backup (ежедневно 05:00 MSK), hermes-stm-garbage-collector (ежедневно 03:15 MSK, hermes_cron_sweep.sh — единственный джоб памяти), searxng-weekly-update (вс 04:00), trash-cleanup (1-е число 06:00 MSK), 5× skill-collection-review-* (7d, очередь background_automation). Legacy-джобы check-dreaming и dreaming-sweep (03:00) удалены 2026-09-09 по протоколу CRON CLEANUP. Перед изменением или диагностикой cron фактическое состояние system/user cron и OpenClaw automation state проверяется непосредственно в системе. +* **Cron configuration snapshot (snapshot 2026-10-05; обновлено 2026-10-18 по миграции wiki-ingest + skill-review:)** active — mail-check (15m; отключён 2026-11-02 (enabled false): Beget IMAP временно down по требованию пользователя 2026-11-02; payload agentTurn timeout 900s), wiki-ingest-queue (ежедневно 02:00 MSK, strict schedule, wiki-ingest → очередь background_automation; старый wiki-ingest-event (30m) — disabled, 2026-10-18), wiki-ingest-backup (ежедневно 04:00 MSK), wiki-full-backup (ежедневно 05:00 MSK), hermes-stm-garbage-collector (ежедневно 03:15 MSK, hermes_cron_sweep.sh — единственный джоб памяти), searxng-weekly-update (вс 04:00), trash-cleanup (1-е число 06:00 MSK), 5× skill-collection-review-* (7d, очередь background_automation). Legacy-джобы check-dreaming и dreaming-sweep (03:00) удалены 2026-09-09 по протоколу CRON CLEANUP. Перед изменением или диагностикой cron фактическое состояние system/user cron и OpenClaw automation state проверяется непосредственно в системе. * skill-review-*-queued (5 шт., weekly, isolated): delivery **none** (2026-10-25: announce→none, `openclaw cron edit --no-deliver` — заткнуты enqueue-STDOUT-подтверждения в чат 862485388; routing-поля channel/to/bestEffort в store сохранены); история: 2026-10-23 был channel=last, fail-closed, audit PASS. * **Search Tool Priority:** web_search (SearXNG локально) → Tavily Search → Tavily Extract → Firecrawl. * **Xray egress proxy (clawpi):** systemd `/etc/systemd/system/xray.service` + 2 drop-in в `/etc/systemd/system/xray.service.d/`: `10-donot_touch_single_conf.conf` (ExecStart → `/usr/local/bin/xray run -config /usr/local/etc/xray/config.json`) и `20-docker0-order.conf` (final state 2026-10-15; sha256 b671cfd8…: [Unit] Wants/After=docker.service + [Service] ExecStartPre poll до 30s IP 172.17.0.1/ dev docker0, exit 1 при timeout) — устраняет boot-гонку: при старте до docker0 bind 172.17.0.1:10809 падал exit 255 (служба была failed ~21ч до фикса). Слушатели: 127.0.0.1:10808, 127.0.0.1:10809, 172.17.0.1:10809 (egress Discord Pi-VPN-proxy + npm). Status: `systemctl is-active xray` + `ss -ltn | grep -E ':1080[89]'` (ожидать ровно 3 строки). Boot-сценарий не прогонялся — финальный тест при следующем reboot Pi; при failed после reboot: `sudo systemctl reset-failed xray && sudo systemctl start xray` (skill xray-proxy-recovery).