--- pageType: source id: source.bridge.workspace-4c6d747f.memory-2026-08-23-45a691bb title: "Memory Bridge (main): 2026-08-23" sourceType: memory-bridge sourcePath: /home/owner/.openclaw/workspace/memory/2026-08-23.md bridgeRelativePath: memory/2026-08-23.md bridgeWorkspaceDir: /home/owner/.openclaw/workspace bridgeAgentIds: - main status: active updatedAt: 2026-08-23T19:44:04.484Z --- # Memory Bridge (main): 2026-08-23 ## Bridge Source - Workspace: `/home/owner/.openclaw/workspace` - Relative path: `memory/2026-08-23.md` - Kind: `markdown` - Agents: main - Updated: 2026-08-23T19:44:04.484Z ## Content ```markdown # Daily note — 2026-08-23 (Sun) ## Задача: hardening idempotent wiki-ingest pipeline (4-step plan, одобрен Сергеем) Пайплайн: один file-change батч → один `event_id` → один прогон (cron + event-driven конкурируют, один выигрывает). План: (1) Lease, (2) Metrics+Telegram alerts, (3) Dead-letter Runbook+CLI, (4) Backup `state/events.db`+restore verify. Retention и two-level fingerprint — ЯВНО отложены, не трогать. Строгая последовательность: шаг = coder → evaluator (PASS/FAIL) → только потом следующий. Без self-certification. После каждого шага: CHANGELOG.md (одна запись, идемпотентно), MEMORY.md (только если протокол изменился, между маркерами ``), AGENTS.md §16 (только если протокол изменился). Volatile-state ban: в MEMORY.md/wiki-claims НЕ писать page/claim/lint counts и last-ingest timestamps. ### Ключевые пути - Скрипт: `/home/owner/.openclaw/workspace/skills/wiki-ingest/scripts/wiki_ingest_check.py` (~900+ строк, stdlib-only, Python 3.9+, каждая команда = ОДИН JSON на stdout) - Тесты: `/home/owner/.openclaw/workspace/skills/wiki-ingest/tests/test_wiki_ingest_check.py` - Prod state: `/home/owner/.openclaw/workspace/skills/wiki-ingest/state/events.db` (WAL) — READ-ONLY для всех агентов кроме temp-workspaces в тестах - Dead-letter: `.../events/failed.jsonl`; маркер: `.../state/last_ingest.json` - Команды: `--trigger`, `claim --by NAME [--lease-seconds N]`, `renew [--lease-seconds N]`, `complete `, `fail [reason]`, `rearm `, `--mark-ingested`, `--debug`, `--alert-test [text]` ### Шаг 1 (Lease) — ЗАКРЫТ ✅ - Evaluator: initial FAIL (2 findings) → repair cycle 1 → re-audit **PASS, 0 findings, 20/20 тестов ×2**. - Изменения: `DEFAULT_LEASE_SECONDS` 1800→7200; `renew` contract (token + `status='pending'` + `lease_until>now`); `complete`/`fail` пишут `duration_seconds`/`attempts`/`batch_size`; `classify_reason` +`not_found`/`already_done` (стали `stale_token`/`wrong_state`/`lease_expired`); None-guard в `cmd_fail`. - Docs: CHANGELOG "## 2026-08-23 13:41 MSK — wiki-ingest lease-защита (Step 1)"; MEMORY.md маркеры (lease 7200s + renew heartbeat 300s + abort-on-lost-ownership); AGENTS.md §16 lease/renew. ### Шаг 2 (Metrics + Telegram) — код готов, идёт аудит (step2-metrics-evaluator running) - Таблицы `ingest_metrics` + `alert_suppression` (через `CREATE TABLE IF NOT EXISTS` → уже в prod БД). 30/30 тестов (28 старых + 2 retry). - Метрики (10): fire, claim_success, claim_skip, complete, fail, skipped_changed, lease_expired_reclaim, manual_rearm, duration_seconds, renew_lost_ownership. - **Алерт-метрики (ТОЛЬКО критичные):** fail, lease_expired_reclaim, manual_rearm, renew_lost_ownership (attempts>=3 складывается в fail). Дедуп 1ч по (event_id, metric) в `alert_suppression`. - Telegram формат: `⚠️ WIKI-INGEST ALERT` / `Event: {id}` / `Type: {metric}` / `Attempts: {n}/3` / `Duration: {d}m` / `Error: {e}` / `Action: {suggested}`. - `send_telegram_alert(token, chat_id, text)→bool` переписан на **per-IP retry**: `socket.getaddrinfo('api.telegram.org',443)`, до 8 адресов, на каждый `create_connection(timeout=3)` → TLS (`ssl.create_default_context()`) → raw HTTP/1.1 POST `/bot{token}/sendMessage` → True только при HTTP 200 И `"ok":true`; любое исключение → следующий адрес, наружу не raise; все упали → stderr generic (без токена) + False. Жёсткий deadline 25.0с. Новая helper `_send_to_address(ip, token, chat_id, text, timeout, host, port)`. Импорт +`socket`, +`ssl`. - Fail-open: алерт НИКОГДА не роняет/не блокирует пайплайн. ### ⚠️ Сетевая аномалия Telegram (ВАЖНО, не баг кода) - `api.telegram.org` в сети Pi сейчас резолвится ТОЛЬКО в `149.154.166.110` — МЁРТВ (100% connect timeout, ~5 мин мониторинга, без RST). - Живой IP `149.154.167.220` (connect 0.05с, TLS OK) — **вне DNS-зоны** (1.1.1.1, 8.8.8.8, 9.9.9.9, DoH, ECS — все только `.110`). - IPv6 `2001:67c:4e8:f004::9` — EUNR (нет маршрута). - Итог: прямой `--alert-test` → `{"ok":true,"sent":false,"error":"telegram_send_failed"}` (non-fatal). При принудительном `.220` полный путь → **True** (реальный POST выполнен). - **Gateway-канал Telegram ЖИВ** (тестовое сообщение ушло, messageId 4376) — ходит через уже установленные соединения. - Само восстановится, когда зона вернёт живой IP. - **Решение у Сергея (нужен выбор):** (а) ждать восстановления зоны Telegram (чисто); (б) временная запись в `/etc/hosts` на живой IP (setup-agent + явное разрешение) → даст sent:true сегодня; (в) принять `sent via .220 only: True` как доказательство и закрыть шаг. ### Key decisions (протокол) - `status='pending'` = "в обработке" — СОХРАНИЛ существующий словарь статусов (pending/done/failed), НЕ переименовал в `processing` (избегать ломающих правок строк/тестов/README). - renew heartbeat = поведение **worker'а (агента)**, НЕ в скрипте: скрипт даёт один `renew`; worker ОБЯЗАН вызывать `renew ` каждые ~300с и abort при `ok:false` ("lost ownership"). Задокументировано в AGENTS.md §16. - Prod baseline events.db: 3 события, все done (attempts 3, 1, и новое done 16:48). md5 (17:23 MSK, стабильно в финальной батарее): `8f24abeb03a8bb4cdf27489653ef8f1c`. - Ingest-событие по правкам docs (AGENTS.md+MEMORY.md) закрыто через `complete` (3-е done, 16:48 MSK). ### Cron gap (flagged, НЕ исправлено — ждёт OK) - `wiki-ingest-event` cron (id 3e494915-05d8-4c5f-aa53-a9a34f4f507f, every 30m, trigger-скрипт) `timeoutSeconds=600` — СЛИШКОМ мало для длинных ingest (базовый 39min → attempts=3). Предложение: поднять до ~1800–3600s через setup-agent, ЖДЁТ разрешения пользователя. ### Next steps 1. Дождаться verdict step2-metrics-evaluator (2× тесты, prod read-only, behavior в temp workspace, Telegram fail-open + дедуп). При FAIL — repair cycle. 2. setup-agent: docs Шага 2 (CHANGELOG + MEMORY/AGENTS если протокол). 3. **Шаг 3:** Runbook + CLI: `--show-failed`, `--show-event `, `--rearm ` (с confirm для done), `--verify` + README "Dead-Letter Runbook" (coder → evaluator). 4. **Шаг 4:** Backup `state/events.db`: `PRAGMA wal_checkpoint(TRUNCATE)` + copy (вместе с MEMORY.md / wiki vault / vector sqlite / changelog) + restore verification (coder → evaluator). 5. Финал: `--trigger` fire:false, `--verify` pass, метрики пишутся, ОДИН test alert (без спама), отчёт пользователю. ### Замечания - Subagent spawns резолвятся в **main model** `qwen3.8-27b-q5xl`, а НЕ в per-agent модели (например coder → `qwen3.8-27b-q5xl-coder`) — `agentId` не пинится. Output валидируется evaluator'ом в любом случае. - Ollama (192.168.1.200:11434) healthy. Ранее cron-таймауты (dreaming-sweep, trash-cleanup) — транзиентные. --- ## Апдейт 22:38 MSK (pre-compaction flush #2) ### Шаг 2 — ЗАКРЫТ ✅ - Evaluator **PASS**: первый прогон (27b main model) упал — context overflow 1.3M токенов; перезапуск на `qwen3.6-35b-192k` → PASS A–H, 2 minor findings закрыты main-agent независимо (30/30 тестов, hard deadline 8 dead IPs = 24.03с < 30с, токен в stderr не логируется). - Docs (setup-agent): CHANGELOG «## 2026-08-23 19:08 MSK — wiki-ingest: наблюдаемость — метрики + Telegram-алерты (Step 2)» (одна запись); MEMORY.md — Step-2 буллет между маркерами wiki-ingest; README — «Metrics & Alerts» + `--alert-test` + точная пометка DNS-аномалии. - **Решение Сергея (c):** принять `sent via .220 only: True` как доказательство; `/etc/hosts` pin НЕ делать; DNS-аномалия = известное ограничение (само восстановится). - Ingest-событие по docs-правкам закрыто: `evt_wiki-ingest_1787501562347556028_d003da225e3b5be7ea9f1966` done 19:16:21. - **Prod DB (актуально):** md5 `e41fb939e08168d075eb9caebd315008`; `processed_events` = 4 строки, ВСЕ done; `--trigger` → fire:false (up_to_date); failed.jsonl отсутствует. ### Wiki-синтез обновлён - Страница `synthesis.idempotent-wiki-ingest-pipeline`: добавлены факты Step 2 (10 метрик, 4 критичных алерта, дедуп 1ч, fail-open, per-IP retry, источник токена, DNS-лимит, 30/30 тестов). Lint 0 ошибок; 5 provenance-warnings закрыты structured evidence (path+lines в скрипт/README). ### Шаг 3 (Dead-letter Runbook + CLI) — в работе, evaluator запущен - История кодера: попытка 1 (27b) — краш context overflow; попытка 2 (192k) — краш network error (0 токенов, транзиент, Ollama healthy); попытка 3 (192k) — написаны скрипт + 48 тестов + README runbook, но 7 тестов упали → точечный ремонт-кодер: 48/48 ×2 зелёные, prod md5 не тронулся; заодно починен pre-existing баг в скрипте: `last_error` → `error` (имя колонки) в SQL `cmd_show_failed` (до этого молча пустой список из-за silent except). - **Мои независимые E2E в temp-воркспейсах нашли 4 РЕАЛЬНЫХ бага** в «готовой» версии: 1. **CRITICAL:** `rearm --confirm` = мёртвый no-op — cmd_rearm DELETE'ит строку processed_events, но `--trigger` потом НЕ срабатывает (file_state свежее после complete → up_to_date). Реплей невозможен. 2. Форма флага `--rearm ` (как в README) не работает — argparse принимает только subcommand `rearm `. 3. `rearm` на pending-событии → rc=0 вместо rc=2. 4. `--show-event`: мусор в полях (claimed_at=null, last_error_at несёт текст ошибки); `--show-failed`: глотает SQL-ошибку (silent empty list). - Отправлен **точечный репар-кодер** с целевой семантикой replay: done+confirm → сброс file_state батча (ТОТ ЖЕ event_id, свежий claim attempts=1); failed → прежний путь (чистая строка, attempts=0). README привести к реальной CLI (subcommand `rearm `, не `--rearm`). - **Сейчас: step3-evaluator ЗАПУЩЕН** (model `qwen3.6-35b-192k`, экономия контекста: выжимки, не полные чтения), аудит Шага 3: dead-letter CLI + runbook + тесты + read-only дисциплина + prod read-only. - session: `agent:main:subagent:1534eadc-d392-4638-b661-678dad3e83fd`, run `3a1f6381-cae6-420f-b704-5d6d173c7893`. НЕ поллить — жду completion event. - Мои E2E-скрипты (переиспользовать при проверке): `/tmp/step3_rearm_e2e.py`, `/tmp/step3_rearm_e2e.py`→`/tmp/step3_rearm_e2e2.py` (проверка replay после rearm done). ### Next steps (актуально) 1. Вердикт step3-evaluator. PASS → docs (setup-agent: CHANGELOG Step 3; MEMORY.md/AGENTS.md — только если протокол реально изменился; README уже в скоупе кодера). FAIL → ещё один repair cycle (макс. 3). 2. **Шаг 4:** Backup `state/events.db`: `PRAGMA wal_checkpoint(TRUNCATE)` + copy (набор: events.db + last_ingest.json + failed.jsonl если есть) + restore verification (coder → evaluator → docs). 3. Финал: `--trigger` fire:false, `--verify` pass, метрики пишутся, ОДИН `--alert-test` (без спама), отчёт Сергею в чат (явная отправка, §19). 4. Ждёт OK Сергея: cron `wiki-ingest-event` timeoutSeconds 600 → ~1800–3600 (setup-agent). ### Инфра-замечания - 27b-модель (`qwen3.8-27b-q5xl`) НЕ вывозит read-heavy задачи с большими файлами (2 краша кодера). Паттерн: read-heavy spawn → явно `model="ollama-local/qwen3.6-35b-192k"` + дисциплина (grep -n / sed -n выжимки, один большой /tmp-скрипт вместо многих маленьких команд). - Ollama 192.168.1.200:11434 healthy; транзиентный network error при spawn'е — перезапуск решает. - Конвенция subcommands: not_found → rc=0 + `{"ok":false,"reason":"not_found"}` (по существующим тестам, line ~597). - `file_state` пишется ТОЛЬКО в `cmd_complete` — это и есть причина бага #1: rearm не может «развидеть» событие, если не сбрасывает file_state батча. ``` ## Notes ## Related - No related pages yet.