137 lines
15 KiB
Markdown
137 lines
15 KiB
Markdown
---
|
||
pageType: source
|
||
id: source.bridge.workspace-4c6d747f.memory-2026-08-23-45a691bb
|
||
title: "Memory Bridge (main, coder-agent, evaluator-agent, humanizer-agent,
|
||
setup-agent): 2026-08-23"
|
||
sourceType: memory-bridge
|
||
sourcePath: /home/owner/.openclaw/workspace/memory/2026-08-23.md
|
||
bridgeRelativePath: memory/2026-08-23.md
|
||
bridgeWorkspaceDir: /home/owner/.openclaw/workspace
|
||
bridgeAgentIds:
|
||
- main
|
||
- coder-agent
|
||
- evaluator-agent
|
||
- humanizer-agent
|
||
- setup-agent
|
||
status: active
|
||
updatedAt: 2026-08-23T19:44:04.484Z
|
||
---
|
||
|
||
# Memory Bridge (main, coder-agent, evaluator-agent, humanizer-agent, setup-agent): 2026-08-23
|
||
|
||
## Bridge Source
|
||
- Workspace: `/home/owner/.openclaw/workspace`
|
||
- Relative path: `memory/2026-08-23.md`
|
||
- Kind: `markdown`
|
||
- Agents: main, coder-agent, evaluator-agent, humanizer-agent, setup-agent
|
||
- Updated: 2026-08-23T19:44:04.484Z
|
||
|
||
## Content
|
||
```markdown
|
||
# Daily note — 2026-08-23 (Sun)
|
||
|
||
## Задача: hardening idempotent wiki-ingest pipeline (4-step plan, одобрен Сергеем)
|
||
Пайплайн: один file-change батч → один `event_id` → один прогон (cron + event-driven конкурируют, один выигрывает).
|
||
План: (1) Lease, (2) Metrics+Telegram alerts, (3) Dead-letter Runbook+CLI, (4) Backup `state/events.db`+restore verify.
|
||
Retention и two-level fingerprint — ЯВНО отложены, не трогать.
|
||
Строгая последовательность: шаг = coder → evaluator (PASS/FAIL) → только потом следующий. Без self-certification.
|
||
После каждого шага: CHANGELOG.md (одна запись, идемпотентно), MEMORY.md (только если протокол изменился, между маркерами `<!-- wiki-ingest:wiki-ingestion -->`), AGENTS.md §16 (только если протокол изменился).
|
||
Volatile-state ban: в MEMORY.md/wiki-claims НЕ писать page/claim/lint counts и last-ingest timestamps.
|
||
|
||
### Ключевые пути
|
||
- Скрипт: `/home/owner/.openclaw/workspace/skills/wiki-ingest/scripts/wiki_ingest_check.py` (~900+ строк, stdlib-only, Python 3.9+, каждая команда = ОДИН JSON на stdout)
|
||
- Тесты: `/home/owner/.openclaw/workspace/skills/wiki-ingest/tests/test_wiki_ingest_check.py`
|
||
- Prod state: `/home/owner/.openclaw/workspace/skills/wiki-ingest/state/events.db` (WAL) — READ-ONLY для всех агентов кроме temp-workspaces в тестах
|
||
- Dead-letter: `.../events/failed.jsonl`; маркер: `.../state/last_ingest.json`
|
||
- Команды: `--trigger`, `claim <id> --by NAME [--lease-seconds N]`, `renew <id> <token> [--lease-seconds N]`, `complete <id> <token>`, `fail <id> <token> [reason]`, `rearm <id>`, `--mark-ingested`, `--debug`, `--alert-test [text]`
|
||
|
||
### Шаг 1 (Lease) — ЗАКРЫТ ✅
|
||
- Evaluator: initial FAIL (2 findings) → repair cycle 1 → re-audit **PASS, 0 findings, 20/20 тестов ×2**.
|
||
- Изменения: `DEFAULT_LEASE_SECONDS` 1800→7200; `renew` contract (token + `status='pending'` + `lease_until>now`); `complete`/`fail` пишут `duration_seconds`/`attempts`/`batch_size`; `classify_reason` +`not_found`/`already_done` (стали `stale_token`/`wrong_state`/`lease_expired`); None-guard в `cmd_fail`.
|
||
- Docs: CHANGELOG "## 2026-08-23 13:41 MSK — wiki-ingest lease-защита (Step 1)"; MEMORY.md маркеры (lease 7200s + renew heartbeat 300s + abort-on-lost-ownership); AGENTS.md §16 lease/renew.
|
||
|
||
### Шаг 2 (Metrics + Telegram) — код готов, идёт аудит (step2-metrics-evaluator running)
|
||
- Таблицы `ingest_metrics` + `alert_suppression` (через `CREATE TABLE IF NOT EXISTS` → уже в prod БД). 30/30 тестов (28 старых + 2 retry).
|
||
- Метрики (10): fire, claim_success, claim_skip, complete, fail, skipped_changed, lease_expired_reclaim, manual_rearm, duration_seconds, renew_lost_ownership.
|
||
- **Алерт-метрики (ТОЛЬКО критичные):** fail, lease_expired_reclaim, manual_rearm, renew_lost_ownership (attempts>=3 складывается в fail). Дедуп 1ч по (event_id, metric) в `alert_suppression`.
|
||
- Telegram формат: `⚠️ WIKI-INGEST ALERT` / `Event: {id}` / `Type: {metric}` / `Attempts: {n}/3` / `Duration: {d}m` / `Error: {e}` / `Action: {suggested}`.
|
||
- `send_telegram_alert(token, chat_id, text)→bool` переписан на **per-IP retry**: `socket.getaddrinfo('api.telegram.org',443)`, до 8 адресов, на каждый `create_connection(timeout=3)` → TLS (`ssl.create_default_context()`) → raw HTTP/1.1 POST `/bot{token}/sendMessage` → True только при HTTP 200 И `"ok":true`; любое исключение → следующий адрес, наружу не raise; все упали → stderr generic (без токена) + False. Жёсткий deadline 25.0с. Новая helper `_send_to_address(ip, token, chat_id, text, timeout, host, port)`. Импорт +`socket`, +`ssl`.
|
||
- Fail-open: алерт НИКОГДА не роняет/не блокирует пайплайн.
|
||
|
||
### ⚠️ Сетевая аномалия Telegram (ВАЖНО, не баг кода)
|
||
- `api.telegram.org` в сети Pi сейчас резолвится ТОЛЬКО в `149.154.166.110` — МЁРТВ (100% connect timeout, ~5 мин мониторинга, без RST).
|
||
- Живой IP `149.154.167.220` (connect 0.05с, TLS OK) — **вне DNS-зоны** (1.1.1.1, 8.8.8.8, 9.9.9.9, DoH, ECS — все только `.110`).
|
||
- IPv6 `2001:67c:4e8:f004::9` — EUNR (нет маршрута).
|
||
- Итог: прямой `--alert-test` → `{"ok":true,"sent":false,"error":"telegram_send_failed"}` (non-fatal). При принудительном `.220` полный путь → **True** (реальный POST выполнен).
|
||
- **Gateway-канал Telegram ЖИВ** (тестовое сообщение ушло, messageId 4376) — ходит через уже установленные соединения.
|
||
- Само восстановится, когда зона вернёт живой IP.
|
||
- **Решение у Сергея (нужен выбор):** (а) ждать восстановления зоны Telegram (чисто); (б) временная запись в `/etc/hosts` на живой IP (setup-agent + явное разрешение) → даст sent:true сегодня; (в) принять `sent via .220 only: True` как доказательство и закрыть шаг.
|
||
|
||
### Key decisions (протокол)
|
||
- `status='pending'` = "в обработке" — СОХРАНИЛ существующий словарь статусов (pending/done/failed), НЕ переименовал в `processing` (избегать ломающих правок строк/тестов/README).
|
||
- renew heartbeat = поведение **worker'а (агента)**, НЕ в скрипте: скрипт даёт один `renew`; worker ОБЯЗАН вызывать `renew <event_id> <token>` каждые ~300с и abort при `ok:false` ("lost ownership"). Задокументировано в AGENTS.md §16.
|
||
- Prod baseline events.db: 3 события, все done (attempts 3, 1, и новое done 16:48). md5 (17:23 MSK, стабильно в финальной батарее): `8f24abeb03a8bb4cdf27489653ef8f1c`.
|
||
- Ingest-событие по правкам docs (AGENTS.md+MEMORY.md) закрыто через `complete` (3-е done, 16:48 MSK).
|
||
|
||
### Cron gap (flagged, НЕ исправлено — ждёт OK)
|
||
- `wiki-ingest-event` cron (id 3e494915-05d8-4c5f-aa53-a9a34f4f507f, every 30m, trigger-скрипт) `timeoutSeconds=600` — СЛИШКОМ мало для длинных ingest (базовый 39min → attempts=3). Предложение: поднять до ~1800–3600s через setup-agent, ЖДЁТ разрешения пользователя.
|
||
|
||
### Next steps
|
||
1. Дождаться verdict step2-metrics-evaluator (2× тесты, prod read-only, behavior в temp workspace, Telegram fail-open + дедуп). При FAIL — repair cycle.
|
||
2. setup-agent: docs Шага 2 (CHANGELOG + MEMORY/AGENTS если протокол).
|
||
3. **Шаг 3:** Runbook + CLI: `--show-failed`, `--show-event <id>`, `--rearm <id>` (с confirm для done), `--verify` + README "Dead-Letter Runbook" (coder → evaluator).
|
||
4. **Шаг 4:** Backup `state/events.db`: `PRAGMA wal_checkpoint(TRUNCATE)` + copy (вместе с MEMORY.md / wiki vault / vector sqlite / changelog) + restore verification (coder → evaluator).
|
||
5. Финал: `--trigger` fire:false, `--verify` pass, метрики пишутся, ОДИН test alert (без спама), отчёт пользователю.
|
||
|
||
### Замечания
|
||
- Subagent spawns резолвятся в **main model** `qwen3.8-27b-q5xl`, а НЕ в per-agent модели (например coder → `qwen3.8-27b-q5xl-coder`) — `agentId` не пинится. Output валидируется evaluator'ом в любом случае.
|
||
- Ollama (192.168.1.200:11434) healthy. Ранее cron-таймауты (dreaming-sweep, trash-cleanup) — транзиентные.
|
||
|
||
---
|
||
|
||
## Апдейт 22:38 MSK (pre-compaction flush #2)
|
||
|
||
### Шаг 2 — ЗАКРЫТ ✅
|
||
- Evaluator **PASS**: первый прогон (27b main model) упал — context overflow 1.3M токенов; перезапуск на `qwen3.6-35b-192k` → PASS A–H, 2 minor findings закрыты main-agent независимо (30/30 тестов, hard deadline 8 dead IPs = 24.03с < 30с, токен в stderr не логируется).
|
||
- Docs (setup-agent): CHANGELOG «## 2026-08-23 19:08 MSK — wiki-ingest: наблюдаемость — метрики + Telegram-алерты (Step 2)» (одна запись); MEMORY.md — Step-2 буллет между маркерами wiki-ingest; README — «Metrics & Alerts» + `--alert-test` + точная пометка DNS-аномалии.
|
||
- **Решение Сергея (c):** принять `sent via .220 only: True` как доказательство; `/etc/hosts` pin НЕ делать; DNS-аномалия = известное ограничение (само восстановится).
|
||
- Ingest-событие по docs-правкам закрыто: `evt_wiki-ingest_1787501562347556028_d003da225e3b5be7ea9f1966` done 19:16:21.
|
||
- **Prod DB (актуально):** md5 `e41fb939e08168d075eb9caebd315008`; `processed_events` = 4 строки, ВСЕ done; `--trigger` → fire:false (up_to_date); failed.jsonl отсутствует.
|
||
|
||
### Wiki-синтез обновлён
|
||
- Страница `synthesis.idempotent-wiki-ingest-pipeline`: добавлены факты Step 2 (10 метрик, 4 критичных алерта, дедуп 1ч, fail-open, per-IP retry, источник токена, DNS-лимит, 30/30 тестов). Lint 0 ошибок; 5 provenance-warnings закрыты structured evidence (path+lines в скрипт/README).
|
||
|
||
### Шаг 3 (Dead-letter Runbook + CLI) — в работе, evaluator запущен
|
||
- История кодера: попытка 1 (27b) — краш context overflow; попытка 2 (192k) — краш network error (0 токенов, транзиент, Ollama healthy); попытка 3 (192k) — написаны скрипт + 48 тестов + README runbook, но 7 тестов упали → точечный ремонт-кодер: 48/48 ×2 зелёные, prod md5 не тронулся; заодно починен pre-existing баг в скрипте: `last_error` → `error` (имя колонки) в SQL `cmd_show_failed` (до этого молча пустой список из-за silent except).
|
||
- **Мои независимые E2E в temp-воркспейсах нашли 4 РЕАЛЬНЫХ бага** в «готовой» версии:
|
||
1. **CRITICAL:** `rearm <done> --confirm` = мёртвый no-op — cmd_rearm DELETE'ит строку processed_events, но `--trigger` потом НЕ срабатывает (file_state свежее после complete → up_to_date). Реплей невозможен.
|
||
2. Форма флага `--rearm <id>` (как в README) не работает — argparse принимает только subcommand `rearm <id>`.
|
||
3. `rearm` на pending-событии → rc=0 вместо rc=2.
|
||
4. `--show-event`: мусор в полях (claimed_at=null, last_error_at несёт текст ошибки); `--show-failed`: глотает SQL-ошибку (silent empty list).
|
||
- Отправлен **точечный репар-кодер** с целевой семантикой replay: done+confirm → сброс file_state батча (ТОТ ЖЕ event_id, свежий claim attempts=1); failed → прежний путь (чистая строка, attempts=0). README привести к реальной CLI (subcommand `rearm <id>`, не `--rearm`).
|
||
- **Сейчас: step3-evaluator ЗАПУЩЕН** (model `qwen3.6-35b-192k`, экономия контекста: выжимки, не полные чтения), аудит Шага 3: dead-letter CLI + runbook + тесты + read-only дисциплина + prod read-only.
|
||
- session: `agent:main:subagent:1534eadc-d392-4638-b661-678dad3e83fd`, run `3a1f6381-cae6-420f-b704-5d6d173c7893`. НЕ поллить — жду completion event.
|
||
- Мои E2E-скрипты (переиспользовать при проверке): `/tmp/step3_rearm_e2e.py`, `/tmp/step3_rearm_e2e.py`→`/tmp/step3_rearm_e2e2.py` (проверка replay после rearm done).
|
||
|
||
### Next steps (актуально)
|
||
1. Вердикт step3-evaluator. PASS → docs (setup-agent: CHANGELOG Step 3; MEMORY.md/AGENTS.md — только если протокол реально изменился; README уже в скоупе кодера). FAIL → ещё один repair cycle (макс. 3).
|
||
2. **Шаг 4:** Backup `state/events.db`: `PRAGMA wal_checkpoint(TRUNCATE)` + copy (набор: events.db + last_ingest.json + failed.jsonl если есть) + restore verification (coder → evaluator → docs).
|
||
3. Финал: `--trigger` fire:false, `--verify` pass, метрики пишутся, ОДИН `--alert-test` (без спама), отчёт Сергею в чат (явная отправка, §19).
|
||
4. Ждёт OK Сергея: cron `wiki-ingest-event` timeoutSeconds 600 → ~1800–3600 (setup-agent).
|
||
|
||
### Инфра-замечания
|
||
- 27b-модель (`qwen3.8-27b-q5xl`) НЕ вывозит read-heavy задачи с большими файлами (2 краша кодера). Паттерн: read-heavy spawn → явно `model="ollama-local/qwen3.6-35b-192k"` + дисциплина (grep -n / sed -n выжимки, один большой /tmp-скрипт вместо многих маленьких команд).
|
||
- Ollama 192.168.1.200:11434 healthy; транзиентный network error при spawn'е — перезапуск решает.
|
||
- Конвенция subcommands: not_found → rc=0 + `{"ok":false,"reason":"not_found"}` (по существующим тестам, line ~597).
|
||
- `file_state` пишется ТОЛЬКО в `cmd_complete` — это и есть причина бага #1: rearm не может «развидеть» событие, если не сбрасывает file_state батча.
|
||
|
||
```
|
||
|
||
## Notes
|
||
<!-- openclaw:human:start -->
|
||
<!-- openclaw:human:end -->
|
||
|
||
## Related
|
||
<!-- openclaw:wiki:related:start -->
|
||
- No related pages yet.
|
||
<!-- openclaw:wiki:related:end -->
|