obsidian-vault/sources/bridge-workspace-4c6d747f-memory-2026-08-23-45a691bb.md
2026-10-09 14:30:02 +00:00

15 KiB
Raw Blame History

pageType id title sourceType sourcePath bridgeRelativePath bridgeWorkspaceDir bridgeAgentIds status updatedAt
source source.bridge.workspace-4c6d747f.memory-2026-08-23-45a691bb Memory Bridge (main, coder-agent, evaluator-agent, humanizer-agent, setup-agent): 2026-08-23 memory-bridge /home/owner/.openclaw/workspace/memory/2026-08-23.md memory/2026-08-23.md /home/owner/.openclaw/workspace
main
coder-agent
evaluator-agent
humanizer-agent
setup-agent
active 2026-08-23T19:44:04.484Z

Memory Bridge (main, coder-agent, evaluator-agent, humanizer-agent, setup-agent): 2026-08-23

Bridge Source

  • Workspace: /home/owner/.openclaw/workspace
  • Relative path: memory/2026-08-23.md
  • Kind: markdown
  • Agents: main, coder-agent, evaluator-agent, humanizer-agent, setup-agent
  • Updated: 2026-08-23T19:44:04.484Z

Content

# Daily note — 2026-08-23 (Sun)

## Задача: hardening idempotent wiki-ingest pipeline (4-step plan, одобрен Сергеем)
Пайплайн: один file-change батч → один `event_id` → один прогон (cron + event-driven конкурируют, один выигрывает).
План: (1) Lease, (2) Metrics+Telegram alerts, (3) Dead-letter Runbook+CLI, (4) Backup `state/events.db`+restore verify.
Retention и two-level fingerprint — ЯВНО отложены, не трогать.
Строгая последовательность: шаг = coder → evaluator (PASS/FAIL) → только потом следующий. Без self-certification.
После каждого шага: CHANGELOG.md (одна запись, идемпотентно), MEMORY.md (только если протокол изменился, между маркерами `<!-- wiki-ingest:wiki-ingestion -->`), AGENTS.md §16 (только если протокол изменился).
Volatile-state ban: в MEMORY.md/wiki-claims НЕ писать page/claim/lint counts и last-ingest timestamps.

### Ключевые пути
- Скрипт: `/home/owner/.openclaw/workspace/skills/wiki-ingest/scripts/wiki_ingest_check.py` (~900+ строк, stdlib-only, Python 3.9+, каждая команда = ОДИН JSON на stdout)
- Тесты: `/home/owner/.openclaw/workspace/skills/wiki-ingest/tests/test_wiki_ingest_check.py`
- Prod state: `/home/owner/.openclaw/workspace/skills/wiki-ingest/state/events.db` (WAL) — READ-ONLY для всех агентов кроме temp-workspaces в тестах
- Dead-letter: `.../events/failed.jsonl`; маркер: `.../state/last_ingest.json`
- Команды: `--trigger`, `claim <id> --by NAME [--lease-seconds N]`, `renew <id> <token> [--lease-seconds N]`, `complete <id> <token>`, `fail <id> <token> [reason]`, `rearm <id>`, `--mark-ingested`, `--debug`, `--alert-test [text]`

### Шаг 1 (Lease) — ЗАКРЫТ ✅
- Evaluator: initial FAIL (2 findings) → repair cycle 1 → re-audit **PASS, 0 findings, 20/20 тестов ×2**.
- Изменения: `DEFAULT_LEASE_SECONDS` 1800→7200; `renew` contract (token + `status='pending'` + `lease_until>now`); `complete`/`fail` пишут `duration_seconds`/`attempts`/`batch_size`; `classify_reason` +`not_found`/`already_done` (стали `stale_token`/`wrong_state`/`lease_expired`); None-guard в `cmd_fail`.
- Docs: CHANGELOG "## 2026-08-23 13:41 MSK — wiki-ingest lease-защита (Step 1)"; MEMORY.md маркеры (lease 7200s + renew heartbeat 300s + abort-on-lost-ownership); AGENTS.md §16 lease/renew.

### Шаг 2 (Metrics + Telegram) — код готов, идёт аудит (step2-metrics-evaluator running)
- Таблицы `ingest_metrics` + `alert_suppression` (через `CREATE TABLE IF NOT EXISTS` → уже в prod БД). 30/30 тестов (28 старых + 2 retry).
- Метрики (10): fire, claim_success, claim_skip, complete, fail, skipped_changed, lease_expired_reclaim, manual_rearm, duration_seconds, renew_lost_ownership.
- **Алерт-метрики (ТОЛЬКО критичные):** fail, lease_expired_reclaim, manual_rearm, renew_lost_ownership (attempts>=3 складывается в fail). Дедуп 1ч по (event_id, metric) в `alert_suppression`.
- Telegram формат: `⚠️ WIKI-INGEST ALERT` / `Event: {id}` / `Type: {metric}` / `Attempts: {n}/3` / `Duration: {d}m` / `Error: {e}` / `Action: {suggested}`.
- `send_telegram_alert(token, chat_id, text)→bool` переписан на **per-IP retry**: `socket.getaddrinfo('api.telegram.org',443)`, до 8 адресов, на каждый `create_connection(timeout=3)` → TLS (`ssl.create_default_context()`) → raw HTTP/1.1 POST `/bot{token}/sendMessage` → True только при HTTP 200 И `"ok":true`; любое исключение → следующий адрес, наружу не raise; все упали → stderr generic (без токена) + False. Жёсткий deadline 25.0с. Новая helper `_send_to_address(ip, token, chat_id, text, timeout, host, port)`. Импорт +`socket`, +`ssl`.
- Fail-open: алерт НИКОГДА не роняет/не блокирует пайплайн.

### ⚠️ Сетевая аномалия Telegram (ВАЖНО, не баг кода)
- `api.telegram.org` в сети Pi сейчас резолвится ТОЛЬКО в `149.154.166.110` — МЁРТВ (100% connect timeout, ~5 мин мониторинга, без RST).
- Живой IP `149.154.167.220` (connect 0.05с, TLS OK) — **вне DNS-зоны** (1.1.1.1, 8.8.8.8, 9.9.9.9, DoH, ECS — все только `.110`).
- IPv6 `2001:67c:4e8:f004::9` — EUNR (нет маршрута).
- Итог: прямой `--alert-test` → `{"ok":true,"sent":false,"error":"telegram_send_failed"}` (non-fatal). При принудительном `.220` полный путь → **True** (реальный POST выполнен).
- **Gateway-канал Telegram ЖИВ** (тестовое сообщение ушло, messageId 4376) — ходит через уже установленные соединения.
- Само восстановится, когда зона вернёт живой IP.
- **Решение у Сергея (нужен выбор):** (а) ждать восстановления зоны Telegram (чисто); (б) временная запись в `/etc/hosts` на живой IP (setup-agent + явное разрешение) → даст sent:true сегодня; (в) принять `sent via .220 only: True` как доказательство и закрыть шаг.

### Key decisions (протокол)
- `status='pending'` = "в обработке" — СОХРАНИЛ существующий словарь статусов (pending/done/failed), НЕ переименовал в `processing` (избегать ломающих правок строк/тестов/README).
- renew heartbeat = поведение **worker'а (агента)**, НЕ в скрипте: скрипт даёт один `renew`; worker ОБЯЗАН вызывать `renew <event_id> <token>` каждые ~300с и abort при `ok:false` ("lost ownership"). Задокументировано в AGENTS.md §16.
- Prod baseline events.db: 3 события, все done (attempts 3, 1, и новое done 16:48). md5 (17:23 MSK, стабильно в финальной батарее): `8f24abeb03a8bb4cdf27489653ef8f1c`.
- Ingest-событие по правкам docs (AGENTS.md+MEMORY.md) закрыто через `complete` (3-е done, 16:48 MSK).

### Cron gap (flagged, НЕ исправлено — ждёт OK)
- `wiki-ingest-event` cron (id 3e494915-05d8-4c5f-aa53-a9a34f4f507f, every 30m, trigger-скрипт) `timeoutSeconds=600` — СЛИШКОМ мало для длинных ingest (базовый 39min → attempts=3). Предложение: поднять до ~1800–3600s через setup-agent, ЖДЁТ разрешения пользователя.

### Next steps
1. Дождаться verdict step2-metrics-evaluator (2× тесты, prod read-only, behavior в temp workspace, Telegram fail-open + дедуп). При FAIL — repair cycle.
2. setup-agent: docs Шага 2 (CHANGELOG + MEMORY/AGENTS если протокол).
3. **Шаг 3:** Runbook + CLI: `--show-failed`, `--show-event <id>`, `--rearm <id>` (с confirm для done), `--verify` + README "Dead-Letter Runbook" (coder → evaluator).
4. **Шаг 4:** Backup `state/events.db`: `PRAGMA wal_checkpoint(TRUNCATE)` + copy (вместе с MEMORY.md / wiki vault / vector sqlite / changelog) + restore verification (coder → evaluator).
5. Финал: `--trigger` fire:false, `--verify` pass, метрики пишутся, ОДИН test alert (без спама), отчёт пользователю.

### Замечания
- Subagent spawns резолвятся в **main model** `qwen3.8-27b-q5xl`, а НЕ в per-agent модели (например coder → `qwen3.8-27b-q5xl-coder`) — `agentId` не пинится. Output валидируется evaluator'ом в любом случае.
- Ollama (192.168.1.200:11434) healthy. Ранее cron-таймауты (dreaming-sweep, trash-cleanup) — транзиентные.

---

## Апдейт 22:38 MSK (pre-compaction flush #2)

### Шаг 2 — ЗАКРЫТ ✅
- Evaluator **PASS**: первый прогон (27b main model) упал — context overflow 1.3M токенов; перезапуск на `qwen3.6-35b-192k` → PASS A–H, 2 minor findings закрыты main-agent независимо (30/30 тестов, hard deadline 8 dead IPs = 24.03с < 30с, токен в stderr не логируется).
- Docs (setup-agent): CHANGELOG «## 2026-08-23 19:08 MSK — wiki-ingest: наблюдаемость — метрики + Telegram-алерты (Step 2)» (одна запись); MEMORY.md — Step-2 буллет между маркерами wiki-ingest; README — «Metrics & Alerts» + `--alert-test` + точная пометка DNS-аномалии.
- **Решение Сергея (c):** принять `sent via .220 only: True` как доказательство; `/etc/hosts` pin НЕ делать; DNS-аномалия = известное ограничение (само восстановится).
- Ingest-событие по docs-правкам закрыто: `evt_wiki-ingest_1787501562347556028_d003da225e3b5be7ea9f1966` done 19:16:21.
- **Prod DB (актуально):** md5 `e41fb939e08168d075eb9caebd315008`; `processed_events` = 4 строки, ВСЕ done; `--trigger` → fire:false (up_to_date); failed.jsonl отсутствует.

### Wiki-синтез обновлён
- Страница `synthesis.idempotent-wiki-ingest-pipeline`: добавлены факты Step 2 (10 метрик, 4 критичных алерта, дедуп 1ч, fail-open, per-IP retry, источник токена, DNS-лимит, 30/30 тестов). Lint 0 ошибок; 5 provenance-warnings закрыты structured evidence (path+lines в скрипт/README).

### Шаг 3 (Dead-letter Runbook + CLI) — в работе, evaluator запущен
- История кодера: попытка 1 (27b) — краш context overflow; попытка 2 (192k) — краш network error (0 токенов, транзиент, Ollama healthy); попытка 3 (192k) — написаны скрипт + 48 тестов + README runbook, но 7 тестов упали → точечный ремонт-кодер: 48/48 ×2 зелёные, prod md5 не тронулся; заодно починен pre-existing баг в скрипте: `last_error` → `error` (имя колонки) в SQL `cmd_show_failed` (до этого молча пустой список из-за silent except).
- **Мои независимые E2E в temp-воркспейсах нашли 4 РЕАЛЬНЫХ бага** в «готовой» версии:
  1. **CRITICAL:** `rearm <done> --confirm` = мёртвый no-op — cmd_rearm DELETE'ит строку processed_events, но `--trigger` потом НЕ срабатывает (file_state свежее после complete → up_to_date). Реплей невозможен.
  2. Форма флага `--rearm <id>` (как в README) не работает — argparse принимает только subcommand `rearm <id>`.
  3. `rearm` на pending-событии → rc=0 вместо rc=2.
  4. `--show-event`: мусор в полях (claimed_at=null, last_error_at несёт текст ошибки); `--show-failed`: глотает SQL-ошибку (silent empty list).
- Отправлен **точечный репар-кодер** с целевой семантикой replay: done+confirm → сброс file_state батча (ТОТ ЖЕ event_id, свежий claim attempts=1); failed → прежний путь (чистая строка, attempts=0). README привести к реальной CLI (subcommand `rearm <id>`, не `--rearm`).
- **Сейчас: step3-evaluator ЗАПУЩЕН** (model `qwen3.6-35b-192k`, экономия контекста: выжимки, не полные чтения), аудит Шага 3: dead-letter CLI + runbook + тесты + read-only дисциплина + prod read-only.
  - session: `agent:main:subagent:1534eadc-d392-4638-b661-678dad3e83fd`, run `3a1f6381-cae6-420f-b704-5d6d173c7893`. НЕ поллить — жду completion event.
- Мои E2E-скрипты (переиспользовать при проверке): `/tmp/step3_rearm_e2e.py`, `/tmp/step3_rearm_e2e.py`→`/tmp/step3_rearm_e2e2.py` (проверка replay после rearm done).

### Next steps (актуально)
1. Вердикт step3-evaluator. PASS → docs (setup-agent: CHANGELOG Step 3; MEMORY.md/AGENTS.md — только если протокол реально изменился; README уже в скоупе кодера). FAIL → ещё один repair cycle (макс. 3).
2. **Шаг 4:** Backup `state/events.db`: `PRAGMA wal_checkpoint(TRUNCATE)` + copy (набор: events.db + last_ingest.json + failed.jsonl если есть) + restore verification (coder → evaluator → docs).
3. Финал: `--trigger` fire:false, `--verify` pass, метрики пишутся, ОДИН `--alert-test` (без спама), отчёт Сергею в чат (явная отправка, §19).
4. Ждёт OK Сергея: cron `wiki-ingest-event` timeoutSeconds 600 → ~1800–3600 (setup-agent).

### Инфра-замечания
- 27b-модель (`qwen3.8-27b-q5xl`) НЕ вывозит read-heavy задачи с большими файлами (2 краша кодера). Паттерн: read-heavy spawn → явно `model="ollama-local/qwen3.6-35b-192k"` + дисциплина (grep -n / sed -n выжимки, один большой /tmp-скрипт вместо многих маленьких команд).
- Ollama 192.168.1.200:11434 healthy; транзиентный network error при spawn'е — перезапуск решает.
- Конвенция subcommands: not_found → rc=0 + `{"ok":false,"reason":"not_found"}` (по существующим тестам, line ~597).
- `file_state` пишется ТОЛЬКО в `cmd_complete` — это и есть причина бага #1: rearm не может «развидеть» событие, если не сбрасывает file_state батча.

Notes

  • No related pages yet.