obsidian-vault/syntheses/pg-boss-queue-ai-inference-worker.md
2026-10-20 23:15:02 +00:00

17 KiB
Raw Blame History

pageType id title sourceIds claims confidence status updatedAt
synthesis synthesis.pg-boss-queue-ai-inference-worker Pg-Boss Queue & AI Inference Worker
source.memory
source.agents
source.bridge.workspace-4c6d747f.memory-2d62c497
text status confidence evidence
Очередь длинных задач (>60с): pg-boss v12.37.1 поверх внешней PostgreSQL 192.168.1.20:5432/openclaw_queue (схема pgboss, version=45); фиксация параметров: expire=3600, retention=86400, retry=3, delay=60; skill skills/pgboss_queue (node dist/index.js, receipts → queue-receipts/). verified 0.9
kind sourceId path lines note
source-file source.memory MEMORY.md 37 канонический workspace-source MEMORY.md, буллет «Очередь длинных задач (pg-boss v12.37.1, внешняя PG 192.168.1.20:5432/openclaw_queue)», строка 37
text status confidence evidence
AI Inference Worker (Stage-2, 2026-10-10): очередь llm_inference + резидентный worker `node dist/worker.js` → Ollama 192.168.1.200:11434, модель qwen3.8-27b-q5xl:latest; single-flight (batchSize:1 + localConcurrency:1) = VRAM-guard; evaluator Stage-2 8/8 PASS. verified 0.9
kind sourceId path lines note
source-file source.memory MEMORY.md 37 буллет pg-boss: AI Inference Worker (Stage-2, 2026-10-10) — очередь llm_inference, Ollama 192.168.1.200:11434, qwen3.8-27b-q5xl:latest, single-flight; evaluator Stage-2 8/8
kind sourceId path lines note
source-file source.bridge.workspace-4c6d747f.memory-2d62c497 sources/bridge-workspace-4c6d747f-memory-2d62c497.md 67 bridge-снимок MEMORY.md 2026-10-11T08:29:18Z (final state 2026-10-11, Stages 3.1–3.2) — канонический sources/memory.md устарел (2026-10-10T18:39:38Z)
text status confidence evidence
MODERNIZATION Stage-3.1 (2026-10-11): воркер остановлен; DSN теперь раздельный — worker → skills/pgboss_queue/.env.worker (mode 600), CLI → ~/.openclaw/.env (значения masked во всех выводах); секреты изолированы (.env.worker 600, .gitignore создан в skills/pgboss_queue; workspace не git-репозиторий — git check-ignore N/A, exit 128, зафиксировано); check_task CLI добавлен в skills/pgboss_queue/index.ts (tsc exit 0); evaluator Stage-3.1 8/8 PASS. verified 0.9
kind sourceId path lines note
source-file source.memory MEMORY.md 37 буллет pg-boss: DSN раздельный (.env.worker 600, Stage-3.1; CLI → ~/.openclaw/.env), воркер остановлен (3.1), evaluator Stage-3.1 8/8 PASS
kind sourceId path lines note
source-file source.changelog CHANGELOG.md 3 canonical workspace source: CHANGELOG.md, запись [INFRA] 2026-10-11 10:38 MSK MODERNIZATION-STAGE-3.1 Part A — SIGTERM stop, .env.worker 600, .gitignore, git check-ignore N/A (exit 128)
text status confidence evidence
MODERNIZATION Stage-3.2 (2026-10-11): systemd-юнит skills/pgboss_queue/openclaw-worker.service (md5 b9a967294e1bfa0e38fbd63d85a71679) — Type=simple, User=owner, WorkingDirectory=/home/owner/.openclaw/workspace/skills/pgboss_queue, ExecStart=/usr/bin/node dist/worker.js, EnvironmentFile=…/.env.worker, Restart=always, RestartSec=10, UMask=0077, journal, After=docker.service (нативного PG-юнита нет; PG = контейнер openclaw-postgres 0.0.0.0:5432); systemd-analyze verify exit 0; evaluator Stage-3.2 5/5 PASS. Final state: файл юнита только в workspace — деплой в /etc/systemd/system ждёт sudo-окно оператора (cp + daemon-reload + enable --now). verified 0.9
kind sourceId path lines note
source-file source.memory MEMORY.md 37 буллет pg-boss: systemd unit openclaw-worker.service (md5 b9a967294e1bfa0e38fbd63d85a71679) в workspace — готов к деплою оператором (sudo: cp + daemon-reload + enable --now); After=docker.service, User=owner, Restart=always/RestartSec=10, UMask=0077, journal
kind sourceId path lines note
source-file source.changelog CHANGELOG.md 1 canonical workspace source: CHANGELOG.md, запись [INFRA] 2026-10-11 11:28 MSK MODERNIZATION-STAGE-3.2 — systemd unit (md5 b9a967294e1bfa0e38fbd63d85a71679), systemd-analyze verify exit 0, evaluator 5/5 PASS, деплой ждёт sudo-окно
text status confidence evidence
MODERNIZATION Stage 4.1 (2026-10-11, подготовка только, live-таймеры не мигрированы — это Stage 4.2+): правила диспетчеризации фоновых задач — AGENTS.md §16.2 (R1: запрет прямого инференса локальных моделей из cron/heartbeat; R2: регулярные задачи skill-collection-review + wiki-ingest → очередь background_automation, priority 10 (pg-boss v12: fetch priority-desc, 10 = low); R3: payload — task_type (skill_review_task | wiki_ingest_task), target_agent, context_window_limit (integer >0, cap 64000), opt. requested_at/source; шаблоны skills/pgboss_queue/payloads/); имя очереди + типы + зафиксированы в skills/pgboss_queue (index.ts const BACKGROUND_AUTOMATION_QUEUE/KNOWN_TASK_TYPES + pre-connection payload-валидация + SKILL.md); очередь в PG НЕ создавалась (создаётся в Stage 4.2+ через boss.createQueue — send её не авто-создаёт); evaluator PASS 5/5 + re-audit пост-дедуп PASS 5/5. verified 0.9
kind sourceId path lines note
source-file source.memory MEMORY.md 37 буллет pg-boss: «Stage 4.1 (2026-10-11, подготовка только, live-таймеры не мигрированы): правила §16.2; очередь/типы/шаблоны в skills/pgboss_queue»
kind sourceId path lines note
source-file source.agents AGENTS.md 414-431 §16.2 Background Automation Rules (Stage 4.1): R1/R2/R3 дословно
text status confidence evidence
MODERNIZATION Stage 4.4 (2026-10-17, COMPLETE — миграция выполнена): B3-тесты 20/20 PASS (sendThrottled-дедупликация доказана на pg-boss 12.37.1; send({db:tx}) runtime доказан); адаптер (adapter.ts → dist/adapter.js) — cron→pg-boss с sendThrottled-дедупликацией (singletonKey=fire_id, singletonSeconds=86400), file snapshot, append-only ledger, DEDUP_SKIP; монитор (monitor.ts → dist/monitor.js) детектит stuck/retry/failed/NOT_FOUND; RECOVERY.md — 7 сценариев. **Миграция 5×skill-collection-review:** skills.workshop.autonomous.mode → off (все 5 system-owned jobs disabled); созданы 5 новых cron (kind=command, every 7d, enabled): 75a0c919 setup-agent, d916f61c coder-agent, 787eccee evaluator-agent, be5d7cce humanizer-agent, cfbfb4f1 main — каждый запускает adapter enqueue с instruction-file; первый реальный прогон d876fb43 (setup-agent): attempt 1 exit 1 (модель занята, 631с) → автоматический retry 60с → attempt 2 exit 0 (58с); очередь background_automation в production-БД: 3 completed, 0 failed; диспетчер openclaw-dispatcher.service — active. Known gaps: session isolation (fixable --session-key) — закрыт OPT-3 (2026-10-20, одноразовая сессия per job/attempt), tools (full profile), timeout — актуально: CLI 3600s (DISPATCHER_CLI_TIMEOUT_SEC) + watcher 7200s. Откат: disable 5 cron + config patch mode→auto. Канонические документы: RECOVERY.md, MIGRATION-PLAN.md, pgboss SKILL.md (секция Stage 4.4). verified 0.9
kind sourceId path lines note
source-file source.memory MEMORY.md 38 буллет «Очередь длинных задач (pg-boss v12.37.1, внешняя PG 192.168.1.20:5432/openclaw_queue)»: Stage 4.4 (2026-10-17, COMPLETE — миграция выполнена), адаптер/монитор/RECOVERY.md, миграция 5×skill-collection-review (5 новых cron, workshop mode→off), первый реальный прогон d876fb43: retry 60с → exit 0
text status confidence evidence
OPT-3 (2026-10-20, COMPLETE): диспетчер background_automation — одноразовая сессия per job/attempt (openclaw agent --session-key agent:<target_agent>:pgboss-<jobId>-a<attemptNo>; retry = новая сессия — отравленная сессия не переиспользуется) + явный knob DISPATCHER_CLI_TIMEOUT_SEC=3600 (.env.worker; watcher DISPATCHER_AGENT_TIMEOUT_SEC=7200 остаётся верхним уровнем); dist/dispatcher.js 5b3873e8…, openclaw-dispatcher restart 2026-10-20 09:04:08 MSK (PID 3081084, NRestarts=0); worker и systemd-юниты инвариантны; бэкапы skills/pgboss_queue/backups/opt3-20261020/. Known gap «session isolation (main session, fixable --session-key)» из Stage 4.4 — закрыт. Evaluator: PASS WITH LIMITATIONS (косметика). Канонический отчёт: CHANGELOG [INFRA] 2026-10-20 09:26 MSK + pgboss SKILL.md. verified 0.9
kind sourceId path lines note
source-file source.memory MEMORY.md 38 буллет «Очередь длинных задач (pg-boss v12.37.1…)»: **OPT-3 (2026-10-20, COMPLETE)** — --session-key agent:<target_agent>:pgboss-<jobId>-a<attemptNo>, DISPATCHER_CLI_TIMEOUT_SEC=3600 (.env.worker), dist/dispatcher.js 5b3873e8…, restart 2026-10-20 09:04:08 MSK PID 3081084, known gap session isolation закрыт, evaluator PASS WITH LIMITATIONS
kind sourceId path lines note
source-file source.changelog CHANGELOG.md 1 canonical workspace source: CHANGELOG.md, запись [INFRA] 2026-10-20 09:26 MSK pgboss background_automation dispatcher OPT-3 — deploy + audit (PASS WITH LIMITATIONS), delegation/evaluator-маркеры §14.2
0.9 active 2026-10-20T23:01:30.660Z

Pg-Boss Queue & AI Inference Worker

Notes

Summary

Очередь длинных задач (>60с) системы OpenClaw на pg-boss v12.37.1 поверх внешней PostgreSQL 192.168.1.20:5432/openclaw_queue (схема pgboss, version=45) + AI Inference Worker. Skill: skills/pgboss_queue (node dist/index.js; receipts → queue-receipts/). Фиксация параметров: expire=3600, retention=86400, retry=3, delay=60.

AI Inference Worker (Stage-2, 2026-10-10). Очередь llm_inference + резидентный worker node dist/worker.js → Ollama 192.168.1.200:11434, модель qwen3.8-27b-q5xl:latest; single-flight (batchSize:1 + localConcurrency:1) = VRAM-guard. Evaluator Stage-2: 8/8 PASS.

Final state 2026-10-11 (MODERNIZATION Stages 3.1–3.2):

  • DSN-разделение (Stage-3.1): воркер → skills/pgboss_queue/.env.worker (mode 600), CLI → ~/.openclaw/.env — значения masked во всех выводах.
  • Изоляция секретов (Stage-3.1): резидентный воркер остановлен (SIGTERM); .env.worker 600 + .gitignore в skills/pgboss_queue; workspace не git-репозиторий (git check-ignore N/A, exit 128 — зафиксировано); check_task CLI добавлен в skills/pgboss_queue/index.ts (tsc exit 0, self-check NOT_FOUND exit 0).
  • systemd-юнит (Stage-3.2): skills/pgboss_queue/openclaw-worker.service (md5 b9a967294e1bfa0e38fbd63d85a71679): Type=simple, User=owner, WorkingDirectory=/home/owner/.openclaw/workspace/skills/pgboss_queue, ExecStart=/usr/bin/node dist/worker.js, EnvironmentFile=…/.env.worker, Restart=always, RestartSec=10, UMask=0077, StandardOutput/Error=journal, After=docker.service (нативного PostgreSQL-юнита нет; PG = контейнер openclaw-postgres 0.0.0.0:5432, healthy, владелец docker.service); systemd-analyze verify exit 0.
  • Деплой: файл юнита только в workspace — деплой в /etc/systemd/system ждёт sudo-окно оператора (cp + daemon-reload + enable --now); /etc не тронут.
  • Верификация: evaluator Stage-2 8/8, Stage-3.1 8/8, Stage-3.2 5/5 PASS (read-only, без мутаций).
  • Stage 4.1 (2026-10-11, подготовка только): правила диспетчеризации — AGENTS.md §16.2 (R1–R3: запрет прямого инференса из cron; skill-collection-review + wiki-ingest → pg-boss background_automation, priority 10; payload-контракт); имя очереди/типы/payloads зафиксированы в skills/pgboss_queue (код + SKILL.md); очередь в PG не создана, live-миграция таймеров = Stage 4.2+; evaluator 5/5 + re-audit пост-дедуп 5/5 PASS.

Stage 4.4 (2026-10-17, COMPLETE — миграция выполнена). B3-тесты 20/20 PASS (sendThrottled-дедупликация доказана на pg-boss 12.37.1). Адаптер (adapter.ts→dist/adapter.js): cron→pg-boss с sendThrottled-дедупликацией (singletonKey=fire_id, singletonSeconds=86400), file snapshot, append-only ledger, DEDUP_SKIP. Монитор (monitor.ts→dist/monitor.js): детектит stuck/retry/failed/NOT_FOUND. RECOVERY.md — 7 сценариев. Миграция 5×skill-collection-review: skills.workshop.autonomous.mode → off (все 5 system-owned jobs disabled), созданы 5 новых cron (kind=command, every 7d, enabled: 75a0c919 setup-agent, d916f61c coder-agent, 787eccee evaluator-agent, be5d7cce humanizer-agent, cfbfb4f1 main) — каждый запускает adapter enqueue с instruction-file; первый реальный прогон d876fb43 (setup-agent): attempt 1 exit 1 (модель занята, 631с) → автоматический retry 60с → attempt 2 exit 0 (58с); очередь background_automation в production-БД: 3 completed, 0 failed; диспетчер active. Known gaps (после OPT-3, 2026-10-20): session isolation — закрыт (одноразовая сессия per job/attempt); tools (full profile); timeout (CLI 3600s knob DISPATCHER_CLI_TIMEOUT_SEC + watcher 7200s). Откат: disable 5 cron + mode→auto.

OPT-3 (2026-10-20, COMPLETE). Диспетчер background_automation: одноразовая сессия per job/attempt (--session-key agent:<target_agent>:pgboss-<jobId>-a<attemptNo>; каждый retry — новая сессия, отравленная сессия не переиспользуется) + явный knob DISPATCHER_CLI_TIMEOUT_SEC=3600 (.env.worker; watcher DISPATCHER_AGENT_TIMEOUT_SEC=7200 остаётся верхним уровнем). dist/dispatcher.js 5b3873e8…, openclaw-dispatcher restart 2026-10-20 09:04:08 MSK (PID 3081084, NRestarts=0); worker и юниты инвариантны; бэкапы skills/pgboss_queue/backups/opt3-20261020/. Evaluator: PASS WITH LIMITATIONS (косметика). Known gap «session isolation (main session)» из Stage 4.4 закрыт.

Sources