1# SDD 10 — Roadmap
2
3## Estrategia: validar la capa AI-nativa sobre Alpine antes de la distro propia
4
5La innovación de `hammer` no es la distro — es el substrato AI-nativo (build determinista +
6mutable + diario + `.swm`). Construir bootstrap + init + userland de cero antes de validar esa
7capa sería arriesgar meses contra una hipótesis no probada. Por eso:
8
9> **Fase 0–6:** montamos `hammer` **sobre Alpine** (musl + busybox + FHS mutable, ya cocidos).
10> Validamos el bucle completo en semanas.
11> **Track posterior:** una vez probado, bajamos a distro propia (init propio, bootstrap propio,
12> userland propio) reusando todo el tooling sin retrabajo.
13
14Ver [ADR 0002](adr/0002-alpine-first.md).
15
16---
17
18## Fases (sobre Alpine)
19
20### Fase 0 — Laboratorio de build  ✅
21- [x] `hammer-core`: tipos `Recipe`, `ArtifactHash`, `Store` (BLAKE3, layout `/store`).
22- [x] `hammer-build`: sandbox con `bubblewrap` + `zig cc` → binario musl estático.
23- [x] CAS: hashing de entrada, caché por hash, sellado en el store.
24- [x] `hammer build <recipe.toml>` → imprime el hash del artefacto.
25- [x] Fuente git **y** tarball (sha256 fijado), patches opcionales.
26- [x] Heurística de build system: autotools / cmake / meson / make plano.
27- [x] Caché persistente de zig entre builds (~30s/build ahorrados).
28
29### Fase 1 — Hidratación ✅
30- [x] `hydrate(hash, target, mode)`: hardlink a FHS, `patchelf` para el caso dinámico.
31- [x] `hammer hydrate <hash> --into /`.
32
33### 🎯 Primer entregable (Fase 0 + 1) ✅
34**GNU grep 3.12 compilado estático desde el tarball upstream, sellado en el store
35(`b3:b81e893e…`), hidratado por hardlink a `/usr/bin/grep` y ejecutado dentro del rootfs
36Alpine vía `bwrap`** — confirma el corazón "fábrica funcional → FHS mutable" sobre el
37substrato Alpine. La VM/LXC dedicada queda como ejercicio de empaque, no como
38pre-requisito de validación.
39
40### Fase 2 — Overlay de experimentación  ✅
41- [x] Crate `hammer-overlay`: `try` / `commit` / `discard` / `status` sobre `overlayfs`.
42- [x] Manifiesto persistente en `<state_root>/<id>/state.json`; `status` enumera.
43- [x] `commit` promociona archivos y procesa whiteouts (char dev 0/0) como remove.
44- [x] Subcomandos del CLI: `hammer try [targets…]`, `commit <id>`, `discard <id>`, `status`.
45- [x] Tests E2E con bwrap+user-ns, gateados en `HAMMER_OVERLAY_TESTS=1` (kernel-dependiente).
46- [x] Hook al diario en `commit` (Fase 3 lo añadió vía `commit_with_journal`).
47- [x] Anidación real de overlays. Un `try` sobre un target ya cubierto apila un overlay nuevo
48      (el kernel usa el merged view inferior como `lowerdir`). Orden de apilamiento total y
49      determinista vía `stack_key` (`created_at` + `id`, con `seq` por proceso en `fresh_id`
50      para evitar colisiones en ráfaga). `commit`/`discard` exigen **LIFO**: `blocking_overlays`
51      detecta capas más jóvenes que solapan targets (igualdad o ancestro de path) y la operación
52      falla con `Error::Shadowed` si las hay. Guard cubierto por 6 unit tests; el stack real
53      (capa 2 ve la 1, LIFO rechaza commit de abajo, commit arriba→abajo fusiona) por
54      `overlay_nested_stack_inside_userns`, gated en `HAMMER_OVERLAY_TESTS`. Pendiente menor:
55      unicidad de orden entre procesos concurrentes (track posterior).
56
57### Fase 3 — Diario de mutaciones  ✅
58- [x] Crate `hammer-journal`: `MutationEvent`, `Source` (HammerHydrate/HammerCommit/External),
59      append/read/tail/follow JSON-líneas. RFC 3339 sin chrono.
60- [x] `hammerd` con `fanotify` (FAN_CLOSE_WRITE) sobre `/bin`,`/sbin`,`/usr/bin`,`/usr/sbin`,
61      `/lib`,`/usr/lib`,`/etc`. Filtra eventos bajo overlays activos. Fallback graceful sin
62      CAP_SYS_ADMIN.
63- [x] `hammer journal [--tail N] [--follow] [--format pretty|json]`.
64- [x] `hammer commit` registra cada archivo promocionado vía `commit_with_journal`.
65- [x] Refinar la `op` del watcher. `watcher::classify_op(&journal, path, deleted)` deriva
66      `Delete` (el fd resuelve a `" (deleted)"`, que ahora recortamos del path en vez de
67      colarlo al diario), `Edit` (el diario ya tenía un evento previo no-`Delete` del path) o
68      `Create` (primera mutación observada, o resurrección tras un `Delete`). Es la divergencia
69      que el diario atestigua, no la verdad absoluta del FS. La atribución plena vía
70      `FAN_REPORT_DFID_NAME` (nombre en eventos de directorio, `rename`-sobre-destino,
71      `open_by_handle_at`+`CAP_DAC_READ_SEARCH`) queda para el track posterior: `nix` 0.30 no
72      parsea los info-records de FID y el modo FID perdería el fd que hoy hashea el contenido.
73- [x] Hash del contenido tras la mutación (`content_hash`) y de-dup idempotente.
74      `hammer_journal::content_hash_of`/`hash_file` (blake3 plano, estilo `b3sum`, distinto del
75      `of_inputs` de artefactos). `Journal::record_dedup` omite el evento si deja el archivo
76      idéntico al último de ese path (o un `Delete` sobre algo ya borrado); `last_for_path` lo
77      resuelve. El watcher hashea cada `CLOSE_WRITE` y usa `record_dedup`: una reescritura sin
78      cambios ni ensucia el diario ni despierta el bus.
79
80### Fase 4 — Formato y flujo `.swm`  ✅
81- [x] `Swm` de/serialización YAML estable (roundtrip).
82- [x] `verify_schema` (estructura + invariantes por mutación) y `verify_base` (distro_version
83      + pins) con `BaseRef` / `BaseCompat`.
84- [x] `apply_config_edit` (hunks `-/+` con búsqueda exacta, no-fuzz) y `apply_file_drop`
85      (base64 inline + verificación BLAKE3 vs `content_hash`).
86- [x] Bridge `Mutation::SourcePatch` → `Recipe` + `build` + hidratación.
87- [x] CLI: `hammer apply [--prefix DIR] [--base-ref base.json]`,
88      `hammer swm-verify`, `hammer export --journal DIR > out.swm`.
89- [x] `patch_url` / `content_url` remotos. `hammer_build::download` (curl, sólo fuera del
90      sandbox; acepta `file://` para tests offline). `build_source_patch` descarga `patch_url`
91      al `swm-recipes/<commit>.patch` antes de compilar; `hammer apply` descarga `content_url`
92      y **verifica BLAKE3 antes de escribir** (hash erróneo ⇒ nada tocado). Su integridad la
93      cubre `content_hash` (file_drop) y el build reproducible + `expected_hash` (patch).
94- [x] Provenance en `export`: mapa artefacto→receta vía sidecar `.hammer/recipe.toml` que
95      `hammer-build::build` escribe dentro del artefacto antes de sellar. `hammer export`
96      agrupa eventos por `artifact_hash` y emite UN `source_patch` por grupo cuya receta
97      sea recuperable; lo demás cae al fallback `file_drop`. Source `git` modelado;
98      `tarball` cae a file_drop con warning (pendiente extender SourcePatch).
99- [x] Firma `signature` (ed25519) y `TrustStore` local. `hammer_core::sign`: `KeyPair`
100      (genera/carga/escribe claves), `TrustStore::load(dir)` (lee `*.ed25519.pub`),
101      `Swm::verify_signature(&trust) → SigStatus` (`trusted`/`unknown-key`/`bad-sig`/
102      `unsigned`) sobre bytes canónicos JSON del manifiesto sin la firma. CLI:
103      `hammer keygen`, `hammer swm-sign`, y `hammer swm-verify --trust DIR`. La firma reporta
104      autoría/integridad; NO autoriza promover (sigue mandando reproducir + commit). SDD 09 §3,§5.
105- **Hecho cuando:** exportas un cambio, lo aplicas en otra máquina y reproduce idéntico.
106      ✅ Demostrado en `crates/hammer-cli/tests/swm_roundtrip.rs` para
107      `config_edit` + `file_drop`. `source_patch` reusa el camino de Fase 0/1 (gated en
108      `HAMMER_NETWORK_TESTS`).
109
110### Fase 5 — Bus de agente  ✅ *(queda `CRASHED` real, diferido al track posterior)*
111- [x] `/run/init.control` (FIFO humano): `mkfifo`, reader que loguea cada línea, y
112      `hammer ctl <line>` que escribe al FIFO con error claro si no existe.
113- [x] `/run/agent.sock` (JSON-líneas) con handshake `Hello/Welcome`, auth via
114      `SO_PEERCRED` y `CapsPolicy` por UID.
115- [x] Comandos `Compile`/`Inject`/`Query`/`Init`; eventos
116      `Welcome`/`BuildReady`/`BuildFailed`/`Injected`/`QueryResult`/`InitAck`/
117      `Modified`/`Crashed`/`Error`.
118- [x] EventBus in-process: el watcher publica `Modified` y todas las conexiones lo reciben.
119- [x] Subsistemas independientes en `hammerd::main` (FIFO/watcher/bus en threads); si uno
120      falla en init, los demás siguen.
121- [x] Política expresiva leída de `/etc/hammer/agent-caps.toml` (`hammerd --agent-caps`).
122      `hammer_core::AgentCapsConfig`: `default` + `[[rule]]` por `uid`/`gid` (primera que casa
123      gana), `caps_for(uid,gid)`. `bus::policy_from_config` la enchufa; sin fichero o con
124      fichero inválido, cae a la política por-UID por defecto (avisando). Ejemplo en
125      `examples/agent-caps.toml`. El `default_policy` hardcoded queda como fallback.
126- [ ] `CRASHED` real (requiere supervisión de servicios, que llega con el init propio del
127      track posterior).
128- [x] `BuildFailed.log_tail` con cola real del lab. `Sandbox::run` hace *tee* de
129      stdout/stderr (sigue viéndose en vivo) y retiene las últimas 50 líneas; al fallar una
130      fase devuelve `BuildFailure { reason, log_tail }` envuelto en `Error::Other`. El bus lo
131      recupera por `BuildFailure::from_error` (downcast) y separa `reason` del log textual del
132      compilador, para que la IA reaccione al error real, no sólo al mensaje de Rust.
133- **Hecho cuando:** un cliente externo dispara un build y recibe el evento de fin por el
134  socket. ✅ Camino implementado (`Compile` → `BuildReady`/`BuildFailed`) y la maquinaria
135  alrededor cubierta por `crates/hammerd/tests/bus_e2e.rs`: handshake con peer creds,
136  gating `no_cap`, `Query`, `Modified` fan-out, `Init`→FIFO. Un `Compile` real reusa el
137  camino de Fase 0/1 (gated en `HAMMER_NETWORK_TESTS`).
138
139### Fase 6 — Integración de la IA  ✅
140- [x] Crate `hammer-agent` con tres piezas:
141      - `AgentClient`: cliente síncrono del bus (handshake, `compile`/`inject`/`query`/`init`
142        bloqueantes, drenado de eventos asíncronos).
143      - `IntentTranslator` (trait) + `MockTranslator` cargado desde un `IntentCatalog` YAML
144        (intent → `.swm` pre-armado). La integración con un LLM real se enchufa detrás del
145        mismo trait sin tocar el bucle.
146      - `Orchestrator` con `run(intent) → Proposal`: plan → schema → base → try (overlay
147        o prefix) → apply (mutaciones puras + source_patch vía bus opcional) → verify →
148        propose.
149- [x] CLI: `hammer ai <intent> --catalog F [--prefix DIR --base-ref F --bus SOCK]`.
150- [x] Tipos del protocolo del bus movidos a `hammer-core::proto` para que `hammerd` y
151      `hammer-agent` los compartan.
152- [x] Tests:
153      - 10 unit en `hammer-agent` (translator + catalog + orchestrator).
154      - 3 e2e del bucle agéntico (prefix tmp → archivos esperados en disco).
155      - 1 e2e del cliente contra un *stub* del bus (handshake + Compile→BuildReady + Modified
156        asíncrono).
157- [x] Traductor LLM real (Claude API u otro), opcional vía feature flag o crate aparte.
158      `ClaudeTranslator` detrás de la feature `llm-claude`, con `ureq + rustls`. Modelo
159      por defecto `claude-opus-4-8`, adaptive thinking + `effort=high`. Trait `HttpClient`
160      inyectable para tests sin red. CLI: `hammer ai --llm` (mutuamente excluyente con
161      `--catalog`). Sin la feature, el flag falla con mensaje claro.
162- [x] Lenguaje de consulta del sistema (SDD 08 §6) para que la IA refiera servicios y
163      archivos sin rutas frágiles. Forma `kind:value` (`bin`, `file`, `pin`, `service`,
164      `depends`), evaluable local (`hammer query <expr>`) y remoto vía bus
165      (`Command::Query{what:"expr"}`). Parser ELF64 mínimo para extraer `DT_NEEDED`.
166- [x] Bucle de auto-reparación (cliente reacciona a `Crashed` con un nuevo plan).
167      `Orchestrator::run_with_repair(intent, &RepairPolicy)` drena async events del bus
168      tras cada apply; si llega `Crashed`, formatea una nueva intención y reentra hasta
169      `max_attempts`. El `Proposal` final lleva el `repair_chain` completo para que el
170      humano vea la evolución antes de hacer commit. CLI: `hammer ai --repair-max-attempts`.
171- **Hecho cuando:** una intención en lenguaje natural produce un cambio probado en overlay,
172  presentado para `commit` humano. ✅ Demostrado por `hammer ai` con `MockTranslator`:
173  intent → `.swm` → mutaciones aplicadas → `Proposal` con `overlay_id` + checks. El humano
174  decide `commit`/`discard`. El upgrade a LLM real reusa todo el bucle.
175
176---
177
178## Track posterior — distro propia
179
180Diseño completo en [SDD 11 — Bootstrap from-scratch](11-bootstrap.md). Resumen:
181
182- **Bootstrap from-scratch** en tres etapas ([SDD 11 §3](11-bootstrap.md)):
183  - **Stage 0** ✅ — crate `hammer-bootstrap` + `hammer bootstrap stage0`: ingiere el toolchain
184    semilla pinned (`SeedSpec`, hash por identidad), verifica sha256 antes de sellar,
185    idempotente. Cubierto por 4 unit + 1 e2e de CLI (offline, `file://`).
186  - **Stage 1** ✅ — userland mínimo, **booteado end-to-end en QEMU**. Recetas pinned `musl` 1.2.5 +
187    `busybox` 1.36.1 (estáticas, zig cc) + `hammerd` + `arje-zero` (recetas Cargo: repo pinned +
188    deps vendoreadas en el fetch, build nativo crt-static vía `cargo rustc`); `hammer bootstrap
189    stage1` los construye con la semilla, ensambla el rootfs FHS y lo sella. El init es **arje-zero
190    como PID 1** (`/sbin/init`→arje-zero) con su seed card `/ente/seed.card.json`; al bootear,
191    arje-zero carga+valida la seed y **supervisa hammerd + getty** (el `agent.sock` y el watcher
192    fanotify de hammerd levantan). El **`CRASHED` real está demostrado**: `kill hammerd` → arje lo
193    detecta (`Killed(SIGTERM)`), programa restart con backoff y lo re-encarna — la supervisión del
194    init propio que la Fase 5 difirió ([ADR 0007](adr/0007-arje-como-init-propio.md)). Diseño en
195    [SDD 12](12-init-real.md); corrida y fixes en el [runbook](runbooks/stage1-vm-boot.md). Pendiente:
196    bus único (B.2: exponer el `CRASHED` a la capa de IA) y atestación (A1/A2).
197  - **Stage 2** ☐ — rebuild nativo dentro del rootfs y diff de hashes ⇒ auto-alojamiento
198    bit-reproducible.
199- Reemplazar el init de Alpine por **tu init** (bus por pipes nativo) — habilita el `CRASHED`
200  real que la Fase 5 dejó diferido. **Decisión: adoptar `arje`** (init from-scratch ya existente
201  en el monorepo `tawasuyu`, con PID 1 + supervisión real) en lugar de escribir uno nuevo —
202  ver [ADR 0007](adr/0007-arje-como-init-propio.md). Trae bus único, CAS BLAKE3 compartido y
203  confianza en capas (procedencia hammer + atestación arje).
204- Userland propio (busybox/toybox a elección), `/etc/service/*` propios.
205- Decidir particionado/montaje de `/store` y `/var/lib/hammer`.
206- Log de transparencia para compartir en comunidad ([SDD 09](09-trust-model.md) §4): el
207  `bootstrap.json` de [SDD 11 §4](11-bootstrap.md) es su embrión.
208- Mini-lenguaje de consulta del sistema para la IA ([SDD 08](08-ai-integration.md) §6).
209
210---
211
212## Estado actual
213- ✅ **Fases 0–6 cerradas** sobre Alpine: build determinista → hidratación → overlay
214  (con anidación LIFO) → diario (con `op` Create/Edit/Delete) → `.swm` firmado → bus de
215  agente → bucle agéntico con IA (mock + Claude real tras `llm-claude`).
216- ✅ El bucle completo está validado: una intención en lenguaje natural produce un cambio
217  probado en overlay, presentado para `commit` humano.
218- ✅ 214 tests verdes en el workspace (1 e2e de overlayfs gated en `HAMMER_OVERLAY_TESTS`;
219  los de red en `HAMMER_NETWORK_TESTS`).
220- ⏳ Único ítem de las fases diferido: `CRASHED` real (necesita supervisión de servicios →
221  init propio del track posterior).
222- ⏭️ **Siguiente: arrancar el track posterior** (distro propia). Primer paso natural sin
223  bloquear nada: el bootstrap from-scratch Stage 0/1 con `zig`/`musl-cross-make`.
224
225## Notas de entorno
226- Desarrollo principal: laptop del autor.
227- Host actual: Proxmox (`gioser.net`). La VM/LXC Alpine de pruebas vivirá aquí o en la laptop.
228- Repo: `https://gitea.gioser.net/sergio/hammer`.