sergio/takana

1#!/usr/bin/env python3
2# build-state.py — el GRAFO DE ESTADO del corpus, en un formato firme y versionado.
3#
4# POR QUÉ EXISTE. El estado real del build (qué está sellado-al-día, qué es deuda de rebuild, qué
5# depende de qué) vivía disperso: en la cabeza del que construía, en docs que envejecen (el de
6# matar-gcc decía 47 y eran 16), en el store (que guarda TODOS los sellados históricos, no sólo el
7# vigente). Cada medición a mano mentía distinto. Este script deriva el estado de la ÚNICA fuente de
8# verdad —las recetas + `hammer hash` + el store— y lo escribe a `docs/state/build-state.json`.
9# Versionado: el `git diff` de ese fichero ES el avance entre dos corridas (qué se saldó, qué se
10# rompió). La vista humana la arma `build-state-view.py` a partir del mismo JSON.
11#
12# NODO = receta: {name, class, link, compiler, deps[], hash, state, perfiles[]}.
13#   state ∈ { sealed | debt | never | unhashable | wanted }
14#     sealed  — el artefacto del hash VIGENTE (el de la receta de hoy) está en el store. Al día.
15#     debt    — hay sellados históricos pero NINGUNO es el vigente ⇒ la receta cambió, falta rebuild.
16#     never   — no hay ningún sellado de esta receta en el store.
17#     unhashable — `hammer hash` falló (receta ilegible / dep rota). Un HUECO real del grafo.
18#     wanted  — NO HAY RECETA: una imagen lo pide (docs/state/targets.toml) y no existe todavía.
19# ARISTA = dep de build (name → dep). El grafo debe CERRAR: toda dep apunta a una receta del corpus.
20#
21# LA FRONTERA (2026-07-22, plan docs/plan-catalogo-objetivo.md). Hasta acá el grafo modelaba sólo lo
22# que EXISTE, y por eso cerraba siempre: "¿cuánto falta?" no tenía respuesta porque el destino no
23# estaba escrito en ningún lado. `targets.toml` lo escribe, y este script lo cruza con el corpus:
24#   · un objetivo sin receta se materializa como nodo `wanted` — está DECLARADO, así que no es una
25#     dep huérfana y el gate `--check` conserva su significado (arista colgando que nadie quiere).
26#     `wanted` ≠ `unhashable`: el primero es "no hay receta todavía", el segundo "hay receta rota".
27#   · cada nodo gana `perfiles[]`: qué imágenes lo alcanzan siguiendo las aristas desde las raíces.
28#     Responde "si rompo zlib, qué imágenes se caen" y —más incómodo— "qué recetas no las necesita
29#     ninguna imagen".
30#   · `by_profile` es el "cuánto falta", POR IMAGEN. Es una COTA INFERIOR mientras haya nodos
31#     `wanted`: no se conocen sus deps hasta construirlos (o hasta sembrarlas, P3 del plan), así que
32#     la clausura de un perfil crece a medida que la frontera se drena. Un número que converge es
33#     mejor que ningún número, pero no es el total final.
34#
35# Uso:   scripts/build-state.py                 # regenera docs/state/build-state.json + resumen
36#        scripts/build-state.py --check         # exit 1 si hay unhashable o deps huérfanas (gate CI)
37# Env:   HAMMER (def target/release/hammer), STORE (def ./store).
38import json, os, subprocess, sys, glob, tomllib
39from pathlib import Path
40
41sys.path.insert(0, str(Path(__file__).resolve().parent))
42import targets as targets_mod
43import yupana  # la YUPANA: el motor de dependencias INVERSAS que cruza TODAS las colas (ver su cabecera)
44
45ROOT = Path(__file__).resolve().parent.parent
46os.chdir(ROOT)
47HAMMER = os.environ.get("HAMMER", str(ROOT / "target/release/hammer"))
48STORE = os.environ.get("STORE", str(ROOT / "store"))
49CHECK = "--check" in sys.argv
50# `--kde`: además del corpus canónico, cubre la cola `recipes/incoming-kde/` (206 recetas del
51# escritorio KDE Plasma). Las KDE SOMBREAN a las canónicas homónimas (`fontconfig` vs KDE, `dbus`…)
52# igual que hace el sandbox al resolver deps (sibling-first), así el grafo modela lo que un build KDE
53# ve. Sale a un JSON aparte para no mezclar los totales del corpus enviable con el frente en curso.
54KDE = "--kde" in sys.argv
55# `--gnome`: idéntico a `--kde` pero para la cola `recipes/incoming-gnome/` (frente GNOME Wayland).
56# Enciende la CAPA GRAFO del yupana-gnome: sin esto el perfil escritorio-gnome se saltaba (cola no
57# cargada) y `yupana keystones/drenar --perfil escritorio-gnome` no reckonaban. Sale a su JSON aparte.
58GNOME = "--gnome" in sys.argv
59# `--cosmic`: lo mismo para `recipes/incoming-cosmic/` (COSMIC de System76, 4º escritorio). Sin esto
60# la campaña entera es INVISIBLE para el khipu: el latido regenera build-state{,-kde,-gnome}.json cada
61# media hora y COSMIC no aparecería en ninguno, así que el avance no quedaría en el registro versionado
62# que es `git log docs/state/`. Y —lo que importa más— `yupana radio` sobre una receta compartida
63# (libinput, libxkbcommon, libudev-zero…) no reportaría la imagen COSMIC entre las afectadas, o sea que
64# el próximo que la toque MEDIRÍA DE MENOS.
65COSMIC = "--cosmic" in sys.argv
66# `--wlr`: la cola `recipes/incoming-wlr/` — wlroots y los WMs Wayland LIGEROS (sway y sus
67# accesorios, fuzzel, yambar, wl-clipboard). Es un frente de otra naturaleza que los tres de arriba:
68# no es un escritorio completo con su torre de C, sino una decena de binarios pequeños sobre wlroots.
69# Va con su flag propio por la misma razón que COSMIC: sin esto el frente es INVISIBLE para el
70# khipu, y `yupana radio` sobre una receta compartida (wayland, libinput, pixman, mesa,
71# libxkbcommon…) no reportaría la imagen sway entre las afectadas — o sea que el próximo que toque
72# una de esas MEDIRÍA DE MENOS y creería que no rompe nada.
73WLR = "--wlr" in sys.argv
74EXTRA_QUEUES = (["recipes/incoming-kde"] if KDE else []) + (["recipes/incoming-gnome"] if GNOME else []) \
75             + (["recipes/incoming-cosmic"] if COSMIC else []) + (["recipes/incoming-wlr"] if WLR else [])
76_var = "-kde" if KDE else "-gnome" if GNOME else "-cosmic" if COSMIC else "-wlr" if WLR else ""
77OUT = ROOT / f"docs/state/build-state{_var}.json"
78
79# Clase de la receta — sólo para colorear/agrupar la vista; heurística por contenido, no dato duro.
80GUI_RE = ("cairo", "pango", "gtk", "harfbuzz", "glib", "gdk-pixbuf", "libadwaita", "gtksourceview",
81          "fribidi", "graphene", "fontconfig", "adwaita", "fcft", "mirada", "appstream", "gnome",
82          "wayland", "libdrm", "mesa", "seatd", "libepoxy", "libxkbcommon", "libinput", "pixman",
83          "sourceview", "tllist", "foot")
84
85def classify(name, d):
86    ph = d.get("build", {}).get("phases", {})
87    blob = " ".join(str(ph.get(k, "")) for k in ("configure", "compile", "install"))
88    deps = d.get("deps", {}).get("build", [])
89    if name.startswith("linux"):
90        return "kernel"
91    # Go: declara el toolchain `go` como dep de build (la vía Go auto lo exige). 362 recetas.
92    if "go" in deps and name != "go":
93        return "go"
94    # Rust: fase cargo, dep rust, o —la señal fuerte— copia el binario de `target/release/` en sus
95    # fases (todo binario cargo sale de ahí). Medido: 225 recetas lo tienen, 0 con dep `go` ⇒ sin
96    # falsos positivos con Go. LÍMITE conocido: un crate BuildSys::Cargo PURO (Cargo.toml en el árbol,
97    # sin fase install propia — p.ej. zellij) no deja rastro en el TOML y cae a "c"; sólo se distingue
98    # bajando la fuente, que este generador no hace a propósito.
99    if "cargo" in blob or "cargo" in deps or "rust" in deps or "target/release" in blob:
100        return "rust"
101    if any(g in name for g in GUI_RE):
102        return "gui"
103    return "c"
104
105def load_recipes():
106    recs = {}
107    # Orden importa: primero el corpus (queue=corpus), luego las colas extra que SOMBREAN por nombre
108    # (queue=el basename de la cola), replicando el sibling-first del sandbox.
109    for root, queue in [("recipes", "corpus")] + [(q, os.path.basename(q)) for q in EXTRA_QUEUES]:
110        for f in sorted(glob.glob(f"{root}/*.toml")):
111            n = os.path.basename(f)[:-5]
112            try:
113                d = tomllib.load(open(f, "rb"))
114            except Exception as e:
115                recs[n] = dict(path=f, parse_error=str(e), queue=queue)
116                continue
117            b = d.get("build", {})
118            recs[n] = dict(
119                path=f,
120                # el artefacto se sella por el `name` INTERNO, que puede diferir del basename del
121                # fichero (qtbase.toml → name="qt6-qtbase"). El store lookup usa iname; las aristas de
122                # deps siguen usando el basename (así resuelve `resolve_dep_path`).
123                iname=d.get("name") or n,
124                version=d.get("version"),
125                link=b.get("link"),
126                compiler=b.get("compiler"),
127                deps=d.get("deps", {}).get("build", []),
128                cls=classify(n, d),
129                queue=queue,
130            )
131    return recs
132
133def vigente_hash(path):
134    try:
135        out = subprocess.run([HAMMER, "--store", STORE, "hash", path],
136                             capture_output=True, text=True, timeout=60)
137        h = out.stdout.strip()
138        return h if h.startswith("b3:") else None
139    except Exception:
140        return None
141
142def state_of(iname, h):
143    if h is None:
144        return "unhashable"
145    if os.path.isdir(os.path.join(STORE, f"{h[3:]}-{iname}")):
146        return "sealed"
147    # ¿hay algún sellado histórico? distingue "cambió" de "nunca construida".
148    if glob.glob(os.path.join(STORE, f"*-{iname}")):
149        return "debt"
150    return "never"
151
152def toposort(nodes):
153    # Kahn sobre las aristas name→dep (sólo deps dentro del corpus). Devuelve orden o None si hay ciclo.
154    indeg = {n: 0 for n in nodes}
155    adj = {n: [] for n in nodes}
156    for n, r in nodes.items():
157        for dep in r.get("deps", []):
158            if dep in nodes:
159                adj[dep].append(n); indeg[n] += 1
160    q = sorted([n for n, d in indeg.items() if d == 0])
161    order = []
162    while q:
163        n = q.pop(0); order.append(n)
164        for m in sorted(adj[n]):
165            indeg[m] -= 1
166            if indeg[m] == 0: q.append(m)
167    return order if len(order) == len(nodes) else None
168
169def cargar_perfiles(colas_activas):
170    """Perfiles del manifiesto cuyas raíces viven en una cola CARGADA (así un perfil de
171    `incoming-kde` no reporta raíces fantasma en la corrida del corpus). Degrada sin romper: si el
172    manifiesto falta o está mal, el grafo sale como siempre — este script lo corre el cron cada 30m
173    y no puede caerse por un TOML."""
174    try:
175        todos = targets_mod.load()
176    except FileNotFoundError:
177        print("   (sin docs/state/targets.toml — grafo sin perfiles)", file=sys.stderr)
178        return {}
179    except Exception as e:
180        print(f"   ⚠ targets.toml inválido ({e}) — grafo sin perfiles", file=sys.stderr)
181        return {}
182    return {n: p for n, p in todos.items() if p["cola"] in colas_activas}
183
184
185def clausura(raices, recs):
186    """Nodos alcanzables desde `raices` siguiendo las aristas name→dep. Un nodo `wanted` CORTA la
187    exploración (no se conocen sus deps hasta construirlo): de ahí que la clausura sea cota inferior."""
188    vistos, pila = set(), list(raices)
189    while pila:
190        n = pila.pop()
191        if n in vistos or n not in recs:
192            continue
193        vistos.add(n)
194        pila.extend(recs[n].get("deps") or [])
195    return vistos
196
197
198def main():
199    from collections import Counter
200    recs = load_recipes()
201
202    # OBJETIVO → FRONTERA. Toda raíz de un perfil sin receta entra como nodo `wanted`. Se hace ANTES
203    # de buscar huérfanas a propósito: un objetivo declarado no es una arista colgando.
204    colas = {"corpus"} | {os.path.basename(q) for q in EXTRA_QUEUES}
205    perfiles = cargar_perfiles(colas)
206    for pn, p in sorted(perfiles.items()):
207        for raiz in p["raices"]:
208            if raiz not in recs:
209                recs[raiz] = dict(path=None, wanted=True, iname=raiz, version=None, link=None,
210                                  compiler=None, deps=[], cls="wanted", queue=p["cola"])
211
212    orphans = set()
213    for n, r in recs.items():
214        for dep in r.get("deps", []):
215            if dep not in recs:
216                orphans.add(dep)
217
218    n_recetas = sum(1 for r in recs.values() if not r.get("wanted"))
219    print(f"== {n_recetas} recetas; computando hash vigente (~{n_recetas*18//1000}s)…", file=sys.stderr)
220    for n, r in recs.items():
221        # `wanted` no tiene fichero que hashear: es el objetivo, no una receta.
222        if r.get("wanted"):
223            r["hash"] = None; r["state"] = "wanted"; continue
224        if "parse_error" in r:
225            r["hash"] = None; r["state"] = "unhashable"; continue
226        h = vigente_hash(r["path"])
227        r["hash"] = h
228        r["state"] = state_of(r.get("iname", n), h)
229
230    order = toposort(recs)
231
232    # Lectura ACCIONABLE del grafo topológico: para cada receta, qué deps la BLOQUEAN (están en
233    # deuda) y a cuántas otras en deuda DESBLOQUEA (la tienen como dep). Una receta en deuda sin
234    # bloqueadores es construible YA; ordenar las listas por `unblocks` da el orden que libera más.
235    # `wanted` cuenta como bloqueante: una imagen que depende de algo sin receta está trabada igual.
236    DEBT_STATES = ("debt", "never", "unhashable", "wanted")
237    for n, r in recs.items():
238        r["blocked_by"] = [d for d in r.get("deps", [])
239                           if d in recs and recs[d]["state"] in DEBT_STATES]
240    for n, r in recs.items():
241        # cuántas recetas EN DEUDA me declaran como dep directa (mi impacto de desbloqueo).
242        r["unblocks"] = sum(1 for m, rm in recs.items()
243                            if rm["state"] in DEBT_STATES and n in rm.get("deps", []))
244
245    # MEMBRESÍA DE PERFIL y DEPENDIENTES INVERSOS: los dos se calculan sobre el GRAFO ENTERO (todas
246    # las colas del disco), NO sobre los nodos que esta vista cargó. Es la corrección del bug de
247    # libdrm: en la corrida del corpus, `perfiles` llegaba a decir `['escritorio-mirada']` sobre un
248    # paquete que sostiene KDE entero, porque no veía las recetas de incoming-kde. yupana las ve
249    # siempre y resuelve sibling-first ⇒ el nodo se identifica por (cola, nombre). Ver yupana.py.
250    todas = yupana.cargar_colas()
251    memb = yupana.membresia(todas, cargar_perfiles({q for q in todas}))  # TODOS los perfiles, no sólo los de esta vista
252    rev = yupana.dependientes(todas)
253    for n, r in recs.items():
254        clave = (r.get("queue", "corpus"), n)
255        r["perfiles"] = sorted(memb.get(clave, ()))
256        # Dependientes inversos DEL GRAFO ENTERO: cuántas recetas (de cualquier cola) me consumen. Es
257        # el radio real de un re-hash. `unblocks` (abajo) es local a la deuda de esta vista; este no.
258        r["dependientes_total"] = len(rev.get(clave, ()))
259    sin_perfil = sum(1 for r in recs.values() if not r["perfiles"])
260
261    # `by_profile` (el "cuánto falta" por imagen) SÍ es local: sólo cuenta estados de nodos que esta
262    # vista cargó ⇒ se limita a los perfiles cuya cola está cargada (los demás darían conteos falsos).
263    by_profile = {}
264    for pn, p in sorted(perfiles.items()):
265        miembros = [n for n, r in recs.items() if pn in r["perfiles"]]
266        by_profile[pn] = dict(raices=len(p["raices"]), clausura=len(miembros),
267                              **Counter(recs[n]["state"] for n in miembros))
268
269    by_state = Counter(r["state"] for r in recs.values())
270    by_cls = Counter(r["cls"] for r in recs.values() if "cls" in r)
271    # deuda por clase: dónde están los huecos.
272    debt_by_cls = Counter(r["cls"] for r in recs.values()
273                          if r.get("state") in ("debt", "never") and "cls" in r)
274
275    # Reparto por cola (corpus vs incoming-kde…): dónde está cada cosa.
276    by_queue = {}
277    for r in recs.values():
278        q = r.get("queue", "corpus")
279        by_queue.setdefault(q, Counter())[r["state"]] += 1
280
281    doc = dict(
282        schema="hammer-build-state/1",
283        # `recipes` sigue contando SÓLO las que tienen fichero (los consumidores lo leen como el
284        # tamaño del corpus); `nodes` incluye la frontera `wanted`.
285        totals=dict(recipes=n_recetas, nodes=len(recs), **by_state),
286        by_class={k: by_cls[k] for k in sorted(by_cls)},
287        debt_by_class={k: debt_by_cls[k] for k in sorted(debt_by_cls)},
288        by_queue={q: dict(c) for q, c in sorted(by_queue.items())},
289        by_profile=by_profile,
290        sin_perfil=sin_perfil,
291        orphan_deps=sorted(orphans),
292        topo_ok=order is not None,
293        nodes={n: {k: v for k, v in r.items() if k not in ("path", "wanted")}
294               for n, r in sorted(recs.items())},
295    )
296    OUT.parent.mkdir(parents=True, exist_ok=True)
297    OUT.write_text(json.dumps(doc, indent=1, sort_keys=False) + "\n")
298
299    # Resumen humano a stdout.
300    print(f"\n== estado del corpus ({n_recetas} recetas) → {OUT.relative_to(ROOT)}")
301    for s in ("sealed", "debt", "never", "unhashable", "wanted"):
302        if by_state.get(s):
303            print(f"   {s:11} {by_state[s]}")
304    if debt_by_cls:
305        print("   deuda por clase:", "  ".join(f"{k}={v}" for k, v in sorted(debt_by_cls.items())))
306    if len(by_queue) > 1:
307        for q, c in sorted(by_queue.items()):
308            print(f"   cola {q:14} sellado={c.get('sealed',0):3} deuda={c.get('debt',0):3} "
309                  f"nunca={c.get('never',0):2}")
310    if by_profile:
311        print("\n== objetivo por imagen (docs/state/targets.toml) — clausura = COTA INFERIOR")
312        for pn, c in by_profile.items():
313            falta = c.get("debt", 0) + c.get("never", 0) + c.get("unhashable", 0) + c.get("wanted", 0)
314            print(f"   {pn:20} {c.get('sealed',0):3}/{c['clausura']:3} listo   falta {falta:3}"
315                  f"  (raíces {c['raices']}"
316                  + (f", sin receta {c['wanted']}" if c.get("wanted") else "") + ")")
317        print(f"   {sin_perfil} recetas no las alcanza ninguna imagen (catálogo, no distro)")
318    print(f"\n   grafo: {'CIERRA' if not orphans else f'{len(orphans)} deps huérfanas'} | "
319          f"topo-sort: {'OK' if order else 'CICLO'}")
320    if orphans:
321        print("   huérfanas:", " ".join(sorted(orphans)))
322
323    # `wanted` NO es fallo: es trabajo declarado y pendiente. El gate sigue midiendo lo mismo que
324    # antes — aristas colgando, recetas rotas, ciclos.
325    if CHECK and (orphans or by_state.get("unhashable") or not order):
326        sys.exit(1)
327
328if __name__ == "__main__":
329    main()