sergio/takana

1#!/usr/bin/env python3
2# hydrate-profile.py — proyecta al FHS el cierre ENTERO de un perfil de `targets.toml`.
3#
4# ══ POR QUÉ EXISTE, SI YA HAY UN hydrate POR ESCRITORIO ════════════════════════════════════════
5# `scripts/{kde,gnome,cosmic}/hydrate-*.sh` traen la lista de raíces ESCRITA A MANO dentro del
6# propio script. Desde que `docs/state/targets.toml` es la declaración de qué lleva cada imagen,
7# eso son DOS fuentes de verdad para lo mismo, y divergen sin que nada lo diga: el 2026-09-04 se
8# añadió `adwaita-cursors` a las raíces de cosmic y sway, y los scripts de hidratación —que no la
9# conocen— habrían seguido armando un rootfs sin cursores mientras el perfil decía que los lleva.
10# La métrica y la imagen dirían cosas distintas, que es exactamente el modo de fallo que
11# `vigia-imagen.py` existe para cazar.
12#
13# Acá el cierre sale de donde tiene que salir: `yupana.membresia()` sobre `targets.toml`, la misma
14# función que usan `build-state.py` y `vigia-imagen.py`. Si el perfil cambia, esto cambia solo.
15#
16# ══ EL ARTEFACTO SE ELIGE POR HASH, NO POR FECHA ═══════════════════════════════════════════════
17# `takana hash <receta>` da el ArtifactHash de la receta de HOY sin construir. Con dos artefactos
18# del mismo paquete conviviendo en el store —lo normal tras cualquier re-hash— el más reciente
19# puede ser el viejo. La fecha miente; el hash no.
20#
21# ══ UN NODO SIN ARTEFACTO NO SE SALTEA EN SILENCIO ═════════════════════════════════════════════
22# Se listan todos y se sale con código ≠ 0 salvo `--allow-missing`. Un rootfs al que le faltan
23# tres paquetes arranca y falla tres capas más abajo (`CLAUDE.md` regla 3, y la cicatriz de sway
24# llegando a 121/121 sin emulador de terminal).
25#
26#   uso:  scripts/hydrate-profile.py <perfil> [--into DIR] [--store DIR]
27#                                    [--link static|dynamic] [--keep] [--allow-missing]
28#
29#   La superficie va en INGLÉS (`CLAUDE.md` regla 4); los mensajes, en castellano.
30import os, sys, glob, shutil, subprocess
31
32sys.path.insert(0, os.path.dirname(os.path.abspath(__file__)))
33import yupana
34import targets as targets_mod
35
36ROOT = yupana.ROOT
37
38def _binario_takana():
39    """El binario, buscado en los TRES sitios donde puede estar — no sólo en el árbol de desarrollo.
40
41    Estaba cableado a `ROOT/target/release/takana` y por eso este script no corría en una caja
42    INSTALADA, donde el binario es `/usr/bin/takana` y `target/` ni existe. Es la misma deuda que el
43    frente del servidor ya pagó en `respaldo-storagebox.sh` y en los grafos («unhashable 875» con el
44    lab perfecto): el instrumental asume que el hub es un árbol de desarrollo. Falla al invocar, con
45    un `FileNotFoundError` que nombra una ruta que en esa máquina nunca va a existir.
46    """
47    for c in (os.environ.get("TAKANA"), os.environ.get("HAMMER"), str(ROOT / "target/release/takana")):
48        if c and os.path.exists(c):
49            return c
50    return shutil.which("takana") or shutil.which("hammer") or str(ROOT / "target/release/takana")
51
52HAMMER = _binario_takana()
53
54
55def opcion(nombre, defecto=None):
56    """`--flag valor`. Devuelve `defecto` si no está."""
57    if nombre in sys.argv:
58        i = sys.argv.index(nombre)
59        if i + 1 < len(sys.argv):
60            return sys.argv[i + 1]
61        sys.exit("falta el valor de %s" % nombre)
62    return defecto
63
64
65# Lo que SÍ puede aparecer en la raíz de ciertos artefactos, con el motivo al lado. Sin esta tabla
66# el barrido canta tres cosas cada vez y dos son correctas ⇒ se deja de leer, que es como se muere un
67# guardián. La clave es el nombre de receta y el valor `(motivo, patrón de lo permitido)`.
68RAIZ_POR_CONTRATO = {
69    "seed-zig":       ("el toolchain zig ES el artefacto: su directorio versionado va en la raíz",
70                       r"^zig-"),
71    "product-rootfs": ("es un ROOTFS, no un paquete: `store` y `ente` son suyos por diseño",
72                       r"^(store|ente)$"),
73    "stage1-rootfs":  ("es un ROOTFS, no un paquete: `ente` es suyo por diseño",
74                       r"^(store|ente)$"),
75}
76
77# Suciedad REAL, medida, y cuyo arreglo está DECIDIDO en contra por ahora. Se imprime como contexto y
78# NO hace fallar: si fallara siempre, un ofensor NUEVO se perdería entre el ruido de uno viejo.
79RAIZ_DEUDA_DECIDIDA = {
80    "perl": "945 páginas nroff en `/` porque su Configure eligió man1dir=' '. El arreglo es UNA "
81            "línea y cuesta 305 rebuilds ⇒ va con el próximo bump. Ver recipes/perl.toml.",
82}
83
84
85def auditar_raices(store):
86    """`--auditar-raices`: la misma pregunta que el bloque «quién ensucia la RAÍZ», pero sobre el
87    STORE ENTERO en vez de sobre el cierre de un perfil, y sin hidratar nada.
88
89    ⚠ **POR QUÉ HACÍA FALTA**: la comprobación de abajo sólo ve los artefactos que un perfil
90    proyecta, y hoy hay **649 recetas que no alcanza ninguna imagen** (catálogo, no distro). Una fase
91    `install` que se equivoca de destino en una de ésas es invisible hasta el día que alguien la
92    declare en un perfil — y entonces ensucia la raíz del rootfs sin que se sepa quién fue.
93
94    Lo destapó `qdrant` (2026-09-11): selló con **69 M** de cabeceras de protobuf bajo `/src`, porque
95    el sandbox exporta `DESTDIR=/out` GLOBAL y el `make install` ANIDADO de `protobuf-src` lo hereda.
96    No está en ningún perfil ⇒ ningún guardián lo habría visto. Barrido el store entero tras
97    arreglarlo: los únicos que quedan son `perl` (deuda medida y decidida, ver `recipes/perl.toml`) y
98    los tres rootfs/seed, que ponen ahí lo suyo por contrato."""
99    import re as _re
100    import json as _json
101
102    # ⚠ **SÓLO EL ARTEFACTO VIGENTE DE CADA RECETA.** El store guarda TODOS los sellados históricos
103    # (bzip2 tenía dos al arreglarlo), así que auditarlos todos acusa a recetas YA SANAS por un
104    # sellado viejo — el mismo sobre-reporte que `static-audit.sh` tuvo que quitarse de encima
105    # («auditábamos el más reciente por mtime»). Un guardián que grita sobre lo ya arreglado se
106    # empieza a ignorar.
107    #   El hash vigente no se recalcula con `takana hash` receta a receta (1150 procesos): sale de
108    # los grafos de estado, que es donde el repo YA lo tiene escrito, y cubre a la vez el corpus y
109    # las cinco colas.
110    vigentes = set()
111    for g in glob.glob(str(ROOT / "docs/state/build-state*.json")):
112        try:
113            for nodo in _json.load(open(g)).get("nodes", {}).values():
114                h = nodo.get("hash")
115                if h:
116                    vigentes.add(h[3:] if h.startswith("b3:") else h)
117        except (OSError, ValueError):
118            continue
119
120    filas = []
121    mirados = 0
122    for d in sorted(glob.glob(os.path.join(store, "*"))):
123        m = _re.match(r"^([0-9a-f]{64})-(.+)$", os.path.basename(d))
124        if not m or not os.path.isdir(d) or (vigentes and m.group(1) not in vigentes):
125            continue
126        mirados += 1
127        try:
128            extra = sorted(e for e in os.listdir(d) if e not in FHS_RAIZ)
129        except OSError:
130            continue
131        if extra:
132            filas.append((len(extra), m.group(2), extra))
133    # ── SEGUNDA PREGUNTA, LA MISMA FAMILIA: symlinks que apuntan a una raíz que NO ES EL FHS ─────
134    # Un `install` se puede equivocar de destino de dos maneras. Una deja ficheros donde no van (lo
135    # de arriba). La otra deja **enlaces** con la ruta del SANDBOX horneada dentro:
136    #
137    #     usr/bin/bzcmp -> /out/usr/bin/bzdiff
138    #
139    # El Makefile de bzip2 crea sus symlinks con `ln -s $(PREFIX)/bin/bzdiff`, y como bzip2 no
140    # soporta `DESTDIR` la receta pasa `PREFIX=/out/usr` ⇒ el `/out` queda DENTRO del destino. Al
141    # hidratar, esos cuatro enlaces apuntan a un directorio que en el sistema real no existe.
142    #
143    # ⚠ Nada lo delata: el artefacto tiene contenido, los binarios de verdad corren, el audit de
144    # enlace estático pasa y la receta REPRODUCE. Cinco verdes sobre cuatro comandos rotos.
145    #
146    # **La regla es independiente del perfil, y por eso se puede aplicar al store entero**: un enlace
147    # a otro ARTEFACTO es normal y correcto (`kinfocenter -> /usr/bin/systemsettings`: los dos están
148    # en `escritorio-kde` y en el rootfs fundido resuelve). Lo que NUNCA puede estar bien es un
149    # destino absoluto cuya PRIMERA componente no sea del FHS — `/out`, `/src`, `/tmp`: ésas son
150    # rutas del lab, no del sistema que se instala.
151    malos_enlaces = []
152    for d in sorted(glob.glob(os.path.join(store, "*"))):
153        m = _re.match(r"^([0-9a-f]{64})-(.+)$", os.path.basename(d))
154        if not m or not os.path.isdir(d) or (vigentes and m.group(1) not in vigentes):
155            continue
156        for root, dirs, files in os.walk(d):
157            for e in files + dirs:
158                p_ = os.path.join(root, e)
159                if not os.path.islink(p_):
160                    continue
161                t = os.readlink(p_)
162                if not t.startswith("/"):
163                    continue                       # relativo: siempre correcto en un CAS
164                raiz = t.lstrip("/").split("/", 1)[0]
165                if raiz not in FHS_RAIZ:
166                    malos_enlaces.append((m.group(2), os.path.relpath(p_, d), t))
167
168    # ⚠ **UN BARRIDO QUE NO MIRÓ NADA TIENE QUE DECIRLO.** Filtrar por hash vigente significa que un
169    # `--store` que no case con los grafos (otra máquina, otro checkout, un store de prueba) deja
170    # CERO artefactos auditados — y sin esta guarda eso se imprimiría como «✓ 0 ofensores», que es
171    # una respuesta falsa con forma de respuesta. Es la regla de siempre: un ausente falla ruidoso.
172    if vigentes and mirados == 0:
173        print("!! 0 artefactos auditados: ninguno de los %d hashes vigentes está en `%s`.\n"
174              "   ¿`--store` apunta a otro sitio, o los grafos están sin regenerar?"
175              % (len(vigentes), store))
176        return 2
177
178    print("== raíces sucias en el STORE ENTERO ==")
179    nuevos = []
180    for n, nombre, extra in sorted(filas, reverse=True):
181        muestra = ", ".join(extra[:3]) + (", …" if n > 3 else "")
182        contrato = RAIZ_POR_CONTRATO.get(nombre)
183        if contrato and all(_re.match(contrato[1], e) for e in extra):
184            print("   ⊘ %-22s %4d  (%s) — %s" % (nombre, n, muestra, contrato[0]))
185            continue
186        if nombre in RAIZ_DEUDA_DECIDIDA:
187            print("   • %-22s %4d  (%s)" % (nombre, n, muestra))
188            print("     DEUDA DECIDIDA: %s" % RAIZ_DEUDA_DECIDIDA[nombre])
189            continue
190        print("   ✗ %-22s %4d  (%s)" % (nombre, n, muestra))
191        nuevos.append(nombre)
192    print("\n== symlinks con una raíz que NO es del FHS (ruta del lab horneada) ==")
193    if not malos_enlaces:
194        print("   ✓ ninguno")
195    else:
196        for nombre, origen, destino in malos_enlaces:
197            print("   ✗ %-18s %s -> %s" % (nombre, origen, destino))
198            if nombre not in nuevos:
199                nuevos.append(nombre)
200
201    if not nuevos:
202        print("\n   ✓ 0 ofensores NUEVOS sobre %d artefactos." % len(filas)
203              if filas else "\n   ✓ ningún artefacto pone nada fuera del FHS en su raíz")
204        return 0
205    print("\n   ✗ %d ofensor(es) NUEVO(s): %s\n"
206          "   Un `install` que se equivoca de destino se lee, en el rootfs fundido, como si fuera\n"
207          "   parte del sistema." % (len(nuevos), ", ".join(nuevos)))
208    return 1
209
210
211def main():
212    libres = [a for i, a in enumerate(sys.argv[1:], 1)
213              if not a.startswith("--") and not (sys.argv[i - 1].startswith("--")
214                                                 and sys.argv[i - 1] in FLAGS_CON_VALOR)]
215    if "--auditar-raices" in sys.argv:
216        sys.exit(auditar_raices(opcion("--store",
217                                       os.environ.get("HAMMER_STORE", str(ROOT / "store")))))
218    if not libres:
219        sys.exit(__doc__ or "uso: scripts/hydrate-profile.py <perfil> [--into DIR]")
220    perfil = libres[0]
221    store = opcion("--store", os.environ.get("HAMMER_STORE", str(ROOT / "store")))
222    # Dónde cae el rootfs por defecto. Se puede fijar por entorno porque el sitio CORRECTO depende
223    # de cómo esté montado el store en cada máquina, no del perfil (ver la sonda EXDEV de abajo).
224    base_into = os.environ.get("HAMMER_ROOTFS_DIR", str(ROOT / "work/out"))
225    into = opcion("--into", os.path.join(base_into, perfil.replace("escritorio-", "") + "-rootfs"))
226    link = opcion("--link", "static")
227    keep = "--keep" in sys.argv
228    permitir_faltantes = "--allow-missing" in sys.argv
229
230    perfiles = targets_mod.load()
231    if perfil not in perfiles:
232        sys.exit("perfil desconocido: %s (hay: %s)" % (perfil, ", ".join(sorted(perfiles))))
233    colas = yupana.cargar_colas()
234    memb = yupana.membresia(colas, perfiles)
235    nodos = sorted(n for n, ps in memb.items() if perfil in ps and n[0] != "wanted")
236    if not nodos:
237        sys.exit("el cierre de %s salió vacío — ¿el perfil declara raíces?" % perfil)
238
239    print("== %s: %d nodos en el cierre → %s" % (perfil, len(nodos), into))
240
241    # ── resolver ANTES de tocar el disco: si falta algo, que se sepa antes de borrar nada ──────
242    artefactos, faltan = [], []
243    for cola, nombre in nodos:
244        receta = ROOT / ("recipes/%s.toml" % nombre if cola == "corpus"
245                         else "recipes/%s/%s.toml" % (cola, nombre))
246        if not receta.exists():
247            faltan.append((nombre, "sin receta"))
248            continue
249        r = subprocess.run([HAMMER, "--store", store, "hash", str(receta)],
250                           capture_output=True, text=True)
251        h = r.stdout.strip().replace("b3:", "")
252        if len(h) != 64:
253            faltan.append((nombre, "hash no computable"))
254            continue
255        cand = glob.glob(os.path.join(store, h + "-*"))
256        if not cand:
257            faltan.append((nombre, "no sellado (%s)" % h[:12]))
258            continue
259        artefactos.append((nombre, h, cand[0]))
260
261    if faltan:
262        print("\n   ⚠ %d nodo(s) SIN artefacto en el store:" % len(faltan))
263        for nombre, motivo in faltan:
264            print("     %-28s %s" % (nombre, motivo))
265        if not permitir_faltantes:
266            sys.exit("\nabortado sin tocar %s — con `--allow-missing` se hidrata lo que hay" % into)
267        print("   → se continúa por `--allow-missing`: el rootfs sale INCOMPLETO\n")
268
269    if os.path.isdir(into) and not keep:
270        shutil.rmtree(into)
271    os.makedirs(into, exist_ok=True)
272
273    # ── EXDEV: `hydrate` proyecta por HARDLINK, y `linkat()` NO cruza un punto de MONTAJE ───────
274    # aunque los dos lados sean el mismo filesystem y el mismo disco. Acá el store y `work/out` son
275    # dos bind mounts del MISMO /dev/sdb: `st_dev` coincide y el hardlink falla igual — por eso la
276    # sonda es FUNCIONAL (se intenta un enlace de verdad) y no una comparación de `st_dev`, que fue
277    # el primer intento y no disparó. Sin esto salen 174 «artefactos que no proyectaron» y un rootfs
278    # de 272 ficheros que parece un problema de recetas.
279    sonda_src = os.path.join(store, ".hydrate-profile-probe")
280    sonda_dst = os.path.join(into, ".hydrate-profile-probe")
281    try:
282        with open(sonda_src, "w"):
283            pass
284        os.link(sonda_src, sonda_dst)
285        os.unlink(sonda_dst)
286    except OSError as e:
287        mp = subprocess.run(["findmnt", "-n", "-T", store, "-o", "TARGET"],
288                            capture_output=True, text=True).stdout.strip()
289        sys.exit("EXDEV: no se puede enlazar del store a `%s` (%s).\n"
290                 "       `hydrate` ENLAZA, no copia, y un hardlink no cruza un montaje.\n"
291                 "       el store está montado en: %s\n"
292                 "       elegí un `--into` bajo ESE montaje (o fijá HAMMER_ROOTFS_DIR)."
293                 % (into, e.strerror, mp or "?"))
294    finally:
295        if os.path.exists(sonda_src):
296            os.unlink(sonda_src)
297
298    fallidos = []
299    for i, (nombre, h, _d) in enumerate(artefactos, 1):
300        r = subprocess.run([HAMMER, "--store", store, "hydrate", h,
301                            "--into", into, "--link", link],
302                           capture_output=True, text=True)
303        if r.returncode != 0:
304            fallidos.append((nombre, (r.stderr or r.stdout).strip().splitlines()[-1:] or [""]))
305        if i % 25 == 0 or i == len(artefactos):
306            print("   %d/%d" % (i, len(artefactos)))
307
308    if fallidos:
309        print("\n   ✗ %d artefacto(s) no proyectaron:" % len(fallidos))
310        for nombre, msg in fallidos:
311            print("     %-28s %s" % (nombre, msg[0] if msg else ""))
312
313    # ── quién ensucia la RAÍZ del rootfs ────────────────────────────────────────────────────────
314    # Se mira por ARTEFACTO y no sobre el árbol fundido, porque en el árbol fundido el nombre del
315    # culpable ya se perdió: 945 ficheros sueltos en `/` no se parecen a «una fase install con el
316    # directorio de destino vacío», que es lo que son. Cazado el 2026-09-04 mirando un rootfs de
317    # verdad, no una métrica: `perl` instala sus 945 páginas nroff en `/` porque su Configure eligió
318    # `man1dir=' '`. Ver el comentario en `recipes/perl.toml`.
319    sucios = []
320    for nombre, _h, d in artefactos:
321        extra = sorted(e for e in os.listdir(d) if e not in FHS_RAIZ)
322        if extra:
323            sucios.append((nombre, extra))
324    if sucios:
325        print("\n   ⚠ entradas FUERA del FHS en la raíz del rootfs:")
326        for nombre, extra in sorted(sucios, key=lambda x: -len(x[1])):
327            muestra = ", ".join(extra[:3]) + (", …" if len(extra) > 3 else "")
328            print("     %-28s %4d  (%s)" % (nombre, len(extra), muestra))
329
330    n_fich = sum(len(f) for _, _, f in os.walk(into))
331    du = subprocess.run(["du", "-sh", into], capture_output=True, text=True).stdout.split()
332    print("\n== %s: %d ficheros, %s" % (into, n_fich, du[0] if du else "?"))
333    sys.exit(1 if (fallidos or (faltan and not permitir_faltantes)) else 0)
334
335
336FLAGS_CON_VALOR = {"--into", "--store", "--link"}
337
338# Lo que un artefacto PUEDE poner en la raíz. Todo lo demás es una fase `install` que se equivocó de
339# destino, y en un rootfs fundido eso se lee como si fuera parte del sistema.
340FHS_RAIZ = {"bin", "sbin", "lib", "lib64", "usr", "etc", "var", "run", "opt", "srv",
341            "home", "root", "boot", "dev", "proc", "sys", "tmp", "mnt", "media",
342            "ente",      # el manifiesto de atestación del producto (hammer bootstrap)
343            "linuxrc",   # el enlace de busybox, que va en la raíz por contrato del kernel
344            ".hammer"}   # metadatos del store: los pone hammer al sellar, no la receta
345
346if __name__ == "__main__":
347    main()