sergio/takana

1#!/bin/sh
2# campana-deuda.sh — muele en el WORKER una lista EXPLÍCITA de recetas en deuda, medida en el HUB.
3#
4# POR QUÉ NO `saldar-deuda-static.sh` DIRECTO EN EL WORKER (2026-07-21): ese script calcula la deuda
5# en vivo con `hammer hash --check` contra el store LOCAL. En el worker el store es PARCIAL (el del
6# volumen: ~290 artefactos vs 720 del hub) ⇒ mide 716 recetas de deuda en vez de 37 y se pone a
7# reconstruir media distro. Es la regla de [[frente-harkaq-jaula]] con otra cara: **el worker MIDE,
8# el hub CLASIFICA**. Acá el hub decide la lista (`DRY=1 saldar-deuda-static.sh`) y el worker sólo
9# ejecuta. La lista se pasa por argumentos o por DEUDA=, no se recalcula.
10#
11# ORDEN: las RAÍCES del stack GUI primero (glib unblocks=14, luego harfbuzz/cairo/pango → gtk4 →
12# libadwaita). `hammer build` arrastra deps recursivamente, así que el orden no es obligatorio —
13# pero empezar por la raíz hace que la cascada caiga cuanto antes y que un corte temprano deje el
14# máximo destrabado. El stack GUI es lo que el laptop NO puede construir (zig-skew, ver
15# [[etapa-g-gui-chain-boundary]]) ⇒ es exactamente lo que justifica la granja.
16#
17# PATH: `go mod vendor` y demás corren HOST-SIDE (fuera del sandbox) ⇒ el `go` del store tiene que
18# estar en el PATH. Una sesión SSH no interactiva no carga /etc/profile ni cargo/env: sin esto toda
19# receta Go muere con "spawn go mod vendor: No such file or directory".
20#
21# Uso (en el worker):  scripts/farm/campana-deuda.sh <receta> [receta…]
22#                      DEUDA="glib cairo" scripts/farm/campana-deuda.sh
23# Lanzarlo desde el hub para que sobreviva al cierre del SSH:
24#   ssh root@<ip> 'systemd-run --unit=campana-deuda --working-directory=/opt/hammer \
25#                    /opt/hammer/scripts/farm/campana-deuda.sh <recetas…>'
26#   ssh root@<ip> 'journalctl -u campana-deuda -f'
27set -u
28HAMMER_DIR="${HAMMER_DIR:-/opt/hammer}"
29# Ruta absoluta a MÍ MISMO antes del `cd`: acá el `cd` va a HAMMER_DIR, que ni siquiera tiene por
30# qué contener a este script, así que un `$0` relativo se pierde seguro.
31YO="$(cd "$(dirname "$0")" && pwd)/$(basename "$0")"
32cd "$HAMMER_DIR"
33HAMMER="${HAMMER:-$HAMMER_DIR/target/release/hammer}"
34STORE="${STORE:-$HAMMER_DIR/store}"
35LOG="${LOG:-/var/log/campana-deuda.log}"
36
37# go del store (host-side) + cargo, para que las recetas Go/Rust no mueran por PATH
38for g in "$STORE"/*-go/usr/bin; do [ -d "$g" ] && PATH="$g:$PATH"; done
39HOME="${HOME:-/root}"; export HOME     # systemd-run no hereda HOME y `set -u` lo convierte en fatal
40[ -r "$HOME/.cargo/env" ] && . "$HOME/.cargo/env"
41export PATH
42
43DEUDA="${DEUDA:-$*}"
44[ -n "$DEUDA" ] || { echo "uso: campana-deuda.sh <receta> [receta…]  (o DEUDA=…)" >&2; exit 2; }
45
46ts() { date -u +%FT%TZ; }
47
48# LOCK COMPARTIDO CON EL WORKER-LOOP (2026-07-22). Esta campaña y `farm-worker-loop.sh` construyen
49# sobre el MISMO work/, y `fetch` nombra el árbol de fuentes de forma determinista
50# (`work/sources/<receta>-<sha16>`) ⇒ dos procesos que construyan la misma DEP apuntan al mismo
51# directorio, y uno hace `remove_dir_all` mientras el otro corre `tar -x`. Eso deja el árbol a medias
52# y devuelve "Directory not empty" (os error 39) — y el árbol roto se queda así hasta que alguien lo
53# borra a mano. Pasó de verdad: la campaña y el loop pidieron `mesa` a la vez (el loop lo arrastraba
54# desde la cola KDE) y se llevó puesta media cascada GUI.
55#
56# El lock es EXCLUSIVO y de grano grueso: la campaña lo toma para TODA su corrida y el loop lo toma
57# por cada ciclo de cola. No se puede afinar más sin romper el `xargs -P2` del loop.
58# `flock` NO es FIFO: como el loop vuelve a pedirlo enseguida, en la práctica la campaña entra en la
59# ventana del IDLE_SLEEP, no entre dos colas (medido, no supuesto). De ahí el techo de espera.
60#
61# OJO, lo que este lock NO cubre: el propio `-P2` del loop puede correr dos recetas que compartan
62# dep, y ésas se pisan igual. El arreglo de fondo es un lock POR ÁRBOL dentro de `fetch`.
63#
64# Espera bloqueante con techo: un ciclo de cola puede ser largo, pero colgarse para siempre sería
65# peor que no correr. Al vencer, sale limpio y lo dice; el próximo lanzamiento reintenta.
66LOCK_FARM="${LOCK_FARM:-$HAMMER_DIR/work/.farm-build.lock}"
67LOCK_WAIT="${LOCK_WAIT:-7200}"
68mkdir -p "$(dirname "$LOCK_FARM")"
69# ⚠ EL LOCK LO SOSTIENE EL fd, Y LOS HIJOS LO HEREDAN (medido 2026-09-08). Con `exec 9>` + `flock 9`
70# cualquier descendiente que se fugue retiene el lock DESPUÉS de que el script termine, y el próximo
71# que lo pida espera para siempre sin que nada falle. Pasó: dos `firefox` colgados de una caza de
72# bugs sobrevivieron al `kill` de su `bwrap` y dejaron a la granja hora y media sin poder compilar,
73# en silencio. `fuser -v <lock>` es lo que lo delata.
74#   El arreglo es `flock -o`, que cierra el fd antes de ejecutar ⇒ el lock lo sostiene SÓLO el
75# proceso `flock`, y ningún nieto puede prolongarlo. Como acá la sección crítica es el script
76# ENTERO, se re-ejecuta bajo `flock -o` en vez de ir poniendo `9>&-` comando por comando, que es
77# jugar a los topos y se olvida uno. `-E 77` distingue «el lock estaba ocupado» de «el trabajo
78# falló», que con el `9>` de antes no se podían separar.
79#   Comprobado con control positivo y negativo: sin `-o` el nieto retiene; con `-o` no. Y que la
80# exclusión mutua SIGUE funcionando, que es lo que un arreglo de locks puede romper sin avisar.
81#   ⚠ Ojo: `exec {L}>` (fd automático de bash) NO sirve — bash no lo marca close-on-exec. Medido.
82if [ -z "${CAMPANA_DEUDA_CON_LOCK:-}" ]; then
83  export CAMPANA_DEUDA_CON_LOCK=1
84  rc=0; flock -w "$LOCK_WAIT" -E 77 -o "$LOCK_FARM" "$YO" "$@" || rc=$?
85  if [ "$rc" = 77 ]; then
86    echo "$(ts) campaña-deuda: el worker-loop no soltó el lock en ${LOCK_WAIT}s ⇒ salgo sin construir" | tee -a "$LOG"
87    exit 0
88  fi
89  exit "$rc"
90fi
91echo "$(ts) campaña-deuda: lock de build tomado (el worker-loop espera su turno)" | tee -a "$LOG"
92total=$(echo "$DEUDA" | wc -w); i=0; ok=0; fail=0; falladas=""; ultimo_rc=0
93echo "$(ts) campaña-deuda arranca: $total recetas | go=$(command -v go || echo AUSENTE)" | tee -a "$LOG"
94
95# ── GUARDIÁN DE DISCO (2026-09-04) ──────────────────────────────────────────────────────────────
96# POR QUÉ. La cascada KDE del 2026-09-03 llenó el disco en la receta 52 de 71 y siguió moliendo: las
97# 8 restantes murieron cada una en 1-20 s con `error in backend: IO failure on output stream: No
98# space left on device`, y el bucle las anotó `✗` — el MISMO símbolo que una receta que de verdad no
99# compila. Al día siguiente el grafo decía «8 en deuda, clase c» y eso mandó a leer recetas durante
100# un rato buscando un bug que no existía. Un disco lleno no es un fallo de receta: es un fallo de la
101# MÁQUINA, y confundirlos cuesta el triaje entero.
102#
103# Además el trabajo posterior al corte es puro desperdicio: 4 minutos quemados produciendo ✗.
104#
105# DÓNDE SE MIDE: en DOS filesystems, no en uno. En gioser `store/` y `work/` son discos DISTINTOS
106# (`/dev/sdb` el store, `/dev/sdc` el resto del repo) y el que se llenó esa noche fue el de `work/`:
107# ahí viven `work/sources/<receta>-<sha>` y el árbol de build, que es lo que crece ~300 MB por
108# receta. Un guardián que mirara sólo el store habría leído 109 G libres y dejado moler igual —
109# el fallo clásico de calibrar el vigía en una escala que el dato nunca alcanza. Se toma el MÍNIMO
110# de los dos: cualquiera de los dos lleno mata el build igual.
111#
112# Suelo en GiB. 8 G es ~1,5 veces el árbol+build de la receta más gorda que vimos (kwin, qt6); por
113# debajo de eso el siguiente build es una apuesta, no una tarea.
114SUELO_GIB="${SUELO_GIB:-8}"
115avail_gib() { df -B1G --output=avail "$1" 2>/dev/null | tail -1 | tr -d ' '; }
116libres_gib() {
117  a="$(avail_gib "$STORE")"; b="$(avail_gib "$HAMMER_DIR/work")"
118  [ -n "$a" ] || { echo "$b"; return; }
119  [ -n "$b" ] || { echo "$a"; return; }
120  [ "$a" -le "$b" ] && echo "$a" || echo "$b"
121}
122
123for r in $DEUDA; do
124  i=$((i + 1))
125  f="recipes/$r.toml"
126  [ -r "$f" ] || f="$(ls recipes/incoming*/"$r".toml 2>/dev/null | head -1)"
127  [ -n "$f" ] && [ -r "$f" ] || { echo "$(ts) [$i/$total] $r ⚠ sin receta" | tee -a "$LOG"; continue; }
128  echo "$(ts) [$i/$total] → $r" | tee -a "$LOG"
129  libres="$(libres_gib)"
130  if [ -n "$libres" ] && [ "$libres" -lt "$SUELO_GIB" ]; then
131    echo "$(ts) [$i/$total] ⛔ DISCO: ${libres} G libres (min de store=$(avail_gib "$STORE") y work=$(avail_gib "$HAMMER_DIR/work")) < suelo ${SUELO_GIB} G ⇒ corto la campaña" | tee -a "$LOG"
132    echo "$(ts) campaña-deuda ABORTADA por disco: $ok selladas, $fail fallidas, $((total - i + 1)) SIN INTENTAR" | tee -a "$LOG"
133    echo "$(ts) sin intentar: $(echo "$DEUDA" | tr ' ' '\n' | tail -n +"$i" | tr '\n' ' ')" | tee -a "$LOG"
134    exit 3
135  fi
136  # heartbeat: el dead-man ya cuenta `hammer build` como trabajo, pero entre receta y receta hay
137  # huecos (fetch/vendor) donde no hay proceso con ese nombre. Tocarlo evita una muerte espuria.
138  touch /run/hammer-heartbeat 2>/dev/null || true
139  # build-timed.sh mide la pared y registra la duración en $STORE/.times (sólo builds reales), para
140  # el camino crítico pesado de yupana. Transparente: sale con el mismo código que `hammer build`.
141  if HAMMER="$HAMMER" STORE="$STORE" "$HAMMER_DIR/scripts/farm/build-timed.sh" "$f" >>"$LOG" 2>&1; then
142    ultimo_rc=0; ok=$((ok + 1)); echo "$(ts) [$i/$total] ✓ $r" | tee -a "$LOG"
143  else
144    ultimo_rc=1; fail=$((fail + 1)); falladas="$falladas $r"; echo "$(ts) [$i/$total] ✗ $r" | tee -a "$LOG"
145  fi
146  # PODA_FUENTES=1 — borra el árbol de fuentes DENTRO del bucle, que es el único sitio donde es
147  # seguro: acá tenemos el lock Y acabamos de terminar un build, así que no hay ningún `bwrap`
148  # usando un árbol. Es lo contrario de correr `poda-fuentes.sh` en paralelo, que sería el ADR 0012
149  # en su forma más directa (su propio encabezado avisa que el mtime NO distingue «viejo» de «lento»).
150  # No cuesta nada: `fetch.rs` borra y re-extrae el árbol en CADA build, no lo reutiliza jamás.
151  # Nace en la cascada de kcoreaddons (2026-09-03), 71 recetas KDE en una máquina con 16 G libres:
152  # a ~300 MB de árbol por receta, sin esto la campaña se come el disco antes de la onda 4.
153  #
154  # POR DEFECTO 1 (2026-09-04). Nació apagado y la cascada KDE del 2026-09-03 corrió sin ponerlo:
155  # 71 recetas × ~300 MB de árbol llenaron /dev/sdc en la 52 y se llevaron puestas las 8 últimas.
156  # Un default que hay que acordarse de encender no es una defensa. Apagar con PODA_FUENTES=0.
157  #
158  # NO se poda tras un ✗: el árbol de una receta que falló es el post-mortem — sin él no se puede
159  # leer qué generó cmake ni con qué flags murió, y es justo el caso en que alguien va a mirar.
160  # Es el mismo criterio del suelo de 24 h de poda-fuentes.sh, aplicado por resultado y no por edad.
161  if [ "${PODA_FUENTES:-1}" = 1 ] && [ "$ultimo_rc" = 0 ]; then
162    rm -rf "$HAMMER_DIR"/work/sources/* 2>/dev/null || true
163  fi
164done
165
166echo "$(ts) campaña-deuda fin: $ok selladas, $fail fallidas de $total" | tee -a "$LOG"
167[ -n "$falladas" ] && echo "$(ts) fallidas:$falladas" | tee -a "$LOG"
168exit 0