sergio/takana

1#!/bin/sh
2# campana-deuda.sh — muele en el WORKER una lista EXPLÍCITA de recetas en deuda, medida en el HUB.
3#
4# POR QUÉ NO `saldar-deuda-static.sh` DIRECTO EN EL WORKER (2026-07-21): ese script calcula la deuda
5# en vivo con `takana hash --check` contra el store LOCAL. En el worker el store es PARCIAL (el del
6# volumen: ~290 artefactos vs 720 del hub) ⇒ mide 716 recetas de deuda en vez de 37 y se pone a
7# reconstruir media distro. Es la regla de [[frente-harkaq-jaula]] con otra cara: **el worker MIDE,
8# el hub CLASIFICA**. Acá el hub decide la lista (`DRY=1 saldar-deuda-static.sh`) y el worker sólo
9# ejecuta. La lista se pasa por argumentos o por DEUDA=, no se recalcula.
10#
11# ORDEN: las RAÍCES del stack GUI primero (glib unblocks=14, luego harfbuzz/cairo/pango → gtk4 →
12# libadwaita). `takana build` arrastra deps recursivamente, así que el orden no es obligatorio —
13# pero empezar por la raíz hace que la cascada caiga cuanto antes y que un corte temprano deje el
14# máximo destrabado. El stack GUI es lo que el laptop NO puede construir (zig-skew, ver
15# [[etapa-g-gui-chain-boundary]]) ⇒ es exactamente lo que justifica la granja.
16#
17# PATH: `go mod vendor` y demás corren HOST-SIDE (fuera del sandbox) ⇒ el `go` del store tiene que
18# estar en el PATH. Una sesión SSH no interactiva no carga /etc/profile ni cargo/env: sin esto toda
19# receta Go muere con "spawn go mod vendor: No such file or directory".
20#
21# Uso (en el worker):  scripts/farm/campana-deuda.sh <receta> [receta…]
22#                      DEUDA="glib cairo" scripts/farm/campana-deuda.sh
23# Lanzarlo desde el hub para que sobreviva al cierre del SSH:
24#   ssh root@<ip> 'systemd-run --unit=campana-deuda --working-directory=/opt/takana \
25#                    /opt/takana/scripts/farm/campana-deuda.sh <recetas…>'
26#   ssh root@<ip> 'journalctl -u campana-deuda -f'
27set -u
28HAMMER_DIR="${TAKANA_DIR:-${HAMMER_DIR:-/opt/takana}}"
29# Ruta absoluta a MÍ MISMO antes del `cd`: acá el `cd` va a HAMMER_DIR, que ni siquiera tiene por
30# qué contener a este script, así que un `$0` relativo se pierde seguro.
31YO="$(cd "$(dirname "$0")" && pwd)/$(basename "$0")"
32cd "$HAMMER_DIR"
33HAMMER="${TAKANA:-${HAMMER:-$HAMMER_DIR/target/release/takana}}"
34STORE="${STORE:-$HAMMER_DIR/store}"
35LOG="${LOG:-/var/log/campana-deuda.log}"
36
37# go del store (host-side) + cargo, para que las recetas Go/Rust no mueran por PATH
38for g in "$STORE"/*-go/usr/bin; do [ -d "$g" ] && PATH="$g:$PATH"; done
39HOME="${HOME:-/root}"; export HOME     # systemd-run no hereda HOME y `set -u` lo convierte en fatal
40[ -r "$HOME/.cargo/env" ] && . "$HOME/.cargo/env"
41export PATH
42
43DEUDA="${DEUDA:-$*}"
44[ -n "$DEUDA" ] || { echo "uso: campana-deuda.sh <receta> [receta…]  (o DEUDA=…)" >&2; exit 2; }
45
46ts() { date -u +%FT%TZ; }
47
48# ── ⚠ EL LÍMITE DE DESCRIPTORES, QUE ESTE GUION NO SUBÍA (2026-10-19) ──────────────────────────
49# `farm-worker-loop.sh` lo sube desde el 2026-10-11 porque `obs-studio` y `spectacle` morían con
50# `ProcessFdQuotaExceeded` (libavcodec tiene 1.093 `.o` y el blando era 1024). Pero el arreglo vivió
51# sólo ahí, y ESTE guion —el oficial para campañas manuales— quedó expuesto: el 2026-10-19 una
52# campaña de 25 recetas perdió `pata-centro` y `pata-llimphi` con el mismo límite por el otro
53# camino (`unable to search for static library '…libmemchr….rlib': ProcessFdQuotaExceeded`).
54# Un arreglo que vive en un solo llamador es un arreglo que el siguiente llamador no tiene.
55. "$(cd "$(dirname "$0")/../lib" && pwd)/subir-fds.sh"
56subir_fds
57
58# LOCK COMPARTIDO CON EL WORKER-LOOP (2026-07-22). Esta campaña y `farm-worker-loop.sh` construyen
59# sobre el MISMO work/, y `fetch` nombra el árbol de fuentes de forma determinista
60# (`work/sources/<receta>-<sha16>`) ⇒ dos procesos que construyan la misma DEP apuntan al mismo
61# directorio, y uno hace `remove_dir_all` mientras el otro corre `tar -x`. Eso deja el árbol a medias
62# y devuelve "Directory not empty" (os error 39) — y el árbol roto se queda así hasta que alguien lo
63# borra a mano. Pasó de verdad: la campaña y el loop pidieron `mesa` a la vez (el loop lo arrastraba
64# desde la cola KDE) y se llevó puesta media cascada GUI.
65#
66# El lock es EXCLUSIVO y de grano grueso: la campaña lo toma para TODA su corrida y el loop lo toma
67# por cada ciclo de cola. No se puede afinar más sin romper el `xargs -P2` del loop.
68# `flock` NO es FIFO: como el loop vuelve a pedirlo enseguida, en la práctica la campaña entra en la
69# ventana del IDLE_SLEEP, no entre dos colas (medido, no supuesto). De ahí el techo de espera.
70#
71# OJO, lo que este lock NO cubre: el propio `-P2` del loop puede correr dos recetas que compartan
72# dep, y ésas se pisan igual. El arreglo de fondo es un lock POR ÁRBOL dentro de `fetch`.
73#
74# Espera bloqueante con techo: un ciclo de cola puede ser largo, pero colgarse para siempre sería
75# peor que no correr. Al vencer, sale limpio y lo dice; el próximo lanzamiento reintenta.
76LOCK_FARM="${LOCK_FARM:-$HAMMER_DIR/work/.farm-build.lock}"
77LOCK_WAIT="${LOCK_WAIT:-7200}"
78mkdir -p "$(dirname "$LOCK_FARM")"
79# ⚠ EL LOCK LO SOSTIENE EL fd, Y LOS HIJOS LO HEREDAN (medido 2026-09-08). Con `exec 9>` + `flock 9`
80# cualquier descendiente que se fugue retiene el lock DESPUÉS de que el script termine, y el próximo
81# que lo pida espera para siempre sin que nada falle. Pasó: dos `firefox` colgados de una caza de
82# bugs sobrevivieron al `kill` de su `bwrap` y dejaron a la granja hora y media sin poder compilar,
83# en silencio. `fuser -v <lock>` es lo que lo delata.
84#   El arreglo es `flock -o`, que cierra el fd antes de ejecutar ⇒ el lock lo sostiene SÓLO el
85# proceso `flock`, y ningún nieto puede prolongarlo. Como acá la sección crítica es el script
86# ENTERO, se re-ejecuta bajo `flock -o` en vez de ir poniendo `9>&-` comando por comando, que es
87# jugar a los topos y se olvida uno. `-E 77` distingue «el lock estaba ocupado» de «el trabajo
88# falló», que con el `9>` de antes no se podían separar.
89#   Comprobado con control positivo y negativo: sin `-o` el nieto retiene; con `-o` no. Y que la
90# exclusión mutua SIGUE funcionando, que es lo que un arreglo de locks puede romper sin avisar.
91#   ⚠ Ojo: `exec {L}>` (fd automático de bash) NO sirve — bash no lo marca close-on-exec. Medido.
92if [ -z "${CAMPANA_DEUDA_CON_LOCK:-}" ]; then
93  export CAMPANA_DEUDA_CON_LOCK=1
94  rc=0; flock -w "$LOCK_WAIT" -E 77 -o "$LOCK_FARM" "$YO" "$@" || rc=$?
95  if [ "$rc" = 77 ]; then
96    echo "$(ts) campaña-deuda: el worker-loop no soltó el lock en ${LOCK_WAIT}s ⇒ salgo sin construir" | tee -a "$LOG"
97    exit 0
98  fi
99  exit "$rc"
100fi
101echo "$(ts) campaña-deuda: lock de build tomado (el worker-loop espera su turno)" | tee -a "$LOG"
102total=$(echo "$DEUDA" | wc -w); i=0; ok=0; fail=0; falladas=""; ultimo_rc=0
103echo "$(ts) campaña-deuda arranca: $total recetas | go=$(command -v go || echo AUSENTE)" | tee -a "$LOG"
104
105# ── GUARDIÁN DE DISCO (2026-09-04) ──────────────────────────────────────────────────────────────
106# POR QUÉ. La cascada KDE del 2026-09-03 llenó el disco en la receta 52 de 71 y siguió moliendo: las
107# 8 restantes murieron cada una en 1-20 s con `error in backend: IO failure on output stream: No
108# space left on device`, y el bucle las anotó `✗` — el MISMO símbolo que una receta que de verdad no
109# compila. Al día siguiente el grafo decía «8 en deuda, clase c» y eso mandó a leer recetas durante
110# un rato buscando un bug que no existía. Un disco lleno no es un fallo de receta: es un fallo de la
111# MÁQUINA, y confundirlos cuesta el triaje entero.
112#
113# Además el trabajo posterior al corte es puro desperdicio: 4 minutos quemados produciendo ✗.
114#
115# DÓNDE SE MIDE: en DOS filesystems, no en uno. En gioser `store/` y `work/` son discos DISTINTOS
116# (`/dev/sdb` el store, `/dev/sdc` el resto del repo) y el que se llenó esa noche fue el de `work/`:
117# ahí viven `work/sources/<receta>-<sha>` y el árbol de build, que es lo que crece ~300 MB por
118# receta. Un guardián que mirara sólo el store habría leído 109 G libres y dejado moler igual —
119# el fallo clásico de calibrar el vigía en una escala que el dato nunca alcanza. Se toma el MÍNIMO
120# de los dos: cualquiera de los dos lleno mata el build igual.
121#
122# Suelo en GiB. 8 G es ~1,5 veces el árbol+build de la receta más gorda que vimos (kwin, qt6); por
123# debajo de eso el siguiente build es una apuesta, no una tarea.
124SUELO_GIB="${SUELO_GIB:-8}"
125avail_gib() { df -B1G --output=avail "$1" 2>/dev/null | tail -1 | tr -d ' '; }
126libres_gib() {
127  a="$(avail_gib "$STORE")"; b="$(avail_gib "$HAMMER_DIR/work")"
128  [ -n "$a" ] || { echo "$b"; return; }
129  [ -n "$b" ] || { echo "$a"; return; }
130  [ "$a" -le "$b" ] && echo "$a" || echo "$b"
131}
132
133for r in $DEUDA; do
134  i=$((i + 1))
135  f="recipes/$r.toml"
136  [ -r "$f" ] || f="$(ls recipes/incoming*/"$r".toml 2>/dev/null | head -1)"
137  [ -n "$f" ] && [ -r "$f" ] || { echo "$(ts) [$i/$total] $r ⚠ sin receta" | tee -a "$LOG"; continue; }
138  echo "$(ts) [$i/$total] → $r" | tee -a "$LOG"
139  libres="$(libres_gib)"
140  if [ -n "$libres" ] && [ "$libres" -lt "$SUELO_GIB" ]; then
141    echo "$(ts) [$i/$total] ⛔ DISCO: ${libres} G libres (min de store=$(avail_gib "$STORE") y work=$(avail_gib "$HAMMER_DIR/work")) < suelo ${SUELO_GIB} G ⇒ corto la campaña" | tee -a "$LOG"
142    echo "$(ts) campaña-deuda ABORTADA por disco: $ok selladas, $fail fallidas, $((total - i + 1)) SIN INTENTAR" | tee -a "$LOG"
143    echo "$(ts) sin intentar: $(echo "$DEUDA" | tr ' ' '\n' | tail -n +"$i" | tr '\n' ' ')" | tee -a "$LOG"
144    exit 3
145  fi
146  # heartbeat: el dead-man ya cuenta `takana build` como trabajo, pero entre receta y receta hay
147  # huecos (fetch/vendor) donde no hay proceso con ese nombre. Tocarlo evita una muerte espuria.
148  touch /run/hammer-heartbeat 2>/dev/null || true
149  # build-timed.sh mide la pared y registra la duración en $STORE/.times (sólo builds reales), para
150  # el camino crítico pesado de yupana. Transparente: sale con el mismo código que `takana build`.
151  if HAMMER="$HAMMER" STORE="$STORE" "$HAMMER_DIR/scripts/farm/build-timed.sh" "$f" >>"$LOG" 2>&1; then
152    ultimo_rc=0; ok=$((ok + 1)); echo "$(ts) [$i/$total] ✓ $r" | tee -a "$LOG"
153  else
154    ultimo_rc=1; fail=$((fail + 1)); falladas="$falladas $r"; echo "$(ts) [$i/$total] ✗ $r" | tee -a "$LOG"
155  fi
156  # PODA_FUENTES=1 — borra el árbol de fuentes DENTRO del bucle, que es el único sitio donde es
157  # seguro: acá tenemos el lock Y acabamos de terminar un build, así que no hay ningún `bwrap`
158  # usando un árbol. Es lo contrario de correr `poda-fuentes.sh` en paralelo, que sería el ADR 0012
159  # en su forma más directa (su propio encabezado avisa que el mtime NO distingue «viejo» de «lento»).
160  # No cuesta nada: `fetch.rs` borra y re-extrae el árbol en CADA build, no lo reutiliza jamás.
161  # Nace en la cascada de kcoreaddons (2026-09-03), 71 recetas KDE en una máquina con 16 G libres:
162  # a ~300 MB de árbol por receta, sin esto la campaña se come el disco antes de la onda 4.
163  #
164  # POR DEFECTO 1 (2026-09-04). Nació apagado y la cascada KDE del 2026-09-03 corrió sin ponerlo:
165  # 71 recetas × ~300 MB de árbol llenaron /dev/sdc en la 52 y se llevaron puestas las 8 últimas.
166  # Un default que hay que acordarse de encender no es una defensa. Apagar con PODA_FUENTES=0.
167  #
168  # NO se poda tras un ✗: el árbol de una receta que falló es el post-mortem — sin él no se puede
169  # leer qué generó cmake ni con qué flags murió, y es justo el caso en que alguien va a mirar.
170  # Es el mismo criterio del suelo de 24 h de poda-fuentes.sh, aplicado por resultado y no por edad.
171  if [ "${PODA_FUENTES:-1}" = 1 ] && [ "$ultimo_rc" = 0 ]; then
172    rm -rf "$HAMMER_DIR"/work/sources/* 2>/dev/null || true
173  fi
174done
175
176echo "$(ts) campaña-deuda fin: $ok selladas, $fail fallidas de $total" | tee -a "$LOG"
177[ -n "$falladas" ] && echo "$(ts) fallidas:$falladas" | tee -a "$LOG"
178exit 0