sergio/takana

1#!/usr/bin/env bash
2# estado-granja.sh — foto RÁPIDA de la granja, on-demand (no depende del cron). Corre cuando quieras
3# ver dónde va sin esperar al latido: salud del worker, qué muele, avance KDE, y si el cron corrió.
4#   scripts/farm/estado-granja.sh
5set -uo pipefail
6ROOT="$(cd "$(dirname "$0")/../.." && pwd)"; cd "$ROOT"
7SSH_KEY="${SSH_KEY:-$HOME/.ssh/github5}"
8FLEET="$ROOT/scripts/farm/.fleet"
9SSH="ssh -i $SSH_KEY -o UserKnownHostsFile=/dev/null -o StrictHostKeyChecking=no -o BatchMode=yes -o LogLevel=ERROR -o ConnectTimeout=12"
10
11echo "══ WORKERS ($(date '+%H:%M:%S')) ══"
12if [ -s "$FLEET" ]; then
13  while read -r name ip; do
14    [ -n "${name:-}" ] || continue
15    echo "▶ $name ($ip)"
16    $SSH "root@$ip" '
17      # ⚠ EL `load average` DE UN LXC ES EL DEL ANFITRIÓN, no el nuestro. /proc/loadavg no está
18      # virtualizado acá (sin lxcfs), así que ese número cuenta lo que muelen los OTROS inquilinos
19      # del Proxmox de gioser. Medido 2026-09-21: «load 5.31» con el 4º campo en `1/1546` —UN hilo
20      # ejecutable de 1546— y presión de CPU en 0.00, o sea el worker IDLE leído como «compilando»,
21      # que es justo la conclusión cara (se espera a que «termine» algo que no corre). Los dos
22      # números de abajo SÍ son del contenedor.
23      echo "   $(uptime | sed "s/.*load average/load del ANFITRIÓN/")"
24      run=$(cut -d" " -f4 /proc/loadavg)
25      psi=$(sed -n "s/^some avg10=\([0-9.]*\).*/\1/p" /proc/pressure/cpu 2>/dev/null)
26      echo "   nuestro: $run ejecutables/hilos · presión CPU avg10=${psi:-(sin PSI)}"
27      n=$(ls /opt/takana/store 2>/dev/null | wc -l); echo "   store: $n artefactos"
28      # ⚠ LOS DOS NOMBRES. El renombre hammer→takana (ADR 0016) dejó esta sonda ciega: el worker
29      # invoca `./target/release/takana` y acá se buscaba `release/hammer`, así que «moliendo»
30      # decía «(nada — idle)» CON EL WORKER CONSTRUYENDO. Comprobado el 2026-09-14: el informe
31      # decía idle mientras allá corría `takana --store ./store build recipes/centrifugo.toml`.
32      # Un informe que miente sobre si hay trabajo es peor que no tenerlo — leyendo ese «idle» se
33      # concluye que la granja está seca. El binario `hammer` sigue existiendo (cargo lo compila
34      # como alias), así que se aceptan los dos.
35      b=$(pgrep -af "release/(takana|hammer)" | grep -E "release/(takana|hammer) (build|--store|hash)" | grep -oE "[^ /]+\.toml" | sort -u | tr "\n" " ")
36      echo "   moliendo: ${b:-(nada — idle o entre colas)}"
37    ' 2>/dev/null || echo "   ⚠ sin respuesta (¿dead-man lo mató? ¿aún arrancando?)"
38  done < "$FLEET"
39else
40  echo "   flota vacía (scripts/farm/.fleet) — no hay worker vivo"
41fi
42
43echo; echo "══ AVANCE KDE (grafo local) ══"
44if [ -f docs/state/build-state-kde.json ]; then
45  python3 - <<'PY'
46import json,os,time
47f="docs/state/build-state-kde.json"
48d=json.load(open(f)); q=d["by_queue"].get("incoming-kde",{})
49# ⚠ EL DENOMINADOR NO INCLUYE A LOS AJENOS. Un `ajeno` (qorpa-ajenos.toml) no tiene receta y NO SE
50# SELLA NUNCA: está declarado fuera de alcance a propósito. Sumándolo, la barra se clavaba en
51# «197/198 sellado» con el árbol TERMINADO, y se lee «falta una receta» — durante días (medido
52# 2026-09-21: el 198 era `xwayland`, y X11 está fuera de alcance para toda la distro). Un informe
53# que dice que falta trabajo cuando no falta manda a buscar un build que no existe. Se descuentan
54# del total, pero se NOMBRAN: descontar en silencio es la otra forma de mentir.
55aj=sorted(k for k,v in d["nodes"].items()
56          if v.get("queue")=="incoming-kde" and v.get("state")=="ajeno")
57tot=sum(v for k,v in q.items() if k!="ajeno"); s=q.get("sealed",0)
58age=int(time.time()-os.path.getmtime(f))
59bar=int(30*s/tot) if tot else 0
60cola=f"  · {len(aj)} ajeno ({', '.join(aj)} — fuera de alcance, sin receta)" if aj else ""
61print(f"   [{'#'*bar}{'.'*(30-bar)}] {s}/{tot} sellado  "
62      f"(deuda {q.get('debt',0)}, nunca {q.get('never',0)}){cola}")
63print(f"   grafo regenerado hace {age//60}m {age%60}s  (lo actualiza el cron o `scripts/build-state.py --kde`)")
64PY
65else
66  echo "   (sin grafo — corré scripts/build-state.py --kde)"
67fi
68
69echo; echo "══ LATIDO DE COSECHA ══"
70# Se comprueba el EFECTO, no el mecanismo. Antes esto miraba `crontab -l` y decía «⚠ NO instalado»
71# — cierto y RUIDOSO a la vez: desde el 2026-09-18 el latido lo sostiene el cron de root del
72# ANFITRIÓN, y un agente enjaulado no ve ese crontab ni lo verá nunca. Un aviso que salta siempre es
73# un aviso que nadie lee. Lo que sí prueba que el latido vive son sus commits, que están acá.
74# ⚠ Y SE MIDE SOBRE origin/main, NO SOBRE EL LOCAL. El cron del anfitrión commitea en SU clon y
75# empuja a gitea; este árbol no se entera hasta un `fetch`. Sin él, `git log` local da un latido
76# viejo y el aviso de abajo salta con el latido SANO — falso positivo medido dos veces el
77# 2026-09-21 (decía «hace 40m» con el ciclo de las 01:01 ya en gitea). El fetch es barato y va con
78# techo: si la red falla, se degrada al local en vez de romper la foto.
79timeout 20 git fetch -q origin main 2>/dev/null || true
80# Se elige la ref con el latido MÁS NUEVO y se usa ESA para la fecha y para el asunto: sacarlos de
81# refs distintas daba un «hace 3m» con el asunto de un ciclo viejo.
82REF=HEAD
83if git rev-parse -q --verify FETCH_HEAD >/dev/null 2>&1; then
84  a=$(git log -1 --format=%ct --grep="cosecha granja" HEAD       2>/dev/null || echo 0)
85  b=$(git log -1 --format=%ct --grep="cosecha granja" FETCH_HEAD 2>/dev/null || echo 0)
86  [ "${b:-0}" -gt "${a:-0}" ] && REF=FETCH_HEAD
87fi
88ult=$(git log -1 --format=%ct --grep="cosecha granja" "$REF" 2>/dev/null)
89if [ -n "$ult" ]; then
90  edad=$(( $(date +%s) - ult ))
91  printf '   último ciclo: hace %dm %ds — %s\n' $((edad/60)) $((edad%60)) \
92    "$(git log -1 --format=%s --grep='cosecha granja' "$REF" 2>/dev/null)"
93  # dispara en :00 y :30 ⇒ más de 40 min sin commit es un latido perdido, no una pausa
94  if [ "$edad" -gt 2400 ]; then
95    echo "   ⚠ hace más de 40m que no commitea — el latido dispara en :00 y :30"
96  else
97    echo "   ✓ al día"
98  fi
99else
100  echo "   ⚠ no hay ningún commit de cosecha en el historial"
101fi
102if crontab -l 2>/dev/null | grep -q '[c]osecha-cron'; then
103  echo "   (y además está en el crontab de este usuario)"
104fi
105if [ -f work/cosecha-cron.log ]; then
106  echo "   último ciclo (tail):"
107  grep -E 'cosecha-cron (arranca|fin)|siembra|cosecha ✓|estado commit' work/cosecha-cron.log | tail -6 | sed 's/^/     /'
108fi