sergio/takana

1#!/usr/bin/env bash
2# farm-sync.sh <user@host> — orquesta el worker VPS desde el HUB (laptop). Una sola pasada:
3#   1. sube código + recipes/incoming/ al worker (rsync, el worker no toca gitea)
4#   2. baja el store/ sellado que el worker construyó
5#   3. promueve+firma lo cosechado (cache-hit instantáneo en los artefactos bajados) + commit/push
6#
7# El acceso es UNO solo: laptop->VPS por SSH (la clave de firma y gitea nunca salen del laptop).
8# Idempotente y seguro de re-correr. Pensado para correr cada vez que el laptop está online.
9#
10# Uso:    scripts/farm/farm-sync.sh root@1.2.3.4
11#         scripts/farm/farm-sync.sh root@1.2.3.4 --no-promote   # sólo sincroniza, no firma
12# Env:    SSH_KEY (def ~/.ssh/github5), REMOTE (def /opt/hammer)
13set -euo pipefail
14
15VPS="${1:?uso: farm-sync.sh user@host [--no-promote]}"
16SSH_KEY="${SSH_KEY:-$HOME/.ssh/github5}"
17REMOTE="${REMOTE:-/opt/hammer}"
18ROOT="$(cd "$(dirname "$0")/../.." && pwd)"
19cd "$ROOT"
20SSH="ssh -i $SSH_KEY -o StrictHostKeyChecking=accept-new"
21
22# El MANIFIESTO de lo ya sellado en el hub, para que el worker no rehaga trabajo hecho. Es la otra
23# mitad del arreglo del sync unidireccional (ver la nota en `scripts/build-farm.sh`): el store no
24# viaja hub→worker porque son gigabytes, pero la lista de nombres son kilobytes y evita que el worker
25# reintente y falle cada ciclo lo que el hub ya tiene. Se regenera acá, en cada sync, para que no se
26# quede vieja sola.
27#
28# ── ⚠ EL MANIFIESTO NO ES `ls ./store` ─────────────────────────────────────────────────────────
29# Lo fue hasta el 2026-08-09, y desde que el store se mudó al VOLUMEN eso pasó a ser una mentira
30# cara: el disco local se quedó con 220 artefactos (los de fuente privada + lo aún no respaldado),
31# así que `ls ./store` le habría dicho al worker «el hub tiene 220» y el worker habría reconstruido
32# ~950 artefactos que ya existen. Es exactamente el bucle que este fichero documenta más abajo, pero
33# al revés y multiplicado: no devolver basura, sino rehacer lo hecho.
34#
35# La pregunta que el worker hace es «¿esto ya está sellado?», no «¿esto está en el disco del hub?».
36# Se responde con la UNIÓN de lo que hay en el disco y lo que registran los manifiestos — el mismo
37# criterio que usa `build-state.py`, y por la misma razón: la presencia de los bytes y el hecho de
38# estar construido dejaron de ser lo mismo el día que el store dejó de vivir acá.
39mkdir -p work
40{
41  ls ./store 2>/dev/null | grep -E '^[0-9a-f]{64}-' || true
42  # `respaldo-sellados.txt` (lo que hay en el Storage Box) y el propio manifiesto del ciclo anterior,
43  # que arrastra lo que el worker selló y todavía no llegó a ningún otro registro.
44  cat work/respaldo-sellados.txt work/farm-sellados.txt 2>/dev/null || true
45} | grep -E '^[0-9a-f]{64}-' | sort -u > work/farm-sellados.txt.new
46# Guardián: el manifiesto sólo puede CRECER salvo poda explícita. Si encoge, algo se perdió y es más
47# barato abortar el sync que mandar al worker a rehacer un corpus.
48VIEJO=$(wc -l < work/farm-sellados.txt 2>/dev/null || echo 0)
49NUEVO=$(wc -l < work/farm-sellados.txt.new)
50if [ "$NUEVO" -lt "$VIEJO" ]; then
51  echo "⚠ el manifiesto ENCOGIÓ ($VIEJO → $NUEVO) — no sincronizo; revisá antes de que el worker rehaga trabajo" >&2
52  rm -f work/farm-sellados.txt.new; exit 1
53fi
54mv work/farm-sellados.txt.new work/farm-sellados.txt
55echo "==> 0. manifiesto de sellados: $NUEVO artefactos (disco local: $(ls ./store 2>/dev/null | grep -cE '^[0-9a-f]{64}-'))"
56
57echo "==> 1. subiendo código + cola al worker ($VPS:$REMOTE)"
58rsync -az --delete -e "$SSH" \
59  --include '/work/' --include '/work/farm-sellados.txt' \
60  --exclude /work --exclude /store --exclude '/store-*' --exclude /target \
61  --exclude /dist --exclude /.dev-fs --exclude /.git --exclude /.scratch \
62  --exclude '*.png' --exclude '/content*' \
63  ./ "$VPS:$REMOTE/"
64
65echo "==> 2. bajando artefactos sellados del worker"
66# ── ⚠ NO BAJAR LO QUE YA PODAMOS: era un BUCLE DE CHURN DE 24 G ────────────────────────────────
67# Medido el 2026-08-07: `store-gc.sh` borró 362 artefactos superados (24 G) por la mañana y por la
68# tarde volvió a borrar **los mismos 362** — solapamiento del 100%. No era casualidad: este rsync
69# bajaba el store del worker ENTERO, y el worker nunca se poda, así que conservaba los superados y
70# nos los devolvía en cada cosecha. Podar → cosechar → vuelven → podar. El disco pagaba 24 G por
71# vuelta y la métrica de espacio libre mentía sobre el progreso.
72#
73# El registro `work/store-gc-superados.txt` es la unión de todos los manifiestos de poda: nombres
74# `<hash>-<paquete>` de artefactos que YA decidimos que sobran. Como el store es CAS —los nombres
75# son inmutables y un artefacto superado no vuelve a ser vigente salvo que una receta retroceda—
76# excluirlos es seguro; y si una receta retrocediera, su artefacto se reconstruye, que es barato.
77LEDGER="work/store-gc-superados.txt"
78if [ -s "$LEDGER" ]; then
79  echo "    (excluyendo $(wc -l < "$LEDGER") artefactos ya podados — ver la nota del bucle de churn)"
80  rsync -az -e "$SSH" --exclude-from="$LEDGER" "$VPS:$REMOTE/store/" ./store/
81else
82  rsync -az -e "$SSH" "$VPS:$REMOTE/store/" ./store/
83fi
84
85if [ "${2:-}" = "--no-promote" ]; then
86  echo "✓ store sincronizado (sin promote)"; exit 0
87fi
88
89echo "==> 3. promote + firma (cache-hit en lo que el worker selló)"
90scripts/build-farm.sh
91
92echo "==> 4. commit + push de la cosecha"
93git add recipes/ tandas/ 2>/dev/null || true
94if ! git diff --cached --quiet; then
95  git commit -q -m "Etapa G: cosecha del worker VPS — promote + firma"
96  git push -q origin main && echo "✓ pusheado"
97else
98  echo "(nada nuevo que commitear)"
99fi