sergio/takana

1#!/bin/sh
2# install-image.sh — Etapa E1 (SDD 13): produce una imagen de disco AUTO-BOOTEABLE. A diferencia de
3# scripts/disk-image.sh (B3, que se arranca con `qemu -kernel` para verificar el auto-alojamiento),
4# ésta lleva GRUB en el propio disco ⇒ bootea con `qemu-system-x86_64 -drive file=img` SIN `-kernel` ni
5# firmware extra (SeaBIOS de QEMU → MBR → core.img → kernel), como en hardware real.
6#
7# Layout (GPT, BIOS):
8#   /dev/vda1  BIOS boot (ef02, ~2 MiB, sin fs)   core.img de GRUB
9#   /dev/vda2  /                ext4  [takana-root]   + /boot/bzImage + /boot/grub
10#   /dev/vda3  /store           ext4  [takana-store]
11#   /dev/vda4  /var/lib/hammer  ext4  [takana-state]
12#
13# Instalación de GRUB en USERSPACE (sin root ni loop): grub-mkimage arma core.img; grub-bios-setup
14# escribe boot.img→MBR + core.img→partición BIOS sobre el fichero imagen (I/O de bloques). Los módulos
15# de GRUB + el kernel van en /boot de la root, que mke2fs -d puebla desde un directorio.
16#
17# Uso:
18#   ./scripts/install-image.sh                                  # crea work/takana-install.img
19#   BOOT=1 KVM=1 ./scripts/install-image.sh                     # además lo arranca (auto-boot, sin -kernel)
20#
21# Target IN-PLACE (Etapa E2): si IMG es un block device (o PREALLOC=1 sobre un fichero pre-dimensionado),
22# se instala EN SITIO — no se trunca ni se borra el nodo, sólo se valida capacidad. Esa es la base de
23# `takana install /dev/sdX` (ver scripts/takana-install.sh): misma lógica, apuntando a un disco real.
24#
25# Variables:
26#   ROOTFS      dir rootfs a empaquetar       (default work/builder-rootfs)
27#   STAGE       dir de staging                 (default work/.install-stage) — DEBE estar en el
28#               mismo montaje que ROOTFS: el staging hardlinkea y un hardlink no cruza montajes
29#   PREALLOC    1 ⇒ trata IMG como target pre-dimensionado in-place (no trunca; prueba el camino device)
30#   KERNEL      bzImage a embeber en /boot     (default el del store: store/*-linux/boot/bzImage)
31#   IMG         imagen de salida               (default work/takana-install.img)
32#   ROOT_SIZE   MiB de /         (default 4096)
33#   STORE_SIZE  MiB de /store    (default 2048)
34#   STATE_SIZE  MiB de /var/lib/hammer (default 2048)
35#   CMDLINE     línea de comando del kernel    (default "console=ttyS0 root=/dev/vda2 rw rdinit=/sbin/init")
36#   BOOT        1 ⇒ arranca la imagen con QEMU tras crearla (auto-boot, sin -kernel)
37#   KVM/MEM     passthrough al arranque de prueba
38set -eu
39ROOT="$(cd "$(dirname "$0")/.." && pwd)"
40cd "$ROOT"
41
42ROOTFS="${ROOTFS:-work/builder-rootfs}"
43IMG="${IMG:-work/takana-install.img}"
44ROOT_SIZE="${ROOT_SIZE:-4096}"
45STORE_SIZE="${STORE_SIZE:-2048}"
46STATE_SIZE="${STATE_SIZE:-2048}"
47CMDLINE="${CMDLINE:-console=ttyS0 root=/dev/vda2 rw rdinit=/sbin/init}"
48KERNEL="${KERNEL:-$(ls store/*-linux/boot/bzImage 2>/dev/null | head -1)}"
49GRUB_LIB="${GRUB_LIB:-/usr/lib/grub/i386-pc}"
50
51[ -d "$ROOTFS" ] || { echo "no existe ROOTFS: $ROOTFS (corré selfhost-verify para armar el builder)" >&2; exit 1; }
52# `-e` sigue el symlink y lo resuelve contra el HOST, no contra el rootfs. El `/sbin/init` del
53# product-rootfs es un symlink ABSOLUTO a `/usr/bin/arje-zero`, que en el host no existe ⇒ `-e` da
54# falso y esta guarda rechazaba el rootfs CORRECTO. Peor: un rootfs con el init equivocado
55# (`../bin/busybox`, symlink RELATIVO que sí resuelve dentro del árbol) la pasaba sin chistar.
56# O sea que la guarda estaba exactamente invertida. `-L` acepta el symlink por lo que es.
57[ -e "$ROOTFS/sbin/init" ] || [ -L "$ROOTFS/sbin/init" ] || { echo "ROOTFS sin /sbin/init (arje-zero)" >&2; exit 1; }
58[ -n "$KERNEL" ] && [ -r "$KERNEL" ] || { echo "no encuentro el kernel a embeber (set KERNEL=<bzImage>)" >&2; exit 1; }
59[ -d "$GRUB_LIB" ] && [ -r "$GRUB_LIB/boot.img" ] || { echo "faltan los módulos GRUB i386-pc en $GRUB_LIB" >&2; exit 1; }
60for t in sfdisk mke2fs grub-mkimage grub-bios-setup; do
61    command -v "$t" >/dev/null 2>&1 || { echo "falta $t" >&2; exit 1; }
62done
63unshare -r true 2>/dev/null || { echo "se requiere 'unshare -r' (ficheros root-owned sin sudo)" >&2; exit 1; }
64
65# El staging ENLAZA (hardlink) desde $ROOTFS, y un hardlink no cruza un montaje aunque sea el mismo
66# disco. Con el store en un volumen aparte —el layout normal de este repo: `store` y `work/out` son
67# bind-mounts de /dev/sdb y `work/` está en /dev/sdc— el rootfs vive del otro lado y `cp -al` muere
68# con EXDEV fichero por fichero. Por eso es env: ponelo bajo el MISMO montaje que $ROOTFS.
69STAGE="${STAGE:-work/.install-stage}"
70rm -rf "$STAGE"
71mkdir -p "$STAGE"
72ROOT_TREE="$STAGE/root"
73ROOT_IMG="$STAGE/root.img"
74STORE_IMG="$STAGE/store.img"
75STATE_IMG="$STAGE/state.img"
76GRUB_STAGE="$STAGE/grub"
77
78# --- árbol root: hardlinks del rootfs SIN store/estado + /boot (kernel + GRUB) + wrapper /sbin/init ---
79echo "==> staging root: rootfs (hardlinks) + /boot/bzImage + /boot/grub + wrapper /sbin/init"
80cp -al "$ROOTFS" "$ROOT_TREE"
81rm -rf "$ROOT_TREE/store" "$ROOT_TREE/var/lib/hammer"
82mkdir -p "$ROOT_TREE/store" "$ROOT_TREE/var/lib/hammer" "$ROOT_TREE/boot/grub/i386-pc"
83cp "$KERNEL" "$ROOT_TREE/boot/bzImage"; chmod 0644 "$ROOT_TREE/boot/bzImage"
84# Módulos GRUB que core.img cargará en tiempo de boot desde /boot/grub/i386-pc.
85cp "$GRUB_LIB"/*.mod "$GRUB_LIB"/*.lst "$ROOT_TREE/boot/grub/i386-pc/" 2>/dev/null || true
86# grub.cfg con consola serie (para -nographic) y el menuentry del kernel embebido.
87cat > "$ROOT_TREE/boot/grub/grub.cfg" <<CFG
88set timeout=2
89set default=0
90serial --unit=0 --speed=115200
91terminal_input serial console
92terminal_output serial console
93insmod part_gpt
94insmod ext2
95menuentry "hammer" {
96    linux /boot/bzImage $CMDLINE
97}
98CFG
99# Wrapper /sbin/init: monta las particiones dedicadas y hace exec del init real (igual que B3).
100rm -f "$ROOT_TREE/sbin/init"
101cat > "$ROOT_TREE/sbin/init" <<'INIT'
102#!/bin/sh
103# Wrapper PID1 (Etapa E/B3): el kernel montó la raíz; montamos las particiones dedicadas.
104#
105# El disco NO se cablea. Decía `/dev/vda3` y `/dev/vda4`, y eso vale sólo donde el disco es virtio-blk:
106# en una caja Hetzner Cloud la controladora es virtio-SCSI y el disco es `sda`, así que los dos
107# montajes fallaban —el sistema arrancaba igual, pero hammerd quedaba SIN /store y SIN diario, que es
108# el modo de fallo que llega hasta el final diciendo que todo fue bien—. Se deriva de dónde está
109# montada la raíz, que es la única fuente que no depende del nombre del dispositivo ni de udev.
110_root=$(/bin/busybox awk '$2=="/" {print $1; exit}' /proc/mounts)
111_disk=${_root%[0-9]}
112/bin/busybox mount -t ext4 "${_disk}3" /store          || echo "init: no pude montar /store (${_disk}3)"
113/bin/busybox mount -t ext4 "${_disk}4" /var/lib/hammer || echo "init: no pude montar /var/lib/hammer (${_disk}4)"
114exec /usr/bin/arje-zero
115INIT
116chmod +x "$ROOT_TREE/sbin/init"
117
118# --- GPT: vda1=BIOS boot (ef02), vda2=/, vda3=/store, vda4=/var/lib/hammer ---
119SECT_MIB=2048
120BIOS_SECT=4096                                   # 2 MiB para core.img
121ROOT_SECT=$(( ROOT_SIZE  * SECT_MIB ))
122STORE_SECT=$(( STORE_SIZE * SECT_MIB ))
123STATE_SECT=$(( STATE_SIZE * SECT_MIB ))
124START1=2048
125START2=$(( START1 + BIOS_SECT ))
126START3=$(( START2 + ROOT_SECT ))
127START4=$(( START3 + STORE_SECT ))
128TOTAL_SECT=$(( START4 + STATE_SECT + 2048 ))
129BIOS_GUID="21686148-6449-6E6F-744E-656564454649" # GPT "BIOS boot partition"
130
131# Target = block device (instalación in-place, Etapa E2 `takana install /dev/sdX`) o fichero imagen.
132# Un device tiene tamaño fijo: NO se trunca ni se borra el nodo; se valida capacidad. PREALLOC=1 fuerza
133# este modo sobre un fichero pre-dimensionado (para probar el camino de device sin hardware real).
134TOTAL_BYTES=$(( TOTAL_SECT * 512 ))
135if [ -b "$IMG" ] || [ "${PREALLOC:-0}" = 1 ]; then
136    cur=$(blockdev --getsize64 "$IMG" 2>/dev/null || stat -c%s "$IMG" 2>/dev/null || echo 0)
137    [ "$cur" -ge "$TOTAL_BYTES" ] || { echo "target $IMG es ${cur}B < ${TOTAL_BYTES}B requeridos" >&2; exit 1; }
138    echo "==> target IN-PLACE: $IMG ($(( cur/1024/1024 ))M disponibles; root ${ROOT_SIZE}M + store ${STORE_SIZE}M + estado ${STATE_SIZE}M)"
139else
140    echo "==> imagen : $IMG (GPT BIOS-boot, root ${ROOT_SIZE}M + store ${STORE_SIZE}M + estado ${STATE_SIZE}M)"
141    rm -f "$IMG"
142    truncate -s "$TOTAL_BYTES" "$IMG"
143fi
144sfdisk --quiet "$IMG" >/dev/null <<EOF
145label: gpt
146start=$START1, size=$BIOS_SECT,  type=$BIOS_GUID, name="bios-boot"
147start=$START2, size=$ROOT_SECT,  type=linux,      name="hammer-root"
148start=$START3, size=$STORE_SECT, type=linux,      name="hammer-store"
149start=$START4, size=$STATE_SECT, type=linux,      name="hammer-state"
150EOF
151
152# --- poblar las 3 particiones ext4 (root-owned vía unshare -r) y empalmar en su offset ---
153echo "==> mke2fs + empalme de las particiones ext4 (unshare -r, sin sudo)"
154unshare -r sh -eu <<EOF
155mke2fs -q -t ext4 -L hammer-root  -E root_owner=0:0 -d "$ROOT_TREE"               "$ROOT_IMG"  ${ROOT_SIZE}M
156mke2fs -q -t ext4 -L hammer-store -E root_owner=0:0 -d "$ROOTFS/store"            "$STORE_IMG" ${STORE_SIZE}M
157mke2fs -q -t ext4 -L hammer-state -E root_owner=0:0 -d "$ROOTFS/var/lib/hammer"   "$STATE_IMG" ${STATE_SIZE}M
158dd if="$ROOT_IMG"  of="$IMG" bs=512 seek=$START2 conv=sparse,notrunc status=none
159dd if="$STORE_IMG" of="$IMG" bs=512 seek=$START3 conv=sparse,notrunc status=none
160dd if="$STATE_IMG" of="$IMG" bs=512 seek=$START4 conv=sparse,notrunc status=none
161EOF
162
163# --- instalar GRUB en userspace SIN root/loop: grub-mkimage arma core.img, y un patch binario
164#     determinista coloca boot.img→MBR + core.img→BIOS boot partition (vda1) ajustando los punteros.
165#     (`grub-bios-setup` se descarta: sondea el disco FÍSICO del host —/dev/nvme…, 660 root:disk— para
166#      "adivinar el root device" del dir -d, y falla sin root; el patch manual evita ese sondeo.)
167echo "==> instalar GRUB (grub-mkimage + patch binario boot/core, sin root/loop)"
168mkdir -p "$GRUB_STAGE"
169# core.img: prefix a (hd0,gpt2)/boot/grub (root = 2ª partición GPT); embebemos lo justo para leer
170# GPT+ext2, cargar grub.cfg (normal/configfile) y el kernel (linux).
171grub-mkimage -O i386-pc -p '(hd0,gpt2)/boot/grub' -o "$GRUB_STAGE/core.img" \
172    biosdisk part_gpt ext2 normal configfile linux echo ls boot
173# Punteros (ABI estable de GRUB i386-pc):
174#   boot.img  off 0x5c  kernel_sector (u64 LE): LBA del 1er sector de core.img      → START1
175#   core.img  off 0x1F4 blocklist.start (u64 LE): LBA del RESTO de core.img         → START1+1
176# Verificamos los valores por defecto (1 y 2: core.img asumido contiguo tras el MBR) antes de tocar.
177START1="$START1" GRUB_LIB="$GRUB_LIB" GRUB_STAGE="$GRUB_STAGE" IMG="$IMG" python3 - <<'PY'
178import os, struct
179s1   = int(os.environ["START1"])
180img  = os.environ["IMG"]
181boot = open(os.path.join(os.environ["GRUB_LIB"], "boot.img"), "rb").read()
182core = bytearray(open(os.path.join(os.environ["GRUB_STAGE"], "core.img"), "rb").read())
183boot = bytearray(boot)
184assert struct.unpack_from("<Q", boot, 0x5c)[0] == 1,  "boot.img kernel_sector != 1 (ABI GRUB cambió)"
185assert struct.unpack_from("<Q", core, 0x1f4)[0] == 2, "core.img blocklist.start != 2 (ABI GRUB cambió)"
186struct.pack_into("<Q", boot, 0x5c,  s1)       # core.img empieza en START1
187struct.pack_into("<Q", core, 0x1f4, s1 + 1)   # el resto de core.img, justo después
188with open(img, "r+b") as f:
189    f.seek(s1 * 512); f.write(core)           # core.img → BIOS boot partition (vda1)
190    f.seek(0);        f.write(boot[:440])      # boot.img → MBR, sin pisar la GPT protective (446+)
191print(f"   boot.img→MBR (kernel_sector={s1}), core.img→sector {s1} ({len(core)} B), blocklist.start={s1+1}")
192PY
193
194rm -rf "$STAGE"
195echo "==> imagen instalable creada: $(du -h "$IMG" | cut -f1) en disco (sparse), $(( TOTAL_SECT * 512 / 1024 / 1024 ))M virtuales"
196echo "    auto-boot: qemu-system-x86_64 -drive file=$IMG,format=raw -nographic   (sin -kernel)"
197
198if [ "${BOOT:-0}" = 1 ]; then
199    echo "==> arranque de prueba (auto-boot, sin -kernel)"
200    accel=""
201    [ "${KVM:-0}" = 1 ] && [ -w /dev/kvm ] && accel="-enable-kvm -cpu host"
202    # shellcheck disable=SC2086
203    exec qemu-system-x86_64 -m "${MEM:-4096}" -no-reboot -nographic $accel \
204        -drive file="$IMG",format=raw,if=virtio
205fi