Diskhavari i NUUG

Wed, 17 Jul 2024 18:00:00 +0200

I NUUG har vi to uavhengige virtualiseringsrigger.

Fordelt på de to riggene kjører alle våre virtuelle maskiner (VM).
De to riggene er satt opp til å speile filsystemet der VM-ene ligger, mot hverandre via glusterfs. Så når en maskin lagrer noe blir det automatisk overført til den andre.
Tanken er at dersom en av de fysiske maskinene går ned eller får diskproblemer kan alle maskinene migreres til den andre og alle VM-er vil fungere mens man fikser maskinen som tryna.

Mandag 15 juli ca kl 22:15 døde en av diskene i RAIDet på den ene maskinen som lagrer alle VMene. Nesten to timer senere kl 23:55 døde en disk i RAIDet på den andre maskinen som også lagrer alle VMene, via den automatiserte speilingen. Det medførte at nå hadde vi Ingen maskiner igjen som hadde inntakt kopi av alle våre virtuelle maskiner.
Vi hadde komplett backup av 2 av de 20 VMene som kjørte. En misforståelse har resultert i at det ikke eksisterte backup av noen av de andre 18 maskinene.

Geekbay som hoster alle nettsidene og epost-håndteringen vår og gitlab-maskinen vår er gjennopprettet.
Den siste disken i det ene RAID-oppsettet som tryna er nå tatt ut og blir forsøkt reddet. Dette kan ta noe tid.

Vi håper på forståelse for problemene som måtte ha oppstått.

Dersom noen fremdeles har spørsmål kan de kontakte driftsgruppen, se kontaktsiden vår for kontaktopplysninger.

Driftsgruppen