Odpověď hned: Pokud RAID nebo NAS hlásí degraded, critical, failed disk nebo nedokončený rebuild a data jsou důležitá, nespouštějte další rebuild naslepo. Zastavte zápisy, zdokumentujte pořadí disků, udělejte screenshoty hlášek a pole bezpečně vypněte. Profesionální obnova nezačíná přestavbou pole na originálních discích, ale sektorovým klonováním každého disku a offline rekonstrukcí z kopií.
Jeden klik. 160 TB kapacity. Čtyři roky firemních projektů. A administrátorské rozhodnutí, které na první pohled vypadalo jako rutina: vyměnit vadný disk a spustit rebuild.
Přesně takhle se k nám dostalo 20diskové RAID 6 pole z brněnské projekční firmy. NAS držel CAD dokumentaci, historické projekty a část provozních záloh. RAID 6 je přitom z principu dvouparitní pole, takže by měl přežít výpadek dvou disků. Jenže „měl by„ neznamená „je bezpečné rebuildovat staré pole bez kontroly".
Co znamená degraded RAID
Stav degraded neznamená, že jsou data ztracená. Znamená to, že RAID ztratil část redundance a běží v nouzovém režimu.
- RAID 1: jeden zrcadlený disk chybí, data jsou na druhém.
- RAID 5: chybí jeden disk, další chyba už může znamenat ztrátu pole.
- RAID 6: chybí jeden nebo dva disky, ale při dvou výpadcích už není prostor na další chybu.
- RAID 10: záleží, ve kterém mirror páru disk odešel.
Největší omyl je brát degraded stav jako výzvu k okamžitému rebuildu za každou cenu. U malého nového pole s čerstvou zálohou to může být rozumné. U čtyři roky běžícího NASu s desítkami terabajtů a bez ověřené offsite zálohy je to hazard.
Časová osa selhání
V našem případě šlo o enterprise NAS s 20 disky v RAID 6. Pole běželo nepřetržitě několik let. Uživatelé na něm měli aktivní projekty i archiv.
Pondělí ráno: selhal disk číslo 7. Pole přešlo do stavu degraded, ale data byla dostupná. Administrátor objednal náhradní disk a plánoval večerní výměnu.
Úterý ráno: ještě před doručením náhradního disku zahlásil kritickou chybu disk číslo 12. RAID 6 byl pořád teoreticky čitelný, ale už s nulovou tolerancí další chyby.
Úterý odpoledne: dorazil náhradní disk a byl spuštěn rebuild. Řadič začal číst celý povrch zbývajících disků, dopočítávat paritu a zapisovat novou kopii chybějících dat.
Po třiceti hodinách: rebuild se zastavil na chybových sektorech disku číslo 5. Ten předtím vypadal jako zdravý. Intenzivní čtení během rebuildu ale vytáhlo latentní chyby, které při běžném provozu nebyly vidět.
Středa ráno: pole bylo offline a běžnými prostředky nešlo připojit.
Tohle je přesně okamžik, kdy další pokus o rebuild, „force online", změna pořadí disků nebo inicializace nového pole může zničit i to, co je ještě obnovitelné.
Proč rebuild staré pole dorazí
Rebuild není oprava dat. Rebuild je masivní zátěžový test všech zbývajících disků.
Při běžném provozu NAS čte jen aktivní soubory a metadata. Při rebuildu musí řadič projít obrovskou část povrchu všech disků, často hodiny až dny v kuse. U starších disků se právě tehdy objeví:
- latentní vadné sektory,
- timeouty při čtení,
- slabé hlavy,
- rozjeté SMART hodnoty,
- problém s napájením nebo chlazením šachty,
- nekonzistence parity po předchozích výpadcích.
Čím větší disky, tím delší rebuild a tím větší okno rizika. U RAID 5 je problém ještě tvrdší, protože jedna další chyba během rebuildu může znamenat konec. RAID 6 má rezervu větší, ale ne nekonečnou. Pokud už jsou pryč dva disky a třetí začne vracet chyby, dvouparitní ochrana přestává stačit.
Co mělo přijít před rebuildem
Bezpečný postup u důležitého degraded RAIDu vypadá jinak:
- Zastavit zápisy. Ideálně odpojit sdílené složky, vypnout služby, zastavit virtualizaci a databáze.
- Zapsat stav. Screenshoty administrace NASu, logy, pořadí disků, sériová čísla, sloty, typ RAIDu, velikost stripe, typ filesystemu.
- Zkontrolovat SMART všech disků. Nejen toho, který NAS označil jako vadný.
- Ověřit zálohu. Ne „někde by měla být", ale reálně otevřít poslední backup a zkontrolovat data.
- U kritických dat klonovat před rebuildem. Každý originální disk číst sektorově na jiné médium. Rebuild dělat až z kopií nebo po jasném vyhodnocení rizika.
Pokud si nejste jistí, nejbezpečnější krok je nic dalšího nepřepisovat. To platí pro Synology, QNAP, TrueNAS, linux mdadm, ZFS i hardwarové řadiče Dell/HP/LSI.
Jak jsme postupovali v laboratoři
Po převzetí jsme nejdřív označili disky podle původních pozic. U RAID obnovy je pořadí zásadní. Disky se nemíchají, nepouští se automatická inicializace a nepřijímá se nabídka „repair" v administraci.
První fáze byla sektorové klonování všech disků. Vadné disky se čtou jinou strategií než zdravé: nejdřív stabilní oblasti, potom horší místa, podle potřeby čtení opačným směrem a opakované pokusy nad slabými sektory. Cíl není mít hezký SMART report. Cíl je získat co nejvíc čitelných sektorů, než se disk zhorší.
Druhá fáze byla offline analýza. U velkých polí nestačí vědět, že „to byl RAID 6". Potřebujeme přesnou geometrii:
- pořadí disků,
- stripe size,
- parity rotation,
- start offset,
- případné metadata výrobce NASu,
- stav filesystemu nad polem.
Teprve potom se skládá virtuální pole z klonů. Originály už v té fázi nechceme zatěžovat. Pokud se rekonstrukce nepovede napoprvé, mění se parametry nad kopiemi, ne nad klientskými disky.
V tomto případě se podařilo obnovit 100 % klientských dat. Klient ověřoval náhodně zvolené CAD projekty z několika let, referenční soubory i archivní složky. Aktuální projekty priority A jsme vytáhli dřív než zbytek pole, aby firma mohla pokračovat v práci, zatímco běžela úplná rekonstrukce.
Podrobnější technická case study je na stránce záchrana z 20diskového RAID 6 v NAS.
Co dělat, když RAID právě hlásí chybu
Pokud čtete tenhle článek ve chvíli, kdy NAS pípá nebo administrace svítí červeně:
- Nespouštějte rebuild opakovaně. Jeden neúspěšný rebuild je dostatečné varování.
- Nevytvářejte nové pole nad stejnými disky. Inicializace může přepsat metadata.
- Neměňte pořadí disků. Vyfoťte šachty, napište si sloty a sériová čísla.
- Nechte pole bez zápisu. Každý nový soubor komplikuje stav filesystemu.
- Nekombinujte návody z fór. mdadm, ZFS, Synology SHR, QNAP LVM a hardwarový RAID mají jiné metadatové struktury.
- Pokud existuje záloha, ověřte ji. Otevřít soubory je lepší než jen vidět, že backup job „doběhl".
Pokud jde o data, jejichž ztrátu si nemůžete dovolit, zastavte se před akcí, která zapisuje na disky. Obnova dat je nejúspěšnější ve chvíli, kdy původní stav ještě nebyl přepsaný.
RAID není záloha
RAID řeší dostupnost. Záloha řeší návrat k datům po katastrofě.
RAID vás může podržet, když odejde jeden disk a potřebujete pokračovat v práci. Neochrání vás před smazáním složky, ransomwarem, chybou administrátora, vadným řadičem, požárem, vytopením ani selháním rebuildu. Proto u firemních dat dává smysl kombinace:
- RAID/NAS pro provozní dostupnost,
- pravidelný scrub nebo patrol read,
- monitoring SMART a teplot,
- offline nebo offsite backup,
- test obnovy alespoň u kritických složek.
Pokud máte NAS jako jediné místo, kde data existují, není to záloha. Je to jediná kopie v dražší krabici.
Rychlá FAQ
Mám Synology/QNAP ve stavu degraded. Mám vložit nový disk?
Nejdřív ověřte stav všech disků a zálohu. Pokud jsou data důležitá a pole je starší, je bezpečnější konzultovat postup před rebuildem. Vložením disku často automaticky spustíte proces, který už nejde snadno vrátit.
Rebuild už běží. Mám ho zastavit?
Záleží na stavu. Pokud běží bez chyb a máte ověřenou zálohu, může doběhnout. Pokud se objevují read errory, timeouty, další failed disk nebo neobvyklé zvuky, další zátěž může škodit. V takové situaci je lepší zastavit zápisy, zdokumentovat stav a řešit klonování.
Pomůže ddrescue doma?
U jednoho disku může být ddrescue užitečný nástroj, pokud víte, co děláte a čtete na jiné médium. U RAIDu ale nestačí naklonovat „něco". Potřebujete správné pořadí disků, offset, paritu a filesystem. Chybný postup může přepsat metadata nebo zhoršit disky.
Kolik stojí záchrana dat z RAIDu?
Záleží na počtu disků, kapacitě, typu RAIDu, stavu médií a množství nutné ruční rekonstrukce. Diagnostika RAID/NAS je u nás zdarma a před samotnou obnovou dostanete odhad. Začít dává smysl přes poptávku záchrany dat z RAID nebo kontakt.
Pokud máte degraded RAID, selhaný rebuild nebo NAS offline, nezkoušejte další opravy naslepo. Volejte +420 775 556 063, napište na zachranadat@ithope.cz nebo pošlete popis přes kontakt. Laboratoř máme v Brně-Židenicích, RAID/NAS případy řešíme z celé ČR.