SMR disk v NAS: proč vypadne z pole při rebuildu

Odpověď hned: Šindelový (SMR) disk umí přijmout prvních zhruba 20 až 50 GB rebuildu plnou rychlostí — do vyrovnávací oblasti zapsané klasicky. Jakmile se zaplní, musí přepisovat celé pásy překrytých stop v reálném čase a propustnost padá ze zhruba 150 MB/s na jednotky MB/s. Řadič a ZFS ale mají na odpověď limit 8 až 20 sekund; když ho disk překročí, vyhodí chybu a disk z pole odpojí. A protože se to stane uprostřed zápisu vnitřní mapy sektorů, z „pomalého disku” se v tu chvíli stane disk s rozbitou mapou, který hlásí nulovou kapacitu. Proto se SMR do pole nedává — ne kvůli rychlosti při běžné práci.

Čím se tenhle výpadek liší od toho běžného

Disk může z pole vypadnout ze dvou úplně jiných důvodů a pletou se skoro pokaždé.

První je nesoulad časových limitů: desktopový disk narazí na slabý sektor, zacyklí se ve vnitřních pokusech o přečtení a pole se čekání vzdá dřív, než skončí. Disk je přitom zdravý a po restartu normálně čte. Řeší se nastavením ERC/TLER a rozebírá ho disk vypadává z NAS, i když je zdravý.

Druhý je šindelový zápis a chová se jinak: nejde o jedno nečitelné místo, ale o to, že disk přestane stíhat zápis, který mu pole posílá. Nezacyklí se na sektoru — je zaneprázdněný sám sebou. A hlavně: zatímco u nesouladu timeoutů disk odpojení přežije bez následků, tady ho může trvale poškodit. Rozdíl mezi oběma způsoby zápisu obecně popisuje přehled technologií CMR a SMR.

Co se v disku děje během rebuildu

Šindelový disk má stopy překryté jako tašky na střeše, takže nemůže přepsat jednu, aniž by poškodil sousední. Řeší to obchvatem, který má tři části:

  1. Vyrovnávací oblast (media cache). Kus plotny zapsaný klasicky, kam příchozí zápisy dopadnou nejdřív. Je malá, jednotky procent kapacity.
  2. Úklid na pozadí. Když má disk chvíli klid, přesouvá data z vyrovnávací oblasti do překrývaných pásů.
  3. Překladová mapa. Aby disk věděl, kde který sektor právě fyzicky leží, vede si tabulku ve své servisní oblasti — u Western Digital modul 190. Mění se prakticky při každém zápisu.

Při rebuildu do disku míří dlouhý souvislý zápis a žádný klid na úklid nepřijde. Rossmann Group popisuje sled událostí takhle: vyrovnávací oblast pobere prvních 20 až 50 GB plnou rychlostí, pak dojde a disk musí u každého dalšího zápisu přečíst celý pás, upravit ho a zapsat zpátky. Propustnost spadne ze zhruba 150 MB/s na jednotky MB/s a procesor disku mezitím upřednostní vlastní úklid před obsluhou hostitele. Hardwarové řadiče i ZFS vynucují limit odpovědi na příkaz 8 až 20 sekund. Když ho disk překročí, řadič ohlásí chybu IDNF (Sector ID Not Found) a disk z pole vyřadí.

A tady se to zlomí. Odpojení přijde uprostřed aktualizace překladové mapy a nechá ji rozepsanou. Modul 190 u větších kapacit kvůli velikosti nemá běžný kontrolní součet, takže se částečné poškození nepozná hned — pozná se, až disk přestane odpovídat. Disk, který měl pole zachránit, je najednou sám případ na záchranu dat.

Kolik času to reálně stojí

ServeTheHome to v květnu 2020 změřil na skutečném poli: čtyřdiskový RAIDZ zaplněný zhruba na 60 %, během resilveru navíc síťová zátěž. Tři klasické disky — WD40EFRX, Seagate IronWolf ST4000VN008 a HGST 0F26902 — dopočítaly pole pod sedmnáct hodin. Šindelový WD40EFAX na stejné úloze potřeboval téměř 230 hodin, tedy devět dní a čtrnáct hodin. Test zopakovali na druhém kusu, aby vyloučili chybu obsluhy; výsledek byl stejný.

Devět dní navíc není nepohodlí. Je to devět dní bez parity, kdy jakýkoli další problém znamená ztrátu dat. Proč je rebuild nejnebezpečnější okamžik v životě pole, rozebírá proč rebuild zabíjí RAID pole.

Poctivě k tomu patří i druhá strana. Western Digital ve firemním vyjádření z 23. června 2020 uvádí, že při rebuildu na běžné platformě Synology nebo QNAP (tedy bez ZFS) se jejich šindelové disky chovají srovnatelně s klasickými, nebo jsou o něco pomalejší. Zároveň ale přiznává, že u ZFS resilveru souvislé náhodné zápisy nenechají disku volný čas na vnitřní úklid, což vede k výrazně nižšímu výkonu — a pro takové nasazení doporučuje vlastní CMR řady. I výrobce tedy říká, že do pole, které se dopočítává pod zátěží, tenhle typ disku nepatří.

Jak výpadek vypadá, když se stane

V NASu to nezačne hláškou „disk selhal”. Typicky uvidíte:

  • rebuild zastavený na nějakém procentu, u kterého roste odhad zbývajícího času;
  • svazek přepnutý do degradovaného stavu i po vložení nového disku;
  • disk označený jako vadný krátce po startu obnovy, ne po dnech provozu;
  • NAS, který nejde korektně vypnout ani restartovat, protože čeká na disk.

Na stole pak takový disk podle Rossmann Group hlásí nesmyslnou kapacitu — 0 B, 32 MB nebo zlomek skutečné velikosti — chybí tabulka oddílů a v BIOSu je vidět, ale v systému nikdy nedojede do stavu ready. Vypadá to na mrtvou elektroniku, přitom plotny, hlavy i motor mohou být v pořádku a data na plotnách jsou — disk jen neví, kde je má hledat. Samostatně dokumentovanou vlnu poruch téhle mapy u 2–6TB modelů WD Blue a WD Red popisuje porucha firmwaru SMR disků WD.

Když se tohle stane, platí jedno pravidlo, které se dá porušit jenom jednou: nespouštějte druhý rebuild. Další pokus přepíše zbytky mapy, ze kterých se dá původní stav rekonstruovat. Ze stejného důvodu se disk v laboratoři nezapíná bez hardwarové ochrany proti zápisu — firmware se po startu pokouší mapu opravit sám a přitom přepíše přesně ta data, která jsou k obnově potřeba.

Kdy to nezkoušet sám: pokud SMR disk vypadl během rebuildu a hlásí nesmyslnou kapacitu, nebo se pole po výpadku dalšího disku rozpadlo, NAS vypněte a disky označte podle šachet. My disky naklonujeme s ochranou proti zápisu, pole složíme nad kopiemi a před placenou prací vám řekneme, co je k dispozici a za kolik. Víc na stránce záchrana dat z RAID a NAS, poptávku pošlete přes formulář.

Jak SMR poznat dřív, než ho dáte do šachty

Ze SMART to nepoznáte, technologii zápisu žádný atribut nehlásí. Krátký test rychlosti taky ne — dokud se vyrovnávací oblast nezaplní, chová se disk normálně. Zůstává typové číslo ze štítku nebo z smartctl -i, porovnané s tabulkou výrobce; vyhledávací přehled napříč značkami je v článku podle typového čísla poznáte, který disk do NAS nepatří.

Pro NAS stačí znát dvě věci. Za prvé, u WD Red rozhoduje koncovka: EFAX je šindelový, EFRX i EFPX (Red Plus) jsou klasické. Šindelové jsou dokumentovaně WD20EFAX, WD30EFAX, WD40EFAX a WD60EFAX, tedy kapacity 2 až 6 TB — přesně ty, které se do domácích a firemních NASů kupují nejčastěji. Podle firemního vyjádření WD z června 2020 je Red Plus jméno pro klasické disky téže rodiny a Red Pro zůstává klasický taky.

Za druhé — a tohle je past, na kterou se naráží u bazarových disků: oficiální seznam výrobce není důkaz. Ten dokument popisuje sortiment, který se v jednom konkrétním okamžiku dodával, ne úplný historický katalog. Když v něm model není, neznamená to automaticky, že je klasický; znamená to, že se musíte podívat do datasheetu toho konkrétního modelu. „Ověřil jsem v seznamu výrobce” je u disku z inzerátu argument, který neobstojí.

Past, kterou má jenom šindelový disk: příkaz TRIM

Tohle je rozdíl, který se u klasických disků neřeší. TRIM — příkaz, kterým systém oznamuje, že smazané sektory už nejsou potřeba — je u pevných disků prakticky výsadou těch šindelových.

Na klasickém disku smazaný soubor leží na plotně dál, dokud ho něco nepřepíše, a proto se dá obnovit. Na šindelovém disku TRIM okamžitě vyhodí ty sektory z překladové mapy. Disk pak vrací systému nuly, přestože fyzicky data na plotně pořád jsou — a úklid na pozadí je během chvíle skutečně přepíše. Okno na obnovu smazaných souborů je tedy řádově kratší než u klasického disku a zavírá ho sám disk, bez ohledu na to, co dělá uživatel.

Proto první krok při podezření nezní „zkusím obnovovací program”, ale odpojit. Dokud systém disk drží připojený, může posílat TRIM a zapisovat do žurnálu.

Když už SMR v poli je

Rozhodnutí se liší podle toho, v jakém stavu pole zrovna je.

Stav poleCo udělat
Běží bez chyb, žádná výměna se neplánujeNespouštějte nic navíc — scrub, benchmark ani hromadné kopírování. Ověřte, že máte zálohu mimo pole, ze které jde obnovit.
Běží, ale chystáte výměnu disku nebo rozšířeníNový disk kupte klasický a měňte po jednom, s odstupem. Postup popisuje rozšíření NAS o větší disky.
Pole je degradované, rebuild ještě neběžíNezačínejte výměnou. Nejdřív zjistěte, proč disk vypadl — u Synology Storage Pool Degraded a Volume Crashed.
Rebuild běží a stojí na jednom procentuZastavte zápisové úlohy. Jsou-li sdílené složky dostupné, kopírujte data mimo pole — jak vytáhnout data z NAS.
Disk vypadl a hlásí nesmyslnou kapacituNespouštět druhý rebuild a disk nezapínat. Patří na diagnostiku, ne zpátky do šachty.

Dvě věci platí ve všech řádcích. Disky mezi šachtami nepřehazujte — pořadí je součástí informace o poli. A RAID není záloha ani se dvěma paritami; případy, které končí v laboratoři, mívají RAID 6 a žádnou nezávislou kopii. Co se dá dělat, když už pole spadlo, popisuje záchrana dat z RAID pole.

Dohra, která z toho zbyla

Kauza měla i právní pokračování. Podle Tom’s Hardware navrhl Western Digital v červnu 2021 smír ve výši 2,7 milionu dolarů, s výplatou 4 až 7 dolarů za disk a bez nutnosti dokládat nákup; součástí návrhu bylo i uznání, že šindelové WD Red disky nejsou vhodné pro NAS a RAID.

Pro majitele NASu z toho neplyne odškodnění, ale jediné použitelné poučení: označení řady na štítku nestačí, rozhoduje typové číslo. Disk s nápisem WD Red může být do pole vhodný i nevhodný, podle dvou písmen uprostřed kódu.

Časté dotazy

Můžu SMR disk nechat v poli, když teď všechno funguje?

Dokud se nic nemění, pole běží. Problém nastane při výměně nebo rozšíření, tedy při rebuildu — plánovaná údržba je tu nebezpečnější než běžný provoz.

Pomůže, když rebuild pustím v noci bez zátěže?

Částečně — disk dostane víc klidu na vnitřní úklid. Vyrovnávací oblast to ale nezvětší a souvislý zápis rebuildu ji zaplní tak jako tak. Šance na dokončení roste, jistota nevzniká.

Jak poznám, že disk vypadl kvůli SMR, a ne kvůli timeoutu ERC/TLER?

Podle okamžiku a chování. Nesoulad timeoutů se projeví u čtení a disk se po restartu vrátí v pořádku. Šindelový disk odejde během zápisu při rebuildu a po restartu často hlásí nesmyslnou kapacitu.

Nastavení ERC/TLER ten problém nevyřeší?

Ne. ERC zkracuje dobu, po kterou se disk pokouší přečíst problémový sektor. Šindelový disk se ale nezasekl na čtení, on nestíhá zápis — a to nastavením timeoutu nespravíte.

Jde z disku s rozbitou mapou data dostat?

Často ano, protože mechanika bývá v pořádku a data na plotnách jsou. Podmínkou je, aby se s diskem nic nedělo: žádný druhý rebuild, žádné připojení, žádný obnovovací program.

Zdroje

Nevíte, jestli máte v NASu šindelové disky, nebo vám rebuild stojí na jednom procentu? Projdeme s vámi výpis modelů a logy dřív, než se spustí další pokus o obnovu — jednorázově i v rámci správy IT pro firmy a auditu IT. Když už pole nenaběhlo, navazuje záchrana dat z RAID a NAS. Ozvěte se přes kontakt, telefon +420 775 556 063 nebo e-mail info@ithope.cz. Disky zatím nechte v šachtách a hlavně je nepřehazujte — pořadí je při obnově zásadní.