Linus tech tips að Tapa gögnum af Fileserver

[Hjaltiatla]

Er Þetta ekki bara gott dæmi um að það er ekki verið að monitora netþjón eftir að hann var settur upp, t.d að láta senda sér email ef það koma upp critical villur.Einnig mjög einfalt að stilla scrub tasks og SMART error check tösk í Webgui í freenas/truenas core. Munur á Raid og Raidz er að ZFS allavegana lætur þig vita af villunum og það er ekki eins mikil hætta á silent data corruption. Þegar það koma upp checksum errorar þá reynir ZFS að leiðrétta villur og lætur þig vita af því ef það gekk eða ekki (en að sjálfsögðu þarftu að vakta þær villur). Ef það væri verið að vakta netþjóninn þá eflaust hefðu þau geta brugðist betur við.
Já ágætt að minna á að Raid/RaidZ != backup


Einhverjar skoðanir á þessu máli ?

[Njall_L]

Eins og hann viðurkennir nú sjálfur í þessu myndbandi þá er þetta akkúrat dæmi um eitthvað sem hefði verið hægt að afstýra ef búnaðnum hefði verið haldið við og hann monitoraður.

Að því sögðu þá fannst mér þetta gott myndband fyrir smá vitunarvakningu að svona búnaður er ekki alveg set it and forget it, tók það sem dæmi til míns sjálfs og kíkti aðeins yfir búnaðinn sem ég er sjálfur að keyra hérna heimavið.

[nidur]

Ekki gaman að tapa gögnum, en það var gaman að sjá þá viðurkenna svona basic villur í uppsetningu á ZFS. Algerlega þeim að kenna.

Scrub er algert basic atriði í svona, og að kíkja á statusinn við og við.

[Revenant]

Afritun er ekki ókeypis og er alltaf mat hversu mikil þörf er á henni.

Eins og hann bendir á eru þetta "nice to have" gögn sem myndu kosta 5-10.000 USD á mánuði í afritun í skýjalausn (8-16 milljónir króna á ári).
Að afrita 1 PB yfir 10 gígabit nettengingu tekur síðan 9-10 daga á fullum afköstum. Að sama skapi tekur það jafn langan tíma (oftast mun lengri) að endurheimta þessi gögn frá skýjaþjónustu.

Þegar þú ert komin í mjög stór gagnasett (PB+) þá hættir hefðbundin afritun að vera skilvirk því tíminn sem tekur að afrita (og endurheimta) er bara allt of langur.

[Hjaltiatla]

Afritun er ekki ókeypis og er alltaf mat hversu mikil þörf er á henni.

Eins og hann bendir á eru þetta "nice to have" gögn sem myndu kosta 5-10.000 USD á mánuði í afritun í skýjalausn (8-16 milljónir króna á ári).
Að afrita 1 PB yfir 10 gígabit nettengingu tekur síðan 9-10 daga á fullum afköstum. Að sama skapi tekur það jafn langan tíma (oftast mun lengri) að endurheimta þessi gögn frá skýjaþjónustu.

Þegar þú ert komin í mjög stór gagnasett (PB+) þá hættir hefðbundin afritun að vera skilvirk því tíminn sem tekur að afrita (og endurheimta) er bara allt of langur.

Góður punktur með RTO (Recovery Time Objective) og með stór gagnasett þá er Local snapshot í Truenas core algjör snilld að mínu mati ef Storage pool er haldið við af einhverju viti. Persónulega finnst mér það einn af sterkari fídusum ZFS t.d ef það kemur upp Ransomware og þú þarft að restore-a gögnum frá Snapshoti af diskastæðunni sjálfri sérstaklega með stór gagnasett og að þurfa ekki að fara alla leið á aðra diskastæðu til að recovera gögn. En auðvitað í þessu tilfelli er um að ræða Data corruption og á ekkert endilega við svo sem.

[TheAdder]

Þetta er mjög gagnlegt myndband hjá þeim. Viðvörun um að hafa hlutina í lagi.
Mér finnst reyndar frekar furðulegt/áhugavert að það sé ekki komin UT einstaklingur eða deild í fasta vinnu hjá þeim, eins stórt og þetta batterý er orðið, þá er ótrúlegt að það rúlli áfram með UT vinnuna í hjáverkum hinna og þessa.

[Hjaltiatla]

Þetta er mjög gagnlegt myndband hjá þeim. Viðvörun um að hafa hlutina í lagi.
Mér finnst reyndar frekar furðulegt/áhugavert að það sé ekki komin UT einstaklingur eða deild í fasta vinnu hjá þeim, eins stórt og þetta batterý er orðið, þá er ótrúlegt að það rúlli áfram með UT vinnuna í hjáverkum hinna og þessa.

Hann kom reyndar inná að þetta voru ekki Mission critical gögn, ég reikna með að bókhaldskerfi og álíka mikilvæg gögn falli undir mikilvæg gögn hjá þeim og vonandi að þau gögn séu afrituð að einhverju viti (hann hefur einhvern tíman komið inná 3-2-1 backup regluna í eldri video-um). Spurning hvort hann tileinki sér það sem hann predikar hvað það varðar

[TheAdder]

Ég fór í það minnsta og kláraði alert stillingar hjá mér og staðfesti að scrub tasks væru í lagi

[Hjaltiatla]

Ég fór í það minnsta og kláraði alert stillingar hjá mér og staðfesti að scrub tasks væru í lagi

Getur einnig reynt að cherry picka gögn og afrita t.d yfir í Amazon S3 glacier deep archive eða Backblaze sem er aðeins ódýrara í gegnum Cloud sync task fídusinn í truenas core.
Sjálfur er ég hrifnari af S3 því þeir bjóða uppá að senda þér búnað gegn gjaldi bæði til að upload gögnum í skýið eða ef þú þarft að recovera gögnum og Exporta yfir á File server.

https://aws.amazon.com/snowball/?whats- ... order=desc
https://www.amazonaws.cn/en/snowball/faq/

[TheAdder]

Ég fór í það minnsta og kláraði alert stillingar hjá mér og staðfesti að scrub tasks væru í lagi

Getur einnig reynt að cherry picka gögn og afrita t.d yfir í Amazon S3 glacier deep archive eða Backblaze sem er aðeins ódýrara í gegnum Cloud sync task fídusinn í truenas core.
Sjálfur er ég hrifnari af S3 því þeir bjóða uppá að senda þér búnað gegn gjaldi bæði til að upload gögnum í skýið eða ef þú þarft að recovera gögnum og Exporta yfir á File server.

https://aws.amazon.com/snowball/?whats- ... order=desc
https://www.amazonaws.cn/en/snowball/faq/

Ég þakka ábendinguna, þegar ég fer að vera með critical gögn, þá fer ég í frekari afritanir.

[Baldurmar]

Ég fór í það minnsta og kláraði alert stillingar hjá mér og staðfesti að scrub tasks væru í lagi

Getur einnig reynt að cherry picka gögn og afrita t.d yfir í Amazon S3 glacier deep archive eða Backblaze sem er aðeins ódýrara í gegnum Cloud sync task fídusinn í truenas core.
Sjálfur er ég hrifnari af S3 því þeir bjóða uppá að senda þér búnað gegn gjaldi bæði til að upload gögnum í skýið eða ef þú þarft að recovera gögnum og Exporta yfir á File server.

https://aws.amazon.com/snowball/?whats- ... order=desc
https://www.amazonaws.cn/en/snowball/faq/

BackBlaze býður líka upp á physical medium til að fá backup:
https://www.backblaze.com/restore.html

Restore By Mail

Have a USB Flash Drive (256GB for $99) or a USB Hard Drive (up to a 8TB for $189) sent to you via FedEx. You can even send the drive back to Backblaze within 30 days for a refund.

[Dropi]

Unraid er með default scrub (parity check) vikulega, er ég að skilja þá rétt að þeirra server keyrði parity check nákvæmlega 0 sinnnum á 4-5 árum ?!

Hef verið LTT fan í mörg mörg ár, vá hvað mér finnst þeir glæfralegir með gögnin sín.

[Hjaltiatla]

Unraid er með default scrub (parity check) vikulega, er ég að skilja þá rétt að þeirra server keyrði parity check nákvæmlega 0 sinnnum á 4-5 árum ?!

Hef verið LTT fan í mörg mörg ár, vá hvað mér finnst þeir glæfralegir með gögnin sín.

Finnst þetta frekar skrítið ef rétt reynist , Truenas core Býr líka til sjálfkrafa scrub task þegar þú býrð til Storage pool.
Mögulega hafa þau verið að fikta eitthvað en já ég skildi hlutina þannig eftir að horfa á video-ið.

https://www.truenas.com/docs/core/tasks/scrubtasks/

[TheAdder]

Unraid er með default scrub (parity check) vikulega, er ég að skilja þá rétt að þeirra server keyrði parity check nákvæmlega 0 sinnnum á 4-5 árum ?!

Hef verið LTT fan í mörg mörg ár, vá hvað mér finnst þeir glæfralegir með gögnin sín.

Rétt skilið hjá þér, þeir voru að keyra ekki einn, heldur tvo petabyte servera með þeirra eigin zfs uppsetningu í debian.
Þetta er hreinlega ótrúlegt hjá þessu batteríi