Almennilegt heimasmíðað backup kerfi

[izelord]

Sælir vaktarar.

Nú er svo komið að ég þarf að tryggja mig fyrir gagnatapi. Þegar ég framkvæmi eitthvað þá fer ég alla leið með það, enda dugar hálfkák sjaldnast.

Það sem ég ætla að setja upp er í senn gagnaþjónn og afritunarþjónn. Ég vill hafa afritunarferlið einfalt gagnvart endanotanda, sjálfvirkt, hraðvirkt og öruggt. Ég vill geta sýslað með gögnin í rauntíma.

Uppsetningin sem ég hafði í huga er eftirfarandi:
Staðsetning A - Þjónn 1:
Linux vél uppsett með 6TB í Raid 5 sem gefa heildarpláss upp á 4TB. Einn diskur má klikka án gagnataps.

Staðsetning B - Þjónn 2:
Linux vél uppsett með 6TB í Raid 5 sem gefa heildarpláss upp á 4TB. Einn diskur má klikka án gagnataps.

Þjónn 1 og 2 eru samhæfðir í rauntíma yfir 100mbit ljósleiðara. Þeir keyra nákvæmlega sömu uppsetningu og innihalda nákvæmlega sömu gögn. Hvor um sig er tryggður gagnvart ónýtum disk og það að hafa þá á sitthvorum staðnum gerir þetta að "offsite backup" uppsetningu sem tryggir gögnin gagnvart eldsvoða, innbrotum, vatnsleka osfrv.

Staðsetning A - Þjónn 3:
Linux vél uppsett með 6TB í Raid 5 sem gefa heildarpláss upp á 4TB. Einn diskur má klikka án gagnataps.
Software offline vél sem tekur afrit af Þjóni 1 annan hvern morgun kl 5 þegar minnstar líkur eru á annarri gagnavinnslu. Þetta er til að tryggja gagnvart mistökum endanotanda (eyðing á röngum skrám) sem og ýmsum öðrum kvillum (vírusum og tölvuárásum) sem gætu hrjáð hinar stæðurnar.

Þessi uppsetning sem ég hef í huga gerir það að verkum að hvor gagnastæða um sig gefur staðsetningu A og B aðgang að tryggðum og samhæfðum gögnum á 1Gbit hraða innandyra. Heildarstærð er "ekki nema" 4TB sem þó dugar 99% heimila upp á helstu gögn að gera. Ég hef ekki mikið hugsað út í aðgangsstýringu gagnanna, dulkóðun þeirra eða þvíumlíku þar sem ekki væri um að ræða gögn sem ekki mættu fara á b2.

Ég ákvað að henda þessu hingað inn til að fá ykkar álit á þessari uppsetningu. Ég geri mér grein fyrir því að kostnaðurinn er þannig séð mikill fyrir "örugg 4TB" en ég sé ekkert annað í boði.

Menn mega endilega henda inn hugmyndum að sync hugbúnaði og öðrum hugbúnaði.

[urban]

er ekki svolítið overkill að vera með 18 TB pláss og nýta ekki nema 4 TB ?

þarftu 3 þjóna ?
er einhver sérstakur tilgangur á því ?
áttu ekki að geta verið með 2 ?

[izelord]

er ekki svolítið overkill að vera með 18 TB pláss og nýta ekki nema 4 TB ?

þarftu 3 þjóna ?
er einhver sérstakur tilgangur á því ?
áttu ekki að geta verið með 2 ?

Ég fór akkúrat yfir þessa tölu nokkrum sinnum í hausnum og var mikið að spá í þessari "sóun" á 12TB. Það sem þriðji þjónninn þó gerir er að tryggja gögnin gagnvart mistökum notenda. Það þarf að hafa í huga að það yrði unnið með gögn á báðum hinum þjónunum.

"Hvað ef notandi eyðir rangri möppu?"

Mistökin myndu syncast frá þjóni 1 yfir á þjón 2 (vice versa) og gögnin myndu endanlega glatast.

Eitt sem ég reyndi pældi í núna væri ákveðin tvískipting á gögnunum. Þá yrðu aðeins tveir þjónar sem myndu ekki uppfæra öll gögnin í rauntíma heldur væri til ákveðið rauntíma svæði með ákveðnum möppum sem myndu uppfærast í rauntíma. Restin myndi svo syncast á milli á 2 sólarhringa fresti. Nú megið þið koma með ábendingar um hugbúnað sem gerir þetta kleyft.

[tdog]

Hefuru hugsað út í eitthvað svipað og TimeMachine gerir? Tekur s.s delta afrit og geymir ? Þannig þú ert alltaf með „full backup“ í rauninni.
Ég fór á stúfana og rakst á þessa lausn, byggir á rsync.

[Revenant]

Þar sem þú ætlar að keyra linux þá hljómar DRBD fyrir þig. Þarna ertu með annað hvort synchronous speglun (þ.e. ef þú skrifar á cluster A þá skrifast það strax á cluster B) eða asynchronous. Síðan geturu notað rsync til að backupa þetta.

[gardar]

Sælir vaktarar.

Nú er svo komið að ég þarf að tryggja mig fyrir gagnatapi. Þegar ég framkvæmi eitthvað þá fer ég alla leið með það, enda dugar hálfkák sjaldnast.

Það sem ég ætla að setja upp er í senn gagnaþjónn og afritunarþjónn. Ég vill hafa afritunarferlið einfalt gagnvart endanotanda, sjálfvirkt, hraðvirkt og öruggt. Ég vill geta sýslað með gögnin í rauntíma.

Uppsetningin sem ég hafði í huga er eftirfarandi:
Staðsetning A - Þjónn 1:
Linux vél uppsett með 6TB í Raid 5 sem gefa heildarpláss upp á 4TB. Einn diskur má klikka án gagnataps.

Staðsetning B - Þjónn 2:
Linux vél uppsett með 6TB í Raid 5 sem gefa heildarpláss upp á 4TB. Einn diskur má klikka án gagnataps.

Þjónn 1 og 2 eru samhæfðir í rauntíma yfir 100mbit ljósleiðara. Þeir keyra nákvæmlega sömu uppsetningu og innihalda nákvæmlega sömu gögn. Hvor um sig er tryggður gagnvart ónýtum disk og það að hafa þá á sitthvorum staðnum gerir þetta að "offsite backup" uppsetningu sem tryggir gögnin gagnvart eldsvoða, innbrotum, vatnsleka osfrv.

Staðsetning A - Þjónn 3:
Linux vél uppsett með 6TB í Raid 5 sem gefa heildarpláss upp á 4TB. Einn diskur má klikka án gagnataps.
Software offline vél sem tekur afrit af Þjóni 1 annan hvern morgun kl 5 þegar minnstar líkur eru á annarri gagnavinnslu. Þetta er til að tryggja gagnvart mistökum endanotanda (eyðing á röngum skrám) sem og ýmsum öðrum kvillum (vírusum og tölvuárásum) sem gætu hrjáð hinar stæðurnar.

Þessi uppsetning sem ég hef í huga gerir það að verkum að hvor gagnastæða um sig gefur staðsetningu A og B aðgang að tryggðum og samhæfðum gögnum á 1Gbit hraða innandyra. Heildarstærð er "ekki nema" 4TB sem þó dugar 99% heimila upp á helstu gögn að gera. Ég hef ekki mikið hugsað út í aðgangsstýringu gagnanna, dulkóðun þeirra eða þvíumlíku þar sem ekki væri um að ræða gögn sem ekki mættu fara á b2.

Ég ákvað að henda þessu hingað inn til að fá ykkar álit á þessari uppsetningu. Ég geri mér grein fyrir því að kostnaðurinn er þannig séð mikill fyrir "örugg 4TB" en ég sé ekkert annað í boði.

Menn mega endilega henda inn hugmyndum að sync hugbúnaði og öðrum hugbúnaði.

Kíktu á Bacula http://www.bacula.org/
Er búinn að vera að skoða og gera prófanir á bacula undanfarnar vikur og er nú að vinna í því að láta bacula halda utan um öll afrit hjá okkur (hjá gíraffa)

Rsync og rsnapshot eru einnig gífurlega öflug og ég hef notað þau tól mikið, en þar sem þú sagðist vilja fara alla leið þá er bacula klárlega málið

Fyrir hvað er þessi afritun annars? Heimilis-gögn?

Hefuru hugsað út í eitthvað svipað og TimeMachine gerir? Tekur s.s delta afrit og geymir ? Þannig þú ert alltaf með „full backup“ í rauninni.
Ég fór á stúfana og rakst á þessa lausn, byggir á rsync.

Það er til linux lausn sem heitir TimeVault

[Televisionary]

Hvaða skráakerfi ætlarðu að nota? Þetta ver þig ekki fyrir skemmdum gögnum sem er hlutur sem ZFS ver þig fyrir. Ætlarðu að nota software raid eða vélbúnaðarraid? Þau gögn sem ég þoli alls ekki að missa afrita ég upp á netþjónustur eins og Amazon S3.

Mín uppsetning er ekkert ósvipuð:

Box A
4 móðurborðs SATA port + pci express + pci kontróller. (það liggur hérna 8 porta sas kontróller sem ég kem mér ekki í að setja í vélina víst hún keyrir og er í lagi)
Linux box Ubuntu búið að keyra stabílt í 2 ár.
XFS skráakerfi undir LVM, stærsti kosturinn að ég get hent disk í þetta þegar mér hentar og stækkað án vandræða, diskarnir mega vera misstórir.
Þegar þessi vél var byggð sá ég til þess að
Rsync notað til að spóla gögnum á milli á Box B, þetta geri ég daglega s.s. öll gögn send yfir og gögn sem er búið að eyða á boxi A er ennþá til á boxi B. Mánaðarlega læt ég rsync henda gögnum af Boxi B sem búið er að eyða á Boxi A.

Box B
FreeBSD með ZFS.
Hérna eru 9 diskar og þeir eru settir saman úr 2 x 4 diska grúppum það má s.s. einn diskur deyja úr hvorri grúppu áður en gögnin fara fjandans til, 9. diskurinn er "hot spare".
Það eru 4 móðurborðs sata tengi notuð og 12 porta SAS kontróller (Ég var að skipta út ódýrari kontróllerum sem voru ekki að virka sem skildi.).
Ég tek snapshot af öllum gögnum á einhverjum x tíma fresti. Þannig að ef eitthvað skemmist á Boxi A t.d. skemmd gögn eða einhver eyðir einhverju þá get ég ferðast aftur í tímann og gögnin eru komin til baka eins og til er ætlast með lágmarks fyrirhöfn.
Allar þjónustur sem hin vélin keyrir eru líka keyrðar á þessari vél ssh, mt-daap (itunes), smb, nfs. Ef hin vélin hættir að svara svissa ég yfir á þessa. Ég er með skriftur sem bera saman möppur á vélunum þannig að ef vél A dettur út getur þessi verið "master" og hægt að synca hana yfir á A.

Box C
Þetta box er enn í smíðum. Vélin er komin ásamt SAS kontróller, ég á eftir að sækja diskana og finna einhvern til að hýsa hana fyrir mig.

Sælir vaktarar.

Nú er svo komið að ég þarf að tryggja mig fyrir gagnatapi. Þegar ég framkvæmi eitthvað þá fer ég alla leið með það, enda dugar hálfkák sjaldnast.

Það sem ég ætla að setja upp er í senn gagnaþjónn og afritunarþjónn. Ég vill hafa afritunarferlið einfalt gagnvart endanotanda, sjálfvirkt, hraðvirkt og öruggt. Ég vill geta sýslað með gögnin í rauntíma.

Uppsetningin sem ég hafði í huga er eftirfarandi:
Staðsetning A - Þjónn 1:
Linux vél uppsett með 6TB í Raid 5 sem gefa heildarpláss upp á 4TB. Einn diskur má klikka án gagnataps.

Staðsetning B - Þjónn 2:
Linux vél uppsett með 6TB í Raid 5 sem gefa heildarpláss upp á 4TB. Einn diskur má klikka án gagnataps.

Þjónn 1 og 2 eru samhæfðir í rauntíma yfir 100mbit ljósleiðara. Þeir keyra nákvæmlega sömu uppsetningu og innihalda nákvæmlega sömu gögn. Hvor um sig er tryggður gagnvart ónýtum disk og það að hafa þá á sitthvorum staðnum gerir þetta að "offsite backup" uppsetningu sem tryggir gögnin gagnvart eldsvoða, innbrotum, vatnsleka osfrv.

Staðsetning A - Þjónn 3:
Linux vél uppsett með 6TB í Raid 5 sem gefa heildarpláss upp á 4TB. Einn diskur má klikka án gagnataps.
Software offline vél sem tekur afrit af Þjóni 1 annan hvern morgun kl 5 þegar minnstar líkur eru á annarri gagnavinnslu. Þetta er til að tryggja gagnvart mistökum endanotanda (eyðing á röngum skrám) sem og ýmsum öðrum kvillum (vírusum og tölvuárásum) sem gætu hrjáð hinar stæðurnar.

Þessi uppsetning sem ég hef í huga gerir það að verkum að hvor gagnastæða um sig gefur staðsetningu A og B aðgang að tryggðum og samhæfðum gögnum á 1Gbit hraða innandyra. Heildarstærð er "ekki nema" 4TB sem þó dugar 99% heimila upp á helstu gögn að gera. Ég hef ekki mikið hugsað út í aðgangsstýringu gagnanna, dulkóðun þeirra eða þvíumlíku þar sem ekki væri um að ræða gögn sem ekki mættu fara á b2.

Ég ákvað að henda þessu hingað inn til að fá ykkar álit á þessari uppsetningu. Ég geri mér grein fyrir því að kostnaðurinn er þannig séð mikill fyrir "örugg 4TB" en ég sé ekkert annað í boði.

Menn mega endilega henda inn hugmyndum að sync hugbúnaði og öðrum hugbúnaði.

[izelord]

Þakka kærlega skjót og GÓÐ svör.

Það er klárt mál að ég ætla að skoða DRBD nánar þar sem lýsingin á því á mjög vel við það sem ég hafði í huga. Þarf svo að skoða rsync og bacula og ákveða hvor leiðin verður farin.

Ég ætla að byrja á ódýrari (og hugsanlega einfaldari) leiðinni með 2 nodes. Nota DRBD til að synca LVM volume á milli þeirra tveggja sem ákveðið "rauntímasvæði" og nota svo eitthvað-tól-sem-ég-á-eftir-að-ákveða til að synca hin gögnin á tveggja sólarhringa fresti. Þannig ætti ég að fá mesta öryggið en þó töluverðan sveigjanleika og vinnsluhraða.

Ef það gengur svo ekki upp þá bæti ég við þriðja node með upprunalegu backup aðferðinni.

Til að svara Garðari þá eru þetta þessi hefðbundnu heimilisgögn en ég er einnig áhugaljósmyndari og hef verið að fá verkefni því tengdu. Þegar hver ljósmynd tekur svo 20MB þá er það fljótt að safnast saman. Einnig er ég í klippivinnslu með öðrum aðila og þar kemur rauntímasvæðið inn til að deila efni til vinnslu.

[izelord]

Hvaða skráakerfi ætlarðu að nota? Þetta ver þig ekki fyrir skemmdum gögnum sem er hlutur sem ZFS ver þig fyrir. Ætlarðu að nota software raid eða vélbúnaðarraid? Þau gögn sem ég þoli alls ekki að missa afrita ég upp á netþjónustur eins og Amazon S3.

Frábært að fá að sjá svipaða uppsetningu. Ég var ekki búinn að ákveða skráarkerfi ennþá og ætla núna að skoða ZFS nánar. Ég er búinn að kaupa vélbúnaðarraid stýringu og fæ diskana fyrir node 1 á morgun.

[tdog]

@Televisionary , ertu til í að deila þessum scriptum með okkur.