Gagna Geymslur áður og nú

[Stuffz]

Hvernig er geymslukerfið ykkar nú samborið við áður

Ég t.d. var með turn kassa með fullt af drifum fyrir meira en áratug síðan þegar var meira aktífur í jafningjanetunum
í seinni tíð hef ég meir verið með gögn á fulllt af utanályggjandi drifum fyrir utan nokkur NVME drif í lítilli tölvu.
er að spá í lausn að takadrifin úr utanályggjandi boxunum og setja í eitthverja multibay hýsingu en ekki samt raid

[Viggi]

Er enþá með 2x 4tb raid zero hdd fyrir fyrir backup og eitt dótarís drif í tölvunni fyrur emulators /roms og einhverja létta leiki og drasl. Væri alveg til í að losna við þetta enclosure og fara yfir í m.2. bara fjandi dýrir þegar maður er farinn yfir 2tb diska

[Stuffz]

Er enþá með 2x 4tb raid zero hdd fyrir fyrir backup og eitt dótarís drif í tölvunni fyrur emulators /roms og einhverja létta leiki og drasl. Væri alveg til í að losna við þetta enclosure og fara yfir í m.2. bara fjandi dýrir þegar maður er farinn yfir 2tb diska

jamm dýrt, ég keypti þessa nvme á amazon á black friday díl á eitthvað aðallega því ég er með mjög stór skjöl úr 360 myndavélum sem ég vinn með ferðavídeó.

[rapport]

Elska að finna CD og DVD með afritum frá því að 80Gb HDD fylltist fyrir um 15-20 árum síðan, skil ekki af hverju ég var með allt þetta drasl frá DC++ tímanum, heilu árgangana af Harvard Business Review og heimildaþætti sem ég var búinn að horfa á allt of oft...

[Stuffz]

Elska að finna CD og DVD með afritum frá því að 80Gb HDD fylltist fyrir um 15-20 árum síðan, skil ekki af hverju ég var með allt þetta drasl frá DC++ tímanum, heilu árgangana af Harvard Business Review og heimildaþætti sem ég var búinn að horfa á allt of oft...

Talandi um cd/dvd frá dc++, tveir lögreglumenn skilaði mér fullum kassa af diskum í vikunni eftir að SKRATI fórst, en jú það var að mestu úrelt, var gaman að safna þessu ef 3ja heimstyrjöldin myndi skella á en náttúrulega engar líkur á því núna

Mig á eftir að vanta miklu meira pláss á næstu árum nú þegar maður er að búa til 360 efni sjálfur í allt að 200Mbps og 8k.

[Manager1]

Elska að finna CD og DVD með afritum frá því að 80Gb HDD fylltist fyrir um 15-20 árum síðan, skil ekki af hverju ég var með allt þetta drasl frá DC++ tímanum, heilu árgangana af Harvard Business Review og heimildaþætti sem ég var búinn að horfa á allt of oft...

Talandi um cd/dvd frá dc++, tveir lögreglumenn skilaði mér fullum kassa af diskum í vikunni eftir að SKRATI fórst, en jú það var að mestu úrelt, var gaman að safna þessu ef 3ja heimstyrjöldin myndi skella á en náttúrulega engar líkur á því núna

Mig á eftir að vanta miklu meira pláss á næstu árum nú þegar maður er að búa til 360 efni sjálfur í allt að 200Mbps og 8k.

Hahahaha vá! Hvað eru mörg ár síðan þeir tóku þetta, 15 eða meira?

[Langeygður]

Var með tölvu sem ég setti saman úr rusli sem ég fann, setti upp linux og notaði lvm (logical volume manager) til að setja saman nokkra mismunandi stóra diska sem eitt volume. Það var 2002, í dag er ég með M$ Server 2022 og nokra 10TB og 16TB diska í Microsoft storage spaces, plex og virtualvélar með öðrum servisum.

[DJOli]

Enn virkur á jafningjanetum, hef bara hægt og rólega bætt við mig ef eitthvað er.
Er með tölvu sem ég nota sem poor man's NAS sem telur í dag um 34tb, af hverju um 60-70% eru í notkun.

[Hjaltiatla]

Mikilvæg gögn geymi ég í Onedrive. Er með 16 TB Seagate exos disk í Icydock USB-C hýsingu sem tengist við Intel Nuc (vmware VM host) og deili gögnum í gegnum Windows server sem keyrir Plex og Windows File share. Vantaði smá auka pláss um daginn og átti 4TB WD Blue disk sem ég tengdi við Intel nuc og nota einnig USB-C hýsingu fyrir þann disk. Gæti farið að ég fari að skoða að uppfæra og nota núverandi diska sem Backup diska.

[kiddi]

Þetta er stanslaus hausverkur hjá mér, ég starfa við kvikmyndagerð, þá aðallega grafík og eftirvinnslu og ég framleiði um 10-20TB af gögnum árlega sjálfur. Er með tvær PC turnvélar sem vinnustöðvar, á heimaskrifstofu og alvöru skrifstofu og vélarnar eru speglaðar þannig að ég get hoppað á milli skrifstofa og haldið áfram vinnu. Hvor vél er með 2TB NVME vinnudrif fyrir on-going verkefni og það drif er speglað með Dropbox á milli vinnustöðva, en svo er ég með um 60TB af HDDs beintengdum í hvorum kassa fyrir sig og á skrifstofu-skrifstofunni er ég með nokkur 4x10TB OWC USB-C box með back-catalog af verkefnum sem ég get nálgast hvar og hvenær sem er og í skúffu er ég með sirka 200 HDDs sem ná alveg til ársins 2004 en þau gögn eru alveg off-line (og spegluð á öðrum stað). Ég er alltaf að hugsa um að fá mér einhver 8-diska Synology NAS box en svo þess á milli hugsa ég hvort ég ætti að nýta eldri tölvurnar mínar sem NAS og fylla þær af drifum? Ég er mjög nískur þegar það kemur að þessum lausnum og tími eiginlega engu, þess vegna er ég með þessi ódýru $220 OWC Mercury Elite Pro Quad box (sem eru reyndar tær snilld). Ég er svo að nota brilliant freeware sem heitir Everywhere til að leita í gagnasafninu og það virkar sturlað vel, jafngott eða jafnvel betra en leitin í MacOS en eins og allir vita er File Search í Windows einhver brandari sem hefur fengið að standa óáreittur í áratugi.

[Le Drum]

Ég er með Asustor NAS fyrir geymslu og server, nokkur TB af dóti. Nota svo Raspberry PI og eina gamla pc sem keyrir linux til þess að gera ýmislegt með það sem er geymt á NAS.

Allt mikilvægt er svo geymt á OneDrive/Google Drive/Dropbox sem ég nálgast svo heima og í vinnu.

[Stuffz]

Góðir punktar
Takk

[kornelius]

Er enþá með 2x 4tb raid zero hdd fyrir fyrir backup og eitt dótarís drif í tölvunni fyrur emulators /roms og einhverja létta leiki og drasl. Væri alveg til í að losna við þetta enclosure og fara yfir í m.2. bara fjandi dýrir þegar maður er farinn yfir 2tb diska

Mundi breyta þessu snarlega í raid1 sem er jú spegill og þar með einhvert öryggi, en raid 0 er alveg glatað sem geymsla

Raid 0 er oft notað hjá leikja nördum til að fá hraðari diska án alls öryggis.

"RAID 0 does not have parity. Disk striping without parity data does not have redundancy or fault tolerance. That means, if a drive fails, all data on that drive is lost."

K.

[GullMoli]

Var með risa Antec kassa fullan hörðudiskum hér áður fyrr.

Í dag er borðtölvan með einn 2TB SSD fyrir stýrikerfi og leiki sem ég er actively að spila + gamlan 1TB snúningsdisk fyrir leiki sem ég spila sjaldnar.

Svo er ég með Truenas vél í bílskúrnum sem keyrir allt media tengt dót með einum 250GB SSD fyrir stýrikerfi + apps og svo 2x 12TB snúningsdiska í RAID 0 fyrir hámarks les/skrifhraða og pláss (10gb internet!). Er alveg sama þó diskur hrynji þar, þetta er bara sjónvarpsefni.

PS. að auki eru turnkassarnir eins litlir og hægt er að hafa þá.

[Viggi]

Er enþá með 2x 4tb raid zero hdd fyrir fyrir backup og eitt dótarís drif í tölvunni fyrur emulators /roms og einhverja létta leiki og drasl. Væri alveg til í að losna við þetta enclosure og fara yfir í m.2. bara fjandi dýrir þegar maður er farinn yfir 2tb diska

Mundi breyta þessu snarlega í raid1 sem er jú spegill og þar með einhvert öryggi, en raid 0 er alveg glatað sem geymsla

Raid 0 er oft notað hjá leikja nördum til að fá hraðari diska án alls öryggis.

"RAID 0 does not have parity. Disk striping without parity data does not have redundancy or fault tolerance. That means, if a drive fails, all data on that drive is lost."

K.

Þetta er víst raid 1. Takk fyrir ábendinguna samt

[johnbig]

Djöfull er ég gamall eitthvað - Blackarmor NAS 400 - RAID 5 - Cisco Media hub NMH305
hefur bara virkað frá 2012 =)

[gnarr]

Ég er að nota Debian á Supermicro vél með 8x driver bays, Xeon Silver 4108 og 32GB af RAM. Allir gagnadiskar eru að nota XFS á GPT og eru poolaðir saman á bakvið mergerfs og nota svo SnapRAID fyrir redundancy.
Þetta byrjaði bókstaflega sem gamalt mATX borð tengt við disk í litlum skókassa (á Windows Server 2008 ) fyrir circa 15 árum síðan og óx svo hægt og rólega í að verða alvöru vél.

shoebox.jpg (173.87 KiB) Skoðað 923 sinnum

Ég kalla vélina samt ennþá "Shoebox", þótt hún sé löööööngu vaxin úr kasasnum

[olihar]

Ég er að nota Debian á Supermicro vél með 8x driver bays, Xeon Silver 4108 og 32GB af RAM. Allir gagnadiskar eru að nota XFS á GPT og eru poolaðir saman á bakvið mergerfs og nota svo SnapRAID fyrir redundancy.
Þetta byrjaði bókstaflega sem gamalt mATX borð tengt við disk í litlum skókassa (á Windows Server 2008 ) fyrir circa 15 árum síðan og óx svo hægt og rólega í að verða alvöru vél.

shoebox.jpg

Ég kalla vélina samt ennþá "Shoebox", þótt hún sé löööööngu vaxin úr kasasnum

Elsketta…

[Squinchy]

Ég er að nota Debian á Supermicro vél með 8x driver bays, Xeon Silver 4108 og 32GB af RAM. Allir gagnadiskar eru að nota XFS á GPT og eru poolaðir saman á bakvið mergerfs og nota svo SnapRAID fyrir redundancy.
Þetta byrjaði bókstaflega sem gamalt mATX borð tengt við disk í litlum skókassa (á Windows Server 2008 ) fyrir circa 15 árum síðan og óx svo hægt og rólega í að verða alvöru vél.

shoebox.jpg

Ég kalla vélina samt ennþá "Shoebox", þótt hún sé löööööngu vaxin úr kasasnum

Þetta er snilld, það verður eiginlega að fylgja "After" mynd líka

[Moldvarpan]

Ég er að nota dropbox fyrir ljósmyndir og minni skjöl.

Nota HDD fyrir myndefnið, þætti og kvikmyndir.

SSD Fyrir stýrikerfi,forrit og leiki.


Næsta skref verður að fá sér 2x 4TB m.2 og henda þessum hdds.

[nidur]

Ég er svo að nota brilliant freeware sem heitir Everywhere til að leita í gagnasafninu og það virkar sturlað vel, jafngott eða jafnvel betra en leitin í MacOS

Everywhere er alveg nauðsynlegur hugbúnaður ef maður er að leita mikið á drifum.

[axyne]

2 TB SDD í borðtölvunni og fartölvunni. Vinnugögn eru svo syncuð á milli með OneDrive. Og svo Sharepoint þegar það á við.
Google drive sem backup fyrir personuleg gögn i.e skjöl og ljósmyndir.

2TB HD ofan í skúffu sem rataði aldrei í nýju borðtölvuna sem geymir allt "afþreyingarefnið" efast um ég muni einhverntíman nota hann aftur...
2TB HD í hýsingu sem geymir local backup.
256GB SSD í Proxmox servernum.

[gnarr]

Ég er að nota Debian á Supermicro vél með 8x driver bays, Xeon Silver 4108 og 32GB af RAM. Allir gagnadiskar eru að nota XFS á GPT og eru poolaðir saman á bakvið mergerfs og nota svo SnapRAID fyrir redundancy.
Þetta byrjaði bókstaflega sem gamalt mATX borð tengt við disk í litlum skókassa (á Windows Server 2008 ) fyrir circa 15 árum síðan og óx svo hægt og rólega í að verða alvöru vél.

shoebox.jpg

Ég kalla vélina samt ennþá "Shoebox", þótt hún sé löööööngu vaxin úr kasasnum

Þetta er snilld, það verður eiginlega að fylgja "After" mynd líka

Ég var að tékka og ég hef víst ekki verið mjög duglegur að taka myndir af elskunni minni. Ég bý því miður í öðru landi en hún núna, en ég skal henda í myndaflóð á þennann þráð um leið og ég kíki næst í heimsókn

[Tóti]

T.d.
https://www.mdisc.com/
https://www.bhphotovideo.com/c/product/ ... _disc.html

[Televisionary]

Það er gaman að sjá svona þráð inni. Hérna kemur mín langloka um málið.

Byrjaði með IDE diska í Apple Powermac vélum.



Á einhverjum tímapunkti fjárfesti ég í Apple Xserve rackmount netþjón. Þegar þetta var þá bjuggum við í gamalli blokk í miðbænum. Það var skorsteinn þarna sem var búið að loka. Ég fékk leyfi hjá húsfélaginu til að bora í skorsteininn og draga CAT 5e þarna niður.

Björgvin í Tölvuvirkni var að slíta barnsskónum með reksturinn í Grindavík og nýfluttur í Kópavoginn. Það varð mér til happs að hann hafði fundið USB2 og Firewire box sem var hægt að tengja í bunka við Apple Xserve skrímslið. Ég notaði Softraid sem OWC (Macsales) eiga réttinn að í dag.

Þetta mallaði í einhver ár. En á einhverjum tímapunkti jókst þörfin til að geyma gögn. Aukið magn af ljósmyndum og videó upptökum.

Þegar yfir lauk fór þessi Xserve vél í húsnæði í Lágmúla þar sem Nova er til húsa í dag og hýsti slangur af gögnum og tölvupósti. Einnig hýsti ég Darwin Streaming Server fyrir daga Youtube.


Næsta skref í þróuninni var að smíða tvö stykki PC vélar sem gat hýst 9 diska. Man nú ekki hvaða kassi þetta var, minnir að þetta hafi verið það ódýrasta sem ég fann. Ég keypti 2 x 8 porta Highpoint Rocketraid (Sata I) kontróllera. Ég keyrði Windows á þessu.
Þetta gekk merkilega vel. En svo flutti ég til útlanda og þá þurfti ég að minnka við mig umfang á vélbúnaði og tveir vinnufélagar mínir keyptu sitthvora vélina og mallaði þetta án vandræða hjá þeim.

Þetta er í byrjun árs 2007 og þá hendi ég í svolítið skemmtilega uppsetningu. Ég skar út spónarplötu og festi á hana Acer Travelmate fartölvu og tengdi einhvern bunka af USB diskum sem voru einnig festir á. Þarna var ég farin að nota ZFS skráakerfi á Ubuntu. Þetta var eingöngu notað sem skráaþjónn og ef þetta þurfti einhverja uppfærslu þá var platan sótt út í bílskúr og farið í uppfærslur og svo skilað aftur.

Árið 2009 rennur upp og þörfin eykst töluvert því að ég hafði séð Sonos í fyrsta skipti og þetta var áður en Spotify fær einhverri útbreiðslu. Ég er nettur audio nörður og ákvað að fjárfesta í Sonos á þrjár hæðir í húsinu.

Novatech í Portsmouth. Þar sem ógrynni af diskum og öðrum vélbúnaði var keyptur


Því næst fór ég í að rippa alla geisladiska sem voru til c.a. 800-900 stykki.
Napster er þarna að reyna að fóta sig sem lögleg tónlistarveita og býður upp á áskrift í Sonos. Ég fer og smíða 2 x 10 diska box aftur og keyri ég LVM + software raid á Linux. Tvær vélar bara speglaðar 100%. Keyrt rsync á milli. Þetta gekk eins og klukka og þörf á meiri geymslu var ekki svo mikil. Keypti mikið af DVD og Blu Ray myndum í UK. Það er lítið um streymi. Sky er að rembast með Windows Media streymi yfir ADSL og gæðin hreint út sagt ömurleg.

Það fréttist að ég væri "storage óður" og Félagarnir í Englandi komu og báðu mig um aðstoð. Ég smíðaði meðal annars í September 2009. 8 diska vél með Unraid leyfi fyrir aðila sem vildi bara hrein Blu Ray rip og tók heima uppsetninguna í afþreyingu á næsta stig. Það var keyptur einhver voða flottur disk kontróller í þetta.

Þetta hefur svo mallað hjá mér í einhverju formi sem ZFS á FreeBSD og Linux. Fyrir einhverjum X árum þreifaði ég fyrir mér og henti í eitthvað sem ég kallaði Funraid hérna innanhúss þegar ég var að vinna í því og ákvað að búa til og bragða á eigin hundamat eins og sagt er.

Þetta var Debian 10 útgáfa sem gat keyrt á 2GB USB disk og rúllaði fínt með 2GB í RAM. Þarna keyrði ég SMB þjón og ZFS undir þessu. Keyrði tvær svona vélar í einhver 4+ ár án vandræða. Ætlaði alltaf að sleppa þessu út í kosmósið en það var aldrei tími til að klára þetta almennilega.

Undanfarið ár þá hef ég eytt óheyrilegum tíma í þennan málaflokk. Núverandi staða er svona.

MooseFS skráakerfi keyrir á tveimur Debian Linux nóðum með 16 diska. Það er hægt að tapa disk eða nóðu. Gögnin þín eru enn á sínum stað. Afrita af þeim upp í AWS S3 Glacier Deep Archive. Í þessa uppsetningu er bara uppsóp af öllum diskum sem standast SMART prófun. Þetta er æðislegt skráakerfi sem býður upp á endalausa stækkun óháð diskastærð.

Dæmi um MooseFS kerfis arkitektúr:



Hin uppsetningin hjá mér er Windows 11 vél með Stablebit Drivepool sem dregur alla diska á vélinni í eitt drif. Ég afrita þessa vél svo alla til Backblaze.

Gerði prófanir um daginn með poor man's Unraid.
- Zpool (á hverjum disk)
- ZFS skráakerfi yrði til á hverjum disk disk1/video disk2/video
- Mergerfs myndi sjá til þess að þú sæir bara eitt volume/video
- Snapraid til að græja parity, reiknað í rauntíma
- Vefviðmót til að græja SMB share og NFS share.
- Docker stuðning í vefviðmóti
- SMART upplýsingar á hitastig á diskum.

Eitthvað af þessu var orðið til í einhverri mynd. En það er lítill tími á lausu til að klára þessa pælingu.

Vélbúnaður í núverandu nóðum er 3rd-4th gen Intel með 16GB RAM og 10 diska kontróllerum frá Kisildal. Þetta slær ekki feilpúst.


Ég er með tvo svona Coolermaster stacker kassa og svo einhverja kassa sem taka minna af diskum.

Maður er svo lánssamur að eiga nóg af plássi til að hýsa vélbúnað.

Það er efni til í aðra ritgerð varðandi sýndarvélar......