1984.is - hvað gerðist?

[blitz]

Á Face­book-­síð­unni For­rit­arar á Íslandi er bent á að þjón­usta fyr­ir­tæk­is­ins hafi legið niðri í hátt í sól­ar­hring. Mörður Ing­ólfs­son, for­svars­maður 1984, skrifar þar í athuga­semd: „Við sátum í 11 klst. með 7 manns niðri í Nýherja, allir helstu sér­fræð­ingar lands­ins í storage og örygg­is­málum og horfðum á vél­arnar okkar deyja. Það hefur eng­inn séð svona áður.“

https://kjarninn.is/frettir/2017-11-16-algert-kerfishrun-hja-1984/
http://www.mbl.is/frettir/innlent/2017/11/16/algjort_kerfishrun_hja_1984/

Þetta hljómar nokkuð rosalega - hvað gerðist eiginlega þarna?

[dori]

Í þræðinum sem Mörður svaraði þá kom fram að storage dæmið þeirra (sem á að hafa alls konar redundancy og fínerí) bara bókstaflega dó og tók allt annað niður með sér.

[Viktor]

[hallihg]

Fréttirnar af þessu eru mjög æsilegar og merkilegt hvað þeir virðast standa algjörlega á gati. Væri gaman ef einhverjir vaktarar sem hugsanlega þekkja til myndu koma með inside info, fyrr eða seinna

[GuðjónR]

Greyjið strákarnir, ömurlegt að lenda í þessu.
En hvernig getur allur búnaðurinn farið í rúst á sama tíma?
Þar á meðal símkerfið nema um skemmdarverk, bruna eða þjófnað sé að ræða?

[rbe]

tja.
nú er lag fyrir samkeppisaðilana að skella í nokkrar auglýsingar á hýsingu (á síðum sem enn eru enn uppi ekki hjá 1984 )
það þarf kannski ekki ? flestir nota heilann ?

[depill]

Greyjið strákarnir, ömurlegt að lenda í þessu.
En hvernig getur allur búnaðurinn farið í rúst á sama tíma?
Þar á meðal símkerfið nema um skemmdarverk, bruna eða þjófnað sé að ræða?

Þeir útskýrðu þetta á Facebook, basicly voru þeir með diskastæður sem voru storage backendinn fyrir greinilega mjög stórum parti af kerfunum þeirra sem datt niður. Þannig vélbúnaðurinn sem lá að ofan var enn í lagi enn storageið hvar, þar á meðal sýndarvélin sem keyrði símkerfið.

Virðist hafa verið bara technology failure hjá þeim. Svo má deila um hvort að þetta hafi þá verið rétt uppsetning eða ekki. Enn hins vegar flest allar þær umræður verða örugglega keyrðar áfram af

[rapport]

Frábært, ég notaði bara fríu DNS þjónustuna þeirra og nú eru síðurnar mínar ekki aðgengilegar...

Ég hef aldrei vitað um svona kerfishrun sem ekki verður vegna einhvers mannlegs þáttar, hvort sem það eru mistök sem eru gerð, vírus eða einhverskonar árás.

En 1984 hafa reynst mér vel, hafa gefið mér fría þjónustu í mörg ár og ég hef ekkert út á þá að setja, finnt ég ekki geta gert neina kröfu enda ekki búinn að greiða þeim krónu.

[dori]

Greyjið strákarnir, ömurlegt að lenda í þessu.
En hvernig getur allur búnaðurinn farið í rúst á sama tíma?
Þar á meðal símkerfið nema um skemmdarverk, bruna eða þjófnað sé að ræða?

Þeir eru hýsingarfyrirtæki. Hýsa auðvitað símkerfið sitt á einum af sínum vefþjónum. Kerfið á bakvið hýsingarnar þeirra fer niður -> símkerfið hrynur.

Mér finnst það reyndar persónulega mjög lélegt að setja upp þjónustuna sína þannig að ef aðal varan þín er með vandamál (til dæmis vefþjónar fara niður ef þú ert hýsingarfyrirtæki) þá geti viðskiptavinirnir þínir ekki náð sambandi við þig. Mér finnst eins og Símafélagið hafi líka verið með svona vesen einhverntíma. Nettengingin fór niður hjá fyrirtækinu sem ég var að vinna hjá og þá var ekki hægt að ná sambandi við þjónustusímann þeirra.

Grunn atriði að hafa allavega gróft "disaster plan". Er ekki hægt að setja símkerfi upp með redundancy?

[GuðjónR]

En þegar menn orða hlutina svona:

After spending a night with a team of experts in the hardware field, our costly setup was deemed fit for scrap.

Þ.e. að búnaðurinn sé bara "brotajárn" þá sér maður fyrir sér mann með sleggju...

[Tbot]

Þessi árátta að samþætta allt, er að bíta þá illilega í rassinn.

Sum kerfi er betra að hafa stand-alone og þá clone til öryggis.
Því það er staðreynd að öll kerfi geta bilað.

[Hargo]

Veit einhver hvernig hardware þetta var keyrandi á?

Ég hef alltaf smá samúð þegar svona gerist vinnandi í þessum geira. Auðvelt að standa á hliðarlínunni og segjast hafa vitað betur. Hinsvegar virðast þeir vera brutally honest og ekkert skafa af því í þessum tilkynningum. Held að þeir sem eru með vefsíður og tölvupóst hjá þeim geti allavega búið sig undir dágóðan niðritíma miðað við þetta. Costly hardware orðið að brotajárni á augnabliki og algjört hrun í kjölfarið.

En svona er þetta, ef það getur bilað þá mun það gera það á endanum. Var ekki lögmálið einhvern veginn þannig?

[appel]

Hef samúð með þeim.

Maður hefur lent í svipuðum aðstæðum, eitthvað sem átti að virka reyndist svo ekki virka og það verður bara cascade-failure.

Það er ekki auðvelt fyrir svona fyrirtæki að recovera eftir svona massa hrun.

Vona bara að viðskiptavinirnir fari nú ekki núna og flýji til útlanda með allt til google, amazon, microsoft o.s.frv.

[Jón Ragnar]

Hef samúð með þeim.

Maður hefur lent í svipuðum aðstæðum, eitthvað sem átti að virka reyndist svo ekki virka og það verður bara cascade-failure.

Það er ekki auðvelt fyrir svona fyrirtæki að recovera eftir svona massa hrun.

Vona bara að viðskiptavinirnir fari nú ekki núna og flýji til útlanda með allt til google, amazon, microsoft o.s.frv.

Allir sem hosta síður hérna heima hafa grætt nýja viðskiptavini

Þeir hafa bara verið með þetta heimskulega uppsett. Allt á sama járninu og ekkert redundancy. Þeirra eigin production umhverfi á sama og viðskiptavinur og annað.

[Hizzman]

Murphy, þó..!..!!!!

[END]

Hvert fer maður núna með einfalda Wordpress síðu?

[Starman]

LVM corruption
https://www.qurium.org/1984-is-can-not-give-up/

[Hjaltiatla]

LVM corruption
https://www.qurium.org/1984-is-can-not-give-up/

Hmm..ok þar sem ég er ZFS fanboy og það er bæði file system og logical volume manager og framkvæmir checksumming á bæði gögnum og Metadata þá spyr ég eins og bjáni. Er ekkert checksumming í LVM á metadata ?

[Hjaltiatla]

https://en.wikipedia.org/wiki/Data_corruption#SILENT

[Stuffz]

ok þess vegna er síðan mín niðri http://xn--sms-fla4d.is/

þeir redda þessu, hef engar áhyggjur

[Revenant]

LVM corruption
https://www.qurium.org/1984-is-can-not-give-up/

Hmm..ok þar sem ég er ZFS fanboy og það er bæði file system og logical volume manager og framkvæmir checksumming á bæði gögnum og Metadata þá spyr ég eins og bjáni. Er ekkert checksumming í LVM á metadata ?

Checksum segir bara hvort að blokkin sé corrupted eða ekki. Checksum hjálpar þér ekkert ef boot record-ið/lvm metadata (eins og í þessu tilfelli) er corrupted/yfirskrifað/zero-ed.

Checksum í zfs leyfir kerfinu að detect-a að blokk sem þú hefur lesið af disk sé corrupted og ef RAID (1/5/6/10 etc.) er til staðar þá er hægt að "bjarga" blokkinni/laga villuna.

[Hjaltiatla]

LVM corruption
https://www.qurium.org/1984-is-can-not-give-up/

Hmm..ok þar sem ég er ZFS fanboy og það er bæði file system og logical volume manager og framkvæmir checksumming á bæði gögnum og Metadata þá spyr ég eins og bjáni. Er ekkert checksumming í LVM á metadata ?

Checksum segir bara hvort að blokkin sé corrupted eða ekki. Checksum hjálpar þér ekkert ef boot record-ið/lvm metadata (eins og í þessu tilfelli) er corrupted/yfirskrifað/zero-ed.

Checksum í zfs leyfir kerfinu að detect-a að blokk sem þú hefur lesið af disk sé corrupted og ef RAID (1/5/6/10 etc.) er til staðar þá er hægt að "bjarga" blokkinni/laga villuna.

Það væri allavegana ekki silent data corruption, maður vill allavegana vita ef að t.d metadata corruption gerist. Dæmi þegar þú skoðar storage pool í einfaldri ZFS uppsetningu á Freenas þá geturu séð data error-a með einfaldri skipun "zpool status"

[Revenant]

LVM metadata eru eingöngu upplýsingar hvaða logical volumes/physical volumes/volumes groups eru til staðar á disknum. LVM geymir engar upplýsingar um data. Ofan á LVM geturu síðan sett hvaða filesystem (ZFS, XFS, ext4) sem er.

Þú ert að bera saman filesystem (ZFS) við Logical Volume Management (LVM).

[Hjaltiatla]

Ég var reyndar ekki að bera saman þetta tvennt að því leytinu reyndar, benti á að ZFS væri bæði logical volume manager og filesystem.
En ákvað að spurja eins og bjáni.

[falcon1]

Ein forvitnisspurning frá græningja í þessum málum... er eðlilegt að það taki svona langan tíma að koma upp kerfinu aftur? Á ekki að vera backup-kerfi sem hægt er að setja upp frekar fljótt þegar svona gerist?
Ég hef verið hjá ýmsum erlendum hýsingaraðilum og alltaf þegar eitthvað hefur klikkað þá hefur það verið fljótlega komið upp aftur. Var þetta hjá 1984 eitthvað freak dæmi eða galli í uppsetningu hjá þeim?