spjallid.is

Undanfarna mánuði höfum við gerið að gera tilraunir með nýjungar og verið að hanna nýtt útlit og virkni á Vaktin.is
Þetta er allt að smella saman og mun verða sýnilegt á komandi dögum/vikum.

Fyrsta breytingin sem er komin í gangið frá og með deginum í dag:

Vaktin.is uppfærir sig sjálfkrafa!

Forritarinn okkar snjalli hann Árni sem forritaði sjálfa Vaktina fyrir tæpum tíu árum forritaði "róbot" sem fer inn á allar verslanirnar eins oft og við viljum, þess vegna á 15 mín fresti 24/7 og ber saman verðin þar og verðin á Vaktin.is og ef það er misræmi þá lagar hann verðin á Vaktin.is til samræmis við verslanirnar. Hugmyndin er samt að láta róbotinn yfirfara verðin 2x-3x á dag til að koma í veg fyrir óþarfa álag á netþjóna.

Róbotinn nær að yfirfara allar verslanirnar um 600 vörur á 4:41 en þetta er verk sem gat tekið allt að 10 klst. áður!
Þ.e. ef það var mikið um brotna linka og vitlaus verð. Með þessari nýjung er ekkert því til fyrirstöðu að auka vörurnar á Vaktinni til muna. Og þess vegna flokka eftir framleiðendum þar sem uppfærslu/höfðuverkurinn er ekki lengur til staðar.

Ég bætti svo við nýrri verslun í morgun: budin.is

Þetta er frábært fyrir bæði alla notendur hérna og líka verslanir.

Man hvað það gat tekið mig ógeðslega langann tíma að uppfæra verðin þegar ég var að vinna hjá Buy.is

Þarf ekki samt handvirkt að bæta við vörum og linkum í þær í hverri búð fyrir sig?

Engu að síður afbragðs fítus ef vel heppnast, mér fannst alltaf hálf óþægilegt að vita ekki almennilega hvaða búðir væru duglegar að uppfæra sjálfar og hvaða búðir slugsuðu. Núna verður vaktin líklega mun nothæfari í verðsamanburð.

Á þessum 4 mínútum og 41 sec þá skannaði kerfið allar búðirnar og gerði eftirfarandi breytingar, þ.e. frá kl 8 í morgun:

Les og tékkar á 597 vörum.
att.is var að taka út
AMD Phenom II X4 965 Black
AMD Phenom II X6 1055T
AMD Phenom II X6 1075T
AMD Phenom II X6
AMD Pheonm II X4

Start.is var að hækka: AMD Bulldozer FX-8150 úr 46.900 í 49.990
Computer.is var að hækka: 750GB HD úr 19.900 í 23.900

Og 66 ný verð hjá budin.is

Daz skrifaði:Þarf ekki samt handvirkt að bæta við vörum og linkum í þær í hverri búð fyrir sig?

Engu að síður afbragðs fítus ef vel heppnast, mér fannst alltaf hálf óþægilegt að vita ekki almennilega hvaða búðir væru duglegar að uppfæra sjálfar og hvaða búðir slugsuðu. Núna verður vaktin líklega mun nothæfari í verðsamanburð.

Jú, en þeir linkar eru þegar til í kerfinu okkar, þegar þú klikkar á vöru þá ferðu beint á þá vöru hjá verslun.
Og þeir linkar eru allir settir inn manual í upphafi. Það er minnsta vinnan
Að fylgjast með þeim öllum og passa hafa samræmi í verðum það er stóra málið.

Já, núna verður hægt að treysta því að Vaktin verður alltaf uppfærð 2-3x á dag...

Hvað með möguleikann á að sama búið sé að selja tvo sambærilega hluti frá mismunandi framleiðanda, það þarf að fylgjast með því "ósjálfvirkt" og skipta út vörulink ef tilefni er til?

Ekkert að skammast, bara forvitinn hvernig ferlið er/verður.

Daz skrifaði:Hvað með möguleikann á að sama búið sé að selja tvo sambærilega hluti frá mismunandi framleiðanda, það þarf að fylgjast með því "ósjálfvirkt" og skipta út vörulink ef tilefni er til?

Ekkert að skammast, bara forvitinn hvernig ferlið er/verður.

Ef við vildum fylgjast með þeim báðum....segjum t.d.

Skjákort frá PNY og Skjákort frá eVGA þá þyrftum við annað hvort að gera svona:

[PNY] GTX 580 verð:
[eVGA] GTX 580 verð:

Og vera með sitthvorta slóðina á vörurnar í grunninum, þetta væri handavinna í upphafi og spurning hvort það yrði ekki of mikið "kraðak" ...

Samt...
Gæti verið sniðugt að flokka HDD eftir framleiðendum....og hugsanlega vinnsluminni...

Þetta er meiriháttar bylting. Kannski hefði enginn tekið eftir þessu, en fyrir Guðjón, hm... segjum bara að ég held að venjulegir vaktarar bara viti ekki hvað maðurinn er búinn að leggja mikið á sig fyrir þá Tók mig nokkra klukkustundir að klára þetta, en Guðjón er búinn að eyða sjálfsagt þúsundir klukkustunda í verðuppfærslur síðustu árin.

But no more

En allavegana, það eru sennilega fleiri uppfærslur framundan. T.d. verðþróunargröf per vöru og búð, hækkun/lækkun pílurnar koma kannski aftur inn, nýtt lúkk, myndir af vörum, o.s.frv. Ekkert búið að negla niður hvenær né í hvaða röð þetta kemur, kemur bara þegar það kemur

Snilld, vel af sér vikið appel! Hvernig gerðiru þetta samt? Eru allar vefverslanirnar með vörulistann í XML/JSON?

En það mætti bæta við "Síðast uppfært: HH:mm" svo maður viti hvenær listinn var uppfærður síðast.

intenz skrifaði:Snilld, vel af sér vikið appel! Hvernig gerðiru þetta samt? Eru allar vefverslanirnar með vörulistann í XML/JSON?

En það mætti bæta við "Síðast uppfært: HH:mm" svo maður viti hvenær listinn var uppfærður síðast.

Já það verður tími á því, sem segir t.d 1.klst ... eða 8.klst ....

intenz skrifaði:Snilld, vel af sér vikið appel! Hvernig gerðiru þetta samt? Eru allar vefverslanirnar með vörulistann í XML/JSON?

En það mætti bæta við "Síðast uppfært: HH:mm" svo maður viti hvenær listinn var uppfærður síðast.

Hugsanlegt að þeir séu með XML/Json sem þeir gefa ekki upp.. Það væri samt eitthvað sem þeir ættu að linka í fyrir fólk
Mér finnst það samt ólíklegt. Ég myndi giska á að hann sé að leita að strengjum. Hugsanlega eitthvað eins og Beautiful Soup nema væntanlega fyrir annað tungumál en Python. Það er allavega alveg pottþétt ekki XPath þar sem þessar búðir eru með svo meaningless og invalid xml markup að það nær ekki nokkurri átt

dori skrifaði:Hugsanlegt að þeir séu með XML/Json sem þeir gefa ekki upp..

Nei auðvitað gefum við ekki upp tæknilegu atriðin, nóg að sýna ykkur virknina

Djöfulsins snilld, allt saman!

snilldar framför. hlakka til að sjá hvað fleirra er á leiðinni!

Snilldar framtak hjá ykkur

dori skrifaði:

intenz skrifaði:Snilld, vel af sér vikið appel! Hvernig gerðiru þetta samt? Eru allar vefverslanirnar með vörulistann í XML/JSON?

En það mætti bæta við "Síðast uppfært: HH:mm" svo maður viti hvenær listinn var uppfærður síðast.

Hugsanlegt að þeir séu með XML/Json sem þeir gefa ekki upp.. Það væri samt eitthvað sem þeir ættu að linka í fyrir fólk
Mér finnst það samt ólíklegt. Ég myndi giska á að hann sé að leita að strengjum. Hugsanlega eitthvað eins og Beautiful Soup nema væntanlega fyrir annað tungumál en Python. Það er allavega alveg pottþétt ekki XPath þar sem þessar búðir eru með svo meaningless og invalid xml markup að það nær ekki nokkurri átt

Það hlýtur eiginlega að vera. Ekki myndi ég nenna að parse'a hverja og eina síðu. Svo breyta þeir HTML'inu og þá fer allt í fokk.

appel má samt alveg útskýra hvaða leið hann fór, þó hann gefi ekki upp kóða

Með HTML parser sem styður XPath (t.d HTMLAgilityPack) þá má gera ansi robust scraping botta sem þola að talsverðar breytingar séu gerðar á HTML-inu

Væri gaman að heyra hvaða leið Appel fór.

hagur skrifaði:Með HTML parser sem styður XPath (t.d HTMLAgilityPack) þá má gera ansi robust scraping botta sem þola að talsverðar breytingar séu gerðar á HTML-inu

Væri gaman að heyra hvaða leið Appel fór.

Ég skoðaði þessar helstu síður fyrir einhverju síðan með svona auto scraping í huga. HTMLið þeirra flestra er alveg núll markvert (bara tala inní einhverju span eða td elementi og svo einhver stíling sem gefur til kynna stærð og letur stíl) og það er þannig séð engin leið til að greina hvað er virkilega verðið á hverri síðu án þess að fara í að búa til mjög specific prófíl fyrir hverja síðu sem augljóslega þyrfti að breyta ef einhverjar meiri en mjög minniháttar breytingar yrðu gerðar á leiðinni að elementinu sem inniheldur verðið.

Það væri um að gera að menn myndu nota hProduct drögin eða herma eftir t.d. Amazon. Allavega skella class eins og "price" sem er notaður á allar verðmerkingar.

Djöfull verður þetta huggulegt! snilld

þetta er frábært. Þúsund þakkir, þið eruð snillingar

really?
er ekki bara hægt að fá captcha á nýskráningar ?

Einmitt, skildi ekkert hvað væri í gangi þegar þetta kom áðan

Sammála varðandi þetta captcha Hvernig á ég t.d. að geta gert vaktar gadget-ið þannig að það geti loggað mann inn til að sýna innlegginn manns og fleira í þeim dúr ef það er eitthvað svona fyrir? Hvað þá ef manni dytti svo í hug að gera síðan Android app... Svona á að sjálfsögðu bara heima í nýskráningu.

Þetta á líka bara að vera við nýskráningu, þurfum e-ð að breyta þessari scriptu og það er í vinnslu. En þetta er sett upp til að verjast spambottum sem eru nokkrir á dag, mun spara stjórnendum (sérstaklega verndara Vaktarinnar honum Guðjóni) hellings vesen og tíma.