spjallid.is

Góðann daginn

Ég er að spá hvernig verðvaktin virkar ?

Einhver kommentari á reddit lét það hljóma eins og það væri manual effort fólks að sjá um hana ?

Ef svo, þá hef ég áhuga á að bjóða fram hjálp mína í að automate-a þetta, er með decent reynslu af því að vinna á móti undocumented API's (og að finna þá) á síðum þar sem hægt er að komast í eitthvað API interface, ásamt því að hafa reynslu af því að scrape-a síður sem hafa ekkert þannig í boði.

Ef þetta er allt automated og cool, þá kannski finn ég reddit kommentið og leiðrétti það bara

Guðjón er sá sem hefur verið að láta vaktina virka í gegnum öll þessi ár, og það er hans "manual effort" að þakka að við erum hér enn, ásamt stjórn og uppfærslu á verðvaktinni.

Svo er verðvaktin með grabber sem ég forritaði fyrir 20 árum og er enn í notkun, og er mjög oldschool (PHP) að því leyti að hann loadar inn html kóða á vefslóð með einhverri vöru og finnur verð sem er á milli tveggja html búta, start og end. Allt geymt í gagnagrunni, allar verðbreytingar á öllum vörum í 20 ár eru geymdar í gagnagrunni. En virkar ekki nema einhver keyrir það (Guðjón). Engin gervigreind, ennþá.

Það er svosem ekkert stórmál að screipa síður í dag, tólin í dag eru allt önnur en voru fyrir 20 árum. Chrome var t.d. ekki til þá. Libraries til að lesa html kóða og dom eru algeng í dag, en voru ekki til þá.

Það þyrfti að uppfæra grabberinn í 21. öldina og láta þá virka á öllum vefslóðum, því grabberinn er ekki að ná að lesa sumar vefslóðir sem eru t.d. á http/3 protocol síðum, eða síðum sem eru javascript genereitaðar.

Ef ég væri að gera þetta í dag þá myndi ég nota nodejs og tilheyrandi libraries til að lesa dom á remote urls. Og líklega myndi ég gera spider sem myndi sækja ALLAR vörur hjá verslun og það þyrfti að whitelista hverjar birtast á verðvaktinni og í hvaða vöruflokki. En þá þyrfti að breyta gagnagrunni talsvert.

En málið er einnig að það eru bara svona 4-5 verslanir í dag vs um 20 verslanir í gömlu góðu dagana. Að auki versla mjög margir í erlendum netverslunum og ekki hægt að birta þau verð hér.
Þannig að verðsamanburður hefur svolítið misst gildi sitt, og spurning hve mikið effort á að setja í þetta að bera saman verð hjá innlendum verslunum sem eru svona fáar og með mjög mismunandi vöruframboð.

appel skrifaði:Þannig að verðsamanburður hefur svolítið misst gildi sitt, og spurning hve mikið effort á að setja í þetta að bera saman verð hjá innlendum verslunum sem eru svona fáar og með mjög mismunandi vöruframboð.

Ég kaupi mér sjaldnast stöff nema kíkja á verðvaktina fyrst en hef lent í að besti díllinn var ekki birtur þar.

En ég elska þetta tól og hversu einfalt það er... alls ekki flækja það með einhverjum parametrastillingum / filterum.

Takk fyrir mig öll þessi ár.

Ég nenni sjálf aldrei að panta utan frá, aðallega útaf ábyrgðarmálum, þannig ég nota alltaf verðvaktina hér

Sit í sumarbústað og slappa af, ákvað að skoða hversu flókið þetta væri.....
Ákvað að nota skjákort sem fyrsta item til að skoða (valið af handahófi)

byrjaði vinstra megin á tölvutækni:
https://gist.github.com/gbit-is/19db762 ... 0cc244d698

svo kísildalur:
https://gist.github.com/gbit-is/4d60a64 ... 40b00ac8dd

tolvulistinn:
https://gist.github.com/gbit-is/19cb0e1 ... 1c26f2feb5

tolvutek:
https://gist.github.com/gbit-is/8c0a8e8 ... 2498b68c82

computer.is:
https://gist.github.com/gbit-is/b5a38e5 ... 2fc5dd6c99

....... Held að hitt fólkið í þessum sumarbústað haldi ég sé skrítin, búin að sitja í tölvunni í ~90-120 mín og berja lyklaborðið

Aaaallavega, þetta er ekki hugsað sem neitt plug'n'play, bara proof of concept að allar þessar síður eru auðvelt að scrape-a
Ætli ég fari ekki núna og þykjist vera social

Geggjað að fá áhugasaman einstakling inn!
Ég dreif í að adda þér sem collaborator á git repoin fyrir builderinn hér á vaktinni.
Hann byggir á sambærilegum scraper og þú varst að smíða, notar einnig BeautifulSoup

Það sem hefur verið vandamálið hjá mér er að ég var einmitt manually að skrá öll "eigindi" á vörur, þó að vörurnar sjálfar skiluðu sér í gagnagrunninn. Þegar ég segi eigindi, þá meina ég t.d. fyrir vinnsluminni, hvort það er DDR3 eða DDR4, hraði, stærð o.s.frv.

Þetta var smíðað fyrir tíma chatgpt og sambærilegra lausna, en það væri dásamlegt að nýta slíka lausn í að extracta þessum upplýsingum út frá vörusíðunum.

Þegar það er orðið sjálfvirkt, og þú ert þá kominn með allar vörur í gagnagrunn ásamt eigindum, þá er líklega lógískt næsta skref að útbúa vefþjónustu sem sækir úr þessum gagnagrunn ódýrustu vöruna hjá hverri verslun sem fellur undir flokkana á verðvaktinni.
Þá ertu kominn með þetta algjörlega sjálfvirkt, fallegt og fínt, og heimurinn er löngu orðin ostran þín.

gbit skrifaði:Aaaallavega, þetta er ekki hugsað sem neitt plug'n'play, bara proof of concept að allar þessar síður eru auðvelt að scrape-a
Ætli ég fari ekki núna og þykjist vera social

myndi mæla með að skoða hvernig Skroutz (aðal alskonar-viðskipta síðan í Grikklandi gerir þetta)

td. https://www.skroutz.gr/c/1269/technology.html

Edbpriser var alltaf snilld í gamla daga í DK. En er því miður hætt.

Þessi kom í staðinn.

https://www.pricerunner.dk/

Klemmi skrifaði:Geggjað að fá áhugasaman einstakling inn!
Ég dreif í að adda þér sem collaborator á git repoin fyrir builderinn hér á vaktinni.
Hann byggir á sambærilegum scraper og þú varst að smíða, notar einnig BeautifulSoup

Hvaða version af python er þetta að nota ?

prófaði að pulla scraperinn og lendi í errors við að keyra hann

Sé að þetta endar á að JSON sé post-að á endpoint, ætla ekki að biðja um api lykil á það en áttu til example json dump handa mér til að sjá hvernig það er structured ?

gbit skrifaði:Hvaða version af python er þetta að nota ?

Mitt venv er í 3.8.5

gbit skrifaði:prófaði að pulla scraperinn og lendi í errors við að keyra hann

Var að yfirfara hann og pusha lagfæringum. Att var enn inni, og búið að breytast eitthvað hjá sumum af hinum verslununum síðan ég uppfærði hann síðast. Ætti að keyra núna

gbit skrifaði:Sé að þetta endar á að JSON sé post-að á endpoint, ætla ekki að biðja um api lykil á það en áttu til example json dump handa mér til að sjá hvernig það er structured ?

Þetta er allt frekar frumstætt, en það er annað repo, pc-builder-server, sem er Django bakendi sem tekur við því sem safnað er. Henti bara inn example json-dumpi á scraper-repoið.
Hægt að keyra upp bakendann locally, en ég var ekki búinn að setja þetta neitt snyrtilega upp í Docker eða annað, þannig það þarf þá að vera búið að setja upp gagnagrunninn og setja inn réttar settings fyrir hann áður...

Annars er þér velkomið að fá aðgang inn á prod Django Admin ef þig langar að skoða og fikta, gögnin eru löngu orðin úrelt, ég hef ekki haft tíma til að veita þessu þá ást sem þetta þyrfti, en er að vona að þú eða einhver annar vilji taka við keflinu og gera þetta að einhverju nothæfu aftur.
Guðvelkomið að gera allar þær breytingar sem þú vilt, eða gera þetta frá grunni betur ef þú hefur áhuga á, útiloka ekki það megi endurhugsa þetta allt og framkvæma betur.

Og annað af því að þetta kann að vera ruglingslegt, þá er kerfið sem klemmi vitnar í Smíða tölvu hlutinn.
Sjálf Verðvaktin er keyrð á SQL gagnagrunni með öðrum grabber. Það vær geggjað ef það væri hægt að færa þann grunn til nútímans og jafnvel sameina þetta einhvernvegin ef hægt er.