Góðann daginn
Ég er að spá hvernig verðvaktin virkar ?
Einhver kommentari á reddit lét það hljóma eins og það væri manual effort fólks að sjá um hana ?
Ef svo, þá hef ég áhuga á að bjóða fram hjálp mína í að automate-a þetta, er með decent reynslu af því að vinna á móti undocumented API's (og að finna þá) á síðum þar sem hægt er að komast í eitthvað API interface, ásamt því að hafa reynslu af því að scrape-a síður sem hafa ekkert þannig í boði.
Ef þetta er allt automated og cool, þá kannski finn ég reddit kommentið og leiðrétti það bara
Hvernig virkar verðvaktin ?
Re: Hvernig virkar verðvaktin ?
Guðjón er sá sem hefur verið að láta vaktina virka í gegnum öll þessi ár, og það er hans "manual effort" að þakka að við erum hér enn, ásamt stjórn og uppfærslu á verðvaktinni.
Svo er verðvaktin með grabber sem ég forritaði fyrir 20 árum og er enn í notkun, og er mjög oldschool (PHP) að því leyti að hann loadar inn html kóða á vefslóð með einhverri vöru og finnur verð sem er á milli tveggja html búta, start og end. Allt geymt í gagnagrunni, allar verðbreytingar á öllum vörum í 20 ár eru geymdar í gagnagrunni. En virkar ekki nema einhver keyrir það (Guðjón). Engin gervigreind, ennþá.
Það er svosem ekkert stórmál að screipa síður í dag, tólin í dag eru allt önnur en voru fyrir 20 árum. Chrome var t.d. ekki til þá. Libraries til að lesa html kóða og dom eru algeng í dag, en voru ekki til þá.
Það þyrfti að uppfæra grabberinn í 21. öldina og láta þá virka á öllum vefslóðum, því grabberinn er ekki að ná að lesa sumar vefslóðir sem eru t.d. á http/3 protocol síðum, eða síðum sem eru javascript genereitaðar.
Ef ég væri að gera þetta í dag þá myndi ég nota nodejs og tilheyrandi libraries til að lesa dom á remote urls. Og líklega myndi ég gera spider sem myndi sækja ALLAR vörur hjá verslun og það þyrfti að whitelista hverjar birtast á verðvaktinni og í hvaða vöruflokki. En þá þyrfti að breyta gagnagrunni talsvert.
En málið er einnig að það eru bara svona 4-5 verslanir í dag vs um 20 verslanir í gömlu góðu dagana. Að auki versla mjög margir í erlendum netverslunum og ekki hægt að birta þau verð hér.
Þannig að verðsamanburður hefur svolítið misst gildi sitt, og spurning hve mikið effort á að setja í þetta að bera saman verð hjá innlendum verslunum sem eru svona fáar og með mjög mismunandi vöruframboð.
Svo er verðvaktin með grabber sem ég forritaði fyrir 20 árum og er enn í notkun, og er mjög oldschool (PHP) að því leyti að hann loadar inn html kóða á vefslóð með einhverri vöru og finnur verð sem er á milli tveggja html búta, start og end. Allt geymt í gagnagrunni, allar verðbreytingar á öllum vörum í 20 ár eru geymdar í gagnagrunni. En virkar ekki nema einhver keyrir það (Guðjón). Engin gervigreind, ennþá.
Það er svosem ekkert stórmál að screipa síður í dag, tólin í dag eru allt önnur en voru fyrir 20 árum. Chrome var t.d. ekki til þá. Libraries til að lesa html kóða og dom eru algeng í dag, en voru ekki til þá.
Það þyrfti að uppfæra grabberinn í 21. öldina og láta þá virka á öllum vefslóðum, því grabberinn er ekki að ná að lesa sumar vefslóðir sem eru t.d. á http/3 protocol síðum, eða síðum sem eru javascript genereitaðar.
Ef ég væri að gera þetta í dag þá myndi ég nota nodejs og tilheyrandi libraries til að lesa dom á remote urls. Og líklega myndi ég gera spider sem myndi sækja ALLAR vörur hjá verslun og það þyrfti að whitelista hverjar birtast á verðvaktinni og í hvaða vöruflokki. En þá þyrfti að breyta gagnagrunni talsvert.
En málið er einnig að það eru bara svona 4-5 verslanir í dag vs um 20 verslanir í gömlu góðu dagana. Að auki versla mjög margir í erlendum netverslunum og ekki hægt að birta þau verð hér.
Þannig að verðsamanburður hefur svolítið misst gildi sitt, og spurning hve mikið effort á að setja í þetta að bera saman verð hjá innlendum verslunum sem eru svona fáar og með mjög mismunandi vöruframboð.
*-*
Re: Hvernig virkar verðvaktin ?
appel skrifaði:Þannig að verðsamanburður hefur svolítið misst gildi sitt, og spurning hve mikið effort á að setja í þetta að bera saman verð hjá innlendum verslunum sem eru svona fáar og með mjög mismunandi vöruframboð.
Ég kaupi mér sjaldnast stöff nema kíkja á verðvaktina fyrst en hef lent í að besti díllinn var ekki birtur þar.
En ég elska þetta tól og hversu einfalt það er... alls ekki flækja það með einhverjum parametrastillingum / filterum.
Takk fyrir mig öll þessi ár.
Re: Hvernig virkar verðvaktin ?
Ég nenni sjálf aldrei að panta utan frá, aðallega útaf ábyrgðarmálum, þannig ég nota alltaf verðvaktina hér
Re: Hvernig virkar verðvaktin ?
Sit í sumarbústað og slappa af, ákvað að skoða hversu flókið þetta væri.....
Ákvað að nota skjákort sem fyrsta item til að skoða (valið af handahófi)
byrjaði vinstra megin á tölvutækni:
https://gist.github.com/gbit-is/19db762 ... 0cc244d698
svo kísildalur:
https://gist.github.com/gbit-is/4d60a64 ... 40b00ac8dd
tolvulistinn:
https://gist.github.com/gbit-is/19cb0e1 ... 1c26f2feb5
tolvutek:
https://gist.github.com/gbit-is/8c0a8e8 ... 2498b68c82
computer.is:
https://gist.github.com/gbit-is/b5a38e5 ... 2fc5dd6c99
....... Held að hitt fólkið í þessum sumarbústað haldi ég sé skrítin, búin að sitja í tölvunni í ~90-120 mín og berja lyklaborðið
Aaaallavega, þetta er ekki hugsað sem neitt plug'n'play, bara proof of concept að allar þessar síður eru auðvelt að scrape-a
Ætli ég fari ekki núna og þykjist vera social
Ákvað að nota skjákort sem fyrsta item til að skoða (valið af handahófi)
byrjaði vinstra megin á tölvutækni:
https://gist.github.com/gbit-is/19db762 ... 0cc244d698
svo kísildalur:
https://gist.github.com/gbit-is/4d60a64 ... 40b00ac8dd
tolvulistinn:
https://gist.github.com/gbit-is/19cb0e1 ... 1c26f2feb5
tolvutek:
https://gist.github.com/gbit-is/8c0a8e8 ... 2498b68c82
computer.is:
https://gist.github.com/gbit-is/b5a38e5 ... 2fc5dd6c99
....... Held að hitt fólkið í þessum sumarbústað haldi ég sé skrítin, búin að sitja í tölvunni í ~90-120 mín og berja lyklaborðið
Aaaallavega, þetta er ekki hugsað sem neitt plug'n'play, bara proof of concept að allar þessar síður eru auðvelt að scrape-a
Ætli ég fari ekki núna og þykjist vera social
Síðast breytt af gbit á Lau 18. Maí 2024 17:32, breytt samtals 3 sinnum.
Re: Hvernig virkar verðvaktin ?
Geggjað að fá áhugasaman einstakling inn!
Ég dreif í að adda þér sem collaborator á git repoin fyrir builderinn hér á vaktinni.
Hann byggir á sambærilegum scraper og þú varst að smíða, notar einnig BeautifulSoup
Það sem hefur verið vandamálið hjá mér er að ég var einmitt manually að skrá öll "eigindi" á vörur, þó að vörurnar sjálfar skiluðu sér í gagnagrunninn. Þegar ég segi eigindi, þá meina ég t.d. fyrir vinnsluminni, hvort það er DDR3 eða DDR4, hraði, stærð o.s.frv.
Þetta var smíðað fyrir tíma chatgpt og sambærilegra lausna, en það væri dásamlegt að nýta slíka lausn í að extracta þessum upplýsingum út frá vörusíðunum.
Þegar það er orðið sjálfvirkt, og þú ert þá kominn með allar vörur í gagnagrunn ásamt eigindum, þá er líklega lógískt næsta skref að útbúa vefþjónustu sem sækir úr þessum gagnagrunn ódýrustu vöruna hjá hverri verslun sem fellur undir flokkana á verðvaktinni.
Þá ertu kominn með þetta algjörlega sjálfvirkt, fallegt og fínt, og heimurinn er löngu orðin ostran þín.
Ég dreif í að adda þér sem collaborator á git repoin fyrir builderinn hér á vaktinni.
Hann byggir á sambærilegum scraper og þú varst að smíða, notar einnig BeautifulSoup
Það sem hefur verið vandamálið hjá mér er að ég var einmitt manually að skrá öll "eigindi" á vörur, þó að vörurnar sjálfar skiluðu sér í gagnagrunninn. Þegar ég segi eigindi, þá meina ég t.d. fyrir vinnsluminni, hvort það er DDR3 eða DDR4, hraði, stærð o.s.frv.
Þetta var smíðað fyrir tíma chatgpt og sambærilegra lausna, en það væri dásamlegt að nýta slíka lausn í að extracta þessum upplýsingum út frá vörusíðunum.
Þegar það er orðið sjálfvirkt, og þú ert þá kominn með allar vörur í gagnagrunn ásamt eigindum, þá er líklega lógískt næsta skref að útbúa vefþjónustu sem sækir úr þessum gagnagrunn ódýrustu vöruna hjá hverri verslun sem fellur undir flokkana á verðvaktinni.
Þá ertu kominn með þetta algjörlega sjálfvirkt, fallegt og fínt, og heimurinn er löngu orðin ostran þín.
-
- Ofur-Nörd
- Póstar: 280
- Skráði sig: Mið 11. Maí 2005 21:28
- Reputation: 54
- Staðsetning: Breidholt
- Hafðu samband:
- Staða: Ótengdur
Re: Hvernig virkar verðvaktin ?
gbit skrifaði:Aaaallavega, þetta er ekki hugsað sem neitt plug'n'play, bara proof of concept að allar þessar síður eru auðvelt að scrape-a
Ætli ég fari ekki núna og þykjist vera social
myndi mæla með að skoða hvernig Skroutz (aðal alskonar-viðskipta síðan í Grikklandi gerir þetta)
td. https://www.skroutz.gr/c/1269/technology.html
ef ég skrifa kb þá meina ég kilobyte!!!
Re: Hvernig virkar verðvaktin ?
Edbpriser var alltaf snilld í gamla daga í DK. En er því miður hætt.
Þessi kom í staðinn.
https://www.pricerunner.dk/
Þessi kom í staðinn.
https://www.pricerunner.dk/
Re: Hvernig virkar verðvaktin ?
Klemmi skrifaði:Geggjað að fá áhugasaman einstakling inn!
Ég dreif í að adda þér sem collaborator á git repoin fyrir builderinn hér á vaktinni.
Hann byggir á sambærilegum scraper og þú varst að smíða, notar einnig BeautifulSoup
Hvaða version af python er þetta að nota ?
prófaði að pulla scraperinn og lendi í errors við að keyra hann
Sé að þetta endar á að JSON sé post-að á endpoint, ætla ekki að biðja um api lykil á það en áttu til example json dump handa mér til að sjá hvernig það er structured ?
Re: Hvernig virkar verðvaktin ?
gbit skrifaði:Hvaða version af python er þetta að nota ?
Mitt venv er í 3.8.5
gbit skrifaði:prófaði að pulla scraperinn og lendi í errors við að keyra hann
Var að yfirfara hann og pusha lagfæringum. Att var enn inni, og búið að breytast eitthvað hjá sumum af hinum verslununum síðan ég uppfærði hann síðast. Ætti að keyra núna
gbit skrifaði:Sé að þetta endar á að JSON sé post-að á endpoint, ætla ekki að biðja um api lykil á það en áttu til example json dump handa mér til að sjá hvernig það er structured ?
Þetta er allt frekar frumstætt, en það er annað repo, pc-builder-server, sem er Django bakendi sem tekur við því sem safnað er. Henti bara inn example json-dumpi á scraper-repoið.
Hægt að keyra upp bakendann locally, en ég var ekki búinn að setja þetta neitt snyrtilega upp í Docker eða annað, þannig það þarf þá að vera búið að setja upp gagnagrunninn og setja inn réttar settings fyrir hann áður...
Annars er þér velkomið að fá aðgang inn á prod Django Admin ef þig langar að skoða og fikta, gögnin eru löngu orðin úrelt, ég hef ekki haft tíma til að veita þessu þá ást sem þetta þyrfti, en er að vona að þú eða einhver annar vilji taka við keflinu og gera þetta að einhverju nothæfu aftur.
Guðvelkomið að gera allar þær breytingar sem þú vilt, eða gera þetta frá grunni betur ef þú hefur áhuga á, útiloka ekki það megi endurhugsa þetta allt og framkvæma betur.
Síðast breytt af Klemmi á Mán 20. Maí 2024 00:32, breytt samtals 1 sinni.
-
- Stjórnandi
- Póstar: 16508
- Skráði sig: Fim 29. Ágú 2002 18:46
- Reputation: 2111
- Staðsetning: Hérna
- Hafðu samband:
- Staða: Ótengdur
Re: Hvernig virkar verðvaktin ?
Og annað af því að þetta kann að vera ruglingslegt, þá er kerfið sem klemmi vitnar í Smíða tölvu hlutinn.
Sjálf Verðvaktin er keyrð á SQL gagnagrunni með öðrum grabber. Það vær geggjað ef það væri hægt að færa þann grunn til nútímans og jafnvel sameina þetta einhvernvegin ef hægt er.
Sjálf Verðvaktin er keyrð á SQL gagnagrunni með öðrum grabber. Það vær geggjað ef það væri hægt að færa þann grunn til nútímans og jafnvel sameina þetta einhvernvegin ef hægt er.