Scrape URL

[benregn]

Ekki getur einhver útskýrt fyrir mér hvað "Scrape URL" eða bent mér í áttina hvar ég get fræðst um það? Ég fæ ekkert gagnlegt upp í Google :S

Takk

[hagur]

"URL Scraping" er einfaldlega að "stela" upplýsingum af vefsíðu, þ.e nota einhverskonar utility eða forritskóða til að gera HTTP request á ákveðna vefsíðu, lesa innihald hennar og e.t.v parsa það til að ná í ákveðnar upplýsingar af síðunni en sleppa öðrum.

Hér er dæmi, segjum sem svo að þig langi rosalega mikið til að birta veðurspána á síðunni þinni og þú hafir ekki aðgang í til þess gerða gagnaveitu (vefþjónustu, XML feed etc.), þá gætirðu einfaldlega url-scrape-að veðursíðuna á Mbl.is og extractað út þeim hluta sem þú vilt fá og birt hann á vefnum þínum.

[benregn]

Þakka þér fyrir þessa ágætu útskýringu og skjót svör. En ekki veistu um einhverja síðu/síður með frekaru upplýsingum?

[hagur]

Ekki málið

Það er hellingur til um þetta á netinu.

T.d hér: http://www.rexx.com/~dkuhlman/quixote_htmlscraping.html

Þetta er oft líka kallað "HTML screen scraping".

Hérna er fín grein um þetta á Wikipedia: http://en.wikipedia.org/wiki/Screen_scraping með undirkafla um URL/Web scraping: http://en.wikipedia.org/wiki/Screen_scr ... b_scraping

[Dagur]

Ef þú kannt python þá mæli ég með http://www.crummy.com/software/BeautifulSoup/

ef ekki þá mæli ég með að þú lærir python

[benregn]

hagur og Dagur, takk fyrir svörin. Ég var einmitt að spá hvort þetta væri það sama, þ.e. URL scraping og screen scraping. Fannst ég ekki finna neitt með google sem skýrði "URL Scraping" út almennilega en slatta um screen scraping. Þar sem þetta er sami hluturinn (?) þá er ég búinn að finna nokkar góðar

Ég hef verið að pæla í að læra python, kann í rauninni ekkert í forritun en hef áhuga á henni. Ekki lumiði á einhverjum góðum tutorials eða góðum bókum fyrir byrjanda?

[Dagur]

hagur og Dagur, takk fyrir svörin. Ég var einmitt að spá hvort þetta væri það sama, þ.e. URL scraping og screen scraping. Fannst ég ekki finna neitt með google sem skýrði "URL Scraping" út almennilega en slatta um screen scraping. Þar sem þetta er sami hluturinn (?) þá er ég búinn að finna nokkar góðar

Ég hef verið að pæla í að læra python, kann í rauninni ekkert í forritun en hef áhuga á henni. Ekki lumiði á einhverjum góðum tutorials eða góðum bókum fyrir byrjanda?

Það er til slatti af góðum (og ókeypis) kennslubókum fyrir Python á netinu. A byte of python er mjög góð til dæmis.

Annars keypti ég mér Learning python á sínum tíma. Ég mæli með henni.


Það er góður listi yfir bækur og fleira á python.org