Apple ætlar að ritskoða iCloud

[GuðjónR]

Hvað finnst ykkur um þessa þróun?
Apple þróar tækni til að ritskoða myndir í iCloud og tilkynnir yfirvöldum ef þeir finna eitthvað grunsamlegt.

RUV fjallar um málið.
MacRumors fjallar líka um málið.

[Snojo]

Ég var einmitt að pæla í þessu í gær.
Eru þeir ekki basically að nota sömu tækni og við notum í Anti-malware?
Þú ert með SHA256 database, og svo er tekið hash af öllum myndum og síðan er gerður samanburður.
Ef það er match þá er myndin flögguð.

Það eru nokkrir hlutir hér sem veldur manni áhyggjum samt.
1. Hvernig eru þeir að hasha myndirnar. Er eithvað ML model þar á bakvið? Þeir segja aldrei að þeir séu að nota basic SHA
2. Þeir segjast vera með "human reviewers" sem checka á myndunum ef þú færð flagg. Það gefur til kynna að false positives séu thing. False positives eiga aldrei að geta gerst þegar þú notar SHA256 eða hærra. (Eða þú veist... Stjarnfræðilega ólíklegt)

Ef þetta er bara basic SHA against SHA check þá sé ég ekkert af þessu. It's for the good of all, svipað og með anti-spam og anti-malware systemin okkar.
Ef kerfi er að gera eithvað meira á bakvið tjöldin og false-positives eru möguleiki, þá getur þetta verið stórhættulegt.

Edit:
Í raun getur venjulegt hash check verið frekar hættulegt líka.
Segjum að Kína fái að stjórna þessu og bætir við myndinni af Tiananmen square í gagnagrunninn.
Þó svo tæknin sé auglýst sem "For the Children", þá eru hættulegir möguleikar þarna uppi á borði.

[GuðjónR]

Hér eru tækniupplýsingar um þetta kerfi:
https://www.apple.com/child-safety/pdf/ ... ummary.pdf

p.s. hér er fyrri greinin sem birtist á MacRumors
https://www.macrumors.com/2021/08/05/ap ... -features/

[Snojo]

Hér eru tækniupplýsingar um þetta kerfi:
https://www.apple.com/child-safety/pdf/ ... ummary.pdf

Ok, þetta er fucking cool.
En ég held að þetta sé enþá stórhættulegt ef það er notað í pólitískum tilgangi.

[GuðjónR]

Maður hefur samt á tilfinningunni að þarna sé verið að opna eitthvað Pandórubox, hvað verður næst?
Skanna símann þinn til athuga hvort þú hafir pólitískt „réttara“ skoðanir?

Tæknin er öflug en þeir tala um að ef flöggun kemur þá þurfi strarfsólk að skoða áður en þeir senda tilkynningu á yfirvöld, hver á að skoða og hvað á að skoða? Þetta vekur upp margar spurningar um friðhelgi.

Svo sér maður fyrir sér hrekkjalóma að airdroppa allskonar vafasömu og fólk sem veit ekki hvað er í gangi að samþykkja fá svo instant lock/block á aðganginn sinn þar sem síminn uplodar instantly í skýið sem flaggar myndefnið.

[depill]

Sko sama hvernig Apple rammar þetta inn að þeir geti bara decryptað þær myndir sem "matcha" að þá er lykilinn í þessu að þeir geta decryptað contentið þitt. Það finnst mér risa no no og suprising að sjá frá fyrirtæki eins og Apple. Verið að refsa 99% til að ná 1%

[GuðjónR]

Sko sama hvernig Apple rammar þetta inn að þeir geti bara decryptað þær myndir sem "matcha" að þá er lykilinn í þessu að þeir geta decryptað contentið þitt. Það finnst mér risa no no og suprising að sjá frá fyrirtæki eins og Apple. Verið að refsa 99% til að ná 1%

Til að ná til 0.0000000000000000001% myndi ég nú frekar segja. Þeir sem eru að sýsla með svona myndir geyma þær varla í svona skýi.
En þetta er mjög skrítið, það er ekki langt síðan Apple neitaði FBI og CIA um að opna síma hryðjuverkamanns á grundvelli friðhelgi, þeir hafa neitað að opna síma bæði í nauðgunar og morðmálum en svo ákveða þeir að segja sig í hlutverk Judge Dredd og gera þetta.

[urban]

Hugsunin á bakvið þetta er frábær, meina, hver vill ekki fækka barnaníðingum.

En þetta er alveg spurning um hvenær er of langt gengið.
Mest hræðist ég svo fólkið sem að segir að þetta verði allt í lagi útaf upprunalega tilgangnum.

[GuðjónR]

Apple should add scanning for:

1. Photos of the confederate flag.
2. Photos of people not wearing Covid masks.
3. Photos of Chinese people disrespecting the Chinese government.
4. Photos of Middle eastern women not wearing burkas.
5. Photos of a group of people with too many whites, not enough blacks.

[depill]

Hugsunin á bakvið þetta er frábær, meina, hver vill ekki fækka barnaníðingum.

En þetta er alveg spurning um hvenær er of langt gengið.
Mest hræðist ég svo fólkið sem að segir að þetta verði allt í lagi útaf upprunalega tilgangnum.

Sorry þoli ekki þegar það er verið að skerða réttindi almennings til þess að ná örfáum bad actors. Þetta endar alltaf í misnoktun eða "extension" á því hver er bad actor. Byrjar á þeim sem flestir hata barnaníðingum, svo morðingjum, svo óvinsælir, svo þeir sem kjósa vitlaust, svo þeir sem kaupa vitlaust og svo bara allir

[Hrotti]

Ég hef því miður enga trú á að hugsunin á bak við þetta sé göfug. Frekar að þeir séu að nota málefni sem allir eru sammála um til að skerða réttindi.

[agnarkb]

OK, það er einhver AI sem sjálfkrafa flaggar mögulegt barnaníð og eftir x mörg flögg þá er einhver hjá Apple sem fer yfir gögnin handvirkt og metur.
En hvað flokkar þessi AI og algorithmi sem barnaníð? Er fólk sem t.d. tekur myndir af börnunum sínum að leika sér í sundlaug eða baði eða eitthvað þannig að koma sér möguleg vandræði gagnvart Apple?

[GuðjónR]

Ein grein til viðbótar, sýnist flestir setja sig á móti þessari þróun:
https://forums.macrumors.com/threads/se ... d.2306655/

Security researcher Alec Muffett, who formerly worked at Facebook, said that Apple's decision to implement this kind of image scanning was a "huge and regressive step for individual privacy." "Apple are walking back privacy to enable 1984," he said.

Ross Anderson, professor of security engineering at the University of Cambridge said called it an "absolutely appalling idea" that could lead to "distributed bulk surveillance" of devices.

In a series of tweets, Johns Hopkins cryptography researcher Matthew Green said that CSAM scanning is a "really bad idea" because in the future, it could expand to scanning end-to-end encrypted photos rather than just content that's uploaded to ‌iCloud‌.
Green believes that Apple's implementation will push other tech companies to adopt similar techniques. "This will break the dam," he wrote. "Governments will demand it from everyone." He compared the technology to "tools that repressive regimes have deployed.

[jonfr1900]

Hvað ef að lýðræðisstjórnin í Bandaríkjunum fellur og í staðinn kemur inn alræðisstjórn eins og þá sem er að finna í Kína. Þá er svona tækni til staðar sem hægt verður að nota til þess að finna og staðsetja skoðanir sem eru alræðisstjórninni ekki að skapi. Kína gerir þetta nú þegar.

[Graven]

Hvað ef að lýðræðisstjórnin í Bandaríkjunum fellur og í staðinn kemur inn alræðisstjórn eins og þá sem er að finna í Kína. Þá er svona tækni til staðar sem hægt verður að nota til þess að finna og staðsetja skoðanir sem eru alræðisstjórninni ekki að skapi. Kína gerir þetta nú þegar.

HAHAHA
Löngu búið að gerast.

[falcon1]

Vegurinn til helvítis er oft varðaður góðum ásetningi.

Þetta er stórhættuleg þróun og ég er viss um að það liggur eitthvað annað og meira á bakvið þetta en barátta gegn barnaníði.

Allavega ánægður með að ég kaupi ekki vörur frá Apple ef þetta er stefnan.

[Tbot]

Fyndið hvað sést lítið til commenta frá PC herdeildinni hérna.

Þetta er nákvæmlega það sem er búið að vara við í langað tíma.
Gögn geymd í cloud eru ekki varin. Sama hvað er sagt um encryption. Núna er Apple búnir að segja að þeir geti opnað encryption-ina.

Eina sem myndi virka væri að fólk keypti ekki Apple vörur, en það eru litlar líkur á því.

[jonfr1900]

Þetta er einnig ekki bara iCloud heldur einnig símar fólks.

Apple is about to start scanning iPhone users' devices for banned content, warns professor (The Register)

Apple plans to scan US iPhones for child abuse imagery (Ars Technica)

Þessi tækni verður misnotuð af yfirvöldum. Þetta endar alltaf þannig. Jafnvel þó svo að lýðræðið haldi í Bandaríkjunum og Evrópu.

[GuðjónR]

I wonder if the webcams in the new M1 notebooks will be scanning our interiors and compare them to the hash databases of the US Chamber of Commerce for illicit paintings? We think you are going to love it!

[HalistaX]

OK, það er einhver AI sem sjálfkrafa flaggar mögulegt barnaníð og eftir x mörg flögg þá er einhver hjá Apple sem fer yfir gögnin handvirkt og metur.
En hvað flokkar þessi AI og algorithmi sem barnaníð? Er fólk sem t.d. tekur myndir af börnunum sínum að leika sér í sundlaug eða baði eða eitthvað þannig að koma sér möguleg vandræði gagnvart Apple?

Ef þetta væru myndir af þér að misnota börnin í sundlaugini þá já, yrði það mjög líklega flaggað...

Annars, ef er verið að reyna að taka á barnaklámi og níð, þá finnst mér að það ætti nú fyrst og fremst að taka Snapchat offline forever og setja einhver lög í kringum svoleiðis forrit.

Það er mjög algengt að Dropbox sé notað til að dreifa klámi. Þegar maður skráir fríann user hjá Dropbox fær maður frí 5GB af Cloud Storage, sem er stækkanlegt uppí eitthvað X með einhverjum referrals og álíka. Það er mjög algengt að menn skrái frían reikning hjá Dropbox, dæli 5GB af klámi þangað inná og selji svo linkinn á einhverja dollara. Rinse and repeat. Og þegar ég segi "menn", þá eru það samt oftast "konur", en útaf því að konur hata náttúrulega peninga og frægð og eru því auðvitað alltaf neyddar í klámið af einhverjum karlmönnum, þá nota ég bara orðið "menn".

[mikkimás]

OK, það er einhver AI sem sjálfkrafa flaggar mögulegt barnaníð og eftir x mörg flögg þá er einhver hjá Apple sem fer yfir gögnin handvirkt og metur.
En hvað flokkar þessi AI og algorithmi sem barnaníð? Er fólk sem t.d. tekur myndir af börnunum sínum að leika sér í sundlaug eða baði eða eitthvað þannig að koma sér möguleg vandræði gagnvart Apple?

Ef þetta væru myndir af þér að misnota börnin í sundlaugini þá já, yrði það mjög líklega flaggað...

Efast um að framkvæmdin verði jafn straightforward.

Foreldrar munu þurfa að passa mjöööööööög vel hvað það setur inn á skýið.

[HalistaX]

OK, það er einhver AI sem sjálfkrafa flaggar mögulegt barnaníð og eftir x mörg flögg þá er einhver hjá Apple sem fer yfir gögnin handvirkt og metur.
En hvað flokkar þessi AI og algorithmi sem barnaníð? Er fólk sem t.d. tekur myndir af börnunum sínum að leika sér í sundlaug eða baði eða eitthvað þannig að koma sér möguleg vandræði gagnvart Apple?

Ef þetta væru myndir af þér að misnota börnin í sundlaugini þá já, yrði það mjög líklega flaggað...

Efast um að framkvæmdin verði jafn straightforward.

Foreldrar munu þurfa að passa mjöööööööög vel hvað það setur inn á skýið.

Já ég veit, þetta var bara djók...

Annars finnst mér líklegast að þeir séu með database af myndefni, s.s. að Apple eigi mörg hundruð Terabæt af barnaklámi einhvers staðar, sem þeir láta AI skanna til þess að finna sama eða svipað myndefni á serverunum hjá sér.

Einföld útskýring væri svona eins og þegar maður google'ar ljósmynd.

[mikkimás]

Já ég veit, þetta var bara djók...

Annars finnst mér líklegast að þeir séu með database af myndefni, s.s. að Apple eigi mörg hundruð Terabæt af barnaklámi einhvers staðar, sem þeir láta AI skanna til þess að finna sama eða svipað myndefni á serverunum hjá sér.

Einföld útskýring væri svona eins og þegar maður google'ar ljósmynd.

Ég fatta þig. En samhengið sem myndin var tekin í skiptir líka miklu máli.

Barnaperrar stunda líka að taka afrit af og dreifa í nýju og óheilbrigðara samhengi tiltölulega saklausum fjölskyldumyndum sem voru ekki upphaflega teknir með það samhengi í huga.

Þess konar myndir verða líka flaggaðar og munu gera foreldrum erfitt fyrir, nema algoriþmar tæknirisanna séu þróaðri en ég geri mér grein fyrir og geti greint samhengi.

[natti]

Þetta er galið á svo mörgum "levelum", en það er spurning hvort þetta verði óumflýjanlegt eða ekki.
Og þetta er ekki bara spurning um að hætta að versla við Apple, því ef backslash-ið verður ekki nægilega mikið þá munu bara aðrir fylgja í kjölfarið og gera svipað.

Fyrir utan augljósu privacy issue-in, þá er þetta ákveðin stefnubreyting sem hefur töluvert víðtækari áhrif, sbr eftirfarandi:

það er ekki langt síðan Apple neitaði FBI og CIA um að opna síma hryðjuverkamanns á grundvelli friðhelgi, þeir hafa neitað að opna síma bæði í nauðgunar og morðmálum

Lengi vel var nefninlega svarið frá Apple að þeir væru ekki í aðstöðu til þess að brjóta á friðhelginni, og opna síma og svo framvegis, að kerfið væri þannig uppbyggt.
En um leið og kerfið er uppbyggt á þann hátt að þeir geti nálgast gögnin undir ákveðnum kringumstæðum breytist leikurinn í þá áttina að stjórnvöld eiga einfaldara með að krefjast þess að fá gögn afhent.
Og það hefur töluvert breyst núþegar, t.a.m. lét Apple undan þrýstingin þannig að iCloud backup-in þín eru ekki dulkóðuð.
https://www.bbc.com/news/technology-51207744

Hitt er að svona verkefni yrði hvort eð er aldrei án aðkomu stjórnvalda, sem hefðu þá óhjákvæmilega áhrif á hvað væri skannað eftir, enda hefur Apple ekkert leyfi til að sýsla með barnaklám upp á sitt einsdæmi.

Þessi tækni verður misnotuð af yfirvöldum. Þetta endar alltaf þannig. Jafnvel þó svo að lýðræðið haldi í Bandaríkjunum og Evrópu.

Mér finnst þú gefa þessum tveim heimshlutum allt of mikið vægi.
Fyrir uþb ári síðan voru stjórnvöld í Bandaríkjunum mun nær Kína í hugsunarhætti heldur en nokkuð annað "vestrænt" ríki, og Þjóðverjar voru gripnir við að setja á laggirnar áætlun um að koma spyware inn í síma eigin þegna (og ferðamanna) til að njósna um þá, og það er bara innan við áratugur síðan.

Hvað misnotkunina varðar, þá má nefna í þessu samhengi að sum lönd hafa farið út í "ritskoðun" á internetumferð með sama leiðarljós, að loka eða takmarka aðgengi að barnaklámi, og hefur það t.a.m. verið gert með DNS blocking á sama hátt og er gert hér á landi gagnvart Deildu og ólöglegum deiliþjónustum.
Í þeim tilfellum þar sem "listarnir" yfir það sem lokað er á hefur verið lekið, hefur komið í ljós að allsskonar annað hefur "fylgt" þar með, eins og síður sem innihalda öfgafullar stjórnmálaskoðanir að mati sitjandi stjórnar.
Eins ákváðu Danir að fara í það verkefni að útvíkka sinn lista til að loka á síður sem selja dóp eða lyfseðilsskyld efni og "unlicenced online gambling sites".
https://en.wikipedia.org/wiki/Censorship_in_Denmark

Um leið og tæknin er innleidd þá opnast möguleikinn á misnotkun, og það kemur meintu lýðræði eiginlega ekkert við.



Og hvað hashing varðar, þá eru fullt af öðrum vandamálum tengt því líka, sbr:
https://towardsdatascience.com/black-box-attacks-on-perceptual-image-hashes-with-gans-cc1be11f277

[elv]

Ágætis lesning um þetta
https://www.hackerfactor.com/blog/index.php?/archives/929-One-Bad-Apple.html