Beveiligingsonderzoekers zijn er in geslaagd om de scansoftware van Apple voor de gek te houden. Enkele uren nadat de broncode van NeuralHash online verscheen, wisten ze een ‘hash collision’ te veroorzaken. De software denkt dan dat twee foto’s identiek zijn, maar in werkelijkheid gaat het om twee verschillende afbeeldingen.
Dat schrijft de Amerikaanse techsite TechCrunch.
Zo werkt de scansoftware van Apple NeuralHash
Apple wil zijn steentje bijdragen aan de bestrijding van kinderpornografisch beeldmateriaal. Daarvoor heeft het bedrijf een programma ontwikkeld dat NeuralHash heet. Op het moment dat iemand foto’s van kindermisbruik downloadt en deze plaatjes synchroniseert met zijn iCloud account, scant de software de code of hash van de afbeelding. Deze hash genereert Apple niet zelf, maar krijgt het bedrijf van organisaties als de National Center for Missing and Exploited Children (NCMEC). De scansoftware van Apple is in staat om variaties op het aangeleverde beeldmateriaal te herkennen, zoals zwart-witfoto’s of gespiegelde versies.
Om te voorkomen dat de software valse positieven afgeeft, heeft Apple twee veiligheidsmaatregelen in het proces ingebouwd. Allereerst vindt er een handmatige controle door een medewerker plaats als er een match is. Daarnaast gaan er pas alarmbellen af bij minimaal dertig hits. Dit laatste noemt Apple Threshold Secret Sharing.
Apple krijgt forse kritiek over zich heen
Nadat Apple NeuralHash introduceerde aan de buitenwereld, kreeg het Amerikaanse techbedrijf felle kritiek over zich heen. Mensenrechtenorganisaties vrezen dat de software een eerste stap is om een surveillancesysteem op te tuigen. Apple kan in theorie een backdoor inbouwen in haar producten waarmee het mogelijk is om versleutelde berichten af te luisteren. De Electronic Frontier Foundation publiceerde samen met andere organisaties een open brief op internet om Apple op andere gedachten te brengen. Tevens kunnen mensen een online petitie ondertekenen tegen de plannen van Apple, wat inmiddels zo’n 7.000 keer is gebeurd.
Ook intern krijgt Apple de volle lading over zich heen. Medewerkers zijn normaliter terughoudend in het becommentariëren van hun werkgever. Via het interne Slack-kanaal zijn meer dan achthonderd berichten over NeuralHash gespot. Daarin spreken de werknemers hun zorgen uit dat het systeem misbruikt kan worden door autoritaire regimes om dissidenten en activisten in de gaten te houden en overheidscensuur op te leggen. Tevens zou Apples technologie gebruikt kunnen worden om te scannen op andere ander materiaal, zoals anti-overheidspamfletten, homoseksualiteit, flyers om te demonstreren of belediging van een staatshoofd.
Arda Gerkens, directeur van het Expertisebureau Online Kindermisbruik (EOKM), zette eerder deze week haar vraagtekens bij het initiatief van Apple. Ze veronderstelt dat er geen slachtoffers worden gered met Apples scansoftware. Ze is bang dat het programma veel meer werk voor rechercheurs met zich meebrengt. “Stel je voor wat tienduizenden meldingen per jaar betekent voor de werkdruk van de politie. Die moeten onderzoek doen, een huiszoeking en het in beslag nemen van gegevensdragers. En het is niet zo dat één rechercheur daarmee bezig is”, zo zei ze in een vraaggesprek met NU.nl. Het schoonmaken van het internet zou volgens Gerkens het belangrijkste doel van Apple moeten zijn.
Experts weten ‘hash collision’ te creëren
Maar hoe goed werkt NeuralHash? Apple is ervan overtuigd dat het een effectief instrument is in de strijd tegen kinderporno. Beveiligingsonderzoekers hebben daar hun twijfels over. Ontwikkelaar Asuhariet Ygvar reverse-engineerede Apples NeuralHash naar een Python script en publiceerde deze code op GitHub. Op Reddit vertelde hij dat de code al verborgen zit in iOS 14.3. Zodoende was hij in staat de broncode te reconstrueren nog voordat hij naar iOS 15 wordt uitgerold.
Vervolgens ging Cory Cornelius, beveiligingswetenschapper bij Intel Labs, met de broncode van Ygvar aan de slag. Hij slaagde erin om een zogeheten ‘hash collision’ te creëren. Het algoritme denkt dan dat twee foto’s met elkaar overeenkomen, maar in werkelijkheid gaat het om twee verschillende plaatjes. Beide afbeeldingen krijgen onterecht dezelfde hash-waarde. Oftewel, hiermee wordt een foto als false positive aangemerkt. Op GitHub vertelt hij hier meer over. Enige tijd later bevestigde Ygvar de ‘hash collision’.
Apple niet bezorgd over uitkomsten beveiligingsonderzoekers
Normaal gesproken duurt het maanden voordat zo’n dergelijke fout aan het licht komt. Nu was het een kwestie van uren. TechCrunch vroeg een woordvoerder van Apple om een toelichting, maar het bedrijf wilde niet ingaan op de kwestie. Wel liet Apple weten dat er maatregelen zijn genomen om dergelijke fouten tegen te gaan. Verder zou Ygvar een ‘generieke versie’ van NeuralHash hebben ge-reversed-engineered en niet de volledige versie. Het technologiebedrijf maakt zich dan ook geen zorgen.
Craig Federighi, hoofd van de software-afdeling bij Apple, erkende afgelopen weekend dat de communicatie omtrent NeuralHash te wensen overliet. “We wilden dat dit iets duidelijker naar buiten was gekomen, want we staan erg positief achter wat we hier doen, en we merken dat het helemaal verkeerd begrepen is. Het bericht werd vorige week opgepakt als ‘Apple scant mijn telefoon op afbeeldingen’. Dat is niet wat we doen”, zo zei de Apple-topman tegenover The Wall Street Journal.
Verder benadrukte hij tegenover de krant dat Apples methode een stuk privacyvriendelijker is dan de concurrentie. Zij controleren namelijk alle bestanden in de cloud, Apple kijkt alleen naar foto’s die geüpload worden en laten de rest ongemoeid. Verder monitort het systeem enkel op beeldmateriaal dat al bekend is en aangereikt wordt door externe partijen.
Update (10 december 2022): Apple trekt de stekker uit de scanner die foto’s controleert op kinderporno. Het doel was om een tool te creëren om de verspreiding van kinderpornografisch beeldmateriaal tegen te gaan die tegelijkertijd rekening hield met de privacy van klanten. Het plan was vanaf dag één al controversieel. Dat was voor Apple aanleiding om de uitrol van de scantool te pauzeren en zichzelf meer tijd te gunnen om input van experts te vragen.
Meer dan een jaar na de aankondiging kiest Apple ervoor om een einde te maken aan de scantool. In een interview met Wired vertelt het Amerikaanse technologiebedrijf dat het zijn aandacht gaat richten op Communicatieveiligheid. Deze in december 2021 gelanceerde feature waarschuwt kinderen voor naaktfoto’s voordat ze deze via de Berichten-app kunnen ontvangen of versturen.
“We hebben verder besloten niet verder te gaan met onze eerder voorgestelde CSAM-detectietool voor iCloud Foto’s. Kinderen kunnen worden beschermd zonder dat bedrijven persoonlijke gegevens uitkammen, en we zullen blijven samenwerken met overheden, kinderadvocaten en andere bedrijven om jongeren te helpen beschermen, hun recht op privacy te behouden en het internet een veiligere plek te maken voor kinderen en voor ons allemaal”, zo zegt Apple tegen Wired.
