Conceptherkenning

Iedereen gebruikt dit algoritme, bewust of onbewust. Voor +Eddie willen we een stap verder gaan en experimenteren met conceptherkenning. Kan een algoritme ook abstracte begrippen herkennen, zoals armoede en klimaatverandering? Hiervoor werken Badr en ik samen met de Berlijnse start-up Mobius. Af en toe zijn de resultaten verbluffend. Zo herkent het algoritme afbeeldingen met zwervers, junks, krottenwijken en verwaarloosde kinderen.

Om te controleren of we de algoritmes voor alle onderwerpen kunnen gebruiken, hebben we ook zoekacties ondernomen rond het thema klimaatverandering en duurzaamheid. Voor speech-to-text en OCR geldt dat het voor alle onderwerpen even bruikbaar is.
Maar voor conceptherkenning is het een ander verhaal: daar moet ieder concept weer apart getraind worden. In eerste instantie dachten we met vijftig positieve en negatieve afbeeldingen het concept te kunnen trainen, maar uiteindelijk hebben we rond de 200 positieve en negatieve afbeeldingen ingevoerd en was de uitkomst redelijk, maar nog niet overtuigend. Klimaatverandering lijkt visueel te breed zowel wat oorzaken als gevolgen betreft. Ditzelfde geldt ook (maar in mindere mate) voor armoede, ‘poverty’.

In de video lijken vooral scènes herkend te worden waarmee het algoritme getraind is. Scènes die niet voor de training gebruikt zijn, geven te vaak false positives. Jonge daklozen die rottend fruit uit de dozen op de markt selecteren, worden niet gesignaleerd. Maar normaal uitziende mensen en een doorsnee jongen in de stad wel. Zelfs de verslaggever van Brandpunt wordt herkend als armoede.
Conceptherkenning is heel erg interessant en veelbelovend, maar uiteindelijk is het voor +Eddie nog te vroeg om met dit algoritme de juiste scènes te kunnen detecteren.

Ali Haselhoef
Conceptontwikkelaar Online Journalistiek
KRO-NCRV Innovatie