Robotredacteur +Eddie leert spotten

We worden overspoeld met videomateriaal en daardoor zijn editors te veel tijd bezig met geestdodend werk. Zou het mogelijk zijn om met machine learning en AI geautomatiseerde spotlijsten te creëren en dit in het werkproces te integreren?
KRO-NCRV is net als Al Jazeera en de BBC geïnteresseerd in dit innovatieve acceleratorprogramma dat wordt georganiseerd door de IBC, de internationale broadcastbeurs.
Tijdens deze innovatieve sessies van de IBC proberen verschillende internationale start-ups met machine learning het beeld te interpreteren. Hiervoor gebruiken ze onder andere gezichtsherkenning, spraakherkenning en objectherkenning.

Dit videofragment wordt automatisch geduid en van tekst voorzien: Donald Trump, US President and Moon Jae In, President of South Korea on stairs.
Voor persbureaus scheelt dit ontzettend veel handwerk. Maar om dit ook voor broadcasters interessant te maken, moeten er logische in- en uitpunten zijn met tijdcodes die geïntegreerd zijn in het werkproces. Wij willen geautomatiseerde subclips die we kunnen exporteren naar Avid, Adobe of FCP.
Dat lijkt tot de mogelijkheden te behoren, want met verschillende algoritmen kunnen selecties worden gemaakt op basis van handelingen, bijvoorbeeld bekende politici die handen schudden. Ook kan een selectie worden gemaakt op basis van bekende personen, actuele thema’s of inhoudelijk tekstfragmenten. Waarmee we natuurlijk nog geen geautomatiseerde storytelling hebben, maar wel een geautomatiseerde selectie.

Journalistieke programma’s bestaan vaak voor een groot deel uit interviews. Voorheen kon je transcripties laten maken. Nu kun je binnen een paar minuten volledige spotlijsten uitdraaien van subclips met tijdcodes van de verschillende stemmen en die meteen exporteren naar de tijdlijn.
Meer dan genoeg mogelijkheden voor +Eddie. De vraag is nu of het met al deze technieken mogelijk is om de volgende stap te nemen: geautomatiseerd monteren.

Ali Haselhoef
Conceptontwikkelaar Online Journalistiek
KRO-NCRV Innovatie