Artificiell intelligens gör nya kopplingar mellan verk

LONDON/OSLO

Kan man använda artificiell intelligens för att skapa utställningar? ​På Tate Britain och Nasjonalmuseet i Oslo pågår två projekt som använder AI för att göra samlingarna mer tillgängliga.

När Tate Britain utlyste sin tävling IK Prize för 2016 var uppgiften att med hjälp av artificiell intelligens göra samlingarna mer tillgängliga för besökare över hela världen. Det vinnande bidraget Recognition (Igenkänning) har gjorts av den italienska gruppen Fabrica. Recognition låter artificiell intelligens jämföra nytagna nyhetsfotografier från Reuters med 30 000 bilder från Tates digitaliserade samling.

– AI:n letar efter nyhetsbilder som har likheter med konstverk i vår samling. Den jämför komposition, färg, tema och föremål i bilderna. De bilder som den anser är lika publiceras kontinuerligt på webbsajten, förklarar Tony Guillan som är ansvarig för IK Prize på Tate.

Tate Britain Tony Guillan är ansvarig för IK Prize på Tate.

Med artificiell intelligens, AI, avses här ett slags datorprogram eller algoritm som tränats att känna igen föremål i bilder. När det gäller personer i målningarna så använder AI:n också ansiktsigenkänning och identifierar på så sätt kön och ålder. 

När fotografierna och målningarna som programmet valt ut ställs bredvid varandra hoppas Fabrica att nya sätt att se på bilderna ska uppstå. Nyhetsbilder upplevs ofta som ”naturliga”, men när de placeras bredvid konstverk blir det tydligt att nyhetsfotografier är komponerade. Nyhetsfotografiet gör också så att målningen känns mer samtida.

AI:n har till exempel matchat Peter Lelys målning  "Two Ladies of the Lake Family" från mitten av 1600-talet med ett foto som föreställer två eunucker i Mumbai som sminkar sig inför en högtid. Det är uppenbart varför AI:n valt den. Fotografiet och målningen har liknande färger och komposition och i båda finns två personer.

Tate Britain
 AI:n har gjort en matchning mellan ett foto från Reuters som föreställer två eunucker i Mumbai som sminkar sig inför Raksha Bandhan-festivalen och Peter Lelys ”Two Ladies of the Lake Family” från cirka 1660.

Andra matchningar som AI:n gjort är mindre begripliga. Ibland svårt att se någon likhet alls mellan bilder den valt ut. När man undersöker skälen närmare kan man ofta se att datorprogrammet missförstått en eller flera saker i bilden.

– En matchning som AI:n gör kan vara visuellt spännande. Men är du tekniskt intresserad så kanske du fascineras mer av ett misstag som den gör, säger Coralie Gourguechon från Fabrica.

Nasjonalmuseum, Oslo 

I Adolph Tidemand och Hans Gudes Brudfölje på Hardangerfjorden hittar AI:n både en krokodil och en alligatorsköldpadda, vilket verkar besynnerligt för en mänsklig betraktare.

Tony Guillan på Tate påpekar att det finns en intressant spänning mellan AI:ns sätt att se på konst och en människas. Programmet ser bara objektiva föremål, men att se på konst är något subjektivt och känslomässigt.  

– AI:n är en mycket begränsad form av intelligens. Den förstår inte många grundläggande saker som en människa förstår. Ibland blir därför matchningarna roliga. När AI:n ser på konst skapar det frågor kring konsten, säger Tony Guillan.

Som exempel på en rolig matchning nämner han ett fotografi med Donald Trump från den amerikanska valrörelsen. Trump befinner sig en typisk amerikansk restaurang. Vi ser en framgångsrik affärsman som pratar med vanliga, hårt arbetande amerikaner.  

–  AI:n tyckte att det fotografiet liknande en målning från vår samling om föreställer en rik köpman som talar med fattiga i det viktorianska England. Det blev som en sorts satirisk kommentar. AI:n tyckte förstås inte att jämförelsen var rolig, men det tyckte jag, säger Tony Guillan.

Tate Britain

AI:n gjorde en matchning mellan ett fotografi på Donald Trump som besöker en restaurang under den amerikanska valrörelsen och en målning av en rik köpman i England från 1857.​

På Nasjonalmuseet i Oslo pågår ett annat projekt med AI, ”Deep learning at the museum”. I det låter man ett AI-program gå igenom museets samling och klassificera bilderna.

–  Recognition är ett väldigt intressant projekt, men det handlar mycket om vad AI-teknologin är för något. Vi försöker även ha ett nyttoperspektiv, förklarar Even Westvang på företaget Bengler som är delaktigt i projektet.

AI:n som ”Deep learning at the museum” använder kan även den känna igen föremål i bilder. Google har tränat den på 14 miljoner bilder. Företaget har alltså låtit människor markera objekt i bilderna och från det har AI-programmet lärt sig att identifiera föremål som till exempel båtar och getter.

–  Vi körde först AI:n på samlingen utan att den kunde något om målningar. Den har då en helt kontextfri blick. Den ser föremål i målningarna, men den förstår inte sammanhangen, säger Even Westvang.

Ett roligt exempel på den här kontextfria blicken är när AI:n beskriver Edward Munchs ”Självporträtt med brinnande cigarett” från 1895. Den hittar mycket riktigt en person, Munch, men bredvid honom ser AI:n en flodhäst. Det är förstås en orimlig tolkning. Först är det lätt att skratta åt misstaget, men tittar mer noggrant så kan man förstå vad AI sett. Färgerna nere i högra hörnet kan föra tankarna till en flodhästnos.

Nasjonalmuseum, Oslo ”Person och flodhäst”, föreslår AI:n.

Googles AI är tränad på fotografier vilket gör att den har svårare att se föremål i målningar och teckningar. Nasjonalmuseum har därför tränat AI:n till att bättre ”förstå” konst.

– Vi tränade systemet att känna igen stil. Vi laddade ner samtliga bilder från Wikiart och lät den titta på stilklassificeringarna som finns där. Den lärde känna igen stilar och perioder, säger Even Westvang

Den stora bedriften i ”Deep learning at the museum” är att de har låtit AI:n hitta bilder i samlingen som liknar varandra och från dem har de gjort en karta som visar visuella släktskap i samlingen. AI:n sorterar landskapsbilder för sig och porträtt för sig, men den skapar även mycket specifika undergrupper; alla nationalromantiska målningar med hav hamnar exempelvis på ett ställe i kartan.

Med hjälp av kartan är det möjligt att undersöka bilder från samlingarna på ett sätt som man inte kunde tidigare. Det finns också möjlighet att söka fram alla tavlor som innehåller ett visst föremål.

Dag Hensten från Nasjonalmuseum berättar att ”Deep learing at the museum” inte syftar till att göra någon utställning, men att man har funderat på hur tekniken skulle kunna användas för att göra samlingen mer tillgänglig.

–  Vi har tankar på att använda den på vår hemsida där vår samling finns tillgänglig. När man tittar på ett verk ska man få förslag på andra verk som liknar det.

De har också funderat på att skapa en fysisk utställning som använder sig av AI.

–  Vi har lust att skapa något inne på museet med ett interaktivt inslag. Till exempel att du tar en bild på dig själv och så letar nätverket upp alla personer i bilder från vår samling som liknar dig, säger Dag Hensten.

David Isaksson
frilansjournalist

Uppdaterad: 15 Feb 2017 08:53 Print