Next Generation: Combining AI with human creativity with Sofia Crespo

Dit verhaal maakt deel uit van Next Generation, een serie waarin we jonge makers een platform bieden om hun werk te laten zien. Wil je jouw werk hier zien? Neem contact op en bepaal je coördinaten terwijl we samen onze toekomst verkennen.

Sofia Crespo is een in Berlijn gevestigde digitale kunstenares en recent afgestudeerde in Toegepaste Informatica. Ze gebruikt machine learning-technieken om onnatuurlijke afbeeldingen van de natuur te creëren. Met een interesse in de werking van het menselijk brein, onderzoekt Crespo de overeenkomsten tussen technieken van AI-beeldvorming en de manier waarop mensen zich creatief uitdrukken en hun wereld cognitief herkennen. Dit, gecombineerd met haar fascinatie voor vormen, structuren en kleuren die in de natuur worden gevonden, resulteert in een reeks ontzagwekkende beelden die onze hersenen dwingen om op geheel nieuwe manieren met de natuur om te gaan.

Het werk van Crespo stelt de potentie van AI in artistieke praktijk ter discussie en de mogelijkheid om onze opvattingen over creativiteit te hervormen. Inderdaad, AI kan net zo goed invloed hebben op de dingen die wij maken als wij er invloed op hebben. Als de uitrusting van een kunstenaar altijd een verlengstuk van de kunstenaar is geweest, waar staat machine learning dan in deze balans? 

We spraken met Crespo om meer te horen over haar project, Neural Zoo.

Terugkijkend lijkt het een combinatie van goed op elkaar afgestemde dingen die mij lieten zien dat dit het enige was dat bij mij paste. Ik was al geruime tijd geïnteresseerd in algoritmen die gebeurtenissen in de natuurlijke wereld modelleren/simuleren, omdat er zoveel van zijn met allerlei complexiteiten (een ander voorbeeld zou het Bijenalgoritme zijn, dat geïnspireerd is op het foerageergedrag van honingbijen die verkenners uitzenden om bloemenvelden te zoeken en tegenwoordig verschillende toepassingen heeft in de informatica). Natuurlijk, hoe meer ik leerde over neurale netwerken en computervisie, hoe meer vragen ik begon te stellen over hun relatie tot de biologie.

Neural Zoo ondergaat technisch gezien een verschuiving, maar om iets duidelijker uit te leggen hoe de geïllustreerde specimens zijn gegenereerd: elk specimen begint met een dataset, een verzameling afbeeldingen van een bepaalde soort, type, enzovoort. Deze worden vervolgens ingevoerd in een Convolutioneel Neuraal Netwerk. In sommige andere gevallen hebben we grote datasets gemaakt, van ongeveer 250.000 afbeeldingen, en deze ingevoerd in een GAN. Deze laatste techniek is zeer krachtig omdat het ons in staat stelt om interpolaties te maken vanuit de latente ruimte binnen het model, in feite navigeren door de representatie van de geleerde kenmerken. 

Hoewel er verschillende technieken zijn, is een productieve manier om naar CNN's en GAN's te kijken dat ze de invoer (de dataset) nemen en door verschillende, gelaagde processen een bepaald soort begrip ontwikkelen van wat de "essentie" van een bepaalde dataset is. Bij Neurale Netwerken gaat het om visuele data, wat voor patronen of constellaties van pixels creëren de essentie van een kwal?

Aanvankelijk bracht het feit dat neurale netwerken zelf abstract geïnspireerd zijn door de werking van de visuele cortex mij aan het denken over de informatiestroom in het creatieve proces, dat wil zeggen, de manier waarop ik als kind een fobie voor kwallen ontwikkelde, die uiteindelijk uitgroeide tot een fascinatie voor de visuele elementen van de kwal en uiteindelijk het middelpunt van een kunstwerk werd. Ik vroeg me af of er een 'dataset' van menselijke ervaringen in onze hersenen bestaat, die we constant filteren en herschikken, en dat dit 'herschikken' van de elementen tot nieuwe creaties is wat wij creativiteit noemen. Hoe hard ik ook probeer, ik kan me geen kleur voorstellen die ik niet eerder heb gezien, maar ik kan me wel combinaties voorstellen van de kleuren die ik wel heb gezien; op dezelfde manier kan een neuraal netwerk niets uit het niets creëren uit een dataset die het niet heeft gekregen, maar het kan wel elementen uit de gegeven data recombineren.

Het feit dat ik technologie gebruik om te leren over 'natuur' in de breedste zin van het woord, heeft iets onheilspellends, iets waarvan ik denk dat het waarschijnlijk steeds minder in vraag zal worden gesteld door toekomstige generaties. Misschien bevinden we ons nog in de fase waarin natuur 'de gegeven wereld' is en technologieën, nou ja, 'de door de mens gemaakte aanpassingen aan die gegeven wereld', en maken we nog steeds een onderscheid tussen beide. Misschien zal er in de toekomst geen relevant punt meer zijn om ze op die manier te benaderen. Om deze reden vind ik het interessant om de waargenomen objecten die mijn hersenen classificeert als 'natuurlijk' te recombineren met behulp van technologieën die als 'kunstmatig' worden geclassificeerd. Er is iets aan synthetische biologie dat me fascineert.

Ik raak nooit uitgepraat over het citeren van wat Vera Molnár zegt over computerkunst, omdat het zo herkenbaar is. Er is dit element van willekeur dat we diepgaand kunnen verkennen omdat computers bepaalde dingen sneller kunnen berekenen dan wij, wat op zo'n manier bijdraagt aan het artistieke proces dat we beter kunnen begrijpen wat we willen, wat we visueel proberen uit te drukken, dankzij het gebruik van deze tools. Als ik kijk naar de variaties die kunnen worden geproduceerd uit één dataset, voel ik me soms verbaasd over het feit dat ik er nooit aan gedacht had om twee elementen, bijvoorbeeld een koraal en een anemoon, op die specifieke manier te combineren. Daardoor is de manier waarop ik naar dat koraal en die anemoon kijk blijvend veranderd, omdat ik nu een nieuwe potentiële visuele combinatie tussen hen heb vastgesteld die er eerder niet was.

Zelfs als er een autonoom machine learning-kunstenaar zou bestaan, zou deze nog steeds gemaakt moeten zijn door een mens of een team van mensen. Het zijn mensen die de kunst consumeren, die emotioneel reageren op beelden of geluiden, ongeacht of deze gegenereerd of met de hand gemaakt zijn door anderen. Kunst is net zo menselijk als onze emoties dat zijn.

Nou, we zouden eerst kunnen proberen te definiëren wat als 'creatief' wordt beschouwd door naar de algemene consensus te kijken. Data-analyse zou kunnen worden gebruikt om tot een definitie of afbakening te komen, en vervolgens machine learning-modellen daarop te trainen. Er is hier geen 'zou moeten', het is meer een kwestie van willen we dat doen, en hoe of waarom? Daar begint het interessante deel van datawetenschap. Er zijn zeker al mensen mee bezig, hoogstwaarschijnlijk voor zakelijke toepassingen, maar hopelijk ook voor kunsttoepassingen.

Oh... waar te beginnen? Het zouden in het algemeen mariene ongewervelden moeten zijn, het is zo moeilijk om er slechts één te kiezen omdat ze allemaal zo wonderbaarlijk zijn. Ik heb recentelijk de kans gekregen om een open water duiker te worden, naast een koraalrif duiken is een van de meest ontroerende en leerzame ervaringen in mijn leven geweest... het leven in de oceaan geeft me een onbeschrijfelijk gevoel, misschien is het iets dat thuis is overgedragen omdat mijn vader zeekapitein is en mijn moeder onderzoeker in milieurecht. Aan de andere kant kan ik niet anders dan een sterk gevoel van urgentie en bezorgdheid voelen met betrekking tot de oceanen, het is belangrijk dat we doen wat nodig is om ervoor te zorgen dat deze biodiversiteit niet zomaar van de planeet verdwijnt.

Dat de natuurlijke wereld mooi is en het verdient om door ons verzorgd en gekoesterd te worden en dat technologie 'heilzame' toepassingen heeft, die kunnen worden gebruikt als hulpmiddelen voor zelfexpressie en genezing.