Velkommen til Lørn.tech. En lærings dugnad om teknologi og samfunn med Silvija Seres og venner.

Silvija Seres: Hei og velkommen til Lørn. Tema i dag er Art-tech. Der teknologi og kunst møtes. Navnet mitt er Silvija Seres og gjesten min er Benedikte Wallace, som er PhD kandidat ved Ritmo. Senter for rytme, tid og bevegelse ved Universitetet i Oslo. Velkommen!

Benedikte Wallace: Takk for det. 

Silvija: Benedicte, du jobber i denne gruppen til Alexander Refsum Jensenius. Utrolig morsomme ting dere holder på med der.

Benedikte: Ja, det er mye.

Silvija: En dans på roser rett og slett?

Benedikte: Både og. Det har sine utfordringer også. Jobbet tverrfaglig, men det er absolutt en hverdag med mye gøy. 

Silvija: Det er så gøy at dere kombinerer ting som kunstig intelligens og masse sensorikk og robotikk, med ting som har med dans og musikk og kunst å gjøre. Det er veldig modig tenker jeg. Også er det den type kombinasjoner som gir oss de beste nye innsikter også.

Så jeg gleder meg til å høre mere om hva doktorgradsoppgave din går ut på, å hva din store hypotese eller inngang i denne tverrfagligheten. Men før vi gjør det så håper jeg du kan fortelle oss litt om hvem Benedicte er, og hva som driver henne.

Benedikte: Ja. Som sagt så er jeg PhD stipendiat ved Universitet i Oslo. Jeg har kontor her rett over parkeringsplassen for hvor vi sitter nå, så holder til i Forskningsparken vi også. Jeg har tatt både bachelor og master der i informatikk, men har alltid hatt et fokus på dette kryssningsfeltet mellom kunst og vitenskap. Det har alltid vært nært knyttet for meg, så jeg har alltid vært litt på jakt etter måter å kombinere disse to verdenene på. For meg så er de veldig sammenflettet. Vi vet at vi trenger å være kreative for å komme på nye ideer og ny teknologi. Og i de fleste tilfeller så klarer noen å finne en ny måte å bruke ny teknologi til å lage kunst. Det var intensjonen opprinnelig eller ei. Så det er noe jeg hatt interesse for hele livet egentlig. Og nå har jeg faktisk fått muligheten til å gjøre dette til hverdagen min ved dette nyte senteret Ritmo som er ett tverrfaglige senter. Institutt for musikkvitenskap, og psykologisk Institutt. Så det er en hel haug med metoder og teorier og verdener som møtes. 

Silvija: Jeg ser du drive litt med spill også.

Benedikte: Ja, det er nok helt på fritiden. Det er min måte å koble litt av. Veldig glad i alle type logiske gåter, og murder mystery og sience fiction.  

Silvija: Jeg liker veldig godt science fiction også. I det siste har jeg begynt å lese mye gammel sience fiction også. Fascineres av den myke siden av sience fiction som går på samfunnet og psykologi. Det er nesten skummelt hvor mange framskrivninger som var sience fiction før som nå har blitt reality. Også på Samfunnssiden.

Benedikte: Ja, og også mange av de spørsmålene som man ser fra tidlig Science Fiction som nå er aktuelle i dag. 

Silvija: Derfor er det veldig viktig at vi faktisk tenker på disse myke samfunnseffekter som teknologi har. Og tenker konstruktiv på hva må vi gjøre i dag for at det ikke skal bli sånn i morgen, eller at det skal bli sånn i morgen. Derfor er det kjempespennende det dere gjør. 

Hva slags psykologi er det folk drar inn i Ritmo? 

Benedikte: Mye av det vi ser på er hvordan rytmer i bred forstand hjelper oss å prosessere det vi opplever. Så det er en stor del av det. Vi ser rett og slett på menneskelige reaksjoner og ikke minst nytelse. Hvorfor er det sånn at vi synes at det er fint med rytme. Hvorfor er det sånn at vi synkroniserer med hverandre i bevegelsene våre. Enten i dialog, dans og en hel rekke scenario. 

Silvija: Veldig naiv psykologi fra meg. Har det noe med at det beroliger oss, fordi vi kjenner igjen våre egne rytmer som hjerteslag, pusting og sånt?

Benedikte: Det er mye mulig at det er noe så sitter ganske dypt i oss. Rytmer er en stor del av livene våre, de biologisk aspekter. Det er en stor del livene våre, alt fra døgnrytmer og de tingen der, at du ser sykluser og repetisjoner i livene våre. Og det er kanskje gjort oss ekstra gode på å fange opp og være oppmerksom på disse tingene, og det kan ha være noe der som har gjort at vi bruker disse tingene til å kategorisere eller analysere. 

Silvija: Der dere snakker om rytmer, altså mønstret i tid, så tenker jeg veldig ofte i mer abstrakte mønstre når jeg jobber med å analysere verden, om det er gjennom kunstig intelligens. Så jeg tenker det er sånn vi mennesker lærer. Repetisjoner er et eller annet som er bygget ekstreme dypt inn i psykologien vår. Men hva har dette med teknologi å gjøre?

Benedikte: Det har hva som helst med teknologi og gjøre. Det er jo vår måte å kunne se nærmere på disse tingene her. Også har vi en hverdag nå hvor vi er omringet av det, så det å skape teknologi som utnytter disse tingene om hvordan vi opplever verden. Det kan være en positiv ting.

Silvija: Når jeg spurte deg hva det er du fokuserer på innen innovasjon. Så sa du spørsmål rundt hvordan vi trener en modell uten fasitsvar, og hvordan vi lager modeller som genererer noe vi synes er interessant, vakkert og nyskapende. Så det kan være en modell som lager en rytme.

Jeg synes det er utrolig interessant egentlig å kjøre det en parallell. Jeg prøver bare å tolke dette her så jeg kan forstå det. Og det som er assosiasjonen i hodet mitt nå er at jeg er veldig glad i å danse. Men jeg merker at det er noen mennesker jeg danser veldig godt med, og noen klarer jeg ikke å danse med, selv om jeg hører de er veldig flinke dansere. Det er akkurat som vi har helt forskjellige innebygde rytmer i kroppene våre, og de vil helt forskjellige ting. Når du trener en modell, la oss si det er en robot som vi kunne lært å danse bedre enn Travolta.  Hvordan bygger man inn sånn type forskjeller, hva er det som blir nyskapende for å lage musikk eller for å lage bevegelse? 

Benedikte: Når du snakker om aspektet ved å ha noe fysisk som vi interagere med, så er vi inne på noe som er veldig komplekst. Nettopp dette her med hvordan du opplever i øyeblikket det samarbeidet mellom deg og en annen, enten om det er ett menneske eller en robot eller hva det måtte være. Det er jo en veldig utfordrende tematikk. Det er noe som vi absolutt er interessert i på Ritmo, det er for eksempel en del som jobber med roboter som spiller trommer. Og som da skal kunne reagere i øyeblikket på lyden som er rundt, og klare å være med på et sånn samspill. Men samtidig ser også forskere på hvordan de profesjonelle musikere gjør dette, hvordan synker de opp med hverandre. Og hva som foregår der. Og da på alt fra kroppsspråk til øyekontakt, veldig komplekse ting. Så jeg ser for meg at en robot som skal kunne danse med deg for eksempel, vil kreve veldig mye interessant teknologi for å ta til seg all den informasjonen som trengs, for å gjøre gode avgjørelser. 

Silvija: Nå tenkte jeg ikke bevisst på en fysisk robot, men jeg tenkte mere på modellen. At det er forskjellige modeller også for å tolke musikk til å danse. Også er det forskjellige modeller til å lage musikk. Sånn som denne trommeslageren. Og da jobber du da med det som lager musikk? 

Benedikte: Ja. Det er kanskje det området som jeg synes er mest spennende. Det du sier om at den du liker å danse med f.eks er kanskje noen andre enn hvem jeg klarer å bevege meg sammen med. Og det her med at vi har subjektive måter å måle. Og det gjør noe med at når vi skal inn å måle kunstig intelligens, vi skal forsøke å modellere en sånn prosess hvor det faktisk ikke finnes noen fasitsvar. Det finnes ikke noen rett og galt. Det er på en måte mye mer nyanser, så er det også veldig mange interessante spørsmål som dukker opp. Hvordan evaluere vi en modell som skal lage musikk? Er det din mening som trener denne modellen som skal bety noe, er det folkeavstemning? Hvordan vet vi når modellen har klart å lage bra musikk? Det er noe som er utrolig vanskelig å måle, og det er også noe som på en måte er ganske unikt for kreative oppgaver. Det at vi ikke kan bli enige om noe god fasit. Og det gjør at ting sånn som supervised learning, reinforcement learning de strategiene hvor du trenger en eller annen grunnleggende sannhet for å faktisk matematisk trene modellene. Du må kunne si hvor riktig eller feil forslaget modellen kommer med er, for at du skal lære noen ting. Når du ikke har det, så ender du opp med enten modeller som genererer ting som er ganske kjedelige fordi det er egentlig bare gjennomsnittet treningsdataen de har lært seg å gjøre, eller så må vi tenke ganske nytt for å prøve å komme litt videre på det her.

Silvija: Utrolig interessante paralleller i alle retninger her. Jeg satt å høre på Yo yo Ma Bach sin Cello Suite innspillingen. En ting er at musikken er så nydelig, men det er hans tolkning av den musikken som gjør den så spesiell for meg. Og jeg prøvde å tenke hva er det, er det liksom de små feilene, er det men han drar det ut på forskjellige steder. Er det hans temperament. Det er et eller annet kjemisk i den tolkningen vår som er utrolig vanskelig å oversette i en matematisk formel. Samtidig det er noe av det som vi mennesker forføres av. Det er den menneskeligheten i våre tolkninger som er så deilig og viktig i all stor kunsten. Hva er det som gjør Picasso eller Munch kom opp med de rare modellene sine for å male. De har jo brutt alle mulige objektivt estetiske regler. Også synes vi det de lagde var enda penere, enda mere slående. Og hvis man klarer å fange noen av det her, så har man fanget noen veldig spennende rundt menneskeligheten vår.

Benedikte: Ja, det er absolutt noe vi ser på som kanskje en av de veldig få ting som vi ser på som på en måte grunnleggende med det å være menneske. At vi kan skape disse tingene og at vi føler som vi gjør. Når vi ser ett vakkert stykke eller ser ett flott maleri. Det er interessant det du sier at det handler ofte om regelbrudd og feil, for det er jo noe vi kan ha sjans til å implementer inn i en modell. Vi kan legge til noe randomness. Og i noen tilfeller, der ute så synes jeg dette fungerer rimelig bra. Og i andre så gjør det ikke, for da kommer man på en måte i den situasjonen hvor man må finne ut hva er den Sweet-spottene. Vi vil ha noe som overrasker oss, men som ikke overrasker oss så mye at vi ikke lenger kjenner det igjen. Og det å finne den balansen er en ikke triviell oppgave. 

Silvija: Jeg tror ikke det er randomness. Jeg tror det er våre signaturfeil, som vi gjentar hele tiden mer eller mindre bevisst fordi det er bare sånn vi er. Det er sånn fingrene våre er, eller sånn blodet vårt er. Og når man begynner å kjenne igjen de deilige små signaturgreiene våre, at vi blir sjarmert av noen sin stil. Men akkurat hvor mye skal det være feil før det er for mye. 

Benedikte: Nettopp. Hva kan vi tolerere, og hva er for mye. De avvikene til Yo yo Ma, eller Munch kan være noe som faller deg i smak, og ikke noen andre.

Silvija: Men dette er også mønstrene dere prøver å kjenne igjen, og kanskje lære om gjennom kunstig intelligens. Og dere trener disse nevrale nettverk om korrelasjon i disse dataene, også prøve å kjenne igjen spennende mønstre. Men hva betyr det at dere trener et nevralt nettverk og lager musikk for eksempel, etter en bestemt stil. Eller at dere tolker noen rytmer i en bevegelse?

Benedikte: Noe som er ganske mye i vinden er jo dette her med generative dyp læringsalgoritmer som kan lage musikk. Der har vi hatt litt progresjon det siste tiåret. Det er ganske mye spennende og morsomt der ute man kan gå og høre på. Men det er helt klart fortsatt noe som gjør at vi kan avsløre at dette er en algoritme og ikke nødvendigvis et menneske. Og hva det er, er jo en veldig spennende ting. Som all dyp læring så er vi 100% avhengig av datasettet for hva som kommer ut i andre enden. Så når vi jobber med det å generere musikk, hvis du trener en modell med en haug med folketoner, så vil du aldri få noe annet enn folketoner ut. Så det å jobbe med et bredt spekter av sjangere for eksempel har også sine utfordringer. Siden nevrale nett er statistiske modeller, så kan du risikere at du bare får gjennomsnittet av en hel haug med ting. Og det er ikke gjenkjennbart for oss. Gjennomsnittet mellom klassisk musikk og Heavy metal blir noe rart, men som kan være kult og. Og det er noe jeg synes er kult med å jobbe med dette feltet. 

Silvija: Så nå jobber du med dansere. Og da samler du motion capture data, altså du filmer dem mens de da improviserer til musikk. Så skal du prøve å se om du kunne bruke dette til å lage kule nye koreografier. 

Benedikte: Ja, det stemmer. Vi er fortsatt tidlig i den prosessen. Vi avsluttet datainnsamlingen nå i høst. Det var den første runden med datainnsamling. 

Silvija: Hva danser de til? 

Benedikte: De danser til seks forskjellige musikkstykker. 

Silvija: Med samme stil? 

Benedikte: Nei, målet mitt var at jeg skulle velge musikk som på en eller annen måte er realistisk for dans og improvisasjon uten å falle for hardt inni en spesifikk sjanger. Og siden dette er en improvisasjon, og ikke en spesifikk dansestil, så var det viktig å ha noe sånn som ville føles naturlig for dem å bevege seg til. Men som samtidig ikke faller hardt inni i en sjanger og utelukker andre bevegelser, så det er litt forskjellig men de er forskjellig med tanke på hvor tydelig pulsen i musikken er for eksempel.

Noe er ganske atmosfærisk og det er vanskelig å finne en underliggende puls, andre ting er veldig rytmiske, veldig klar puls og så i litt forskjellig tempo, også med litt forskjellig instrumentering for å få litt sprette eksempler. Det første man legger merke til i den datainnsamlingen er nok det at det er større forskjell mellom individuelle dansere enn det er mellom hvordan de improviserer til disse seks forskjellige sangene. Så selv om når vi ser nærmere, så forventer jeg at man kanskje vil komme til å se at visse musikalske stimuli gir opphav til en viss type bevegelse. 

For eksempel her er det mye flyt, eller her er det mer bevegelse, her er det mindre bevegelse. 

Men sånn ved første øyekast så er det helt tydelig at disse danserne har et bevegelsesvokabular hvis man kan si det sånn. Og det er et sett med bevegelser som kommer til dem når de improvisere. Og det er forskjellig mellom individer, og det kan ha med deres trening å gjøre. Hva slags bakgrunn de har i dans, hvordan de er trent. Også er det det språket de bruker, uansett hvilken sang de hører. Men da med variasjoner. 

Silvija: Det er også noen verktøy som ikke profesjonelle dansetolkere kan leke med. Du nevnte for meg Google Magenta. Kan du si litt om det, og beyond imitation vil jeg gjerne at du sier noe om. 

Benedikte: Jeg kan begynne med Beyond imitation, siden vi er inne på dette med dans. Det er et arbeid som er utført av en tverrfaglig gruppe, med alt fra fysikere til dansere som har jobbet med det å generere dans ut ifra nettopp det at de hadde lyst å skape et verktøy som kan generere bevegelse, som ikke nødvendigvis er det man forventer. Og nettopp kanskje litt for å få en danser til å bryte ut av sitt bevegelses språk, og utforske nye ideer. Og da har de kapitalisert på nettopp dette her med at du kan få litt uforventa og avvikende oppførsel fra et nevralt nettverk hvis du velger å bruke litt forskjellige samplingsstrategier. Du får på en måte en sanlighets distribution som du kan sample fra å få neste bevegelse. Og da kan du gjøre det med mer eller mindre randomness, eller mer eller mindre avvik fra gjennomsnittet. Og da har de på en måte å brukt den som en positiv ting, at det blir rart. De sier at det er helt unikt, og du kan få litt nye ideer. Jeg synes det er ett interessant prosjekt som de med der. Så det kan være morsomt å sjekke ut. Når det kommer til Magenta så er jo det en stor gruppe ved Google som jobber med verktøy for å at mannen i gata skal kunne lage musikk, ved hjelp av kunstig intelligens, Vi har også et par andre prosjekter som ikke nødvendigvis går på musikk, men som går på for eksempel det å tegne.

Silvija: Hva heter det?

Benedikte: Hele prosjektet heter Magenta. 

Silvija: jeg har sett på Deep Dream som er en kombinasjon av bilder, nesten litt fantasy.

Benedikte: Ja, det er nesten litt skummel å se hva som kommer ut fra deep dream.. Men ja, Deep Dream er ett eksempel på ett sånn type prosjekt. 

Silvija: Også finnes det noe som heter Ai.online. Hva finner man der? 

Benedikte: Det er en stor konferanse som heter Noribs som er en konkurranse for forskere som jobber med kunstig intelligens, og de har hatt en workshop der folk kan komme med kunst som er laget av kunstig intelligens. Og da er det alt fra skulpturer som har blitt 3D printer, til musikk, til design og billedkunst. Veldig mye forskjellige. Det er kult å gå se på hva som foregår der ute på hva vi har klart å få til.

Silvija: Er det noe som er en fordel med å være i Norge? 

Benedikte: Jeg synes jo at det er senteret som er satt opp nå, dette Ritmo hvor jeg nå jobber. Den muligheten vi har til å jobbe så tverrfaglig. Det at vi ikke bare har tverrfaglig både innenfor en viss gruppe. Vi har både humaniora og mer naturvitenskapelige interesser. Det å gå begge de aspektene, hvordan ting påvirker også mennesker og ned til på måtte det å ha spisskompetanse på sensorer og robotikk og disse tingene her. Det er ganske unikt og godt initiativ tenker jeg. 

Silvija: Tverrfaglighet og så dette her med kanskje evnen til å bruke teknologi på uvanlige måter. Hvis folk skal leke litt mer med dette her. Nå har du nevnt Magenta og Beyond limitation. Også AI Art Online, også har du to lenker til som folk kan leke med? 

Benedikte: Ja. Hvis man synes det er gøy med alle måtene det kan gå galt med AI, så er dette her to morsomme nettsider og besøke. Den ene er en blogg av en forsker som heter AI weirdness som blogger om alt det rare modellene gjør noe vi ikke følger med. Så der er det utrolig mye gøy. Alt fra sånne navn generatorer, hun har to chatbots som skal lære seg sjekkereplikker. Det er noen utrolig søte sjekkereplikker som kommer ut av dette her. Så den anbefales på det sterkeste. Det andre er det noe som jeg har kastet bort mange timer i mitt liv. Generator invention, du kan følge linken. Så kommer du til side hvor du kan skrive fritekst, og mens du skriver så vil det poppe opp bilder hvor en generativ algoritme forsøker å supplementere teksten din med bilder. De har snudd på hodet det å annotere bilder med tekst. Du har altså en algoritme som er trent å annotere bilder med teskt, også snur de det på hodet. Og sier ok, gitt denne teksten, hva bilde foreslår. Og da ser du hva algoritmen har lært. Skriver du «cat» så får du opp mye pels. Men det er det langt fra være det vi kjenner som en katt.

Silvija: Benedicte, har du lyst til å legge inn et lite sitat som en avskjedsgave til våre lyttere? 

Benedikte: Ja, du ba meg om å tenke på et sitat som jeg synes er fint og kanskje litt fremtidsrettet. Og da har jeg valgt et sitat av Marie Curie som er «Nothing in life is to be feared. It is only to be understood. Now is the time to understand more so we can feel less»

Silvija: Virker helt merkelig relevant i disse tider. Veldig flott. Jeg synes det er trolig spennende å høre hvordan dere leker med kunstig intelligens, og egentlig kul sensorikk i alle disse videoene og sånn som dere analyserer. Både for å forstå vår egen kreativitet, og for å forstå hva er det vi kan gjøre med maskinene våre for å få dem til å være mere kreative. 

Tusen takk for at du var med oss i Lørn og lærte oss om kunstig teknologi. 

Benedikte: Takk for det. 

Silvija: Takk til dere som lyttet. 

Du har lyttet til en podcast fra Lørn. Sjekk en læringsdugnad om teknologi og samfunn. Følg oss i sosiale medier og på våre nettsider Lørn.