Velkommen til Lørn.Tech. En læringsdugnad om teknologi og samfunn med Silvija Seres og venner.  

Silvija Seres: Hei og velkommen til Lørn podcastserie med Universitetet i Oslo om tema fra data til innsikt. Denne serien inneholder 8 miniforedrag i digitalt format og er ment å fungere som oppvarming til det samme kurset ved UiO, som skal piloteres i desember. UiO kurset vil være studiepoenggivende og kan inngå i en grad. Denne samtalen skal dreie seg om dyp læring, og det gjenspeiler et tredagers kurs, et emne, som Vegard Antun, som er gjesten vår, skal holde, velkommen Vegard. 

Vegard Antun: Tusen takk. 

Silvija: Vegard vi skal vi skal snakke om hva er dyp læring, hvorfor det er viktig og hvordan man kommer i gang med det. Hvis jeg skulle finne et bass word eller overbrukt konsept fra i fjor annet enn teams og zoom technology så tenker jeg at dyp læring topper listen, og samtidig så er det et begrep som er veldig, veldig vanskelig å forklare på en enkel måte. Jeg gleder meg til denne samtalen. Vi starter alltid med å spørre kort gjesten, hvem er du? Hvorfor er du interessert i dyp læring? 

Vegard: Jeg er da postdoktor i anvendt matematikk ved Universitetet i Oslo, og jeg har tatt en doktorgrad ved Universitetet i Oslo i matematikk og var også i løpet av doktorgraden ett år til sammen i Cambridge på utveksling og jobbet derfra. Jeg ble kjent med dyp læring gjennom min doktorgrad, da jobbet jeg med matematikken som ligger bak rekonstruksjon av bilder, og dette er et fagfelt hvor dyp læring har fått stor påvirkning de siste årene, som i mange andre fagfelter neurale nettene, som vi skal komme tilbake til, er utrolig gode på å rekonstruere bilder og har peformed veldig mange av standardalgoritmene. Det er min bakgrunn inn mot dyp læring. 

Silvija: Inverse problemer eller bilder av konstruksjon, bare sånn at folk kan forestille seg hva du gjør, hva har det med matte å gjøre?  Jeg tenker et gammelt bilde, et bilde med alt for dårlig oppløsning, så kan du bruke noe av den matematikken din til å forbedre det. Er det det sånn å forstå? 

Vegard: Ja, til en viss grad. Du kan se på gamle bilder, men der det er spesielt interessant er inn mot medisinsk avbildning, når du legger deg inn i en MR eller CT skanner, så ønsker du å få ut et bilde av hva som skjer inni kroppen, og da må du ta målinger. Spesielt hjemme så tar det tid og da ønsker du å kutte ned tiden og heller bruke matematikk til å rekonstruere bildene veldig nøyaktig, og da kan det være mange løsninger som passer til de målingene, også må man velge de løsningene som ser realistisk ut rett og slett. 

Silvija: Så du på en måte fill the gaps, så da kan det resultere i kortere behandling av pasienter, mindre eksponering kanskje også. 

Vegard: I CT kan du redusere eksponering for radioaktivitet eller stråling. I MR er tiden et problem. Da kan du dra innom veldig mange flere pasienter i løpet av en dag, blant annet. Det er begrenset hvor lenge folk kan holde pusten for eksempel vil være en faktor.

Silvija: Veldig spennende, men hva har dette med matematikk å gjøre da? Hvor kommer anvendt matematikk inn i bildebehandling? 

Vegard: Det kommer inn på hvordan du skal sample. Hvilke målinger er det du skal ta for å få mest mulig informasjon på kortest mulig tid. Da må du blant annet ikke ta de samme målingene hver gang, men hvordan skal du designe sampling patent med at du får ut mest mulig informasjon, er blant annet et viktig spørsmål, det er noe av det jeg holdt på med i min doktorgrad er opp mot dyp læring, for der har det blitt et problem at neurale nett har hallusinasjons problem. De rekonstruerer gjerne veldig realistiske bilder, men de kan gjerne introdusere nye ting som ikke var i bildene eller de kan viske ut viktige detaljer som legen er interessert i. 

Silvija: Så ble det plutselig mer interessant. Jeg har lest om denne her deep dreaming eller deep dream fra Google som tar to bilder og rekonstruerer dem til et bilde. Har det noe med det du snakker om å gjøre? 

Vegard: Ja, det er noen av de samme teknikkene som brukes. Da kan man lage ny kunst på den måten. Du har jo også deep fakes som er det samme, bruker neurale nett for det også. Det er jo kan jo bli et samfunnsproblem etter hvert.  Det som er spennende for dyp læring da det er at her vil det være en, inn mot bilde rekonstruksjon som jeg holder på med, så vil det være et trade off mellom hvor kort tid du faktisk kan ligge i skanneren og hvor nøyaktig du kan klare rekonstruere bildene og det er neurale nett ofte gjør at de går forbi den terskelen. 

Silvija: Ja og nå begynner vi å nærme oss temaet dyp læring fordi kunstig intelligens her er mange anvendelsesområder, noen av de viktigste store gruppene er enten naturlig språk prosessering eller for eksempel industrielle data, prosess data, eller det kan være bilder og du har da jobbet veldig mye på anvendelse på bilder, men samme prinsippene gjelder uansett den grunnleggende modellen av det man jobber med.  Så ser man at det har skjedd noe helt magisk i hvor effektivt datamaskiner kan etter hvert prosessere ting, for eksempel når Google begynte å anvende dyp læring på oversettelsesverktøy sitt, så gikk man fra opplagte datamaskin oversatt til nesten menneskelig kvalitet over natta.

Vegard: Nettopp det, og det er utrolig spennende. Så da har man da brukt dyp læring i Google translate nok. Men det er også noen problemer knyttet opp mot dyp læring Google translate, fordi tidligere så brukte man det du ser en type Dictionary oversettelse hvor du slår opp ordet i Dictionary, men med dyp læring så kan du få helt sånne ikke menneskelige oppførsler. Tidligere, dette eksempelet fungerer ikke lenger, men hvis du skrev inn mamma, mamma, mamma på spansk så ville Google oversette til mamma, mamma, pappa og det er en typisk effekt du ikke ville sett på hvis du brukte Dictionary baserte, så hvorfor skjer dette her? 

Silvija: Ja eller hvorfor Google Home begynner å prate til oss helt på vilkårlig tidspunkter er også et spørsmål. Men poenget her er at vi var veldig gode til å kjenne igjen mønstrene for både i tekster eller i disse pikslene som utgjør bildene eller i andre typer data, men så har vi blitt veldig mye bedre når vi anvendte denne teknikken dyp læring, også nevner du begrepet neurale nett, kan ikke du hjelpe oss å forstå, hva er kunstig intelligens vs dyp læring? Hva betyr dyp læring?

Vegard: Kunstig intelligens har blitt en type samlebetegnelse for veldig mye maskinlæring og dyp læring generelt, så man kan kanskje kalle det kunstig intelligens til og med når du søker ting på Google er det kunstig intelligens når du får gode søk. Dyp læring er mer en maskinlærings metode som innfatter veldig mange typer maskinlæring, men det er spesifikt maskinlæring hvor du bruker neurale nett til å lære og for eksempel oversette mellom to språk, du tar et input også får du spyttet ut et output, og da bruker du funksjonen klassen neurale nett.

Silvija: Det høres det ut som noe som har med hjernen å gjøre også. Hvor kommer det begrepet fra? 

Vegard: Det er et spennende spørsmål. Ofte blir neurale nett beskrevet gjennom nettopp en modell for hjernen, hvor nøyaktig den modellen er det vet jeg ikke. Men sånn som jeg liker å se på det, så er neurale nett, nå blir det litt teknisk, men det tar imot en vektor og det skal spytte ut en ny vektor, og så kan du ta et bilde for eksempel som en vektor eller en tekst som en vektor, og så skal vi spytte ut en ny vektor. For å gjøre det så ganger vi vektoren med en matrise, plusser på en ny vektor, da står vi igjen med en vektor til slutt, og det kalles en affin avbilding, også anvender du en aktiverings funksjon på den resulterende vektoren, så da går gjennom hvert element i vektoren, også anvender du en aktiverings funksjonen som da er funksjon fra de reelle tallene til de reelle tallene, og så gjør du dette her L ganger, da får du et L lags neurale nettverk. 

Silvija: Hvis jeg skal veldig forenkle dette her så tenker jeg at det er en del øyne som kanskje gikk litt i kryss når vi begynte å snakke om vektorer og matriser, vi kommer tilbake senere på hvor mye matte og hvor mye koding man må eventuelt ta innover seg for å være i stand til å anvende dyp læring. I utgangspunktet så tror jeg du snakker om noen av disse lagene eller disse L nivåer hvor mange av oss som har programmert for 20 år siden, jeg programmerte for veldig lenge siden, vi tenkte at det å gå opp til syv lag er helt uløselig med den regne kapasiteten vi så for oss var tilgjengelig, og så skjedde det noe hvor det plutselig var mulig å regne på ting på såpass regntunge måter som man gjør i det neurale nettet. Hva skjedde? 

Vegard: Det er det som er så spennende. Det er to store trender vi har fått. Den ene trenden er at vi har fått veldig store datasett, i dag kan vi lagre mye mer data enn det vi kunne før. Du kan samle 1,2 millioner bilder blant annet, helt uproblematisk å lagre, det krever noen 100 GB, hvis ikke husker feil. For å prosessere dette her så trenger du også veldig gode regnekraft og det man bruker når man skal trene neurale nett, for de består av veldig enkle operasjoner, da bruker man rett og slett grafikkort til å gjøre operasjonene da kan du gjøre veldig mange operasjoner og du kan gjøre det parallelt, så det er for alle som driver med gaming så har man egentlig utstyret hjemme allerede. 

Silvija: Til å jobbe med AI det er disse video chiper som var redningen vår. 

Vegard: Det var det som kom på rundt 2010-2012 så ble det per kommentert for første gang, og kombinasjonen masse data og regnekraft gjennom da grafikkort er det som skaper evolusjonen rett og slett. 

Silvija: For matematikken har på mange måter vært der vi bare trodde at den var uberegnelig i praksis. 

Vegard: Folk har holdt på med dette her siden i hvert fall 50-tallet, det er da neurale nett ble foreslått første gangen, og matematikere holdt på med dette på 80 og 90-tallet, da holdt de på med det som kalles approksimasjons teori, disse 3 pionerene som i dag regnes som grunnleggerne av deep learning, Yoshua Bengio, Yann LeChun og Geoffrey Hinton. Jeg holdt også på med dette her på både 80 og 90 tallet og 2000, men rett og slett regne ressursene og dataene var ikke der for at man kunne få frem de store fremskrittene, så det er det er det som har skjedd.

Silvija: Dette minner meg sånn som vi på en måte bevisst eller ikke bevisste noen teoremer når vi holdt på med mine greier jeg jobbet med blant annet fordi verifikasjonsteori. Vi har masse greier og så some macic happens here, og så kommer resultatet. Men some macic happens here det er egentlig enorm regnekraft, veldig mye data og veldig mye nettverk og jeg tenker på det hver gang jeg tenker på en selvkjørende bil, med radar. Jeg tror det var. 500.000 bilder per sekund som de kunne ta og tredimensjonale bilder også videre, også det å kunne regne på det det kunne man ikke gjort uten den type teknologi som vi beskriver. 

Vegard: Nei, det er absolutt så det det. Det er utrolig viktig og det kjører du Tesla i dag, så er det en GPU som sitter inni der og regner på disse tingene.

Silvija: Ja, men hvis vi skal prøve å definere de dyp læring uten altfor mye matematikk, kunne vi sagt at det anvender noen veldig avanserte regnemetoder? 

Vegard: Jeg tror jeg vil ville si at dyp læring er maskinlæring som brukerne neurale nett også holdt meg til det, så det er problemer som kan løses med det. 

Silvija: Og disse Neurale nett jeg tenker at kanskje er grunnleggende konsept der dette lag delte, at det er flere lag hvordan noen abstraksjoner og generaliseringer som foregår mellom dem. 

Vegard: Ja, det er nettopp det, forskjellen på dyp læring, kanskje vanlig maskinlæring, hvis du tar for eksempel bilder, det man gjorde før i bilder er at da satt ingeniørene seg ned også kodet de opp også prøvde de å hente ut for eksempel, hvis vi skal klassifisere frukt, så prøvde de å hente ut fargen på frukten også kunne du kanskje detektere shapen på frukten, og da kunne du ta lengde delt på bredden, da vil du både ha farge og lengde delt på bredde, da har du to features, også kan du prøve å bruke standard maskinlærings metode til å gjøre klassifikasjonen basert på de to features, da ville du gjort det veldig bra for å klassifisere epler og bananer fra hverandre. Men det man gjør i dyp læring er at du overlater dette her til maskinen og hente ut disse features, så du gir rett og slett maskinen hele bilde også gir du den riktige label, altså er dette et bilde av et eple eller bilde av en banan, også klarer den da gjennom alle disse lagene å hente ut features selv, så ingeniøren som tidligere da satt og kodet disse tingene han har blitt erstattet.

Silvija: Du trenger ikke eksperten nødvendigvis som koder inn hva regelen er det er eller hvilke parameter som er viktigst, det finner maskinen bedre ut selv etter hvert. En av de eksemplene som folk synes er veldig morsomt, men som jeg tror intuitivt hjelper dem å forstå, hvorfor er noe av dette her så vanskelig for maskiner er disse her bilder som alle kan Google på nettet hvor du skal se forskjell på en chihuahua og en blueberry muffin. 

Vegard: Ja, den er spennende. 

Silvija: For i utgangspunktet, så ser det egentlig forbløffende forvirrende ut når du ser gode bilder som ligner egentlig og hvordan kan en maskin forstå som et menneske forstår da at det da må være dyr og det der må være en kake, ikke sant? 

Vegard: Med akkurat det eksempelet du nevner, så har du jo gjerne et kontinuerlig spekter der du starter ut med en muffins, og så ender du opp med et hode av en chihuahua også har du alle bildene som bare hvor dette her hvor de glir inn i hverandre og når er det den dyp læringen endrer reproduksjon da? Ja, det er ikke godt å si. 

Silvija: Hvorfor er dette her viktig? 

Vegard: Det er viktig fordi det påvirker samfunnet på veldig mange ulike måter, og det er kanskje to måter, spesielt hvor det påvirker oss, det ene er alle de applikasjonene som nå dukker opp hvor du ser at her er det kunstig intelligens eller dyp læring som løser problemene. Jeg sitter i Italia nå og var nylig på IKEA, og da var jeg restauranten og handlet mat og plassert all maten utover på et stort fat også gikk jeg og skulle skanne dette her, og da plasserte jeg det foran, så tok den bilde av maten virker det som, så fikk jeg opp en liste over hva jeg har kjøpt. Så er det også andre ting det er når dyp læring begynner å erstatte standard algoritmer, som for eksempel når du bytter ut teknologien som ligger i en MR eller CT skanner, eller du bruker dyp læring for å regne på hvordan olje strømmer gjennom rør ut i Atlanteren og det er ikke sånn som vi vanlige folk nødvendigvis ser, men det kan også begynne å erstatte i sånne typer scenarioer. 

Silvija: Jeg lyst til å slenge inn et dilemma, for da kan man plutselig være bekymret fra radialog til politiker. Blir jeg erstattet av en maskin med dyp læring på mitt felt, hva skal menneskene gjøre? Hva skal maskinene gjøre? 

Vegard: Ja, nå tror jeg ikke det er veldig sannsynlig at radiologene blir byttet ut helt enda, og radiologer er de som ser på bilder og medisinske bilder, men Geoffrey Hinton, som en av grunnleggerne av deep learning og fikk Turning award i 2018 for sitt bidrag, han har jo gått i New Yorker og sagt at they should stop training radiologist now, men det som er med den dype læringen er at den er utrolig lett å lure slik at du kan ha to helt like bilder og som får helt ulik produksjon blant annet. Man kan få veldig ikke menneskelig oppførsel med dyp læring, sånn at for applikasjoner som har høy risiko så tror jeg ikke at dyp læring kommer til å erstatte mennesker med det aller første, men skal du sortere post så bør du flykte fra jobben din, da er du sannsynligvis allerede erstattet.

Silvija: Det jeg hører deg si da Vegard er at det blir et nødvendig verktøy overalt hvor vi kan bruke analyse og store beregningsrelaterte problemer, men det kan ikke erstatte det ultimate ansvaret som er og må være menneskelig i tolkning av resultater. 

Vegard: Jeg er helt enig med deg, jeg tror det kan være veldig bra verktøy i alle situasjoner hvor mennesker kan komme inn og redigere hvis den gjør feil som for eksempel er på IKEA, så foreslår den liste med hva jeg har handlet, men jeg har også muligheten til å redigere den listen hvis jeg ser at her har jeg fått inn en middag for mye for eksempel. Får alle sånne til å bare spytte ut et raskt som dette tror jeg det er, utrolig effektivt. 

Silvija: Ja eller cola i stedet for kaffe eller noe sånt.

Vegard: Ja nettopp. 

Silvija: Ja kjempespennende. Nå er jeg veldig inspirert, jeg har lyst til å begynne med dyp læring, jeg skal foreslå en populistisk bok forresten fra Sejnowski, The deep learning revolution, men la oss si vi har lest boka hva gjør vi videre? Bortsett fra å komme på kurset ditt.

Vegard: Ja selvfølgelig gå på kurs. Det du må gjøre er at du må få tak i data, og da tror jeg det er lettest å begynne med noen av disse datasettene som man vet fungerer og dyp læring fungerer bra på, og så finne seg et verktøy, og da tror jeg hvis du kan litt python koding, så har du et programmerings bibliotek som heter pipetech som ligner veldig mye på Numpy, for de som kjenner det, det er veldig mye brukte inn mediske beregninger, og da er det egentlig bare å sette seg i gang og ta en hello world introduksjon til dyp læring og maskinlæring. Så vil man i det minste få det opp og kjøre, også er det det å få det til å virke bra som er mer utfordrende.

Silvija: Burde rett og slett lage litt sånn kidsa koder for alle på python og på pytorch, og så se hva vi får til. 

Silvija: Vi har snakket litt om alt, er det noe viktig vi har glemt å snakke om som du har lyst til å dekke i kurset. 

Vegard: Ja, nå blir jeg tatt litt på sengen. Jeg tror jeg har fått dekket en del nå.

Silvija: Litt sånn dilemmaer når man skal anvende dyp læring, kanskje det viktigste er å sørge for at man har riktige data, men trenger man noe hjelp med et sånt hypoteser eller hva man skal gjøre? 

Vegard: Det som jeg tror er viktig når man skal anvende dyp læring er å se på om standard algoritmer vanlig maskinlæringsalgoritme kan fungere. For det første dyp læring fungerer ikke alltid. Det funker spesielt bra i språk og bildeteknologi det der har virkelig fått en boost av å ha løst historisk vanskelige problemer også tester man det ut i masse andre fagfelt akkurat nå får finne ut funker det her funker det ikke. Men veldig mange tror jeg sitter med et inntrykk av at dataene deres er så komplekse og så vanskelige at bare dyp læring kan løse dette her og det er ikke ofte tilfelle. Ofte fungerer vanlige maskinlæringsalgoritme vel så bra, og de kan være lettere å tolke, lettere å kontrollere, du kan få høyere sikkerhet. 

Så jeg skal ikke sitte og si at dyp læring kommer til å revolusjonere alt av maskinlæring, men for noen spesifikke anvendelser, så kommer det til å gjøre det. 

Silvija: Og da koker det ned til at det kanskje er det der grunnleggende data problemet vi snakker om med det veldig teoretiske eller teoretiske beskrivelsen crap in and crap out. 

Vegard: Ja rett og slett. 

Silvija: Har vi nå noe råd til folk om hvordan de kan forbedre dataene sine, dreier det seg om forbedring av dataene man har som første steg?

Vegard: Ofte når vi får dyp læring som fungerer, så er det stort sett mengde dyp læring er veldig data sulten så her må man ha mye data hvis du skal få det til å fungere bra også har du teknikker for å admittere dataen, altså at du kan gjøre endringer på den sånn at du skaper mer kunstig data for større datasett. Det er teknikker man kan bruke, men å hente store datamengder vil være viktig for å få for dyp læring til å funke bra, og sånn trenger det ikke å være for andre maskinlærings metoder, de trenger ikke være så data sultne.

Silvija: Så de som er klare til å mate maskinen med masse data de bør se på dette her i dybden. 

Vegard: Ja nettopp. Så jeg tror det det man får igjen av å ta kurset som er viktig det er å skjønne når er det dyp læring passer å bruke, kan brukes, og når er det man ikke skal bruke det. Det tror jeg er vel så viktig å få med seg, så det er noe vi skal dekke i kurset. 

Silvija: Veldig spennende. Tusen takk for en inspirerende introduksjon og oppvarming til kurset ditt Vegard. 

Du har nå lyttet til en podkast fra Lørn.Tech. En læringsdugnad om teknologi og samfunn. Nå kan du også få et lærings sertifikat for å lytte til denne podcasten på vårt online universitet Lørn.university.