LØRN case C0381 -
LØRN. RESEARCH

Torbjørn Skauli

Sjefsforsker

FFI

Kameraer som ser det usynlige

I denne episoden av #LØRN snakker Silvija med sjefsforsker ved Forsvarets forskningsinstitutt, Torbjørn Skauli. Torbjørn driver også kodeklubb og annen virksomhet for realfagsformidling for barn og ungdom. Forsvaretes forskningsinstitutt sin viktigste oppgave er å utnytte ny teknologi for at ikke forsvaret blir hengende etter. I Episoden forteller Torbjørn om teknologier der lys brukes som bærer av informasjon og hvordan utviklingen på dette feltet kan føre til revolusjonerende nye anvendelser.
LØRN case C0381 -
LØRN. RESEARCH

Torbjørn Skauli

Sjefsforsker

FFI

Kameraer som ser det usynlige

I denne episoden av #LØRN snakker Silvija med sjefsforsker ved Forsvarets forskningsinstitutt, Torbjørn Skauli. Torbjørn driver også kodeklubb og annen virksomhet for realfagsformidling for barn og ungdom. Forsvaretes forskningsinstitutt sin viktigste oppgave er å utnytte ny teknologi for at ikke forsvaret blir hengende etter. I Episoden forteller Torbjørn om teknologier der lys brukes som bærer av informasjon og hvordan utviklingen på dette feltet kan føre til revolusjonerende nye anvendelser.
Facebook
Twitter
LinkedIn
Email

24 min

Choose your preferred format

SS: Hei og velkommen til Lørn. Mitt navn er Silvija Seres og tema i dag er forsvarsteknologi med fokus på optikk. Gjesten min er sjefsforsker og professor ved FFI, forsvarets forskningsinstitutt, som kan utrolig mye om hyperspektral bildeanalyse. Torbjørn Skauli. Velkommen.

TS: Takk.

SS: Jeg ble fokusert på å lese fagfeltet ditt riktig. Det høres fancy ut, men dreier seg om hva?

TS: Jeg jobber med kameraer. Hvis det er noe med kamera, så havner det ofte hos meg på FFI.

SS: Det er fancy kameraer?

TS: Ja, vi har fra de helt store til de små. Hvis du tar hyperspektral så er det best å begynne å tenke på fargebilder fordi hvis du har sett et svart/bilde vet du at hvis du skal legge på farge kan du se forskjell på ting som ser like ut i svart/hvitt bilde som har gråtone. Men de har forskjellig farge når du legger på fargebilde. Vi har ikke så mye svart/hvitt bilder lenger. Nesten alt er i farger, men nesten alle har sett det. Hvis vi har farge kan vi se forskjell på ting som ellers hadde sett likt ut. Øyet har tre primærfarger, rødt, grønt og blått, men det er en begrensing som vi har, så vi kan bygge kamera som kan se enda flere primærfarge. I hver piksel i bildet så kan vi sortere lyset i rødt, grønt og blått, kanskje infrarødt eller dele opp lyset på forskjellig måter. På den måten kan vi lære mer om lyset som kommer inn i hver piksel som er et fingeravtrykk av det materialet vi ser der.

SS: Jeg hadde et intervju med en mann som er god på skog avbildning og han brukte infrarøde kameraer til å se flere lag eller hvor sunn skogen er. Hvordan funker det?

TS: Skog er et godt eksempel. Skogen har et vekstforhold, alder, modenhet og har sykdommer.

SS: Biller og tørke.

TS: Det vil påvirke hvordan skogen ser ut og det vet vi. Det vi ser da er lys og det går til en viss grad å gjøre behandling av lyset matematisk på forskjellige måter for å prøve å anslå hvordan det står til med skogen. Når man skal gjøre det så har man ofte glede av å se fargebilde og med andre typer lys, som f.eks infrarødt lys. Det gir ekstra informasjon vi kan bruke.

SS: Hyperspektral er det som er utenfor spekteret vi kan se?

TS: Vi får mer informasjon om lysets spektrum. Teknisk tatt så er lysets spektrum hvordan lysenergien er fordelt på ulike bølgelengder. Det er en slags kurve som vi kan måle opp, og med hyperspektral avbildning så måler vi det i hver piksel. Det er mye informasjon i hver piksel.

SS: Dette henger sammen med teknologi og digitalisering. Det er ikke lenger bare optikk, men data som regnes på.

TS: Da må man regne på dataene. Det er veldig mye data og spesiell bildebehandling man trenger. Etter hvert kommer kunstig intelligens teknikker som man kan bruke på all mulig slags data, men ellers så har vi ofte brukt forståelse av fysikken for å regne på dataen. Mye statistikk. Mine nærmeste kolleger er matematikere, men selv er jeg fysiker og har mest å gjøre med å ta ut bildene.

SS: Vi gikk rett på fag. Jeg vil høre om hvem du er og hva som driver deg.

TS: Jeg har vært interessert i tekniske ting så lenge jeg kan huske.

SS: Husker du hvordan det startet?

TS: Nei, det kan jeg ikke. En del mennesker husker hvordan de ble interessert i teknologi med en lærer f.eks eller commodore 64. Jeg hadde det, men da var jeg allerede solgt. Jeg kan huske helt fra før jeg begynte på skolen at jeg var interessert. Alle blir født med noen anlegg, så det var åpenbart noe jeg hadde.

SS: Jeg har en nevø som er veldig morsom som begynner å trippe på tærne når han ser noe som har med lego og engineering å gjøre. Det er tydelig at det trigger noe sterkt i han. Det er flott å se synes jeg.

TS: Jeg er opptatt av å bidra til at unge folk skal ta del i gleden.

SS: Du har doktorgrad i fysikk og så driver du kodeklubb og diverse klubber for barn. Hva og hvor gjør dere det?

TS: På Årvoll hvor jeg bor har vi en kodeklubb på skolen. Vi møtes i vinterhalvåret hver onsdag og der lærer barn og ungdommer programmering. Vi bruker Scratch til det enkleste og Pyton, og de lærer å lodde. Sist hadde vi modellfly og gjør litt ulike ting.

SS: Du får skrive en oppskrift og lærebok, så flere av oss kan gjøre det.

TS: Det finnes mange ressurser for å komme i gang med det. Jeg oppfordrer de som har kompetansen til å vurdere å bidra i sånt arbeid. Men nå har vi kommet langt vekk fra hyperspektral avbildning da.

SS: Du driver også med amatørradio?

TS: Det var en interesse jeg hadde når jeg var ung. Da var det ikke noe internett og det var veldig spennende å telegrafere rundt hele veien. Vi lærte morse og et krav til å få lov til å sende var at man måtte kunne morse telegrafi. Det finnes fortsatt, men kravet er gammeldags og man har ikke det nå lenger. Det er mye interessant informasjon- og kommunikasjonsteknologi som man lærer ved å sende ting over radio. Jeg har hatt mye glede av kunnskapen som jeg lærte da jeg var tenåring i jobben jeg har nå.

SS: Koding for kidsa, eller kidsakoder, har du en egen side hvor man kan lese over hva du gjør?

TS: Det er en liste over artiklene jeg har skrevet på nettsiden vår i lær kidsa koding. Jeg har vært med fra starten og holdt på med det tidligere også. Det har vært en fantastisk opptur for oss som synes at det er viktig, at bevegelsen kom i gang. Det har skjedd masse og blitt et stort nettverk av kodeklubber i hele landet.

SS: Men der har du gjort noe utrolig viktig fordi du har laget et opplegg for koding på SFO hvor det er ungdommer som er instruktører.

TS: Det var morsomt. Det begynte med at jeg oversatte Scratch til norsk for 10 år siden. Da måtte jeg vise det fram og det var ikke noe opplegg for det, så jeg tok med sønnene mine og noen kamerater av dem, også stilte vi det ut på Astrup festivalen og forskningstorget osv. Jeg så at ungdommene kunne formidle det like godt som meg. Da gikk jeg til SFO på skolen og spurte om de ville ha ungdommene til å holde et kurs i koding for 4. klasse. De sa “sier du det? Programmering? Jo, vi kan det”. Så vi gjorde det. Jeg fikk gutta til å holde én time i uka i noen uker for 4. klasse på SFO. Det virket kjempefint. Så betalte jeg dem litt lønn ut av min egen lomme for det fortjente de. Neste år var skolen happy med å betale lønn til dem, så vi kjørte det en stund. Men så var det via kontaktene i “lær kidsa kode” at det ble solgt inn til politikerne og rullet ut i Oslo kommune. Det er hyggelig. Jeg har vært på kick-offen for ungdommene som blir ansatt som instruktører og da har jeg en sterk følelse av å være i drøm når jeg sitter der. Det er fine ungdommer som mange får sin første jobb og blir en rollemodell for de små.

SS: Hva slags krav er det for å få jobben?

TS: Du blir anbefalt av læreren din, og typisk så ser man om de kan matte. Det hjelper godt for å lære programmering, så blir de kurset i enkel programmering og i rollen som instruktør. Utdanningsetaten har gjort en kjempejobb til å videreutvikle konseptet til noe veldig bra.

SS: Jeg vil gjerne jobbe med deg for å gjøre det samme med pensjonerte ingeniører. Det er utrolig mye IQ som går på tomgang. Det vil også vært med på å bryte ned stereotypene om gamle

som faller utenfor. Mange av dem er mer innenfor den digitale sfæren enn de unge. Det er noe med den kreative kraften. Tilbake til hyperspektral avbildning. Hva bruker dere det til?

TS: Jeg jobber for forsvaret og der ønsker man å skaffe oversikt over et område for å vite hva slags aktivitet som foregår der. Til det er hyperspektral avbildning et av mange nyttige verktøy.

SS: Når man ser actionfilmer med nattsyn, er det hyperspektral?

TS: Nei, det er en annen teknologi. Hyperspektral er et spesielt type kamera, og nattsyn er et annet type kamera.

SS: Infrarødt?

TS: Nei, ofte bruker man synlig lys, men den forsterker lyset. Det er en smart komponent som gjør at et lyssvakt bilde på den ene siden kommer ut som et lyssterkt bilde på den andre siden.

SS: Brillene som noen av disse heltene har er noe som forsterker lyssignalet?

TS: Ja, det er som et kamera i den første halvparten av brillen, så sitter lydforsterkeren. Da er det som en liten lupe som man kikker inn på det lysforsterkende bildet. Det er som en liten kikkert. Ikke akkurat en brille, men heter nattbrille på norsk.

SS: Da kan deres type kameraer se biologiske ting?

TS: En klassisk ting som godt forklarer hvorfor militæret er interessert i den teknologien er fordi mange militært utstyr er malt grønt, og står ute i grønn natur. I en del tilfeller så kan et hyperspektralt kamera se tydelig forskjell på tingene som for øyet ser veldig likt ut. Ikke alltid, men i en del tilfeller er det nyttig.

SS: Gammel kamuflasje virker kanskje ikke lenger, men jeg så en video hvor en forsker på AI publiserte et morsomt eksperiment de gjorde. Hvor kameraene kjenner igjen mennesker og klassifiserer. Det er to personer som står ved siden av hverandre og han ene blir veldig godt gjenkjent både når han står stille og beveger seg, mens han andre er like synlig, men han holder et lite ark foran seg og på arket er det mange mennesker avbildet. AI kamera ser han ikke, og det ser han ikke før øyeblikket han snur arket og halvparten av det er synlig. I det øyeblikket er han en person hvis han forsiktig vrir tilbake arket. Det dekker ikke 10 prosent av han, men det er nok til å gjøre han usynlig. Nå får vi begynne å lage t-skjorte med mange mennesker på så blir ikke vi godkjent av kameraene.

TS: Det er et morsomt tema i tiden med AI og behandling av dataene. Det er en prosess som kommer etter kameraene som jeg jobber mest med, men i dyp læring teknologien, dyp læring er buzzword for kunstig intelligens, så er det en slags hjerne som er trent for å kjenne igjen bestemte former i dette tilfelle. Det er velkjent at de lar seg lure. Former som slett ikke ligner på det de sier at det er, men de gjør en slags kortslutning.

SS: Det å forstå hvordan teknologien kan lures må være en viktig ting for forsvaret.

TS: Det er det.

SS: Vi har optikk, big data og AI som forsterker signalene, og finner det som skal finnes. Det er sikkert noe spennende rundt sensorikk også?

TS: Hyperspektral er en av tingene. Så er det å klassifisere nye bølgelengder. Bildesensoren i kameraet er en interessant teknologi. De som jobber med det synes kanskje det er noe som flere burde ha lært seg å verdsette. Både er det viktig for alle går med mobilen i lomma, også er det en interessant teknologi som både er lærerikt og gøy å forstå.

SS: Jeg hører Norge er flinke på radio og GSM, men også på sensorikk.

TS: Stemmer. Vi har flere norske bedrifter som skaper mye verdi gjennom optikk. F.eks Tomra som resirkulerer flasker og plast. De lager resirkulerings maskiner som inni seg egentlig har et hyperspektralt kamera i noen tilfeller som kan kjenne igjen materialer. Jeg jobber med et firma som heter Norsk elektro optikk som er anerkjent som de som lager de beste hyperspektrale kameraet for å ta bilde av enten industriprosesser eller landskap. De er veldig gode.

SS: Og Kongsberg og SINTEF jobber med saken? Whole light er et morsomt selskap?

TS: Jeg kjenner ikke dem så mye, men det er et antall veldig artige optikk startup firmaer som kommer ut fra SINTEF.

SS: Hvis jeg husker riktig så er det noe med at de kombinerer minanabolana(?) teknologi med sensorikk. De har et lite kamera for telefon som er gode på å autofokusere.

TS: De lager en linse som kan forandre fokus. Det er antall firmaer som kommer fra SINTEF som har vært solgt for gode penger.

SS: Du sier at mobiltelefon kameraer er avansert sensorikk som vi undervurderer.

TS: Nye mobiltelefoner tar bra bilder. For meg som kan teknologien inni er det fascinerende hva man får til. F.eks med bildesensoren så er det i hver piksel en lysmåler. Hvis du har 15 megapiksel kamera så er 15 millioner lysmålere koblet med 15 millioner små ledninger til en annen silisium chip som inneholder 15 millioner små forsterkere, så brytere og digital elektronikk for til slutt å hente det ut som digital data. Man snakker om alien technology fra science fiction og når du kikker inn her, hvis du ikke vet bedre, kan du tenke at var det. Hvis du hadde sett det med et 80-talls blikk så hadde det føltes sånn.

SS: Det ville vært utenkelig at man får materialteknologi god nok til å lage 15 millioner bittesmå ledninger, men også lagringsevner.

TS: Det er også materialteknologi. Jeg gjorde første del av karrieren min inne på halvlederen rommet på FFI hvor jeg laget krystaller som skal bli til bildesensorer. Jeg har en viss erfaring med hva som skal til for å lage basisteknologi for prosessor, minne og bildesensor. Det er det veldig få som har innsikt på, men hele samfunnet vårt er bygd på det.

SS: Jeg reiste gjennom Beijing flyplassen og masse tårn med kameraer som tar forskjellige typer bilder, jeg klarer ikke å se hva som er hva, men jeg mistenker det er mye optikk og kunstig intelligens på toppen, og helt til telefonen min som kan ta bra bilder innendørs i mørke forhold. Det må være noe spennende sensorikk og beregning bak det.

TS: Det er det. Det å ta bilde når det er lite lys er interessant på den måten at vi tislutt ser at vi får støy i bildene. Det blir kornete bilder. Nå har vi lært at kvantemekanikken kan du aldri se i dagliglivet, men faktum er at de bildene er så kornete fordi at i en piksel kommer det ti fotoner, og i en annen kom det åtte. Det er tilfeldig hvor mange fotoner som kommer. Det du ser da er at lys består av fotoner og er kvantisert. Det var noe Einstein fant ut og du klarer aldri å se det, men du ser det faktisk med mobiltelefonen din hvis du vet hva du skal se etter.

SS: Du er god til å formidle og glad i det, hva ville du anbefalt til folk som skal inspireres til å begynne å lære teknologi?

TS: Jeg er fysiker, så jeg synes å jobbe med fysiske ting får man glede av. Det kan være så enkelt som å snekre. Det er mye god fysikk i å snekre. Jeg har holdt på å lære bort programmering i 10 år til barn, og det er fordi alle barn har tilgang til verkstedet de trenger for å programmere som bare er en datamaskin de allerede har. Veldig mye bra programvare, særlig de siste årene som hjelper barn og voksne, som føler det som fremmed, kan sette seg ned og ila kort ting begynne å lage egne dataprogrammer. Plutselig avmystifisere det med informasjonsteknologi i stor grad, også kunne se at det er spennende og kreativt, og åpne nye muligheter. Hvis du tar en 4. klassing og setter de foran programmering i Scratch for første gang, så har de en artig stund med det fordi de oppdager muligheter og ting skjer på skjermen. Det lager lyd og de kan vise det fram til andre. Det å lære programmering er et bra sted å starte. Det er noen som føler de har lyst til å lære grunnleggende fysikk ting. Jeg sympatisere med de få som har den følelsen, så er det mye artig man kan lese seg til som “the feynman lectures on physics” kan man prøve og ligger åpent på nettet fra tidenes beste fysikklærer. Det begynner forståelig og så kan man lese så langt som man synes er passende for seg. Det finnes mye annen god litteratur, men det artig og forbausende til å være fra 60-tallet.

SS: Har du et sitat?

TS: Jeg er fysiker og det med lys som går gjennom atmosfæren er veldig viktig på mange måter som jeg jobber med. Det er også viktig for drivhuseffekten. Det å forstå drivhuseffekten, og at det er reelt, viktig og problematisk. Det er også tett knyttet til faget jeg jobber med. Jeg har sett på Greta Thunberg som sier til politikerne “I want you to panic”. Ikke bare snakke om håp og ting vi skal gjøre i fremtiden, men faktisk gjøre noe nå.

SS: Du mener også det er såpass alvorlig?

TS: Ja, men problemet er at de alvorlige virkningene kommer langsomt og gradvis. De er utsatt. Vi har allerede gjort det som vil bringe fram en del problematiske effekter på klima som ikke har skjedd enda, men som vi allerede nå ikke kan gjøre noe med. Det er en problematisk situasjon.

SS: Det å finne ting man kan gjøre for å reversere og skjønne hvor vanskelig jobb det vil være, og hvorfor man må begynne så snart som mulig.

TS: Når det gjelder klima så ligger forskningsfronten mer i psykologien enn i teknologi for løsningene innebærer blant annet å endre måten vi lever på. Ikke livskvaliteten, den kan blir bedre.

SS: Slutte å bli så besatt av vekst.

TS: Vekst og materielt forbruk er problematisk.

SS: Det er vanskelig når vi er så basert på markedsøkonomi.

TS: Sånn sett lever vi i en spennende tid og for en fysiker er det veldig spennende på en påtrengende måte.

SS: Hvis man skal huske en ting fra den brede samtalen vår?

TS: Jeg vil oppfordre alle som føler at fysikk og teknologi er spennende til å finne seg et hjørne de kan lære seg. Gjerne lære mer. Man kan for eksempel høre på politikere når de snakker, så er det av og til tydelig å høre at de ikke har matematisk skolering for da ville de sagt tingene på en annen måte og hatt et høyere nivå av forståelse for problemet de snakker om. Jeg vil legge inn i et ord for fysikk og matte.

SS: Torbjørn Skauli, tusen takk for at du snakker så inspirerende om optikken din, men ikke minst alt du gjør for å få den neste generasjonen til å komme i gang med å ta et aktivt ansvar for fremtiden.

TS: Hyggelig å komme hit.

SS: Takk til dere som lyttet.

Hva er det viktigste dere gjør på jobben?

Vi sørger for at Forsvaret utnytter ny og eksisterende teknologi, og ikke blir hengende etter.

Hva fokuserer du på innen teknologi?

Teknologier der lys brukes som bærer av informasjon og hvordan utviklingen på dette feltet kan åpne for nye anvendelser.

Hvorfor er det spennende?

Kombinasjonen av optikk og IT åpner stadig nye muligheter, samtidig som optikk er en visuell og spennende del av fysikken.

Hva synes du er de mest interessante kontroverser?

Det er spennende med diskusjoner rundt fremtiden for AI og rundt nye tolkninger av kvantemekanikken. I tillegg til globale spørsmål om forbruk, ulikhet, forurensning og ressursutarming.

Dine egne relevante prosjekter siste året?

Kamera på ny norsk mikrosatellitt, uttesting av egen patentert idé for multispektral avbildning og utarbeiding av internasjonale standarder for hyperspektral avbildning. I tillegg til ulike studier av hva man kan se med et kamera i ulike militære scenarier.

Dine andre favoritteksempler på din type teknologi internasjonalt og nasjonalt?

Nye mobiltelefonkameraer er fantastiske, både i ytelse og i teknologisk raffinement på innsiden.

Hva tror du er relevant kunnskap for fremtiden?

En grunnleggende forståelse av matematikk og fysikk, og respekt for at naturen følger sine egne lover.

Hva gjør vi unikt godt i Norge av dette?

Norsk Elektro Optikk er anerkjent som de som produserer de beste hyperspektrale kameraene. Det er også mye annen verdiskapning innen optikk, som hos Tomra og Kongsberg.

Et favoritt fremtidssitat?

I want you to panic.

Viktigste poeng fra vår samtale?

Optikk er en spennende del av fysikken med stort potensiale for nytte og verdiskapning.

Torbjørn Skauli
Sjefsforsker
FFI
CASE ID: C0381
TEMA: ENABLING AND DISRUPTIVE TECH
DATE : 190426
DURATION : 24 min
LITERATURE:
The Feynman Lectures on Physics av Matthew Sands, Richard Feynman, og Robert B. Leighton
YOU WILL LØRN ABOUT:
Hyperspektral avbildningKamerateknologi Forsvarsteknologi
QUOTE
"I endel tilfeller kan hyperspektralt kamera se veldig tydelig forskjell på de tingene som for øyet ser helt likt ut."
More Cases in topic of ENABLING AND DISRUPTIVE TECH
#C0371
ENABLING AND DISRUPTIVE TECH
Fremtiden er elektrisk

Havard Devold

Teknologidirektør

ABB

#C0002
ENABLING AND DISRUPTIVE TECH
VR som medisin

Anne Lise Waal

CEO/CTO

Attensi

#C0001
ENABLING AND DISRUPTIVE TECH
Hva er greia med VR?

Silvija Seres

Lørnere

LØRN.TECH