Kapittel 5: Virtuell virkelighet (VR)

Endre Olsvik Elvestad er sivilingeniør i datateknikk fra NTNU med fokus på kunstig intelligens og virtuell virkelighet. Han var tidligere medlem av den nasjonale MOOC-kommisjonen som for Kunnskapsdepartementet utredet bruk av nye teknologier i høyere utdanning. I dag er han gründer og CEO i SignLab AI, som utvikler en digital plattform for opplæring i alle verdens tegnspråk. I tillegg til andre medier benytter SignLab virtuell virkelighet (VR) kombinert med kunstig intelligens (AI) for tegngjenkjenning i opplæringen.

Denne artikkelen er hentet fra boken Teknologien endrer samfunnet utgitt på Fagbokforlaget i 2017 (ISBN 978-82-450-2297-1).

Boken kan bestilles her: https://www.fagbokforlaget.no/sok/?q=978-82-450-2297-1

Virtuell virkelighet skaper interesse

Virtuell virkelighet kan virke som noe nytt for mange, men det kan spore sin historie tilbake til Sensorama og The Sword of Damocles utviklet på 1960-tallet. Siden har mediet blomstret opp flere ganger. I 1982 utviklet det amerikanske luftforsvaret VCASS, den første kampflysimulatoren som ga full innlevelse for brukeren. Litt over et tiår senere kom Nintendo sin Virtual Boy ut som det første kommersielle VR-systemet på markedet. Virtual Boy ble dessverre ingen kommersiell suksess. Maskinvaren var for svak til å gi en realistisk opplevelse, og det førte til at flere brukere klagde over kvalme og svimmelhet ved lengre tids bruk.

Raske fakta rundt VR i dag

• 1296 oppstartsselskaper arbeider med VR1
• 171 millioner VR-brukere i løpet av 2018
• Estimert 500 millioner enheter solgt innen 2025
• Markedsstørrelse på 286 milliarder innen fem år (2022)
• Over 3 av 4 av verdens ledende merkevarer har laget opplevelser i VR

Et problem som har vist seg å vedvare frem til i dag er at kostnadene enten har vært for store til å gjøre systemet allment tilgjengelig, eller så har kvaliteten blitt for dårlig til å gi en god brukeropplevelse.

Grunnen til at virtuell virkelighet igjen skaper interesse, er at denne barrieren nå er i ferd med å bli brutt. Nye systemer som Oculus Rift, HTC Vive og Google Daydream gjør billig og rask maskinvare tilgengelig for både utviklere og konsumenter.

Vi trenger ikke å vente på å se hvilke endringer virtuell virkelighet har på samfunnet. Flere sektorer har allerede tatt det i bruk, og noen har benyttet teknologien i tiår. Spesielt på områder hvor det å prøve og feile i den virkelige verden enten har vært for farlig eller for kostbar, har vi virtuell virkelighet gitt en mulighet til trening og utforsking. Dette vil bli utforsket i dybden i seksjonen «Hvordan Virtuell virkelighet forandrer hverdagen».

Kan vi skille fiksjon fra virkelighet?

For å forstå potensialet til virtuell virkelighet er det nyttig å først diskutere hva vi mener med «virkelighet» (Allegory of the Cave - https://en.wikipedia.org/wiki/Allegory_of_the_ Cave, Simulated reality - https://en.wikipedia.org/wiki/Simulated_reality, Evil demon https://en.wikipedia.org/wiki/Evil_demon, The Butterfly Dream https://en.wikipedia.org/wiki/Zhuangzi_, (book)#.22The_Butterfly_Dream.22, Problem of other minds https://en.wikipedia.org/wiki/Problem_of_other_minds, Brain in a vat https://en.wikipedia.org/wiki/Brain_in_a_vat). Hvordan verden «virkelig» er og hva som sikkert kan vites om den, har blitt debattert i århundrer. Består verden av immaterielle ideer eller av objektiv materie?

En av de eldste tankeeksperimentene rundt emnet er illustrert i Platos hule, hvor menneskeheten har vært lenket fast mot en hulevegg som kun viser projeksjoner av den virkelige verden. Først når de blir sluppet fri oppdager de at skyggene på veggen kun var en illusjon og at virkeligheten holdt en annen karakter.

I kinesisk filosofi finner vi også eksempler på problematisering av å bedømme den «virkelige» virkeligheten. I «en sommerfugls drøm» utforsker Zhuang Zhou problematikken:

En gang drømte Zhuang Zhou at han var en sommerfugl. En sommerfugl som flakset og fløy omkring, lykkelig med seg selv og gjorde som han følte for. Han visste ikke at han var Zhuang Zhou.

Plutselig våknet han og der var han klar som dagen, fullt og helt Zhuang Zhou. Det han ikke visste, var om han var Zhuang Zhou som drømte at han var en sommerfugl, eller en sommerfugl som drømmer at han er Zhuang Zhou. I mellom Zhuang Zhou og sommerfuglen må det være en forskjell! Dette kalles transformasjonen av ting.

Lever vi altså i en objektiv virkelighet, eller kan alt være en drøm?

En av de mest innflytelsesrike verkene i den moderne vestlige filosofien er Rene Descartes «Discours de la méthode». Her utforsker Descartes hva som er sikker viten. Stegvis analyserer Descartes sin egen kunnskap om verden med radikal skepsis, og nitidig vises det at det man tror man vet om verden, kanskje ikke er så sikkert allikevel. Selv ikke sansene er troverdig instrument for å danne kunnskap om den eksterne verden. Descartes illustrerer dette ved tankeeksperimentet «Den onde demonen».

En moderne tolkning av Descartes er «hjerne på glass-eksperimentet». Figur 1 illustrerer et scenario hvor en gal vitenskapsmann, maskin eller romvesen har separert hjernen fra kroppen, senket den ned i et glass med næring og koblet til en kraftig datamaskin som gir hjernen stimuli lik den virkelige verden. Vi kan kalle en slik illusjon for «simulert virkelighet», hvor personen med hjernen på glass vil fortsette å ha normal bevissthet og opplevelser uten at de er relatert til hendelser i den virkelige verden.

Figur 1 «Hjerne på glass-eksperimentet»

Realiseringen om at sansene kan bedra, og at vår virkelighetsoppfattelse om verden tilegnes igjennom sanseinntrykk, er grunnprinsippet bak hvorfor virtuell virkelighet fungerer, og kilden til dens potensial.

Hvordan skape en virtuell virkelighet?

Etter å ha fått en forståelse av at vi oppfatter virkeligheten igjennom våre sanser (sensorer) kan vi etablere et noe forenklet bilde av normal virkelighetsoppfattelse.

Normalt oppfatter vi verden igjennom sanseinntrykk som kommer fra den virkelige verden. Sanseinntrykkene sendes som nerveimpulser til hjernen, hvor de blir satt sammen til en helhetlig virkelighetsoppfattelse. I tur kan bevisstheten styre fokus til sansene ved å skifte blikket, hoderetning, fokus på lukt, smak og berøring. Et VR-system overstyrer sanseinntrykkene fra den reelle verden. Kunstig stimuli blir sendt slik at brukeren beholder et troverdig sansebilde av en virtuell verden. Når det kunstige sansebildet blir troverdig nok, skapes en økt følelse av innlevelse opp til punktet hvor brukeren blir helt oppslukt av den virtuelle verden.

Figur 2 Forenklet bilde av normal virkelighetsoppfattelse.

Figur 3 VR-system.

Virtuell virkelighet bygger på å skape en illusjon. Illusjonen skaper et inntrykk av at vi befinner oss et annet sted enn der brukeren fysisk er.

Evnen til å skape en høy grad av «immersion» eller «innlevelse» i den virtuelle verdenen er det som skiller virtuell virkelighet fra andre teknologier. Det er gjennom denne innlevelsen at brukeren får en følelse av tilstedeværelse.

Termene innlevelse (Immersion) og tilstedeværelse (Presence) er ofte brukt om hverandre i dagligtale, men innehar en spesiell betydning når vi snakker om VR-systemer. Vi kan kort definere dem som følger:

• Innlevelse (Immersion) refererer til det objektive nivået av virkelighet som kan gjengis av VR-systemet.
• Tilstedeværelse (Presence) referer til brukerens subjektive opplevelse av tilstedeværelse for en spesifikk VR-opplevelse.

Med et objektivt nivå av virkelighetsgjengivelse mener vi at nivået av innlevelse er avhengig av systemets sensorer, stimulatorer og manipulatorer, og videre at disse elementene består av teknologi som kan bli objektivt evaluert. På denne måten kan vi si at et VR-system tilbyr en høyere grad av innlevelse enn et annet. Nivået av tilstedeværelse er derimot en subjektiv opplevelse hos brukeren.

Siden de første systemene som søkte å skape en virtuell virkelighet på 1960-tallet, har mange typer sensorer, stimuli og manipulatormetoder blitt utforsket. Da «The Ultimate Display» ble foreslått som et tankeeksperiment i 1965, inkluderte systemet, i tillegg til interaktiv grafikk og 3D-lyd, også lukt og smak. Senere systemer har også implementert lukt og smak i maskinvare.

Det som raskt ble oppdaget var at vi benytter forskjellige sanser til å skape en virkelighetsoppfatning i forskjellige situasjoner. For eksempel vil en virtuell opplevelse av et besøk hos en Michelin-restaurant være svært skuffende uten smak og lukt. Samtidig er ikke disse sansene like viktige for et virtuelt besøk oppe på Mount Everest. Betydningen de forskjellige sansene har på graden av innlevelse og den subjektive opplevelsen av tilstedeværelse, har blitt studert og gjenspeiles i egenskapene til dagens VR-system. J.J Cummings sammenlignet 115 effektstørrelser fra 83 studier rundt effekten forskjellige teknologier har på innlevelse og brukeropplevelse (Cummings, J.J., & Bailenson, J.N. (2016). How immersive is enough? A meta-analysis of the effect of immersive technology on user presence. Media Psychology, 19(2), 272–309). Metastudien konkluderte med at bevegelsessporing, stereoskopiskskjerm med stor synsvidde og 3D-lyd hadde størst effekt på brukerens subjektive tilstedeværelse. I tillegg kommer forskjellige typer manipulatorer tilpasset situasjonen, som ratt og pedaler eller medisinsk utstyr.

Moderne VR-systemer er basert på samme type funn og fokuserer på å skape en god visuell, auditiv og romlig gjenskapelse av en virtuell verden. Vind, lukt, smak og berøring er tilsidesatt. Forståelsen av balanse og hva som er opp og ned, har så langt vist seg vanskelig å simulere uten å sende brukeren ut i rommet eller i fritt fall. Konflikten som oppstår når kunstige sanseimpulser og «ekte» sanseimpulser fra den virkelige verden ikke er enige, kan skape uheldige helseeffekter. Et eksempel kan være en VR-opplevelse av fritt fall fra et flyhopp hvor vi visuelt opplever fritt fall, men balansenerven opplever at vi sitter stille på en stol. Brukere har etter slike opplevelser rapportert svimmelhet og kvalme. Om vi reagerer basert på kunstige sanseinntrykk, har det også oppstått en del virkelige skader.

Auditiv teknologi øker virkelighetsoppfatningen

Et godt lydbilde er viktig for å skape en helhetlig virkelighetsoppfatning. Tenk deg at du lukker øynene og hører på klokkespillet i Nidarosdomen. Kommer lyden utenfra eller fra sentrum av hodet? I en reell setting opplever man at musikken kommer fra en ekstern kilde, ved bruk av hodetelefoner opplever vi ofte at lyden kommer fra et senter mellom ørene. Dette blir et problem når vi ønsker å gi autentisk lyd til en virtuell verden.

3D-lyd ble først utviklet for dataspill, og har det siste tiåret forbedret seg betraktelig. I moderne spill kan vi i dag høre detaljerte lydbilder som reflekterer avstand og retning til lydobjekter. Selv om det kalles 3D-lyd, er det dessverre ofte i praksis kun 2D-lyd i det horisontale planet som faktisk blir representert. Om vi går tilbake til eksempelet med Nidarosdomen, er klokkene posisjonert litt under 80 meter over bakken, og kommer derfor i en retning bort og opp sett fra bakkenivå. Ordinær programvare og hodetelefoner vil klare å gjenskape retningen, men vil få problemer med å skape følelsen av at klokkene befinner seg over hodet på brukeren.

Skjermteknologi avgjør synsinntrykket

Text BoxSynssansen er vår mest dominante sans, og et synsinntrykk dannes ved at fotoner treffer øyets retina. Dette kan oppnås ved bruk av en skjerm eller en prosjektor. Ved en skjermbasert løsning må oppdateringsfrekvensen oppfattes som mer enn 60 bilder i sekundet for hvert øye. Samtidig må pikseltettheten ligge på noe over 500 piksler per tomme for å unngå at bildet blir oppfattet som en mosaikk.

Kravet om rask oppdateringshastighet kombinert med rask oppdateringsfrekvens var tidligere vanskelig og kostbast å oppnå. Nintendo sin Virtual Boy, som ble lansert for det kommersielle markedet i 1995, var langt unna å oppnå disse kravene. Dette ledet blant annet til rapporter om kvalme og svimmelhet hos de unge brukerne.

Smarttelefonen skulle vise seg å bane vei for to gjennombrudd mot en ny vår for virtuell virkelighet. Etter introduksjonen av iPhone i 2007 økte etterspørselen av små LCD-skjermer med en høy pikseltetthet. Dette dro kostnaden ned og kvaliteten opp.

De første VR-brillene i den nye generasjonen besto nettopp av LED-skjermer også brukt i smarttelefoner. Nyere systemer på vei inn i markedet kan nå skilte med HD-oppløsning mot begge øynene og en høy oppdateringsfrekvens.

Mer eksotiske løsninger er også på vei inn i markedet med prosjektorbaserte systemer (DLP), som benyttes blant annet i Microsofts HoloLens og Avegant Glyph.

Teknologi for bevegelsessporing

Å kunne bevege blikket fritt er en av hovedegenskapene som skiller VR-systemer fra ordinære filmopplevelser. Dette er også sentralt for å skape et høyt potensial for innlevelse og dernest skape en følelse av tilstedeværelse i den virtuelle verdenen.

Inntoget av smarttelefonen bidro, i tillegg til ny skjerm- teknologi, også til utviklingen av små gyroskop originalt til bruk i navigering i den virkelige verden. I VR-systemer benyttes den derimot i motsatt retning, å orientere den virtuelle verdenen etter brukerens bevegelser.

Brukerens orientering oppfattes oftest av en måleenhet for treghet, i fysikken kalt en inertial meassurement unity (IMU). Hovedkomponenten er et gyroskop som måler sin egen rotasjonshastighet. I tillegg inneholder IMU ofte et akselerometer eller et magnetometer som retter opp avvik som etter hvert oppstår fra gyroskopet. Bevegelse i rommet blir ofte målt ved bruk av eksterne sensorer som fungerer over et avgrenset område. Den mest kjente teknologien for presis bevegelsessporing er ved bruk av «lyshus» (Lighthouse). I stedet for et kamera sender en lyskaster ut usynlig lys som en radar over sporingsområdet. Dette blir så etterfulgt av en laserstråle som gjør et sveip over det samme området. Sensorer plassert på masken og kontrollene måler først når de blir truffet av lyset, før det så venter til å bli truffet av laseren. Ved å legge sammen disse dataene kan fotosensoren avgjøre dens presise posisjon i rommet. Så presis at man kan kaste kontrollen i lufta med masken på, og ta den igjen før den lander kun ved å følge kontrollens bevegelse i den virtuelle verden.

Figur 4 VR-bevegelse.

Virtuell virkelighet forandrer hverdagen

Tidligere var VR-systemer kun forbeholdt spesielle miljøer, som militæret, oljesektoren, medisin og flyvere. VR-teknologiens nye vår muliggjør å få det samme nivået av innlevelse som tidligere kostet en årslønn inn i stua. Hvilke endringer kan vi vente oss?

Nære opplevelser
Mange av oss har sittet gjennom historietimene på skolen, sett på bildene og hørt på fortellingene om tidligere tider. Mange kom kanskje også inn på tanken om hvor spennende det hadde vært om man kunne dra tilbake i tid og opplevd det selv. Andre kunne tenke seg at i stedet for å snakke med vennegjengen over tekstmeldinger, kunne man samlet seg i en koselig hytte i Hafjell og se en felles film foran en sprakende peis. I dag er alt dette mulig ved hjelp av VR – helt uten at man trenger å forlate senga.

Reiser i tid og rom
British Museum VR kom i 2015 ut med en VR-opplevelse som bringer brukeren inn i bronsealderen. Publikum får muligheten til å utforske gammer og jaktmarker. Ved å digitalisere ekte objekter museet besitter fra bronse- alderen inn i simuleringen, får museumsturen en ekstra dimensjon. Som et heldigitalt program utforsker de muligheten for at skoleklasser i forkant kan utforske bronsealderen før de opplever dem på museet.

Vi trenger ikke å holde føttene plantet på jorden. Med Apollo 11 VR Experience kan vi oppleve den første månelandingen: få følelsen av å sitte i en klaustrofobisk kapsel, se sola komme opp bak jorda og gjenoppleve i førsteperson «One small step for man, a giantleap for mankind». Heldigvis slipper vi å ha hjertet i halsen for at noe skal gå galt.

I tillegg til å reise i tid kan vi reise rundt på kloden og utforske dagens situasjon. Welcome to Aleppo tar deg med rundt i Aleppos ruiner. I motsetning til digitaliserte verdener som Apollo 11, benytter Welcome to Aleppo 360 graders video. Dette gjør filmen svært autentisk, og med video i 360 grader får vi følelsen av å bli teleportert rett inn i det krigsherjede området.

Sosiale møteplasser
Opplevelser i VR trenger ikke begrense seg til enspillermodus. Det kan også fungere som en sosial møte- plass. Her kan du dele en spesifikk opplevelse, som en tur på tivoli, eller man kan holde møte i ekstravagante møterom.

Social Alpha tilbyr en sosial kinoopplevelse for deg og dine venner. Her sitter vi i koselige lærestoler og ser på video som dekker hele veggen. Vi står fritt til å snakke sammen og dele virtuelt popcorn. Litt morbid blir det når du snur deg for å snakke med sidekameraten og oppdager at dere alle er kroppsløse hoder som svever over bakken.

AltSpace VR ble fort en av de mest promoterte VR-opplevelsene i 2016. Brukere står fritt til å lage virtuelle events og chatterom hvor inviterte deltakere kan delta med sin avatar. I åpne virtuelle verdener kan vi blant annet spille «Holograms against humanity» eller snakke løst rundt bordet mens en kompis snur plata på jukeboxen.

Markedsføring
Bedrifter er ofte raskt på banen for å benytte ny teknologi til markedsføring. Per 2016 hadde over 75 % av verdens ledende merkevarer en opplevelse knyttet til bruk av VR-teknologi. Spesielt ser sektorer som kan dra nytte av den økte visuelle følelsen VR kan tilby, nye muligheter til promosjon.

Turisme

Har du noen gang drømt om å stå på toppen av Mont Everest eller besøke Taj Mahal? Den majestetiske følelsen av å stå på toppen av verden kommer ikke helt frem via magasinbilder. Ved hjelp av virtuell turisme kan vi stå på toppen og skue ut over Himalaya med krystallklart lyd og bilde, men uten den strevsomme turen. Om vi foretrekker sand over snø kan vi heller dra til en av de mange sandstrendene i Karibia via Caribbean VR. Opplevelsen blir ikke helt lik, så klart. Det er noe reiseselskapene benytter seg av, og markedsfører at om den virker fantastisk i den virtuelle verden, er det ennå et stykke igjen opp til den virkelige opplevelsen.

Figur 5 Virtuell turisme.

Eiendom og bilsalg
I likhet med reisedestinasjoner er det et spenn mellom hvilken innlevelse bilder fra Finn.no kan skape, mot det å faktisk delta på visning. Spesielt for luksuseiendommer og timeshareleiligheter hvor kundene ofte befinner seg i utlandet, har VR opplevelser som filmer den i 360 grader eller skanner og bygger en 3D-modell av eiendommen, gitt muligheten for en bedre opplevelse. Denne opplevelsen kan bli mer informativ enn en visning ved å gi brukeren en komprimert «timelapse» av sol og værforhold rundt eiendommen for en uke eller et år – i løpet av noen minutter.

Forbedrede visninger av biler, eiendom og andre luksusgjenstander som kan konfigureres, er også en ny mulighet som vokser frem med virtuell virkelighet. I stedet for å prøve å forestille deg hvordan den nye bilen som forhandleren kun har i blå vil se ut i rødt med fartsstriper, kan nå selgeren skape en realistisk visning i VR uten å ha bilen på lager.

Læring i virtuelle verdener
Virtuell virkelighet skiller seg fra andre teknologier ved å gi brukeren en større grad av innlevelse. Dette muliggjør at vi kan skape kunstige situasjoner som er nær ekte. I motsetning til den ekte verdenen, derimot, kan ikke den virtuelle verdenen gjøre fysisk skade på brukeren. Om vi i en fallskjermøvelse i den virtuelle verdenen ikke klarer å få åpnet fallskjermen, avsluttes spillet med «Game Over, prøv igjen?». Det å gjøre den samme feilen i den virkelige verden er «Game Over». Det er derfor ikke rart at de første systemene for virtuell virkelighet ble rettet mot situasjoner hvor risikoen og kostnaden av trening var stor. Første del av pilotutdanningen har lenge foregått i dyre, realistiske flysimulatorer.

Når kostnaden for systemutvikling og maskinvaren som inngår i moderne VR-systemer reduseres, er det nærliggende å se på hvilke egenskaper ved VR som gjør det egnet til bruk i utdanning.

Feil uten konsekvenser, repetisjon uten kostnad

Det finnes flere områder hvor feil kan lede til stor skade mot seg selv eller andre. Kirurgi er et fagfelt hvor et feil snitt under en operasjon kan få langvarige konsekvenser for pasienten.

En aneurisme er en blodåre som har utviklet en pose som så blir satt under trykk. Den oppstår oftest i hovedpulsåren eller i blodårene inn til hjernen. Om posen sprekker, fører det ofte til funksjonsnedsettelse eller død hos pasienten. På den annen side er det kirurgiske inngrepet for å «klippe» aneurismen svært risikabelt. Vi kan ved uhell sprekke posen under inngrepet eller skade nærliggende hjernefunksjon. Her ønsker vi ikke som pasient en uerfaren lege. «The Cerebral Aneurysm Clipping Simulator (CACS)» gir kirurger muligheten til å trene i en realistisk setting til de er komfortable med å utføre operasjonen i den virkelige verden. I tillegg kan de trene på å handtere spesielt krevende senarioer som selv erfarne kirurger kun har utført en handfull ganger. CACS tilbyr, i tillegg til en høy grad av visuell ekthet, også kontroller som gir en realistisk taktil tilbakemelding til brukeren.

En lik tankegang rundt bruk av VR finner vi også i bruk i nødetater, militæret og industrien.

Gradvis eksponering og empati

Noen ganger kan verden virke overveldende. VR tilbyr en sandkasse hvor vi selv kan bestemme mengden stimuli som sendes til brukeren. Dette blir benyttet mot behandling av posttraumatisk stress, sosialiseringen av barn med autisme og som eksponeringsterapi mot fobier.

Figur 6 Transformative opplevelser og utvidet virtuell virkelighet (Copyright: IgnisVR. http://ignisvr.com/portfolio/arachnophobia-virtu- al-exposure-therapy/)

Mange med autisme strever med å tilpasse seg sosiale situasjoner som oppstår i dagliglivet. Dette kan være situasjoner fra hvor vi skal sitte på bussen til hvordan vi oppfører oss under et jobbintervju. Tidligere forsøk på å lære bort slike ferdigheter via bøker og klasserom har gitt blandede resultater, og rollespill med de samme personene har også vist seg å være problematisk. Ved hjelp av VR-simuleringer kan vi skape en realistisk setting for utprøvelse av forskjellige sosiale situasjoner. Studier har vist at kun ti behandlinger over fem uker har ført til en signifikant forbedring i sosiale ferdigheter, gjenkjenning av andres følelser og økt funksjon i dagliglivet, noe som før har krevd større ressurser. I likhet med autisme kan angst og fobier virke hemmende i dagliglivet. Eksponeringsterapi er ved siden av kognitiv terapi en av de mest brukte terapiformene i dag. Formålet med eksponeringsterapi er å gradvis eksponere pasienten mot det som er skremmende, med den hensikt å få pasienten til å innse det irrasjonelle ved angstlidelsen. Virtuell virkelighet tilbyr et miljø hvor vi gradvis kan øke intensiteten til situasjonen.