De virtuele uitdaging

Haijko Wind

"Laatst zeilde ik door de Blauwe Stad, dat is toch een prachtig gebied geworden hoor. Daar wil ik wel wonen".
"Ach zeur niet man, de Blauwe Stad bestaat nog helemaal niet!"
"O jawel hoor, bij de RUG!"

Naast het experiment en de analytische theorievorming wordt de computersimulatie beschouwd als de derde pijler bij het bedrijven van onderzoek. Dit is een van de conclusies uit het rapport "ICT strategie RUG [1]" van de ICT-commissie. Bij een computersimulatie spelen visualisatie en Virtual Reality (VR) een belangrijke rol. Een plaatje zegt immers meer dan duizend getallen. De commissie adviseert dan ook het visualisatiecentrum te moderniseren en geschikt te maken voor uitbreiding naar andere disciplines. Virtual Reality is daarbij een van de opkomende gebieden binnen de computersimulatie waarmee de komende jaren veel onderzoek kan worden gedaan. In dit artikel zal ik kort enkele aspecten en technieken noemen waarmee we te maken krijgen. Met VR wordt een virtuele realiteit geschapen met behulp van een computersimulatie, een virtuele wereld waarbinnen een gebruiker zich kan bewegen en waarmee de gebruiker interactie kan hebben.

Het Protein Interactive Theater, speciaal ontworpen voor onderzoek naar 3D structuren door 2 onderzoekers tegelijkertijd.

   Een paar voorbeelden van toepassingen
   Hoe ontstaat de 3D-illusie?
   Emotionele versus technische visualisatie
   VR-omgevingen
   De software-omgeving
   De virtuele uitdaging
   Pointers naar meer informatie

Een paar voorbeelden van toepassingen

Het is mogelijk allerlei soorten ontwerpen eerst te bekijken en uit te testen alvorens ze daadwerkelijk te maken. Denk bijvoorbeeld aan simulatoren voor schepen of vliegtuigen en allerlei andere toepassingen op het gebied van de mens-machine interactie. Chemische processen en verbindingen waarbij ruimtelijke aspecten een rol spelen kunnen worden aangestuurd en inzichtelijker gemaakt. Medische ingrepen kunnen worden gesimuleerd en zo op verschillende manieren uitgeprobeerd of getraind worden. Fobieën kunnen worden nagebootst en onderzocht in een gecontroleerde omgeving. In data-mining applicaties kunnen grote datasets op geheel nieuwe wijze worden gerepresenteerd waardoor nieuwe inzichten ontstaan. Grote veranderingen in de ruimtelijke ordening, zoals bijvoorbeeld de Blauwe Stad, kunnen eerst bekeken worden alvorens ze worden uitgevoerd.

Dat het hier om complexe omgevingen gaat moge duidelijk zijn. Om dit soort onderzoek mogelijk te maken zijn experts en onderzoekers uit verschillende disciplines nodig. Om vorm te geven aan de ideeën uit het ICT-rapport is er inmiddels een commissie benoemd die projectinitiatieven op dit gebied gaat ontplooien [2].

Hoe ontstaat de 3D-illusie?

Alhoewel niet altijd nodig, wordt in de VR meestal met 3D-beelden gewerkt. Er is een aantal technieken waarmee een 3D-beeld (illusie) kan worden opgewekt bij de kijker. Bij alle technieken worden er voor het linker- en rechteroog verschillende beelden aangeboden. Beelden die berekend worden vanuit het perspectief van de kijker.

Er zijn verschillende methoden om de beelden aan te bieden. De oudste methode is de beelden tegelijkertijd op een display aan te bieden en de beelden te polariseren. De kijker draagt een bril met voor elk oog een filter dat alleen het voor dat oog bestemde beeld doorlaat (de bekende rood/groene brilletjes). Een nadeel is hierbij dat er alleen met zwart-wit beelden gewerkt kan worden. Een betere methode bieden LCD-brillen met voor elk oog een apart beeldscherm.

De meest toegepaste methode maakt echter gebruik van een zogenaamde shutterbril. De kijker wordt op hetzelfde beeldscherm beurtelings een beeld voor het linker- en het rechteroog aangeboden. De shutterbril zorgt ervoor dat wanneer het beeld voor het linkeroog wordt aangeboden het brilglas voor het rechteroog dicht staat en andersom. Wanneer de beelden maar snel genoeg worden aangeboden, minimaal 25 beelden per seconde, dan merkt de kijker dit niet. Deze methode blijkt ook het meest aangenaam te zijn voor de gebruiker.

Op de shutterbril is een tracker gemonteerd (werkt meestal met elektromagnetische velden) zodat de applicatie altijd weet waar de kijker zich bevindt. De beelden worden vanuit het perspectief van de positie van de tracker berekend. VR-omgevingen die gebruik maken van shutterbrillen kunnen met meerdere personen worden gebruikt indien iedereen meekijkt vanuit het perspectief (over de schouder) van de gebruiker met de tracker. Het is zelfs mogelijk om met twee trackers te werken wanneer in plaats van twee, vier beelden op een beeldscherm worden geprojecteerd.

Emotionele versus technische visualisatie

Een 3D-beeld alleen is echter niet genoeg. Bij het gebruik van VR en visualisatie in het algemeen is veel creativiteit nodig. De makers moeten als het ware als een goede producer gebruik kunnen maken van combinaties van algemene diepte queues zoals grootte, helderheid, voorgrond/achtergrond, beweging en andere technieken uit de filmwereld.

Er wordt dan ook vaak onderscheid gemaakt tussen emotionele versus technische visualisatie. Bij emotionele visualisatie is het belangrijk dat de weergave van de werkelijkheid als echt wordt ervaren en beleefd. Men bestudeert de reactie van de kijker op de werkelijkheid. Bij technische visualisatie bestudeert men de weergave van objecten en hun gedrag. Bijvoorbeeld moleculen, stromingen of het menselijk lichaam. Bij het ontwerpen van een VR-toepassing zal men hier rekening mee moeten houden.

VR-omgevingen

Een high-end pc of UNIX-werkstation met snelle grafische kaart, een goede monitor (120 kHz) en een shutterbril is in principe voldoende om een eenvoudige VR-applicatie te kunnen ontwikkelen en te bekijken. Voor wetenschappelijk onderzoek kan dit genoeg zijn om een toepassing te ontwikkelen. Om de toepassing echter te kunnen gebruiken is meestal meer nodig.

De VR-omgeving wordt meestal ontworpen met één bepaalde toepassing in gedachten. De bouwstenen hiervoor zijn staande of liggende schermen waarop met een of meer videoprojectoren beelden worden geprojecteerd. Door het grote en heldere beeld geeft dit een beter 3D-effect en -beleving dan een monitor. Het 3D-object zweeft als het ware voor de kijker in de lucht. Deze kan zich goed ten opzichte van het object bewegen en kan het object met behulp van een data glove of een ander input/output device laten bewegen of anderszins manipuleren.

In de CAVE staat een gebruiker middenin de virtuele wereld.

Met deze bouwstenen kunnen allerlei soorten omgevingen worden gecreëerd. Er zijn tafelachtige opstellingen zoals een Holobench of Immersadesk waar met één of twee videoprojectoren wordt gewerkt. In een Reality Theater worden op een grote gekromde wand (enkele meters breed) door 3 of meer videoprojectoren beelden geprojecteerd. Daarnaast is er de zogenaamde Cave, een kubus waarin de gebruiker in het midden staat en waarvan op 3 wanden plus vloer of plafond beelden worden geprojecteerd. Naast deze meer algemene omgevingen kunnen op een dergelijke manier ook zeer specialistische opstellingen worden gemaakt zoals bijvoorbeeld een opstelling voor een knieoperatie, een brug van een schip of het manipuleren van molecuulstructuren.

Elke omgeving heeft zijn voor- en nadelen, afhankelijk van het toepassingsgebied. Vooral bij emotionele visualisatie is het van belang dat de kijker het gevoel heeft echt in de virtuele wereld te zijn opgenomen. Hiervoor zijn opstellingen zoals een CAVE of een Reality Theater zeer geschikt. De kijker moet zich in de virtuele wereld kunnen bewegen en rond kunnen kijken. Reality Theater is daarnaast ook zeer geschikt voor onderwijs of projecten met meer gebruikers tegelijk.

Een andere beperking van een werkstation is de beperkte grafische rekenkracht. Naarmate de VR-wereld complexer wordt zal de benodigde grafische rekenkracht enorm toenemen waardoor er speciale hardware nodig is. De beelden moeten immers real time worden berekend omdat er gereageerd wordt op de gebruiker. Bij veel VR-omgevingen is daarom het beeld opgedeeld in stukken die afzonderlijk berekend worden door verschillende "grafische computers" van een zogenaamde VR-server. Daarna wordt elk stuk door een afzonderlijke projector geprojecteerd op het scherm. En dit alles natuurlijk keurig gesynchroniseerd en alle beelden naadloos in elkaar overlopend. Deze VR-server is vaak gekoppeld aan High Performance Computing (HPC)-faciliteiten waarop het rekenwerk van de computersimulatie plaats kan vinden.(4)

Een Reality Theater biedt de mogelijkheid met een groep onderzoekers of studenten tegelijkertijd een VR-applicatie te gebruiken. Deze opstelling wordt ook wel gebruikt met een grote vergadertafel in het midden en een goed espresso apparaat in de buurt.

De software-omgeving

Er zijn voor een aantal toepassingsgebieden software-pakketten beschikbaar waarmee VR-applicaties ontwikkeld kunnen worden. Enkele gebieden zijn: de grafische industrie, technische ontwerpen, architectuur en de spelletjesindustrie. Ook pakketten zoals AVS en VTK zijn goed te gebruiken in combinatie met verschillende VR-omgevingen. Voor specialistische onderzoeksprojecten waarin geheel nieuwe toepassingen worden ontwikkeld zal men echter de applicatie zelf moeten ontwikkelen met een krachtige programmeertaal en een aantal grafische libraries (bijvoorbeeld C++ en OpenGL). Het is daarbij mogelijk om de applicatie met een werkstation te ontwikkelen en te testen op de eigen werkplek en daarna te gebruiken binnen verschillende VR-omgevingen zonder aanpassingen aan de applicatie.

De virtuele uitdaging

Het gebruik van VR brengt een aantal nieuwe uitdagingen met zich mee voor de RUG. Onderzoekers krijgen er een nieuw instrument bij, dit betekent nieuwe mogelijkheden binnen bestaand onderzoek maar ook geheel nieuwe onderzoeksmogelijkheden. De toepassingen liggen op gebieden waar computersimulatie mogelijk is en waar visuele en ruimtelijke informatie in combinatie met interactie met de gebruiker een belangrijke rol spelen. De uitdagingen liggen hierbij vooral in het vinden van methoden om de werkelijkheid waarheidsgetrouw te simuleren en te visualiseren. Daarnaast heeft de gebruiker van een VR-applicatie interactie met zijn omgeving en zullen er geheel nieuwe input/output devices moeten worden ontwikkeld. Elke VR-applicatie en -omgeving is daarom weer anders en gebruikt de kennis van het toepassingsgebied. De voorstellen voor nieuwe projecten en faciliteiten moeten voor het eind van dit jaar ingeleverd worden. Dus wie weet kunnen we eind 2000 niet alleen door de Blauwe Stad zeilen maar ook simuleren wat er gebeurt bij wateroverlast, storm, bodemdaling of een (hernieuwde) opkomst van de malaria-mug.

Pointers naar meer informatie:

1. Centre for High Performance Computing
   http://www.rug.nl/rc/organisatie/pictogram/archief/hpc/
2. SARA
   http://www.sara.nl/