NL1018198C2 - Head mounted display inrichting. - Google Patents

Description

Titel: Head mounted display inrichting

De uitvinding heeft betrekking op een head mounted display inrichting. Een bekende vorm van een head mounted display inrichting is een helm met daaraan vast een beeldscherm. Doordat het beeldscherm op de helm is gemonteerd beweegt het beeldscherm met het hoofd van de 5 drager mee. Daardoor is het met een head mounted display, in tegenstelling met een vrijstaand display zoals een conventionele monitor, mogelijk het beeld van het beeldscherm voortdurend voor de ogen van de drager te houden, onafhankelijk van de stand van het hoofd van de drager.

Een bekende toepassing van head mounted display inrichtingen is 10 "virtual reality". In deze toepassing past een computer de inhoud van het beeld op het beeldscherm aan de stand van de helm, en dus aan de richting waarin hoofd van de drager gekeerd is. De computer doet dit zo, dat de inhoud van het beeld overeenkomt met wat er in een virtuele wereld in die richting te zien is. Zodoende krijgt de drager de indruk dat hij of zij in deze 15 virtuele wereld om zich heen kan kijken.

Deze techniek kan ook toegepast worden om een virtueel document in een vaste richting voor de drager zichtbaar te maken. Het is echter gebleken dat het lezen van dergelijke documenten beduidend langzamer verloopt en sterk vermoeiend werkt.

20 Het is onder meer een doel van de uitvinding te voorzien in een head mounted display inrichting die minder vermoeiend werkt.

De uitvinding voorziet in een head mounted display inrichting, voorzien van - een draagstel voor bevestiging van de head mounted display 25 inrichting op een hoofd van een drager; - een beeldscherm voor het genereren van een beeld; 101 Hl 2 - een afbeeldingsoptiek voor het afbeelden van het beeld via een oog van de drager; - bewegingsmiddelen voor het veranderen van tenminste een invalshoek waaronder het beeldscherm via het oog wordt afgebeeld; 5 - een standopnemer voor het meten van informatie over een stand van het draagstel; en - een sturende koppeling van de standopnemer naar de bewegingsmiddelen, zo ingericht dat de beweegmiddelen de invalshoek veranderen ten opzichte van het draagstel overeenkomstig veranderingen in 10 de stand van het draagstel, zodat de invalshoek van het beeld met een buitenwereld meebewegend op het oog invalt. De invalshoek waar het beeldscherm wordt afgebeeld kan bijvoorbeeld bewogen worden door het beeldscherm ten opzichte van het draagstel te bewegen, of door de afbeeldingsoptiek bij te stellen.

15 De uitvinding berust op de waarneming dat het menselijk oog de neiging heeft het effect van hoofdbewegingen bij voorbaat te compenseren. Bij een vaste oogstand zou een hoofdbeweging een verplaatsing van het omgevingsbeeld op de retina tot gevolg hebben. Het oog compenseert echter onwillekeurig voor de hoofdbeweging, door het maken van bewegingen met 20 een tegengesteld effect. Daardoor worden verplaatsingen ten gevolge van hoofdbewegingen normaal gecompenseerd.

In een head mounted display inrichting waarin het beeldscherm met het hoofd mee beweegt is de verplaatsing echter afwezig, of wordt door verandering van de inhoud van het beeld gesuggereerd. Dit laatste gebeurt 25 in bijvoorbeeld in zogenaamde virtuele omgevingen waarbij een computer het beeld aanpast aan de kijkrichting van de gebruiker. Deze methode heeft als nadelen dat een computer nodig is en dat de beeldcompensatie gepaard gaat met een vertraging en soms met beeld artefacten. Zodoende ontstaat toch een veranderend beeld op de retina, hetgeen vooral bij het lezen van 30 documenten een sterk vermoeiend effect heeft.

ιοί ei os - 3

De uitvinding berust op het inzicht dat dit effect te voorkomen is door ervoor te zorgen dat de invalshoek waaronder het beeldscherm ten opzichte van de buitenwereld op de oog wordt afgebeeld vast ligt, onafhankelijk van kleine hoofdbewegingen. Dit wordt gerealiseerd door 5 relatief kleine verplaatsingen van het beeldscherm of kleine bijstellingen aan de afbeeldingsoptiek (tot een hoek van typisch 5 graden). In tegenstelling tot virtual reality toepassingen hoeft de inhoud van het beeld op het beeldscherm niet te worden aangepast.

De uitvinding is vooral bedoeld voor het "lezen" van documenten, 10 kaarten enzovoort, waarbij een gerichte werking van het oog nodig is, in over het algemeen een beperkt beeldveld. Uiteraard is het verplaatsen van het beeldscherm of het bijstellen van de afbeeldingsoptiek geen praktisch bruikbaar equivalent van de verandering van de inhoud van het beeld zoals die ter compensatie van grotere hoofdbewegingen (bijvoorbeeld over 15 negentig graden) nodig zijn, bijvoorbeeld bij virtual reality toepassingen.

Dit omdat het beeldscherm door verplaatsing ervan dan alleen perifeer in het gezichtsveld zou worden afgebeeld, of zelfs buiten het gezichtsveld zou vallen. Voor zover er behoefte bestaat om ook deze hoofdbewegingen te volgen zal dit daarom door verandering van de inhoud van het beeld moeten 20 gebeuren.

In principe kunnen allerhande hoofdbewegingen gecompenseerd worden, zoals hoofbe we gingen die het beeld horizontaal of verticaal doen verplaatsen, en hoofdbewegingen die het beeld doen roteren. Bij voorkeur worden tenminste verticale bewegingen gecompenseerd. Dit zijn in praktijk 25 de meest storende bewegingen. In een uitvoeringsvorm compenseert de inrichting alleen deze bewegingen. Daarmee wordt tegen lage kosten het meest hinderlijke gevolg van hoofdbewegingen weggenomen.

In een uitvoeringsvorm van de inrichting worden snelle veranderingen in de invalshoek gecompenseerd, zonder dat een gemiddelde 30 verandering van de invalshoek over langere tijd gecompenseerd wordt.

' · n 98 ’ 4

Zodoende is de drager van de inrichting niet aan een vaste kijkrichting gebonden.

In een uitvoeringsvorm van de head mounted display inrichting volgens de uitvinding wordt de beweging van de invalshoek gerealiseerd 5 door verplaatsing van het beeldscherm ten opzichte van het draagstel. Als alternatief kan de afbeeldingsoptiek bijgesteld worden, bijvoorbeeld door gebruik van een prisma met regelbare hoek, of door verschuiving van lenzen zoals dit in bewegingscompenserende verrekijkers en/of camera's bekend is. Het bewegen van het beeldscherm heeft echter de voorkeur, onder andere 10 omdat daardoor veranderende decentreer aberraties van de afbeeldingsoptiek worden vermeden.

Deze en andere voordelen en doelstellingen van de head mounted display inrichting volgens de uitvinding zullen nader worden omschreven aan de hand van de volgende figuren.

15 Figuur 1 toont een head mounted display inrichting;

Figuur 2 toont een beeldscherm bewegingsmechanisme.

Figuur 1 toont een schematisch overzicht van een head mounted display inrichting op het hoofd van een drager 18. De inrichting bevat een draagstel 10, waarmee de inrichting aan het hoofd 18 bevestigd is, een 20 beeldscherm 12 beweegbaar bevestigd op een bed 17, afbeeldingsoptiek 14, 15 en een standopnemer 16. De getoonde uitvoering van de afbeeldingsoptiek 14, 15 is niet wezenlijk voor de uitvinding. Bij wijze van voorbeeld worden een lens 14 en een spiegel 15 getoond, die een lichtstraal 13 van het beeldscherm 12 naar een oog van de drager leiden. De 25 standopnemer 16 is gekoppeld aan het bewegingsmechanisme van het bed 17.

Het beeld dat op het beeldscherm wordt weergegeven komt bijvoorbeeld van een computer (niet getoond), en bevat bijvoorbeeld een beeld van een document, zoals dat door een tekst editor geproduceerd wordt. 30 De uitvinding is hier echter niet toe beperkt: het beeld kan bijvoorbeeld ook 1 o 1 8198, 5 van een video-afspeelapparaat (niet getoond) komen, of met computer graphics technieken gegenereerd worden. Dergelijke beeldbronnen hoeven geen deel uit te maken van de head mounted display inrichting en kunnen ook los van het draagstel 10 geplaatst worden.

5 In principe kan het head mounted display twee beeldschermen bevatten, voor elk oog één.Ook kan met behulp van een beeldsplitser (bijvoorbeeld een halfdoorlatende spiegel) eenzelfde beeldscherm op beide ogen afgebeeld worden. Verder is een uitvoeringsvorm mogelijk waarin de inrichting slechts op een enkel oog een beeld afbeeldt.

10 Figuur 2 toont een beeldscherm bewegingsmechanisme voor beweging van een beeldscherm langs één richting. Getoond worden het beeldscherm 12, de standopnemer 16, een sensor 20, een controller 22, een actuator 24 en een geleiding 26. De geleiding 26 is gefixeerd ten opzichte van het draagstel 10 (niet getoond in figuur 2). De actuator 24 is aan het 15 beeldscherm 12 gekoppeld om het heen en weer te bewegen ten opzichte van de geleiding 26. De sensor 20 is aangebracht om de verplaatsing (dat wil zeggen bijvoorbeeld snelheid of versnelling) van het beeldscherm 12 ten opzichte van de geleiding 26 te meten. De standopnemer 16 is ingericht om een hoekverplaatsing (bijvoorbeeld een hoeksnelheid of hoekversnelling) te 20 meten van het draagstel ten opzichte van de buitenwereld (die niet met hoofdbewegingen meeversnelt). Allerlei op zich bekende hoek of hoekversnellingsmeters, zijn mogelijk, zoals opnemers op basis van een gyroscoop, of opnemers voor het aardmagneetveld. De gemeten hoekverplaatsingen worden van de sensor 20 en de standopnemer 16 aan de 25 controller 22 toegevoerd, die op zijn beurt de actuator 24 bestuurt.

Bij wijze van illustratie zal de uitvinding beschreven worden voor compensatie van hoofdbewegingen waarin het hoofd 18 in een richting beweegt waardoor het beeld verticaal op en neer gaat.

Bewegingen van het hoofd die het beeld in verticale richting doen 30 bewegen veroorzaken de voornaamste problemen bij het gebruik van een ff ' η i () 6 head mounted display. Daarom wordt bij voorkeur tenminste een bewegingsmechanisme ter compensatie van beeldbe we gingen in verticale richting op genomen. Zonder van de uitvinding af te wijken worden bij voorkeur echter ook bewegingsmechanismes opgenomen ter compensatie 5 van bewegingen in andere richtingen, zoals bewegingen waarbij het beeld in horizontale richting beweegt en/of waarbij het beeld draait. Verder kunnen ook de effecten van translaties van het hoofd gecompenseerd worden, in het geval dat de schijn opgewekt moet worden dat het beeld op een bepaalde afstand (bijvoorbeeld een normale leesafstand) van het hoofd staat.

10 In bedrijf beeld de afbeeldingsoptiek 14, 15 een beeld op het beeldscherm 12 af via het oog van de drager 18. Bij wijze van voorbeeld wordt een eenvoudige optiek getoond. De optiek bevat een lens 14, die een afbeelding vormt van het beeldscherm zo dat het oog als het op een bepaalde afstand, bijvoorbeeld oneindig, focusseert het beeld scherp ziet. Verder bevat 15 de optiek een spiegel 15 die het beeld in het blikveld van de ogen van de drager 18 spiegelt. Bij voorkeur is de spiegel 15 enigszins doorlatend, zodat de drager 18 ook de omgeving voorbij de spiegel enigszins kan waarnemen. In praktijk kan van een ingewikkelder optiek gebruik gemaakt worden, afhankelijk van de behoefte om het beeldscherm 12 op een andere plaats op 20 het draagstel 10 te monteren, of om optische afbeeldingsfouten te corrigeren.

Doordat het beeldscherm 12 en de optiek 14, 15 op het draagstel 10 gemonteerd zijn beweegt het beeld in principe mee met bewegingen van het hoofd 18. Het bewegingsmechanisme compenseert deze beweging in ten 25 minste één richting.

De standopnemer 16 neemt hoekversnellingen op van het draagstel 10 in verticale richting, dat wil zeggen in de richting rond een as die parallel loopt aan een as tussen de oren (de "ja-knik-as"). De controller 22 regelt in response op de opgenomen versnellingen de positie van het 30 beeldscherm 12 bij.

r '· Λ <r ^ ,1 ...

7

In beginsel is er een vaste factor tussen de verplaatsingsafstand van het beeldscherm en de verandering van de hoek waaronder een punt op het beeldscherm wordt waargenomen. Deze factor is afhankelijk van de afbeeldingsoptiek. De controller 22 maakt een voor deze factor gecorrigeerde 5 vergelijking tussen de hoekversnelling van het draagstel 10, zoals opgenomen met standopnemer 16 met de versnelling van het beeldscherm 12, zoals opgenomen door sensor 20 en regelt de beweging van actuator 24 zo dat deze versnellingen gecorrigeerd voor de genoemde factor nagenoeg overeenkomen.

10 Zodoende blijft het beeld van het beeldscherm 12 tenminste in één richting (bijvoorbeeld de verticale richting) op een vaste positie relatief ten opzichte van de buitenwereld. Er is een constante hoek tussen een horizon en de richting waaronder een lichtstraal 13 vanuit een vast punt op het beeldscherm 12 op het oog invalt. Vanuit de drager 18 gezien heeft het 15 beeldscherm dus een vaste positie ten opzichte van de horizon. Het beeldscherm beweegt of trilt bij hoofdbewegingen vanuit de drager gezien dus met de horizon mee. Door de onwillekeurige compensatie die het oog voor deze hoofdbewegingen uitvoert blijft het beeld van het beeldscherm stabiel waarneembaar.

20 Het is niet nodig dat de beweging van het beeldscherm al te grote hoofdbewegingen volledig compenseert, of dat het gemiddelde van de hoofdbeweging over langere tijd (d.w.z. de laagfrequente componenten van de hoofdbeweging) gecompenseerd wordt. Grote hoofdbewegingen komen minder vaak voor dan kleinere hoofdbewegingen. Bij grote bewegingen is 25 het dan ook van minder belang om door te kunnen lezen in documenten. Voor het lezen van documenten is het juist te prefereren dat het beeld gemiddeld recht voor het hoofd uit wordt waargenomen. Het mechanisme van figuur 2 is zo ingericht dat alleen hoger frequente componenten van de hoofdbeweging gecompenseerd worden, doordat op versnellingen geregeld 30 wordt.

10 1 81 s 8 8

In de getoonde uitvoeringsvorm wordt het verschil in gemeten hoekversnelling ten gevolge van hoofdbeweging en de gemeten versnelling van de beeldschermbeweging weggeregeld. Zodoende zal het gemiddelde van de hoek waaronder het hoofd zich bevind niet weggeregeld worden en kan 5 voor snelle bewegingen (bijvoorbeeld met bewegingsfrequenties boven 1/3 Hertz) worden volstaan met een betrekkelijk kleine bewegingsslag van het beeldscherm 12, bijvoorbeeld overeenkomend met hoofdbewegingen tot vier of tot acht graden. Eenzelfde soort effect krijgt men door het verschil in hoeksnelheid of een combinatie van hoeksnelheid en -versnelling weg te 10 regelen. Zelfs het weg regelen van hoekverschillen is echter mogelijk, al heeft dit het nadelige effect dat, bij een verplaatsing van het hoofd waardoor het gemiddeld in een andere richting kijkt, het document Ι1ΙΘΪ ιιιΘΘΓ gemiddeld in de meest makkelijke kijkrichting afgebeeld wordt.

De combinatie van de controller 22 en actuator 24 hoeft niet 15 oneindig snel te reageren. Een bandbreedte voor het volgen van bewegingen met een frequentie tot circa vijf Hertz is ruim voldoende gebleken. Men merke op dat dit veel lager is dan de beeldverversingsfrequentie die nodig is voor artefact vrije waarneming van beelden. De reden hiervoor is dat slechts compensatie van hoofdbewegingen nodig is, die niet al te snel zijn vanwege 20 de vrij grote massa van het hoofd.

In de getoonde uitvoeringsvorm wordt gebruik gemaakt van een feedback lus om de positie versnelling van het beeldscherm in te stellen. De lusversterking bepaalt de minimale frequentie van de hoekveranderingen die weggeregeld worden. De uitvinding is uiteraard niet tot een feedback lus 25 beperkt: er kan ook een feed forward systeem gebruikt worden met een vergelijkbare frequentie karakteristiek, waarmee de opgenomen hoekveranderingen direct de positieveranderingen van het display aansturen. Dit laatste heeft het voordeel dat de reactiesnelheid van de regeling hoger wordt, waardoor het display nog prettiger waarneembaar is.

1 0 1 R i o o , w ~ - o $ 9

De getoonde uitvoeringsvorm toont voorzieningen voor verplaatsing in één richting, namelijk ter compensatie van rotaties van het hoofd rond een as "van oor tot oor". Uiteraard kunnen, zonder af te wijken van de uitvinding, vergelijkbare voorzieningen worden aangebracht om het 5 beeldscherm 12 in andere richtingen te verplaatsen en/of te verdraaien rond een as loodrecht op het vlak van het beeldscherm 12. Hiermee kunnen verplaatsingen ten gevolge van andere hoofdbewegingen anders dan rond de as van oor tot oor gecompenseerd worden. Hiervoor wordt de hoekverplaatsingssensor 16 georiënteerd voor het opnemen van rotaties 10 rond de betrokken as: een as parallel aan de hals van de gebruiker of een as in de richting waarin de drager kijkt als hij of zij recht vooruit kijkt.

In een verdere uitvoeringsvorm kan worden voorzien in de compensatie voor hoofdbewegingen in meerdere richtingen tegelijk. In deze uitvoeringsvorm worden op het draagstel 10 meerdere 15 hoekverplaatsingssensoren opgenomen, voor het meten van hoekverplaatsingen rond de betrokken rotatie-assen. De gemeten hoekverplaatsingen rond deze assen worden gebruikt om respectievelijk verplaatsing van het beeldscherm 12 te sturen, bijvoorbeeld in horizontale en verticale richting en met verdraaiing van het beeldscherm 12 rond een as 20 loodrecht op het oppervlak van het beeldscherm, zo dat de verandering in invalshoek en verdraaiingen van het beeld ten gevolge van rotaties van het hoofd gecompenseerd worden.

Verder kan in een uitvoeringsvorm ook het effect van translaties van het hoofd gecompenseerd worden (en dus niet alleen van rotaties). Het effect 25 van translaties hoeft niet gecompenseerd te worden zolang de schijn gewekt moet worden dat het beeld van het beeldscherm 12 op oneindig staat. Maar als de schijn gewekt moet worden dat het beeld op een bepaalde afstand (bijvoorbeeld een normale leesafstand) staat, dan wordt bij voorkeur ook het effect van translaties gecompenseerd. Dit wordt bijvoorbeeld gerealiseerd 30 door ook translatie sensoren op te nemen, en te voorzien in een,, 10 1 S i g g-, 10 rekeneenheid (bijvoorbeeld een microprocessor) die aan de hand van de gemeten rotaties en translaties van het hoofd met elementaire geometrische formules berekent wat de verandering van de invalshoek of -hoeken zou moeten zijn van een lichtstraal van een voorwerp op een bepaalde afstand 5 van het hoofd. Deze berekende invalshoek of -hoeken worden dan vervolgens gebruikt om op de eerder beschreven manier de positie en/of draaiing van het beeldscherm 12 te besturen.

Hoewel in de getoonde uitvoeringsvorm gebruik gemaakt wordt van een hoeksensor voor het opnemen van hoekverplaatsingen van het hoofd, 10 kan voor het opnemen van deze hoekverplaatsingen ook gebruik gemaakt worden van sensoren voor plaats (xyz) verplaatsing, in combinatie met een rekeneenheid, zoals een microprocessor. Met behulp van elementaire geometrische relaties kan een dergelijke rekeneenheid een hoekverplaatsing berekenen uit het verschil in verplaatsing dat door twee sensoren voor 15 verplaatsing in eenzelfde richting op verschillende posities op het hoofd (dit betreft hoekverdraaiingen rond een normaal op het vlak door de verbindingslijn tussen de sensoren en de richting waarin de verplaatsingen worden opgenomen). In het geval dat zowel een translaties als een rotatie van het hoofd gemeten moeten worden kan dat met een dergelijk paar 20 sensors.

Hoewel de getoonde uitvoeringsvorm, waarin het beeldscherm 12 ten opzichte van het draagstel 10 wordt bewogen, de voorkeur heeft kan de beweging van het beeld ook op andere manieren gerealiseerd worden, bijvoorbeeld door beweging van de afbeeldingsoptiek, zoals door een 25 draaiende beweging van de spiegel, kanteling of verschuiving van lenzen etc. Ook zou men een prisma met een regelbare wighoek in de lichtweg van het beeldscherm 12 naar het oog kunnen opnemen. Dergelijke prisma's zijn op zich bekend (Vary-Angle prism) en worden bijvoorbeeld gerealiseerd door middel van twee doorzichtige platen, verbonden met een balg, met tussen de 30 platen een transparante vloeistof. Het heeft echter de voorkeur om het io? s? as’’ 11 beeldscherm 12 te bewegen, omdat daardoor decentreer-aberraties in de afbeeldingsoptiek worden voorkomen en omdat de massa van een miniatuur display beduidend kleiner is dan van een optische lens, waardoor kan worden volstaan met een kleiner en lichter mechaniek.

1 o15 · 9 8 1

Claims (6)

1. Head mounted display inrichting, voorzien van - een draagstel voor bevestiging van de head mounted display inrichting op een hoofd van een drager; - een beeldscherm voor het genereren van een beeld; 5. een afbeeldingsoptiek voor het afbeelden van het beeld via een oog van de drager; - bewegingsmiddelen voor het veranderen van tenminste een invalshoek waaronder het beeldscherm via het oog wordt afgebeeld; - een standopnemer voor het meten van informatie over een stand van het 10 draagstel; en - een sturende koppeling van de standopnemer naar de bewegingsmiddelen, zo ingericht dat de beweegmiddelen de invalshoek veranderen ten opzichte van het draagstel overeenkomstig veranderingen in de stand van het draagstel, zodat de invalshoek van het beeld met een buitenwereld 15 meebewegend op het oog invalt.

2. Head mounted display inrichting volgens één der conclusies 1 tot en met 5, met het kenmerk dat de bewegingsmiddelen zijn ingericht om de hoekverandering te realiseren door beweging van het beeldscherm ten opzichte van het draagstel.

3. Head mounted display inrichting volgens één der conclusies 1 of 2, waarin de koppeling is ingericht om de invalshoek te veranderen in response op veranderingen in de invalshoek met de buitenwereld in een hoger frequentiebereik, nagenoeg zonder de invalshoek te veranderen in response op veranderingen dat een lager frequentie bereik, waardoor een 25 gemiddelde van de invalshoek op langere termijn niet met de buitenwereld mee beweegt. 101St98^

4. Head mounted display inrichting volgens conclusie 1, 2 of 3, waarin de head mounted display inrichting ingericht is om de invalshoek in slechts één richting te veranderen, te weten een richting overeenkomend met rotatie rond een as van oor tot oor van de gebruiker.

5. Head mounted display inrichting volgens één der conclusies 1 tot en met 4, waarin - de bewegingsmiddelen ingericht zijn voor verandering van twee invalshoeken ten opzichte van respectievelijk een eerste en tweede vlak, die onderling niet parallel zijn; 10. de standopnemer ingericht is om informatie in te nemen over hoeken van het draagstel ten opzichte van het eerste en tweede vlak; - de sturende koppeling zo ingericht is dat de bewegingsmiddelen de invalshoeken veranderen ten opzichte van het draagstel overeenkomstig veranderingen in de stand van het draagstel, zodat het beeld onder vaste 15 hoeken ten opzichte van een buitenwereld op het oog invalt, nagenoeg onafhankelijk van de veranderingen van de stand het draagstel.

6. Head mounted display inrichting volgens één der conclusies 1 tot en met 5, waarin - de bewegingsmiddelen ingericht zijn voor verandering van een 20 draaiingshoek waarmee een as in het beeldscherm ten opzichte van as loodrecht op een kijkrichting van het oog van de drager wordt afgebeeld; - de standopnemer ingericht is om informatie in te nemen over een draaiings hoek van het draagstel ten opzichte van de kijkrichting; - de sturende koppeling zo ingericht is dat de beweegmiddelen de 25 draaiingshoek veranderen ten opzichte van het draagstel overeenkomstig veranderingen in de draaiing van het draagstel, zodat het beeld onder vaste draaiing ten opzichte van een buitenwereld op het oog invalt, nagenoeg onafhankelijk van de veranderingen van de stand het draagstel. 1C·; 8138-1