WO2006049270A1

WO2006049270A1 - ヘッドマウントディスプレイ

Info

Publication number: WO2006049270A1
Application number: PCT/JP2005/020335
Authority: WO
Inventors: Masaki Otsuki; Shigeru Kato; Kazuou Isagi; Tomomi Takashina
Original assignee: Nikon Corporation; Nikon Systems Inc
Priority date: 2004-11-01
Filing date: 2005-10-31
Publication date: 2006-05-11

Abstract

動画データ保持装置１のメモリには、表示すべき動画の源画像情報が記憶されている。この源画像情報は、画像１枚に対応する分毎に、画質調整量演算部２に送られる。画質調整量演算部２は、外部光測定部３からの信号を受けて、画像データの輝度補正を行う。輝度補正を行われた画像データは、動画データ再生部４に送られて、画像データに変換され、表示部の画像表示装置５に表示される。これにより、画像を表示していない眼に入る光量が変化しても、画像を明確に視認することが可能となる。

Description

へッドマウントディスプレイ技術分野

本発明は、頭部に装着して、装着者の眼に画像を表示する機能を有するへッドマウントディスプレイ明に関するものである。背景技術書

近年、液晶パネル（L C D )等の表示デバイス上に表示された映像を、接眼レンズやハーフミラー等を有する光学系を介して拡大した虚像として観察する眼鏡タイプ等、人体に装着して使用されるの映像表示装置が種々提案され、ウェアラブルディスプレイと呼ばれている。そのうち、頭部に装着して使用されるものは、特にへッドマウントディスプレイと呼ばれている。

ヘッドマウントディスプレイは、多くの場合、頭に卷いた形で頭部に装着する構成とされ、両眼に対応する位置に映像表示系を形成した両眼タイプと左右眼の一方の眼に対応する位置に映像表示系を形成した片眼タイプとがある。このうち、両眼タイプのものは、主として映像を楽しむための目的に使用される。片眼タイプのものは、例えばウェアラブルパソコン等の表示装置等や、作業者に指示を表示する表示装置としての使用方法が期待されている。その例として、特開平 8— 3 0 5 2 9 8号公報に記載されるような方式のものが公知となっている。

このようなへッドマゥントディスプレイにおいて、表示部は、眼の前に置いて使用されるが、眼の前に常時あることが望ましい場合（他の作業はしないので、他に邪魔されたくない）もあれば、眼の前にはあってほしくない場合や、一旦眼の前からなくなり再度使用したい等、さまざまな状況が考えられる。そこで、頭部に装着したままの状態で、表示部が眼の前から移動することができるような構造となっていることが好ましレ、。このようなヘッドマウントディスプレイは、例えば、特開 2 0 0 4 一 2 0 7 8 4 7号公報に記載されてレ、る。

その概要を図 4に示す。ヘッドマウントディスプレイ 2 1は、リアァーム 2 2、ディスプレイアーム 2 3、表示部 2 4、耳当て部 2 5を主要部として構成されている。

表示部 2 4はディスプレイアーム 2 3の先端部に取り付けられており、帯状となったディスプレイアーム 2 3の後部は、リアアーム 2 2中の中空部に収納され、装着者の頭部の形状に合わせて伸縮可能なようになつている。耳当て部 2 5はリアアーム 2 2に固定されて、リアアーム 2 2 の弾性付勢力により、装着者の耳を押さえつけるようにされている。

この方式のへッドマウントディスプレイ 2 1においては、ディスプレィアーム 2 3はリアアーム 2 2の片側にしか収納されておらず、表示部 2 4を左眼の前に配置する場合には図 4に示されたような姿勢で使用し (実線がディスプレイアーム 2 3と表示部 2 4が収納位置にある場合を示し、 2点鎖線が表示部 2 4を装着者の眼前に位置させて画像を観察する場合を示す）、表示部 2 4を右眼の前に配置する場合は、図 4に示された姿勢から 1 8 0 ° 回転させ、上下左右を反対にした姿勢で使用する。発明の開示

このような、片目タイプのヘッドマウントディスプレイにおいて、画像を表示しようとするとき、画像が表示されていない他の眼に入る光量が問題となる。則ち、表示画面の輝度を一定に保った場合、他の眼に入る光量が多い場合（周囲が明るい場合）には、人間の眼の視覚特性により画像が暗く見え、逆に他の眼に入る光量が少ない場合（周囲が暗い場合）には、人間の眼の視覚特性により画像が明るくまぶしく見え、どちらの場合も画像が見にくいという問題点がある。

本発明はこのような事情に鑑みてなされたもので、画像を表示していない眼に入る光量が変化しても、画像を明確に視認することが可能なへッドマウントディスプレイを提供することを課題とする。

前記課題を解決するための第 1の手段は、装着者の片方の眼に、源画像情報に対応する画像を表示する表示部を有するへッドマゥントディスプレイであって、前記片方の眼とは逆の眼に入射する光量を測定する光量センサを有し、前記光量センサで測定された光量と、予め定められた視覚特性とから、前記源画像情報が有する画素ごとの輝度情報と、実際に表示する画像の輝度との関係を 1画面毎に定め、定められた関係に従つて、源画像情報の輝度情報を補正して、補正結果に基づいて画像表示を行う機能を有することを特徴とするへッドマゥントディスプレイである。

本明細書及び特許請求の範囲でいう「視覚特性」とは、実際に撮像素子で撮像され源画像データとして記録されている画素の輝度データと、その輝度データを有する画素を表示したときに、実際の人間の眼が感じる輝度との関係をいい、一般的に、画像を表示する眼とは逆の眼に入る光量、さらにこれに加えて、源画像情報の平均輝度によっても変化するものである。

単純に考えると、源画像データの輝度データに表示部が装着されていない側の眼に入る光量（ほとんどの場合外光の光量）に比例するファタタを掛けて、その値の輝度が画像の輝度となるように表示させれば、表示部が装着されていない側の眼に入る光量が多いときには画像が明るくなり、反対に、表示部が装着されていない側の眼に入る光量が少ないときには画像が暗くなつて、前述の問題は解決されるように考えられる。しかし、視覚特性は、同じ画像を明るい場所で見た場合には、暗い部分がより暗く見え、暗い場所でみた場合には、明るい部分がより明るく見えるという性質を有しているので、単純に画像の輝度を、表示部が装着されていない側の眼に入る光量に比例させて変化させるのでは、不十分である。

本発明においては、このような人間の眼の視覚特性を考慮して源画像情報が有する画素ごとの輝度情報と、実際に表示する画像の輝度との関係を 1画面毎に定めて、この関係に基づいて決定された輝度を有する画像を表示部に表示できるので、表示部が装着されていない側の眼に入る光量が変化した場合でも、明瞭に視認できる画像を表示することができる。

前記課題を解決するための第 2の手段は、前記第 1の手段であって、前記視覚特性として複数のものを用意し、前記光量センサで測定された光量の段階に応じて、使用する前記視覚特性を選択する機能を有することを特徴とするものである。

本手段においては、前記光量センサで測定された光量に応じて段階を定め'、その段階に応じて使用する視覚特性を変えているので、視覚特性を光量センサで測定された光量の関数として表す必要が無くなり、補正が簡単になる。

前記課題を解決するための第 3の手段は、前記第 1の手段であって、 1画面に相当する源画像情報の各画素の輝度の平均値を算出し、算出された平均値と、前記光量センサで測定された光量との関係に基づいて、前記視覚特性を決定する機能を有することを特徴とするものである。表示される画像一枚の平均的な輝度が、画像によって変化するような場合には、画像の見え方は、前記光量センサで測定される光量のみでなく、画面 1枚ごとの平均的な輝度によっても左右される。本手段においては、 1画面に相当する源画像情報の各画素の輝度の平均値を算出し、算出された平均値と、前記光量センサで測定された光量との関係に基づいて、前記視覚特性を決定する機能を有するので、このような場合においても、明確な画像を視認することができる。

前記課題を解決するための第 4の手段は、装着者の片方の眼に、源画像情報に対応する画像を表示する表示部を有するへッドマゥントディスプレイであって、前記片方の眼とは逆の眼に入射する光量を測定する光量センサと、所定数の画面の源画像情報を先読みする手段を有し、前記光量センサで測定された光量と、前記所定数毎に先読みした前記所定数だけの画面の源画像情報の輝度を平均した平均輝度情報と、予め定められた視覚特性とから、前記源画像情報が有する画素ごとの輝度情報と、実際に表示する画像の輝度との関係を 1画面毎に定め、定められた関係に従って、源画像情報の輝度情報を補正して、補正結果に基づいて画像表示を行う機能を有することを特徴とするへッドマウントディスプレイである。

本手段の基本的な機能は、前記第 1の手段と同じであるが、本手段においては、画面 1枚毎に輝度補正処理を行うのではなく、表示する画像の画面の枚数を所定枚数毎にまとめ、ひとまとまりの画像の最初の画像が表示される前に、そのひとまとまりの画像の源画像情報を先読みする。そして、これらの所定枚数の画面の源画像情報について輝度の平均値をとって平均輝度情報を形成する。そして、光量センサで測定された光量と、この平均輝度情報と、予め定められた視覚特性とから、前記源画像情報が有する画素ごとの輝度情報と、実際に表示する画像の輝度との関係を 1画面毎に定め、定められた関係に従って、源画像情報の輝度情報を補正して、補正結果に基づいて画像表示を行う。前記第 1の手段においては、画像一枚ごとに補正がかかる oで、一連の画像（特に動画像）をみる場合にかえって不自然に見える湯合がある力 s、本手段においては、補正値は所定枚数毎に計算しており、所定枚数の画像内では同じ補正値が使用されるので、このような不自然さを解消できる。

前記課題を解決するための第 5の手段は、装着者の片方の目艮に、源画像情報に対応する画像を表示する表示部を有するへッドマウントデイスプレイであって、前記片方の眼とは逆の眼に入射する光量を ¾IJ定する光量センサと、所定数の画面の源画像情報を先読みする手段を有し、前記光量センサで測定された光量と、前記先読みした所定数だけ o画面の源画像情報の輝度を移動平均した平均輝度情報と、予め定められた視覚特性とから、前記源画像情報が有する画素ごとの輝度情報と、際に表示する画像の輝度との関係を 1画面毎に定め、定められた関係 ίこ従って、源画像情報の輝度情報を補正して、補正結果に基づいて画像舞示を行う機能を有することを特徴とするへッドマウントディスプレイである。前記第 4の手段においては、先読みしたひとまとまりの画 ί象の画面の源画像情報について輝度の平均値をとって平均輝度情報を形し、そのひとまとまりの画面の源画像情報について輝度の平均値をとつて平均輝度情報を形成し、これを輝度補正に使用していた。しかし、この方法では、ひとまとまりの画面の源画像情報毎に平均輝度情報が変化するので、ひとまとまり毎の画面の境目において、平均輝度情報がステ yプ状に変

'化し、不自然に見えることがある。

これに対し、本手段においては、源画像情報の輝度の移動^均をとつて、 1枚の画像毎に変化する移動平均値を、それに対応する画面（通常、移動平均をとる最後の画面）の画像の輝度補正に使用していらので、補正が滑らかに行われ、違和感を感じなくなる。前記課題を解決するための第 6の手段は、装着者の片方の眼に、源面像情報に対応する画像を表示する表示部を有するへッドマゥントディスプレイであって、前記片方の眼とは逆の眼に入射する光量を測定する fe 量センサと、所定数の画面の源画像情報を先読みする手段を有し、前言己光量センサで測定された光量と、前記先読みした画面の源画像情報の輝度を指数平滑した指数平滑輝度情報と、予め定められた視覚特性とから、前記源画像情報が有する画素ごとの輝度情報と、実際に表示する画像の輝度との関係を 1画面毎に定め、定められた関係に従って、源画像情滓の輝度情報を補正して、補正結果に基づいて画像表示を行う機能を有することを特徴とするへッドマウントディスプレイである。

本手段においては、前記第 5の手段において使用していた移動平均の代わりに、指数平滑を使用している。よって、前記第 5の手段と同様の作用効果が得られる。

前記課題を解決するための第 7の手段は、前記第 4の手段から第 6の手段のいずれかであって、前記視覚特性として複数のものを用意し、前記光量センサで測定された光量の段階に応じて、使用する前記視覚特 f生を選択する機能を有することを特徴とするものである。

本手段は、前記第 4の手段から第 6の手段のいずれかと前記第 2の手段とを組み合わせたもので、両者が有する作用効果を奏する。図面の簡単な説明

図 1は、本発明の実施の形態であるへッドマゥントディスプレイの画像表示制御部を示すプロック図である。

図 2は、源画像情報の画素の輝度情報 I 。と、補正後に出力される画の輝度情報との補正関係を示す図である。

図 3は、本発明の別の実施の形態であるへッドマウントディスプレイの画像表示制御部を示すプロック図である。

図 4は、公知のヘッドマウントディスプレイの構造を示す図である。図 5は、本発明の別の実施の形態であるへッドマゥントディスプレイの構造を示す図である。

図 6は、図 5に示すヘッドマウントディスプレイの制御回路の概要を示す図である。

図 7は、液晶素子に形成される映像の例を示す図である。

図 8は、液晶素子に形成される映像の他の例を示す図である。発明を実施するための最良の形態

以下、本発明の実施の形態の例を、図を用いて説明する。ヘッドマウントディスプレイ本体部の構成は図 4に示した従来のものと同様のものでよく、かつ、本発明の主要部と直接関係がないので、その説明を省略する。

図 1は、本発明の実施の形態であるヘッドマウントディスプレイの画像表示制御部を示すプロック図である。動画データ保持装置 1 のメモリ (不図示）には、表示すべき動画の源画像情報が記憶されている。この源画像情報は、画面 1枚に対応する分毎に、画質調整量演算部 2に送られる。画質調整量演算部 2は、外部光測定部 3からの信号を受けて、後に示すような画像データの輝度補正を行う。輝度補正を行われた画像データは、動画データ再生部 4に送られて、画像データに変換され、表示部の画像表示装置 5に表示される。

ここに、外部光測定装置は、例えば図 4の表示部 2 4の背面側（眼に対面する方向と反対側）に設けられ、外光の光量を測定する。外光の光量は、画像表示に使用されていない側の眼に入る光量に等しいと考えられるので、これにより、画像表示に使用されていない側の眼に入る光量を測定することができる。

以下、画質調整量演算部 2の動作の例を説明する。動画データ保持装置 1から送られてきた一枚の画面に相当する画像の各画素の位置を（ X， y ) で示し、それに対応する源画像情報の輝度を I 。（X , y ) で示す。そして、外部光測定部 3の出力を ψとする。

画質調整量演算部 2は、源画像情報の輝度 I 。を外部光測定部 3の出力 φに応じて補正するための関数 f ( Ι 。， Φ ) を有している。この関数 f ( Ι 。， φ ) が視覚特性に相当する。この関数の出力 Iは、

I = f ( I 。， φ ) · · · (!)

で示され、源画像情報の輝度 I 。が、測定された光量 φに応じて（ 1 ) 式により、各画素毎に補正される。則ち、各画素ごとの輝度は、

I ( X， y ) = f { I 。（ X , y )， φ } … （ 2 )

となる。そして、画質調整量演算部 2から動画データ再生部に送られる画像データにおける輝度データは I ( X , y ) に変換されている。

関数 f ( Ι 。， φ ) は、関数形として持つこともでき、光量 φを量子化して、量子化された段階毎に、ルックアップデーブルの形で持つようにしてもよい。又、関数形が複雑になる場合には、光量 φを量子化して、量子化された段階毎に、異なる関数形としてもよい。

関数 f ( Ι 。， φ ) は、光量センサで測定された光量が表示装置を使用していない眼に入った状態で画像を見るとき、その画像が自然に見えるように補正するような関数形をしており、光量センサや、画像を撮影したときの撮像装置のセンサの特性、及び人間の眼の特性を考慮して、当業者が適宜決定することができるものであるが、一般的にいって以下の性質を持つ。

( a ) 光量 φが多いとき、同じ I 。に対して I を大きくし、光量 φが少ないとき、同じ I 。に対して Iを小さくする。 ( b ) 光量 Φが多いとき、 i Z i 。を、小さレ、 ι 。に対して、大きレヽ I。に対するよりも大きくする。光量 Φが少ないとき、 i Z i 。を、大きい

I 。に対して、小さレ、 I 。に対するよりも小さくする。

この様子を図 2に示す。図 2 ( a ) は、光量 φが標準の状態の時の I 。と I の関係を示すグラフであるとする。この状態から光量 φが多くなつたとき、全ての I 。に対して、同じ倍率で I を大きくしたのが図 2 ( b ) の破線で示すグラフである。このようにすると、原画像の暗い部分が相対的により暗く視認されるようになり、見づらくなるので、実際の特性は、図 2 ( b ) の実線で示すように、 I 。の小さい部分での倍率をより大きくし、この部分での I の値が相対的に大きくなるようにしている。又、図 2 ( a ) に示す標準の状態から、光量が少なくなつたとき、全ての I 。に対して、同じ倍率で I を小さくしたのが図 2 ( c ) の破線で示すグラフである。このようにすると、原画像の明るい部分が相対的により明るく視認されるようになり、まぶしくて見づらくなるので、実際の特性は、図 2 ( c ) の実線で示すように、 I 。の大きい部分での倍率をより小さくし、この部分での I の値が相対的に小さくなるようにしている。

以上は、源画像情報の輝度 I 。と、測定された光量 φに基づいて補正関数 f ( Ι。， φ ) を求め、それにより実際に表示される画像の輝度を求める方法であつたが、視認される画像の画質が、測定された光量 φ と源画像情報全体の輝度との相対関係によつて決まる場合がある。このような場合には、補正関数 f ( Ι 。， φ ) の代わりに、源画像情報の輝度 I 。、測定された光量 φ、画像 1枚中における源画像情報の画素毎の輝度の平均値 Αの関数である補正関数 g ( Ι 。， φ , Α ) を用いて上述のような補正計算を行うようにするとよレ、。この場合には、補正関数 g ( I 。， φ , Α ) が視覚特性に相当する。則ち、画像 1枚中における源画像情報の画素毎の輝度の平均値 Aを、

A = ^I₀(x, y) /m … ）として求め（mは 1画面中の画素数である）、各画素毎の輝度を、 I ( X , y ) = g { I 。（X , y ) , Φ， A } · · · ( 4 )

とし、画質調整量演算部 2から動画データ再生部に送られる画像データにおける輝度データを I ( x， y ) に変換する。

この場合には、 ψを量子化し、量子化された Φの段階ごとにテーブルを持ったり、関数形を別にすることもできる。又、 Aについても量子化し、量子化された Aの段階ごとにテーブルを持ったり、関数形を別にすることもできる。 φ と Aとの量子化を組み合わせて使用してもよい。図 3は、本発明の別の実施の形態であるへッドマゥントディスプレイの画像表示制御部を示すブロック図である。図 3において、図 1に示された構成要素と同じ構成要素には、同じ符号を付して説明を省略することがある。

図 3に示すプロック図は、動画データ分析部 6を有する点が、図 1に示すブロック図と異なっているのみである。従って、動画データ分析部

6 と関係のない部分の作動は、図 1に示した実施の形態と同じである。この実施の形態においては、源画像情報の輝度の補正は、各画面毎に行うのではなく、所定枚数の画像内においては補正値を一定に保ち、所定枚数の画像毎に新しい補正値を計算して、それに基づいて補正を行うようにしている。

則ち、動画データ分析部 6は、所定枚数の画面毎に、次に表示される所定枚数の源画像情報を動画データ保持装置 1から予め読み出し（先読みと称している）、その輝度データを画素毎に平均化を行う。画像の画面の枚数は、例えば数分間分の画面枚数とする。この画面枚数を nとするとき、輝度の平均値 A ' は / (m - n) 〜(5)

で求まる（mは 1画面中の画素数である）。画質調整量演算部 2は、この A ' を前述の（4 ) 式における Aの代わりに使用して、図 1に示した実施の形態と同様の方法で、各画素毎の輝度を求める。

この場合、 ( 5 )式の計算は n枚の画面毎に行われるので、この n枚の画面については、（4 ) 式における Aに相当する A，の値は同一となり、画像 1枚ごとに異なった捕正値で補正が行われてかえって不自然に見えることが防止できる。

この場合も、 φを量子化し、量子化された φの段階ごとにテーブルを持ったり、関数形を別にすることもできる。又、 A ' についても量子化し、量子化された A ' の段階ごとにテーブルを持ったり、関数形を別にすることもできる。 φ と A 'との量子化を組み合わせて使用してもよレ、。以上のような動画解析部 6の動作では、 n枚の画面の画像データのブロックごとに輝度の平均値 A ' が算出され、その n枚画面の画像データの輝度補正に使用される。しかしながら、この方法によると、ある n枚画面の画像データと、次の n枚画面の画像データの間で、輝度の平均値 A ' が急激に変化し、その結果、 n枚の画面毎に補正値が異なって、不自然に見えることがある。これに対応するためには、 n枚の画面のプロックごとの輝度の平均値を求める代わりに、 n枚の画面の画像データの輝度の移動平均値を求め、それを使用するのが有効である。

すなわち、ある画面の画像の輝度補正を行うために使用する前記 A ' として、その画面を含め、それ以前（その画像より後に表示されるもの）の η枚の画面の画像の輝度を先読みし、その平均値を使用する。これにより、輝度の平均値が急激に変化することが無くなり、画像が不自然に見えることが無くなる。

又、移動平均の代わりに、輝度の指数平滑値を用いてもよい。すなわち、所定番目の画面（k番目とする）の画像における輝度の指数平滑値 A，，（ k ) は、

A k) = a'y ₀{x,y)lm-r{\-a)'A k-\)...{6)

で求められる。ひ ( 0 < α < 1 ) は指数平滑定数である。このようにしても、移動平均をとつたときと同様な効果が得られ、かつ、先読みする画像の画面の枚数は 1枚でよいので、処理が簡単になる。

以下、本発明の実施の形態の別の例を、図を用いて説明する。図 5は、本発明の実施の形態であるへッドマゥントディスプレイの装着部の概要を示す図である。へッドマウントディスプレイ 3 1は、リアアーム 3 2、ディスプレイアーム 3 3、表示部 3 4、耳当て部 3 5を主要部として構成されている。

表示部 3 4はディスプレイアーム 3 3の先端部に取り付けられており、帯状となったディスプレイアーム 3 3の後部は、リアアーム 3 2中の中空部に収納され、装着者の頭部の形状に合わせて伸縮可能なようになつている。耳当て部 3 5はリアアーム 3 2に固定されて、リアアーム 3 2 の弾性付勢力により、装着者の耳を押さえつけるようにされている。

この方式のへッドマウントディスプレイ 3 1においては、ディスプレィアーム 3 3はリァアーム 3 2の片側にしか収納されておらず、表示部 3 4を左目の前に配置する場合には図 5に示されたような姿勢で使用し (実線がディスプレイアーム 3 3 と表示部 3 4が収納位置にある場合を示し、 2点鎖線が表示部 3 4を装着者の眼前に位置させて映像を観察する場合を示す）、表示部 3 4を右目の前に配置する場合は、図 5に示された姿勢から 1 8 0° 回転させ、上下左右を反対にした姿勢で使用する。ここまでの構成は、図 4に示された従来のへッドマウントディスプレィの構成と同じである。しかし、図 5に示すヘッドマウントディスプレィにおいては、表示部 3 4の目に対面する側と反対側の筐体に、光量センサ 3 6が取り付けられている点が異なっている。光量センサは、片目と同程度の指向性を持つようにすることが好ましい。

表示部 3 4内には、バックライトを光源とする液晶素子からなる映像形成装置と、映像形成装置上に形成された映像を、人間の目に投影する光学系とが組み込まれている。このへッドマウントディスプレイの制御回路の概要を図 6に示す。

光量センサ 3 6の出力信号は、 C P U 4 1に入力される。 C P U 4 1 には、表示すべき映像の源映像情報が記憶されている。源映像情報は、例えば画素毎の色相、彩度、相対的な明るさからなる。明るさが相対的な明るさであるのは、絶対的な明るさは、この相対的な明るさの情報とノックライト 4 3の輝度によって決定されるからである。

C P U 4 1は、光量センサ 3 6からの信号を受けて、その信号に応じて源映像情報に修正を加え、画像処理装置 4 2に送出する。画像処理装置 4 2は、この情報を L C D ドライバ 4 4を駆動する信号に変換し、 L C D ドライバ 4 4に指令を与える。 L C D ドライバ 4 4は、この指令に基づき、実際に液晶素子 4 5を駆動して、液晶素子 4 5上に映像が表示される。

液晶素子 4 5に形成される映像の例を図 7に示す。液晶パネル 5 1中には液晶素子が実装された液晶表示部 5 2が形成され、その外側が液晶素子が実装されていない枠部（斜めのハツチングで示す）になっている。この例においては、背景を灰色（図においては黒となっている）とし、表示映像である文字情報とその枠をそれより明るい灰色（図においては白となっている）として表示を行っている。液晶表示部 5 2の最外周は、背景より明るい灰色（図においては白となっている）とし、映像を表示できない枠部との境目を明瞭にしている。

C P U 4 1は、光量センサ 3 6力らの信号を受け、バックライト 4 3 の輝度と画素毎の相対的な明るさを制御することにより、背景と表示映像の明るさを制御している。外界が明るい場合、すなわち映像を表示しない目に入射する光量が多い場合は、脳内では明るい外光と映像とが重なってコントラスト（表示映像と背景との明るさの比）が低下して見える。そのため、光量センサからの出力 pが閾値 0 1 より大きい場合は、表示映像（文字）と背景とコントラストをより大きくするように、文字と背景との明るさを選択する。

その一例としては、表示映像（文字情報）とその枠の明るさを、映像を表示しない目が感じている明るさとほぼ同じとなるようにし、背景の明るさを前記表示映像や枠より暗くなるように制御する。液晶表示部の最外周を示す枠は、表示映像と同じ明るさとなるように制御することが好ましい。

このときコントラストが光量センサの出力 pに対してなめらかに変化する、視覚特性に関連づけられる関数 f( 3 )に従って変化するように制御すると、不自然さのない映像を提供できる。

一方外界が暗い場合は、表示映像である文字情報とその枠がまぶしく見えてしまう。この場合、バックライト 4 3を暗くしただけでは、文字の背景が黒くつぶれてしまい、見えなくなってしまう。そのため光量センサからの出力 pが閾値 0 2 ( Θ 2≤ θ 1 ) より小さい場合に、コントラストが小さくなるように、文字と背景との明るさを選択する。その一例として、背景の明るさを映像を表示しない目が感じている明るさとほぼ同じとなるようにし、表示映像の明るさを前記背景より明るくなるように制御することが好ましい。液晶表示部の最外周を示す枠は、表示映像と同じ明るさとなるように制御することが好ましい。このときコントラストが光量センサの出力 _Pに対してなめらかに変化する、視覚特性に関連づけられる関数 g( P )に従って変化するように制御すると、不自然さのない映像を提供できる。なお、 Θ 2 < ρ < 0 1のときは、 C P U 4 1に記憶されている源映像情報に基づいた明るさで表示を行う。

この閾値 Θ 1、 0 2および関数 f( p )、 g( iO )は、ユーザの好みによつて変更できるようにしてもよレ、。有機 E L ( electro luminescence) のようにバックライトが不要の表示素子を使用する場合は、表示素子のみで、画素の明るさの制御を行う。

なお、以上の例においては、液晶表示の最外周を示す枠を表示しているが、この枠は必ずしも表示しなくてちょレ、。又、以上の例においては、液晶表示そのものを用いてこの枠を表示しているが、液晶の裏側から、ライトガイドを用いて枠に相当する 13分を照明し、液晶表示部の最外周が明確になるようにしてもよい。

液晶素子 4 5に形成される映像の他の^ Jを図 8に示す。この場合は、液晶表示部 5 2の中には、灰色（図におレヽては黒となっている）からなる第 1背景と、その内側に形成されたそれより明るい灰色（図においては白となっている）からなる第 2背景が設けられており、表示映像である文字情報とその枠を、第 2背景中に、窮 2背景より暗い灰色（図においては黒となっている）として表示を行っている。図 8 ( a ) においては、第 2背景は四角の枠でるが、図 8 ( ¾ ) においては、第 2背景は、文字の形状に合わせて形成されている。

このような表示方法は、第 2背景が占める面積が多い場合には、人間の目にまぶしく感じられるので、図 7にした表示方法の方が一般的には優れているが、場合によっては用いらることがある。

このような表示方法を用いる場合には、 C P U 4 1は、光量センサ 3 6からの信号を受け、バックライト 4 3の輝度と画素毎の相対的な明るさを制御することにより、第 1背景、第 2背景と映像の明るさを制卸している。外界が明るい場合、すなわち映像を表示しない目に入射する光量が多い場合は、脳内では明るい外光と映像とが重なって映像のコントラスト（文字と第 2 と背景との明るさの比、及び第 2背景と第 1背; ¾明るさの比）が低下して見える。そのため、光量センサからの出力 ; 0 閾値 e 3より大きい場合は、文字と第 2背景とのコントラストをより；^:きくするように、文字と背景との明るさを選択する。

その一例としては、第 2背景の明るさを、表示映像を表示しない目が感じている明るさとほぼ同じとなるようにし、映像（文字情報）と第 1 背景の明るさを、それより暗くなるように制御する。

このときコントラストが光量センサの出力 Pに対してなめらかに化する、視覚特性に関連づけられる関数 M P )に従って変化するよう〖こ制御すると、不自然さのない映像を提供できる。

一方外界が暗い場合は、表示映像である文字情報とその枠がまぶしく見えてしまう。この場合、バックライト 4 3を暗くしただけでは、文字の背景が黒くつぶれてしまい、見えなくなってしまう。そのため光量センサからの出力 _Pが閾値 Θ 4 ( Θ 4 ≤ Θ 3 ) より小さい場合に、コントラストが小さくなるように、文字と第 2背景との明るさの比、及ぴ第 2 背景と第 1背景明るさの比を選択する。その一例として、映像（文字情報）と第 1背景の明るさを、映像を表示しない目が感じている明るさとほぼ同じとなるようにし、第 2背景の明るさを、それより明るくなるように制御することが好ましい。

このときコントラストが光量センサの出力に対してなめらかに変化する、視覚特性に関連づけられる関数 k( p )に従って変化するようこ制御すると、不自然さのない映像を提供できる。なお、 e p く 0 3のときは、 C P U 4 1に記憶されている源映像情報に基づいた明るさで表示を行う。

この閾値 0 3、 Θ 4および関数 h ）、 k ( p )は、ユーザの好みによつて変更できるようにしてもよレヽ。有機 E L (electro luminescence) のようにバックライトが不要の表示素子を使用する場合は、表示素子のみで、画素の明るさの制御を行う。

以上、図 7、図 8に示した例においては、光量センサの出力 pに応じて、映像表示の制御方式の切り替えを 3段階に行っていたが（ 0 1 = 0 2 , Θ 3 = Θ 4 )の場合は 2段階）、このような切り替えを行わず、単に、 f ）、のいずれか、又は h ( p )、 k )のいずれかに従ってコントラストを調整するだけにしてもよレ、。

以上の例においては、表示は灰色を用いていたが、カラーを用いることももちろん可能である。例えば、灰色の代わりに単色の色を用いるような使用方法と、いろいろな色彩を持った映像として表示する方法がある。

このように色彩を持った映像を表示する場合には、映像を表示しない目に入射する光のカラーバランスを考慮して、表示する映像の力ラーバランスを決定することが好ましい。この場合、使用者が実際に見ている色を基準とする場合と、周囲を照らす光源によって決定される色を基準とする場合の二とおりが考えられる。

前者の場合、通常、映像を表示しない目の視野全体が同じ色になるようなことはあまりないが、たとえば大きな赤い物体が目の前に提示された場合でも、人はそれを赤と認識する。この場合表示されている映像は赤い物体と重なって見えるため、映像中の赤い色が見づらくなつてしまう。この場合表示する映像のカラーバランスを全体的に緑に寄せることで、見やすい映像となる。一方後者の場合、映像を表示しない目に見えるすべてのものの色が同系色にシフトする。たとえば白熱灯の元では視野全体が赤つぼくなる力人はそれをほとんど感じない。そのような状態で映像を見ると全体的に青く感じてしまう。そのため表示する映像のカラーバランスを全体に赤に寄せることで自然に見える映像を提供することができる。

このような映像の色彩の制御は、以下のようにして実現できる。まず、図 5における光量センサ 3 6をカラーセンサに変更する。そして、カラ一センサの出力を C P U 4 1で読み取り、そのデータを元に、源映像情報の色相情報を変更する。そして、変更された色相情報を画像処理装置 1 2に与えることにより、カラーバランスを調整する。

カラーバランスの調整は、このような方法の他に、例えば、ノックライト 4 3に R G B三色の L E Dを使用し、各 L E Dの発光量を制御することにより行ってもよレ、。

使用者が実際に見ている色を元にカラーバランスを制御する場合、力ラーセンサには人の目の視野とほぼ等しい指向性を持ったものを、指向性が使用者の視線と同じ方向を向くように配置する。一方光源色を元にカラーバランスを制御する場合は、無指向性のカラーセンサを用いる。または人の目の視野とほぼ等しい指向性を持ったものを、指向性が使用者の視線と同じ方向を向くように配置して、デジタル力メラのホワイトバランスと同様の手法で、光源色を推定して使用してもよい。

Claims

請求の範囲

1 . 装着者の片方の眼に、源画像情報に対応する画像を表示する表示部を有するへッドマウントディスプレイであって、前記片方の眼とは逆の眼に入射する光量を測定する光量センサを有し、前記光量センサで測定された光量と、予め定められた視覚特性とから、前記源画像情報が有する画素ごとの輝度情報と、実際に表示する画像の輝度との関係を 1画面毎に定め、定められた関係に従って、源画像情報の輝度情報を補正して、補正結果に基づいて画像表示を行う機能を有することを特徴とするへッドマウントディスプレイ。

2 . 請求の範囲第 1項に記載のへッドマゥントディスプレイであって、前記視覚特性として複数のものを用意し、前記光量センサで測定された光量の段階に応じて、使用する前記視覚特性を選択する機能を有することを特徴とするへッドマウントディスプレイ。

3 . 請求の範囲第 1項に記載のヘッドマウントディスプレイであって、 1画面に相当する源画像情報の各画素の輝度の平均値を算出し、算出された平均値と、前記光量センサで測定された光量との関係に基づいて、前記視覚特性を決定する機能を有することを特徴とするへッドマウントディスプレイ。

4 . 装着者の片方の眼に、源画像情報に対応する画像を表示する表示部を有するへッドマウントディスプレイであって、前記片方の眼とは逆の眼に入射する光量を測定する光量センサと、所定数の画面の源画像情報を先読みする手段を有し、前記光量センサで測定された光量と、前記所定数毎に先読みした前記所定数だけの画面の源画像情報の輝度を平均した平均輝度情報と、予め定められた視覚特性とから、前記源画像情報が有する画素ごとの輝度情報と、実際に表示する画像の輝度との関係を 1画面毎に定め、定められた関係に従って、源画像情報の輝度情報を補正して、補正結果に基づいて画像表示を行う機能を有することを特徴とするへッドマウントディスプレイ。

5 . 装着者の片方の眼に、源画像情報に対応する画像を表示する表示部を有するヘッドマウントディスプレイであって、前記片方の眼とは逆の眼に入射する光量を測定する光量センサと、所定数の画面の源画像情報を先読みする手段を有し、前記光量センサで測定された光量と、前記先読みした所定数だけの画面の源画像情報の輝度を移動平均した平均輝度情報と、予め定められた視覚特性とから、前記源画像情報が有する画素ごとの輝度情報と、実際に表示する画像の輝度との関係を 1画面毎に定め、定められた関係に従って、源画像情報の輝度情報を補正して、補正結果に基づいて画像表示を行う機能を有することを特徴とするへッドマクントディスプレイ。

6 . 装着者の片方の眼に、源画像情報に対応する画像を表示する表示部を有するヘッドマウントディスプレイであって、前記片方の眼とは逆の眼に入射する光量を測定する光量センサと、所定数の画面の源画像情報を先読みする手段を有し、前記光量センサで測定された光量と、前記先篩みした画面の源画像情報の輝度を指数平滑した指数平滑輝度情報と、予め定められた視覚特性とから、前記源画像情報が有する画素ごとの輝度情報と、実際に表示する画像の輝度との関係を 1画面毎に定め、定められた関係に従って、源画像情報の輝度情報を補正して、補正結果に基づいて画像表示を行う機能を有することを特徴とするへッドマゥントディスプレイ。

7 . 請求の範囲第 4項に記載のへッドマゥントディスプレイであって、前記視覚特性として複数のものを用意し、前記光量センサで測定され 'た光量の段階に応じて、使用する前記視覚特性を選択する機能を有することを特徴とするへッドマウントディスプレイ。

8 . 請求の範囲第 5項に記載のへッドマウントデイスプレイであって、前記視覚特性として複数のものを用意し、前記光量センサで測定された光量の段階に応じて、使用する前記視覚特性を選択する機能を有することを特徴とするへッドマウントディスプレイ。

9 . 請求の範囲第 6項に記載のへッドマゥントディスプレイであって、前記視覚特性として複数のものを用意し、前記光量センサで測定された光量の段階に応じて、使用する前記視覚特性を選択する機能を有することを特徴とするへッドマウントディスプレイ。