JPH1084518A

JPH1084518A - 表示装置

Info

Publication number: JPH1084518A
Application number: JP8257562A
Authority: JP
Inventors: Shigeru Ogino; 滋荻野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-09-06
Filing date: 1996-09-06
Publication date: 1998-03-31
Anticipated expiration: 2016-09-06
Also published as: JP3679523B2

Abstract

(57)【要約】【目的】観察者に疲労を与えることの少ない良好な画
像を表示し音声を出力する。【構成】頭部位置検出部１３において法線ベクトルｎ
(k) が求められ、この結果がデータ制御手段１２に送ら
れ、表示画像制御手段１２ａ、音声出力制御手段１２ｂ
それぞれにおいて、ＲＯＭ１１に格納された三次元画像
データ１１ａ及び三次元音声データ１１ｂから法線ベク
トルｎ(k) により表示画像範囲と音声出力レベルが決定
され、この結果がＬＣＤ駆動部１６と音声信号出力部１
７へそれぞれ送られて、ＨＭＤ表示部のＬＣＤ５におい
て観察者に画像が表示され、イヤホン４から音声が出力
される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、特に頭部装着型で
画像及び／又は音声を観察者に出力する表示装置に関す
るものである。

【０００２】

【従来の技術】従来、テレビゲーム機やバーチャルリア
リティ又はシミュレータ等で使用される三次元画像や音
声を出力する表示装置として、ＨＭＤ（頭部装着型映像
表示装置；Head mounted display）が知られている。こ
のＨＭＤは観察者の頭部の動きに対応させるために、装
置上や頭部等の観察者の身体の一部に振動ジャイロや磁
気センサ等の身体位置検出手段を装着し、これらの検出
手段の出力信号に応答してＨＭＤの表示画像と出力音声
を変化させることにより、観察者に臨場感を与えること
を実現している。

【０００３】

【発明が解決しようとする課題】しかしながら上述の従
来例では、頭部や身体の動きに観察者が本来意図しない
ゆらぎや振動がある場合も、検出手段の出力信号がこれ
らに応答してしまい、この結果ＨＭＤの表示画像と出力
音声が不必要に変化して、観察者に船酔い感や画像の細
かい振動が観察されて、相当な疲労を与える原因となっ
ている。

【０００４】本発明の目的は、上述の問題点を解消し、
観察者に疲労を与えることの少ない良好な画像と音声を
出力する表示装置を提供することにある。

【０００５】

【課題を解決するための手段】上記目的を達成するため
の本発明に係る表示装置は、画像表示手段及び／又は音
声出力手段と、前記画像表示手段を観察するための観察
光学系と、観察者の頭部位置を検出する頭部位置検出手
段と、前記画像表示手段の表示画像及び／又は前記音声
出力手段の出力音声の制御を行う制御手段とを有する表
示装置において、前記頭部位置検出手段からの出力値又
は該出力値の相関値に応じて表示画像領域及び／又は音
声空間の切出領域を制御することを特徴とする。

【０００６】

【発明の実施の形態】本発明を図示の実施例に基づいて
詳細に説明する。図１は実施例の斜視図を示し、観察者
が容易に着脱可能な小型軽量の眼鏡型ＨＭＤである。こ
のＨＭＤを観察者の頭部に装着した時の観察者の眼前に
は、画像を表示するＨＭＤ表示部１が設けられ、その上
部には頭部位置検出手段２、その側面には入出力ボード
３がそれぞれ取り付けられており、入出力ボード３の出
力はＨＭＤ表示部１と、音声出力手段であるイヤホン４
に接続されている。

【０００７】図２は観察者が装着した状態のＨＭＤ表示
部１の平面図、図３は側面図を示し、ＨＭＤ表示部１は
ＬＣＤ（液晶表示装置；Liquid Crystal Display）５な
どの画像表示部と、ＬＣＤ５に表示された画像の虚像を
観察者の両眼から所定の観察距離に所定倍率で表示する
ための観察光学系６とから構成されており、観察光学系
６には特開平７−１０４２０９号公報に開示されている
ような２枚の自由曲面ミラー７、８が使用されている。

【０００８】また、ＨＭＤ表示部１は観察者の両眼に対
し、それぞれ１対のＬＣＤ５と観察光学系６を有し、視
差を有する画像と視差の無い画像を表示することによっ
て、観察者は二次元画像や三次元画像を観察できるよう
になっている。なお、画像表示部と観察光学系６の数は
これに限定されることはない。

【０００９】更に、観察者に三次元の音場を出力するた
めに、左右の耳のそれぞれにイヤホン４が設けられてお
り、観察者が頭部を動かすと、その動きに応じて出力さ
れる音量が制御されて、臨場感のある音場が形成される
ようになっている。また、頭部位置検出手段２には座標
Ｘ、Ｙ、Ｚ軸回りの角速度を検出するためのセンサとし
て、３個の振動ジャイロ９が各軸用に設けられている。

【００１０】図４はブロック回路の構成図を示し、全体
の制御を行う制御装置１０が設けられ、制御装置１０は
三次元画像データ１１ａ及び三次元音声データ１１ｂを
記憶するＲＯＭ１１、表示画像制御部１２ａ及び音声出
力制御部１２ｂを有するデータ制御手段１２、頭部変位
検出部１３から構成されている。

【００１１】また、入出力ボード３には、振動ジャイロ
９からの出力が接続された角速度検出部１４及び角変位
算出部１５、ＬＣＤ駆動部１６、音声信号出力部１７の
出力が接続され、ＬＣＤ駆動部１６の出力はＬＣＤ５に
接続され、音声信号出力部１７の出力はイヤホン４に接
続されている。また、角速度検出部１４及び角変位算出
部１５の出力は頭部変位検出部１３に接続され、表示画
像制御手段１２ａ、音声出力制御手段１２ｂの出力はそ
れぞれＬＣＤ駆動部１６、音声信号出力部１７に接続さ
れている。

【００１２】観察者にＨＭＤが装着されると、ＨＭＤ表
示部１は観察者の両眼の前面に配置され、制御装置１０
から入出力ボード３に送られた画像信号は、ＬＣＤ駆動
部１６によってＬＣＤ５上に画像として表示され、音声
信号は制御装置１０から入出力ボード３の音声信号出力
部１７に入力され、所定量に増幅されてイヤホン４から
観察者に音声が出力される。

【００１３】３軸検出用振動ジャイロ９からの出力信号
は角速度検出部１４で検出されて、ＸＹＺ軸の各角速度
信号Ψx 、Ψy 、Ψz が制御装置１０へ出力され、更に
角速度信号Ψx 、Ψy 、Ψz は角変位算出部１５に送ら
れ、角変位信号θx 、θy 、θz に変換されて制御装置
１０へ出力される。

【００１４】なお、Ｘ、Ｙ、Ｚ軸回りの３軸の角速度検
出ではなく、Ｘ、Ｙ軸回り、Ｘ、Ｚ軸回り、Ｙ、Ｚ軸回
りの２軸の角速度を検出してもよく、更にＸ、Ｙ、Ｚの
１軸だけの角速度を検出してもよい。また、Ｘ、Ｙ、Ｚ
の各方位ベクトルを検出する地磁気センサのような方位
センサを設けて、より高精度の頭部位置検出を行っても
よい。更に、方位の測定のために振動ジャイロ９の代り
に磁気センサと磁石の組み合わせを使用してもよく、こ
の場合には観察者に磁気センサを取り付けて磁石を観察
者の近くに固定するか、又はこの逆の構成で行うことも
できる。

【００１５】本実施例においては、赤外線等を使用して
ワイヤレスで入出力ボード３と制御装置１０の双方向の
通信を行うが、通信のプロトコルについては特に限定せ
ず、またケーブル等で入出力ボード３と制御装置１０を
接続してもよい。また、頭部位置検出手段２は、観察者
の頭部正面に配置されているが、頭部の位置をシステム
の要求する精度で検出できる場所であれば何処に配置し
てもよい。

【００１６】頭部の動きを振動ジャイロ９により検出し
て、Ｘ、Ｙ、Ｚ軸回りの角変位θx、θy 、θz を算出
し、制御装置１０は観察者に与える三次元画像の切出領
域を、角変位θx 、θy 、θz と角速度Ψx 、Ψy 、Ψ
z に応じて決定する。ここで、三次元画像のデータと
は、互いに直交するＸ、Ｙ、Ｚ軸で定義される三次元空
間中の、各座標における輝度データと色データとから成
る画像データを別途定義される画素毎に有するものを指
し、各座標における画像データの画素毎に和を求めた平
均値を各画素毎の画像データとする。なお、画素とは所
定の体積を有するＸ、Ｙ、Ｚ軸で定義される三次元空間
中の１単位を指す。

【００１７】本実施例においては、頭部位置検出手段２
の近傍をＸ、Ｙ、Ｚ軸空間の原点として定義し、観察光
学系６による所定の観察面を法線ベクトルｎ＝（ｎx ，
ｎy，ｎz ）と原点からの距離ｄで定義される表示平面
とする。これによって、観察者に表示する画像として
は、原点を通り法線ベクトルｎに平行な直線を中心に上
下左右の所定の画角で定義される四角錐内の画像データ
が表示されることになり、表示画像領域を法線ベクトル
ｎで代表させることができ、また音声についても法線ベ
クトルｎによって左右の耳の音声データを制御すること
ができる。

【００１８】従って、バーチャルリアリティ等の仮想空
間を観察者に表示する際に、観察者の頭部が動くとその
動きに合わせて三次元画像空間及び音声空間の表示領域
を変更することによって、リアルな三次元表示が成され
るように制御することができる。

【００１９】図５は法線ベクトルｎをＸ軸回りに頭部の
動きに応じて回転させる回転量Θxを算出するための制
御ルーチンのフローチャート図である。

【００２０】先ず、ステップ１において、入出力ボード
３から、角速度検出部１４で検出した角速度ψx(k)と、
角速度ψx(k)を角変位算出部１５において積分して求め
た角変位θx(k)とを、制御装置１０の頭部変位検出部１
３に読み込む。

【００２１】法線ベクトルをｎ(k) ＝（ｎx(k)，ｎy
(k)，ｎz(k)) と表し、ここで添字のｋは電源投入時か
ら図５に示すルーチンを実行した回数を示す。一定時間
のｔ秒毎にルーチンを実行するとすると、ｋ番目の実行
時刻はｋ・ｔ秒になる。従って、電源投入時に最初にル
ーチンを実行したときはｋ＝１であるから、法線ベクト
ルｎ(k) の初期値をｎ(O) ＝（ｎx(O)，ｎy(O)，ｎz
(O)) と表す。なお、この値は所定の方式で別途設定す
る。

【００２２】また、頭部の相対角変位Θ(k) を、Θ(k)
＝（Θx(k)，Θy(k)，Θz(k)) と表し、これは電源投入
時の頭部の向きに対してｋ番目のルーチン実行時の頭部
角変位量である。なお、初期値Θ(O) ＝（Θx(O)，Θy
(O)，Θz(O)) ＝（０，０，０）である。

【００２３】また、法線ベクトルｎ(k) の電源投入時の
頭部の向きに対するｋ番目のルーチン実行時の相対角変
位をΘ'(ｋ）＝（Θ'x(k) ，Θ'y(k) ，Θ'z(k))と表
す。なお、初期値はΘ'(０）＝（Θ'x(O) ，Θ'y(O) ，
Θ'z(O))＝（０，０，０）である。

【００２４】ステップ２において、相対角変位Θx(k)を
次式で算出する。 Θx(k)＝Θx(k-1)＋θx(k) …(1)

【００２５】ステップ３において、頭部の相対角変位Θ
x(k)と法線ベクトルｎ(k) の相対角変位Θ'x(k) との差
分値ΔΘx(k)を次式で算出する。 ΔΘx(k)＝Θx(k)−Θ'x(k-1) …(2)

【００２６】ステップ４において、所定の定数Δｘをス
テップ３で求めた差分値ΔΘx(k)と比較し、差分値ΔΘ
x(k)が大きければステップ５へ、差分値ΔΘx(k)が小さ
ければステップ８へ分岐する。

【００２７】差分値ΔΘx(k)が大きい場合には、現在表
示されている画像データの法線ベクトルｎ(k) に対して
法線ベクトルｎ(k) を変化させるために、頭部の移動量
が所定の定数Δｘより大きくなったために、三次元画像
の切出位置を変更する。なお、数値Δｘは予めシステム
が設定した数値でもよいし、所定の条件でシステム内で
可変としてもよい。

【００２８】差分値ΔΘx(k)が小さい場合には、現在表
示されている画像データの法線ベクトルｎ(k) に対し
て、頭部の移動量が所定の数値Δｘを越えていないの
で、三次元画像の切出位置を変更する必要はない。

【００２９】このようにして、頭部が所定の角度以上変
化しない場合は、三次元画像は変化させないようにする
ので、細かな振動に応じて画像が変化することはなくな
り、観察者に疲れ難い画像を提示することが可能とな
る。

【００３０】ステップ５において、更に角速度Ψx(k)を
所定の定数ΔΨx と比較し、角速度Ψx(k)が大きければ
ステップ６へ、角速度Ψx(k)が小さければステップ７へ
分岐する。

【００３１】角速度Ψx(k)が所定の差分値ΔΨx より大
きい場合には、現在表示されている三次元画像の表示範
囲の変化速度を観察者頭部の変化速度よりも小さくし
て、法線ベクトルｎ(k) を頭部の変化速度より小さくす
る。また、角速度Ψx(k)が所定の定数ΔΨx より小さい
場合には、現在表示されている画像データの表示範囲の
変化速度を観察者頭部の変化速度と同じにして、法線ベ
クトルｎ(k) を頭部の変化速度と同じにする。このよう
にして、観察者頭部が所定角速度以上で動かなければ、
三次元画像の変化を小さくすることができるので、画像
範囲の急な変化により生ずる疲れがない画像を提供する
ことが可能となる。

【００３２】ステップ６、７、８においては画像表示範
囲の変化量を決定する。即ち、法線ベクトルｎ(k-1) の
Ｘ軸回りの角変位量Θ'x(k) を決定する。ステップ６に
おいては、差分値ΔΘx(k)が所定の定数Δｘよりも大き
く、かつ角速度Ψx(k)が所定の定数ΔΨx より大きい場
合には、Ｘ軸回りの角変位量Θ'x(k) を次式で算出す
る。 Θ'x(k) ＝Θ'x(k-1) ＋εx ・ΔΘx (k) （ただし、εx ＜１）…(3)

【００３３】ステップ７においては、差分値ΔΘx(k)が
所定の定数Δｘよりも大きく、かつ角速度Ψx(k)が所定
の定数ΔΨx より小さい場合には、Ｘ軸回りの角変位量
Θ'x(k) を次式で算出する。 Θ'x(k) ＝Θ'x(k-1) ＋ΔΘx(k) …(4)

【００３４】ステップ８においては、差分値ΔΘx(k)が
所定の定数Δｘよりも小さい場合には、Ｘ軸回りの角変
位量Θ'x(k) を次式で算出する。 Θ'x(k) ＝Θ'x(k-1) …(5)

【００３５】以上のルーチンによって、他のＹ軸、Ｚ軸
についても同様に各軸回りの角変位量Θ'y(k) 、Θ'z
(k) を算出する。Ｙ軸回りについては図６に、Ｚ軸回り
については図７にそれらのルーチンを示し、説明は省略
する。

【００３６】ただし、図５、図６、図７の所定の定数Δ
ｘ、Δy 、Δz は全て同じ数値でもよく、また異なって
いてもよい。同様に、所定の定数ΔΨx 、ΔΨy 、ΔΨ
z 及び所定の定数εx 、εy 、εz についても全て同じ
数値でもよく、また異なっていてもよい。

【００３７】これらのルーチンによって求めた角変位量
Θ'x(k) 、Θ'y(k) 、Θ'z(k) から、法線ベクトルｎ
(k) を次式で算出する。ｎ(k) ＝Ｒx ・Ｒy ・Ｒz ・ｎ(k-1) …(6) ただし、ｎ(k) ＝（ｎx(k)，ｎy(k)，ｎz(k)) ｎ(k-1) ＝（ｎx(k-1)，ｎy(k-1)，ｎz(k-1))

【００３８】

【式１】

【００３９】以上のようにして、頭部位置検出部１３に
おいて法線ベクトルｎ(k) が求められ、この結果がデー
タ制御手段１２に送られ、表示画像制御手段１２ａ、音
声出力制御手段１２ｂそれぞれにおいて、ＲＯＭ１１に
格納された三次元画像データ１１ａ及び三次元音声デー
タ１１ｂから法線ベクトルｎ(k) により表示画像範囲と
音声出力レベルが決定され、この結果がＬＣＤ駆動部１
６と音声信号出力部１７へそれぞれ送られて、ＨＭＤ表
示部のＬＣＤ５において観察者に画像が表示され、イヤ
ホン４から音声が出力される。

【００４０】

【発明の効果】以上説明したように本発明に係る表示装
置は、観察者の頭部位置を検出しこの出力値によって画
像の表示領域と音声空間の切出領域を制御することによ
り、観察者にリアルで疲労を与えない良好な画像と音声
が得られる。

【図面の簡単な説明】

【図１】ＨＭＤの斜視図である。

【図２】観察光学系の平面図である。

【図３】側面図である。

【図４】制御ブロック回路の構成図である。

【図５】Ｘ軸制御ルーチンのフローチャート図である。

【図６】Ｙ軸制御ルーチンのフローチャート図である。

【図７】Ｚ軸制御ルーチンのフローチャート図である。

【符号の説明】

１ＨＭＤ表示部２頭部位置検出手段３入出力ボード４イヤホン５ＬＣＤ６観察光学系９振動ジャイロ１０制御装置１１ＲＯＭ１２データ制御手段１３頭部変位検出部

Claims

【特許請求の範囲】

【請求項１】画像表示手段及び／又は音声出力手段
と、前記画像表示手段を観察するための観察光学系と、
観察者の頭部位置を検出する頭部位置検出手段と、前記
画像表示手段の表示画像及び／又は前記音声出力手段の
出力音声の制御を行う制御手段とを有する表示装置にお
いて、前記頭部位置検出手段からの出力値又は該出力値
の相関値に応じて表示画像領域及び／又は音声空間の切
出領域を制御することを特徴とする表示装置。
【請求項２】前記頭部位置検出手段からの出力値は観
察者頭部の変位量及び角速度の相関値とした請求項１に
記載の表示装置。
【請求項３】前記頭部位置検出手段は少なくとも１個
の振動ジャイロを有する請求項１に記載の表示装置。
【請求項４】前記頭部位置検出手段は少なくとも１対
の磁気センサ及び磁石を有する請求項１に記載の表示装
置。
【請求項５】前記画像表示手段は液晶表示装置とした
請求項１に記載の表示装置。
【請求項６】前記観察光学系は自由曲面ミラーを有す
る請求項１に記載の表示装置。
【請求項７】前記音声出力手段はイヤホンとした請求
項１に記載の表示装置。