JP3679523B2

JP3679523B2 - 表示装置

Info

Publication number: JP3679523B2
Application number: JP25756296A
Authority: JP
Inventors: 滋荻野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-09-06
Filing date: 1996-09-06
Publication date: 2005-08-03
Anticipated expiration: 2016-09-06
Also published as: JPH1084518A

Description

【０００１】
【発明の属する技術分野】
本発明は、特に頭部装着型で画像及び／又は音声を観察者に出力する表示装置に関するものである。
【０００２】
【従来の技術】
従来、テレビゲーム機やバーチャルリアリティ又はシミュレータ等で使用される三次元画像や音声を出力する表示装置として、ＨＭＤ（頭部装着型映像表示装置；Head mounted display）が知られている。このＨＭＤは観察者の頭部の動きに対応させるために、装置上や頭部等の観察者の身体の一部に振動ジャイロや磁気センサ等の身体位置検出手段を装着し、これらの検出手段の出力信号に応答してＨＭＤの表示画像と出力音声を変化させることにより、観察者に臨場感を与えることを実現している。
【０００３】
【発明が解決しようとする課題】
しかしながら上述の従来例では、頭部や身体の動きに観察者が本来意図しないゆらぎや振動がある場合も、検出手段の出力信号がこれらに応答してしまい、この結果ＨＭＤの表示画像と出力音声が不必要に変化して、観察者に船酔い感や画像の細かい振動が観察されて、相当な疲労を与える原因となっている。
【０００４】
本発明の目的は、上述の問題点を解消し、観察者に疲労を与えることの少ない良好な画像と音声を出力する表示装置を提供することにある。
【０００５】
【課題を解決するための手段】
上記目的を達成するための本発明に係る表示装置は、画像表示手段及び／又は音声出力手段と、前記画像表示手段を観察するための観察光学系と、観察者の頭部位置を検出する頭部位置検出手段と、前記画像表示手段の表示画像及び／又は前記音声出力手段の出力音声の制御を行う制御手段とを有する表示装置において、前記制御手段は、前記頭部位置検出手段から出力される観察者頭部の変位量及び角速度又はそれらの相関値に基づいて、前記変位量又はその相関値が予め定めた第１の値よりも小さい場合には、表示画像領域及び／又は音声空間の切出領域を変更せず、前記変位量又はその相関値が前記第１の値よりも大きくかつ前記角速度又はその相関値が予め定めた第２の値よりも大きい場合には、表示画像領域及び／又は音声空間の切出領域の変化速度を観察者頭部の変化速度よりも小さくし、前記変位量又はその相関値が前記第１の値よりも大きくかつ前記角速度又はその相関値が前記第２の値よりも小さい場合には、表示画像領域及び／又は音声空間の切出領域の変化速度を観察者頭部の変化速度と等しくすることを特徴とする。
【０００６】
【発明の実施の形態】
本発明を図示の実施例に基づいて詳細に説明する。
図１は実施例の斜視図を示し、観察者が容易に着脱可能な小型軽量の眼鏡型ＨＭＤである。このＨＭＤを観察者の頭部に装着した時の観察者の眼前には、画像を表示するＨＭＤ表示部１が設けられ、その上部には頭部位置検出手段２、その側面には入出力ボード３がそれぞれ取り付けられており、入出力ボード３の出力はＨＭＤ表示部１と、音声出力手段であるイヤホン４に接続されている。
【０００７】
図２は観察者が装着した状態のＨＭＤ表示部１の平面図、図３は側面図を示し、ＨＭＤ表示部１はＬＣＤ（液晶表示装置；Liquid Crystal Display）５などの画像表示部と、ＬＣＤ５に表示された画像の虚像を観察者の両眼から所定の観察距離に所定倍率で表示するための観察光学系６とから構成されており、観察光学系６には特開平７−１０４２０９号公報に開示されているような２枚の自由曲面ミラー７、８が使用されている。
【０００８】
また、ＨＭＤ表示部１は観察者の両眼に対し、それぞれ１対のＬＣＤ５と観察光学系６を有し、視差を有する画像と視差の無い画像を表示することによって、観察者は二次元画像や三次元画像を観察できるようになっている。なお、画像表示部と観察光学系６の数はこれに限定されることはない。
【０００９】
更に、観察者に三次元の音場を出力するために、左右の耳のそれぞれにイヤホン４が設けられており、観察者が頭部を動かすと、その動きに応じて出力される音量が制御されて、臨場感のある音場が形成されるようになっている。また、頭部位置検出手段２には座標Ｘ、Ｙ、Ｚ軸回りの角速度を検出するためのセンサとして、３個の振動ジャイロ９が各軸用に設けられている。
【００１０】
図４はブロック回路の構成図を示し、全体の制御を行う制御装置１０が設けられ、制御装置１０は三次元画像データ１１ａ及び三次元音声データ１１ｂを記憶するＲＯＭ１１、表示画像制御部１２ａ及び音声出力制御部１２ｂを有するデータ制御手段１２、頭部変位検出部１３から構成されている。
【００１１】
また、入出力ボード３には、振動ジャイロ９からの出力が接続された角速度検出部１４及び角変位算出部１５、ＬＣＤ駆動部１６、音声信号出力部１７の出力が接続され、ＬＣＤ駆動部１６の出力はＬＣＤ５に接続され、音声信号出力部１７の出力はイヤホン４に接続されている。また、角速度検出部１４及び角変位算出部１５の出力は頭部変位検出部１３に接続され、表示画像制御手段１２ａ、音声出力制御手段１２ｂの出力はそれぞれＬＣＤ駆動部１６、音声信号出力部１７に接続されている。
【００１２】
観察者にＨＭＤが装着されると、ＨＭＤ表示部１は観察者の両眼の前面に配置され、制御装置１０から入出力ボード３に送られた画像信号は、ＬＣＤ駆動部１６によってＬＣＤ５上に画像として表示され、音声信号は制御装置１０から入出力ボード３の音声信号出力部１７に入力され、所定量に増幅されてイヤホン４から観察者に音声が出力される。
【００１３】
３軸検出用振動ジャイロ９からの出力信号は角速度検出部１４で検出されて、ＸＹＺ軸の各角速度信号Ψx 、Ψy 、Ψz が制御装置１０へ出力され、更に角速度信号Ψx 、Ψy 、Ψz は角変位算出部１５に送られ、角変位信号θx 、θy 、θz に変換されて制御装置１０へ出力される。
【００１４】
なお、Ｘ、Ｙ、Ｚ軸回りの３軸の角速度検出ではなく、Ｘ、Ｙ軸回り、Ｘ、Ｚ軸回り、Ｙ、Ｚ軸回りの２軸の角速度を検出してもよく、更にＸ、Ｙ、Ｚの１軸だけの角速度を検出してもよい。また、Ｘ、Ｙ、Ｚの各方位ベクトルを検出する地磁気センサのような方位センサを設けて、より高精度の頭部位置検出を行ってもよい。更に、方位の測定のために振動ジャイロ９の代りに磁気センサと磁石の組み合わせを使用してもよく、この場合には観察者に磁気センサを取り付けて磁石を観察者の近くに固定するか、又はこの逆の構成で行うこともできる。
【００１５】
本実施例においては、赤外線等を使用してワイヤレスで入出力ボード３と制御装置１０の双方向の通信を行うが、通信のプロトコルについては特に限定せず、またケーブル等で入出力ボード３と制御装置１０を接続してもよい。また、頭部位置検出手段２は、観察者の頭部正面に配置されているが、頭部の位置をシステムの要求する精度で検出できる場所であれば何処に配置してもよい。
【００１６】
頭部の動きを振動ジャイロ９により検出して、Ｘ、Ｙ、Ｚ軸回りの角変位θx 、θy 、θz を算出し、制御装置１０は観察者に与える三次元画像の切出領域を、角変位θx 、θy 、θz と角速度Ψx 、Ψy 、Ψz に応じて決定する。ここで、三次元画像のデータとは、互いに直交するＸ、Ｙ、Ｚ軸で定義される三次元空間中の、各座標における輝度データと色データとから成る画像データを別途定義される画素毎に有するものを指し、各座標における画像データの画素毎に和を求めた平均値を各画素毎の画像データとする。なお、画素とは所定の体積を有するＸ、Ｙ、Ｚ軸で定義される三次元空間中の１単位を指す。
【００１７】
本実施例においては、頭部位置検出手段２の近傍をＸ、Ｙ、Ｚ軸空間の原点として定義し、観察光学系６による所定の観察面を法線ベクトルｎ＝（ｎx ，ｎy ，ｎz ）と原点からの距離ｄで定義される表示平面とする。これによって、観察者に表示する画像としては、原点を通り法線ベクトルｎに平行な直線を中心に上下左右の所定の画角で定義される四角錐内の画像データが表示されることになり、表示画像領域を法線ベクトルｎで代表させることができ、また音声についても法線ベクトルｎによって左右の耳の音声データを制御することができる。
【００１８】
従って、バーチャルリアリティ等の仮想空間を観察者に表示する際に、観察者の頭部が動くとその動きに合わせて三次元画像空間及び音声空間の表示領域を変更することによって、リアルな三次元表示が成されるように制御することができる。
【００１９】
図５は法線ベクトルｎをＸ軸回りに頭部の動きに応じて回転させる回転量Θx を算出するための制御ルーチンのフローチャート図である。
【００２０】
先ず、ステップ１において、入出力ボード３から、角速度検出部１４で検出した角速度ψx(k)と、角速度ψx(k)を角変位算出部１５において積分して求めた角変位θx(k)とを、制御装置１０の頭部変位検出部１３に読み込む。
【００２１】
法線ベクトルをｎ(k) ＝（ｎx(k)，ｎy(k)，ｎz(k)) と表し、ここで添字のｋは電源投入時から図５に示すルーチンを実行した回数を示す。一定時間のｔ秒毎にルーチンを実行するとすると、ｋ番目の実行時刻はｋ・ｔ秒になる。従って、電源投入時に最初にルーチンを実行したときはｋ＝１であるから、法線ベクトルｎ(k) の初期値をｎ(O) ＝（ｎx(O)，ｎy(O)，ｎz(O)) と表す。なお、この値は所定の方式で別途設定する。
【００２２】
また、頭部の相対角変位Θ(k) を、Θ(k) ＝（Θx(k)，Θy(k)，Θz(k)) と表し、これは電源投入時の頭部の向きに対してｋ番目のルーチン実行時の頭部角変位量である。なお、初期値Θ(O) ＝（Θx(O)，Θy(O)，Θz(O)) ＝（０，０，０）である。
【００２３】
また、法線ベクトルｎ(k) の電源投入時の頭部の向きに対するｋ番目のルーチン実行時の相対角変位をΘ'(ｋ）＝（Θ'x(k) ，Θ'y(k) ，Θ'z(k))と表す。なお、初期値はΘ'(０）＝（Θ'x(O) ，Θ'y(O) ，Θ'z(O))＝（０，０，０）である。
【００２４】
ステップ２において、相対角変位Θx(k)を次式で算出する。
Θx(k)＝Θx(k-1)＋θx(k) …(1)
【００２５】
ステップ３において、頭部の相対角変位Θx(k)と法線ベクトルｎ(k) の相対角変位Θ'x(k) との差分値ΔΘx(k)を次式で算出する。
ΔΘx(k)＝Θx(k)−Θ'x(k-1) …(2)
【００２６】
ステップ４において、所定の定数Δｘをステップ３で求めた差分値ΔΘx(k)と比較し、差分値ΔΘx(k)が大きければステップ５へ、差分値ΔΘx(k)が小さければステップ８へ分岐する。
【００２７】
差分値ΔΘx(k)が大きい場合には、現在表示されている画像データの法線ベクトルｎ(k) に対して法線ベクトルｎ(k) を変化させるために、頭部の移動量が所定の定数Δｘより大きくなったために、三次元画像の切出位置を変更する。なお、数値Δｘは予めシステムが設定した数値でもよいし、所定の条件でシステム内で可変としてもよい。
【００２８】
差分値ΔΘx(k)が小さい場合には、現在表示されている画像データの法線ベクトルｎ(k) に対して、頭部の移動量が所定の数値Δｘを越えていないので、三次元画像の切出位置を変更する必要はない。
【００２９】
このようにして、頭部が所定の角度以上変化しない場合は、三次元画像は変化させないようにするので、細かな振動に応じて画像が変化することはなくなり、観察者に疲れ難い画像を提示することが可能となる。
【００３０】
ステップ５において、更に角速度Ψx(k)を所定の定数ΔΨx と比較し、角速度Ψx(k)が大きければステップ６へ、角速度Ψx(k)が小さければステップ７へ分岐する。
【００３１】
角速度Ψx(k)が所定の差分値ΔΨx より大きい場合には、現在表示されている三次元画像の表示範囲の変化速度を観察者頭部の変化速度よりも小さくして、法線ベクトルｎ(k) を頭部の変化速度より小さくする。また、角速度Ψx(k)が所定の定数ΔΨx より小さい場合には、現在表示されている画像データの表示範囲の変化速度を観察者頭部の変化速度と同じにして、法線ベクトルｎ(k) を頭部の変化速度と同じにする。このようにして、観察者頭部が所定角速度以上で動かなければ、三次元画像の変化を小さくすることができるので、画像範囲の急な変化により生ずる疲れがない画像を提供することが可能となる。
【００３２】
ステップ６、７、８においては画像表示範囲の変化量を決定する。即ち、法線ベクトルｎ(k-1) のＸ軸回りの角変位量Θ'x(k) を決定する。ステップ６においては、差分値ΔΘx(k)が所定の定数Δｘよりも大きく、かつ角速度Ψx(k)が所定の定数ΔΨx より大きい場合には、Ｘ軸回りの角変位量Θ'x(k) を次式で算出する。
Θ'x(k) ＝Θ'x(k-1) ＋εx ・ΔΘx (k) （ただし、εx ＜１）…(3)
【００３３】
ステップ７においては、差分値ΔΘx(k)が所定の定数Δｘよりも大きく、かつ角速度Ψx(k)が所定の定数ΔΨx より小さい場合には、Ｘ軸回りの角変位量Θ'x(k) を次式で算出する。
Θ'x(k) ＝Θ'x(k-1) ＋ΔΘx(k) …(4)
【００３４】
ステップ８においては、差分値ΔΘx(k)が所定の定数Δｘよりも小さい場合には、Ｘ軸回りの角変位量Θ'x(k) を次式で算出する。
Θ'x(k) ＝Θ'x(k-1) …(5)
【００３５】
以上のルーチンによって、他のＹ軸、Ｚ軸についても同様に各軸回りの角変位量Θ'y(k) 、Θ'z(k) を算出する。Ｙ軸回りについては図６に、Ｚ軸回りについては図７にそれらのルーチンを示し、説明は省略する。
【００３６】
ただし、図５、図６、図７の所定の定数Δｘ、Δy 、Δz は全て同じ数値でもよく、また異なっていてもよい。同様に、所定の定数ΔΨx 、ΔΨy 、ΔΨz 及び所定の定数εx 、εy 、εz についても全て同じ数値でもよく、また異なっていてもよい。
【００３７】
これらのルーチンによって求めた角変位量Θ'x(k) 、Θ'y(k) 、Θ'z(k) から、法線ベクトルｎ(k) を次式で算出する。
ｎ(k) ＝Ｒx ・Ｒy ・Ｒz ・ｎ(k-1) …(6)
ただし、ｎ(k) ＝（ｎx(k)，ｎy(k)，ｎz(k))
ｎ(k-1) ＝（ｎx(k-1)，ｎy(k-1)，ｎz(k-1))
【００３８】
【式１】

【００３９】
以上のようにして、頭部位置検出部１３において法線ベクトルｎ(k) が求められ、この結果がデータ制御手段１２に送られ、表示画像制御手段１２ａ、音声出力制御手段１２ｂそれぞれにおいて、ＲＯＭ１１に格納された三次元画像データ１１ａ及び三次元音声データ１１ｂから法線ベクトルｎ(k) により表示画像範囲と音声出力レベルが決定され、この結果がＬＣＤ駆動部１６と音声信号出力部１７へそれぞれ送られて、ＨＭＤ表示部のＬＣＤ５において観察者に画像が表示され、イヤホン４から音声が出力される。
【００４０】
【発明の効果】
以上説明したように本発明に係る表示装置は、観察者の頭部位置を検出しこの出力値によって画像の表示領域と音声空間の切出領域を制御することにより、観察者にリアルで疲労を与えない良好な画像と音声が得られる。
【図面の簡単な説明】
【図１】ＨＭＤの斜視図である。
【図２】観察光学系の平面図である。
【図３】側面図である。
【図４】制御ブロック回路の構成図である。
【図５】Ｘ軸制御ルーチンのフローチャート図である。
【図６】Ｙ軸制御ルーチンのフローチャート図である。
【図７】Ｚ軸制御ルーチンのフローチャート図である。
【符号の説明】
１ＨＭＤ表示部
２頭部位置検出手段
３入出力ボード
４イヤホン
５ＬＣＤ
６観察光学系
９振動ジャイロ
１０制御装置
１１ＲＯＭ
１２データ制御手段
１３頭部変位検出部

Claims

画像表示手段及び／又は音声出力手段と、前記画像表示手段を観察するための観察光学系と、観察者の頭部位置を検出する頭部位置検出手段と、前記画像表示手段の表示画像及び／又は前記音声出力手段の出力音声の制御を行う制御手段とを有する表示装置において、前記制御手段は、前記頭部位置検出手段から出力される観察者頭部の変位量及び角速度又はそれらの相関値に基づいて、前記変位量又はその相関値が予め定めた第１の値よりも小さい場合には、表示画像領域及び／又は音声空間の切出領域を変更せず、前記変位量又はその相関値が前記第１の値よりも大きくかつ前記角速度又はその相関値が予め定めた第２の値よりも大きい場合には、表示画像領域及び／又は音声空間の切出領域の変化速度を観察者頭部の変化速度よりも小さくし、前記変位量又はその相関値が前記第１の値よりも大きくかつ前記角速度又はその相関値が前記第２の値よりも小さい場合には、表示画像領域及び／又は音声空間の切出領域の変化速度を観察者頭部の変化速度と等しくすることを特徴とする表示装置。