JP4734640B2 - 仮想現実画像表示装置 - Google Patents

Description

本発明は、ディスプレイに表示される画面の内容を操作者の動作や運動に基づいて変化させるシステム（ＶＲ：バーチャル・リアリティ・システム／ＭＲ：ミックスド・リアリティ・システム、以下「ＶＲ／ＭＲシステム」という。）について、この画面変化を操作者の動作等に完全に合致させるようにした、仮想現実画像表示装置に関する。

従来のＶＲ／ＭＲシステムの電気的回路構成の一例を図１２に示す。このＶＲ／ＭＲシステムは、図１２に示すように、ディスプレイ４と、該ディスプレイ４の位置姿勢を感知する磁気センサ１と、該磁気センサ１による検出データを出力する運動検出装置２と、該運動検出装置２の出力データに基づいて画像を生成し出力する画像生成装置３とからなり、該画像生成装置３の画像出力をディスプレイ４に表示する。

ディスプレイ４を操作者の頭部に装着し、ここに備えられた磁気センサ１の出力を運動検出装置２を介して出力し、この検出出力で検知した頭部の動きに応じて前記画像生成装置３が仮想現実画像を生成してディスプレイ４に出力することで、広い空間を見回すようなシステムが作成されている（非特許文献１参照）。
木島竜吾、山田英二郎、小鹿丈夫、「Reflex HMD -前提反射機能を備えたHMDの開発-」日本バーチャルリアリティ学会論文誌，vol. 6，pp. 107-114，日本バーチャルリアリティ学会，2001

しかし、上記従来のシステムにおいては、例えば正面を向いている操作者Ｕが横を向く動作をした場合、操作者Ｕが見る画像は、その運動計測から表示までの遅れ時間のため、時間操作者Ｕの前庭反射の運動感覚により期待される画像よりも遅れ、かつ、徐々に変化して表示される。従って、この期待される画像と、ディスプレイ４に表示された画像がマッチしていないため、違和感、酔いなどが生じる。

また、ディスプレイ４を透過型とすることで、現実の空間の上に画像を重複させることができるが、同様にして、画像上の物体と実空間内の物体の位置関係が常に保たれていない場合があり、違和感、酔いなどが生じる。

上記遅れ時間は、出願人らの経験では、約８０〜１２０ｍｓｅｃ程度であることを観測している。これは、単なる磁気センサ１による運動計測の遅れでも画像生成装置３の処理時間の遅れでもこれらの合算のみの遅れではなく、表示や計測が時間的に量子化されていること、及びそれらの非同期性も、システム全体としての遅れにかかわるものと考えられ、画像の切り替え時間１７ｍｓｅｃ（人が気にならない時間）より非常に大きく、無視できない。

そこで、本発明は、上記課題を解決するためになされたものであり、その目的は、ディスプレイの表示画像と、前記操作者自身の運動感覚により期待される画像とを完全に合致させるようにして、操作者の運動感覚と操作者が得る視覚、あるいは、表示内容と現実の空間中に存在する物体との位置関係の間の食い違いを大幅に減少させることができる仮想現実画像表示装置を提供することにある。

以上のような課題を解決するために請求項１に係る発明が採った手段は、操作者の頭部の動きを計測する第１運動計測手段と、該第１運動計測手段による計測の第１タイミングの検出出力に応じた画像を生成する画像生成手段と、該生成された画像の一部が切り出されて表示されるディスプレイとを備え、該ディスプレイの表示画像を前記操作者の運動感覚により期待される画像に合致させる仮想現実画像表示装置であって、前記操作者の頭部の動きの変化を計測して出力する第２運動計測手段と、該第２運動計測手段による所定時間分の計測結果値に基づいて前記画像切出しを行い前記ディスプレイに表示させる画像補正手段と、該画像補正手段に前記生成された画像と前記第１タイミングとを関連づけて伝達するとともに前記第２運動計測手段による計測の第２タイミングを前記画像補正手段に伝送する計測時管理手段とを備え、前記画像切出しの位置を前記第２運動計測手段による前記第１タイミングと前記第２タイミングとの間の差分計測結果値に応じて変更させることを特徴とする仮想現実画像表示装置、とするものである。

請求項２に係る仮想現実表示装置が「生成された画像と第１タイミング時とを関連づけ」るのは、画像生成手段の画像出力がどの時点の運動計測の結果に基づいたものであるかを画像補正手段が把握できるようにするためである。この関連づけは、例えば、タイムスタンプに用いられる時刻、この時刻に関連付けられたインデックス、又はクロックをカウントアップしたクロックカウンタ値を用いて、これを前記生成された画像出力に付加、あるいは前記生成された画像と同時に出力することで行うことを特徴とする。

また、「第２運動計測手段による計測の第２タイミングを画像補正手段に伝送する」のは、画像補正手段の画像切出しがどの時点の運動計測の結果に基づいたものであるかを把握するとともに、装置全体の運動計測、画像生成、画像補正及び画像表示の各処理の同期性がとられた状態で、かつ、出力直前で補正できるようにするためである。

そして「前記第１タイミングと前記第２タイミングとの間」の時間は、生成された画像に含まれている遅れであり、この装置の入力である運動計測から出力である画像切出しまでの入出力間の遅れ時間である。これは、前述のようにゼロではなく、運動と表示の間に不一致を引き起こすため、画像補正手段がその時間分の頭部の運動である差分計測結果値に応じて画像補正するものである。

この補正にあたっては、前記生成された画像をディスプレイに表示する直前で画像切出しの位置を変更させることで行う。これは、補正を行う時点が出力から遡るにつれて全体量の遅れ量を計測ないし見積もることが困難となるためである。

これらにより、操作者自身の前庭反射に相当する、周波数の高い補償経路を仮想現実画像表示装置に付加しようとするもので、これにより、頭部運動と映像提示を時間的に高度に整合させて、運動に基づいて変化するが遅れを含んだ画像を、表示の直前に正確に補正し、正しく運動を反映した表示を行うようにする。

画像補正手段が第２運動計測手段による運動計測結果に基づいて画像補正の処理をするようにしたのは、この運動計測が時間遅れなく直接的な経路で行われるようにするためであり、計測や補正そのものが高速であっても、遅れを含んだ経路を用いて運動計測が反映されるのでは、時間遅れは改善され得ないためである。

なお、第１運動計測手段は安定であるものが好適であり、第２運動計測手段は反応が高速で、計測間隔が短いものが好適である。これらの特性を備える同一体でも構成してもよいし、別体で構成してもよい。

また、本発明においては、第１運動計測手段と第２運動計測手段とを同一体とすることが可能である。

請求項３に係る仮想現実表示装置は、前記第１タイミングの時点を示す情報が、タイムスタンプに用いられる時刻又はクロックをカウントアップしたクロックカウンタ値であることを特徴とする。

本請求項１に記載された発明によれば、仮想現実画像表示装置が、ディスプレイに切り出される画像に含まれる遅れを確実に把握することができ、この遅れを評価し補正に用いることで、正確に運動を反映した画像を提供することができる。このことから、操作者の運動感覚と操作者が得る視覚の食い違い大幅に減少させることができるという効果を奏する。

また、本発明によれば、仮想現実画像表示装置がシンプルになり、小型化することができ、コストを低減することができるという効果を奏する。

本発明によれば、ディスプレイの表示内容と、外界の様子を示す現実の空間中に存在する物体との位置関係の間の食い違いを大幅に減少させることができるという効果を奏する。

以下、本発明を実施するための最良の形態を図面を用いて説明するが、本発明の趣旨を越えない限り何ら以下の例に限定されるものではない。図１は、本発明の一実施形態の仮想現実画像表示装置の概略的なシステム構成を示す図である。以下、本実施例について順に説明する。

（実施例１）
仮想現実画像表示装置１００は、ＶＲ／ＭＲシステムに用いられるものである。これは、図１に示すように、運動計測装置１０の出力データに基づいて画像を生成し出力する計算機２０と、この計算機２０の出力を表示するヘッドマウントディスプレイ（以下、「ＨＭＤ」という。）３０とを備えている。

そして、運動計測装置１０と計算機２０、及び計算機２０とＨＭＤ３０とを電気的に接続するケーブルを介して長いシステムループのメインループを形成するとともに、このメインループで生成された画像を補正する短い補正ループを付加した構成としてある。

短い補正ループは、ＨＭＤ３０側において計算機２０が生成した画像の一部を切り出す位置を変更してディスプレイに表示する補正処理を行うループである。この処理時間は、後述の手段により約１７ｍｓｅｃ程度で行うようにしてあり、メインループの時間である８０〜１２０ｍｓｅｃより比較的短い。

運動検出装置１０は、ＨＭＤ３０に設けられ、ＨＭＤ３０の位置・姿勢を計測するものであり、計算機２０の演算に必要な運動計測結果と、短い補正ループの画像補正の処理に必要な運動計測結果とを生成するようにしてある。なお、本実施例においては両運動計測結果を出力するセンサを別体に構成し、前者に磁気センサを採用し、後者にジャイロセンサを採用した。

計算機２０は、画像生成演算を行い仮想現実画像を生成する画像生成機器であり、運動計測装置１０の磁気センサによる検出出力によって検出された頭部の動きに基づく画像を生成して出力する。これは、例えば、グラフィックワークステーション、ゲーム機、ホストコンピュータ等が挙げられる。

ＨＭＤ３０は、操作者Ｕの頭部に装着して使用され、ＨＭＤ３０の眼鏡のレンズに当たる部分に設けた透過型の液晶パネル３１を備えている。この液晶パネルは、公知の透過手段３１を備えており、光を透過からシャットアウト（遮断）まで段階的に通すことができるようになっている。

また、ＨＭＤ３０の裏側には、裏パネルが設けられ、この裏パネルに接眼レンズと覗窓とが設けてある。これらにより、操作者Ｕが接眼レンズを通して直接眼で画像を楽しむと共に、覗窓と液晶パネルとを通して外界の様子を見ることができるようにしてある。

ＨＭＤ３０に表示される画像は、例えば、ビデオ映像、コンピュータグラフィックス、平面映像又は立体映像からなる１００％仮想現実映像からなるバーチャル・リアリティ、外界を示す現実の空間の上に仮想現実映像からなる仮想空間映像を重畳させたミックスド・リアリティ等が挙げられる。

図２は、仮想現実画像表示装置１００の電気回路構成の概略を示す説明図である。仮想現実画像表示装置１００は、図２に示すように、磁気センサ１１と、運動計測ユニット１２と、ジャイロセンサ１３と、画像生成手段２１と、計測時管理手段４０と、画像補正手段５０、ディスプレイ３３とを備えている。

磁気センサ１１は、公知のものからなり、運動計測ユニット１２の駆動制御により操作者Ｕの頭部の位置・姿勢を感知した運動計測結果を運動計測ユニット１２に出力する。

運動計測ユニット１２は、時定数の異なる２種類のローパスフィルタやバンドパスフィルタ、ノイズフィルタなどの信号処理手段が組み込まれ、それぞれの時定数に応じて計算機２０の演算に必要な運動計測結果を生成して画像生成手段２１に出力する。

これとともに、運動計測ユニット１２は、磁気センサ１１による計測を制御しており、その計測時である運動計測の第１タイミングＴ１を前記出力と同期して計測時管理手段４０に出力する。

計測時管理手段４０は、同期クロックを生成するタイミングジェネレータと、少なくとも１つのＣＰＵを搭載した小型コンピュータとから構成してある。この小型コンピュータは、アプリケーションプログラムを実行して、前記同期クロックの周期（６０Ｈｚ）に同期して画像生成手段２１及び画像補正手段５０の各ＣＰＵとの通信を行う。

また、計測時管理手段４０は、クロックをカウントしており、このクロックカウントされた値が前記通信において伝送されるようにしてある。そして、計測時管理手段４０が運動計測ユニット１２から運動計測の第１タイミングＴ１を受信すると、受信した時のクロックカウント値Ｔ１を計測時情報として画像生成手段２１に伝送する。

画像生成手段２１は、計算機２０と少なくとも１つのＣＰＵとで構成され、画像を生成する処理を実行するとともに、生成された画像に、計測時管理手段４０から受信した計測時情報を付加して画像補正手段５０に伝達する処理を行う。なお、画像補正手段５０が画像を受信し処理するときには、計測時管理手段４０からのカウントアップされたクロックカウント値（第２タイミングＴ２）をも受信している。

図３は、図２の画像補正手段５０とディスプレイ３３との間の電気的信号処理の関係を示すブロック図である。図４は、操作者Ｕの頭部の動きと時間との関係を示すグラフである。

ディスプレイ３３は、図３に示すように、ＬＣＤドライバ回路３４と、ＬＣＤパネル３５とを備えている。ＬＣＤドライバ回路３４は、画像生成手段２１により生成された画像（ビデオ信号）からＲＧＢの画像信号を生成するとともに、走査に用いるスタートパルスとクロックを生成する。

このＬＣＤドライバ回路３４は、ＲＧＢの画像信号をＬＣＤパネル３５に出力し、スタートパルスとクロックの出力をＬＣＤパネル３５には出力しないで画像補正手段５０に出力する。画像補正手段５０は、後述する画像切り出しの位置を変化させる処理をして補正したスタートパルスとクロックをＬＣＤパネル３５に出力する。そして、画像補正手段５０が、ＬＣＤパネル３５にＲＧＢの画像信号を後述する補正処理で補正して表示する。

このように、画像補正手段５０は、ＬＣＤパネル３５への画像出力の直前で補正をする。図４に示すように、ジャイロセンサ１３による計測結果を用いて、画像生成の契機となった磁気センサ１１による計測時（第１タイミングＴ１）と第２タイミングＴ２との間の時間Δｔ分のエラーθ（ｔ）を評価し、このエラーに基づいて、後述する処理を行いピッチとヨーにオフセットを付加して、ＬＣＤパネル３５への切り出し画像を表示させる。

換言すれば、図４に示す左の曲線は使用状態における操作者Ｕの頭部の運動を示し、右の曲線はディスプレイ３３の表示結果が含んでいる操作者Ｕの運動である。例えば頭部の回転を考えると、最初に静止している状態では両者に相違（エラー）はないが、頭部が回転し始めるとエラーは大きくなり、原則として静止してからもしばらくはエラーが残る。遅れ時間が一定だとしても運動に応じたエラー量は時々刻々と変化している。

仮想現実画像表示装置１００は、このエラーθ（ｔ）をゼロとするように次に説明する補正処理をして、ディスプレイ３３の表示画像を操作者Ｕの運動感覚により期待される画像に合致させる。

即ち、まず、既存のＨＭＤ３０にジャイロセンサ１３と、計測時管理手段４０と画像補正手段５０とを付加した構成で、第１タイミング時Ｔ１を把握して遅れ時間Δｔを把握するとともに、ジャイロセンサ１３による計測結果を遅れ時間Δｔ分積算してその間の回転差分（差分計測結果値θ（ｔ））を求める。

これに応じて同期信号すなわちスタートパルスを遅らせてＬＣＤパネル３５に与えることで、画像信号中のその時点から走査が始まり、画像切り出しの切り出し位置が変更される。これで、ディスプレイ３３の表示画像を操作者Ｕの運動感覚により期待される画像に合致させる。

図５は、図３のＬＣＤパネルの液晶ディスプレイ素子の構成の概略を示す図である。ＬＣＤパネル３５には、図５に示すように、垂直水平方向に各々、水平シフトレジスタ３５ａと、垂直シフトレジスタ３５ｂとが備えられている。各シフトレジスタ３５ａ、３５ｂは、スタートパルス入力後クロックをカウントし、画像ごとに備えられたマトリックススイッチの行列を各々選択することで、入力された画像信号がその場所に表示される。

なお、水平走査信号には水平クロック（ドットクロック）が、水平帰還信号には水平スタートパルスが、垂直信号には垂直クロック、垂直帰還信号には垂直スタートパルスが各々相当する。

図６は、図２及び図３の画像補正手段５０の電気的構成の詳細を示すブロック図である。画像補正手段５０は、図６に示すように、Ａ／Ｄコンバータ５１内蔵のマイクロプロセッサ５２と、カウンタ５３と、ＰＬＬ回路５４とで構成してある。

画像補正手段５０は、マイクロプロセッサ５２がアプリケーションプログラムを実行することでジャイロセンサ１３による所定時間Δｔ分の計測結果値θ（ｔ）に基づいて画像生成手段２１で生成された画像を後述の方法で画像切り出し位置を可変して切り出しディスプレイ３３に表示（描画）させる。

ジャイロセンサ１３は、頭部の動きを計測して短い補正ループの画像補正の処理に必要な運動計測結果を生成するものである。ジャイロセンサ１３は、小型軽量なものが好適であり、特に圧電振動タイプのものが好適である。ジャイロセンサ１３として、小型の振動ジャイロを用いたユニットを用いている。

また、ジャイロセンサ１３は、ＨＭＤ３０の上方に２箇所設置してあり、頭部を左右に振る動きと、上を向いたりうなずいたりする上下に振る動きとを同時に運動計測結果として感知するようにしてある。この運動計測結果は、Ａ／Ｄコンバータ５１に直接出力される。

Ａ／Ｄコンバータ５１内蔵のマイクロプロセッサ５２は、ジャイロセンサ出力を数値的に積分し、計測以来描画までの差分運動角度θ（ｔ）を得ている。ジャイロセンサ１３の出力のサンプリングは水平同期信号（約１５ｋＨｚ）に同期して行い、積算しておく。

垂直同期信号ごとにこれをリングバッファに格納すると共に、遅れ時間分だけ過去に遡って積算する。これが表示される画像に用いられた頭部運動時点（第１タイミングＴ１）から、現在（第２タイミングＴ２）の頭部の方位の差分角度θ（ｔ）となる。

また、画像補正手段５０は、ルックアップテーブルを用いて、この差分角度θ（ｔ）を画像シフト量に変換し、水平クロックカウンタ５３をリセットすることで、水平帰還信号に相当するスタートパルスを動かし、画像切出し位置を移動させている。オーバードライブされたドットクロックは、水平帰還信号からＰＬＬ回路５４を用いて生成している。

次に、図７をも参照して、仮想現実画像表示装置１００による画像補正方法について説明する。図７は、画像補正手段５０による画像切り出しの様子を示す図である。

まず、計算機２０はＨＭＤ３０の視野角より広い範囲、ディスプレイ３３より多くのピクセルからなる画像信号を生成しておく。画像信号はＬＣＤドライバ回路３４に入力され、ＬＣＤパネル３５の駆動信号となる。

この駆動信号からＬＣＤパネル３５への信号ラインを、画像補正手段５０にのみ出力し、画像補正手段５０がジャイロセンサ１３からの出力履歴に応じた変調を行うことで、画像信号の一部だけを表示させる。

１画面、１走査線当たりの走査を与えるクロックの数（ピクセル数）は、シフトレジスタ３５ａ、３５ｂの段数よりも多いため、シフトレジスタ３５ａ、３５ｂは画像の一部を表示した時点でカウントアウトし、画像信号中の左上部分だけが切出される。

（検証実験例）
図８は、仮想現実画像表示装置１００による画像補正の検証実験の構成を示す図である。動作検証と効果の確認のため、図８に示すような構成で検証実験を行った。

まず、ＨＭＤ３０と、グラフィックワークステーション２０と、図示しない磁気センサと、ジャイロセンサ１３とを用いてＶＲ／ＭＲシステムを構築した。ＬＣＤパネル３５は、応答時間が、標準でオン時間８ｍｓｅｃ、オフ時間２０ｍｓｅｃ、最大で各４０、６０ｍｓｅｃのものを使用した。

次に、ＨＭＤ３０の視点位置には小型ＣＣＤビデオカメラを設置して操作者Ｕが観察する画像を撮影し、記録媒体ＤＶに記録した。ＨＭＤ３０とカメラはターンテーブル（回転台）に載せ、視点位置を回転中心軸に一致させることで、水平方向見直しの運動を可能とした。

そして、図示しない磁気センサとジャイロセンサ１３とを用いて頭部回転を計測、これに基づいて仮想物体を描画及び補正しＨＭＤ３０に表示した。この表示画像とＨＭＤ３０を透過して見える現実の空間の実物体とを小型ＣＣＤビデオカメラでＨＭＤ３０の視点位置から録画することで、仮想物体と実物体の見える方位が一致するかどうかを検証した。

図９は、図９（ａ）が補正なし（画像中央領域を常に切出し）の場合の操作者Ｕから見える画像を示した説明図であり、図９（ｂ）が補正を行った場合の操作者Ｕから見える画像を示した説明図である。これを、操作者Ｕの視点をビデオカメラでとらえ、ターンテーブルを回転させて実物体と仮想物体との相対角度を求めた。

描画負荷は非常に軽く一定のレートであるため、補正遅れは一定とし、目視により手作業で決定した。録画された映像は専用のソフトウエアを用いてフレームごとの画像に分解した上で、水平方向位置を検出し、頭部から見た相対的な角度を求めた。実験は各３０秒づつ行った。

図１０は、図１０（ａ）が補正なし（画像中央領域を常に切出し）の場合の結果の実物体と仮想物体との相対角度の差を示したグラフであり、図１０（ｂ）が補正を行った場合の結果の実物体と仮想物体との相対角度の差を示したグラフである。

図１０（ａ）に示すように、実物体の方位から約１００ｍｓｅｃ程度遅れて仮想物体の方位が追い掛けている様子が観察される。一方、図１０（ｂ）に示すように、仮想現実画像表示装置１００の補正を行った場合には、実物体の方位と仮想物体の方位がほぼ一致しており、理想的な動作を得ている。

以上説明したように、仮想現実画像表示装置１００によれば、ディスプレイ３３に切り出される画像に含まれる遅れ時間Δｔを確実に把握することができ、この遅れ時間Δｔを評価し補正に用いることで、正確に運動を反映した画像を提供することができる。このことから、操作者の運動感覚と操作者が得る視覚の食い違い大幅に減少させることができる。

また、外界の様子を見る透過手段３１を備えており、該外界の様子を示す現実の空間の上に仮想空間映像を重畳させるので、ディスプレイ３３の表示内容と、外界の様子を示す現実の空間中に存在する物体との位置関係の間の食い違いをも大幅に減少させることができる。

さらに、運動計測装置１０は、画像の遅れΔｔを含むメインループに磁気センサ１１を用い、そうでない補正ループにジャイロセンサ１３を用いたので、非接触で計測でき、光学式や音波式と違って物理的な障害物に影響されることがなく、ドリフトを生じるというジャイロセンサ１３の欠点を磁気センサ１１のドリフトを生じないという安定性の高さで補うことができる。

また、磁気センサ１１の応答性の悪さをジャイロセンサ１３の応答性の高さで補うことができる。従って、それぞれのループの用途にあった各センサを用いて、仮想現実画像表示装置１００の運動計測の精度を向上させることができる。

上述したように、ＨＭＤ３０にはジャイロセンサ１３を付加し、その出力を遅れ時間Δｔ分積分してその間の差分計測結果値θ（ｔ）を求め、これに応じて同期信号すなわちスタートパルスを遅らせてＬＣＤパネル３５に与えることで、画像信号中のその時点から走査が始まり、画像のどの部分が切り出される。従って、画像出力を生成または補正処理に時間がかからず、短時間で遅れなくＬＣＤパネル３５に表示させることができる。

また、ジャイロセンサ１３の出力信号は、メインループを構成する計算機２０を経由せずにハードウェアで積分され、直接ＬＣＤ駆動信号を変調する。従って計算機２０のカーネルや通信由来の遅れを生じることはない。

また、計測及び画像の切出し処理は全てＨＭＤ３０側で独立して行われるため、計算機２０、ＯＳ、ライブラリ、アプリケーションを問わずポータブルに利用でき、安価であるという利点がある。

（実施例２）
他の実施例について、図１１を参照して説明する。図１１は、仮想現実画像表示装置１００を医用教育に用いた例である。尚、実施例１の仮想現実画像表示装置１００と同一部 分については同様の符号を付して説明する。

実施例２の仮想現実画像表示装置１００は、図１１に示すように、人体の模型に第３運動測定手段１１０を設け、この第３運動計測手段１１０の位置・姿勢を感知して計算機２０へ出力するようにした。

計算機２０は、第３運動計測手段１１０の検出結果に基づいて人体の模型の位置・姿勢を検出する。これとともに、磁気センサ１１とジャイロセンサ１３により頭部運動を計測し、これに基づいて仮想物体を示す画像を描画及び補正してＨＭＤ３０に表示する。

操作者Ｕは、自身の頭部にＨＭＤ３０を装着し、操作者人体の模型の方向を見ると、見る方向に応じて、対応する人体の臓器の画像が、透過して見える人体の模型に投影して見ることができ、医学教育用の電子臓器模型を構成することができる。

以上、本発明の仮想現実画像表示装置１００についての最良の形態を、実施例に基づいて説明したが、本発明は上記実施例に記載した構成に限定されるものではなく、その趣旨を逸脱しない範囲において適宜その構成を変更することができる。

例えば、上記実施例においては、磁気センサ１１とジャイロセンサ１３とを別体のものを用いたが、何らこれに限定されるものではなく、例えば、磁気センサ１１のように位置を正確に測定することができるとともに、ジャイロセンサ１３のように、測定間隔が短く、変位量を短時間で正確に測定することができる同一体のものであってもよい。

この場合には、仮想現実画像表示装置１００がシンプルになり、小型化することができ、コストを低減することができる。

また、上記実施例では、計測時管理手段４０により第１タイミングＴ１が検出され計測時情報を画像生成手段２１に伝達するようにしているが、これに何ら限定されるものではなく、例えば、計測時管理手段４０が第１タイミングＴ１を運動計測ユニット１２と画像生成手段２１に伝送するようにしてもよい。

さらに、画像生成手段２１の画像出力に計測情報を付加するものに限定されるものでなく、例えば、画像出力と同時に出力させるようにして、生成された画像と第１タイミングＴ１とを関連づけるようにしてもよい。

この関連づけは、上記実施例のクロックカウンタ値を用いるものに何ら限定されるものではなく、例えば、タイムスタンプに用いられる時刻、この時刻に関連付けられたインデックスを用いてもよい。

また、画像切り出し位置の変更は、切り出し直前で行うものであればよく、上記実施例に何ら限定されるものではなく、例えば、画像補正手段５０にフレームメモリを設け、このフレームメモリに記憶された高画角の画像信号から、ジャイロセンサ１３による計測結果で計測された操作者Ｕの頭部の動きに基づいて、操作者Ｕが見るべき画像の一部をフレームメモリから切り出すようにしてもよい。

本発明は、特にバーチャル・リアリティ、ミックスド・リアリティ、ウェアラブルコンピュータのディスプレイ、ハンドヘルドプロジェクタ、ヘッドマウントディスプレイ、フェイスマウントディスプレイにもそのまま適用することができる。

また、本発明は、表示装置の映像であれば、医用画像、ゲーム映像、３次元映像にも適用することができ、人体模型とプロジェクタを用いた医学教育用の電子臓器模型や手術計画等、バーチャル・リアリティ、ミックスド・リアリティ、ウェアラブルコンピュータのディスプレイ、ハンドヘルドプロジェクタ、ヘッドマウントディスプレイ、フェイスマウントディスプレイ等の表示を用いた医療、産業、教育等の用途に用いることができる。

実施例の仮想現実画像表示装置の概略的なシステム構成を示す図である。 上記実施例の仮想現実画像表示装置の電気的回路構成を示す説明図である。 図２の画像補正手段とディスプレイとの間の電気的信号処理の関係を示すブロック図である。 操作者Ｕの頭部の動きと時間との関係を示すグラフである。 図３のＬＣＤパネルの液晶ディスプレイ素子の構成の概略を示す図である。 図２及び図３の画像補正手段の電気的構成の詳細を示すブロック図である。 画像補正手段による画像切り出しの様子を示す図である。 上記実施例の仮想現実画像表示装置による画像補正の検証実験の構成を示す図である。 図９は、図９（ａ）が補正なし（画像中央領域を常に切出し）の場合の画像表示位置を示した説明図であり、図９（ｂ）が補正を行った場合の画像表示位置を示した説明図である。 図１０は、図１０（ａ）が補正なし（画像中央領域を常に切出し）の場合の結果の実物体と仮想物体との相対角度の差を示したグラフであり、図１０（ｂ）が補正を行った場合の結果の実物体と仮想物体との相対角度の差を示したグラフである。 実施例２の仮想現実画像表示装置の概略的なシステム構成を示す図である。 従来の仮想現実画像表示装置の電気的回路構成の一例を示す説明図である。

符号の説明

１１ 磁気センサ（第１運動計測手段）
１２ 運動計測ユニット
１３ ジャイロセンサ（第２運動計測手段）
２０ 計算機
２１ 画像生成手段
３０ ＨＭＤ
３１ 透過手段
３３ ディスプレイ
４０ 計測時管理手段
５０ 画像補正手段
１００ 仮想現実画像表示装置
Ｔ１ 第１タイミング
Ｔ２ 第２タイミング

Claims (3)

1. 操作者の頭部の動きを計測する第１運動計測手段と、該第１運動計測手段による計測の第１タイミングの検出出力に応じた画像を生成する画像生成手段と、該生成された画像の一部が切り出されて表示されるディスプレイとを備え、該ディスプレイの表示画像を前記操作者の運動感覚により期待される画像に合致させる仮想現実画像表示装置であって、
   前記操作者の頭部の動きの変化を計測して出力する第２運動計測手段と、
   該第２運動計測手段による所定時間分の計測結果値に基づいて前記画像切出しを行い前記ディスプレイに表示させる画像補正手段と、
   該画像補正手段に前記生成された画像と前記第１タイミングとを関連づけて伝達するとともに前記第２運動計測手段による計測の第２タイミングを前記画像補正手段に伝送する計測時管理手段とを備え、
   前記画像切出しの位置を前記第２運動計測手段による前記第１タイミングと前記第２タイミングとの間の差分計測結果値に応じて変更させることを特徴とする仮想現実画像表示装置。
2. 前記画像生成手段によって生成された画像と前記第１運動計測手段によって計測された第１タイミングとの関連づけが、前記生成された画像出力に対して前記第１タイミングの時点を示す情報を付加すること、または前記補正手段に対して前記生成された画像と前記第１タイミングの時点を示す情報とを同時に出力することによってなされることを特徴とする請求項１に記載の仮想現実画像表示装置。
3. 前記第１タイミングの時点を示す情報が、タイムスタンプに用いられる時刻又はクロックをカウントアップしたクロックカウンタ値であることを特徴とする請求項１又は２に記載の仮想現実画像表示装置。

Images