JP4758560B2

JP4758560B2 - 没入型表示システム

Info

Publication number: JP4758560B2
Application number: JP2001130491A
Authority: JP
Inventors: リチャード・シー・ウォーカー; ピエール・エイチ・マーツ; バークレイ・ジェイ・チュリス
Original assignee: Hewlett Packard Co
Current assignee: HP Inc
Priority date: 2000-05-02
Filing date: 2001-04-27
Publication date: 2011-08-31
Anticipated expiration: 2021-04-27
Also published as: DE60140232D1; EP1152279A1; US6552698B1; EP1152279B1; JP2002091696A; US20030103016A1; US6870520B2

Description

【０００１】
【発明の属する技術分野】
本発明は一般に没入型表示システムに関し、特に、光学相関器(correlator)を組み込んだ没入型表示システムであって、特定環境内の周囲の特徴のイメージング（すなわちイメージ化）を行い、同環境内におけるユーザーの頭部の相対的な位置を判定して、該表示環境におけるユーザーの頭部の位置に相関させたイメージを視覚表示装置上に表示する、没入型表示システムに関する。
【０００２】
【従来の技術】
シミュレーションシステムは、例えばゴルフコースや飛行機のコックピットといった、所定の環境内にいるかのようなリアルなシミュレーションをユーザーに提供しようとするものとして知られている。これはユーザーに適当な視覚的合図即ちイメージを提供することにより達成される。最大限の効果を得るために、実質的に全ての視覚により認知し得る知覚的な入力が与えられるようにユーザにイメージが提供される。これらのシステムは、別環境にいるかのような疑似体験をユーザーに提供するものである。
【０００３】
既知のシステムは、典型的には、ユーザーの眼により受容される視覚的な入力を支配するようにユーザーの眼に極めて近接してユーザにより支持される表示装置を提供するものである。異なる環境下にいるというリアルな錯覚を提供するために、既知のシステムは、ユーザーの頭部の位置の変化に従って、表示装置上に表示するイメージ又はシーンを、該表示装置に接続されたイメージ生成器により変化させ又は修正する。
【０００４】
例えば、ユーザーはゴルフコース上に立ってティーオフする準備が整っている状況を体験することができる。ユーザーが頭を真っ直ぐ前に向けた状態を維持すると、該ユーザは、例えばゴルフコース上のグリーンへと続くフェアウェイのイメージ又はシーンが表示されることになる。ユーザーが頭の向きを変えると、ユーザーの頭部の環境に対する位置が変わり、このため、表示装置に接続されたイメージ生成器が、ユーザーに対する表示装置上の表示を変更して、ティーの傍に立った状態で頭部の向きを変えたかのような錯覚をユーザーに提供する。例えば、ユーザーの右又は左に立っているゴルフ仲間のイメージが表示される。
【０００５】
【発明が解決しようとする課題】
ユーザーにリアルな視覚的認知を提供するために、既知のシステムは、加速計を使用して、ユーザーの頭部の動きを測定し、該ユーザの頭部の位置を算出してきた。かかるシステムは、頭部位置の見積もり又は概算のずれに起因する精度の低さという欠点を有するものである。かかる精度の低さは、頭部位置の概算のハイパス機能(high pass function)を導入し、安定した状態である「頭部が垂直で正面を向いた」状態に対するずれをバイアスさせることにより、部分的に補償することは可能であるが、かかる補償は、ユーザーの頭部位置が「頭部が垂直で正面を向いた」状態から少しだけ逸脱する場合にしか有用とはならない。ユーザーが着座しておらず又は自由に歩き回ることができる場合等の状況では、容易には補償できない誤差が生じることになる。
【０００６】
【課題を解決するための手段】
本発明は、周囲環境のイメージングを行うための光学相関器を組み込むことにより、その周囲環境中の特徴及びオブジェクトに対するユーザーの頭部の位置及び角度を判定することを可能にする、没入型表示システムを提供する。本発明はまた、前記光学相関器により生成された位置出力信号に応じて前記環境におけるユーザーの頭部の位置及び角度に相関するイメージを表示する表示装置を提供する。
【０００７】
本発明の方法は、所与の環境のイメージを表す複数の信号間の光学的な相互関係による位置信号の生成を提供する。該位置信号に基づいてユーザーに関する相対的な位置が判定される。該判定された相対的な位置に基づいて表示装置用のイメージが生成されてユーザーに見せるべく表示される。
【０００８】
本発明の他のシステム、方法、特徴、及び利点は、以下の詳細な説明及び図面を参照することにより当業者に明らかとなろう。かかる更なるシステム、方法、特徴、及び利点は、以下の説明に包含されており、本発明の範囲内に含まれ、及び特許請求の範囲により保護されるものである。
【０００９】
本発明は、図面を参照することでより容易に理解することができる。同図中の各要素の尺度は必ずしも互いに一定ではなく、本発明の原理を明確に説明することに重点をおいて描かれたものである。更に、複数にわたる同図において、対応する要素には同様の符号を付してある。
【００１０】
【発明の実施の形態】
まず図１を参照する。本発明は、環境200を提供する没入型表示システムを提供するものである。環境200中のオブジェクト及び特徴は、それらに対するユーザーの頭部の位置及び角度を判定する少なくとも１つの光学相関器30によりイメージ化される。
【００１１】
環境200は、イメージ化された際に光学的なコントラストを提供する任意の静的な環境とすることが可能である。例えば、家の内部を環境200とすることが可能である。この場合、環境200内の周囲のオブジェクト、構造物及び特徴に対するユーザーの頭部位置及び角度を判定するように、天井、床、壁、家具、及びその他の家内に収容されているオブジェクト及び特徴を光学相関器30によりイメージ化することができる。他の例としては、建造物、樹木、空、地面、及びその他の屋外に存在し得る特徴により環境200を規定することもできる。要するに、環境200は、本発明のユーザーが存在し得るほぼ全ての静的な環境により規定することが可能である。以下、エンクロージャ（囲い）100（図２参照）により画定される環境200を参照して光学相関器30による環境200のイメージ化について説明する。なお、以下の説明は、図１に示すようなエンクロージャの存在しない実施形態にも完全に適用可能であることが理解されよう。また、かかるエンクロージャが配設されず、及び環境中のオブジェクト、構造物、及び特徴のユーザーからの距離が著しく異なり得る環境で本発明を使用する場合には、検出されたイメージの変位を角変位へと変換することが可能となるように、距離計(range finder)を光学相関器30に更に配設すべきである。
【００１２】
図２は本発明の別の実施例であり、この場合には、エンクロージャが環境200の境界を画定している。該実施例では、エンクロージャ100は環境200を画定するために用いられている。エンクロージャ100は、好ましくはパターン又はテクスチャが形成された内面110を有している。代替的に、内面100にイメージを投影することも可能である。かかるパターン、テクスチャ、又はイメージは、好適には高いコントラストを有するものとなる。エンクロージャ100は、任意の形状又は寸法とすることが可能であるが、好適実施例では、半球又は球形の形状を有しており、好適にはユーザーの頭部がその中心又はその近傍に配置される。
【００１３】
ここで図１、図２、及び図３を参照する。本発明は、環境200における周囲のオブジェクト及び特徴に対するユーザーの頭部の位置及び角度を判定する光学相関器30を組み込んだ表示ユニット10を提供する。表示ユニット10は、視覚的表示装置20も含んでいる。
【００１４】
図３は、イメージャ(imager)32と、該イメージャ32上へ光を集束させる光学系34とが組み込まれた光学相関器30を示している。イメージャ32は好適には相補型金属酸化膜半導体（CMOS）フォトイメージャである。しかし、電荷結合素子（CCD）やアモルファスシリコンフォトセンサアレイ又は他のフォトダイオードアレイ若しくはフォトトランジスタアレイといった他のイメージングデバイスを利用することも可能である。
【００１５】
内面110からの光は、光学系34によってイメージャ32上に集光される。イメージャ32は、該イメージャ32により現在監視され即ちイメージングされているエンクロージャ100の内面110の一部を表すイメージ信号63即ちスナップショット信号を繰り返し生成する。該イメージ信号63が生成される速度、及び該イメージ信号の各インスタンスにより表される露光時間は、ナビゲーション精度及び／又はイメージ信号のＳＮ比を最適化するよう動的に決定することができる。イメージ信号63は、ナビゲーションエンジン70へ送られ、またメモリ75に格納することが可能である。
【００１６】
ナビゲーションエンジン70は、位置信号66を生成し、該信号をイメージ生成器71へと出力する。該位置信号66により環境200に対するユーザーの頭部の位置及び角度が示されると、イメージ生成器71は、視覚的表示装置20上に表示するための出力信号65を生成する。一好適実施形態では、３つの光学相関器30が表示ユニット10に装備される。その各光学相関器30は、個々に内面110のイメージングを行い、平均化された出力又はその中の最良の出力をナビゲーションエンジン70へ提供する。
【００１７】
ナビゲーションエンジン70及びメモリ75は、表示ユニット10の一体的な部分として構成することができる。更に、ナビゲーションエンジン70は、例えば専用のディジタル信号処理装置（DSP）、特定用途向け集積回路（ASIC）、又は論理ゲートの組み合わせ等により実施することが可能である（但しこれらに限定されるものではない）。イメージャ32により生成される位置信号は、ケーブルインタフェイス又は無線伝送システムを介してナビゲーションエンジン70へ送信することができる。無線伝送システムは、例えば光学式又は電波式のものとすることが可能である。更に、位置信号66は、インタフェイス72を介してイメージ生成器71へ提供することができる。該インタフェイス72は、例えばケーブルインタフェイス又は無線伝送システムとすることができる。無線伝送システムの例として、光学式送受信システム又は電波式送受信システムが挙げられる。
【００１８】
視覚的表示装置20に関しては、例えば、CRT、LCD、又はホログラム表示装置等を含む様々な表示手段で実施することが可能である。
【００１９】
図４は、本発明の別の実施態様を示すものであり、この場合には、全方向型トレッドミル(treadmill)300が配設され、これにより、ユーザーが実際に環境200の外に出ることなく任意の方向に歩行することが可能となる。ユーザーが歩行する際に、イメージ生成器71は、全方向型トレッドミル300から入力信号を受信する。該入力信号が使用されて、視覚的表示装置20上に表示するためにイメージ生成器71により生成されるべきイメージが決定される。全方向型トレッドミル300からの入力信号は、全方向型トレッドミルの速度及び方向を表すことができる。この場合、全方向型トレッドミル300の速度及び方向は、該全方向型トレッドミル300上でのユーザーの動き又は足の運びによる影響を受ける。この入力信号を使用して、相対的な速度及び方向といったユーザーに関する運動情報をイメージ生成器71へ提供することができる。イメージ生成器71は、全方向型トレッドミル300からの該入力信号に従って、視覚的表示装置20上に表示するイメージを調節し又は変化させることができる。例えば、全方向型トレッドミル300からの信号が、ユーザーの移動速度が増大していることを示す場合に、イメージ生成器71は、例えば視覚的表示装置20上に表示するイメージをより速く表示して、該視覚的表示装置20上に表示されているシーン中でより速く歩いている又は走っている状態と一致するビューをユーザーに提供する。全方向型トレッドミル300の代わりに歩数計を使用してかかる移動情報を提供することも可能である。この移動情報の生成方法では、エンクロージャ100の中心からのユーザーの最大偏倚を該エンクロージャ100の半径よりも小さい距離に制限することが必要となる。
【００２０】
図５はエンクロージャ100の内面110を示しており、該内面110は、独特の表面特性即ちパターンを有している。該実施形態では、説明の容易化のため、該パターンを英数字で表している。これは、本発明を説明するにあたり英数字が識別がより容易なものであるからである。しかし、かかる英数字を、本発明により企図する内面110の実際のパターンとして用いることも可能である。
【００２１】
図５には、第一の（すなわち基準）スナップショット（REF）41、第二の（すなわち比較）スナップショット（CMP）42、及び共有領域45が示されている。スナップショットREF41,CMP42は、所定の面積（例えば300mmx300mm）を表すものである。
【００２２】
環境200内での表示ユニット10の使用時に、イメージャ32は、エンクロージャ100の内面110の第一のスナップショット（イメージ）を基準スナップショット（REF）として取得する。この基準スナップショットデータ（REF）はメモリ75に格納される。所定時間の経過後に、イメージャ32は、エンクロージャ100の内面110の第二のスナップショットを比較（CMP）スナップショット42として取得する。次いで、ナビゲーションエンジン70により、CMP42を表すデータが、メモリ75に格納されているREF41を表すデータと比較される。より詳細には、CMPデータは、メモリ75に格納されているREFイメージデータと数学的に相互に関係付けされて、第一の（REF）スナップショット41と第二の（CMP）スナップショット42との間のX,Y両方向におけるオフセットが決定される。イメージの相関付け(image correlation)に関する分野の当業者には多くの相関方法が既知である。相関付け計算は、例えば、次の数１に基づいて行うことが可能である。
【００２３】
【数１】

【００２４】
ここで、r_m,n及びc_m,nは、それぞれREF及びCMPスナップショットの点｛m,n｝におけるピクセル値を表し、i,jは、REF及びCMPスナップショット間のオフセットを表している。
【００２５】
エンクロージャ100の内面110のうち各スナップショットの対象となる面積は、典型的には、エンクロージャ100の内面110全体のサイズ（面積）よりも大幅に小さいものとなる。表示ユニット10が移動すると、イメージャ32もまたエンクロージャ100の内面110に対して移動する。このため、イメージャ32が見る（イメージ化する）シーンもまた変化する。
【００２６】
相関計算を効果的に実行するために、REFスナップショット中に含まれるエンクロージャ100の内面110の細部は、CMPスナップショット中に含まれるエンクロージャ100の内面110の細部と何らかの共通性（共通領域45）を有するべきである。換言すれば、REFスナップショットが取得されるポイントとCMPスナップショットが取得されるポイントとの間でイメージャ32が移動する距離は、CMPスナップショットがREFスナップショットとの共有部分を有さなくなるほど大きくなることはできない。該共有部分が存在しない状況が発生すると、表示ユニット10は、環境中で「迷子(lost)」になり、即ち「領域外(out of bounds)」となる。表示ユニット10の相対位置の追跡を円滑に機能させるために、ナビゲーション面のCMPスナップショットは、第一のREFスナップショットイメージ中にも現れるナビゲーション面の細部の少なくとも一部を含んでいるべきである。
【００２７】
イメージャ32の移動が進行すると、CMP及びREFスナップショットの重なり（共有領域）が小さくなる。極端な場合には、図６にREFスナップショット41及びスナップショット48で示すように、CMP及びREFイメージの重なり（共通領域）が零となる。この場合には、イメージャ32は「迷子」状態になり、表示ユニット10の相対位置を正しく報告することができなくなる。しかし、本発明では、CMPスナップショットとREFスナップショットとの間の共有領域が所定の共有（重なり）面積又は百分率まで小さくなった際に、CMPスナップショットがメモリ75にコピーされ、これが新たなREFスナップショットとなる。この手順は、再基準化(re-referencing)手順又はREREFと呼ばれるものである。該REFEFの直後には、CMPスナップショットとREFスナップショットとが同一となり、これは、相関付けのために完全な又は全体的な重複（共有）が存在することを意味している。
【００２８】
上記手順の代替策は、エンクロージャ100の内面110の一連のスナップショットを取得してそのデータをメモリ75に格納することにより、エンクロージャ100の内面110全体の累積的なスナップショットを取得することを伴うものとなる。該格納されたデータは、内面110全体を累積的に表すもの（累積スナップショット）、又はそのうちの選択された部分を表すものとなる。その後、使用時に表示ユニット10が移動すると、内面110の比較スナップショット（CMP）が、内面110から取得されて、メモリ75中に格納されている累積スナップショットデータと比較される。この代替策は、増大したスナップショットデータに適応するために、より大掛かりなハードウエア、特にメモリを必要とする。しかし、この代替策は、CMPスナップショットがREFスナップショットと細部の共有を有さない場合（表示ユニット10が迷子状態になった場合）に相関計算が実行できなくなる可能性を排除するものとなる。これは、エンクロージャ100の内面110の全ての細部がメモリ75中に記憶されるからである。エンクロージャ100の内面110は、光学相関器30のイメージャ32により監視されることになる全表面積にわたり連係したテクスチャ即ちパターンを有するのが好ましい。しかし、エンクロージャ100の内面110のイメージ化される表面は、ランダムなテクスチャを有することも可能であることに留意されたい。
【００２９】
図６は、本発明の方法を示すフローチャートである。エンクロージャ100の内面110の基準スナップショット（REF）がイメージャ32によりイメージングされる（201）。基準スナップショット（REF）がメモリ75に格納される（202）。所定時間の経過後（203）、エンクロージャ100の内面110の比較スナップショット（CMP）がイメージャ32により取得される（204）。前記基準スナップショット（REF）と前記比較スナップショット（CMP）との相互の相関付けを介して、ナビゲーションエンジン70が、表示ユニット10の相対的な位置及び角度を計算する（205）。該ステップ205の計算結果に従い、表示ユニット10の位置及び角度がコントローラ71へ報告される（206）。基準スナップショット（REF）が取得されてから表示ユニット10が所定の距離だけ（又はCMP及びREFスナップショット間の共有面積が所定の共有面積よりも小さくなるポイントまで）移動したか否かが判定される（207）。該ステップ207で、表示ユニット10が所定の距離を超えて移動した（領域外に接近した）と判定された場合には、ステップ206で取得した比較スナップショット（CMP）がメモリ75に格納され、これが新たなREFスナップショットとなる（208）。
【００３０】
更に、本発明により提供される没入型表示システムは、既存の加速計ベースの没入型表示システムを拡張させるために使用することが可能なものであり、この場合には、重力に関する上下動をより精確に確立すると共に、ユーザの頭部の動きと該ユーザーを取り囲む領域中のオブジェクト／構造物の動きとを明確に区別することが可能となる。
【００３１】
上述した本発明の実施形態（特に「好適な」実施形態）は、単に本発明の原理を明確に理解するために提示したものであって単なる考え得る実例に過ぎないものである。上述の本発明の実施形態は、本発明の原理から実質的に逸脱することなく多くの変更及び改変が可能なものである。かかる変更及び改変は、本発明の範囲に含まれるものであり、特許請求の範囲により保護されるものである。
【００３２】
以下では、本発明の種々の構成要件の組み合わせからなる例示的な実施態様を示す。
１．光学相関器(30)を含む表示ユニット(10)と、
該光学相関器からのイメージ出力信号に基づいてイメージを表示する視覚的表示装置(20)と
を備えている、表示システム。
２．前記視覚的表示装置(20)が液晶表示装置を含む、前項１に記載の表示システム。
３．前記光学相関器(30)が、イメージャ(32)と、該イメージャ(32)上へ光を集束させる光学系(34)とを含む、前項２に記載の表示システム。
４．前記光学相関器(30)が、表面(110)を光学的に監視し、該監視に従って前記イメージ出力信号を生成する、前項３に記載の表示システム。
５．前記表面(110)が所定の環境(200)内の構造物を含む、前項４に記載の表示システム。
６．光学相関手段(30)と、
該光学相関手段(30)からのイメージ出力信号に基づいてイメージを表示する視覚的表示手段(20)と、
接続された装置(71)へ信号を伝送するためのインタフェイス手段(72)と
を備えている、視覚的表示装置。
７．前記光学相関手段(30)が、所定の表面を光学的に監視し、該監視に基づいて前記イメージ出力信号を生成する、前項６に記載の視覚的表示装置。
８．前記光学相関手段(30)がイメージャ(32)を含む、前項７に記載の視覚的表示装置。
９．前記光学相関手段(30)が更に光学系(34)を含む、前項８に記載の視覚的表示装置。
10．表示装置上にイメージを表示する方法であって、
光学相関器により生成された位置信号であって所定の環境の表面のイメージを表す位置信号を受信し(204)、
該位置信号に基づいてユーザーに関する相対的な位置を判定し(205)、
該判定された相対的な位置に従って表示装置上に表示するためのイメージを生成し(207)、
該イメージを前記表示装置上に表示して前記ユーザーに見せる(209)、
という各ステップを含む、表示装置上にイメージを表示する方法。
【図面の簡単な説明】
【図１】本発明の没入型表示システムを示す説明図である。
【図２】特定環境内で本発明の没入型表示システムを示す説明図である。
【図３】光学相関器を示す説明図である。
【図４】本発明の代替実施例を示す説明図である。
【図５】独特な表面特性を有する内面を示す説明図である。
【図６】本発明の方法を示すフローチャートである。
【符号の説明】
10：表示ユニット
20：表示装置
30：光学相関器
32：イメージャ
34：光学系
71：接続システム
72：インタフェイス
110：内面
200：環境
【符号の説明】
10 表示ユニット
20 視覚的表示装置
30 光学相関器
71 イメージ生成器
200 環境

Claims

表示システムであって、
周囲環境の表面を光学的に監視して、それに従ってイメージ出力信号を生成するよう構成された光学相関器を含む表示ユニットと、
前記イメージ出力信号と所与の基準スナップショットとを評価して、前記表示ユニットの位置を決定し、及びその位置を表す位置信号を出力するよう構成されたナビゲーションエンジンと、
イメージを表示するための視覚的表示装置と、
全方向型トレッドミル上のユーザの足の運びの方向及び速度に従って運動出力信号を生成するための、及び、イメージ生成器に対して該運動出力信号を提供するための、該全方向型トレッドミル
とを備え、
前記ナビゲーションエンジンが、前記イメージ出力信号を前記基準スナップショットと数学的に相互相関をとって、前記イメージ出力信号と前記基準スナップショットとの間のオフセットを決定して、前記位置信号を前記イメージ生成器に対して出力するよう構成されており、及び、
前記イメージ生成器が、前記位置信号と前記運動出力信号とに従って前記視覚的表示装置上に表示するためのイメージを生成することからなる、表示システム。
前記表面は、前記周囲環境内における構造を含む、請求項１に記載の表示システム。
前記周囲環境が、エンクロージャによって画定される、請求項２に記載の表示システム。
前記イメージ生成器に対して前記位置信号を伝達するための無線インターフェースを更に備える、請求項１乃至３の何れかに記載の表示システム。
前記光学相関器が、イメージャを含む、請求項１乃至４の何れかに記載の表示システム。
前記光学相関器が、光学系を追加的に含むことからなる、請求項５に記載の表示システム。
前記視覚的表示装置が、ホログラフィック表示装置を含むことからなる、請求項１乃至６の何れかに記載の表示システム。
前記イメージ出力信号のイメージデータのイメージと、前記基準スナップショットのデータのイメージとの間の共通領域が、所定の閾値にまで低減した時には、前記基準スナップショットのデータが、該イメージ出力信号のイメージデータによって置き換えられて、該イメージ出力信号の該イメージデータが、新規の基準スナップショットのデータとなることからなる、請求項１乃至７の何れかに記載の表示システム。
表示システムの表示装置上にイメージを表示するための方法であって、
周囲環境をイメージ化し、ここで、該環境内には前記表示システムのユーザが配置されており、
イメージ化される前記周囲環境の一部を表すイメージ出力信号を生成し、
前記イメージ出力信号を基準イメージデータと数学的に相互相関をとって、前記イメージ出力信号と該基準イメージデータとの間のオフセットを決定し、
前記周囲環境内の前記ユーザの頭部の位置と角度とを表す位置出力信号を、前記イメージ出力信号と該基準イメージデータとの間の前記オフセットに基づいて生成し、
前記位置出力信号に基づいて、前記表示装置上に表示するためのイメージを生成し、
全方向型トレッドミル上の前記ユーザの動きか又は足の運びによる影響を受ける該全方向型トレッドミルにおける速度及び方向を表す信号を生成し、
前記表示装置上に表示するための前記イメージを、前記全方向型トレッドミルにおける前記速度及び方向を表す前記信号に基づいて調整し、及び、
前記調整されたイメージを、前記ユーザによる視認のために前記表示装置上に表示する
ことを含む、方法。
前記周囲環境内の前記ユーザの頭部の位置及び角度が移動する際に、前記イメージ出力信号のイメージデータのイメージと、前記基準イメージデータのイメージとの間の共通領域が、所定の閾値にまで低減した時には、前記基準イメージデータが、該イメージ出力信号のイメージデータによって置き換えられて、該イメージ出力信号の該イメージデータが、新規の基準イメージデータとなることからなる、請求項９に記載の方法。