JPH10510686A - ステレオスコープディスプレイシステムのトラッキングシステム - Google Patents

Abstract

(57)【要約】 オートステレオスコープディスプレイシステムの視認者のトラッキングシステムであって、オートステレオスコープディスプレイシステムに対して相対的に、視認者の頭及び／又は目の位置を求める手段を有する。オートステレオスコープディスプレイシステムは、左及び右イメージフィールドを含むステレオスコープイメージを提示し、トラッキングシステムは、イメージフィールドを、少なくとも実質的に、視認者の目の位置に整合するように位置づける。トラッキングは少なくとも一方向について行われる。

Description

【発明の詳細な説明】 ステレオスコープディスプレイシステムのトラッキングシステム 本発明は、視認者に３次元（３Ｄ）のイメージを提供するステレオスコープ（ stereoscopic）ディスプレイシステムに関するものである。３Ｄイメージを裸眼 で見ることのできるシステムは、“オートステレオスコープ(auto-stereoscopic )”ディスプレイシステムとして知られている。本発明は、より具体的には、こ のようなシステムに用いられるトラッキングシステムに関するものである。 オートステレオスコープ３Ｄディスプレイシステムには機能的に大きく２つの 分類がある。それは、マルチイメージタイプのディスプレイと、ステレオペアタ イプのディスプレイである。 両ディスプレイシステムとも、特定の空間的ポイントからしか見えない、いく つかのイメージを表示するという原理によっている。この目的は、個々のイメー ジが、一度に視認者の片方の目でのみ知覚されるようにすることである。すなわ ち、左目が一つのイメージを視、右目が他方のイメージを視るようにする。 このような空間的ポイントの配置や位置や、表示の方法は、異なるシステム間 で大きく変化する。 マルチイメージディスプレイは、単一の表示メディア上に、異なるイメージを 挿入（インタリーブ）する。これらのイメージは、視認者の両目とスクリーンと の間の距離で定まる視角度の差によってデコード、または、アンスクランブルさ れる。すなわち、視認者の両目の間の水平方向のずれによって、各目に対して異 なるイメージが表示される。 図２４に、左-右のイメージのシーケンスの繰り返しを生成する技術からなる 、最も簡単な具体例を示す。引き続く各イメージの間の距離は６５ｍｍであり、 視認者の両目の間の距離の平均に一致している。これにより、ポジションＡにい る視認者は、正しく順序立てられた３Ｄイメージを視ることになる。 しかしながら、視認者が水平方向に３２ｍｍ以上動いたり、ポジションＢにい る場 合には、左イメージが右目で視認され、右イメージが左目で視認されることにな る。すなわち、視認者は、逆転した３Ｄイメージを視ることになる。逆転した３ Ｄイメージは、視認者にとって非常に不快なものであり、短時間でも視認者の苦 痛、すなわち、頭痛を引き起こす。実際には、このようなシステムを視るために 最初に座った時点で、視認者が、正しい３イメージが見えているのか逆転された ３Ｄイメージが見えているのかを把握することは難しい。正しくない位置にいる ことに視認者が気づくのは、不快を感じてからになる。 さらに、視認者が長期間正しい位置を維持することは困難である。 ほとんどのマルチイメージオートステレオスコープシステムは、このような短 所をもっている。なお、ある種のシステムは、レンティクルレンズとグリッドタ イプのイメージセパレーターに基づいている。 いま、６５ｍｍ離れたいくつかのイメージ１、２、３、４を、表示された各イ メージが図２５に示すように異なる眺望もしくは光景となるように、表示するシ ステムの具体例を考える。 適切に設計されたシステムでは、ポジションＢの視認者のように視認者の両目 が１と２に出会うように（すなわち、左目がイメージ１を視、右目がイメージ２ を視るように）、視認できる各部分が配置される。しかし、もし、視認者が左の ポジションＡに移動すると、視認者の両目がイメージ２と３に出会うことになる 。しかし、イメージ２と３もまた（相互に関して）立体的な不等性（disparity ）を示すので、正しい３Ｄイメージを視認し続けることができる。同様に、ポジ ションＤの視認者もまた３Ｄイメージを視ることができる。このイメージのパタ ーンは、１、２、３、４、１、２、３、４と繰り返すので、同様の状況が、いく つかの視認できる位置に存在し、システムを本当のマルチビューアー(multi-vie wer)とする。しかしながら一つの問題が生じる。パターンが繰り返すため、もし 、視認者がポジションＣに移動すると、左目がイメージ４を視、右目がイメージ １を視てしまう。ここでの問題は、ビデオや他のメディアの生成が、カメラ１と その右側のカメラ４によって為されることである。したが って、イメージがこの位置から視られると、立体的な不等性が逆転し、逆転した ３Ｄイメージが表示されることになる。 この問題は、空もしくは黒のフィールドを一つのイメージとして挿入すること により（たとえば、図２６のようにイメージ４を黒のフィールドとする）、かな り解決することができる。これは、一つのパターンと次のパターンとの間をまた がるときには、視認者の片方の目が常に空の部分を視ることを保証することによ り、問題を排除する。このような一つの領域において、視認者は、片目だけでイ メージを視続けることができるが、これは２Ｄとなる。この技術の望ましくない 副次的効果は、視認者のポジションＣ、Ｄにも２つの領域を導入するため、元は 一カ所だけだったにもかかわらず、これらのポジションでも３Ｄ効果が失われる ことである。これは、一つの空のフィールドを用いる３つのプロジェクターシス テムにおいて、３Ｄは、５０％の位置でしか視られないことを意味する。一つの 空のフィールドを用いる４つのプロジェクターシステムでは、６０％の位置で視 られることになる。このように、システムを効果的なものにするためには、より 多くの異なる光景が必要となる。より多くの光景を実現するためには、より良い 表示技術が必要となる。インタリーブされたイメージを構成するイメージの数の 範囲は４から１６である。８前後が、実際的にイメージの密度として許容できる 最低と思われる。イメージを視認できる位置の間は、両目の間の距離(６５ｍｍ) より大きくなく、通常小さい（典型的には、この値の１／２）。 イメージをインタリーブしデコードする方法はいくつかある。これらは、複雑 さ、コスト、能力において大きく異なる。理想的なエンコード／デコードシステ ムは次のようなものである。 １）任意の垂直方向角度から視ることができる。 ２）イメージの変化が完全にシャープであること。 ３）任意の距離から視ることができること。 ４）表示イメージの質を劣化させないこと（色ずれ、他の望ましくない光学的 特性によって） ５）イメージのパターンが繰り返すこと。 理論的には任意の距離から視ることができるディスプレイを構築することは可 能であるが、実際には、この種のディスプレイには、予め定まる最適な視認距離 がある。 最も簡単なシステムは、グリッドを形成するラインによる、垂直指向のアレイ を使ったものである。このシステムでは任意の垂直方向から視認でき、製作上、 簡単で高価でもないが、イメージの変化がシャープでなく、回析やモアレフリン ジや吸蔵などによる何らかのイメージの劣化を引き起こすという基本的な問題が ある。 レンティクルレンズは、イメージの変化のシャープさや前述したイメージの劣 化の問題を解決することができるが、残念なことに、色ずれや帯域反射などの新 たなイメージの劣化をある範囲で導入してしまう。最近、レンティクルレンズデ ィスプレイには多くの関心がよせられており、このアプローチの本質な問題にも 拘わらず、いくつかの主要な企業が積極的に研究している。 ステレオペアタイプディスプレイは、立体イメージの生成のために二つの分離 したイメージしか必要としない。この結果、ディスプレイを操作するために必要 な情報量は著しく低減される。このことは、第１に、イメージの生成、編集、伝 送、記録／撮影などの分野において、直接経済的、技術的適切さを持つことに関 連する。 ステレオペアタイプディスプレイは、２つだけのイメージからなる、マルチイ メージディスプレイと考えることができる。限定された数の異なる光景のため、 システムは、視認者の動きに対して僅かな許容性しか持たない。正確な性能の特 性は、用いる光学的原理、すなわち、グリッドであるか、レンティクルレンズで あるか、逆反射の鏡の組み合わせであるかや、光景を繰り返すか、そして／また は、空のフィールド（黒の光景）をパターン中に挿入するかに、依存する。 限定された数の異なる光景のため、静的なシステムでは、良くても、ディスプ レイを視ることのできる領域の５０％の領域でしか正しい３Ｄを視ることはでき ず、視ることのできる領域の残りの５０％の領域では逆転した３Ｄが現れる。ま たは、システムが、空のフィールドを用いる場合には、位置の３３％だけが正し い３Ｄを視ること ができ、残りの６７％は平面モードだけとなる。 利用できる多様な光学的テクニックの最善のものを用いても、視認者は、視る ための横方向に関して６５ｍｍ幅の窓の中に拘束される。すなわち、正しい３Ｄ 効果を維持するためには、視認者は、視認領域の中心から３２ｍｍ以内に留まり 続けなければならない。 このような視認者の拘束の問題を解決する鍵は、視認者の位置を認識し、イメ ージまたは光景（view）が視認者の両目の正確な位置に常に対応するように、イ メージまたは光景を表示したポジションを移動するよう、すなわち、左イメージ が常に左目で視認され右イメージが常に右目で視認されるように、ディスプレイ ユニットに命令するトラッキングシステムを実現する手段を提供することである 。 これらを考慮し、本発明は、オートステレオスコープディスプレイシステムに 対する相対的な、視認者の頭および／または両目のポジションを位置づける手段 を含む、オートステレオスコープディスプレイシステムの視認者を追跡するトラ ッキングシステムを提供する。 オートステレオスコープディスプレイシステムは、左及び右イメージを含むス テレオスコープイメージを提供し、トラッキングシステムは、イメージフィール ドを位置づけ、これにより少なくとも実質的に、視認者の両目のポジションに一 致させるのに適用される。 このようなシステムを設けることにより、全ての前述したステレオペアシステ ムに現実性を与え、逆転した３Ｄイメージが見えるようになることを防ぐことに よって、マルチプルイメージディスプレイの性能を向上する。 光景のイメージの位置の制御は、機械的にも電気的にも行うことができ、また 、この制御は、用いられるステレオペアシステムのタイプに依存する。 視認者の追跡は、おおよその場合は水平方向の追跡のみが必要となるが、これ は１、２、３次元で行うことができる。 本発明のよりよい理解のために、本発明の好適な実施例を図示した添付図面を 参照 する。 図面において、 図１(a)、(b)は、本発明による画像解析技術を用いたトラッキングシステムの 構成を示した平面図である。 図２は、本発明による閾値回路を示す回路図である。 図３(a)、(b)は、本発明によるシャドウスクリーン技術を用いたトラッキング システムの構成を、それぞれ示した平面図である。 図４は、本発明による垂直ストライプ技術を用いたトラッキングシステムの構 成の概略図である。 図５は、網膜とレンズを示す人間の目の概略図である。 図６は、本発明による単一のカメラを用いたトラッキングシステムの第１の構 成である。 図７は、本発明による単一のカメラを用いたトラッキングシステムの第２の構 成である。 図８は、本発明による二つののカメラを用いたトラッキングシステムの第１の 構成である。 図９は、本発明による二つののカメラを用いたトラッキングシステムの第２の 構成である。 図１０は、本発明による偏光器を用いたトラッキングシステムの構成である。 図１１(a)、(b)は、目の逆反射の概略図である 図１２は、本発明によるレーザースキャン技術を用いたトラッキングシステム の第１の構成である。 図１３は、本発明によるレーザースキャン技術を用いたトラッキングシステム の第２の構成である。 図１４は、本発明によるレーザースキャン技術を用いたトラッキングシステム の第３の構成である。 図１５は、本発明によるレーザースキャン技術を用いたトラッキングシステム の第４の構成である。 図１６は、本発明によるレーザースキャン技術を用いたトラッキングシステム の第５の構成である。 図１７は、本発明によるレーザースキャン技術を用いたトラッキングシステム の第６の構成である。 図１８は、本発明による画像解析技術の段階の概略図である。 図１９から図２３は、本発明による画像解析技術の様々なステップを示したフ ローチャートである。 図２４から図２６は、マルチイメージオートステレオスコープの動作の原理を 示した概略図である。 視認者のトラッキングには２つの主要なアプローチがある。それは、 １）視認者の頭をトラッキングする。 ２）視認者の両目をトラッキングする。 ことである。要求されるパラメータは視認者の両目の位置であって視認者の頭 ではないので、２番目のアプローチが最も望ましい。しかしながら、視認者の頭 の位置は、とても容易に見つけることができるし、この情報より、視認者の両目 の位置を推定できる。 多くの異った形のため、ヘッドトラッキング原理に基づいて動作するシステム は、おそらく、各特定の視認者に対してユーザートリミングシステムによって最 も効果的に動作する。すなわち、システムは、この後、視認者の頭の輪郭からの ずれとして視認者の目の位置を推測する。 頭のトラッキングを実現するためには、いくつかの異なる技術を利用すること ができる。これらには、画像解析に基づく技術や、音響エコー範囲検出や、ホロ グラフィー技術や、シャドースクリーンの技術を用いることができる。 画像解析の技術は、制御された環境、すなわち、既知の背景や一貫して制御さ れた 環境光において用いられた場合、極めて効果的に機能する。（図１(a)に示すよ うに）最も効果的な状況の一つは、逆反射背景スクリーン２と、カメラの光軸の 近傍に設けた赤外ＬＥＤ５のアレイなどの様な赤外光源とがあるものである。こ のような配置において、視認者１は、スクリーン２の前に位置する。カメラ３は レンズ４を有し、その光軸は視認者１に向かっている。赤外ＬＥＤ５は、レンズ ４の付近に位置し、出射光は、スクリーン２と視認者１に向かっている。この場 合、ＣＣＤカメラ３であってもよいカメラ３の、複雑な光レベルの制御はたいし て必要ない。開口は、単純に、逆反射スクリーン２の露出部分が、１００％ホワ イト（飽和）となるように調整すればよい。視認者１は、ホワイトの背景の前の 暗いシルエットとして表れる。この場合、視認者のトップとサイドを位置づける ことは、頭の座標７ａを決定するマイクロプロセッサ７に備えられたソフトウエ アにおいて簡単な閾値処理を行う、合理的で簡単な処理となる。 このアレンジの 白熱光のない制御された環境で良好に動作する一つの例は、 すなわち、図１（ｂ）である。この構成は、赤外パスフィルター６を備えたＣＣ Ｄカメラ３と、赤外ＬＥＤアレイもしくは視認者１に対面しカメラ３の近傍に配 置した他の赤外光源５を備えている。この場合の重要な特性は、その周辺に比べ 、視認者の顔の赤外光の反射率が高いことである。つや消しのホワイトの背景を 、視認者とカメラの２倍の距離に配置しても、背景から簡単に分離できるだけの 、十分な対象の顔のコントラストが得られる余裕があることを実験で確かめてい る。このアプローチによって生成されるイメージと、逆反射スクリーンを用いた 場合のそれとの主要な相違は、視認者の顔が暗い背景に明るく表れることである 。 これらのどちらのアプローチにおいても、十分なコントラスト率が得られ、通 常、従来の画像解析に必要とされるデジタルフレーム記録／マイクロコンピュー タよりも、簡単で安価な回路を用いて、必要な情報をビデオ信号より抽出するこ とが可能である。このような回路は、図２に示すように、たとえば、水平、垂直 同期信号９ａ、９ｂを抽出するシンクセパレータ９に従って動作する。これらの パルスは、閾値回路 もしくはアナログデジタルコンバータを通った入力ビデオ信号と共に、高速なマ イクロプロセッサもしくはマイクロコントローラ７に読み込まれる。この情報は 、頭の位置の右、左、上のマークを生成するのに充分であり、ビデオ情報の複数 のフィールドを記憶する必要はない。 第２のアプローチは、ディスプレイユニット上の複数の異なる位置から音響範 囲検出を用い、視認者の位置を見つけるのに三角測量を利用するものである。３ Ｄディスプレイの各コーナーに一つづつ設けた４つの超音波トランスデューサー に基づくシステムは、次のように動作する。一つのトンスデューサーはパルスの 送信に用いられ、残りの３つのトランスデューサーはパルスのエコーを受信する ようセットされる。（最も近い対象から）受信された最初のパルスは、視認者の 鼻からのものである。パルスを送った時間と各センサーでそれを受信した時の時 間遅延が分かれば、（各センサから）対象までの距離を決めることができ、三角 測量法により、この位置の空間上のポイントを求めることができる。 この手順は、順番に各センサからパルスを出射することにより繰り返され、シ ステムの制度を向上するために、ランニングアベレージを保持する。もっと複雑 なアルゴリズムや、異なる数や構成のトランスデュサーを、最も近いポイントを 検出するだけでなく、複数のポイントを決定するために用いてもよい。 一方、音響ホトグラフィーの技術は、視認者の頭の位置を決定するために用い られる。充分な解像度があれば、この技術によって、視認者の両目の位置を決定 することができる。 シャドウスクリーンの技術は、明らかに、様々な技術のうちで、最も簡単でコ スト効果の高いものの一つである。シャドウスクリーンは、図３ａ、３ｂに示す ように、いくつかの方法で構成することができる。 図３ａの構成において、単一の光源１６（赤外ＬＥＤのアレイで構成すること もできる）は、コード化されたもしくは直接の光源１６ａで、視認者１を投光す る。視認者１の背後の光検知器１５は、受けた光を、“遮断された”もしくは“ 通過した”状 態にデコードする。 このアプローチによって、人のシルエットまたは“シャドウ”が形成され、標 準値または個々の視認者に合わせた設定から両目の位置が見積もられる。 コード化された光（すなわち、変調された）は、単純な直接（静的な）光より も、おそらく使用に適している。なぜなら、これは、環境光や起こり得る（視認 者とスクリーンの間の直接な視線ライン以外のパスに光を流れ出させる）迷い光 に対して、よりよい分別を可能とするからである。 他のシステムの構成を図３ｂに示す。この例では、スクリーン１７は、スクリ ーン１７は、光源１７ａを構成し、単一の検出器１８が設けられる。この構成は 、おそらく、図３ａに示した構成よりも安価である。なぜならば、これは、ただ 一つの光検知器と増幅部（これは通常、赤外ＬＥＤよりも高価である）しか必要 としないからである。この場合、光源は、時多重、周波数変調、または、他の適 当な変調／コード化技術のいずれかによって、検出器が一つの光源を他のものと 区別でき、これによって、どの光源が視認者によって遮断されたのかを決定でき るように変調される。 システムの他の構成を図４に示す。この例では、赤外光源１２１によって、視 認者１とスクリーンが、赤外光１２３のストライプの列で照射される。赤外検出 器１２２は、光景からのラインの反射を受け取る。適切な赤外光ストライプの時 コード化と変調によって、視認者の頭のポジションを決定することが可能となる 。 図１(b)に示したように、背景幕１２０の逆反射を排除し、純粋に、視認者の 顔の反射によることができる。 一方、システムは、反射スクリーンを使用せずに、視認者の顔の赤外ストライ プの反射を、垂直なストライプのゆがみを視て深さの情報を決定することのきる ビデオカメラで観察するようにしてもよい。これらの深さの等高は、頭の位置を 決定するために用いることができる。 もし、垂直のストライプが相互に近すぎると、ストライブ間の距離の半分以上 のゆがみが（深さの違いによって）帯模様に生じた場合、エリアシング（aliasi ng）効果 が生じる可能性が生じる。これを避け、適切な解像度を保つ為には、ストライプ を粗く（等しくではなく）配置し、引き続くフレームにおいて、第１のストライ プの相対的位置をずらす必要がある。このアプローチの副次的効果は、サンプリ ングレートが低くなることである。もう一つの潜在的な問題は、反射や他の明る い光源のハイライトを垂直のストライプとして検出してしまう傾向があることで ある。この問題は、差分解析技術によって解決することができる。 費用もかからず信頼性もあるけれども、３Ｄディスプレイシステムの向上のた めの頭トラッキング技術の基本的な問題は、所望の情報（視認者の両目の位置） を単純に評価することであり、システムに視認者の頭の回転を考慮する方法がな いので、普通の視認時に起こり得るように視認者が単純に頭をわずかに回転させ るだけで、（特に視る角度が高いときには）左目が右目の位置に、または、この 逆に動き、入れ替わってしまう可能性があることである。 このような状態は３Ｄの認識の１００％の失敗をもたらすので、もっと直接的 なアプローチが必要であることが示唆される。 目のトラッキングは、視認者の両目の位置を直接追いかけることにより、頭の トラッキングで起きた評価の問題を解決することができる。これは、いくつかの 異なるアプローチで達成することができ、最も現実的な２つは、 １）逆反射 ２）画像解析 である。 逆反射に基づく目トラッキングシステムは、環境光レベルの変化からの影響が 少なく、影や他の光学的散漫を免れた、信頼性ある安心できるものということが できる。 逆反射目トラッキングシステムは、第１には“キャッツアイ”原理に基づいて いる。すなわち、図５に示すように、目２０は、光をその元に反射する特性を持 っている。これは、レンズ２２と網膜２１の配置によるものである。逆反射の効 果が起きる程度は、入射光の強さと、瞳孔のエリアと、網膜２１の乱反射の度合 いに影響される。こ の反射の大きさ、そして、“キャツアイ”効果の有効性は、目の生理機能の相違 より、人間よりも動物（猫や犬など）のほうが遥かに大きい。原理的には、図６ に示すように、視認者の目であろうところのイメージ中の最も明るい点を検出す るように設計された、簡単な構成の機能システムを実現することは可能である。 しかしながら、光源がカメラの光軸に極めて近いときでさえ、逆反射の程度は、 視認者の鼻や頬の通常の乱反射より、高い程度の信頼性を達成するほどには充分 に高くない。この問題に加え、他の光源や、グラスのような反射物の反射による ハイライトが、視認者の目の中の逆反射ポイントとおなじくらい明るく現れる。 これらのことや他の理由により、もっと洗練されたアプローチが取られなければ ならない。 図６に示した構成は、ピンホールレンズ２６に組み合わせたビデオカメラ２５ よりなっている。ピンホールレンズ２６を囲んでいるのは、赤外ＬＥＤ２７のア レイである。この構成は、ＬＥＤ光源２７が、できるだけ、カメラレンズ２６の 光軸の近傍となり、視認者の両目からの逆反射の効果を最大となるように選ばれ たものである。カメラは、赤外ＬＥＤが視認者の顔と両目を照射するように配置 されている。したがって、カメラ２５が出力するビデオは、このイメージを含ん でいる。 視認者のグラスやその他の物の反射がなく、環境光が少ない条件下では、備え る単純な閾値技術に充分な以上に逆反射のレベルが大きいことが分かった。しか しながら、視認者のグラスやその他の物の反射があり、環境光が高いレベルの条 件下では、顔や無関係な物の反射に対する逆反射の率は、単純なデコード処理で 解析できないほど小さくなる。 このような状況では、不必要な反射や、背景や、他の偽の光の条件を排除する 、異なる解析技術が必要になる。 適用することができる最も単純な異なる解析技術は、一つのフィールドを赤外 ＬＥＤ光源をスイッチオンして捕捉し、第２のフィールドを光源をスイッチオフ して捕捉することである。これらの２つのイメージは、コンピュータで減算され 、さらに異なる解析が施される。 このアプローチの問題は、視認者の顔からの乱反射により光のレベルの平均は 、赤外ＬＥＤアレイのスイッチオン、オフで変化することである。より有効な構 成を図７に示す。この構成では、一方のセットのみが一度にスイッチオンするよ うに、２つのＬＥＤアレイ２７、３０を設けた。両アレイは、環状かつ同心状に 、カメラレンズ２６の光軸の回りに配置されている。アレイ２７が点灯すると、 カメラ２５は、直接反射（光沢のある表面からの）と、乱反射（つや消しの表面 からの）と、逆反射（視認者の目からの）の組み合わせを受ける。アレイ３０が 点灯すると、カメラは、直接反射と乱反射だけを受ける。したがって、両イメー ジの差分を求めることにより、他の形態の反射のなかから、逆反射を抽出するこ とができる。 このアプローチの問題は、イメージをフィールドレート（すなわち、ＰＡＬビ デオ方式では２０ｍs/フィールド）でしか捕捉できないので、意味のあるレベル のイメージ間の一時的ずれが生じ、このため、視認者かカメラに意味のある動き があった場合には２つのイメージの減算の結果、不必要な反射の不完全なキャン セルしか行われないことである。この問題は、両方のイメージを同時に捕捉する ことにより解決することができる。図８、９に示すように、いくつかの光学的構 成は、これを可能とする。 図８は、カメラ３７、３８のペアを供え、前反射鏡４８は、各レンズからのイ メージを半分づつに分割する。一方のカメラは、カメラ３７について示すように 、カメラの光軸近傍に半円状のＬＥＤ47を備えている。この基本的構成の動作は 次のようなものである。カメラ３７は、つや消しと直接反射と共に逆反射を受け 、カメラ３８はつや消しと直接反射だけを受ける。なぜならば、カメラ３８は、 その光軸に沿って照射されておらず、逆反射を受け取らないからである。しかし 、前の例とは異なり、２つのイメージは、同時に捕捉され、視認者やカメラの動 きの影響を受けない。この場合、両方のカメラからのビデオ情報は、デジタルフ レーム記憶として捕捉され、前述と同様の技術を用いてコンピュータで解析され る。 同様の機能は、図９の構成によっても達成することができる。この場合、逆反 射と逆反射でないものは、狭帯域パス干渉フィルター（narrow pass interferen ce filter） ５７、６４と、わずかに波長を異ならせた赤外ＬＥＤ光源５９、６０を用いるこ とにより分離される。この構成は、光のパスが同一であり差分をとるプロセスの 効果を向上させるので、図８の構成より優れている。しかしながら、異なる波長 の光を使うことは、顔の組織の色などによってイメージの明るさを幾分変化させ ることは留意すべきである。 前述した全ての逆反射目トラッキングシステムを悩ませる一つの主要な問題は 、光源の直接反射（通常、グラスや視認者が身につけたメガネの金属フレーム） である。 これらの偽のハイライトポイントは充分に、図７、９の差分をとる処理で（赤 外ＬＥＤのふたつの同心状の組によって）排除することができるが、このポイン トのキャンセルは、副次的効果として、しばしば、視認者の両目からの逆反射も （逆反射中に表れる瞳孔のハイライトを実質的に描く角膜の反射のキャンセルの ために）排除してしまうことがある。この問題は、図１０に示すように、交差配 置した偏光器を用いることによって、前述した全ての構成において、充分に解決 することができる。直接反射は入射光の偏光角を維持する傾向があり、つや消し の反射と逆反射（網膜からの）は入射光の偏光を崩しやすいことが知られている 。したがって、送られた光が一つの平面に偏光しており１または複数のカメラが 、この平面と交差して偏光する偏光器を備えていれば、直接光は遮断され、つや 消しの反射と逆反射だけがカメラに受け取られる。 この光源と検出器に偏光器を追加する構成は、前述したどの技術にも適用する ことができる。そして、この技術を用い、光学的ノイズレベル以下の逆反射を良 好に抽出することができ、また、カメラと視認者の動きに対しても対処できる。 しかしながら、これは、瞳孔収縮現象という新たな問題を提起する。この現象 を説明するためには、目から逆反射が起こるメカニズムをまず説明しなければな らない。 先の説明より分かるように、逆反射の技術の使用は、両目の位置を決定するの に効果的である。しかし、これらの技術は、実用において問題がある。先の説明 で示されていない主要な問題は、逆反射性についての目の生理学的影響である。 普通の目の動作において、どのような明るい光の入射も、瞳孔の収縮を引き起 こす。オートステレオスコープディスプレイにおいて、明るい環境光または明る いイメージからの明るい光が各目に投射される。光の強度は瞳孔の収縮を増加さ せるので、目の逆反射は充分に検出できなくなる。 人間の目の逆反射率に影響を与える瞳孔収縮のメカニズムを図１１(a),(b)に 示す。瞳孔が拡がった図１１(a)に示されるように、入射光３３の多くの部分が 目２０の中に入ることができる。この光は、レンズ２２によって網膜２１の点に 合焦される。網膜２１の乱反射は、レンズ１１によって、再合焦され、強度３２ の並行光線となる。図１１(b)の瞳孔収縮の場合は、はるかに少ない入射光が目 の中に入り、有効入射光３４を形成する。したがって、合焦点からレンズにもど る光は、とても減少している。このため、戻ってくる光３２の強度は、先の場合 (すなわち、図１１(b))に比べとても小さく、さらに、戻る光線の直径も小さい 。 前述した全ての赤外ＬＥＤに基づく目トラッキングシステムは、これらを明る い環境光の条件下では実現できなくする瞳孔収縮現象の影響を被る。しかしなが ら、目からの逆反射の先の例に戻ると、全ての条件下で目３４に同じ強度の光が 入ることを保証できれば、瞳孔収縮は戻ってくる光線の強度に影響を与えず、戻 って来る光線３２の直径だけに影響する。この場合、瞳孔のサイズにかかわらず 、同じ逆反射率となる。 もし、拡散赤外ＬＥＤ光パターンに代えて、本システムが、走査されるレーザ ービームに基づく光源を利用し、視認者の目の瞳孔の直径より小さな直径のレー ザービームを供給すれば、このような状況を作り出すことができる。このような システムの最も簡単化された構成は、レーザー送信モデュール１０５、回転ミラ ー機構７５、回転または振動ミラー機構８０を含む図１２のように実現すること ができる。 適正に回転ミラー７５と可動ミラー８０を同期化することにより、光線は、テ レビジョン技術で使用されている“フライングスポットスキャナー”と同様に、 視認者の顔を交差する走査を繰り返し行う。光線で視認者の顔を交差する走査を 行うために、ボイスコイル機構にマウントした１または複数の鏡やマイクロミラ ー技術(Texas Insttuments,ＵＳＡで製造されているような)などの他の技術も利用できる。 レーザー機構１０５は、変調レーザー１０７と、１またはそれ以上の光学的検 出器１０６を備えている。鏡などのごみの粒子の直接反射によって、レーザービ ームの出射が誤って戻る光として検出されないように、複数の検出器をレンズな どを用いて並行（collimate）にし、光線軸からわずかにずらすことにより、最 も良い性能が得られる。 環境光の影響を排除するために、レーザー光源を変調することにより利点を引 き出すことができる。しかしながら、イメージ検出器（おそらくは、ＰＩＮまた はアバランシェダイオード）のシリアル（ポイント毎）性のために、現在は、ピ クセル毎（ポイント毎）またはライン毎を基本として光源を変調することが可能 であり、これにより、視認者または走査システムの動きに対するシステムのどの ような感度の問題も解決することができる。視認者の瞳孔の直径はとても小さい (おそらく２ｍｍ)ので、交互化されたスキャンラインを見失って瞳孔を見失った り無視したりすることのない、ピクセル毎を基本とする変調のほうが、ラインを 基本とする変調よりも望ましいと考えられる。従来の同期復調技術をイメージの デコード段階に有効に用いることができるので、レーザービームのサイン波もし くは三角関数による変調を用いることを推奨する。 先のＬＥＤを用いたシステムでは、検出器の前に置いた交差する偏光フィルタ ーを用いて直接反射を排除した。レーザーシステムとの相違は、多くの半導体レ ーザーモジュールは、既に平面偏光されたビームを生成し、そのために、その結 合において全体的にシステムの感度の減少はほとんど無い。 図１２の構成の問題は、検出モジュールと１０６とレザー１０７の光軸がずれ ているために、第１のデフレクターをとても大きくしなけらばならないことであ る。図１３、１４、１５に示した他の構成では、デテクターの光学的構成部分７ ８、７９を第１のビームデフレクターの光路の外に移動し、これにより、システ ム全体の大きさをとても小さくしている。 これらの例では、単一の検出器要素が、レーザービームの各スキャンの度に読 み出される、たとえばラインＣＣＤなどのラインを取り扱う検出器部品８５に置 き換えられている。また、図１６に示すわずかに相違する光学的配置を用いるこ とにより、従来のＣＣＤカメラ１１０のような、従来の全フィールドタイムのス キャンデバイスも用いることができる。この構成では、スキャンシステムは、２ 軸ボイスコイルドライバや他のデフレクションシステムのような単一のミラー配 置１１２を利用して、２軸のスキャンを行う。 図１７に、このポイント拡散システムの具体例を示す。この場合、光学的配置 は、二軸のプリズムのスキャンシステムと、その後の投影レンズよりなる。対象 からの戻り光は、ピンホールレンズ１２８を備えた従来のＣＣＤビデオカメラ１ ２７で検出される。このシステムの先のシステムに対する主要な利点の一つは、 検出システムを単純化できることと、出射されるビームと検出器の戻りビームの 間のクロストークのリスクを負うことなしに、出射ビームの光軸に、検出器の光 軸を極めて近づけることができる点である。これは、鏡や他の光学的要素が、結 合された光路中にないことによるものである。 このシステムは、次のように動作する。先のシステムのように、レーザー１２ ０（偏光器１２１を備えた）は、この場合は複数の側面を備えたもしくは四角の プリズム１２４、１２５に入射する平行光線を生成する。プリズムは、その回転 軸が相互に９０度を成すように設けられる。適正な屈折により、プリズムは、新 たなビームが常にプリズムに入射するビームと平行になるように、レーザービー ムに方形の領域をスキャンさせる。この平行な第２のビームは、図示する投影用 光学部品を通る。これらの光学部品は、水平、垂直のずれを、（レンズの光軸か らの）角度のずれに変換する。 レンズの光学的特性より、得られた走査ビームは、検出レンズ１２８の前方の 焦点に収束する。この点では、ビームの直径は数ミリメータ程度となり、これに より、投影システムの光軸の極めて近くに検出カメラ１２７のレンズ１２８を配 置することが可能となる。このようなことは、いままでのスキャンシステムでは 、水平面垂直面 の二つの異なるビームの収束点が現れるため、達成することができない。このレ ーザービームのの光軸への接近は、逆反射と通常の乱反射の間の比（逆反射率） を向上し、システムの有効性を向上する。 光源を既知の周波数のサイン波で変調、増幅することにより、レーザー技術を 向上することができる。変調された光線からの反射光だけが、この既知の周波数 で変調されているので、光検出器の出力において網膜からの逆反射を表す信号を 検出するのに、従来の可干渉性の変調技術を用いることができる。 以上のスキャンと検出の技術は、応用に応じて、目の位置を決定するために、 本発明中において用いてよい、 これらのトラッキングシステムは、次のような利点を以って、単独で、または 、動作を向上するために組み合わせて用いることもできる。 １）深さの情報を用いて偽の明るい点をさらに分別する。 ２）ディスプレイか視認者までの距離についての空間的情報を供給する。 ３）視認者の距離による位置エラーを除去する。これは、単純に、２つのイメ ージの空間的座標の平均をとることで達成できる。 ４）視認者の目に投影するイメージの焦点を合わせるために、追加的な情報を 供給する。画像解析 フェーズＡ 画像解析は、全ての目トラッキングシステムの中で、最も洗練されたアプロー チである。逆反射に基づくシステムのように、これは赤外フィルターを備えたビ デオカメラを用いる。赤外光のスペクトルは、光の反射の程度に及ぼす表皮の色 素の影響を低減するよう選択されている。ビデオカメラは、デジタルフレーム記 憶部とマイクロプロセッサーボードに接続されている。 マイクロプロセッサは、ビデオ情報を解析し、初めに視認者の頭の位置を同定 し、 そして、視認者の両目を同定する。これは、顔の容貌の構成と造化の一般的理解 に基づいて行われ、特定の視認者の特徴に依存しない。 解析処理は、図１８に示すように二つの主要な段階からなる。フェーズＡは１ ８(a),(b)、フェーズＢは１８(c)である。解析の第１の段階は、視認者の頭の位 置を見つけることである。これは、視認者の両目を見つけるためのサーチ領域を 著しく減少させるため重要である。これは、第１に解析のフレームレートを向上 し（すなわち、解析の高速化する）、第２に誤って背景の情報が表れる領域をマ スクによって除外することにより解析の正確性を向上するという二つの利点をも っている。 基本的な処理ステップは、図１８に示すように視認者の位置の決定を含む。こ こで、この段階の解析の基本的メカニズムは、減算子である。この演算子はの目 的は、前景（視認者が表れているイメージ）と背景（視認者が表れていないイメ ージ）との差を求め、これにより、視認者のイメージを背景から取り出すことで ある。これで得られた情報は、これが元の前景のイメージから変化させられてい るため、直接、以降の解析の段階で用いることができない。しかし、これは、図 １８ｂに示す解析の第２の段階に必要な境界を供給する。 解析の第１の段階は、実際の目の座標を決定するために用いられるのではない ので、高度の正確さは必要でなく、比較的低い解像度である７５＊７０（水平＊ 垂直ドット）のみで解析を実行する。解析の主要部分に示すように、第１ステッ プは低い解像度（７５＊７０）のフィールドを読み込むことである。その後、こ のフィールドは、（同じ解像度の）背景アレイから減算される。差分の情報は、 ポイント毎に、許容出来るずれの閾値と比較される。差がこの範囲を越えたなら ば、そのポイントは"hot"、すなわち、背景と異なる領域の前景であるとする。 もし、差はこの範囲内であれば、そのポイントは"cold"とする。 この"hot"ポイントは、頭のマークのトップ、左、右を決定するために用い、" cold"ポイントは無視する。すなわち、最も上の"hot"ポイントはトップマークを 設定するのに用いられ、最も左の"hot"ポイントは左マークを設定するのに用い られ、最も右の "hot"ポイントは右マークを設定するのに用いられる。 各フィールドの解析で見つけられた"hot"ポイントの総数は記録される。この ポイントの総数は、閾値と比較される。頭の位置の解析が確かであるとし、一時 的な頭追跡のマークを、その後、有効なマークにコピーするためには、少なくと も閾値と同じ“hot”ポイントがなければならない。このような状況にならない 場合には、頭追跡のサーチは"cold"であるとされ、目追跡サーチは開始されず、 いままでの目の位置が維持される。 頭トラッキングプログラムのメインループに示されるように、システムが背景 の信頼できるイメージ（すなわち、視認者が表れていない）をもっていることが 、正しい処理を可能とするために、極めて重要である。これは、プログラムの二 つの異なるセクションによって取り扱われる。第１は、初期化セクション、これ は、スタートアップ時に一度だけ実行される。その概要を図２０に示す。初期化 において、平均ビデオレベルが特定の範囲内になるまで、カメラのゲインは、マ イクロプロセッサボードによって変化される。これは、正しい解析を行うに充分 なイメージ中のコントラストを保証するために必要である。これは、視認者がビ デオカメラの視界の中に踏み込むと全体の光のレベルが変化し、カメラゲインを 変化させ、結果、捕捉したイメージから、背景を変化したものとして“知覚”す ることになるので、単純に、ビデオカメラのオートアイリスやオートライトレベ ルを用いるだけでは実現することができないことに留意すべきである。もし、カ メラゲインを最大まで増加させた後にも、イメージがまだ暗ければ、マイクロプ ロセッサは、赤外ＬＥＤのバンクをスイッチオンして視認者の顔を照射し、カメ ラゲインの設定手順を、もう一度開始する。 この単純な処理は満足いくように動作するが、これは、特に自然光の変化など により、数時間にわたって起こると思われる、ゆっくりした背景の光レベルの変 化を考慮していない。この状況は、プログラムのメインルーティンの一部である “デルダ”ルーティンによって取り扱われる。このルーティンは、引き続くフィ ールド間のイメージの動きを監視する。この解析によって、視認者がカメラの前 に立っているか否かが （彼らが立ち続けていても、わずかな動きは検出される）決定できようになる。 この動き検出は、“アイロック”バリッドフラグ（後に述べる）と、システムに 背景を再捕捉することを許可するタイマーと共に用いられる。再捕捉を起こすた めに、以下の事項が起きなければならない。 １）バリッドアイロックフラッグのクリアが起きなければならない（すなわち 、アイロックでない）。 ２）デルタ操作は、動きがないことを提示しなければならない。 ３）（１）、（２）の組み合わせが、５秒間起きなければならない。 ３つの全ての特徴が実現されたならば、カメラのライトレベルの平均はチェッ クされる。そして、それが、初期化フェーズの期間中にセットされたものと充分 に違う場合には、カメラゲイン、赤外照射ライトのチェックが再度なされる。こ の後、背景は再捕捉され、既存の背景アレイ（ＲＡＭ中に保持）を置き換える。フェーズＢ 解析のこのフェーズは、図２１に示すように、視認者の両目の位置を決定する 。このルーティンで成される基本的な仮定は、視認者の両目は周辺の顔の皮膚よ りも暗いということである。赤外ライトの虹彩や網膜よりの反射はとても小さい と思われるので、これは安全な仮定である。このような状況ではあるが、もちろ ん、たとえば、口や鼻孔や髪などの他の部分が同じように暗くないという保証は ない。判別すべき主要な特徴の一つは、両目は暗く、明るい周辺を持つことであ る。 解析の第１のステップは、もちろん、フレーム記憶部よりビデオ情報をコンピ ューターに読み出すことである。この情報は、視認者の目の位置を決定するのに 用いられるので、プログラムの頭トラッキングセクションよりも高い解像度が必 要となる。もう少し高い解像度をより有利にするために用いることもできるが、 この場合は、１５０＊１４０（水平と垂直ドット）の解像度を用いる。 いずれの場合も、フレームに捕捉する最大解像度（６００＊２８０）を用い、 ピク セルを平均化する。すなわち、解析する各ピクセルは、８ピクセルのクラスタ（ ４＊２クラスタ）の平均を表している。この平均化は、ビデオ信号中のノイズの 影響を軽減し、結果を少し向上するのに役立つ。しかしながら、製品のマシンで は、（システムのフレーム捕捉部に必要なメモリを減らすことにより）コストを 下げるために、この特徴を省略してもよい。 ここで、フレーム捕捉部から高い解像度で読み出されるビデオ情報は、解析の 頭トラッキングフェーズで低い解像度で読み出した情報と同じフィールドを形成 することに留意されたい。 解析の第２のステップでは、黒閾値レベルを決定する。このレベルは、目追跡 の領域（目トラッキングのためにサーチされた領域）中のピクセルの解析によっ て算出する。既存のソフトウエアでは、このレベルは全てのピクセルをサーチし 最小と最大レベルを見つけることにより算出する。この黒レベルは、これら両極 の真ん中のポイントとするが、他のより優れた処理を、この部分に適用してもよ い。 解析の第３のステップでは、暗い領域を検出する。これは、最初にピクセル毎 にビデオレベルを黒閾レベルと比較することにより行う。もし、前景のピクセル が、このレベルより暗ければ、アクティブとし、そうでなければインアクティブ とし無視する。 この目トラッキング技術に関連する最も大きな問題の一つは、暗い髪が間違っ て検出され単一の大きな領域を形成する問題である。これらの問題の多くは、視 認者から髪のイメージをトリミングすることにより解決することができる。これ は、目追跡領域は視認者の頭の輪郭の中にあり、そして、ヘアラインを切り取っ ているので、可能である。これは、目追跡の窓の境界から始まり隣接するピクセ ルが有効（すなわち、充分に暗い）でなくなるところまでの、ストリップ中の髪 を切り落とす簡単な処理で達成できる。このようなトリミング処理は、目追跡領 域の全てのサイドから（下の縁を除く）始めるようにしてもよいが、このような アプローチはさほど良い結果をもたらさず、いくつかの場合において、目追跡領 域のトップからスタートした垂直なストリップ中も適用した単一のトリミングル ーティンより適正な結果をもたらす。これら の場合において、視認者の眉毛がヘアラインに接触している場合に間違いが生じ 、結果的にヘアラインの連続性という間違った仮定のために、視認者の目のイメ ージの全てもしくは一部を、水平トリミングルーティングが除去してしまう。こ のような理由のため、単一のトリミングルーティンを使用する。 トリミング処理が完了したならば、目追跡領域の残りのピクセルを解析し、前 述したように“アクティブ”、“インアクティブ”に分類する。“有効”なピク セルは、有効のタグづけをし、領域サーチルーティンが処理するアクティブアレ イに置く。 次のステップにおいて、領域サーチルーティンは、アクティブアレイをスキャ ンし、アクティブピクセルをサーチする。これらのピクセルは、領域サーチルー ティンによって、グループ化される。 領域サーチルーティンは（図２２に簡単に示したように）、見つかったオブジ ェクト（領域）についての情報のリストを戻す。この時点で、この情報は、最も 左のｘ座標、最も右のｘ座標、最も上のｘ座標、最も下のｙ座標と、ピクセル中 の領域の範囲からなる。 “確かな”オブジェクトの生成には、いくつかの制約がある。そのいくつかは 、 １）エリア ２）幅 ２）アスペクト比 であるオブジェクトは、次の条件のいずれかが生じた場合には、不定とされ無 視される。 a)エリアが大きすぎる（このオブジェクトは、おそらく、トリミングルーティ ンをくぐり抜けてきた髪か影を捕らえたものである）。 b)オブジェクトの幅が１である（これは、おそらく髪のストリップである）。 c)アスペクト比が２：１（高さ：幅）より大きい。目のアスペクト比は１：１ より大きいことはめったにないので、これはおそらく目ではない。 これら全ての要求を満たしたオブジェクトは、解析の次のレベルへのキューに 入れ られる。 解析の次のレベルは、“フィルタリング”の一種である。この段階では、偽の オブジェクトとオブジェクトのペアから、確かな目のペアを分別するために、初 めは各単一のオブジェクトに、そして、各オブジェクトのペアにテストが施され る。 このフィルタリングセクションは、図２３に示すように、基本的に階層的であ り、第１の基準である、そのエリアによってオブジェクトをランクづけする。こ れらは、最大のものから最小のものの順でリストに記憶され、だんだん、さらな る幾何学的および相互関係テストに従って、リストから取り除かれる。フィルタ リングは、いくつかの動的に変化する制約や要求に対して動作できるほどに、正 に“適応性がある”。フィルターは最も厳しいテストからスタートし、もし、た しかな目のペアが見つからなければ、テストの制約をゆるめ、新たな要求の組を 用いてオブジェクトを再テストする。もし、確かな目のペアが見つからなければ 、さらに、テストの制約をゆるめ、オブジェクトを再テストする。このパターン は、最小の制約となるまで、繰り返される。もし、ここでも、確かな目のペアが 見つからなければ、アイロックフラグをクリアし、いままでの目の位置を維持す る。 このフィルタリング処理の第１段階は、オブジェクトを最大のものから最小の ものまでソートすることである。リスト中の最大のオブジェクトは、“Ａ”オブ ジェクトとして選ばれ、現在のリストから除かれる。この現在のリストは、第２ のリストにコピーされる。この第２のリストの第１の項目（すなわち、最大の） は、潜在“Ｂ”オブジェクトとしてチェックされ、一連のチェックが施される。 ここでは、次のチェックが施される。 １）接触（優先度３） ２）アスペクト（優先度２） ３）角度（優先度１） 接触テストでは、オブジェクトの縁が、目追跡窓の縁に接しているかを調べる ためにチェックされる。目追跡窓が視認者のヘアラインを横切っており、このた め、とき としてトリムルーティンをくぐり抜けた小さな孤立した領域が生成されることが 、よくあるので、これは重要なテストである。しかしながら、確かな目の領域も そのようになることがあるので、目追跡領域に接する全てのオブジェクトを単純 に無視してしまうことはできない。この基準は、最も低い優先度を有し、この基 準を含むテストで、全てのオブジェクトのペアが除外されたならば、この基準を 除いて再テストを行う。ここで、目追跡窓の底と横だけが、このようにしてテス トされる。トリムルーティンは、トップの縁に沿ってチェックを開始し、実行後 、トップの縁はクリアとなるため、目追跡窓のトップの縁はチェックする必要が ない。 次のチェック（優先度２）は、オブジェクトのアスペクト比である。解析の前 の段階で、アスペクト比をチェックしているけれども、前の場合、そのアスペク ト比は２：１であった。ここでは、アスペクト比は、３：２（高さ：幅）より小 さい（正方形に近い）かをチェックする。オブジェクトがこの値より大きなアス ペクト比をもっていれば、除外する。しばしばオブジェクトが目追跡窓のサイド で切り取られ、実際のものより高いアスペクト比を示すことがあるので、この基 準を、単純に先立つアスペクト比のテストにまかせることはできない。もし、確 かな目の領域を除外するようなことがあれば、システムは、次のフィルタールー プの通過の際に、自動的にこのテスト基準を外すので、このレベルで、より厳し いアスペクト基準を負わせることには問題はない。 いずれの場合も、ポイントがセットされた“Ｂ”のリストの全てが、必要であ れば優先度３と２のフィルタリングを落としながら、フィルタリングの各レベル でチェックされ、終了する。確かな“Ｂ”ポイントが見つかると直ちに、“Ａ- Ｂ”の角度がチェックされる。このチェックでは、２点を結ぶ線と水平の成す角 度が計算される。もし、このアングルが予め定めた量よりも大きい場合には“Ｂ ”ポイントは除外され、新たな“Ｂ”ポイントのサーチが継続される。この角度 チェックの主要な目的は、視認者の目に合致するオブジェクトの、たとえば、鼻 孔や、口と極端な場合には目と眉のペア（同じ目の）との、グルーピングを排除 することである。これはフィルタリン グ処理のなかで最も高い優先度のテストであるが、他と同様に、これを含む処理 で全ての“Ａ-Ｂ”ペアが除外された場合には、これは迂回される。 確かな“Ａ-Ｂ”ペアが見つかると、アイロックが確かだと判定され、関連す るアイロックフラッグがセットされる。 図２３は直線コードのフィルタープログラムを示す。このプログラムは、簡潔 さを増すために異なる方法で実行されてもよいことに留意されたい。 図２３に示すように、両目の位置は、ヘッドトラッキングマークからの相対的 ずれとして算出される。そして、アイロックを失わせることができ、頭トラック マークからの最後に分かっているずれから評価されるので、視認者の動きがあっ ても目の位置はまだ維持される。しかし、頭ロックが失われたときは、アイロッ クは自動的に失われる。これは、目追跡窓を決定出来ないからである。 プログラムの目トラッキングセクション中の補足的な追加機能により、システ ムが目追跡領域のトップと頭トラッキングマークの間のオフセットを変更するこ とを可能とし、異なる長さやスタイルの視認者を、より柔軟に取り扱うことがで きるようになる。この“トラック”と呼ぶルーティンは、目追跡領域の中心と最 後の確かな目のペアの垂直方向の位置との相対的オフセットを、垂直オフセット の程度を変更するのに用いる。この調整もしくは“トラッキング”は、アイロッ クが確かである場合に行われる。アイロックが失われれば、目追跡ウインドウは 、少しづつ、中止位置に戻る。このアプローチの理由は、もし、アイロックが失 われれば、これは、目追跡窓が視認者の両目を囲まないほど離れたところに動い てしまったからと考えられるからである（このような状況は、視認者が頭を上か ら下にもしくは逆に素早く動かしたときに生じる）。この自己センタリングによ り、このような状況で、システムがロックを捕まえ直すことができる。 ここで、多くののステレオスコープシステムでは、３Ｄイメージを知覚するた めには、視認者がディスプレイ装置から決まった距離に位置することが必要であ る。前述した単一のカメラと光検出器のシステムは、シーンの少しづつ違う光景 を受け取るよ うに、２つのカメラもしくは光検出器を用いるように修正してもよい。二つのカ メラもしくは光検出器の出力中の視認者の位置の違いを比較することにより、デ ィスプレイ装置と視認者の間の距離を算出し、これに従い動作することができる ようになる。 以上の説明では赤外光源について言及したが、以上の技術において、他の光源 を使用することも考えられる。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，Ｍ Ｃ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ， ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，Ｕ Ｇ)，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＢＢ，ＢＧ，ＢＲ，Ｂ Ｙ，ＣＡ，ＣＨ，ＣＮ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ ，ＦＩ，ＧＢ，ＧＥ，ＨＵ，ＩＳ，ＪＰ，ＫＥ，ＫＧ， ＫＰ，ＫＲ，ＫＺ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，Ｌ Ｖ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ， ＳＫ，ＴＪ，ＴＭ，ＴＴ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，Ｖ Ｎ

Claims (1)

1. 【特許請求の範囲】発明を限定するクレームは次の通りである １．オートステレオスコープディスプレイシステムの視認者のトラッキングシス テムであって、オートステレオスコープディスプレイシステムに対して相対的に 、視認者の頭及び／又は目の位置を求める手段を有する。 ２．クレーム１のトラッキングシステムであって、オートステレオスコープディ スプレイシステムは、左及び右イメージフィールドを含むステレオスコープイメ ージを提示し、トラッキングシステムは、イメージフィールドを、少なくとも実 質的に、視認者の目の位置に整合するように位置づける。 ３．クレーム１または２のトラッキングシステムであって、トラッキングは少な くとも一方向について行われる。 ４．オートステレオスコープディスプレイシステムの視認者のトラッキングシス テムであって、 (a) 背景スクリーン (b) 光軸を持つレンズを含んだカメラ (c) 前記レンズの近傍に配置された光源 (d) カメラからの信号を処理する手段 とを含み、視認者が背景スクリーンの前で位置が求められるときに、視認者と 背景スクリーンは前記光源で照射され、前記カメラは、背景スクリーンに対する シルエットとして視認者を示すイメージを捕らえ、前記処理手段は、シルエット の境界の位置を求めることにより、視認者の頭の位置を求める。 ５．クレーム４のトラッキングシステムであって、背景は逆反射性のスクリーン であ る。 ６．クレーム４または５のトラッキングシステムであって、光源は赤外光を出射 する。 ７．クレーム６のトラッキングシステムであって、光源は赤外ＬＥＤのアレイを 含んでいる。 ８．クレーム６または７のトラッキングシステムであって、前記カメラレンズの 前に赤外フィルターが配置されている。 ９．クレーム４から８のうちのいずれかのトラッキングシステムであって、前記 処理手段は、カメラからの信号を処理する処理回路を備え、当該回路は、水平及 び垂直同期パルスを分離する同期分離器と、同期パルスを読み込み、これより前 記シルエットの境界の位置を決定する制御手段を含む。 １０．背景スクリーンと、光軸を持つレンズを含んだカメラと、前記レンズの近 傍に配置された光源とを有するトラッキングシステムを備えたオートステレオス コープディスプレイシステムの視認者をトラッキングする方法であって、背景ス クリーンの前で視認者の位置を求め、視認者と背景スクリーンを前記光源で照射 し、前記カメラは、背景スクリーンに対するシルエットとして視認者はカメラに 捕らえられ、シルエットの境界の位置を求めることにより、視認者の頭の位置を 求めることを含む。 １１．オートステレオスコープディスプレイシステムの視認者のトラッキングシ ステムであって、音響パルスを視認者に向かって送信する、離れた位置に配置さ れた、少なくとも２つの超音波トランスデュサーと、各トランスデュサーから受 け取った信号を処理する処理手段を含み、各トランスデュサーはそれぞれ前記音 響信号を送信し、 残りのトランスデュサーは視認者から反射した信号を受信し、処理手段は、トラ ンスデュサーから結果信号を処理し、これにより、視認者の頭及び／又は目の位 置を決定する。 １２．クレーム１１のトラッキングシステムであって、４つの超音波トランスデ ュサーを備えている。 １３．音響パルスを視認者に向かって送信する、離れた位置に配置された、少な くとも２つの超音波トランスデュサーを有するトラッキングシステムを備えたオ ートステレオスコープディスプレイシステムの視認者をトラッキングする方法で あって、各トランスデュサーからそれぞれ前記音響信号を送信し、残りのトラン スデュサーで視認者から反射した信号を受信し、処理手段は、トランスデュサー からの結果信号を処理し、各トランスデュサーの結果電子信号を処理し、これに より、視認者の頭及び／又は目の位置を決定することを含む。 １４．クレーム１３の方法であって、三角測量法で信号を処理することを含む。 １５．クレーム１３の方法であって、音響ホログラフィック法の手段によって信 号を処理することを含む。 １６．オートステレオスコープディスプレイシステムの視認者のトラッキングシ ステムであって、 (a) 光検出アレイを備えた背景スクリーン (b) 背景スクリーンを照射する光源 とを含み、視認者が背景スクリーンの前で位置が求められるときに、視認者と 背景スクリーンは前記光源で照射され、視認者がスクリーンに落とす影は前記ア レイの部 分に対して光を遮断し、これにより視認者の頭の位置を求める。 １７．クレーム１６のトラッキングシステムであって、光源は赤外光を出射する 。 １８．クレーム１７のトラッキングシステムであって、光源は赤外ＬＥＤのアレ イを含んでいる。 １９．クレーム１７のトラッキングシステムであって、光源はコード化された光 を照射する。 ２０．光検出アレイを備えた背景スクリーンと、背景スクリーンを照射する光源 とを備えたトラッキングシステムを有するオートステレオスコープディスプレイ システムの視認者をトラッキングする方法であって、視認者は背景スクリーンの 前で位置が求められ、視認者と背景スクリーンを前記光源で前記視認者が前記光 検出器に影を落とすように照射し、これにより、視認者の頭の位置を求める。 ２１．オートステレオスコープディスプレイシステムの視認者のトラッキングシ ステムであって、 (a) 光源アレイを備えた背景スクリーン (b) 光源アレイから出射した光を検出する光検出器 を備え、背景スクリーンの前で視認者の位置が求められるときに、視認者は光 源アレイの一部から照射される光を遮断し、光源の遮断されない部分からの光は 、光検出器で受け取られ、これにより、視認者の頭の位置を決定する。 ２２．クレーム２１のトラッキングシステムであって、光源はコード化された光 を出射する。 ２３．光源アレイを備えた背景スクリーンと、光源アレイから出射した光を検出 する光検出器とを備えたトラッキングシステムを有するオートステレオスコープ ディスプレイシステムの視認者のトラッキングを行う方法であって、光源アレイ の前で視認者の位置を求め、視認者は光源アレイの一部から照射される光を遮断 し、光源の遮断されない部分からの光を光検出器で受け取り、これにより、視認 者の頭の位置を決定することを含む。 ２４．オートステレオスコープディスプレイシステムの視認者のトラッキングシ ステムであって、 (a) 背景スクリーン (b) 複数の平行な光のストライプを照射する光源 (c) 光検出器 (d) 処理手段 とを含み、視認者が背景スクリーンの前で位置が求められ、平行なストライプ が視認者と背景スクリーンの上に投影されているときに、光検出器は平行なスト ライプの反射を受け取り、処理手段は、照射された光の特性に基づいて視認者の 頭の位置を求める。 ２５．クレーム２４のトラッキングシステムであって、光源は赤外光の垂直なス トライプを照射する。 ２６．背景スクリーンと、複数の平行な光のストライプを照射する光源と、光検 出器とを備えたトラッキングシステムを有するオートステレオスコープディスプ レイシステムの視認者をトラッキングする方法であって、背景スクリーンの前で 視認者の位置を求め、平行なストライプを投影し、光検出器で平行なストライブ の反射を受け取 り、照射された光の特性に基づいて視認者の頭の位置を求めることを含む。 ２７．クレーム２６の方法であって、光源は赤外光の垂直なストライプを照射す る。 ２８．クレーム２６または２７の方法であって、前記パラメーターは、ストライ プの時コード化と変調を含む。 ２９．オートステレオスコープディスプレイシステムの視認者のトラッキングシ ステムであって、 (a) 複数の平行な光のストライプを照射する光源 (b) 光検出器 (c) 処理手段 とを含み、視認者が背景スクリーンの前で位置が求められるときに、光検出器 は平行なストライプの反射を受け取り、処理手段は、反射したストライプの歪み の光景に基づいて視認者の頭の位置を求める。 ３０．クレーム２９のトラッキングシステムであって、光源は赤外光の垂直なス トライプを照射する。 ３１．複数の平行な光のストライプを照射する光源と、光検出器とを備えたトラ ッキングシステムを備えたオートステレオスコープディスプレイシステムの視認 者をトラッキングする方法であって、赤外光のストライプを視認者に投影し、反 射したストライプ光の歪みの関数として視認者の頭の位置を求める。 ３２．クレーム３１の方法であって、光源は赤外光の垂直なストライプを照射す る。 ３３．オートステレオスコープディスプレイシステムのトラッキングシステムで あって、 (a) レンズを備えたカメラ (b) レンズの近傍に配置された光源 を含み、カメラの前で視認者の位置が求められるときに、光源から視認者に向 かって光が照射され、視認者の目から反射した光は、カメラに受け取られ、これ によって、視認者の位置を決定する。 ３４．クレーム３３のトラッキングシステムであって、前記レンズはピンホール レンズである。 ３５．クレーム３３または３４のトラッキングシステムであって、前記光源は、 レンズを取り囲む赤外光源である。 ３６．オートステレオスコープディスプレイシステムのトラッキングシステムで あって、 (a) レンズを含むカメラ (b) レンズの近傍に配置された第１の光源 (c) レンズから少し離して配置された第２の光源 (d) カメラからの信号を処理する処理手段 を備え、レンズの光軸に沿った視認者位置に視認者がいるときに、第１、第２ の光源から別々に光が照射され、第２の光源から照射された光源は、視認者位置 から、つや消しおよび直接反射として反射され、第１の光源から出射された光は 、視認者位置から、つや消しおよび直接反射として反射され、さらに光源は視認 者の目から逆反射として反射され、処理手段は、第１と第２の光源が点灯したと きの反射光間の相違を求め、これより、視認者の目の位置を決定する。 ３７．クレーム３６のトラッキングシステムであって、前記レンズはピンホール レンズである。 ３８．クレーム３６または３７のトラッキングシステムであって、前記光源は赤 外光を照射する。 ３９．クレーム３８のトラッキングシステムであって、第１、第２の光源は、そ れぞれ、レンズの光軸近傍を少なくとも実質的に中心とした、赤外ＬＥＤの環状 のアレイとして設けられている。 ４０．視認者に向けられたレンズを備えたカメラと、レンズ近傍に配置された第 １の光源と、レンズから少し離して配置された第２の光源とを備えたトラッキン グシステムを有するオートステレオスコープディスプレイシステムの視認者を、 視認者が視認者位置にいるときにトラッキングする方法であって、視認者に向か って第１の光源から光りを出射し、第１の光源から出射された光は、視認者位置 から、つや消しおよび直接反射として反射され、さらに光源は視認者の目から逆 反射として反射され、第２の光源から視認者に向かって光りを出射し、第２の光 源から出射された光は、視認者位置から、つや消しおよび直接反射として反射さ れ、第１、第２光源を点灯した時の視認者からの反射光の相違を求め、これによ り、視認者の位置を決定することを含む。 ４１．オートステレオスコープディスプレイシステムのトラッキングシステムで あって、 (a) 第１のレンズを含む第１のカメラ (b) 第１のレンズの光軸近傍に配置された光源 (c) 第２のレンズを含む第２のカメラを備え、第２のカメラは第１のカメラ の近傍 に配置され、視認者は、光源から出射された光で照射され、第２のカメラは視認 者からのつや消し及び直接反射を受け取り、第１のカメラは視認者からのつや消 し及び直接反射を受け取ると共に、さらに、視認者の目からの逆反射を受け取る 。 ４２．クレーム４１のトラッキングシステムであって、さらに、各レンズで受け 取られれるイメージを分割するビームスプリッタを有し、光源はレンズのいずれ かの光軸の近傍にある。 ４３．クレーム４２のトラッキングシステムであって、光源は、レンズのいずれ かの光軸の側に、半円状配置で配置された赤外ＬＥＤのアレイである。 ４４．クレーム４１のトラッキングシステムであって、さらに、光学的バンドパ スフィルターと、異なる波長の光を出射する第１、第２の光源を備えている。 ４５．クレーム４４のトラッキングシステムであって、第１、第２の光源は、Ｌ ＥＤのアレイである。 ４６．クレーム４５のトラッキングシステムであって、第１、第２の光源は、第 １、第２の光源は、レンズの光軸近傍を少なくとも実質的に中心とした、ＬＥＤ の環状のアレイとして設けられている。 ４７．クレーム４１のトラッキングシステムであって、光源の前に配置された偏 光手段を有する。 ４８．第１のレンズを含む第１のカメラと、第１のレンズの光軸近傍に配置され た光源と、第２のレンズを含む第２のカメラを備え、第２のカメラは第１のカメ ラの近傍 に配置され、第２のレンズの光軸は、第１のレンズの光軸に対して相対的な角度 差があるトラッキングシステムを備えたオートステレオスコープディスプレイシ ステムの視認者をトラッキングする方法であって、 第１のカメラを視認者に向け、同時に、第１、第２のカメラで視認者からの反 射光を受け取り、これにより、第１のカメラは視認者の目からの反射光をさらに 受け取り、第１、第２のカメラで受け取った反射光間の違いを求め、これにより 、視認者の位置を決定することを含む。 ４９．オートステレオスコープディスプレイシステムの視認者をトラッキングす るトラッキングシステムであって、 a) レンズを備えたカメラ b) 光源 c) カメラと光源の前にそれぞれ配置された複数の偏光手段 を備え、これにより、偏光された光が視認者からカメラに反射される。 ５０．オートステレオスコープディスプレイシステムの視認者をトラッキングす るトラッキングシステムであって、 a) レーザービームを出射するレーザー手段 b) 回転する鏡機構 c) 回転可能な鏡機構 d) 光検出手段 を備え、レーザビームは前記回転する鏡機構で、振動する鏡機構に反射され、 レーザービームは、順次、視認者上をスキャンし、視認者から反射されたレーザ ービームは光検出手段で受光され、これにより、視認者の目の反射の位置を求め 、視認者の目の位置を求める。 ５１．クレーム５０のトラッキングシステムであって、さらに、光検出器の前に 設けた、交差して配置した偏光器を有する。 ５２．クレーム５０または５１のトラッキングシステムであって、光検出器の前 に配置されたレンズを有する。 ５３．クレーム５０から５２のいずれかのトラッキングシステムであって、回転 する鏡機構は、鏡の面からレーザービームを反射し、第１の平面上でスキャンす る第１の回転する複数の向かい合う鏡を有し、当該各鏡の角度は、隣接する鏡の 面の間で変化する。 ５４．クレーム５１のトラッキングシステムであって、回転する鏡機構は、第１ の平面に対して垂直な第２の平面上でレーザービームをスキャンさせる、第２の 動く鏡もしくは複数の鏡を有する。 ５５．クレーム５０のトラッキングシステムであって、光検出器は、ライン式の 検出部を有する。 ５６．クレーム５０のトラッキングシステムであって、光検出器はＣＣＤカメラ である。 ５７．オートステレオスコープディスプレイシステムの視認者をトラッキングす るトラッキングシステムであって、 a) レンズを備えたカメラ b) レーザービームを出射するレーザー手段 c) ２軸中にレーザービームを偏向させる２軸偏向手段 を有し、レーザービームは視認者をスキャンし、視認者から反射したレーザー ビームは、カメラで受け取られ、視認者の目からの逆反射の位置が求められ、こ れにより、視認者の目の位置が求められる。 ５８．クレーム５７のトラッキングシステムであって、前記レンズはピンホール レンズである。 ５９．クレーム５７または５８のトラッキングシステムであって、前記偏向手段 は、１軸のボイスコイル駆動手段である。 ６０．クレーム５７または５８のトラッキングシステムであって、前記偏向手段 は、第１、第２の回転するプリズム手段を備え、スキャンされるレーザービーム は、投影レンズを通り、投影レンズの焦点に、レーザービームのスキャンパター ンを収束させ、カメラは、前記焦点近傍に配置される。 ６１．レーザービームを出射する手段と、レーザービーム偏向手段と、光検出手 段とを備えたトラッキングシステムを有するオートステレオスコープディスプレ イシステムの視認者をトラッキングする方法であって、 偏向手段を用いてレーザービームを偏向させ、レーザービームで視認者上をス キャンし、光検出手段で視認者から反射したレーザビームを受光し、視認者の目 からのレーザービームの反射の位置を求めることにより、視認者の目の位置を決 定することを含む。 ６２．クレーム６０の方法であって、レーザービームを第１の平面中と、第１の 平面と垂直な第２の平面中に偏向させることを含む。 ６３．ビデオカメラと、カメラから供給されるビデオフィールドを記憶する記憶 手段と、記憶されたビデオフィールドを処理する処理手段を備えたディスプレイ システムを有するオートステレオスコープディスプレイシステムの視認者をトラ ッキングする方法であって、 a) 背景のビデオフィールドと、背景の前に視認者が位置するビデオフィール ドの間の相違を比較し、これにより視認者の頭の位置を求め、 b) 視認者を含むビデオフィールドを、その目追跡領域の中で処理し、比較的 暗いオブジェクトをサーチし、 c)予め定めた基準に基づいて、各オブジェクトを評価し、これにより視認者の 目であろうオブジェクトを選択する。 ６４．クレーム６３の方法であって、目追跡領域の最上部からトリム処理を施し 、処理すべき目追跡領域から髪の毛を除外する。 ６５．複数の投影器を備えたオートステレオスコープディスプレイシステムであ って、各投影器は、表示媒体に異なるイメージを投影し、これにより、複数の隣 接するイメージフィールドを提供し、イメージフィールドの一つは、隣接する複 数のイメージフィールドに沿ったシーケンシャルなイメージを含まない空のフィ ールドである。 ６６．クレーム６５のディスプレイシステムであって、前記表示媒体は、レンテ ィクラーレンズアレイもしくはグリッドタイプのイメージセパレーターである。 ６７．クレーム１のトラッキングシステムを二つ備えたディスプレイ配置。