JPH06317762A - 正確な立体三次元画像を発生する装置および方法 - Google Patents

Abstract

(57)【要約】 【目的】 見る人の頭の広い範囲の動きに対して虚像を
発生し、自然配置状態にある仮想オブジェクトおよび実
オブジェクトからの光を混合するための頭に追従する立
体表示装置を得ることである。 【構成】 この装置は、ベース・ハウジング内に配置さ
れている表示装置と、反射鏡が立体画像を見る人へ送る
ように、表示装置の周囲を回転するために結合された反
射鏡とを含む。追従装置が反射鏡の角度位置を制御し
て、反射鏡が回転するにつれて立体画像を見る人へ送
る。仮想オブジェクトおよび実オブジェクトからの光を
混合するために、画像表示装置は実オブジェクトのため
のｚバッファを発生する。実オブジェクトは無色で表示
される。立体画像を見る人の眼へ送るため、および実オ
ブジェクトから反射された光を見る人の眼へ送るために
半透明鏡が位置させられる。ＬＣＤアレイパネルが実オ
ブジェクトから反射された光の伝送を選択的に阻止す
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はコンピュータ・グラフィ
ックス装置の分野に関するものであり、更に詳しく言え
ば、本発明は頭に追従される表示装置における高解像力
３Ｄ画像の発生に関するものである。

【０００２】

【従来の技術】人の眼は、光トランスデューサとして機
能する網膜へ結びつけられた光学系としてモデル化でき
る。人の眼は光線で満たされた物理的空間内に存在して
いる。物理的空間内の、透明な表面と不透明な表面の間
の境界、または屈折率が異なる透明な表面の間の境界で
あるあらゆる点に点光源が存在する。人の立体視は、物
理的空間内の種々の場所に両眼を置くことにより達成さ
れる。

【０００３】頭に追従する立体表示装置が、見る人が３
Ｄ画像を知覚できるようにするために、人の眼と物理的
空間内の光線との相互作用を真似ている。頭に追従する
立体表示装置が見る人の頭と眼の物理的空間内の位置を
検出し、頭と眼の位置を基にして仮想オブジェクトの立
体画像を計算し、立体表示装置の上に立体画像を発生す
る。頭に追従する立体表示装置は１度にただ２つの画像
を処理して発生することを要する。その結果としてホロ
グラフィック装置よりも処理が大幅に少なくなる。更
に、一対の立体画像はホログラムと同じ外観を持つ。頭
に追従する立体表示装置では、見る人の頭が傾いた時、
または仮想オブジェクトの側面または上を見るために見
る人の頭が動く時には、仮想オブジェクトは静止したま
まであるように見える。頭に追従する立体表示装置の詳
細についてはプロシーディングス・オブ・エスピーアイ
イー（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＰＩＥ）１９
９２年２月号所載の「頭に追従する立体表示、技術およ
び応用（Ｈｅａｄ−Ｔｒａｃｋｉｎｇ Ｓｔｅｒｅｏ
Ｄｉｓｐｌａｙ，Ｔｅｃｈｎｉｑｕｅｓ ａｎｄ Ａｐ
ｐｌｉｃａｔｉｏｎ）」と題するパレイ（Ｐａｌｅｙ，
Ｗ．Ｂ．）の論文を参照されたい。

【０００４】しかし、頭に追従する従来の立体表示装置
は見る人の頭が動いても静止したままであるから、その
ような立体表示装置において見る人が利用できる頭の動
きの範囲は限られていた。立体表示装置で表示されてい
る虚像の周囲を見る人の頭が動くにつれて、立体表示装
置の表示表面に関連する見る人の頭の傾いた位置のため
に、虚像の一部が切り取られることになる。

【０００５】更に、頭に追従する従来の立体表示装置
は、実オブジェクトと仮想オブジェクトに対する自然の
配置を見る人が知覚できるようにするために、仮想オブ
ジェクトからの光を実オブジェクトから反射された光に
混合することはできない。見る人が立体表示装置に向き
合っている間にその見る人が立体画像を知覚したとする
と、立体表示装置と見る人の頭の間に位置させられてい
る物理的オブジェクトが立体表示装置からの光を阻止し
て虚像を遮断する。

【０００６】

【発明が解決しようとする課題】後で説明するように、
本発明の頭に追従する立体表示装置は見る人の頭の動か
せる範囲を大きくできるようにするために、複雑な３Ｄ
立体画像を発生する。更に、本発明の頭に追従する立体
表示装置は、仮想オブジェクトからの光と実オブジェク
トから反射された光を混合して、実オブジェクトと仮想
オブジェクトに対する自然の配置を見る人が知覚できる
ようにする。

【０００７】

【課題を解決するための手段】頭に追従される表示装置
において高解像力３Ｄ画像を発生するための方法および
装置を開示する。本発明の方法と装置は頭に追従する立
体表示装置において見る人の頭の広い範囲の運動を可能
にする。本発明の方法および装置は、見る人の頭の広い
範囲の運動に対して、見る人が実オブジェクトに重畳さ
れた仮想オブジェクトを知覚することを可能にする。本
発明の方法および装置は見る人の頭の動きを追従し、表
示構成と立体視パイプラインを自動的に調整して、頭に
追従する立体表示装置において見る人の頭の広い範囲の
運動を可能にする。

【０００８】本発明の方法と装置は、見る人が実オブジ
ェクトと仮想オブジェクトを自然構成で知覚することを
可能にもする。見る人は、三次元空間内で仮想オブジェ
クトの前方に位置させられている実オブジェクトを知覚
できる。更に、見る人は、三次元空間内で実オブジェク
トの前方に位置させられている仮想オブジェクトを知覚
できる。本発明の方法と装置は実オブジェクトを仮想空
間内で表現し、実オブジェクトから反射された光と仮想
オブジェクトからの光を混合するために、実オブジェク
トのためのｚバッファを発生する。

【０００９】本発明の頭に追従する立体表示装置はベー
スハウジング内に配置される表示装置を採用する。その
表示装置は、コンピュータで実現されるグラフィックス
表現装置により表現される立体画像を発生する。反射鏡
が立体画像を見る人へ送るように、その反射鏡が表示装
置の表示表面の周囲を回転するために反射鏡が結合され
る。コンピュータへ結合されている追従装置が三次元空
間内における見る人の頭の動きを検出する。見る人が動
くにつれて立体画像をその見る人へ送るために、コンピ
ュータはモータにより反射鏡の角度位置を制御する。見
るマトリックスを調整して立体画像を反射鏡により反射
させるために、画像表現装置は反射鏡の角度位置を用い
る。

【００１０】実オブジェクトからの光と仮想オブジェク
トからの光を混合するために、コンピュータは三次元空
間内の実オブジェクトの位置と寸法のデータベースを保
持する。画像表現装置は実オブジェクトの三次元位置決
定を示すｚバッファを発生する。実オブジェクトは無色
で表現される。立体画像を見る人の眼へ送り、実オブジ
ェクトから反射された光を見る人の眼へ送るために、半
透明鏡が位置させられる。虚像により不明瞭にされてい
る実オブジェクトの部分から反射された光が阻止される
ように、実オブジェクトから反射された光の見る人の眼
への伝送をＬＣＤアレイパネルが選択的に阻止する。

【００１１】

【実施例】この明細書においては、見る人の頭の動く範
囲を大きくすることを可能にし、実オブジェクトと仮想
オブジェクトとの自然構成を見る人が知覚できるように
するために、複雑な３Ｄ立体画像を発生する方法および
装置を開示する。説明のための以下の記述においては、
本発明を完全に理解できるようにするために、特定の応
用、特定の数、特定の装置および特定の構成について述
べる。しかし、それらの特定の詳細なしに本発明を実施
できることが当業者には明らかであろう。他の場合に
は、本発明を不必要にあいまいにしないようにするため
に、周知の装置は線図的な態様またはブロック線図の態
様で示されている。

【００１２】まず、本発明の教示に従ってグラフィック
ス画像を発生し、ユーザーの入力に応答する、コンピュ
ータをベースとする装置の例が示されている図１を参照
する。３つの主な部品で構成されているコンピュータ１
０が示されている。それらの部品のうちの第１の部品
は、適切に構成されたフォームの情報をコンピュータ１
０の別の部分と通信し合うために用いられる入力／出力
（Ｉ／Ｏ）回路１２である。それに加えて、コンピュー
タ１０はＩ／Ｏ回路１２へ結合される中央処理装置（Ｃ
ＰＵ）１４とメモリ１６も含む。それらの素子はほとん
どの汎用コンピュータにおいて典型的に見出されるもの
である。コンピュータ１０は広い種類のコンピュータ装
置を代表することを意図するものである。

【００１３】コンピュータ１０へ付加的な記憶性能を提
供するためにＩ／Ｏ回路１２へ結合されている磁気ディ
スク２０が示されている。周知のように、磁気ディスク
２０はその他のコンピュータプログラム、キャラクタ、
ルーチン等を記憶できる。それらはＣＰＵ１４によりア
クセスおよび実行できる。データを記憶するための磁気
テープドライブのような付加装置をコンピュータへ結合
でき、かつ別のコンピュータ装置へ結合されるネットワ
ークをコンピュータへ結合できる。

【００１４】本発明の教示に従って予め処理された３Ｄ
立体画像を分配するための付加記憶性能を提供するため
に、Ｉ／Ｏ回路１２へ結合されたＣＤ ＲＯＭ２０が示
されている。また、Ｉ／Ｏ回路１２へ結合されたＬＣＤ
パネル制御器２８が示されている。ＬＣＤパネル制御器
２８は、ＬＣＤパネル・アレイの画素の透明度を制御す
るために、コンピュータ１０からビットマップデータを
受ける。

【００１５】Ｉ／Ｏ回路１２へ結合されたモータ制御装
置３０が示されている。このモータ制御回路３０はコン
ピュータ１０がサーボモータを制御できるようにするた
めのものである。あるいは、モータ制御回路３０はコン
ピュータ１０がステッピングモータを制御できるように
する。後で説明するように、モータ制御装置３０により
制御されるサーボモータまたはステッピングモータは、
虚像を発生するためにコンピュータ１０が回転反射鏡の
位置決めを制御できるようにする。

【００１６】本発明の教示によるＣＰＵ１４により発生
された画像を表示するために用いられるラスタ表示装置
２４が、Ｉ／Ｏ回路１２へ結合されているのが示されて
いる。表示装置２４として広範囲のラスタ（または画素
マップされた）表示装置を利用できる。ここで説明して
いる実施例においては、表示装置２４は立体ＣＲＴを含
む。後で詳しく説明するように、ＣＰＵ１４により表示
装置２４を介して発生される表示画像は、反射鏡を介し
て見る人により知覚される。したがって、ＣＰＵ１４は
画像を構成している画素の左右の位置を知覚するように
表示画像を発生する。見る人が画像を正しく知覚できる
ようにするために反射鏡は左右の位置を再び逆にする。

【００１７】データとコマンドをコンピュータ１０へ入
力するために周知のように用いられるキーボード１８
が、Ｉ／Ｏ回路１２へ結合されているのが示されてい
る。シャッター制御される一対の立体眼鏡１２０がＩ／
Ｏ回路１２へ結合されているのが示されている。このシ
ャッター制御される立体眼鏡１２０には超音波を受ける
ための超音波受波器１２２が埋め込まれる。このシャッ
ター制御される立体眼鏡にはシャッター制御されるレン
ズを制御するための赤外線制御されるスイッチも埋め込
まれる。

【００１８】３Ｄ６軸マウス１３０がＩ／Ｏ回路１２へ
結合されているのが示されている。この３Ｄマウス１３
０は、超音波を受けるための３個一組の超音波受波器１
３２を含む。３Ｄマウス１３０およびシャッター制御さ
れる立体眼鏡１２０の３Ｄ位置が３Ｄ６軸超音波頭追従
器１４０により検出される。一実施例においては、この
頭追従器は立体ＣＲＴ２４へ装着される。３Ｄ６軸超音
波頭追従器１４０には、超音波受波器１２２と１３２よ
り受けられる超音波を発生する超音波送波器１４２が埋
め込まれる。

【００１９】次に、図１に示されているメモリ１６に含
まれている主プログラムの１つの構成が示されている図
２を参照する。とくに、表示装置１４の画素マップとし
て機能するフレーム・バッファ３６が示されている。こ
のフレーム・バッファ３６は表示装置１４のためのビデ
オメモリを表す。フレーム・バッファ３６中の各記憶場
所は、立体ＣＲＴ２４における佐眼画素または右眼画素
に対応する。したがって、フレーム・バッファ３６は、
立体ＣＲＴ２４における画素に対応する既知座標を持つ
点の二次元アレイを構成する。ある画像を１つのバッフ
ァから表示している間に、別の画像を別のバッファから
アクセスできるように、フレーム・バッファ３６は二重
バッファとして構成することが好ましい。

【００２０】メモリ１６は、この明細書において開示さ
れるように、本発明の教示に従って諸機能を実行するＣ
ＰＵ１０により実行される各種のプログラムも含む。ま
た、メモリ１６は、コンピュータ装置においてその他の
周知の機能およびオペレーションを制御または実行する
ための別のプログラムも含む。

【００２１】一実施例においては、見る人はシャッター
制御される立体眼鏡を掛け、３Ｄ６軸マウス１３０を操
作できる。３Ｄ６軸マウス１３０とシャッター制御され
る立体眼鏡１２０の３Ｄ位置は３Ｄ６軸頭追従器１４０
により検出される。超音波が超音波受波器１２２，１３
２と超音波送波器の間を伝わる時間を用いて、３Ｄマウ
ス１３０とシャッター制御される立体眼鏡１２０の３Ｄ
位置を三角測量する。３Ｄマウス１３０は見る人により
知覚される虚像を操作するために用いられる。

【００２２】頭に追従する立体表示装置においては、立
体視表示パイプラインが２つの４×４透視マトリックス
（実効的には各眼に対して１つの単眼パイプライン）に
より指定される。それらのマトリックスは視野の全体的
な物理的構成についての情報を暗黙理に含む。結果とし
ての各マトリックスはねじれ成分を含む。

【００２３】視野の物理的構成は３Ｄ空間内の表示面の
位置と、見る人の眼の動的な位置とにより決定される。
それらのパラメータが既知である場合には、ビューマト
リックスはあるスケールファクター内で一意である。各
眼に対するビューマトリックスは、見る人の眼に先端部
があり、表示面内の表示ウィンドウの４つの隅により底
部が定められるピラミッドに対応する。表示面が完全に
平坦であると仮定するならば、前方クリッピング面と後
方クリッピング面は表示面の平面に平行である。

【００２４】この実施例においては、コンピュータ・グ
ラフィックス・アプリケーションが物理的座標と仮想座
標（ＶＣ）の間の関係をマトリックスＰにより指定す
る。マトリックスＰにより暗示される相対的な位置、相
対的な向き、およびスケールは、仮想世界と物理的な世
界をどのようにして重ね合わせるかを指定する。（この
スケール・ファクターはｇとして示されている。）立体
表示装置の物理的構成と見る人の眼の検出された実時間
位置が、最終的な４×４のビューマトリックスに対して
必要な情報の残りに寄与する。最終的な４×４のビュー
マトリックスは、コンピュータ１０において実現される
グラフィックス表現装置に対するパラメータとして用い
られる。

【００２５】本発明の教示を実現するために、立体ＣＲ
Ｔ２４はそれの表示面へ記録される物理的座標系を持つ
ものとみなされる。この物理的座標系のことを以後表示
プレート座標（ＤＰＣ）と呼ぶことにする。

【００２６】次に、ＤＰＣ座標系の例が示されている図
３を参照する。ＤＰＣの原点は立体ＣＲＴ２４の表示面
の可視部分の左下隅にある。ｘ軸は右へ水平に延長す
る。ｙ軸は上へ垂直に延長する。ｚ軸は仮想表示面に対
して垂直であって、正座標が見る人へ向かって出る。

【００２７】仮想表示面５０上におけるウィンドウが、
そのウィンドウの左下隅と右上隅をｚ＝０平面上の２個
のＤＰＣ点ＬとＨとして指定することにより定められ
る。見る人の各眼はＤＰＣ空間内に別々の座標を持つ。
１つの眼点の座標の例がＥで示されている。前方および
後方のクリッピング平面がｚ軸に沿う距離ＦとＢにより
与えられる。

【００２８】ＤＰＣでの可視点を［−１＋１］［−１＋
１］［−１＋１］の拡張された単位立方体へマップす
る、列ベクトル・マトリックス・フォーマットで表現さ
れる、１つの眼に対するビューマトリックスは次の通り
である。

【００２９】

【数１】

【００３０】上の式は立体ＣＲＴ２４のような表示装
置、および投写表示パネルや立体ＬＣＤパネルへ適用さ
れる。見る人の眼の間の距離である眼間距離はビューマ
トリックスＰには直接表されていないことに注目すべき
である。

【００３１】頭に追従する表示装置においては、表示面
における視差は必ずしも水平ではない。見る人が垂直に
向けられている眼で表示を観察するならば、スクリーン
における視差は完全に垂直である。スクリーンにおける
視差の量は、与えられた頭距離およびオフセットに対し
ても一致しない。見る人の頭がスクリーンの一方の側へ
３０度回されると、スクリーン表面における視差はスク
リーンが正方形の表面であるときよりも小さい。

【００３２】従来のコンピュータ・グラフィックスにお
いては、見る投写点は「眼点（ｅｙｅｐｏｉｎｔ）」ま
たは「視点（ｖｉｅｗｐｏｉｎｔ）」と呼ばれ、見る人
の眼に一致することを意図するものである。しかし、正
確に表示するために、視点位置は生理学的に正確に識別
せねばならない。一般的な光学用語においては、レンズ
系の視点は第１の節点である。人の眼に対する第１の節
点の識別について説明するために１９ 年 月
日に出願された「頭に追従する表示装置を用いる高解像
力仮想現実装置のための方法および装置（Ｍｅｔｈｏｄ
Ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｈｉｇｈ Ｒ
ｅｓｏｌｕｔｉｏｎ ＶｉｒｔｕａｌＲｅａｌｉｔｙ
Ｓｙｓｔｅｍｓ Ｕｓｉｎｇ Ｈｅａｄ Ｔｒａｃｋｅ
ｄ Ｄｉｓｐｌａｙ）」という名称の関連する米国特許
出願ｓｅｒｉａｌ ｎｏ．を参照されたい。

【００３３】眼の節点に対する正確な視点位置は、見る
人の各眼の向けられた向きについての情報を獲得するた
めに眼追従装置により達成される。その情報と頭の位置
および眼の位置の組合わせを用いて、眼の第１の節点を
ＤＰＣ空間内に正確に配置できる。また、見る向きにつ
いての情報を用いて、網膜の窩部分に対応する表示面ス
ペースの領域を識別するために使用でき、高い空間的精
密さで表現できる値打ちがある。

【００３４】あるいは、眼の第１の節点位置の不確定性
による誤差を、見る人の視線が向けられるであろう向き
を予測することにより最少にできる。見る人の視線が向
けられるであろう向きは仮想表示面５０における立体ウ
ィンドウの中心にできる。３Ｄマウス１３０が採用され
ると、最もきつい構度要求がマウスを仮想オブジェクト
へ「接触すること」を反映する傾向があるから、見る人
の視線は対話する虚像の「ホットスポット」の向きに向
けられる傾向がある。見る人の視線の向きを３Ｄマウス
１３０の先端部に選択することは、眼の回転による誤差
が補償される。更に、コンピュータ１０において実行さ
れる画像表現ソフトウエアが、仮想表示面５０で表示さ
れる立体画像の「ホットスポット」に対するＤＰＣ座標
を維持する。

【００３５】本発明のここで説明している実施例は、Ｄ
ＰＣ空間内の見る人の頭のダイナミック位置と向きを獲
得するために、超音波追従装置を採用する。しかし、本
発明の方法は用いられる追従技術に依存しないことに注
目すべきである。超音波追従装置１４０の位置から見る
人の眼までの固定ベクトルを用いて、見る人の眼の回転
中心を実時間で得るために、頭の位置と向きについての
データが用いられる。

【００３６】見る人の頭の眼間距離を、個々の距離の間
で±２cmだけ変化できる。ここで説明している実施例に
おいては、与えられた見る人の眼間距離を考慮に入れる
ために、超音波追従装置１４０から見る人の眼までの固
定ベクトルは見る人に固有である。固定ベクトルは見る
人の頭への頭に追従する表示装置の位置合わせも考慮す
る。

【００３７】コンピュータが発生した画像を見る人が三
次元の物理的オブジェクトとして知覚するためには、表
示フレーム繰り返し率を運動統合のために十分なもので
ある必要がある。立体画像発生では、低いフレーム繰り
返し率で表示されるオブジェクトが変形しかつねじれる
ように見える、誘導される立体運動という付加現象が存
在する。それの詳細については、パーガモン・プレス
（Ｐｅｒｇａｍｏｎ Ｐｒｅｓｓ）発行のＶｉｓｉｏｎ
Ｒｅｓ．１９７４年第１４巻６０９〜６１３ページ所
載の「誘導される立体運動（Ｉｎｄｕｃｅｄ Ｓｔｅｒ
ｅｏ ｍｏｖｅｍｅｎｔ）」と題するタイラー（Ｔｙｌ
ｅｒ Ｃ．Ｗ．）の論文を参照されたい。

【００３８】図４ａは仮想オブジェクトの頭に追従する
立体画像を発生するための回転反射鏡装置５１を示す。
回転反射鏡装置５１は見る人が、仮想オブジェクトまた
は複数の仮想オブジェクトの種々の透視図の周囲を動く
こと、および知覚することを可能にする。円筒形ハウジ
ング５８内に立体ＣＲＴ２４が埋め込まれる。この立体
ＣＲＴ２４の中心は円筒形ハウジング５８の軸線にほぼ
沿って配置される。立体ＣＲＴ２４の表示面５５が円筒
形ハウジング５８の上端部を通って突き出る。回転台５
６へ反射鏡５４が結合される。一実施例においては、反
射鏡５４は立体ＣＲＴ２４の表示面５５に関して４５度
の角度を成す。

【００３９】一実施例においては、ステッピングモータ
（図示せず）が回転台５６を円筒形ハウジング５８の中
心軸を中心として回転させる。ステッピングモータはモ
ータ制御装置３０へ結合される。モータ制御装置３０は
コンピュータ１０から制御情報を受けるために結合され
る。コンピュータ１０はステッピングモータに回転台５
６の角度位置を制御させることにより、反射鏡５４の角
度位置を制御する。

【００４０】図４ｂは仮想オブジェクト２１０の頭に追
従する３Ｄ立体画像を発生するための回転反射鏡装置５
１を示す。見る人２００はシャッター制御される眼鏡１
２０を掛けている。シャッター制御される眼鏡１２０の
３Ｄ位置が超音波追従装置１４０により検出される。超
音波は伝わる距離が限られ、超音波追従装置１４０とシ
ャッター制御される眼鏡１２０の間の視線経路を必要と
するから、一実施例においては、この超音波追従装置１
４０は回転台５６へ取り付けられる。別の実施例におい
ては、範囲が拡張され、視線経路を必要としない追従装
置が立体ＣＲＴ２４へ取り付けられる。

【００４１】一実施例においては、コンピュータ１０は
超音波送波器１４２とマイクロフォン１２２の間を超音
波が伝わる時間を検出する。この伝播時間を基にしてｍ
ｋオペレータ１０はシャッター制御される眼鏡１２０の
３Ｄ位置を三角測量する。コンピュータ１０は、空気温
度とその他の要因を与えられて音速を修正し、シャッタ
ー制御される眼鏡１２０の３Ｄ位置を三角測量する。

【００４２】コンピュータ１０は、シャッター制御され
る眼鏡１２０の３Ｄ位置を追従することにより、見る人
２００の頭の３Ｄ位置に追従する。見る人２００が回転
歯車装置の周囲を動くにつれて、反射鏡５４が見る人に
向き合う角度位置を維持するように、コンピュータ１０
は反射鏡５４の回転角度を調整する。

【００４３】コンピュータ１０とモータ制御装置３０
は、回転台５６の動きを見る人２００の頭の大きい動き
に制限する安定制御プロセスを実現する。一実施例にお
いては、コンピュータ１０とモータ制御装置３０は、制
御を安定させるためにダイナミック・カルマン瀘波を実
現する。

【００４４】見る人２００の動きに追従するためにコン
ピュータ１０が反射鏡５４の回転角を調整するにつれ
て、コンピュータ制御は反射鏡５４に短時間における見
る人２００の頭の平均位置に追従させる。

【００４５】コンピュータ１０で実現される画像表現装
置は立体ＣＲＴ２４で立体画像を発生する。立体ＣＲＴ
２４の表示面５５における立体画像は反射鏡５４により
反射される。反射鏡５４は立体画像を、シャッター制御
される眼鏡１２０を掛けている見る人２００へ向けて反
射する。見る人２００は反射された立体画像を仮想オブ
ジェクト２１０として知覚する。反射鏡５４が半透明鏡
であれば、その仮想オブジェクト２１０は見る人２００
にとっては透明であるように見える。反射鏡５４が中実
反射鏡であれば、仮想オブジェクト２１０は見る人には
中実であるようにみえる。

【００４６】見る人２００にとっては、反射鏡５４の後
ろに位置させられている立体ＣＲＴ２４の反射により仮
想オブジェクト２１０が発生されたように見える。見る
人２００の動きに追従するためにコンピュータ１０が反
射鏡５４を回転させるにつれて、それに従って立体ＣＲ
Ｔ２４の反射がＤＰＣ空間内を動く。反射鏡５４が回転
するにつれて立体ＣＲＴ２４の反射が垂直軸５７を中心
として回転するように見える。

【００４７】図４ｃ，図４ｄは、見る人２００の動きに
追従するために反射鏡５４が回転するにつれて、立体Ｃ
ＲＴ２４の反射６０の変化する位置をを示す。回転台５
６と、立体ＣＲＴ２４と、回転反射鏡５４とを含む回転
反射鏡装置５１の平面図が示されている。また、反射鏡
５４を介して見る人２００により知覚される立体ＣＲＴ
２４の反射された表示面５０も示されている。

【００４８】図４ｃは、回転反射鏡装置５１に関連す
る、見る人２００の例としての位置に対する立体ＣＲＴ
２４の反射６０の位置を示す。図４ｄは、回転反射鏡装
置５１に関連する、見る人２００の別の例としての位置
に対する立体ＣＲＴ２４の反射６０の位置を示す。

【００４９】コンピュータ１０は、回転台５６の回転角
度から立体ＣＲＴ２４の反射６０の位置を決定する。コ
ンピュータ１０は、立体ＣＲＴ２４の反射６０の表示面
５５の位置に立体ＣＲＴ２４の表示面を位置させるため
に、見る人２００の眼に対応するビューマトリックスを
調整する。したがって、仮想オブジェクトが仮想空間へ
マップさせられるにつれて、ＤＰＣ空間は立体ＣＲＴ２
４の反射６０の表示面５０へ位置合わせさせられる。更
に、コンピュータ１０は立体ＣＲＴ２４の表示面におい
ては結合される立体画像の座標の上下反転を行って、反
射鏡５４における立体画像の反射を補償する。

【００５０】図５は、実オブジェクトに重ね合わされる
頭に追従する３Ｄ立体画像を発生するための回転反射鏡
の別の実施例を示す。図示の例においては、回転反射鏡
装置は外科手術を受ける患者２３０の上に重ね合わされ
ている虚像を見る人２００が知覚できるようにする。そ
の虚像は、コンピュータ支援断層写真（ＣＡＴ）走査か
ら得られる外科手術患者の３Ｄ画像である。

【００５１】天井に装置されているトラック７４へ立体
ＣＲＴ７０が回転可能に結合される。天井に装置されて
いるトラック７４は、立体ＣＲＴ７０の位置を天井面に
平行な２つの次元に沿って移動させることを可能にす
る。立体ＣＲＴ７０へ半透明鏡７２が装着される。一実
施例においては、半透明鏡７２は立体ＣＲＴ７０の表示
面に関して４５度の角度を成す。コンピュータ１０はス
テッピングモータ（図示せず）を作動させて、垂直軸７
５により定められている軸線を中心として立体ＣＲＴ７
０と反射鏡７２を回転させる。

【００５２】見る人２２０はシャッター制御される立体
眼鏡１２０を掛ける。超音波追従装置１４０はシャッタ
ー制御される眼鏡１２０の３Ｄ位置を検出する。一実施
例においては、超音波追従装置１４０は立体ＣＲＴ７０
へ装着される。コンピュータ１０は、シャッター制御さ
れる眼鏡１２０の３Ｄ位置を検出することにより、見る
人２２０の頭の３Ｄ位置に追従する。見る人２２０が動
くにつれて、反射鏡７２を見る人２２０に向き合った状
態に維持させるために、コンピュータ１０はステッピン
グモータを作動させて立体ＣＲＴ７０の回転角度を調整
する。

【００５３】見る人２２０の動きに追従するために、立
体ＣＲＴ７０および反射鏡７２の回転角度をコンピュー
タ１０が調整するにつれて、コンピュータにより調整さ
れる制御が、見る人２２０の頭の短時間平均位置を反射
鏡７２に効果的に追従させる。

【００５４】コンピュータ１０で実現される画像表現装
置は立体ＣＲＴ７０に立体画像を発生させる。立体ＣＲ
Ｔ２４の表示面における立体画像は反射鏡７２により反
射される。反射鏡７２は、シャッター制御される眼鏡１
２０を掛けている見る人２２０へ向けて立体画像を反射
させる。見る人２２０は反射された立体画像をＣＡＴ走
査の虚像として知覚する。反射鏡７２は半透明鏡である
から、その虚像は見る人には透明であるように見える。

【００５５】見る人２２０にとっては、ＣＡＴ走査の虚
像は、反射鏡７２の反射により発生されるように見え
る。見る人２２０の動きに追従させるためにコンピュー
タ１０が立体ＣＲＴ７０と反射鏡７２を回転させるにつ
れて、立体ＣＲＴ７０の反射はそれに従ってＤＰＣ空間
内を動く。

【００５６】コンピュータ１０は、垂直軸７５を中心と
する立体ＣＲＴ７０の回転角度と、その軸のｘ−ｙ運動
とから立体ＣＲＴ７０の反射の３Ｄ位置を決定する。立
体ＣＲＴ７０の反射の表示面の位置に立体ＣＲＴ７０の
表示面を位置させるために、コンピュータ１０は見る人
２２０の眼に対応するビューマトリックスを調整する。
虚像が仮想空間内へマップさせられるにつれて、ＤＰＣ
空間は立体ＣＲＴ７０の表示面へ位置合わせさせられ
る。更に、反射鏡７２における立体画像の反射を補償す
るために、コンピュータ１０は立体ＣＲＴ７０の表示面
における立体画像の座標の上下反転を行う。

【００５７】図６は、仮想オブジェクトと実オブジェク
トの配置を見る人が知覚できるようにする頭に追従する
立体表示装置を示す。立体ＣＲＴ２４で発生された立体
画像が反射鏡３１０により反射されるように、立体ＣＲ
Ｔ２４は反転された位置に装置されている様子が示され
ている。反射鏡３１０は半透明鏡である。見る人３００
はシャッター制御される立体眼鏡１２０を掛けている。
超音波追従装置１４０（図示せず）が立体ＣＲＴ２４へ
装着される。

【００５８】見る人３００にとっては、立体ＣＲＴ２４
における立体画像は、反射鏡３１０の背後に位置させら
れている立体ＣＲＴ２４の反射により発生されるように
見える。その結果、立体ＣＲＴ２４の表示面を立体ＣＲ
Ｔ２４の反射の表示面の位置に位置させるために、コン
ピュータ１０は見る人３００の眼に対応してビューマト
リックスを調整する。したがって、虚像が仮想空間へマ
ップさせられるにつれて、ＤＰＣ空間は立体ＣＲＴ２４
の反射の表示面の位置に位置合わせさせられる。また、
反射鏡３１０における立体画像の反射を補償するため
に、コンピュータ１０は立体ＣＲＴ２４の表示面におけ
る立体画像の座標の上下反転を行う。

【００５９】コンピュータ１０は、見る人３００の３Ｄ
位置を検出するために超音波追従装置１４０を使用す
る。その後で、コンピュータ１０における画像表示装置
は立体画像を立体ＣＲＴ２４上に発生して、仮想オブジ
ェクトを半透明鏡３１０の背後に表示する。シャッター
制御される立体眼鏡１２０を掛けている見る人３００
は、半透明鏡３１０の背後に位置させられている１つま
たは複数の虚像として反射された立体画像を知覚する。
半透明鏡３１０は、それの背後に位置させられている実
オブジェクト３３０も見る人３００に知覚させる。

【００６０】実オブジェクト３３０の３Ｄジオメトリ
と、実オブジェクト３３０の物理的位置とを示す物理的
オブジェクト・データベースを保持する。実オブジェク
ト３３０は物理的オブジェクト・データベースにおいて
は黒すなわち無色のオブジェクトとしてモデル化され
る。物理的オブジェクト３３０のためのｚバッファ値を
発生するために、コンピュータ１０の画像表示装置は仮
想空間内に物理的オブジェクト３３０を表示する。

【００６１】物理的オブジェクトが、ＤＰＣ空間内で見
る人３００の視点から仮想オブジェクトの前方に位置さ
せられるものとすると、コンピュータ１０の画像表示装
置のｚバッファが、実オブジェクトにより不明瞭にされ
る仮想オブジェクトの部分に対する立体ＣＲＴ２４から
光を放出させない。このようにして、見る人３００は仮
想オブジェクトを実オブジェクトの背後にあるものとし
て知覚する。

【００６２】他方、物理的オブジェクトが、ＤＰＣ空間
内で見る人３００の視点から仮想オブジェクトの前方に
位置させられるものとすると、物理的オブジェクトの、
仮想オブジェクトの背後にある部分を不明瞭にするため
にＬＣＤアレイパネル３２０が採用される。そのＬＣＤ
アレイパネル３２０は半透明鏡３１０の上に位置させら
れる。コンピュータ１０はＬＣＤアレイパネル３２０を
構成するＬＣＤ画素のアレイを制御する。コンピュータ
１０は、半透明鏡３２０を通って見る人３００へ達する
光をＬＣＤアレイパネル３２０に選択的に阻止させる。
コンピュータ１０は、物理的オブジェクトのうち、仮想
オブジェクトの背後にある部分をＬＣＤアレイパネル３
２０に阻止させる。その結果、見る人３００は仮想オブ
ジェクトを実オブジェクトの前方にあるものと知覚す
る。

【００６３】図７は図６の頭に追従する立体表示装置に
より発生された仮想オブジェクトと実オブジェクトの配
置を示す。仮想オブジェクト３５０と、実オブジェクト
３６０と、仮想オブジェクト３７０とは見る人３００に
より知覚される。コンピュータ１０は立体ＣＲＴ２４上
に立体画像を発生することにより仮想オブジェクト３５
０と３７０を発生する。前記したようにそれらの立体画
像は半透明鏡３１０により反射される。実オブジェクト
３６０は見る人３００に関して半透明鏡３１０の背後に
位置させられる。実オブジェクト３６０により反射され
た光は半透明鏡３１０を透過して、見る人３００により
知覚される。コンピュータ１０は、実オブジェクト３６
０から反射された光をＬＣＤアレイパネル３２０に選択
的に阻止させる。

【００６４】物理的オブジェクト・データベースは実オ
ブジェクト３６０の３Ｄジオメトリを示し、かつ実オブ
ジェクト３６０のＤＰＣ空間内の物理的位置を示す。実
オブジェクト３６０は物理的オブジェクト・データベー
ス内の黒いオブジェクトとしてモデル化される。物理的
オブジェクト３６０に対するｚバッファ値を発生するた
めに、コンピュータ１０の画像表示装置は物理的オブジ
ェクト３６０を仮想空間内に表示する。

【００６５】実オブジェクト３６０は見る人３００の視
点から仮想オブジェクト３７０の前方に位置させられ
る。図示のように、コンピュータ１０の画像表示装置の
ｚバッファが、実オブジェクト３６０により不明瞭にさ
れる仮想オブジェクト３７０の部分に対する立体ＣＲＴ
２４から光を放出させない。このようにして、見る人３
００は仮想オブジェクト３７０を実オブジェクト３６０
の背後にあるものとして知覚する。

【００６６】実オブジェクト３６０はＤＰＣ空間内で見
る人３００の視点から仮想オブジェクト３５０の背後に
位置させられる。図示のように、コンピュータ１０は、
物理的オブジェクト３６０のうち、仮想オブジェクト３
５０の背後にある部分に対応するＬＣＤアレイパネル３
２０の画素に、物理的オブジェクト３６０からの光を選
択的に阻止させる。立体ＣＲＴ２４における立体画像か
らの光は半透明鏡３１０により反射される。その結果、
見る人３００は仮想オブジェクト３５０を実オブジェク
ト３６０の背後に位置させられているものと知覚する。

【００６７】実オブジェクト３６０のモデルが正しい距
離、正しい寸法、および正しい向きで、かつ完全に黒い
色でＤＰＣ空間内に表示されているものとすると、反射
鏡３１０の背後に位置させられている実オブジェクト３
６０は仮想オブジェクト３７０の前方にあるように見え
る。実オブジェクト３６０をＤＰＣ空間内に表示する
と、立体ＣＲＴ２４から（最低黒レベルを超えて）放出
させない。その結果、見る人の視線の実オブジェクト３
６０に対応する部分から来る変化する光だけが実オブジ
ェクト３６０からの光である。

【００６８】仮想オブジェクト３５０は実オブジェクト
３６０の前方にあるように見えるが、透明なオブジェク
トとして実オブジェクト３６０の画像を遮断できない。
透明度の範囲は反射鏡３１０の構成によって制限され
る。仮想オブジェクト３５０は最高の輝度で表示される
時に最低の透明度を示す。透明度は反射鏡３１０からの
反射光と、その反射鏡を透過する光との割合に依存す
る。仮想オブジェクト３５０は、より低い輝度で表示さ
れる時に、特定の任意の反射鏡に対するより高い透明度
を示す。

【００６９】ＬＣＤアレイパネル３２０は、見る人３０
０により知覚される透過光の量対反射光の量をコンピュ
ータ１０が制御することを可能にする。ＬＣＤアレイパ
ネル３２０は半透明鏡３１０のうち、見る人３００から
遠い側に位置させられる。ＬＣＤアレイパネル３２０
は、実オブジェクト３６０から見る人３００へ直接送ら
れる光の量を制御する。ＬＣＤアレイパネル３２０は、
画素を基にして光の転移を制御する。

【００７０】ＬＣＤアレイパネル３２０は光の転移を２
つのモードで制御する。２進モードにおいては、実オブ
ジェクト３６０からの光の全てを画素を基にして転移さ
せ、または実オブジェクト３６０からの光の全てを画素
を基にして転移させない。「アルファ」モードにおいて
は、実オブジェクト３６０からの光のある割合が転移さ
れる。転移させられる光の割合は画素当たり部分量へセ
ットされる（ＬＣＤノダイナミズム範囲、更新率な
ど）。２進モードはアルファモードの極端なものであっ
て、制御値「アルファ」が０または１の値のみを取るこ
とができるモードである。

【００７１】２進モードにおいては、仮想オブジェクト
３５０は実オブジェクト３６０を遮断できる。これを行
うために、アルファ・フレーム・バッファ記憶ビット
が、ＬＣＤアレイパネル３２０の各画素に対してコンピ
ュータ１０により保持される。仮想オブジェクト３５０
を表示する場合には、仮想オブジェクト３５０に対応す
るアルファ値が１へセットされる（すなわち、物理的オ
ブジェクトの光がＬＣＤアレイパネル３２０を透過しな
い）。実オブジェクト３６０の「黒」モデルに対応する
アルファ値は０へセットされる。

【００７２】仮想オブジェクト３５０および実オブジェ
クト３６０に対してｚバッファリングがコンピュータ１
０により行われると、各画素において最も近いオブジェ
クト型（実または仮想）が、アルファ・ビットを先に概
略説明したように正しい値へセットする。アルファ画像
がＬＣＤアレイパネル３２０で表示されて、適切な光弁
作用を行わせる。ある態様の透明性が、「スクリーン−
ドア（ｓｃｒｅｅｎ−ｄｏｏｒ）」透明性法により実オ
ブジェクトと仮想オブジェクトに対して表示される。

【００７３】アルファモードにおいては、ＬＣＤアレイ
パネル３２０の各画素を透過する光の量を制御すること
により透明性が達成される。コンピュータ１０はフレー
ム・バッファ内の適切な部分アルファ値をセットしてＬ
ＣＤアレイパネル３２０の透明性を制御する表示方法を
実行する。アルファモードは、見る人３００が実オブジ
ェクト３６０（中実または透明）の前方の透明な仮想オ
ブジェクト３５０を知覚できるようにする。アルファモ
ードは、見る人３００が仮想オブジェクト３５０（中実
または透明）の前方の透明な実オブジェクト３５０（ガ
ラスのような）を知覚できるようにもする。

【００７４】αのために選択された値は、与えられたオ
ブジェクトに対して一定にでき、または実オブジェクト
の実光学特性、または仮想オブジェクトのシミュレート
された光学特性に従って計算される複雑な関数とするこ
とができる。見る人３００が実拡大鏡を用いて拡大され
た仮想オブジェクトを知覚するような、複雑な作用を行
うことができる。あるいは、コンピュータ１０が適切な
光学的シミュレーションおよび作用を行うように、実オ
ブジェクトをデジタル化して、コンピュータ１０へ転送
できる。コンピュータ１０は物理的オブジェクトをドッ
ペルゲンガー仮想オブジェクトで完全に置き換える。し
たがって、図６の装置においては、ある物理的オブジェ
クトは純粋な黒い仮想オブジェクトの片割れを有し、対
応するアルファ値を１へ制御ゲートすることによりある
物理的オブジェクトを黒くない仮想コピーで置き換えら
れる。

【図面の簡単な説明】

【図１】本発明の教示に従ってグラフィックス画像を発
生し、ユーザー入力に応答するためのコンピュータを基
にした装置を示す。

【図２】図１に示されているメモリに含まれている主プ
ログラムと記憶域の配置を示す。

【図３】立体ＣＲＴの表示面の可視部分の左下隅に原点
を持つ表示プレート座標系の例を示す。

【図４】見る人が動き回ることができるようにし、かつ
仮想オブジェクトの種々の透視場面を知覚できるように
するために、仮想オブジェクトの頭に追従する立体画像
を発生するための回転反射鏡装置のある状態における図
である。

【図５】実オブジェクトに重ね合わされた頭に追従する
３Ｄ立体画像を発生するための回転反射鏡装置の別の実
施例を示す。

【図６】実オブジェクトが仮想オブジェクトを自然に不
明瞭にし、仮想オブジェクトが実オブジェクトを自然に
不明瞭にするように、見る人が仮想オブジェクトと実オ
ブジェクトの配置を近くできるようにする頭に追従する
立体表示装置を示す。

【図７】図６の頭に追従する立体表示装置により発生さ
れた仮想オブジェクトと実オブジェクトの配置を示す。

【符号の説明】

１０ コンピュータ １２ Ｉ／Ｏ回路 １４ ＣＰＵ １６ メモリ ２０ 磁気ディスク ２４ 表示装置 ２８ ＬＣＤパネル制御装置 ３０ モータ制御装置 ３６ フレーム・バッファ ５１ 回転反射鏡装置 ５４，３１０ 反射鏡 ５５ 表示面 ５６ 回転台 ７０ 立体ＣＲＴ ７２，３１０ 半透明鏡 １２０ シャッター制御される眼鏡 １３２ 超音波受波器 １４０ 頭追従装置 １４２ 超音波送波器 ３２０ ＬＣＤアレイパネル

Claims (6)

【特許請求の範囲】
1. 【請求項１】 コンピュータ手段により表現される立体
   画像を発生するための表示面を有する表示装置と、 表示装置の表示面の周囲を回転するように結合され立体
   画像を見る人へ送るように立体画像を反射する反射器手
   段と、 反射器手段が見る人の動きに追従するように、コンピュ
   ータ手段の制御の下に反射器手段を位置させることによ
   り、立体画像を見る人へ連続して送る手段と、を備える
   正確な立体三次元画像を発生する装置。
2. 【請求項２】 請求項１記載の装置において、表示装置
   と反射器手段が見る人に追従し、立体画像を見る人へ送
   るように、表示装置と反射器手段をコンピュータ手段の
   制御の下に二次元平面に沿って動かすための手段を備え
   る装置。
3. 【請求項３】 仮想座標空間内の実オブジェクトおよび
   仮想オブジェクトのための三次元位置決めを示すｚバッ
   ファを発生するコンピュータ手段により表現され、仮想
   空間座標に対応する立体画像を発生するための表示面を
   有する表示装置と、 見る人の眼へ立体画像を送り、かつ実オブジェクトから
   反射された光を見る人の眼へ送るために位置させられた
   反射器手段と、 実オブジェクトから反射された光の見る人の眼への伝送
   をコンピュータ手段の制御の下に選択的に阻止する手段
   と、を備える実オブジェクトに混合された正確な立体三
   次元画像を発生する装置。
4. 【請求項４】 コンピュータ手段により表現される立体
   画像を表示装置の表示面に発生する過程と、 表示装置の表示面の周囲を回転するように結合されてい
   る反射器手段から反射された立体画像を見る人へ送るよ
   うに立体画像を反射器手段で反射する過程と、 反射器手段が見る人の動きに追従することにより立体画
   像を見る人へ連続して送るように、コンピュータ手段の
   制御の下に反射器手段を位置させる過程と、を備える正
   確な立体三次元画像を発生する方法。
5. 【請求項５】 請求項４記載の方法において、表示装置
   と反射器手段が見る人を追従し、立体画像を見る人へ送
   るように、表示装置と反射器手段をコンピュータ手段の
   制御の下に二次元平面に沿って動かす過程を更に備える
   方法。
6. 【請求項６】 仮想空間座標に対応する立体画像であっ
   て、仮想座標空間内の実オブジェクトおよび仮想オブジ
   ェクトのための三次元位置決めを示すｚバッファを発生
   するコンピュータ手段により、表示装置の表示面上に表
   現される立体画像を発生する過程と、 見る人の眼へ立体画像を反射し、かつ実オブジェクトか
   ら反射された光を見る人の眼へ送る過程と、 コンピュータ手段の制御の下に、実オブジェクトから反
   射された光の見る人の眼への伝送を選択的に阻止する過
   程と、を備える実オブジェクトに混合された正確な立体
   三次元画像を発生する方法。