JPH06187424A - 頭部追跡式立体画像を生成する方法及び装置 - Google Patents

Abstract

(57)【要約】 【目的】 事前に計算した画像の集合間から選択した立
体画像の対に動的にアクセスすることによりリアルタイ
ムに視聴者の頭部の動きに対応した複合的な３Ｄ立体画
像を生成する方法と装置を提供する。 【構成】 事前計算画像は潜在的な所定の視点の集合に
対応し、視聴者の頭部の動きの予測に基づいてアクセス
する。所定の視点の構成は１、２ないし３次元とするこ
とが出来る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はコンピュータグラフィッ
クス・システムに関し、特に頭部追跡式立体表示システ
ムで複合高解像度立体３Ｄ画像をリアルタイムに生成す
ることに関する。

【０００２】

【従来の技術】人間の目は光トランデューサとして機能
する網膜に接続された光学システムになぞえらえること
ができる。人間の目は光線で満たされた物理空間に浸さ
れており、点光源は透明、不透明面間の境界あるいは異
なる屈折率の透明面間の境界である物理空間のあらゆる
地点に存在する。人間の立体視覚は２つの目をその物理
空間内の異なる位置に置くことにより達成できる。一般
的なコンピュータグラフィックス・システムは光源によ
る画像面を生成ないし光の反射体による画像面を生成す
ることで画像を生成する。そのような画像面は画素とし
て知られている点光源の２次元の配列で近似できる。画
像面で生成された光は画像面上の各々の画素から広がっ
ている光の半球の総計である。各々の画素の色と強度は
別々に制御可能であるが、半球にわたる色と強度の分布
は通常、制御出来ない。画像面を構成する画素はどの角
度からみても実質的に同一に見える。

【０００３】それにも関わらず、頭部追跡装置式立体表
示システムでは、視聴者が３次元画像を認識できるよう
に人間の目と物理空間の光線との相互作用をシミユレー
トする。頭部追跡装置式立体表示システムは視聴者の頭
部と目の物理空間内の位置を感知し、その頭部と目の位
置に基づいて仮想対象物の立体画像の対を計算して、立
体画像を立体表示装置に生成する。頭部追跡式立体表示
システムでは一時に２つの画像しか計算して生成する必
要はなく、それによりホログラフシステムよりも計算は
かなり少なくなる。更に一対の立体画像はホログラムと
同じ様な外観を有している。頭部追跡式立体表示システ
ムにより、視聴者の頭部が傾いたり、視聴者の頭部が周
りを見渡したり仮想対象物の側面ないし上を見るために
動いても、仮想対象物は一定に留まっているように見え
る。頭部追跡式立体表示システムに関する更なる説明
は、パーレィ、W.B.「ヘッドトラック式立体表示、手
法、応用」ＳＰＩＥ会議録、1992年２月を参照のこと。

【０００４】

【発明が解決しようとする課題】頭部追跡式立体表示シ
ステムでは、立体画像の風景や対象物は、人間の視覚系
に生理学的に受け入れ可能な十分短い時間感覚で表現す
る必要がある。従来の頭部追跡式立体表示システムは共
通に市販の３Ｄコンピュータグラフィックス画像生成ハ
ードウエア、ソフトウエアを使用して３Ｄ表示プリミテ
ィブで立体画像を生成していた。しかしそのようなシス
テムの性能は３Ｄグラフィックス表現ハードウエアの速
度で制限される。立体画像の複雑性が増大すると共に、
グラフィックス表現ハードウエアは受け入れ可能な速度
で３Ｄ立体画像を生成するには遅くなりすぎている。以
下に述べるように、本発明の方法と装置は事前に計算し
た画像の集合から選択した一対の立体画像に動的にアク
セスすることにより複雑な３Ｄ立体画像を生成する。事
前計算画像は次の立体表示のフレームに対する視聴者の
頭部の位置の予測に基づいて選択する。

【０００５】

【課題を解決するための手段】事前に計算した画像の集
合から選択した一対の立体画像に動的にアクセスするこ
とによりリアルタイムの視聴者の頭部の動きに対応した
複雑な３Ｄ立体画像を生成する方法と装置を開示する。
事前に計算した画像は表示装置のディスプレイ画面に記
録した表示プレート座標（ＤＰＣ）内の所定の潜在的な
視点の集合に対応する。事前計算画像はグラフィックス
表現システムによりバッチモードで生成する。代わりに
事前計算画像は、カメラの第１節点に対応する空間の正
確な位置でサンプルした物理世界から以前に取得した画
像とする。

【０００６】頭部追跡器を使用して視聴者の頭部の動的
な位置を追跡する。画像フレームが表示されると、立体
ディスプレィ上の次のフレームに対する視聴者の頭部の
予測位置と方向を、視聴者の頭部の動きを補間法に基づ
いて推定する。その後、ＤＰＣ空間内の視聴者の目の第
１節点の予測位置を予測眼球位置から判定する。ＤＰＣ
空間内の視聴者の目の第１節点の予測位置を用いて事前
計算画像の集合間から一対の立体画像を選択する。立体
画像は、ＤＰＣ空間で視聴者の予測目第１節点に対して
最近接を有する所定の潜在的な視点の集合の２つの視点
を決定することにより選択する。

【０００７】所定の視点の構成は１、２ないし３次元に
することができる。記憶できる事前計算ないし事前取得
画像の数を増大するため、記憶する前に画像を圧縮す
る。仮想対象物の概観が時間をかけて一定に留まるなら
ば、所定の視点の集合の各々に付いて１つの画像しか記
憶されない。しかし仮想対象物の外観が時間をかけて変
化するならば、所定の視点の集合の各々に付いて複数の
画像が記憶される。

【０００８】第１の変形実施例では、画像シーンの事前
サンプル画像を生成し、そこでは画像シーンの外観は視
点の様相により変化する。この実施例により視聴者は、
視聴者の頭部が事前サンプル視点を通して動くと外観を
変化する画像シーンの３Ｄ立体再生画像を知覚すること
が出来る。

【０００９】第２の変形実施例では、ライブのビデオ画
像に動的にアクセスすることにより視聴者の頭部の動き
にリアルタイムに対応して複合３Ｄ立体再生画像を生成
する。ライブビデオ画像は画像シーンのライブ画像をサ
ンプルする１組のビデオカメラにより生成する。立体Ｃ
ＲＴは頭部追跡予測にしたがって画像シーンの３Ｄ立体
再生画像を生成する。

【００１０】

【実施例】事前に計算した画像の集合から選択した対の
立体画像に動的にアクセスすることにより視聴者の頭部
の動きにリアルタイムに対応して複雑な３Ｄ立体画像を
生成する方法と装置を開示する。事前に計算した画像は
立体表示の次のフレームに対する視聴者の頭部の位置の
予測に基づいて選択する。以下の説明では例示目的のた
めに特定のアプリケーション、数、装置、構成を述べて
本発明の完全な理解を提供するようにするが、当業者に
は本発明はそれら特定の詳細なしに実施可能であること
が明かとなろう。他の事例では、よく知られたシステム
を図式的あるいはブロック図形式で示して本発明を不必
要に曖昧なものにしないようにしている。

【００１１】図１は本発明の教示に従ったグラフィック
ス画像を生成し、利用者の入力に応答する例示的なコン
ピュータベースのシステムを示す。図には３つの主要構
成部分からなるコンピュータ10が示されている。それら
の最初のものは入出力回路12であり、コンピュータ10か
ら他の構成部分及びその逆に適切に構成された形式で情
報を交信するのに使用する。更にコンピュータ10には入
出力回路12とメモリ16に接続された中央演算処理装置
（ＣＰＵ）14がある。それらの構成要素は大部分の汎用
コンピュータに一般に見られるものであり、実際コンピ
ュータ10はコンピュータシステムの広範なカテゴリの代
表的なものを意図している。磁気デイスク20は入出力回
路12に接続してコンピュータ10の追加記憶能力を提供す
る。よく知られているようにデイスク20は他のコンピュ
ータプログラム、文字、ルーチン、画像などを記憶する
ことが出来、それらはＣＰＵ14でアクセスして実行する
ことが出来る。またコンピュータ10には磁気テープドラ
イブ並びにまた他のコンピュータシステムに接続するネ
ットワークのようなデータを記憶する追加装置を接続で
きることが理解されよう。

【００１２】ＣＤＲＯＭ26は入出力回路12に接続して事
前に計算された３Ｄ立体画像を本発明の教示にしたがっ
て配分する追加記憶能力を提供する。またネットワーク
制御装置28が入出力回路12に接続されている。ネットワ
ーク制御装置28は通信ネットワークを通して事前に計算
した３Ｄ立体画像をネットワークサーバ（図示せず）か
ら受取り、事前計算画像をコンピュータ10の他の部分に
転送する。ビデオサンプリング装置30も入出力回路12に
接続されている。ビデオサンプリング装置30は映像信号
を１つないし複数の外部ビデオカメラから受取り、受け
取ったビデオ画像をディジタル化する。以下に説明する
ように、ビデオサンプリング装置30が受け取ったビデオ
画像は本発明の教示にしたがって事前計算画像として使
用することが出来る。

【００１３】ラスタ表示装置24は入出力回路12に接続
し、ＣＰＵ14が生成した画像を本発明の教示にしたがっ
て表示するのに使用する。様々なラスタ（ないし画素写
像化）表示装置を表示装置24として利用することが出来
る。本実施例では表示装置24は立体ＣＲＴで構成する。
キーボード18も入出力回路12に接続してよく知られてい
るようにコンピュータ10にデータやコマンドを入力する
のに使用する。一対の立体シャッタ眼鏡 120も入出力回
路12に接続する。立体シャッタ眼鏡 120には超音波を受
け取る一対の埋め込み式超音波受信器 122が含まれてい
る。立体シャッタ眼鏡にはまた、シャッタレンズを制御
する赤外線制御スィッチが埋め込まれている。

【００１４】３Ｄ６軸マウス 130も入出力回路12に接続
する。３Ｄマウス 130には超音波を受信する１組の３超
音波受信器 132が含まれている。立体ＣＲＴ24のディス
プレィ表面に関した３Ｄマウス 130と立体シャッタ眼鏡
120の３Ｄ位置は、立体ＣＲＴ24に取り付けた３Ｄ６軸
頭部追跡器 140が感知する。３Ｄ頭部追跡器 140は超音
波受信器 122、 132が受け取る超音波を生成する３つの
超音波送信器 142が埋め込まれている。

【００１５】図２は図１に例示したメモリ16内に含まれ
る主要なプログラムの１つの構成を示したものである。
特にディスプレィ24の画素マップとしての務めをするフ
レームバッファ36が示されている。フレームバッファ36
はディスプレィ24の映像メモリの代表的なもので、フレ
ームバッファ36内の各々の記憶位置は立体ＣＲＴ24の左
右の目の画素に対応する。従ってフレームバッファ36は
立体ＣＲＴ24上の画素に対応する既知の座標を有する２
次元の点の配列からなる。フレームバッファ36はある画
像が１つのバッファから表示されている間に別の画像を
他のバッファからアクセス出来るように、二重バッファ
として構成する。

【００１６】メモリ16はまた本明細書に開示するように
本発明の教示にしたがって機能を実施するコンピュータ
10が実行する様々なプログラムを含んでいる。加えてメ
モリ16は更にコンピュータシステム上で他のよく知られ
た機能を制御ないし行う他のプログラムを含んでいる。
本実施例では、視聴者は立体シャッタ眼鏡 120を装着
し、３Ｄマウス 130を操作する。立体ＣＲＴ24の表示面
に関した３Ｄマウス 130と立体シャッタ眼鏡 120の３Ｄ
位置は、立体ＣＲＴ24に取り付ける３Ｄ６軸頭部追跡器
140が感知する。超音波受信器 122、 132と超音波送信
器 142の間の超音波の走行時間は立体シャッタ眼鏡 120
と３Ｄマウス 130の３Ｄ位置を三角測量するのに使用す
る。３Ｄマウス 130は視聴者が認識する仮想画像を操作
するのに使用する。

【００１７】頭部追跡式立体表示システムでは、立体視
覚ディスプレィ・パイプラインは２つの４ｘ４の透視画
法視覚マトリックス（実際上、各々の目に対して１つの
単一視覚パイプライン）で特定する。それらのマトリッ
クスは視覚の全体的な物理的構成に付いての情報を暗示
的に含んでいる。各々の結果的なマトリックスは斜め成
分を含んでいる。

【００１８】視覚の物理的構成は３空間内の立体ＣＲＴ
24の位置と視聴者の目の動的な位置により決定される。
それらのパラメータが分かっていれば、視覚マトリック
スは換算係数内で唯一のものとなる。各々の目に対する
視覚マトリックスは、視聴者の目を先端とし、立体ＣＲ
Ｔ24のディスプレィ表面内のディスプレィウィンドウの
４つの角により定義される底面を有する角錘に相当す
る。ディスプレィ表面が完全に平らであると想定する
と、正面と背面の切取り面は、立体ＣＲＴ24ディスプレ
ィ表面の面に平行となる。ディスプレィ表面を平らと想
定することにより生じる不正確性を補正する高解像度仮
想現実システムに付いての説明は、「頭部追跡装置ディ
スプレィを用いた高解像度仮想現実システムの方法と装
置」の名称の に出願された関連出願番号No.
を参照のこと。

【００１９】本実施例では、コンピュータグラフィック
ス・アプリケーションは物理的座標と仮想座標（ＶＣ）
間の関係はマトリックスＰで示す。マトリックスＰで示
される相対的位置、方向及び縮尺は、仮想及び物理的世
界を如何に重畳するかを特定する。（この換算係数はｇ
とする）。立体表示装置の物理的構成と視聴者の目の感
知リアルタイム位置は、最終的な４ｘ４視覚マトリック
スに必要な情報の残りに寄与する。最終的な４ｘ４視覚
マトリックスは、コンピュータ10上で実施されるグラフ
ィックス表現システムのパラメータとして使用する。

【００２０】本発明の教示を実施するため、立体ＣＲＴ
24はそのディスプレィ面に記録した物理的座標系を有す
るものと見なす。この物理的座標系は以下、ディスプレ
ィ面座標（ＤＰＣ）と称する。図３はディスプレィ面座
標系を示す。ＤＰＣはその原点を可視ラスタの左下コー
ナに有している。ｘ軸は右に水平に伸び、ｙ軸は垂直に
上向きに伸びている。ｚ軸はディスプレィ表面に対して
直角であり、視聴者に向かって正の座標となる。

【００２１】ディスプレィ面上のウィンドウは、ウィン
ドウに付いて左下及び右上コーナをｚ＝０面で２つのＤ
ＰＣ点ＬとＨとして特定することで定義できる。各々の
視聴者の目はＤＰＣ空間では別々の座標を有する。１つ
の目の点の例示的な座標をＥとして示す。正面及び裏面
切取り面はｚ軸に沿った距離ＦとＢにある。更なる説明
に付いてはフォーレィ、J.D.、フォンダム、A.、フェイ
ナー、S.K.、ヒュージス、J.F.「コンピュータグラフィ
ックス、原理と実践」第２版、アディソン・ウエスレィ
1990を参照のこと。

【００２２】ＤＰＣ内の可視点を[-1 + 1][-1 + 1][-1
+ 1]の拡張単位立方体に写像する列ベクトルマトリック
ス形式で表現される１つの目に対する視覚マトリックス
Ｐは次の通りとなる。

【００２３】

【数１】

【００２４】上記の方程式は立体ＣＲＴ24のような表示
装置ならびに投射立体ディスプレィや立体ＬＣＤパネル
に当てはまる。視聴者の目の間の距離である視覚間距離
は視覚マトリックスＰでは直接示されていないことに留
意する。頭部追跡式立体表示システムでは、ディスプレ
ィ面上の視差は必ずしも水平ではない。視聴者がディス
プレィを垂直に向いた目で見ると、画面での視差は完全
に垂直となる。画面での視差の量は、所与の頭部距離や
対象物の位置に対しても一貫していない。視聴者の頭部
を画面の一方に30゜回転した場合、画面表面での視差は
画面に真正面に直面したときよりも少ない。

【００２５】従来のコンピュータグラフィックスでは、
視覚投射点は「眼点」ないし「視点」と呼ばれ、視聴者
の目と対応することが意図されている。しかし正確に表
示するには、視点位置を生理学的に正確に識別する必要
がある。一般的な光学用語では、レンズシステムの視点
は最初の節点である。人間の目の最初の節点の識別の説
明に付いては、「頭部追跡装置ディスプレィを用いた高
解像度仮想現実システムの方法と装置」の名称の
に出願された関連出願番号No. を参照のこと。

【００２６】目の節点の正確な視点位置は、目追跡ハー
ドウエアを用いて視聴者の各々の目の注視方向に付いて
の情報を得ることで達成することが出来る。注視情報と
頭部と目の位置の組合せを用いてＤＰＣ空間内で正確に
目の第１の節点を探知することが出来る。加えて注視情
報を用いて、網膜の中心部分に対応し、高空間デーティ
ールで表現されてしかるべきディスプレィ表面空間の領
域を識別することが出来る。

【００２７】代わりに目の第１の節点位置の不正確性に
よる誤差は、視聴者の注視の可能性のある方向を予期す
ることにより最小にすることが出来る。視聴者の注視の
可能性のある方向は、立体ＣＲＴ24の立体ウィンドウの
中心となる可能性がある。３Ｄマウス 130を使用する
と、最も厳密な精度要件では、マウスを仮想対象物に
「接触すること」を反映するものとなりやすいので、視
聴者の注視は対話形の仮想対象物の「ホットスポット」
の方向となる可能性がある。視聴者の注視方向を３Ｄマ
ウス 130の頂点で選択することで、目の回転による誤差
を補償する。更に、コンピュータシステム10上で実行す
る画像表現ソフトウエアは、立体ＣＲＴ24上に表示され
る立体画像の「ホットスポット」のためにＤＰＣ座標を
維持する。

【００２８】本発明の本実施例では、超音波追跡装置 1
40を用いてＤＰＣ空間内での動的な視聴者の頭部位置と
方向を得る。しかし本方法は使用する追跡技術に依存し
ないことに留意すべきである。頭部位置と方向データ
は、頭部追跡装置 140の位置から視聴者の目への固定ベ
クトルを用いて視聴者の目の回転の中心をリアルタイム
で導出するのに使用する。視聴者の頭部の視覚間距離
は、個人により±２ｃｍほどの差がある。本実施例で
は、頭部追跡器 140から視聴者の目への固定ベクトル
は、所与の視聴者の視覚間距離を考慮して、視聴者特有
のものとする。固定ベクトルはまた頭部追跡装置の視聴
者の頭部に対する重ね合わせを考慮に入れている。

【００２９】視聴者がコンピュータ生成対象物を３次元
物理的対象物として認識するには、運動フュージョンに
対して十分なディスプレィフレーム速度を有することが
必要である。立体画像では誘起立体運動という追加現象
があり、低いフレーム速度で表示された対象物は歪んで
ねじ曲げられて見える。更なる説明に付いては、タイラ
ーC.W.「誘起立体運動」視覚14巻、609−613、ペルガモ
ン・プレス社1974年を参照のこと。

【００３０】頭部追跡式立体表示システムで使用する３
Ｄグラフィックス表現ハードウエアの性能により、生成
することの出来る立体画像の複雑さが制限される。表現
性能は、視聴者の頭部が動くときに次の一対の立体画像
を計算し表示するのにかかる時間に上限があるために、
画像の複雑さに制限が加わる。上限は人間の視覚系で受
け入れ可能なちらつきフュージョン速度により決定され
る。

【００３１】本方法及び装置は、事前に計算したあるい
は事前に取得した画像の集合間から選択した対の立体画
像に動的にアクセスすることによりリアルタイムの視聴
者の頭部の動きに対応して複雑な立体画像を生成する。
事前計算あるいは事前取得画像は、ＤＰＣ空間内の所定
の可能な視点の集合に対応する。立体ＣＲＴ24の次のフ
レームに対する視聴者の頭部の位置の前方予測を使用し
て検索及び表示用の事前に計算した立体画像を特定す
る。

【００３２】事前に決定した視点の集合に対応する事前
計算画像は、コンピュータ10上で実施するグラフィック
ス表現システムによりバッチモードで生成する。広範な
グラフィックス表現方法を用いて事前計算ないし事前取
得画像を生成することが出来る。本実施例では、事前計
算画像は上述の４ｘ４視覚マトリックスパイプラインを
用いてコンピュータ10で生成する。代わりに事前取得画
像は、カメラ装置の光学的第１節点が所定の視点と対応
するように選別的に配置したカメラ装置により生成され
たディジタル化画像とすることが出来る。

【００３３】頭部追跡器 140は、視聴者の頭部の動的な
位置を能動的に追跡するのに使用する。画像フレームが
立体ＣＲＴ24に表示されると、視聴者の頭部の立体ＣＲ
Ｔ24上の次のフレームに対する予測位置と方向を、視聴
者の頭部の動きの線形補間法に基づいて推定する。視聴
者の頭部が静止しているときあるいは非常にかすかにし
か動かないときに立体画像のジッタを削減するために、
フィルタを用いて頭部の位置の予測関数を小さい頭部速
度にランプダウンする。

【００３４】視聴者の予測眼球位置を次に予測頭部位置
と方向から計算する。眼球の位置を正確に計算するた
め、本発明の頭部追跡式立体表示システムを用いて各々
の視聴者に対する視聴者特定視覚間距離情報を保持す
る。立体ＣＲＴ24上の次のフレームに対するＤＰＣ空間
内の視聴者の目の第１節点の予測位置は、予測眼球位置
から計算する。頭部の位置と方向の予測の改善は、速度
と加速データを提供する頭部追跡器を使用するならば可
能である。更に、本発明の趣旨と範囲を逸脱せずに、様
々な頭部追跡装置並びに高次の頭部追跡予測機能を使用
することが出来る。

【００３５】立体ＣＲＴ24の次のフレームに対するＤＰ
Ｃ空間内の視聴者の目の第１節点の予測位置は、事前計
算ないし事前取得画像の集合間から一対の立体画像を選
択するのに使用する。上述したように事前計算ないし事
前取得画像はＤＰＣ空間内の所定の可能な視点の集合に
対応する。立体画像はＤＰＣ空間内で予測目第１節点に
対して最近接を有する所定の可能な視点の集合の２つの
視点を決定することにより選択する。

【００３６】図４は本発明の教示と一致する所定の可能
な視点50−57の集合例を示し、視聴者 210の予測される
目の第１節点に対する最近接視点の投影マトリックスの
１次元ジオメトリを示す。図４のａ、ｂに示す例では、
視点50−57は仮想対象物 200に対して平行な直線上にあ
る。この所定の視点の構成により、視聴者 210は線に沿
った横方向の頭部の動きをする間、正確な３Ｄ立体画像
を見ることが出来る。

【００３７】本実施例では、コンピュータ10は視点50−
57の視点面に対応して仮想対象物 200の画像を事前に計
算する。事前に計算した画像はコンピュータ10上でバッ
チモードで生成され、リアルタイム生成の時間制約無し
に視点50−57に対して複合的な画像を任意に生成するこ
とが出来る。視点50−57に対応した事前計算ないし事前
取得画像は、メモリ16ないしデイスク20からアクセスす
るか、あるいはネットワーク制御装置28によりネットワ
ークを通してアクセスすることが出来る。また事前計算
ないし事前取得画像は、多数の複合事前計算ないし事前
取得画像の記憶容量を提供するＣＤＲＯＭ26を用いて記
憶、配分することが出来る。ＣＤＲＯＭのアクセス時間
が立体ＣＲＴ24上で所望のフレーム速度を完了するには
遅すぎる場合、ＣＤ上で配分する事前計算ないし事前取
得画像はデイスク20にコピーすることが出来る。

【００３８】頭部追跡器 140は視聴者 210が装着してい
る立体シャッタ眼鏡 120のＤＰＣ空間内の位置を感知す
る。視聴者の頭部がＤＰＣ空間内で動くと、立体ＣＲＴ
24の次のフレームに対しての視聴者の頭部の予測位置と
方向を推定する。その後、視聴者 210の予測眼球位置を
予測頭部位置と方向から計算し、視聴者 210のＤＰＣ空
間内の目の第１節点の位置を眼球位置から計算する。

【００３９】図４ａに示す例では、視聴者 210のＤＰＣ
空間内の予測目第１節点は、視点53、54に最も近い。従
って視点53、54に対応した事前計算ないし事前取得画像
を立体ＣＲＴ24上に表示して視聴者 210に仮想対象物 2
00の適切な立体図を提供しなければならない。その結
果、視点53、54に対応した事前計算ないし事前取得画像
を記憶装置から検索してフレームバッファ36にコピーし
て次のフレームの間に立体ＣＲＴ24に表示する。

【００４０】図４ｂは視点50−57により限定される線に
沿って横方向に転置された視聴者 210のＤＰＣ空間内の
予測目の第１節点を示す。この例では、予測目の第１節
点は視点51、52に最も近い。従って視点51、52に対応し
た事前計算ないし事前取得画像を検索してフレームバッ
ファ36にコピーし、次のフレームの間の立体ＣＲＴ24上
に表示する。

【００４１】図４ｃは、仮想対象物 200の周りの曲線上
にある視点50−57の所定の集合例を例示したものであ
る。また視聴者 210の予測目の第１節点に最も近接した
視点に対応した投影マトリックスの１次元ジオメトリを
示す。この所定の視点の集合例により、視聴者 210は視
点50−57により限定される曲線に沿った頭部の動きの
間、正確な立体画像を見ることが出来る。図示するよう
な視聴者 210の予測頭部位置により、予測目第１節点は
視点56、57に最も近い。従って視点56、57に対応した事
前計算ないし事前取得画像を検索して、フレームバッフ
ァ36にコピーして次のフレーム中に立体ＣＲＴ24に表示
する。

【００４２】図５は異なる視覚間距離を有する視聴者に
対応できる所定の視点の構成例を示す。この例では、視
聴者 220は視聴者 210の視覚間距離よりも大きな視覚間
距離を有している。視点60−75の所定の集合が視聴者 2
10と 220の予測目第１節点に最も近接した視点に対応す
る投影マトリックスの１次元ジオメトリに沿って示され
ている。上記と同様、視点60−75に対応する事前計算な
いし事前取得画像は、メモリ16、デイスク20、ＣＤＲＯ
Ｍ装置26ないしネットワーク制御装置28によりネットワ
ークを通してアクセスすることが出来る。

【００４３】視点60−75は仮想対象物 200に対して平行
な直線上にある。この構成により視聴者 210ないし視聴
者 220はその線に沿った横方向の頭部の動き中に正確な
立体画像を知覚することが出来る。上述したように、本
方法は特定の視聴者の目の第１節点の予測位置を決定す
るときに視聴者特有の目の間隔を考慮に入れる。図５ａ
の例では、視聴者 210のＤＰＣ空間内の予測される目の
第１節点は、視点61、63に最も近い。従って視点61、63
に対応する事前計算ないし事前取得画像を検索して視聴
者 210の頭部の動きを追跡する次のフレーム中に立体Ｃ
ＲＴ24上に表示するためにフレームバッファ36にコピー
する。しかし視聴者 220のＤＰＣ空間内の予測目の第１
節点はより広い間隔があり、視点71、74に最も近い。そ
の結果、視点71、74に対応する事前計算ないし事前取得
画像を検索して視聴者 220の頭部の動きを追跡する次の
フレーム中に立体ＣＲＴ24上に表示するためにフレーム
バッファ36にコピーする。

【００４４】図５ｂの例では、視聴者 220の頭部の予測
位置と方向が右に転じて示されている。従って視聴者 2
20の目第１節点は視点66、68に最も近い。視聴者 220の
頭部の例示した方向は、視聴者 220の目が仮想対象物 2
00に対して平行に向いている場合よりも狭い視点間隔を
選択することになる。従って視点66、68に対応する事前
計算ないし事前取得画像を検索して次のフレーム中に立
体ＣＲＴ24上に表示するためにフレームバッファ36にコ
ピーする。上記の例では、所定の視点は直線ないし曲線
に沿って配列している。しかし所定の視点は１次元、２
次元並びに３次元に配列することが出来る。

【００４５】図６は仮想対象物 240の所定の視点の３次
元構成例を示す。この例では、所定の視点は立方体 300
内に含まれる視点クラスタ301−304の集合として構成さ
れる。以前のように所定の視点クラスタ301−304に対応
する事前計算ないし事前取得画像はメモリ16、デイスク
20、ＣＤＲＯＭ26に記憶することが出来、あるいはネッ
トワーク制御装置28によりネットワークを通して受け取
ることが出来る。視点クラスタ301−304により視聴者
は、自らの頭部の動きが視点クラスタ301−304の１つの
内にあるときに仮想対象物 240の複合的な３Ｄ立体画像
を知覚することが出来る。クラスタ構成により視聴者が
クラスタ内で頭を動かすと３Ｄ画像内で小さな変化を知
覚することが出来る。以下に述べるように、クラスタ構
成は事前計算ないし事前取得画像のデータ圧縮を使用す
る場合に特に有用である。

【００４６】本発明の方法と装置は一定した時変概観を
有する仮想対象物に対する視聴者のリアルタイムの頭部
の動きに対応して仮想対象物の複合的な立体画像を生成
する。例えば仮想対象物 240の概観が時間をかけて一定
ならば、視点クラスタ301−304内の所定の視点の各々に
付いて１つの画像しか事前計算されない。そのような一
定の概観の仮想対象物に対して、検索され、フレームバ
ッファ36にコピーされる事前計算ないし事前取得画像は
仮想対象物 240の視覚間隔内だけで変化する。

【００４７】しかし、仮想対象物 240の概観が時間をか
けて変化するならば、仮想対象物 240の複数の事前計算
ないし事前取得画像が視点クラスタ301−304内の所定の
視点の各々に付いて生成される。検索され、フレームバ
ッファ36にコピーされる事前計算ないし事前取得画像
は、視覚間隔及び仮想対象物 240の概観の両方で変化す
る。時間をかけて概観が変化する仮想対象物に付いて
は、立体ＣＲＴ24の次のフレームに対するＤＰＣ空間内
の視聴者の目の第１節点の予測位置を時間指標と共に用
いて事前計算ないし事前取得画像の集合間から一対の立
体画像を選択する。立体画像はＤＰＣ空間内で視聴者に
付いて予測目第１節点に対して最近接を有する可能な視
点の所定の集合の２つの近接視点を判定し、時間指標を
用いて２つの近接視点の各々に対応して複数の事前計算
ないし事前取得画像の１つを選択することにより選択す
る。時間指標はリアルタイムあるいはマルチメディア同
期とすることができる。

【００４８】時間をかけて概観が変化する仮想対象物の
事前計算ないし事前取得画像は、コンピュータ10上で実
施するグラフィックス表現システムによりバッチモード
で生成する。所定の視点の各々に付いて、立体ＣＲＴ24
上のディスプレィの各々のフレームに対して事前計算な
いし事前取得画像を生成する。特定の所定の視点に対応
した事前計算ないし事前取得画像の数は、所望のフレー
ム速度と仮想対象物 240が概観を変化する時間間隔に依
存する。

【００４９】記憶できる事前計算ないし事前取得画像の
数を増大するため、事前計算ないし事前取得画像を記憶
前に圧縮することが出来る。事前計算ないし事前取得画
像の圧縮により、より多くの画像をメモリ16、デイスク
20、ＣＤＲＯＭ26に記憶することが出来る。また圧縮に
よりデータを少なくして圧縮画像を送信できるので、事
前計算ないし事前取得画像をデイスク20からコンピュー
タ10へあるいはネットワーク制御装置28に接続されたネ
ットワークを通してより早く転送することが出来る。

【００５０】画像圧縮を用いて時変事前計算ないし事前
取得画像を圧縮することが出来る。画像圧縮により基本
画像から順次の画像を再構築するのに必要な情報をコー
ド化するデルタと共に基本画像により順次の表示フレー
ムに付いて画像の表現を可能にする。いくつかの順次の
フレームに共通の情報は基本画像として一度だけ記憶さ
れる。残りの順次の画像に対応するデルタも記憶され
る。その結果、いくつかの順次の表示フレームに対する
画像は、基本画像とデルタの総数は元の画像よりも少な
いデータしか含んでいないので少ない記憶ないしディス
ク空間に記憶されることになる。画像圧縮方法に関する
詳細は、クラークR.J.「画像の変換符号化」アカデミッ
ク・プレス1985年、イギリス、ロンドン、ラオ、K.R.、
イップ、P.「離散コサイン変換、アルゴリズム、利点、
応用」アカデミック・プレス1990マサチューセッツ州ボ
ストンを参照のこと。

【００５１】同様に画像圧縮を使用してＤＰＣ空間に接
近した位置にある所定の視点に対応する事前計算ないし
事前取得画像を圧縮することが出来る。近接画像は、基
本画像から近接画像を再構築するのに必要な情報をコー
ド化するデルタと共に基本画像により示される。デルタ
は基本画像の視点に近接した所定の視点に対応して３Ｄ
視点透視図の変化を反映する。

【００５２】再び図６で、視点クラスタ301−304の各々
に対応する仮想対象物 240の画像は、基本画像とデルタ
の集合により表現できる。基本画像は視点クラスタ301
−304の中心視点に対応するように選択することが出来
る。画像圧縮手法を用いて中心視点の周りの視点に対応
する仮想対象物 240の画像のデルタをコード化する。こ
のようにして視点クラスタ301−304に対応する画像は、
相当する圧縮していない画像よりも必要とする記憶空間
は少なくなる。圧縮を使用する場合、次のフレームに対
する視聴者の頭部の位置の前方予測を用いて適切な立体
画像の対を選択してフレームバッファ36へ圧縮解除す
る。ディスプレィの各々のフレームに付いては２つの事
前計算ないし事前取得画像しか減縮用に選択しない。

【００５３】事前計算ないし事前取得画像をデイスク20
のようなディスク装置に格納する場合、視聴者頭部位置
予測を使用して予測頭部位置に対応した画像を含むディ
スク領域を「シーク」する。画像は次の表示フレーム用
にフレームバッファ36にコピーする。デイスク20に格納
する前に画像を圧縮する場合、画像はコンピュータ10に
送信してフレームバッファ36へ圧縮解除される。

【００５４】本実施例では、アクセス、圧縮解除（必要
ならば）、及びフレームバッファ36に事前計算ないし事
前取得画像をコピーするのに使用出来る時間量は、立体
ＣＲＴ24に表示する所望のフレーム速度に依存する。画
像をデイスク20に格納する場合、視聴者の頭部位置の前
方予測を用いてデイスク20のその領域をシークする。そ
の後、デイスク20とコンピュータ10間の送信時間と画像
をフレームバッファ36に圧縮解除するのにかかる時間
は、表示のためのフレーム速度に対して制限を設定す
る。所望の画像品質を得るためにはフレーム速度を１秒
当り10から30フレームの範囲に維持することが望まし
い。例えば立体ＣＲＴ24上に表示するフレーム速度が15
フレーム／秒であれば、最大１／15秒をアクセス、圧縮
解除、及び選択した立体画像対のフレームバッファ36へ
のコピーに利用することが出来る。

【００５５】図７は事前にサンプルした画像シーンの集
合に対応して事前にサンプルした画像の集合を生成する
第１の変形実施例を示す。事前サンプルした画像は画像
シーンの外観が視点面で変化するように生成する。事前
サンプル画像は後に上述の方法にしたがって画像シーン
の３Ｄ立体再生を生成するのに使用する。画像シーンの
立体再生により、視聴者はその頭部をディスプレィ画面
に記録されたＤＰＣ空間内の所定の視点の集合を通して
動かすと画像シーンの変化する外観を知覚することが出
来る。

【００５６】示した例では、画像シーンは回転プラット
フォーム 152に取り付ける実対象物からなる。回転プラ
ットフォーム 152が回転すると、実対象物の外観はビデ
オカメラ 150が事前サンプル視点の集合に付いてビデオ
画像を生成すると共に変化する。図７ａ、ｂは実対象物
の２つの事前サンプル視点の１次元ジオメトリを示して
いる。実対象物の各々の事前サンプル視点に付いて、実
対象物に関したビデオカメラ 150の節点の位置を測定す
る。事前サンプル視点に付いてのビデオカメラ150の節
点位置は、実対象物の後の再生のための所定の視点の集
合を定義する。

【００５７】ビデオカメラ 150の映像出力信号（図示せ
ず）はビデオサンプリング装置30に連結する。ビデオサ
ンプリング装置30は各々の事前サンプル視点に付いてビ
デオカメラ 150により生成されたビデオ画像をディジタ
ル化し、ディジタル化事前サンプル画像を入出力回路12
を通してコンピュータ10に転送する。そしてディジタル
化事前サンプル画像はメモリ16、デイスク20に格納する
か、ネットワーク制御装置28によりネットワークを通し
て送信することが出来る。

【００５８】図７ｃには、実対象物のディジタル化事前
サンプル画像の集合に対応する事前サンプル視点80−92
の集合例を示す。この例では、視聴者 210は視点80−92
により限定される半円に沿って頭部を動かすときに、実
対象物の再生物である仮想対象物 232の変化する外観を
知覚できる。視点80−92の立体ＣＲＴ24のディスプレィ
面に記録されたＤＰＣ空間内の仮想対象物 232に対する
空間的関係は、ビデオカメラ 150の事前サンプル節点位
置の実対象物に対する空間的関係と対応する。

【００５９】視聴者 210の頭部が動くと、立体ＣＲＴ24
の次のフレームに対するＤＰＣ空間内の視聴者の目の第
１節点の予測位置を使用して、ディジタル化事前サンプ
ル画像の集合間から一対の立体画像を選択する。立体画
像は視聴者 210に対する予測目第１節点に対してＤＰＣ
空間内で最も近接した事前サンプル視点80−92の２つの
視点を決定することにより選択する。例では、視点85、
86に対してＤＰＣ空間内で最近接した予測目第１節点を
もたらす視聴者 210の予測頭部位置を示している。従っ
て視点85、86に対応したディジタル化事前サンプル画像
を検索し、減縮（おそらく）して、フレームバッファ36
にコピーして次のフレーム中に立体ＣＲＴ24上に表示す
る。

【００６０】実対象物の外観は回転プラットフォーム 1
52が回転し、またビデオカメラ 150が事前サンプル画像
を生成すると共に変化する。その結果、ビデオカメラ 1
50により生成された視点サンプルは視点様相情報並びに
実対象物の時間変化外観に関する情報を提供する。従っ
て視聴者 210は、視点80−92の各々に対して１つの事前
サンプル画像しか記憶されていないにもかかわらず、事
前サンプル視点80−92により限定される半円に沿って頭
部を動かすことに対して、仮想対象物 232の様相と外観
の変化を知覚する。

【００６１】図８は対になったライブ動画を動的にアク
セスすることによりリアルタイムの視聴者の頭部の動き
に対応して画像シーンの複雑な立体再生像を生成する第
２の変形実施例を示す。ライブのビデオ画像は画像シー
ンのライブ画像をサンプルする１組のビデオカメラ180
−187により生成する。示した例では、画像シーンは実
対象物 250からなる。立体ＣＲＴ 164の次のフレームに
対する視聴者 260の頭部位置の前方予測を用いて映像信
号を１組のビデオカメラ180−187から立体ＣＲＴ 164へ
選別的に接続して表示する。映像信号マルチプレクサ 1
62を通して一対の映像信号を選別して立体ＣＲＴ 164に
接続する。映像信号マルチプレクサ 162はこれも頭部追
跡予測を行うプロセッサ 166により制御する。

【００６２】以前の実施例と同様の方法で、頭部追跡器
140は立体ＣＲＴ 164のディスプレィ面に記録されたＤ
ＰＣ空間内で視聴者 260の頭部の動的な位置を能動的に
追跡し、立体ＣＲＴ 164上の次のフレームに対する視聴
者の頭部の予測位置と方向を視聴者の頭部の動きの線形
補間法に基づいて推定する。次に視聴者 260の予測眼球
位置を予測頭部位置と方向から計算する。最後に視聴者
の目の第１節点の予測位置を予測眼球位置から計算す
る。

【００６３】ＤＰＣ空間内にある１組の所定の視点90−
97は実対象物 250 に関してビデオカメラ 180−187の第
１の節点に対応する。プロセッサ 166はＤＰＣ空間内で
視聴者 260に対する予測目第１節点に対して最も近接し
た１組の所定の可能な視点90−97から一対の視点を決定
する。そして最近の視点に対応する映像信号を映像信号
マルチプレクサ 162を通して選択的に立体ＣＲＴ 164に
接続する。

【００６４】上述の例では、立体ＣＲＴ 164上の次のフ
レームに対する視聴者 260の予測目第１節点は、所定の
視点92、93に最も近い。従ってプロセッサ 166は映像信
号マルチプレクサ 162にビデオカメラ182、183からの映
像信号を信号線 170を通して立体ＣＲＴ 164上に表示す
るようにする。

【図面の簡単な説明】

【図１】 立体ＣＲＴ、立体シャッタ式眼鏡、３Ｄ頭部
追跡装置を含む本発明の教示を取り入れたコンピュータ
システムを示す。

【図２】 図１のシステムのプログラム記憶装置とバッ
ファ記憶装置の例示的な構成を示す。

【図３】 表示装置のディスプレイ表面に記録する物理
的座標系である例示的なディスプレィ面座標（ＤＰＣ）
系を示す。

【図４】 本発明の教示と一致する所定の視点の例示的
な構成を例示し、視聴者の予測される目の第１の節点に
対する最近接視点の投影マトリックスの１次元ジオメト
リを示す。

【図５】 視聴者の予測目第１節点に対する最近接の視
点に対応する投影マトリックスの１次元ジオメトリに沿
った異なる視覚間距離を有する視聴者に対応できる所定
の視点の構成例を示す。

【図６】 所定の視点が立方体内に含まれる視点クラス
タの集合として構成された仮想対象物の所定の視点の３
次元構成を示す。

【図７】 画像シーンの外観が視点の相関関係により変
化する画像シーンの事前にサンプルした視点に対応して
事前にサンプルした画像を生成する第１の変形実施例を
示す。

【図８】 対のライブビデオ画像に動的にアクセスする
ことによりリアルタイムの視聴者の頭部の動きに対応し
て複雑な立体像を生成する第２の変形実施例を示す。

【符号の説明】

260 視聴者、90−97 視点、 162 マルチプレクサ、
164 立体ＣＲＴ、166 プロセッサ、180−187 カメ
ラ、250 実対象物。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 (a) 仮想対象物の所定の視点の集合に対
   応して、所定の集合と仮想対象物が表示装置のディスプ
   レィ画面に記録されたディスプレィ面座標空間内で定義
   されるように事前計算画像を生成し、 (b) 前記事前計算画像を立体で表示装置に表示する時間
   指標を判定し、 (c) 前記時間指標に対応した目の第１節点がディスプレ
   ィ面座標空間内にあるように視聴者の各々の目の第１節
   点を予測し、 (d) ディスプレィ面座標空間内で目の第１節点に最近接
   している所定の視点を判定し、 (e) ディスプレィ面座標空間内で目の第１節点に対して
   最近接している所定の視点に対応して事前計算画像にア
   クセスし、事前計算画像をフレームバッファに転送し、 (f) フレームバッファの事前計算画像を表示装置に立体
   で表示するステップからなる頭部追跡式立体画像を生成
   する方法。
2. 【請求項２】 (a) 時間指標に対応して目の第１節点が
   ディスプレィ面座標空間内にあるように視聴者の各々の
   目の第１節点を予測し、 (b) 目の第１節点をディスプレィ面座標空間内で定義さ
   れた所定の視点の集合に対して比較し、所定の視点の各
   々はライブ映像信号を生成するビデオカメラの視点に対
   応し、 (c) ディスプレィ面座標空間内で目の第１節点に最近接
   している所定の視点を判定し、 (d) ディスプレィ面座標空間内で目の第１節点に最近接
   している所定の視点に対応してビデオカメラからの映像
   信号を表示装置に連結し、 (e) 前記映像信号を表示装置に立体で表示するステップ
   からなる頭部追跡式立体画像を生成する方法。
3. 【請求項３】 仮想対象物の所定の視点の集合に対応し
   て、所定の集合と仮想対象物が表示装置のディスプレィ
   画面に記録されたディスプレィ面座標空間内で定義され
   るように事前計算画像を生成する手段と、 前記事前計算画像を立体で表示装置に表示する時間指標
   を判定する手段と、 時間指標に対応して目の第１節点がディスプレィ面座標
   空間内にあるように視聴者の各々の目の第１節点を予測
   する手段と、 ディスプレィ面座標空間内で目の第１節点に最近接して
   いる所定の視点を判定する手段と、 ディスプレィ面座標空間内で目の第１節点に対して最近
   接している所定の視点に対応して事前計算画像にアクセ
   スし、事前計算画像をフレームバッファに転送する手段
   と、 フレームバッファの事前計算画像を表示装置に立体で表
   示する手段とからなる頭部追跡式立体画像を生成する装
   置。