JP4996922B2 - 立体映像化 - Google Patents

Description

本発明は主に、写真測量、立体映像化、対話式の三次元コンピュータグラフィックス、仮想現実（ＶＲ）システムの技術分野に関する。

写真測量、立体映像化、３Ｄコンピュータグラフィックス技術、仮想現実システムの一般分野に関して、かなりの先行技術が存在する。著者は、これらの分野に関連した膨大な先行技術の完全な報告をするつもりなのではなく、本願発明の様々な部分、方法、関数の十分な理解及び評価が可能となる背景の提供を試みると同時に、従来の技術に関して本願発明が与える利点をも提供することを試みるものである。

通常、人間は世界を三次元の中で経験し理解しているので、仮想三次元的なコミュニケーションを図る必要性が常に存在する。過去四千年のほとんどの間、空間的、視覚的三次元コミュニケーションの基本的方法は、物理的に作られた三次元モデルの利用であった。観察者の左右の目に対し、僅かに異なる左右のイメージを提示することによって三次元の幻想を生成するために二次元データを操作するアイデアは、手書きの立体画像が現れた少なくとも１６世紀にさかのぼってみることができる。

１９世紀において、異国情緒のある場所や他の興味あるトピックの写真撮影による立体画像は、これらを見えるための様々な手作りの仕掛けとともに、広く製造販売された。百年の後には、この立体画像のコンセプトは「動画」にまで拡張され、何百万人もの映画の常連たちが、左視野が左目に、右視野が右目に入るよう制限された特殊な色付けがなされた厚紙でできた眼鏡を装着して劇場に座り、スクリーンから「飛び出す」モンスターやエイリアンを鑑賞した。

最後の四百年で多くのことが変わったにも関わらず、立体画像についての一定の根本的制限は残された。まず、この分野の研究開発は相当なされたにも関わらず、特殊な観察装置の必要性がある。ＣｒｙｓｔａｌＥｙｅｓ（登録商標）液晶シャッター眼鏡のような、立体眼鏡の改善された形状が広く利用され、また、まだ非常に高価であるが、最近では自動立体ディスプレイ（例えば米国特許６，１１８，５８４）が開発され、特殊眼鏡の必要性を完全に排除した。しかしながら、もっとも重要な制限は、人工的なステレオ観察の方法が自然のステレオ観察の方法と異なるところから生じるものである。ステレオ画像を長時間観察することは、脳が通常の閾値を越える程度の視差を分析することを強制されるので、それが静止画であっても映画／ビデオであっても、眼精疲労と頭痛を引き起こすこととなる（Ｌｉｐｔｏｎ １９９１）。

ビクトリア時代においては、通常、カメラ間のかなり小さな基礎分離−人間の目の間隔を模した約２．５”、をもって立体画像が撮影された。しかしながら、最近の開業者は、ほんの短い時間の後であっても鑑賞者に深刻な眼精疲労及び不快感を引き起こすにも関わらず、三次元効果を高めるために、往々にしてイメージの中のこの視差の範囲を広げている。多くの時間を鑑賞に割けるようステレオ画像を安全に提示するために、深度の視覚的な範囲は、非常に穏やかであることを必要としており、その結果、人工的に平坦化された外観になる。−それによって、３Ｄ立体ディスプレイを持つことの目的の多くが無駄になっている。現在ではもう、眼鏡不要の配達システムのための技術が開発されており、それは、おそらく鑑賞者の快適さのこの問題であり、この問題は、他の何よりもステレオ映画及びテレビジョンの商業的現実性を妨害する問題なのである（Ｍｕｌｋｉｎｓ ２００２）。

２０世紀において、三次元コミュニケーションの興味は、再び三次元モデルに向けられた。−それは、物理空間に作られるものではなく、「仮想」空間に作られるものである。「仮想現実」システムは、手本となった風景や環境からの立体的な深度の認知を可能にするために、実時間で描画される遠近法による左右の視野（適切なステレオ鑑賞装置を使って写し出される）を生成する能力を持った、コンピュータグラフィックスハードウェア及びソフトウェアと定義してもよい。

標準的な３Ｄコンピュータグラフィックスシステムでは、モデルは、ＸＹＺ座標をもった一組の頂点、頂点を多角形（ポリゴン）に組織化し、多角形（ポリゴン）をより大きな図形に組織化するための命令の組、図形に対して陰影処理、描画処理を施すための命令の組（例えば、ライティング、シェーディング、フォグ、リフレクション、テクスチャ、バンプマッピング、等）、から構成される。３Ｄグラフィックスハードウェア及びソフトウェアによって実行される基本タスクは、幾何学的にモデル化され、投影され、陰影を付けられた多角形（ポリゴン）をビュースクリーン又はディスプレイに描写することである。

ユーザに提示すべき視野を決定するために、数学的な遠近法による中心及び視野平面が定義された「仮想カメラ」が呼び出される。このカメラは、モデルについて方向が定められ、仮想カメラの遠近法による中心及び２Ｄ視野平面上を通って物体表面から種々の光線が数学的に投影される。これら数学的に計算された投影及び変換をスクリーン上のピクセルへ転換するための基本的な方法を描画と呼ぶ。ハードウェア及びソフトウェアシステムは、その点に対する様々な命令、例えば、ライティング、シェーディング、テクスチャリング等、の全ての最終合計に基づいて、各スクリーンピクセルをどの色にすべきかを決定することによってこれを行う。

いくつかのシステムは、描画速度が十分高速（毎秒約３０フレーム）であるので、ジョイスティックや他の入力デバイスを持ったユーザが、空間内を移動しているかのような効果を得ながら仮想カメラの視点を変更することができる。対話式コンピュータゲームは、このタイプのシステムの好適な例である。真のＶＲシステムは、ユーザに対して分離された左右の遠近法による視野を提示するために、適切なステレオ鑑賞装置を介して二つのカメラを並べて使用する（Ｖｉｎｃｅ １９９５）。

しかしながら、グラフィックスハードウェアは、毎秒有限個の多角形（ポリゴン）の最大数の描画に制限される（処理速度及び帯域幅によって）。グラフィックス処理ハードウェア及びソフトウェアの現行の能力がいかなるものであっても、毎秒より多くの陰影付けされた多角形（ポリゴン）の処理を可能にしたいという要求が常に存在する。多くの適用のための極限の目標は、我々の自然な視覚的経験と等価な密度と厳密さをもってモデル化された、対話式の風景を提示することである。しかしながら、実時間システムにとって、複雑な風景及び物体に生きたような表現効果をもたらすように要求された陰影付けされた多角形（ポリゴン）の数と、与えられた時間の中で実際上描画できる多角形（ポリゴン）の数との間には、大きな隔たりがある。

全く往々にして、ＶＲ視覚化のための様々な３Ｄデータの組を準備するための主な仕事は、描画の特定フレームレートを維持し得るように、表面の記述に使われる多角形（ポリゴン）の数を減らす方法を考案することである。幾何学的な基板（substrate）の表面に対して様々なイメージを割り当てる、テクスチャマッピングのような技術が使用されたときでも、ＶＲモデルは、まだ人工的か、あるいは、あまりに簡素化されたかのように見える。多くの技術及び方法は、様々な形状（ジオメトリ）及び多角形（ポリゴン）をできる限り効率的に描画するためにパイプライン描画を行う基本図形の中に組み入れられてきた。しかし、複雑な物体の表現におけるグラフィックスハードウェアの制限に対して一般に考えられている解決策は、より少ない時間でより多くの多角形（ポリゴン）を処理できる、より速く、より安価で、より能力の高いハードウェアが開発されるのを、ただじっと待つだけである。

２Ｄ写真撮影の立体画像を３Ｄ ＶＲ環境に組み入れる試みは、非互換性の固有の問題により、現在までのところ限定的な成功をみている。立体画像が鑑賞者によって知覚的に推論された視覚的な３Ｄ特徴表すのに対し、従来の３Ｄ ＶＲ環境は、明確にモデル化された幾何図形的配列から構成される。この一般的な非互換性は、ＭｃＤｏｗｅｌｌらによるＵＳ２００２／００３０６７９Ａ１において強調されている、ここでは、立体画像がＶＲ風景の中に取り込まれているが、二つの表現形式間で明らかな境界を与える窓（ｗｉｎｄｏｗ）又は入り口（ｐｏｒｔａｌ）を通してのみ可視となるものである。

デジタル三次元記録及びモデリングシステムのための、最も進んだ、活発な適用領域の一つは、歴史的建造物及び考古学的遺跡の記録である。このような適用においては、その全体表面を１ｍｍ四方のオーダーの空間解像度で、大きな遺跡を三次元的に記録する必要がある。多くの記録プロジェクトの目標は、空間的に正確で、その遺跡が保存されている国に関する非常に良好で複雑な特徴を提示可能な、歴史的遺跡の様々な表面のオフライン又は実時間の視覚化を提供することであった。多くの分野において、このような性能に対する強い要求があるにも関わらず、比例して大きな領域上の複雑な表面を十分高い解像度にて記録する試みは、一般には、非現実的で、高価で、時間を浪費するものであることが証明され、期待された要求をほとんど実現するものではなかった。

大きく複雑な表面を記録するための技術は多く存在するが、大きなスケールでデジタル３Ｄ記録の高密度をもたらすために使用される二つの基本的方法がある。一つは、種々の「マシンビジョン」を伴うもので、−重なり合った写真（常にではないが、時として、立体画像）から三次元情報を自動的に抽出するための写真測量技術（Ｇｒｕｅｎ １９９８）に基づくものである。二つめの方法は、三次元的にサンプリングされた点を高密度にするための、種々のレーザースキャニングシステムの利用を含むものである。二つの方法は共に、意図した表面から分離することが困難な信号ノイズを強い度合で与える結果につながる（Ｆａｎｇｉ２００２；ＷＯ０３／０４６４７２ＡＺ）。これらのデータの組に対しては、様々な平滑アルゴリズムが利用可能であるが、我々が表現に興味を持っている、小さく良好な三次元特徴の殆どを取り除いてしまう結果につながる。さらに、様々な点位置について著しく誤った三次元値が発生する率も比較的高い（Ｌｉｎｇｕａ ２００２；Ｓｃｈｏｕｔｅｄｅｎ ２００２）。

したがって、これら二つのキープロセスによって発生する密集したデータの組の多くは、自然に見える表現を生成するために広範囲な手動編集を必要とする（Ｋｅｎ ２００２）。これらのデータの組を許容可能な多角形の表面及びＶＲモデルに変えるために、さらに多くの処理が必要であり、全てが広範囲な手動介在を必要とする。これらいわゆる「自動化された」技術は、それゆえ、大量の手作業を生み出し、多くの時間の浪費であり、実装を高価なものにしている。所望の解像度において、それぞれ１００％の増加があれば、結果的に計４００％増のデータが発生し、その実装のために多くの人手が必要となる。非常に高い精密性と正確性とを達成することのできる、写真測量の立体画像からの三次元ポイントの抽出のための完全な手動技術も存在するが、これらの処理には時間がかかり、要求された記録密度を達成することはできない。大きな建築学又は考古学的な遺跡の三次元記録のために要求される１ｍｍという解像度は、それゆえ、従来又は現在の技術を使って処理するには実用的でない量のデータを表している。

それは、基本的な前提であり、従来の３Ｄ記録システムの多くの開業者の期待は、いつか、累進的に改善される様々なレーザースキャニングデバイスの正確性及び解像度を通して、又は、現在進行中のコンピュータ処理能力の改善と併せた様々なマシンビジョンアルゴリズムの改善を通して、広大な領域上の非常に高密度の三次元データを自動的に記録することが可能になることである。しかし、過去２５年以上にわたって、多くの研究が様々な自動３Ｄポイント抽出アルゴリズム（写真からの）についてなされてきたが、周辺の改善しか見られなかったのである（Ｓｃｈｅｎｋ １９９６）。レーザースキャニング技術、特に構造的なスケール上で動作するように設計されたスキャナは、一般的に、克服又は改善が非常に困難な、基本的な物理上・機械上の現象に制限される。

要約すると、三次元情報のキャプチャリング、処理、提示の様々な方法に関して、近年偉大な技術的向上が図られた。しかし、それぞれの方法において、まだ克服すべき基本的問題が存在している。これらには以下のものが含まれる。すなわち、現実的な三次元モデルを生成するのに必要な多角形の数を処理する現行のハードウェア及びソフトウェアの能力的制限、立体的に視覚化されたメディアにおける不自然なレベルの視差による鑑賞者の不快感、そして、多くの自動３Ｄデータ抽出システムの不正確さ及び不十分さ、である。

本発明は、従来の技術よりかなり効率的で、安全な範囲内で最適化されたステレオイメージの視差を可能にし、よって、三次元細部の知覚の縮小を非常に僅かなものに留めて視野を広げることができる、立体的な三次元モデルを生成し表現するための方法を供給することで、これらの問題に対する解決策を提案するものである。

（引用文献）
Fangi, G., Find, F., Gagliardini, G., Malinvemi, E. (2002) "Fast and Accurate Close Range 3D Modelling by Laser Scanning System:" in Albertz, J. (Editor), Surveying and Documentation of Historic Buildings-Monuments-Sites: Traditional and Modem Methods. Proceedings of the XVIIIth International Symposium of CIPA, Potsdam (Germany), September 18-21, 2001. The ICOMOS/ISPRS Committee for Documentation of Cultural Heritage, Berlin.

Gruen A. (1996) “Development of Digital Methodology and Systems.” In Atkinson, K.B.(Editor), Close Range Photogrammetry and Machine Vision, pp. 78 to 104. Whittles Publishing, Caithness, Scotland.

Kern, F. (2002) “Supplementing Laserscanner Geometric Data with Photogrammetric Images for Modeling.” In Albertz, J., (Editor), Surveying and Documentation of Historic Buildings-Monuments-Sites: Traditional and Modem Methods, Proceedings of the XVIIIth International Symposium of CIPA, Potsdam (Germany), September 18-21, 2001. The ICOMOS/ISPRS Committee for Documentation of Cultural Heritage, Berlin.

Lingua, A., Rinaudo, F. (2002) “The Statue of Ramsete II: Integration of Digital Photogrammetry and Laser Scanning Techniques for 3D Modelling.” In Albertz, J., (Editor), Surveying and Documentation of Historic Buildings-Monuments-Sites: Traditional and Modern Methods, Proceedings of the XVIIIth international Symposium of CIPA, Potsdam (Germany), September 18-21, 2001. The ICOMOS/ISPRS Committee for Documentation of Cultural Heritage, Berlin.

Lipton, L. (1991) The CrystalEyes Handbook. StereoGraphics Corporation, San Rafael, California.

Mulkens, E., Roberts, J. (2001) “Effects of Display Geometry and Pixel Structure on Stereo Display Usability.” In Proceedings of SPIE Vol. 4297, Stereoscopic Displays and Virtual Reality Systems VII.

Schenk, A., (1996) “Automatic Generation of DEMs,” In Greve, C. (Editor), Digital Photogrammetry: An Addendum to the Manual of Photogrammetry, pp. 145-150. American Society for Photogrammetry and Remote Sensing, Bethesda, Maryland.

Schouteden, J., Pollefeys, M., Vergauwen, M., van Luc, C. (2002) “Image-Based 3D Acquisition Tool for Architectural Conservation.” In Albertz, J. (Editor), Surveying and Documentation of Historic Buildings-Monuments-Sites: Traditional and Modern Methods, Proceedings of the XVIIIth International Symposium of CIPA, Potsdam (Germany), September 18-21, 2001. The ICOMOS/ISPRS Committee for Documentation of Heritage, Berlin.

Vince, J. (1995) Virtual Reality Systems. Addison-Wesley Publishing Company, Wokingham, England.

［図のリスト］
図１は、左右のカメラを使用して複雑な物体のステレオ記録を行うためのシステムを示す。
図２は、ステレオ記録された物体のトップダウン断面図であり、オブジェクトポイントとイメージポイントとの間の関係を示す。
図３は、立体画像の左右イメージのステレオ投射及び視野を示す。
図４は、鑑賞者によって知覚された投影立体画像における見かけ上の深度を図説する。
図５は、鑑賞者によって知覚された投影立体画像における見かけ上の深度のトップダウン断面図である。
図６は、様々なイメージポイント対の表面視差を図説する。
図７は、見かけ上のポイント（Ｂ）に対応するイメージポイントの表面視差を除去するように位置決めされたスクリーンを示す。
図８は、対応するイメージポイントの特定の三対の表面視差を除去するための、３個のスクリーンの位置決めを示す。
図９は、全ての対応するイメージポイント対の表面視差を除去するたよう位置決めされた、理論上「完全な」基板を図説する。
図１０は、厳密に投射された三対のステレオ光線の理論上の交差点を示す。
図１１は、ゼロ視差ポイントの計算による表面視差の除去、及び、見かけ上の残りの視差表面の発生を図説する。
図１２は、ステレオ光線の交差点の選択対が基板の頂点にマップされたところの基板及び立体画像間の関係の遠近法による視野である。
図１３は、質感優位の原則を図説するものであり、これによって、鑑賞者は基板ではなく見かけ上の表面だけを知覚する。
図１４は、従前のモデル及び可干渉性のステレオ質感のあるモデルにおいて全体的な深度（巨視的視差）を軽減した場合の効果の対比である。
図１５は、ステレオカーソルを使った、見かけ上の立体的特徴のプロッティングを図説する。
図１６は、複雑な表面の断片のステレオ写真撮影記録を図説する。
図１７は、左右の平坦な多角形状メッシュをステレオプロッティングするための動作の経過を示す。
図１８は、各イメージ座標値を伴った平坦なメッシュの頂点間の関係を図説する。
図１９は、ステレオ対応する左右の平坦なメッシュからの三次元基板の計算及び構築を表す。
図２０は、ステレオプロットされたイメージ座標、左右の平坦なメッシュ、テクスチャマッピング座標の左右の組、の間の関係を図説する。
図２１は、三次元多角形状の基板上への、単一（単観測，ｍｏｎｏｓｃｏｐｉｃ）テクスチャイメージマップの投影マッピングを示す。
図２２は、三次元多角形状の基板上への、対応する対の（双観測，ｓｔｅｒｅｏｓｃｏｐｉｃ）テクスチャイメージマップの投影マッピングを示す。
図２３は、描画されたスクリーン空間、３Ｄ ＶＲ物体空間、実物体空間、２Ｄテクスチャイメージ空間の間の関係を図説する。
図２４は、正確にテクスチャデータをサンプリングする過程を図説する。
図２５は、可干渉性のステレオ質感のあるモデルの、様々なユーザ指定の空間的変形の連続を示す。
図２６は、イメージ抽出の基板を伴った可干渉性のステレオ質感のあるモデルと任意の基板を使ったモデルとの間の空間的関係を図説する。
図２７は、可干渉性のステレオ質感のあるモデルの見かけ上の表面から真の３Ｄ測量を抽出する方法を図説する。
図２８は、３Ｄ物体のステレオ記録のための写真測量法上の関係及びパラメータを示す。
図２９は、ステレオイメージから抽出されたデータを使った、可干渉性のステレオ質感のあるモデル生成の基本的手法を表す。

［本発明の陳述］
本発明の第一の局面によれば、三次元物体の立体的表現を形成するための、次のステップから構成される方法が与えられる。
（ａ）物体の第一及び第二視野から構成される立体画像を与え、
（ｂ）物体の基本形状を表現する第一及び第二視野から、対応するイメージポイントの複数の対を選択し、
（ｃ）基板を与え、
（ｄ）対応するイメージポイントの各選択対のための表面視差が実質的に除去され、対応するイメージポイントの少なくともいくつかの非選択対のために、残りの表面視差が発生するように、第一及び第二視野を基板に割り当てる。

このようにして、物体の立体的表現（以下、物体の「可干渉性のステレオ質感のあるモデル」と呼ぶこととする。）が与えられ、これは、以下で説明するように、当業界における既知の技術によって生成される立体的表現を超える、多くの重要な利点を提案するものである。

表現すべき三次元物体（以下、「ステレオ記録物体」と呼ぶこととする。）風景を形成する複数物体の中の一つでもよいし、分離された一つの物体でもよい。三次元物体はまた、物体の三次元表面でもよい。例えば、三次元物体は、テクスチャ表面（オイルを塗られたか何かのようなテクスチャ表面）であってもよい。

物体は、実（例えば、自然界の、又は、実体的な）物体であってもよく、仮想（例えば、デジタル、又は、コンピュータで発生させた）物体であってもよい。物体の第一及び第二視野は、従来の記録技術のいずれを使っても生成可能である。例えば、実物体の場合、立体画像は、いずれのスペクトル又は波長（例えば、実写カメラ）における放射エネルギ（例えば、光）のパターンを記録する能力を持ったデバイス又はシステムによって記録され得る。仮想物体の場合、立体画像は、コンピュータによりモデル化された風景又は物体（例えば、仮想カメラ）のコンピュータにより描画されたステレオイメージを生成する能力を持ったシステムによって生成され得る。

対応するイメージポイントの複数対（以下、「左右のステレオ対応イメージポイント」と呼ぶ。）は、物体のいずれの可視部も表現できる。左右のステレオ対応イメージポイントは、いずれの既知の手動又は自動プロッティング、選択技術、又は、これらの組み合わせによって選択してよい。非デジタル手法を使って記録された立体画像の場合、この立体画像は、左右のステレオ対応イメージポイントの対を選択又はプロットできるようにデジタル化される。

ステレオ記録された物体の基本形状を表現するように選ばれた選択左右のステレオ対応イメージポイント（以下、各ポイントを「左右のプロットイメージポイント」と呼ぶ。）の密度は、要求される詳細レベルに依存することとなる。しかしながら、以下に述べるように、印象的な立体画像は、高密度のイメージポイントなしには達成できない。

基板は、実基板（例えば、物理空間に存在する触知できる存在物）であってもよいし、仮想基板（例えば、デジタル、又は、コンピュータにより生成された存在物）であってもよい。立体画像は、いかなる適当な技術を使って基板に割り当ててもよい。例えば、立体画像は、基板の上に（又は、基板から）投影されてもよく、あるいは、基板の上に描画され、マップされ、印刷されてもよい。例えば、この方法は、基板の上に立体画像を物理的に印刷することを、さらに含んでもよい。

選択された左右のステレオ対応イメージポイントの各対の表面視差が除去される一方で、残された非選択の左右のステレオ対応イメージポイント対の、いくつか又は全ての対が余りの表面視差となり、これは、ステレオ記憶された物体の三次元特徴に対応する視覚的な三次元表面を生成することとなる。

正しく観察するために、可干渉性のステレオ質感のあるモデルが提示されるが、これによって、基板に割り当てられた立体画像の第一（例えば、左）のイメージは、観察者の第一の目（例えば、左目）にのみ現れ、基板に割り当てられた立体画像の第二（例えば、右）のイメージは、観察者の第二の目（例えば、右目）にのみ現れることとなる。

基板は、物体の基本形状を表す三次元基板でもよく、各座標が対応するイメージポイントのそれぞれの対に関連付けられた、三次元空間内における一組の座標を定義する表面（例えば、非平面な表面）を有する基板であってもよい。そして、第一及び第二の視野は、それぞれの座標に割り当てられた、対応するイメージポイントの各対を伴った基板に割り当ててもよい。この基板の非平面な表面は、その物体の不完全な近似値であってもよい。例えば、その基板の非平坦な表面は、左右のステレオ対応するイメージポイントの低密度の組あるいはこれらのサブセットに基づくものであってもよい。

基板は、複数の分離した表面要素から構成してもよい。少なくとも一つの分離された要素は平面であり得る。基板が三次元又は非平面表面から構成される場合には、その基板は複数の非共面の平面要素を構成することがあり得る。少なくとも一つの分離した表面要素は、頂点からなる。少なくとも一つの分離した表面要素は、多角形である。組の中の少なくとも一つの座標は、分離した表面要素の頂点に位置付けられる。例えば、その表面は、その組の各座標は多角形状の表面要素の頂点に位置付けられ、それぞれ少なくとも三つの頂点を持つ、複数の多角形状の表面要素からなる。

基板の表面は、立体画像又は物体そのものから導かれる利用可能な三次元データの連続体を、意図的に標本間隔以下での標本化を行うことの影響によって生成される。基板を与えるステップは、立体画像の各視野の遠近法による中心の決定を含んでもよい（例えば、立体画像の各イメージに使用されるカメラレンズの後方節点）。

基板は、立体画像から抽出されたデータを使用して生成してもよい。例えば、基板は次のように生成され得る。
（ａ）数学的に投射された光線の対が対応するイメージポイントの各対からそれぞれ通過する、三次元空間におけるポイントの組を決定し、
（ｂ）基板の表面を生成するために三次元空間において決定されたこのポイントの組を使用し、それによって、表面上の決定されたポイントの組が座標の組と対応することとなる。

基板は、物体から直接抽出されたデータを使って生成してもよい。例えば、対応するイメージポイントの複数の対を選択するステップは、次のものを含んでもよい。
（ａ）それぞれの第一及び第二視野の遠近法による中心に関して、基板の位置及び方向を決定し、
（ｂ）基板の表面によって定義された各座標から第一及び第二視野の各遠近法による中心を通る数学的に投射される光線による、対応するイメージポイントの複数の対を選択する。このようにして、基板は、物体のスケールモデルとなる（例えば、物体の基本形状のスケールモデル）。物体は、レーザースキャンやそれに類するもののいずれかの標準的測量技術を使って測定してよい。そして、三次元的な参照系を有してもよい。もし物体と関連するカメラ位置が、立体画像の生成時に既知となれば、基板及びカメラの関係は、共通参照システムの探索によって計算される。例えば、これは、ＧＰＳ座標や、物体の上や周囲に配置され、立体画像として記録される可視目標に基づいてもよい。他の実施形態では、レーザースキャン中及び立体画像の両視野中の共通ポイントを探索することでこの関係が決定され、そして、これらのポイントは、カメラのアングル及びポジションを決定するために使用される。このようにして、カメラと基板との間の空間的関係が、物体を参照することなく計算される。

物体は、仮想物体（例えば、デジタル又はコンピュータにより生成された存在物）であってもよい。立体画像は、第一及び第二視野の描画（例えば、人工描画）によって生成（例えば、発生）され得る。物体は、仮想カメラ（時として、「鑑賞錐台」と呼ぶ。）を特徴とした当業界で既知種の３Ｄモデリングソフトウェアを使って描画してもよい。仮想カメラの位置は、ユーザが立体的表現を見るであろう視野を決定する。立体的表現は、二つの仮想カメラを同時に使って描画してもよく、あるいは、一つの仮想カメラを第一視野の描画に使用し、その後、指定された基本分割を通ってこの仮想カメラを移動し、第二視野を描画するようにしてもよい。

基板は、物理空間に存在する触知可能な存在物であってもよい（例えば、実存の存在物）。基板は、従来技術のいずれを使って形成しても、また、従来素材のいずれを使って形成してもよい。

基板は、立体眼鏡を使用することなしにユーザに物体の立体的表現を提示するよう構成してもよい。例えば、基板は、そのような目的で構成された素材を含んでもよい。一実施形態において、基板はレンズ状スクリーンを含んでもよい。

基板は、仮想基板（例えば、デジタル、又は、コンピュータにより生成された基板）であってもよい。本方法は、さらに、描画された左右の視野間の基本分割調整を可能とする一組のユーザ制御を与えるステップを含んでもよい。例えば、与えられた立体画像は、第一基本分割（例えば、立体画像を記録するカメラの基本分割）を有してもよい。そして、本方法は、さらに、第二基本分割を有する第一及び第二の仮想カメラを使った物体の立体的表現をデジタル式に描画するステップを含んでもよい。このようにして、ユーザは、描画された左右の視野の基本分割線を、第一基本分割とは異なる値に調整することができる。

立体画像は、物体に与えられた視野の、複数の立体画像の一つであってもよく（例えば、物体の実質的に同様の視野を示す複数の立体画像の一つ）、複数の立体画像はそれぞれ異なった基本分割を有することとなる。そして、本方法は、さらに、基板に対して複数ある立体画像のそれぞれを割り当てるための、一組のイメージ座標を与えることを含んでもよい。本方法は、さらに、どの立体画像が基板に割り当てられるべきかを鑑賞者又はユーザが選択することを可能にする、一組のユーザ制御を与えるステップを含んでもよい。

立体画像は、人間の鑑賞にとって快適であることが通常考慮された視差の範囲を超える第一基本分割を与えるようにしてもよい。そして、本方法は、さらに、人間の鑑賞にとって快適であることを考慮した視差の範囲を生じさせる第二基本分割を持った、第一及び第二の適用手段（例えば、複数のカメラ）を使用して物体の立体的表現を割り当てるステップを含んでもよい。例えば、物体の立体的表現は、人間の鑑賞にとって快適であることを考慮した視差の範囲を生じさせる第二基本分割を持った、第一及び第二の仮想カメラを使ってデジタル式に描画してもよい。そして、物体の立体的表現は、新規な立体画像として記録される。この新規な立体画像は、蓄積してもよい（例えば、後の鑑賞のため）。このようにして、映画及びビデオ製作者に、良好な細部及び質感を与えるための広範な基本分割を伴った映画を撮影する能力と、そして、より低い巨視的な視差値を伴った場面の立体的表現を生成することにより場面を再サンプル抽出する能力とをもたらす立体的表現を形成する方法が与えられた。立体的表現における残された表面視差（例えば、微視的な視差）の結果として、その場面において記録された表面の複雑性は、実質的に保持されることとなる。

本方法は、さらに、少なくとも一つの付加的な対応するイメージポイントの対を選択できるシステムを使って、物体の立体的表現を表示することを含んでもよい。この少なくとも一つの、付加的な、対応するイメージポイントの選択対は、基板の表面をさらに定義するための基板表面上の、新規な座標を生成するのに使用される。また、この少なくとも一つの、付加的な、対応するイメージポイントの選択対は、物体の表面特徴に対応する基板上のポイントから測量を導き出すのにも使用される。

本方法は、さらに、三次元における立体的表現の少なくとも一つの操作及び注釈を可能とするシステムを使って、物体の立体的表現を表示するステップを含んでもよい。

本方法は、さらに、次のステップを含んでもよい。
（ａ）基板上の立体画像の第一視野を割り当てるための、イメージ座標の第一の組を与え、そして、
（ｂ）基板上の第二視野を割り当てるための、イメージ座標の第二の組を与える。
一実施形態において、この立体的表現は、第一視野が表示されるときには、基板に対して第一視野を割り当てるために第一の組の座標が使用され、第二視野が表示されるときには、基板に対して第二視野を割り当てるために第二の組の座標が使用されるように描画される。他の実施例において、基板は、第一及び第二の基板部分から構成され、各基板部分は物体の基本形状を表現し、三次元空間内の一組の座標を定義する表面を持ち、立体画像の第一及び第二視野を基板に割り当てるステップは、第一視野を第一の基板部分（例えば、第一組のイメージ座標の使用）に割り当てることと、第二視野を第二の基板部分（例えば、第二組のイメージ座標の使用）に割り当てることとから構成される。

他の実施例において、第二視野は、それぞれの選択されたイメージポイントが、第一視野における対応するイメージポイントと位置的に一致するよう作られるように、操作される（例えば、歪められ、写像される）。そして、一組のイメージ座標は、基板上の立体画像の第一視野を割り当てるために与えられ、この立体的表現は、この第一視野及び歪められた第二視野が、共に、第一視野のイメージ座標を使って基板に割り当てられるように描画される。

必要な場合、本方法は、さらに、シミュレーションループを使った実時間描画のためのいずれかのステップを、必要なだけ繰り返すことを含んでもよい。

基板は、任意の形状を有してよい、例えば、基板は、物体の基本形状と空間的関連性を持たない形状を有してもよい。例えば、基板は、平面的な表面を有してもよい。立体画像の第一及び第二視野は、基板表面上のゼロ視差ポイントの生成を強制するために基板上にマップされる。例えば、本方法は、さらに、基板上の立体画像の第一及び第二視野を割り当てるための一組のイメージ座標を与えるステップを有してもよく、そのようにして、表面視差は、対応するイメージポイントの各選択対のために実質的に除去されることとなる。

基板は、新規な形状を与えるための空間的変換を行ってもよい。

本発明の第二の局面によれば、時間的に連続する一連の物体の立体的表現を形成する、次のステップから構成される方法が与えられる。
（ａ）既に明らかにされた、本発明の第一の局面の実施方法のいずれかに基づいて、それぞれ形成された複数の立体的表現を与え、
（ｂ）この一連の複数の立体的表現を、特定のフレームレートで鑑賞するために配列する。

一つの基板は、複数の表現を形成するために使用することができる（例えば、ある物体の視野が変化しないか、又は、一連のフレームを通して実質的に変化しないようなシーンにおいて使用するため）。

本発明の第三の局面によれば、既に明らかにした実施方法のいずれかに基づいた、物体の立体的表現が与えられる。

本発明の第四の局面によれば、既に明らかにした実施方法のいずれかをコンピュータに実行させるためのプログラム命令から構成されるコンピュータプログラムが与えられる。

このプログラムは、記録媒体、コンピュータメモリ、読取専用メモリ、そして、電気的搬送波の一つ又はそれ以上に組み入れることができる。

本発明の第五の局面によれば、物体の立体的表現を形成するための装置が与えられ、次のものから構成される。
（ａ）物体の第一及び第二の視野を構成する立体画像を発生する手段、
（ｂ）物体の基本形状を表現する第一及び第二の視野から、対応するイメージポイントの複数の選択対を選択する手段、
（ｃ）基板を発生する手段、
（ｄ）対応するイメージポイントの各選択対のために表面視差が実質的に除去され、対応するイメージポイントの少なくともいくつかの非選択対のために残りの表面視差が発生するように、発生させた基板に第一及び第二の視野を割り当てる手段。

本発明のこの局面における実施装置は、既に明らかにした実施方法に基づく特徴を含んでもよい。

本発明の第六の局面によれば、物体の立体的表現を形成する装置が与えられ、次のものから構成される。
（ａ）物体の第一及び第二視野からなる立体画像、
（ｂ）基板、
（ｃ）対応するイメージポイントのあらかじめ選択された対のために、物体の基本形状を表現する第一及び第二の視野から表面視差が実質的に除去され、対応するイメージポイントの少なくともいくつかの他の対のために、残りの表面視差が発生するように、第一及び第二視野を基板に割り当てる手段。

本発明のこの局面における実施装置は、既に明らかにした実施方法に基づく特徴を含んでもよい。

［本発明の概要］
本発明は、可干渉性のあるステレオ質感モデル（ｃｏｈｅｒｅｎｔｌｙ ｓｔｅｒｅｏ−ｔｅｘｔｕｒｅｄ ｍｏｄｅｌ；ＣＳＴＭ）と呼ばれる、三次元の立体的存在物の新規な様式と、可干渉性のあるステレオ質感と呼ばれる、このＣＳＴＭによって生成され、描画され、表示されるところの処理とから構成される。ＣＳＴＭの基本構成は、次のものである。
（１）一つ又はそれ以上の立体画像、
（２）三次元基板、
（３）基板の構造、及び、基板とそれに適用されたイメージとの間の関係を（全体又は一部として）決定する、ここにゼロ視差ポイントとして参照される一組の座標。

立体画像は、関連付けされたイメージの対であり、これは、適当なステレオビューアを通して見たときに、深度の発生を与えるようなやり方でキャプチャ又は生成されたものである。ここで使われる、この「基板」という用語は、その上にステレオイメージがマップ、描画、投影されるところの、デジタル又はアナログの表面を指す。ＣＳＴＭは、立体画像を加えた単一の基板、又は、より大きなモデルを形成するため互いに適合する一連の立体画像及び基板から構成される。多様な、時間的に連続するＣＳＴＭは、ステレオ映画やビデオ撮影、コマ落としのステレオ写真撮影、ステレオで撮影される停止動作アニメーションシーケンス等の方法により発生させたイメージを使って生成することもできる。

本発明は、デジタル及びアナログの両方についての多くの実施形態を有しているが、最も広範囲に及ぶ適用を見出すことのできる実施形態は、ステレオ描画及び表示が可能な対話式のコンピュータグラフィックスシステムにおけるＣＳＴＭの使用である。つまり、真の「仮想現実（ＶＲ）システム」である。基板を発生させ、これにイメージを割り当てるという、この独自の方法により、可干渉性のあるステレオ質感は、複雑な三次元表面を表現する際のコンピュータによる処理時間の観点から、従来技術に比して（控えめに見ても）４００倍もの効率をもたらす。さらに、この技術は、長時間のステレオ鑑賞に付随してよく起こる、眼精疲労及び不快感を著しく軽減する。

ＣＳＴＭは、特に、実世界の物体の記録及び表現によく適合するが、人工的に発生させたモデルにも応用することができる（例えば、３Ｄモデリングソフトウェア及び／又は粒子描画システムによって生成されるもの）。ＣＳＴＭは、物体及び表面の広範囲の描画が可能であり、これには、毛髪や毛皮のような非固体の複雑な表面も含まれ、同様に、液体、ガス、炎、爆発などの、粒子ベースの複雑な現象も含まれる。それは、また、透明な、又は、乳光を放つ表面の表現も可能であり、Ｘ線、紫外線、赤外線などの非可視スペクトルによって記録されたステレオイメージから構成することも可能である。

［本発明の全体説明］
従来の立体画像は、適当なステレオビューアで見たときに、部分のイメージ及びその基板は二次元でしかないにも関わらず、三次元の幻影を生成する。しかしながら、従来の立体画像は、ただ一つの視点（そのイメージ対が記録された時のカメラの位置）を表現できるだけであるので、三次元の幻影は、基本的に静的であり、鑑賞者は、イメージに対する自身の位置関係に関わらず、この一つの視点に制限されることとなる。

可干渉性のステレオ質感のあるモデルは、ＣＳＴＭが真の三次元物体であるという点で、標準的な立体画像とは根本的に異なり、従って、多数の異なった方向からの真の遠近法による視点を提供することができる。従来の立体画像に収められた建物を見ている鑑賞者は、自身がそのイメージに対してどこに移動しようとも、その建物の同じ視野を目にすることとなるのに対し、ＣＳＴＭに収められた同じ建物を見ている鑑賞者は、仮想空間の中を移動することができ、その際、その建物に対する彼の視野は、移動に伴って変化することとなる。この効果は、ＣＳＴＭの基板が、それ自体、立体画像あるいはその物体自身のいずれかから抽出される測量を使って構築された、オリジナルの物体の三次元複写であることから可能となるものである。そして、立体画像は、ステレオイメージポイントの特定のサブサンプルを、複写上の対応するポイント組み合わせることによって、この複写の上にマップされる。基板を発生させイメージをこれに割り当てる方法は、可干渉性のステレオ質感と呼ばれるものである。

イメージと基板との間の、この可干渉性の本質、意義、効果を理解するためには、まず、ステレオイメージの根本的な原則を理解する必要がある。図１に、写真撮影による立体画像を生成するための、最も基本的なシステムを示す。ここでは、三次元物体（１．０２）を記録するのに、２台のカメラ（１．０１）が使用される。図２において、このシステムは、簡単な放射光線による幾何図形としてあらわされている。これらのカメラは、遠近法上の中心（２．０２、２．０３）が同じ水平平面に置かれるように設置され、「基本分割」として知られる水平距離（２．０４）をもって分割される。物体上の各ポイント（例えば、２．０１Ａ）は、左右カメラ（２．０２、２．０３）の遠近法による中心を通る、三次元空間において放射される一対の光線の立ち上がりを与え、それぞれのカメラ（２．０５、２．０６）のイメージ平面で終端し、その結果、それぞれの実体ポイント（例えば、２．０５ａ、２．０６ａ）のための左右のイメージポイントとなる。結果の立体画像において知覚可能な深度の範囲は、二台のカメラの遠近法による中心間の距離（２．０４）と、各イメージポイント及び対応する物体ポイント間の距離（例えば、２．０１Ａから２．０５ａまで）の関数である。

立体画像を見るには、左イメージを左目に制限し、右イメージを右目に制限するような装置が必要となる。ステレオイメージが正しく位置調整されたとき、人間の自然な立体視能力により、観察者は、ステレオ記録された物体の様々な部分を様々な深度で発生しているものとして認知できる。図３において示した立体画像の鑑賞方法の一例は、二つのイメージが平坦なスクリーン（３．０３）上に投影されたとき、観察者は立体眼鏡（３．０２）を使って、スクリーンの平面を越えて様々な深度が発生しているかのように物体の様々な部分を知覚できるように位置調整された、二台のプロジェクタ（３．０１）の使用を伴うものである。図４及び５にこの点を示す。ここでは、４．０１及び５．０１がスクリーンの位置を示し、そして、４．０２及び５．０２が鑑賞者によって知覚される、ステレオ記録された物体の視覚的位置を示す。物体をスクリーンの前に置いたように現す、あるいは、部分的に前、部分的に後ろに置いたように現すような効果を生じさせることも可能である。

次のことに留意することは重要である。すなわち、この実例においては、スクリーンが投影のための基板として機能しているにも関わらず、スクリーンの現実の表面における非常に微視的な視覚的質感に対し、投影された視覚的質感が優勢になり、それゆえ、全ての実用的目的としては、このスクリーンは鑑賞者に不可視になるという点である。換言すると、鑑賞者は、スクリーン上に投影された、スクリーンの現実の表面というよりは、投影されたイメージの中の、物体の視覚的表面を知覚しているのである。この原則は、「質感優位」として知られ、本提案発明により活用される中心的な発想である。

図６は、図２においてキャプチャされた立体画像の、平面スクリーン（６．０５）上への投影を示す。ポイント６．０１Ａ、Ｂ、及び、Ｃが、スクリーンの平面を越えて、見かけ上の三次元空間に置かれているのがわかる。この見かけ上の深度は、表面視差と呼ばれる、スクリーン上の対応するイメージポイントの各対の水平距離（６．０２、６．０３、６．０４）によって決まる。ステレオイメージポイント対の間の表面視差が増大すると、知覚できる三次元ポイントの見かけ上の深度もまた、増大する。反対に、表面視差が縮小すると、見かけ上の視差も縮小することとなる。対応するイメージポイント対の間の視差の範囲の修正は、立体画像で記録されたオリジナル物体の形状に大きく影響される。オブジェクトポイントがステレオカメラから遠く離れると、それだけ、対応するイメージポイント対の視差値の値が大きくなる。

表面視差を「包括的に」制御可能な方法は多く存在する。例えば、左右のプロジェクタ間、あるいは、プロジェクタ及びスクリーン間の距離の調整により、一定の要因によって、ステレオポイントの全ての組のための、全ての表面視差を変更することができる。これは、スクリーン平面についての空間内の、物体の見かけ上の位置を制御するための有益な技術を与える。プロジェクタ及びスクリーンを、最も近接した見かけ上のイメージポイントがスクリーン平面と一致するように配置することもできる。これは、関心のある見かけ上のポイントのための「ゼロ視差設定」と呼ばれる。

図６及び図７を比較すると、オブジェクトポイント７．０１Ｂに対応する一対の左右のイメージポイント（７．０７ｂ、７．０８ｂ）から投射された光線が、今度は、これらのポイント対のための表面視差がゼロ（７．０３）になるまで縮小させつつ、スクリーン表面上で完全に収束するように、スクリーンの位置が調整されている。もし、この単一の大きなスクリーンを一連の小さなスクリーンによって置き換えるとするならば、対応するイメージ光線の対が特別に選択された正確な位置での組は、三次元空間において交差し、そして、これら特別に選択されたポイント対のそれぞれにより、表面視差が除去される。図８は、三つのポイント（８．０１Ａ、８．０２Ｂ，８．０３Ｃ）の組についての効果を示す。

さて、プロジェクタ及びイメージの同一の調整について考慮すると、単一の大きな平面スクリーン又は一連の小さな平面スクリーンの上に投影する代わりに、イメージは、オリジナル物体の三次元形状と正に一致するスクリーン又は基板の上に投影される（図９）。立体画像を撮影するカメラの幾何学的配列が、プロジェクタの幾何学的配列と一致するとすれば、そして、この投影方法が、歪曲効果や制限された映像面深度によって妨害されないとすれば、この三次元スクリーン（９．０１）は、いくつかのポイント（９．０１Ａ、Ｂ、Ｃ）のためだけではなく、完全な立体投影を作り上げる、対応する光線の全ての対のために、表面視差を効果的に除去するであろう。もし、すべての視差が除去されると、立体画像の使用は冗長なものとなる。つまり、オリジナル物体の形状及び色彩を表現するために要求される全てのものは、完全な基板及び単一イメージの投影又はマッピングである。

詳細な三次元基板に単一（単観測）イメージを割り当てる、この方法は、実は、多くの従来からの３Ｄグラフィックス描画方法において基本原理である。不幸にも、物体や表面の三次元的な複雑性が増大すると、モデル及び描画のための、より大きなコンピュータ処理速度と電力が必要となる。それゆえ、現在の技術の制限によって、三次元物体モデリングのための従来システムは、一般的には、単一（単観測）イメージに結合された、かなり不十分な基板に依存し、現実に有意な増加として認識されている前提は、コンピュータ上の電力及び処理速度の幾何級数的な増加についてのみ、達成されるにとどまっている。

可干渉性のステレオ質感のあるモデルは、全く異なるアプローチをとる。膨大なコンピュータ上の負担のもとに、完全な基板を達成することを試みるというよりは、本発明では、完全な基板の幻影を生成するために、既に簡潔に述べた二つの原則である、質感有意と表面視差とを活用し、それゆえ、かなり低い労力で、全く同様の効果を達成できる。本発明は、モデルを生成及び描画するために必要なコンピュータ処理時間をかなり軽減する一方で現実的な深度の知覚を増大させるような、基板を簡素化し、そして、基板にステレオイメージを登録するという両方の技術を通してこれを達成する。

ＣＳＴＭの最も一般的な適用は、３Ｄコンピュータグラフィックスにおいてのものであろうから、オリジナル物体の近似を形成し、そこへ適用イメージが割り当てられるような、多角形状のメッシュとして基板を視覚化すると有益である。本発明のほとんどの実施形態において、基板を定義する最初のステップは、ステレオイメージにおける対応するイメージポイントの全ての取り得る対の中から、オリジナル物体の三次元形状を最も効率的、効果的に描画するであろう対応イメージポイント対のサブサンプルを選択することである。各選択されたイメージポイント（例えば、１０．０５ａ、１０．０６ａ）のために、光線は、それぞれのカメラの遠近法による中心（１０．０２、１０．０３）を通って投射され、そして、対応する左右のイメージポイントからの光線が三次元空間において交差するポイント（例えば、１０．０１Ａ）を決定するための計算（式１．５−１．３０を参照）が実行される。この仮想値は、ここではステレオ光線交差ポイントと呼ぶが、理論的には、オリジナルのステレオ記録された物体（１０．０１）上の位置を表しており、これは、立体画像において対応するイメージポイント対への立ち上がりを与えている。

このようにして、対応するイメージポイントのそれぞれの対において、三次元空間内の仮想的な位置（オリジナルの物体ポイントの位置に対応する）が存在し、ここでは、投射されたポイント間の距離がゼロであり（例えば、１０．０１Ａ、Ｂ、Ｃ）、スクリーン又は基板上の各ポイントのための三次元空間内の仮想的なポイント（ゼロ視差ポイント）が存在し、ここでは、基板は、ステレオイメージポイントの対応する対（例えば、９．０１Ａ、Ｂ、Ｃ）のための表面視差が除去されるように設置される。可干渉性のステレオ質感のあるモデルの重要な特徴は次の通りである。すなわち、基板の各頂点は、対応するステレオイメージポイントの特別に選択された対のための、仮想されたステレオ光線交差上に配置される。そして、その結果、基板の各頂点は、イメージポイント対のための表面視差を除去するのに、役立つ。さらに、基板の各頂点は、ステレオ記録されたオリジナルの物体又は風景における対応するオブジェクトポイントの相対位置を正確に表現する（正確性の程度は、オリジナルの立体画像が記録されたときに適用された写真測量の厳密さのレベルに依存している）。

ほとんどの適用において、このステレオ光線交差ポイントは、ステレオイメージにおいて特別にプロットされたポイントから計算され、これらの値は、各頂点がゼロ視差ポイントをあらわすように、三次元基板における頂点の配置を決定する。しかしながら、そのステレオイメージ以外の情報源からのデータに基づいて最初に基板を構築し、そして、次に、これらの頂点（ゼロ視差ポイントとして役立つように選択された）をステレオ光線交差ポイントの仮想の位置として使用し、ここから対応するイメージポイント位置を計算（あるいは、いくつかの適用においては、追従を「強制される」）することもできる。このオリジナル物体の複雑性、及び、最終的な効果の中で望まれている細部のレベルに依存して、全基板のそれぞれの頂点（ゼロ視差ポイント）は、登録ポイントとして使用することができ、或いは、これらの頂点のさらなるサブセットを選択してもよい。

図１１は、三つの固有に選択されたゼロ視差ポイント（１１．０１Ａ、Ｂ、Ｃ）を利用する可干渉性のステレオ質感のあるモデルについての、かなり図式的な小断片を示す。これらのポイントは、三次元空間において交差するステレオ対応の光線対の位置に配置されることに注意されたい。さらにまた、頂点の位置は、ステレオ記録された物体（１１．０２）の表面上のオリジナルなオブジェクトポイントの位置を、正確に反映する点にも注意されたい。この基板（１１．０１）は、オリジナル物体の近似に過ぎず、表面視差は、いくつかのイメージポイント対のために除去されるだけであり、すなわち、光線が基板表面上で交わるところのイメージポイントである。これは、「副次的な」ゼロ視差ポイントとも言うべき、基板（例えば、１１．０８）の表面上において交差を生ずるだけの他のポイントと同様に、ゼロ視差ポイント（１１．０１Ａ、Ｂ、Ｃ）として固有に計算されたこれらのポイントをも含むものである。しかしながら、基板（例えば、１１．０９）の前後における様々なポイントで光線が交差するところの、イメージポイントの対は多くの存在する。基板（つまり、表面視差）と交わるこれらのポイント間の距離は、縮小（平面スクリーンよりもオリジナルな物体に、より近似された基板のおかげで）されるのであって、除去されるのではない。この小さな、多量の「あり余る残りの」視差は、投影された各ポイント対のための、残りの表面視差と呼ばれるものである。

先に述べた通り、視差とは、立体的鑑賞環境において、深度の認知を生じさせるものである。ここに与えられた例において、ＣＳＴＭ基板の各多角形状小平面は、立体画像の断片がマップされ、投影されるところの小「スクリーン」としての役割を効果的に果たす。図１２は、この効果を示すもので、ここでは、多角形状の基板の各頂点が、特に選択された対応する光線対のために計算されたゼロ視差ポイントを表現している。ステレオイメージ（１２．０２）は、これらの各頂点において基板（１２．０１）に登録されている。残りの表面視差が生じるところの、これら頂点間において、深度の範囲の修正が知覚されてもよい。質感優位の原則によって、既に述べたように、人間の視覚システムは、「スクリーン」を無視し、そして、明らかな三次元表面（図１３）だけを見るのである。ＣＳＴＭは、それゆえ、明確に描写するというよりも、完全なる基板を暗示するのである。

可干渉性のステレオ質感のあるモデルは、３Ｄグラフィックスを描画するための方法における、重要なパラダイムシフトを表現する。実時間環境における複雑な物体の明確なモデリング及び描画は、札付きの困難性及び計算上の負荷を伴う。本提案の発明は、近代のグラフィックハードウェアが、より速く、そして、明示的な同数の三次元要素又は多角形に比べてより多くのボリュームにおいて（生成される要素の数という観点において）、描画及び二次元のイメージの三次元マッピングが可能であるという事実を利用することによって、この問題の解決策を与えるものである。

例えば、木の幹の現実的な３Ｄ／ＶＲモデルを生成するための従来の方法は、利用できる技術の束縛の範囲内で可能な、最も複雑で正確な樹幹形状の仮想的な複製を作ることであった。これは、樹皮の各亀裂及び割れ目を表現するための、何百万もの多角形を含み、実時間対話形式を達成するための膨大な処理能力を要求することになる。木の写真撮影イメージは、それからモデルの表面に適用されるが、これは、テクスチャマッピングとして知られる技術である。（しかしながら、「テクスチャ」という用語は、デジタル写真のような、三次元物体の表面に対する値の二次元配列の適用と実際に解釈するとき、三次元表面テクスチャが物体に適用されることを意味するので、これは、何かしらの誤った名称である）ある意味において、これは、複雑に詳述された樹幹の木の複製を彫刻し、それからその上に樹皮の写真を壁紙のように貼り付けすることの、デジタル的な等価物である。

その代わりに、ＣＳＴＭがすることは、利用できる３Ｄデータのサブサンプルを使用するオリジナル物体の、非常に簡素な複製を生成することである、さきほどの樹幹のケースでは、おそらく僅か数百の多角形となる。このステレオイメージは、したがって、人間の目には非常にリアルでありながら描画するための計算労力はずっと少なくて済む効果を生み出すために、人間の視覚システムのある特質（質感優位及び表面視差）を利用するやり方で、このモデル上にマップ又は描画される。

初期のテストでは、可干渉性のステレオ質感のあるモデルは、複雑な表面の描画において、従来技術に比べて（控えめに見積もって）４００倍もの効率を達成した。たとえ、計算速度及び電力における将来の進歩により、何百万もの多角形の実時間キャプチャ及び描画が可能となったとしても、本発明は、より高い精細さ及び厳密さを克服するためのシステムによって、継続して利用され得る。ステレオ可能なゲーム環境のような、低廉な末端システムにとっての利点についても、これらのシステムに対して、同じコンピュータ能力で４００倍もの数の三次元要素を描画する能力を与える点で、さらに明らで迅速である。

本質的には、本発明は、元来コンピュータ及び鑑賞者の間の労力分配を改めるものである。オリジナル物体が非常に簡素化されたものに対し、空間的可干渉的な方法で割り当てられるステレオイメージを使うことによって、リアルな三次元物体及び表面を視覚化することに含まれる処理作業の大部分は、コンピュータから人の脳へ伝達される。

現存するステレオ鑑賞システムは、それが写真撮影によるものであれ人工的に発生させたものであれ、人間が双眼の視野を使って三次元的に見ることによる、自然な処理をエミュレートすることによって動作する。

しかし、自然（実世界）及び人工的に生成された立体認知の間には、重要な相違点が存在し、これらの相違点は、立体画像の分野に働く者にとって深刻な頭痛（誇張なしに）を引き起こす可能性がある。我々が実世界の物体を見るとき、興味ある一点に集中するために、我々の目は、眼窩で旋回し、回転する。同時に、我々の目のレンズは、物体に焦点を合わせるためにその形を変えるが、その処理は、「調節」として知られるものである。自然な立体的鑑賞によって、収束及び調節システムは、興味ある一点に焦点をあてるために、そして、立体的な融合を与えるために、反射的に相互動作する。

しかし、立体的に投影されたイメージの鑑賞においては、見かけ上の点及びそれに関連する収束角度は、目のレンズが通常焦点を合わせるために調節する距離には対応しない。鑑賞者が、スクリーン平面を越える仮想的な立体的表面を見るとき、その仮想的な表面があたかも現実であるかのように、両目が位置に対して回転又は旋回する。しかし、両目のための収束角度は、この仮想的な距離に設定される一方で、この両目のレンズは、実際の距離、つまり、スクリーンの平面に対して焦点を当てなければならないのである。

脳が一時に許容できる視差の範囲には制限が存在し、この閾値を超えると、脳はもはや立体的融合をもたらさなくなる。スクリーン上で立体的に表現されたイメージにとって、対応するステレオポイントは、１．５倍の範囲を超えない角距離によって分割されるべきというのが経験則である。表面視差がより大きな値になると、視野調節及び収束の間に故障が発生し得る。

実世界において物体を見ることによって、視野調節及び収束のための生物学的システムが互いに自然に動作するとき、関心のある平面から十分に前又は後にある物体は、自身を二重イメージとして明示する傾向がある。（網膜上の）イメージのこれらの部分は、現在調節された焦点の基本平面とは異なる物体距離に対応しているので、これら二重イメージは、比較的ぼやけている。立体視をもたらし、深度の三次元に値を達成する仕組みは、高周波の視覚テクスチャに高く依存しており、すなわち、小さな粒状テクスチャと細部と鋭いエッジである。立体視のための神経的な経路は、焦点外のぼやけたイメージによって生成される低周波成分には反応しないのである。それゆえ、自然鑑賞システムにおいて、二重イメージとして現れる物体は、ぼやける傾向があり、脳は、神経的な経路と同様に取り乱す、これらぼやけた二重イメージを見出せず、そのため、関心のある（深度）平面において物体の鋭いイメージに比べて、どんな程度にも立体画像は生じない。

しかしながら、立体的イメージがスクリーン上に表示されたとき、全てのイメージは、単一平面にて鋭くフォーカスされる（プロジェクタ又はＣＲＴによって）。目は、関心のある様々なポイントの仮想的な表面上に集中させるために動くが、目のレンズは、スクリーンにて鋭くフォーカスされている。我々は、それゆえ、不自然な状況をつくり出し、ここでは、ステレオ融合の基本限界を超えるイメージの部分は、（大きな表面視差の値を包含する効力によって）最も無視しがたいものとなり、見るには非常に取り乱した、疲れるものとなる。神経の経路が、通常受け入れられるよりも高い程度の視差を含むステレオイメージを処理するよう強制されるか、あるいは、神経の経路は対処できず、二重イメージは、焦点が鋭く合った無視することは非常に困難なものとして、知覚される。これにより、眼精疲労及び頭痛が起こる可能性があり、極端な例では、鑑賞後数時間して重大な頭痛と目眩が起こることさえある。

このようにして、調節及び収束の協調における部分的消耗により、観察者が立体表現されたイメージを取り扱って仕事ができる時間の長さについて、深刻な実用上の制限を引き起こすこととなる。多くの人工ステレオイメージ及び鑑賞システム（それがどのように構成されようとも）は、立体視疲労を経験する前には、２０分から２時間に及ぶ著しい仕事時間の軽減をもたらした。（これも、完全に構成されたシステムを前提としており、イメージングシステムの様々な調整不良及び無修正の歪からのＹ視差によって引き起こされる、ひどい対応ステレオポイントのような他の要因が、立体的疲労をさらに悪化させる可能性がある。）

立体的な鑑賞疲労を軽減するための標準的な解決策は、左右の仮想カメラ（又は、複数の鑑賞錐台）間の基本分離のための比較的小さな値を選択することにより、非常に小さな視差の範囲を伴った三次元データの組を描画することである。一般的には、見かけ上の物体の平均位置を、視野調節及び収束の間の故障が最小化されるように、スクリーンの平面に近づけることが望ましい。しかしながら、多くの３Ｄの風景及びデータの組は、自然に表面視差の大きな範囲を受けた、大きな相関を持ったサイズとなり得る。例えば、もし仮想的な観察者が、６０メートル彼方の窓を凝視する一方で、前景の柱から１メートル以内の位置にいたとすると、大きな建物の室内のシミュレーションにおいて、膨大な範囲の視差が自然に発生することとなる。このような状況においては、さきほどの柱は、取り乱した二重イメージとして知覚されるであろう。これらの効果を緩和するために、仮想カメラを互いに近づけることによって（水平基本分割が縮小し）、描画された鑑賞視差がさらに縮小される。しかしながら、このことには、室内風景全体の見かけ上の深度を大いに圧縮してしまうという否定的な効果が存在する。この現象が発生したとき、良好な三次元的細部までもが圧縮されてしまい、全体的なシミュレーションは人為的に平坦に見えることとなる。

比較的少数のテクスチャがマップされた多角形を描画する標準の（単観測の）ＶＲグラフィックスは、表面の複雑さを装う二次元イメージの自然なあいまいさを利用する傾向があるが、これは、深度の次元が基本的につぶれているからである。同じシンプルなモデル又はデータの組を立体的に見たとき、特にテクスチャがマップされたモデルでは、そのモデルを構成する全ての平坦面を三次元的に知覚し得るので、その不完全さ及びモデリングの欠如（多角形の計数量の低さによる）を完全に露呈してしまう。次に、単観測的に描画されたビデオゲームは、物体及び仮想カメラを一定の位置に保った、大変ダイナミックなものである。この動作は、動作視差の細部までよく記録された現象を通した深度の感覚生成において、強い効果を持っている。この最も安全な操作方式は、単観測の相対物よりももっと説得力のあるグラフィックスを僅かに与えるのみであるので、現行の技術を使ったステレオディスプレイが広い範囲で受け入れられるかどうかの議論の種になる。

本発明は、一般公衆による対話式の立体ディスプレイシステムの使用に関連した問題に対する、重要な解決策を与えるものである。可干渉性のステレオ質感のあるモデルは、大変リアルで、説得力があり、そしてなお、鑑賞視差の十分安全な領域内に留まっている。これは、ステレオＶＲシミュレーション（仮想カメラを互いに近づけるよう動かす）において視差の範囲を縮小させるために使用される標準技術が、このモデルにおいて固有のステレオテクスチャをもたらさないからである。

従来のＶＲモデルは、二次元（単観測）のイメージがマップされた三次元物体からなる。これらは、しばしば最も単観測的に見られ、このモデル固有の「ステレオ効果」は全く存在しない。従来のＶＲモデルは、もし、一対の仮想カメラが適当なステレオ鑑賞デバイス（ステレオ眼鏡、レンズ状のスクリーン等）を通して左右の目に対して分離されたイメージを与えるために使用されるならば、立体として現れるだけである。換言すれば、物体の立体画像は、コンピュータからの情報が鑑賞者に与えられるように、効果的に撮影されるのである。可干渉性のステレオ質感のあるモデルは、モデルの表面テクスチャが本来的に立体的であるという点で、標準的なＶＲモデルとは根本的に異なる。つまり、立体的映像は、そのモデルの固有の部分であり、単に、そのモデルについての視覚的情報がコンピュータから出力されるという方法の関数だけではないのである。

先に述べたように、ＣＳＴＭは、基板の三次元形状及び立体画像をこれに接着する方法の両方を決定する、特定の計算に基づいた一組のゼロ視差ポイントを使用する。ＣＳＴＭにおける残りの表面視差の程度は、オリジナルのカメラ位置（立体画像撮影時）と、多角形状の頂点として、また、立体イメージのための登録ポイントして使用されるゼロ視差ポイントの数及び位置との関数である。この残りの表面視差は、モデルに固有のものであり、仮想カメラの基本分割における如何なる変更に関わらず、変更することはできない。

上述したように、従来のステレオＶＲ適用は、鑑賞者に対して左右のイメージを送る（仮想）カメラ間の基本分割を変形（reduce）することによる許容制限まで、視差を縮小させることができる。その結果として、シミュレーションにおける全ての見かけ上の深度は、深刻に縮小され、風景は、平坦で人為的に現れる傾向がある。同じ技術（基本分割の変形（reduce））は、ＣＳＴＭにおける、全般的又は「巨視的な」視差の変形に使用され得るが、ＣＳＴＭの本来的部分である「微視的な」（残りの表面）視差には影響を与えない。これにより、ＣＳＴＭは、風景の全体的な巨視的視差が激しく変形（reduce）されたときでさえ、従来技術からは不可能な、非常に多彩な三次元表現を保有する。

図１４は、種々のステレオ描画されたモデル（トップダウンに見た）の見かけ上の視差を通る、水平断面を示す。物体の複合的な表面が、高密度の多角形（１４．０１）により明確に表現されている、単観測的にテクスチャが施された従来のモデルと比較すると、ＣＳＴＭの基板は、より少ない多角形（１４．０２）で構成されている。ＣＳＴＭの見かけ上の表面（１４．０３）における深度の知覚は、割り当てられたステレオイメージにおける残りの表面視差の関数である。１４．０１及び１４．０２におけるモデルは、１０スクリーンピクセルと等価な鑑賞視差をもって描画されたかのように描かれている。

鑑賞視差が、より安全で、より満足できる二つのピクセル値にまで、変形（reduced）されたとき、従来モデル（１４．０４）の微細な三次元特徴は、そのモデルの残部に比例して圧縮され、微細な細部の多くは失われる。なぜなら、様々な微細な特徴の関連深度のほとんどが、人間の立体的な鋭敏さ（認知可能な深度の最小の増加）のためのある閾値を下回ってしまうからである。この意味において、深度におけるそれらの差異は、認知できないほど微細なものであるので、従来モデルの複雑な起伏状の地勢図を表現するために使用される多角形の大部分は消耗されてしまう。しかしながら、ＣＳＴＭの巨視的な特徴が圧縮される一方で（１４．０５）、見かけ上の残りの視差表面（１４．０６）からなる微視的な地勢図は圧縮されない。それゆえ、微細な三次元特徴は、明瞭で認知しやすいものとなる。この仮想カメラの基本分割がゼロ（１４．０８）に設定された場合でさえ、このＣＳＴＭの見かけ上の表面の三次元テクスチャは、従来モデルの全特徴が完全に平らにされる一方で（１４．０７）、概ね元のまま維持される（１４．０９）。

ＣＳＴＭは、また、巨視的視差を制御するために使用されたものとは完全に分離された方法を使って、微視的視差を制御することができる。ＣＳＴＭにおける残りの表面視差は、基本的に、オリジナル物体の微視的地勢図の形状、及び、このオリジナル物体を記録するために使用されるカメラの基本分割によって制御される。それゆえ、この微視的地勢図の見かけ上の深度は、異なった水平基本分割を用いるステレオ対を選択することよって、変更することができ、例えば、もし、ＣＳＴＭにおける微視的地勢図の見かけ上の深度を増幅させたいとすると、より大きな基本分割を伴った立体的画像を使用することによって、残りの表面視差を増大させることができる。人工的に生成される複雑な物体又は風景において、可変の基本分割を伴った一組の立体画像を事前描画することや、実時間で処理してオリジナル物体のＣＳＴＭの中に組み入れるという要求に従って新規な画像を描画することは、コンピュータ描画及びモデリングソフトウェアによって可能である。周波数の変化、ゼロ視差ポイントの歪、多角形状メッシュの頂点が要因となって、残りの表面視差の程度が増減するが、このことにより、ＣＳＴＭにおける表面特徴の見かけ上の深度が増幅又は縮小されるのである。

本質において、ＣＳＴＭの微視的視差は、オリジナルカメラの基本分割制御によりモデルの中に入るような、視差の範囲を（ゼロ視差ポイントの数及び歪と同様に）制御することで操作される。一方で、巨視的視差は、外の鑑賞者に対してステレオイメージを与える仮想カメラの基本分割を制御することにより操作される。ＣＳＴＭは、表面視差の微視的及び巨視的レベルを独立して制御可能な、唯一のＶＲモデリング技術である。

非常に安全な鑑賞視差範囲における、ＣＳＴＭ表示の経験上の観察から言えば、表面は三次元細部において非常に豊かで説得力を伴って見えるので、観察者は、巨視的な特徴の意図的な圧縮には殆ど気付かない、ということが言える。実際上、そのモデルは安全な視差範囲に完全に収まるように最適化されている。立体視疲労を定量化する基準及び使用者時間は、未だ確立されていない。しかしながら、筆者は、複雑な建築物の立体的画像を使用して作成したデータの組に対する比較テストを実施した。ステレオが８フィート幅のスクリーン上に投影されたときの、オリジナル立体画像のための快適な鑑賞時間は、２０分から１時間の範囲であった。これに対して、同じ立体的画像から構築されたＣＳＴＭの場合の快適たり得る鑑賞時間は、１ないし４時間であった。一般的に、ＣＳＴＭは、まさに生きているような外観を有しており、鑑賞に際しても、鮮明で快適である。

このことには、立体映画やテレビジョンにおいて、明らかな含みがある。立体映画及びテレビジョンは、上記と同じ問題に苦労するのである。つまり、記録された風景が、前景及び背景で広範な空間的深度を含むとき、広範な鑑賞視差が同時に発生するのである。立体映画製作者は、一般に、個人鑑賞者が立体表現を鑑賞するのはほんの短時間であろうと決めてかかっているので、鑑賞者の快適さというよりも視覚的影響の方に失している。しかしながら、上述したように、もし視差の範囲が非常に大きければ、短い時間のうちに眼精疲労及び頭痛が起こる場合があり、それは、鑑賞後数時間を経て発症することさえあるものである。この問題に対する解決策は、ステレオテレビジョンがいつか広く世の中に受け入れられた場合には、鑑賞者が疲労なく長時間視聴できるようになる必要があるため、もっと重要不可欠なものにさえなる。

ステレオ動画の場合、ステレオ表現されたイメージのための鑑賞視差の範囲を最適化するように、ＣＳＴＭを使用することができる。これには、ステレオ対の様々な組のための多角形状基板のデジタル化及び生成化が含まれる。自然には、与えられた風景に対して、ステレオカメラは異なった方法（パン、チルト、ズーム、ドリー等）で移動し、或いは、同じ風景の完全に異なる撮影を表現する。それゆえ、生成された多角形状の基板は、ステレオフレームの単一の対を満足させるだけかも知れないし、或いは、映画シーケンス全体のための軽度の追加又は修正だけを伴った、拡張的な効用を有するかも知れない。

基板は、ステレオ対応ポイントの手動プロッティング、又は、様々なマシンビジョンの使用といった自動的な手段、或いは、これら二つのいずれかの組み合わせによって生成され得る。通常、これら自動化された方法は、非常に高密度の三次元特徴抽出からの、ノイズ又は誤ったデータを発生させる。しかしながら、この場合には、かなり単純な近似が必要なだけの視差制御が基板に要求されているので、抽出のために必要なポイントの数は、ほんの僅かである。

可干渉性のステレオテクスチャリング技術によれば、精細な三次元特徴の表現を保持している間、安全な範囲内に視差を最適化する、より良好でより快適な鑑賞パラメータに従った、複数の立体的画像提示の再描画が可能である。これにより、立体映画撮影技師が精細な三次元細部をキャプチャするための比較的広いカメラ基本分割を伴った撮影をすることを可能にし、そして、フィルムへイメージを再出力する前にＣＳＴＭ技術を使用することによって、微視的細部を損失することなく、巨視的視差が縮小することとなる。

多角形状の基板は、未加工のステレオ動画の再サンプリングのために、（先に）記載された方法と同じような方法を使って、ステレオ・ビデオカメラ撮影された風景のために生成され得る。このステレオ・ビデオカメラ撮影は、異なる基本分割（一定の表示デバイスのために実施される現在の技術）にて複数のカメラを使って実行され得る。ここで、ステレオテレビジョンに表現されたデータの組は、多角形状基板の様々な組及びそれらに関連する立体イメージのストリーム（ゼロ視差ポイントの対応する組を伴った、テクスチャマップの形状における）である。本質において、このステレオテレビジョンは、これらフレーム及び多角形状の基板を埋めるよう、テクスチャマップを描画する。

簡単な多角形状の基板を、（ＮＴＳＣ又はＰＡＬ相当の解像度のディスプレイに）描画するのに必要な基本的処理能力は、今日のゲーム画面によって組み込まれているものを大きく超過するものではない。従来のステレオ・ビデオカメラ撮影の表現は、左右フレームのストリームの録画再生を含むものである。これに対し、ＣＳＴＭを使ったステレオビデオは、ステレオ質感のある多角形状の基板の録画再生を含むものである。ストリーム化されたＣＳＴＭの録画再生は、ユーザに対して多くの固有の特徴を与え、その中には、自身の視覚的選択によるところの、微視的及び巨視的視差の両方を調整する能力が含まれる。巨視的特徴の深度は、高周波の要素及び精細な細部の識別に影響されることなく、快適さ及び視覚的な影響に従って、スケール化される。ユーザは、ステレオ質感のあるイメージの異なる対応ストリームを選択することによって、巨視的特徴のための見かけ上の深度の増幅度を変更することもできる。各個人ユーザは異なる立体視鑑賞の特性及び能力を有しているので、これは有益な特徴である。このようにして、ユーザは、様々な視差を完全に制御しつつ、なお、安全な限度内に留まることができるのである。

もちろん、この方法においてＣＳＴＭを使用するための、付加的な、そして、おそらくもっと明瞭な利益が存在する。鑑賞者は、ステレオ映像を見るための、異なる位置を選択することができるのである。換言すれば、鑑賞者は、風景におけるどの位置から彼又は彼女が見たいかを決定することができるのである。それは、本質的に、ちょうど映画監督が行うような（限度内での）「撮影の指示」である。よくできた、可干渉性のステレオ質感のあるモデルは、立体的に見えるずれの顕著な人工物なしに、凡そ＋／−７５度の視野角における違いを許容する。

ＣＳＴＭ技術は、役者及びプレゼンターが緑又は青のスクリーンを背景に撮影され、それから、彼らがコンピュータの発生させた景色と合成（デジタルクロマキー技術を使って）された場所で仮想的な組が使われたとき、特に有益である。それゆえ、コンピュータで発生させた景色を利用することにより、ストリーム化されたＣＳＴＭ（仮想的な舞台セットから抽出された）のユーザは、「ライブ」行為が継続する間、より広い範囲の位置から風景を見ることができる。ステレオ・ビデオカメラ撮影から抽出された、ストリーム化されたＣＳＴＭにおいては、ユーザの可動性を制限する必要があるかもしれない（オリジナルのカメラの数及び位置、並びに、風景の複雑性に依存している）。これは、ホール又は「データの影」が風景領域に発生したかのような、オリジナルのステレオ・ビデオカメラの鑑賞位置から閉ざされた風景の部分の中に、このユーザが移動するのを防ぐためである。仮想の組及び風景の使用により、この問題は大きく取り除かれ、ユーザは、この仮想風景に対してより広範なアクセスができるようになる。

ストリーム化されたＣＳＴＭは、種々のインターネット又はブロードキャストチャネル及び技術を経由して、消費者のステレオ・テレビジョンセット（適当な復号器及びグラフィックス描画器を含んでいる）に送信され得る。ストリーム化されたＣＳＴＭは、また、種々の取り外し可能な媒体のいずれにも蓄積され得る。また、ＣＳＴＭの利用により、特別に選択され準備されたステレオビデオ撮影風景を、より十分に現実化された完全な仮想環境の中に再考慮（re-factor）することができるようになる。これらの特に選択された風景により、鑑賞者は、様々な画像化アーティファクト又はデータ陰影を現さない、より大きな変化に富んだ鑑賞位置及び角度を経験することができる。

ストリーム化された、又は、ブロードキャストされたＣＳＴＭについては、様々な対応する距離に対する人間のステレオの鋭敏さに基づいて、様々な圧縮スキームが提案され得る。様々な深度の識別は、見かけ上の距離を伴って減少するので、知覚し得る深度の解像度を十分に超えるＣＳＴＭをモデリングすることによっては、利得は殆ど得られない。ＣＳＴＭにおける頂点は、人間のステレオの鋭敏さの範囲に対応したルックアップテーブルの形状における、予め決められた深度値にセットされ得る。特定の描画ハードウェアは、ストリーム化されたＣＳＴＭのための効率的な圧縮スキームを定義するために、人間の立体的な知覚の制限及びパラメータを利用するよう構成することも可能である。

ダイナミックなステレオコンテンツから抽出された、ストリーム化されたＣＳＴＭは、最初、映画又はテレビジョンの鑑賞者が自ら見ている映画や番組の中に効果的に入っていけるようにするための、人間工学的な安全性及びコンピュータによる実施手段を与えていた。ＣＳＴＭは、このようにして、完全な三次元環境における、標準的な連続する物語（例えば、映画）と対話式の技術（例えば、コンピュータゲーム）との間の実用的な利便性を実現するというゴールに向かう、大きな歩みとなろう。

［可干渉性のステレオ質感のあるモデルの生成及び操作ための実施手段］
可干渉性のステレオ質感のあるモデルを生成するために、三つの基本的方法が存在する。すなわち、イメージ抽出のもの、物体抽出のもの、組み合わせ抽出のもの、である。イメージ抽出方法においては、三次元基板を構築するためのデータは、ステレオイメージから導かれる。物体抽出方法においては、データは、レーザセオドライト測定又は３Ｄレーザスキャニング処理といった他の方法によって、オリジナル物体から採取された測量から導かれる。第三の処理は、人工的に生成され描画されたコンピュータグラフィックスモデルからのＣＳＴＳの生成物を含み、基本的には第一及び第二の処理の混成であり、ここでは、（マップすべき）立体画像のためのイメージが、人工的にコンピュータ「内部」で描画されている。

（イメージ抽出方法）
この方法は、まず、ＶＲ環境において（つまり、立体的に描画された、対話式３Ｄコンピュータグラフィックスシステム上で）、複雑な実世界の物体を表現及び表示するの適している。この処理の基本的な動作は次の通りである。

１．人間の立体的鑑賞に対する伝導力をもった、三次元物体の立体画像を撮影する。もし、フィルムベースの技術が使われたならば、立体画像はスキャニングによってデジタル化する必要がある。もし、デジタルイメージシステムが使われたならば、そのイメージは直接使うことができる。

２．立体画像は、ステレオ対応ポイントのプロットが可能なシステムに読み込まれる。理想的には、筆者により開発されたような、ＣＳＴＭ生成のために特別に設計された、特別仕様のデジタルステレオ・プロットシステムが望ましい。他方で、ステレオ鑑賞及びステレオ対応のイメージ座標のプロットが可能な、写真測量用のワークステーション及びソフトウェアであっても使用又は適用可能である。

３．ステレオイメージを鑑賞している間、物体の基本的な巨視的特徴の表現が可能な、左右のポイントのステレオ対が選択され、プロットされる。

４．ステレオプロットされたポイントが、３Ｄ多角形状メッシュの中に変換される前に、左右のカメラのために、それらの空間的位置及び方向、そして、有効に較正された使用レンズの焦点長、を決定する必要がある。おそらく、イメージ平面の座標系に対するレンズの軸線の交点座標と同様に、そのレンズの半径方向（radial）及び接線方向（tangential）といった、カメラの較正データも使用される。加えて、イメージフレーム座標（つまり、オリジナルの写真フレームに関する実際のＸ−Ｙ座標）に対する左右のメッシュ（プロッタ座標における）のプロットされた頂点の変換のために、２Ｄアフィン変換を提供又は決定する必要がある。

５．上記の知られたパラメータによって、三次元空間において、対応するステレオ光線（ステレオプロットされたポイントから投射される）がどこで交差するかの位置を計算することができる（標準的な写真測量法の式を使用。式１．５−１．３０参照）。

６．計算されたステレオ光線交差ポイントの全体の組から、様々な多角形をした個々の面の組を構成するために、個々のポイントの様々なグループ分けが選択される。換言すれば、各選択されたステレオ光線交点は多角形状における頂点となり、こうして、イメージが基板に割り当てられたときにゼロ視差ポイントが生成される。これら導かれた多角形の組は、オリジナル物体の基本的な巨視的特徴及び表面を表現するのに使用される。

７．左右のステレオイメージは、オリジナルのステレオ記録された物体に対する立体的画像の、オリジナルの地理的投影的関係を維持しながら、イメージが多角形状の基板の表面上にマップされ得るような方法で構成及び処理される。これは、一般的には（しかし、常に、ではない）、テクスチャマッピングとして知られる標準的なコンピュータ描画技術の利用によって実施される。左右のイメージは、一対の左右テクスチャマップ又はより多くの左右テクスチャマップの組（イメージのサイズに依存）の、いずれかに分解されなければならない。正しくステレオ「投影された」マッピングを達成するために、一組の左テクスチャマッピング座標は、一組の右テクスチャマッピング座標と同じように計算する必要がある。

８．最後の動作は、ステレオ描画（つまり、真のＶＲシステム）が可能な対話式の３Ｄコンピュータグラフィックスシステムにおいて、ＣＳＴＭデータの組を観察及び描画することである。ＣＳＴＭについて、所有権を主張できるデータ及びファイルフォーマットを使用していても、ＣＳＴＭを描画することのできる商業上利用できるソフトウェア製品は存在しない。これは、商業上のグラフィックスソフトウェアプログラムは、一般に、３Ｄモデルは単一組のテクスチャマップ及びテクスチャ座標を有するものと決めてかかっているところにその理由がある。それゆえ、筆者が完成した、特別なＶＲビューアアプリケーションが作られるに至ったのである（下記参照、Ｒｅｎｄｅｒｉｎｇ Ｃｏｈｅｒｅｎｔｌｙ Ｓｔｅｒｅｏ−Ｔｅｘｔｕｒｅｄ Ｍｏｄｅｌｓ）。

この名称が示唆する通り、「イメージ抽出」方法は、基板の形状を決定するオリジナルの立体画像から抽出したデータを使用するものである。基板の頂点は、ステレオイメージ（テクスチャマップの形状における）が割り当てられたときゼロ視差ポイントとして機能するように、それらが配置されなければならないので、三次元空間においてステレオ光線の選択対が交差する位置を決定する必要がある。しかしながら、立体的画像が物理的に空間内に投影されたときでさえ（例えば、光学的ステレオ投影システムを使って）、通常、投射された光線対が交差するところを観察又は経験することはできない。交差ポイントは、それゆえ、ステレオイメージの光線幾何学を制御する一定のパラメータの知識を通して、非直接的に決定する必要がある。

与えられたカメラの遠近法による中心の位置は、様々な写真測量の較正技術によって決定され得る。それは、フィルム又はイメージ平面からの距離として与えられ、通常、「効果的な」焦点長と呼ばれる。つまり、イメージ平面から較正された後方のレンズ節点までの、最短の距離である。写真測量法において、システムは、一組の完全に投射された光線として定義され得るように較正される。これは、通常、「共線的状態」と呼ばれ、ここでは次のものが提示されている。
（ａ）三次元空間における特定のオブジェクトポイント
（ｂ）カメラの遠近法による中心
（ｃ）三次元空間において、全てが同じ直線上に置かれた、オブジェクトポイントに対応するイメージポイント
この状態を実施する等式は、通常、「共線的等式」と呼ばれ、そして、多くの写真測量技術がこれらの等式に基づいている（下記、等式の節を参照）。

それゆえ、それぞれの左右イメージポイントのために、数学的に定義された光線が、イメージポイントからそれぞれのカメラの遠近法による中心を通って三次元空間へと投射される。理論上は、二つの投射された光線は、三次元空間において、オリジナルなオブジェクトポイントに関してうまく適合する位置で交差すべきである（式１．５〜１．３０）。この概念を図１０に示す。

可干渉性のステレオ質感のあるモデルの生成のための、いくつかの方法において、厳密な写真測量のアプローチが想定される。つまり、良好に較正された装置を用い、単一の外部世界の座標系を理想的に参照した上で、左右カメラの三次元位置及び方向が決定される（様々なカメラステーションの方向及び位置は、一般にイメージ回復と呼ばれるものに関する、バンドル（bundle）調整として知られる他の写真測量技術によって決定される。これらは、一般の写真測量技術であるが、本紙の範囲を越えるものである。）。

厳密な写真測量技術が使用できないときであっても、ＣＳＴＭを作り出すことは可能であるが、様々な未定義の要素及び較正されていない歪が、多角形状の基板における可也の量の歪となって現れる。換言すれば、この多角形状の基板におけるゼロ視差ポイントの位置は、三次元空間におけるオリジナルのオブジェクトポイントの位置とは、厳密には対応しないかもしれない。必要であれば、これらの歪は、多角形状基板それ自身の上で様々な変換を行うことによって、修正することができる。

明確なカメラデータが利用できない場合であってもＣＳＴＭを生成し得る一つの方法は、立体的画像のフレームの中に描写された、３Ｄ制御目標を持つことである。もし、目標の位置が分かれば、たとえ、左右カメラの方向が分からず、カメラの焦点の長さが正確には分からなくとも、なお、適切な三次元モデル及び基板を構築することができるのである。全てのカメラ及びカメラ位置のパラメータに対して任意の値が使用される３Ｄ空間において、対応するポイントの中間値を計算するために、ステレオプロットされたポイントが使用される。これらの中間値は、簡単な視差等式を使って計算され、プロッタ座標系に対応する基準化されたモデルを生成するために使用される。

もし、制御目標もプロットされ三次元に変換されるならば、それらは、プロッタ座標系における参照された制御目標の組を表す。それゆえ、実世界の３Ｄ座標系における制御目標に対するプロッタシステムを参照した制御目標から、３Ｄアフィン変換を計算することができる。そして、計算された３Ｄアフィン変換は、３Ｄプロッタ座標ポイントの全ての組に割り当てられ、その結果、これらは、正確な世界座標系の中に変換される。３Ｄアフィン変換は、正回転に沿ったＸＹＺ軸方向における分割スケーリング及び等角変換の移動パラメータを考慮する。

レンズの半径方向の（radial）歪が補償されると、非常に合理的な空間的厳密性を伴ったモデルが完成する。そして、導かれたポイントは、多角形状の基板表面を形作るために使用され、ＣＳＴＭの通常処理は、正しいテクスチャ座標を計算するために実行される。基本的に、このシステムでは、３Ｄ値の中間の組は、プロッタ座標系において生成されるもので、したがって、これらは、計算された３Ｄアフィン変換を使って実世界座標系の中に（制御ポイントから）、直接変換される。これは、次のことを意味する。すなわち、関連のあるカメラパラメータのほとんどが未知であっても、様々な要素の配置がなお可能であり、それゆえ、イメージングシステムの、オリジナルにステレオ投影された関係は、適度に良好維持される。

しかしながら、もっとも厳密なアプローチにおいてでさえ、三次元空間において完全には交差しないステレオ投射された光線を有してしまうことがあり得る。いくつかの数学的アプローチが採用されているが、それらは、様々なステレオ光線の交差のために、三次元空間において最も「可能性のある」位置を効果的に決定するものであり、写真測量法や測量術において実施されている繰り返しの最小二重補正技術を使用するものである。これらの修正の類型は、同じ物体の複数の立体的画像から抽出された複数のＣＳＴＭを含むモデルに特に関連性があり、様々な任意の調整及び統計上の技術（３Ｄ最小二乗補正のような）がモデルに割り当てられ、全ての断片が互いに正確に適合するようになる。

ＣＳＴＭの主な原則は、それぞれのゼロ視差ポイントが、ステレオ対応する光線の対が交差する三次元空間内の理論上の位置に存在するということである。それゆえ、システムが空間的に好適でない定義付けがされていたとしても、ゼロ視差ポイントはなお、ステレオ対応する光線対のための基板表面上の視差を除去するのである。これが意味するところは、彼らがＣＳＴＭを統制するための原則になお固執しているので、空間的厳密性の様々な程度の様々なモデルは、新規の形状及びＣＳＴＭのような静止機能に、歪められ得るということである。

ＣＳＴＭの生成において、うまくやり遂げるための最も重要なことの一つは、人間の立体知覚能力に高い伝導力を有する立体的画像を撮影することである。なぜなら、このシステムの主機能要素は、立体知覚能力を備えた人間の鑑賞者だからである。それゆえ、左右のイメージが共面となるように、そして、左右レンズの基本軸が互いに平行になるよう配置されるように撮影された、立体的画像を有することが高く望まれる。収束システムも可能であるが、適用においてより多くの制限がある。ステレオイメージが不完全に構成されたときでさえ、“エピポーラ（epipolar）再サンプリング”として知られる写真測量技術を使って、なおイメージの再サンプルは可能である。この技術は、左右の対応するスキャンライン間の望まないＹ視差を最小にするやり方でイメージを変換することができる。しかしながら、ＣＳＴＭのさらなる視覚的低落を招くことになるので、できれば、この処理動作は避けるべきである。

おそらく、ＣＳＴＭの基板を定義するのに使用されるイメージポイントを選択するための、最速で最も直感的な方法は、デジタルステレオプロッタとして知られるものを利用することである。標準的なステレオ鑑賞装置のいずれかを使用すると、操作者は「ステレオカーソル」を用いるが、これは、不可欠な目標ポインタであって、表示された立体的画像の三次元空間内を浮遊するように現れる。ステレオカーソルの見かけ上のＸＹ位置は、一般にマウスを通して制御され、他方、カーソルの見かけ上の深度は、様々な深度の変換量によってカーソルを内外に移動させるＺホイール又はキーボード上のキーといった、他のデバイスを通して制御される。

操作者は、浮遊カーソルを、立体的画像において見える、興味のある見かけ上の三次元ポイントの上に置き、そして、カーソルのある位置にステレオ又は見かけ上の３Ｄポイントをプロットするために他のキーを押下する。図１５は、ステレオ可能な鑑賞モニタ（１５．０１）、左右の目（１５．０７、１５．０８）に分離した視野を与える眼鏡（１５．０５、１５．０６）、モニタスクリーン平面の背後に置かれた見かけ上の三次元物体（１５．０２）、そして、見かけ上の三次元物体の興味あるポイントをプロットするためのステレオカーソル（１５．０９）、を備えたステレオプロッティングシステムを表す。実際には、ステレオカーソルは、左右の全く同一のマーカーオブジェクト（１５．０３、１５．０４）で構成され、そして、表示された左右マーカーオブジェクト間のスクリーン視差が、相対的な深度感覚を生成するのである。

ステレオポイントがプロットされる各時点で、システムは、左イメージのＸＹ座標系に関連するマーカーを記録及び表示し、また、右イメージのＸＹ座標系上のマーカーも記録及び表示する。対応するポイントをプロットするためのステレオアプローチは、非常にまばらな、又は、ぼやけた視覚的テクスチャを三次元にプロットできるように、非常に繊細になり得る。例えば、現実の生活から描写されたものであれ、粒子描画システムに人工的に描画されたものであれ、嵐や煙といった、ステレオ描写された雲やガスの幾何図形をプロットすることができる。これは、デジタル単比較測定器では、達成が非常に困難である。

図１６は、複雑な表面の断片（１６．０１）と、関連付けられた立体的画像の左右イメージ（１６．０２、１６．０３）との間の、一般的なステレオイメージング関係を表しており、左右のイメージングシステムの効果的に較正された焦点長を有している（１６．０６）。図１６のイメージは、陽画（ポジ）あるいは透明陽画として知られるのイメージとして表される。通常、三次元ポイントからの光線がイメージングシステムの遠近法による中心を通って投射するとき、カメラにおいて形成されるイメージは、本質的に、水平垂直両方向のフリップを起こす。ステレオ鑑賞スクリーン上には透明陽画（すなわち、正しい方向は上）として、イメージを与えるのが通例である。透明陽画の投影図形は、図１６に示したように透明陽画がイメージングシステム上の遠近法による中心の前に置かれるということを除いて、陰画の投影図形と同じである。左右の透明陽画のための遠近法の中心（１６．０４、１６．０５）は、イメージの平面の後ろに置かれている。ＣＳＴＭを構成する全ての様々な要素の間の投影関係を表すことは非常に容易であるという、その基本が一度分かってしまえば、それ以降このスキームは、例示目的で使用されるであろう。この透明陽画の投影関係は、多くの写真測量の例示及び計算において使用されている。

図１７は、ＣＳＴＭを生成するために使用されるステレオプロッティング処理の工程を示す。通常、左右のイメージは、「フレームシーケンシャルステレオ」として知られる描画スキームを使って、連続して重ね合わされる。そして、それぞれの目に対して、左右のイメージを交互に提示するＬＣＤのシャッター眼鏡（ＣｒｙｓｔａｌＥｙｅｓ（登録商標）アイウェアのような）が使用される。これは、フリッカが発生することのない十分に速いレートで実施され、イメージは見かけ上の深度を伴って見える。このステレオイメージの連続した重ね合わせにより、他のものに関する一つのイメージの、広範なイメージ移動が可能になる。ここで、水平スクリーン視差は、物体がスクリーン平面に比較的近く見えるよう、視野フレームにおける見かけ上の物体を最適化するために広く制御可能である。ステレオイメージの概略表現及びＣＳＴＭ生成のための関連処理において、立体的画像は並べて表示される。とはいえ、現実のインタフェースにおいては、これらは通常、互いに他方に関する左右イメージの少量の全体的な水平移動だけを伴った、視野スクリーン又はモニター上のステレオイメージの、連続の重ね合わせとして描画される。

左右のデジタル化されたステレオイメージ（並んで示された、１７．０１、１７．０２）は、表現され、左右の目に連続して描画される。脳は、オリジナルなステレオ記録された物体（１７．０３、１７．０４）の見かけ上の表面の、単一の三次元イメージの中に、これらを融合する。特定のポイントが選択され、一つの浮遊する物体として認知されるステレオカーソル（１７．０９、１７．１０）を使って、見かけ上の三次元表面上にプロットされる。見かけ上の三次元空間にプロットされた各ポイントのために、対応するポイントの対が、左右イメージ（１７．０５、１７．０６）上に同時にプロットされる。他のステレオ対応するポイントは、立体的に認知される物体の、基本的な巨視的特徴を決定可能であるような位置にプロットされる。マーカーオブジェクトは、ポイントがプロットされた位置を表現するために生成される。これらプロッタされたマーカーは、オリジナルのイメージ座標に順に参照される、ステレオプロッタ座標に対応する。

以下に概説する、ＣＳＴＭの生成を含めた様々な追加的動作が存在する。しかしながら、従来のデジタルステレオ写真測量ワークステーション及びソフトウェア上で、これらの動作を実行可能であるにも関わらず、あつらえのステレオプロッティングインタフェースを使用するよう勧められる。以下、筆者がイメージ抽出処理によってＣＳＴＭを構築した方法を示すが、現状の写真測量ソフトウェアを再ファクタリング（re-factoring）することによって、他の方法も可能である。ＣＳＴＭを作り出すために筆者が作成したソフトウェアのプロトタイプは、プロトタイプＣＳＴＭプロッタと呼ぶ。

プロトタイプＣＳＴＭプロッタにおいて、三角形をした多角形状表面を構成するために、予めステレオプロットされたポイントの様々な組が選択される。現在、これは、個々の多角形を構成するための手動ポイント選択技術を使って実現されている。一般的に、ＣＳＴＭで使用される多角形の表現は、非常に緊密で効率的であるという傾向がある。標準的な自動三角測量アルゴリズムでは、適切な表面を形成するために正確な３Ｄ頂点を互いに接続することが困難である。これは、多くの表面が３Ｄ頂点の単一組から実現できるゆえ（特に、与えられた表面の非常に効率的な表現のため）、自動化されたアルゴリズムは、どの表面が現に意図されているか検知できないからである。

プロトタイプＣＳＴＭプロッタにおいて、頂点の連結あるいは面の組は、描画された立体画像（１７．０７、１７．０８）上に重ね合わされた、様々な三角形の物理的な描写又は描画によって表現されている。単一の多角形は、例えば、スクリーン上に正射投影法によって描画され、その頂点のための値は、左又は右にプロットされたポイントに対応する位置情報から抽出される。三角形の多角形（ポリゴン）を定義するために、予めプロットされたステレオ対応するポイントの選択は、ステレオカーソルを使って立体的に実行される。それゆえ、左右の対応するポイントの三対の各組分けのために、一組の左右の三角形が生成されるのである。左の三角形は左イメージ上に表現され、右の三角形は右イメージ上に表現される。

これらの３Ｄの三角形は、それらが有効平面にあるように、視野スクリーン及びステレオイメージが同一平面にあるように、正射影投影法により描画される。三角形の左右の組は、それゆえ、左右の対応する平坦なメッシュの中に、自動的に生成される。平坦なメッシュの頂点は、対応するプロットされた頂点又はステレオマーカと同じイメージ視差を含む。それゆえ、この平坦な立体的メッシュは、実は、立体的に知覚される複雑な物体の表面を立体的に正確に覆う、三次元の外見を有している。左右の平坦なメッシュは、ワイヤーフレームモデルとして描画されるので、それらの縁だけが現れ、ステレオイメージは塞がれていない。

次の処理の組は、左右の平坦なメッシュからの、三次元多角形状基板の生成を含んでいる（１８．０９、１８．１０）。図１８は、プロットされたステレオポイントと、それぞれの平坦メッシュの頂点と、オリジナルの左右のイメージフレーム（１８．０１、１８．０２）に関するオリジナルのイメージ座標との間の関係を表す。上述したように、標準的な写真測量技術を使用することによって、対応する平坦メッシュの対からの左右のステレオポイントに対応するポイントのための、空間における三次元位置を計算することができる。この計算は、左右のステレオ対応ポイント（１８．０３．１８．０４）のＸ及びＹ座標と、左右カメラステーションそれぞれの内部及び外部方向（１８．０７、１８．０８）を含む、イメージングパラメータの既知の組とから実行される。

コンピュータ上、実行されるのは、左右の平坦メッシュいずれかの複製コピーを生成することと、これをメモリに蓄積することである（つまり、この第三のメッシュは表示されない）。ステレオメッシュにおけるステレオ対応する頂点の単一組を構成する値は、予め計算された二次元アフィン変換を使って、プロッタ座標系から実イメージ座標系に転換される。そして、実イメージ座標に対して、半径方向の歪、他の較正されたオフセット、体系的なエラーのための調整を行ってもよい（等式１．３０〜１．３１）。調節されたイメージ座標の対は、投射されたステレオ光線の、空間内における三次元位置を計算するために使用される。

計算された三次元のＸ、Ｙ、Ｚの値は、その後、第三のメッシュ上の対応する頂点に割り当てられる。これは、新規に三次元的形状のメッシュが生成されるまで、左右のステレオ「平坦」メッシュの全ての頂点に対して体系的に実行される。それゆえ、このことは、この三次元的形状のメッシュが、先の二つのステレオ平坦なメッシュのものと全く同一の構造を有しているということを意味する。図１９は、左右のステレオ平坦なメッシュ（１９．１１、１９．１２）からの３Ｄメッシュ（１９．１０）の構築の様子を示す。

オリジナルのステレオプロットされたポイントが、各三角形を構成するために選択されたとき、自動アルゴリズムにより、頂点は、それら頂点が連結されている順序に関係なく、空間的に反時計回りになるよう順序づけられる。このように実行されるのには、次の二つの理由がある。つまり、（１）対応メッシュ間の全ての頂点を純粋に互いに対応付けるような、矛盾のないシステムを実施するため、（２）もし、全ての三角形の全頂点が、反時計回りに順序づけられたとすると、多角形の平面のための、それら頂点の法線（vertex-normals）は外側に向き（鑑賞者に向かう）、それゆえ、後方に向いた多角形の異質な組であるとして、描画ソフトウェアによって除外されないのである。これは、また、誤った方向に向いた多角形にはテクスチャマップを施すことはできず、或いは、これらのために目に見える物を作るには両面のテクスチャマッピングが要求される、という理由で重要である（ＣＳＴＭの多角形状基板の反対面にテクスチャマッピングすることによって生成され得る、ある特定の効果については、以下で議論する。）。

一度多角形状の基板が生成されると、どのようにして左右のステレオイメージが基板表面上に正しくマップされ得るかを決定する、第三の、大部分の組の処理を実行する必要がある。本発明の好ましい実施形態のための使用可能なスキームは、主として、実時間適用のための基板にイメージが割り当てられる基本的な実用的方法である「テクスチャマッピング」として知られる、標準的な３Ｄコンピュータグラフィックス処理を利用するものである。しかしながら、事前に定義されたテクスチャマップを使用しない、２Ｄイメージを描画、適用、サンプル可能な、他のスキームも存在し、例えば、「オフライン」描画スキームがある。描画のオフライン方法は、現在、本発明の実施形態に適用可能であり、ＣＳＴＭのための、様々な物理的ハードコピー出力として使用されている（更なる詳細は以下に述べる）。

一般的に、実時間システム及びその関連するグラフィックスハードウェア（つまり、専用のテクスチャメモリを備えたグラフィックスカード）は、イメージ配列をより容易に受け入れる（つまり、テクスチャ要素の配列を伴ったテクスチャマップ、一般にはテクセル（texel）と呼ばれる）が、そこでの幅及び高さに関する要素の線形数は、二乗に対応する。個々のテクスチャマップの最大次元数は、典型的には、１０２４×１０２４要素（テクセル）である。本発明の適用において、もし、個々の左右ステレオイメージが比較的大きいならば、それらは、一組のテクスチャマップを構成する重複傾斜イメージの、様々なサブセットに分解する必要がある。しかしながら、オフライン描画スキームにおいて、個々のテクスチャマップを定義する必要はなく、全体として左右のイメージ上で、イメージの正しいサンプリングが実行される。（グラフィックスハードウェア技術の将来的発展によっては、標準的なピクセル次元におけるテクスチャマップの、事前に特定された配列の生成が不要になるかもしれない。テクスチャマッピングの使用は、それゆえ、本発明における特定の実施形態のための、基本的使用可能動作の一形態として与えられるものである。）

本発明を実行するためにテクスチャマッピング技術を用いるとすれば、一組の左のテクスチャマップ、及び、対応する一組の右のテクスチャマップが存在する。説明のために、テクスチャマップの単一の対が使われるものとする。図２０は、左右のステレオイメージ（２０．０１、２０．０２）を示す。左右の対応するテクスチャマップは、イメージ配列（２０．０３、２０．０４）として蓄積されたサブイメージの対として、ピクセルの矩形（又は正方形）をサンプリングすることによって生成される。

関連する多角形又は多角形の組の上に、テクスチャイメージをマッピングする標準的な方法は、一般に、２Ｄ「テクスチャ座標」と呼ばれる、二次元マッピング座標の特定の組を使用することである。与えられた多角形のために、それぞれの頂点が、（Ｕ，Ｖ）テクスチャマッピング座標の対を与えられる。一組の三つの頂点（抽出された３Ｄ基板における個々の多角形を構築するのに使われる）のために、この３Ｄ頂点は、左右のイメージ上に、対応する一組の二次元的にプロットされたポイントを持つ。これらプロットされたイメージポイントの位置は、オリジナルの立体的画像をキャプチャするために使用されるカメラによって生成された、最初に知覚できる投影の効力によって、通常、抽出された多角形の頂点に対応する。３Ｄ多角形は、それゆえ、通常、投影的に二次元イメージ空間にマップされ、そして、（もし正しく配列されていれば、）特定のテクスチャマップの境界内に投影される。

それゆえ、テクスチャマップを構成するピクセルの下位矩形の空間的位置（２０．０７、２０．０８）が定義されているか、又は既知であることを仮定すれば、投影された多角形のための二次元的にプロットされた座標を、テクスチャマッピング座標に変換することは、簡単なことである。一般に、テクスチャ座標は、パラメータ形式であり、すなわち、個々のテクスチャ座標位置の値は、０から最大で１まで調整される。図２０．０５は、左にプロットされたイメージポイントの位置を示す。ここでは、イメージポイント（２０．０５）のＸ及びＹ座標は、テクスチャマップ（２０．０３）のフレーム内のＵ及びＶ座標に対応しているように見える。左のテクスチャマップの位置に関して、テクスチャ座標の左の組は、プロットされた左側のイメージポイントのために計算される。同様に、右側のテクスチャ座標の組は、右イメージにおける右テクスチャマップの位置に関して、右側にステレオプロットされたポイントの位置から計算される。こうして我々は、ここからＣＳＴＭを構築又は描画可能な、完全な要素の組に到達したのである。

完全な最小の要素の組は、三次元基板、関連する左テクスチャ座標の組を伴った左テクスチャマップ、関連する右テクスチャ座標を伴った右テクスチャマップである。通常、テクスチャ座標は、図形の個々の頂点又は基板に割り当てられる。しかしながら、多くの実時間描画システム及びグラフィックスソフトウェアは、二組のテクスチャマッピング座標が頂点ごとに割り当てられることを可能にする図形データベースに対する、簡単なインタフェース又は接続を与えない。この問題周辺の方策はいくつかあるが、描画及びテクスチャ座標の割り当ては、後の節（可干渉性のステレオ質感のあるモデルの描画）において、より詳細に取り扱う。

従来システム（現在の標準的なＶＲモデル）において、単一のテクスチャマップ及び単一組のテクスチャ座標は、三次元基板又は図形（図２１）の裏面上に、対応するイメージをマップするのに使用される。テクスチャ座標及び基板の間の関係は、イメージが基板上に投影されたかのようにマップされるようなものである。この従来のスキームにおいて、モデルがＶＲシステムにおいて立体的に描画されると、一般には、複雑な表面に適切な効果をもたらすために高密度の（コンピュータ上、大きな負担となる）多角形を使用しない限り、不完全な見え方をする。

可干渉性のステレオ質感のあるモデルにおいて、左右のステレオイメージは、図２２．０に示す基板上に、テクスチャマップされる。この基板は、ステレオ視野を伴わずに現れるように示されている（つまり、イメージは、融合されるというよりは、重ね合わされている）。先の節で議論したように、基板の頂点は、ゼロ視差ポイントして振舞い、投影的にマップされた対応イメージポイント対の表面視差を取り除く。近似的な基板の表面で完全には交差しないイメージポイント対のために、これら表面視差の大部分が取り除かれるが、まだいくつかの三次元表面視差が残存する。これら残りの表面視差は、絶え間ない、連続的な見かけ上のポイントの組を形成し、これらは、オリジナルの複雑な物体の、良好な三次元特徴を表現できる。

上述したように、テクスチャマップは、ＣＳＴＭ図形の描画及び鑑賞の間、実時間処理として、多角形状の基板に割り当てられる。所有権を主張できる標準的なデータ及びファイルフォーマットをＣＳＴＭのために使用しても、ＣＳＴＭを描画することのできる商業上利用できるソフトウェアは存在しない。これは、多くの商業上のグラフィックスソフトウェアプログラムは、３Ｄモデルが単一組のテクスチャマップ及びテクスチャ座標を有するものと決めてかかっているからである。それゆえ、特別なＶＲビューアアプリケーションが作られた（これに関するさらなる詳細は、Ｒｅｎｄｅｒｉｎｇ Ｃｏｈｅｒｅｎｔｌｙ Ｓｔｅｒｅｏ−Ｔｅｘｔｕｒｅｄ Ｍｏｄｅｌｓを参照）。

ＣＳＴＭで使用されているテクスチャマッピングにおいて、より露骨でない一面は、テクスチャマッピング座標の使用を通して、抽出されたゼロ視差ポイント及び立体画像の左右イメージにおける対応するイメージポイントのオリジナルな投影的関係を強制することが可能であるということである。換言すれば、真の投影的関係は、それらから生成される特定のＵ，Ｖテクスチャマッピング座標を有しているかいないかに関わらず、基板の表面上に投影される全てのイメージポイントのために維持されるということである。要するに、多角形が視野スクリーン（又は、ポート）に描画されるとき、テクスチャイメージにおけるイメージポイントに対応するスクリーンイメージポイントは、正確にサンプルされ、実時間で計算されるのである。個々の多角形頂点のための個々のマッピング座標は、正確な規準として使用され、多角形の描画時、一行スキャンするごとに、ここから他の全てのテクスチャイメージポイントが正確にサンプルされて多角形の全体エリアの中を埋める。

図２３は、スクリーン空間（２３．０４）、テクスチャされるべき３Ｄ多角形（２３．０２）、投影される多角形（２３．０８）のための２Ｄテクスチャ空間（２３．０９）における位置、多角形全体を埋めるための中間テクセル（テクスチャピクセル）のサンプリング、の間の基本的関係を示す。多角形の三次元頂点（２３．１０）は、テクスチャマップ（２３．０９）におけるマッピング座標（２３．１７）に対応するように見えている。このマッピング座標は、また、イメージ上にステレオプロットされたイメージポイントの左側の構成要素にも対応している。

３Ｄ頂点、その対応するテクスチャ座標（そして、それゆえ、そのプロットされたイメージ座標）、左イメージ（２３．０６）の遠近法による中心（２３．０７）（そして、この故に、テクスチャマップ）、の全ては、三次元空間において同一線上に位置しており、これらは共線と呼ばれている。したがって、テクスチャ座標及びテクスチャマップされた多角形の３Ｄ頂点の間には、真の投影的関係が存在する。同様の対応は、３Ｄ多角形の他の頂点及びその対応する２Ｄテクスチャマッピング座標の間にも存在する（つまり、２３．１１から２３．１６、及び、２３．１２から２３．１８）。

２Ｄスクリーン空間（２３．０４）の中の３Ｄ多角形の投影位置（２３．０３）は、仮想カメラの遠近法の中心（２３．０５）の位置によって支配されている。３Ｄ空間における多角形の同じ頂点は、２Ｄテクスチャ空間の中に効果的に投影し、第二の理論的多角形（２３．０８）を定義する、対応マッピングポイントを有している。同じ配置を示す第二の図において、図２４は、スクリーン空間における現在の描画スキャンライン（２４．０１）の位置を示す。描画が発生すると、各スクリーンピクセルのためのカラー値が計算される。特定のスクリーンピクセルのための視野投影が、効果的に多角形に「当たった」とき、対応するスクリーンピクセルであるカラー値のどの組が問い合わされるべきか、を決定するための描画ハードウェア及びソフトウェアが問題となる。描画エンジンは、問題のスクリーンピクセルが、テクスチャマップされるべきものの一つとして示された多角形に対応することを決定することとなろう。

効果的に、スキャンライン上の個々のピクセル（２４．１１）は、３Ｄ多角形（２４．１２）上のどこに投影されるべきかを決定するために、３Ｄ空間の中に投影される。そして、描画システムは、２Ｄテクスチャ空間（２４．１３）において正確に対応する位置に対する、３Ｄ投影された（多角形上の）２Ｄピクセルの正確に対応する位置を計算する。３Ｄコンピュータグラフィックス上には、多くの技術的テキストが存在するが、要求された変換及びテクセルデータのサンプリングを成し遂げる特定の式及びアルゴリズムを示すものは、ほとんどない。それは、多くの場合、特別なハードウェア上でのみ実行されるものだからである。たいていの場合、示されるものは、テクスチャ空間の中に直接投影された多角形の、スクリーン空間座標の直接線形補間法である（グローシェーディングとして知られる標準的な陰影技術と同種のものである）。しかしながら、この変換は、テクスチャイメージポイントが不正確にマップされてしまうことから、我々の目的にとっては不正確である。

時として「遠近法によるテクスチャリング」と呼ばれる、テクスチャ描画のための、より正確な方法が存在する。これは、最善の結果のために用いられる技術である。ＣＳＴＭは、計算機上より安価な直接線形変換（スクリーン空間からテクスチャ空間への）を使って描画され得たが、視覚的に歪んだ見かけを有していた（おそらく、よりローエンドのグラフィックスのために使用されたもの）。図２４を見ると、テクスチャマップ上の３Ｄ多角形から２Ｄ三角形への対応がわかる。正確なテクスチャマッピングをもたらすための、多くの異なるアルゴリズムが使用され得るが、３Ｄ三角形は、２Ｄテクスチャ空間における２Ｄテクスチャ座標に対応する２Ｄ頂点を有する２Ｄ平坦三角形（それ自身の平面において）として考慮され得る。

それゆえ、それ自身の平面的な空間からテクスチャマップの２Ｄ平面空間へ変換するための３Ｄ多角形（それ自身の平面に対して２Ｄ三角形として参照される）のために、２Ｄアフィン変換を計算することが可能である。換言すれば、この変換は、多角形の三つの頂点（それら自身の２Ｄ平面空間における）から、三つの対応するテクスチャ座標へ計算するのである。いったん基本アフィン変換が計算されると、この同じ変換組を全ての計算されたスクリーンピクセル（３Ｄ多角形上に投影された）に対して適用可能である。これのための特定のアルゴリズムは、ある程度幻想的なものであり、一般には自然固有のものであるが、それにも関わらず、テクスチャマップにおいてサンプルされることを必要とする正確なポイント又はポイントの組を計算することが可能となることが明確に示されている。経験的な結論によれば、これらサンプルされたテクスチャポイントは、少なくとも遠近法によるテクスチャリング技術のために、実に正確に決定されていることが確認される。

テクスチャマップからの特定の値のサンプリングは、様々な方法で実行される。視覚的な品質に関して、おそらく最善の方法は、３Ｄコンピュータグラフィックスにおいてよく知られた技術である、トリリニア（tri-linear）補間法である。このことは、特定のテクスチャ座標間の、サンプルされたテクセル（テクスチャピクセル）の全てが、左イメージ及びカメラによってオリジナルに生成された投影的関係にも付着することを意味する。換言すると、テクスチャマッピングは、すべてのテクセルのための仮想的な写真撮影上の遠近法の中心が存在するような方法で計算される。しかしながら、テクスチャマッピングは、左イメージ又はテクスチャマップの、オリジナルの遠近法による中心の位置情報を使用せず、ただ、３Ｄ多角形の定義された対応テクスチャ座標を使用するだけである。それらのために生成された明確なテクスチャ座標を持たないテクセルのための、この真の投影的なマッピングは、ステレオ記録された物体の表面の対応ポイント（２４．１９）からオリジナル立体画像からの左イメージの遠近法による中心（２４．１０）へ光線を投射することによってさらに実証される。この光線は、基板上の対応ポイント（２４．１２）及びテクスチャマップ上のサンプリングテクセルのためのポイント（２４．１３）を通過していることがわかる。このサンプリングは、オリジナル物体ポイント又は左イメージの遠近法による中心の３Ｄ位置の、直接的な知識を何ら持たずに描画エンジンによって実行される。

正確なマッピングが実行される一般的な仕組みは、基板及びステレオ対応する左右のイメージポイントを形成する抽出された３Ｄ頂点の間の、オリジナルな投影的関係及び形状を維持するようなやり方で計算されたテクスチャ座標及びテクスチャ描画を持つこと、として適用される。全てのテクスチャイメージの正確なマッピングは、ＣＳＴＭの外観表面からの正確な三次元測量を抽出可能にするので、重要な機能である（詳細は、以下で議論する）。

（物体抽出方法）
この方法において、基板は、物体を記録するために使用された立体画像からというよりは、物体それ自身の測量から抽出された３Ｄデータから構成される。この三次元データは、手動による測量、図面、線図、レーザセオドライトマッピング、レーザ距離計スキャン等、様々な拠り所から集められ得る。ゼロ視差ポイントとして機能する、抽出されたポイントは、多角形状の面の組又はメッシュの頂点を構築するために使用される。関心のある物体に対する立体的画像の相対的な方向は、認知されるべきである。独立して抽出された３Ｄデータの方向も、オリジナル物体のための共通参照フレーム及びオリジナルの立体的画像をキャプチャするカメラステーションに認知されるべきである。

それゆえ、標準的な投影変換等式（等式１．１〜１．４）を使って、３Ｄメッシュや、それらの３Ｄ頂点を、左右のデジタル化されたイメージ又は写真の２Ｄイメージ空間の中に投影することが可能となるのである。一組の２Ｄ対応する左右イメージ座標は、この処理によって生成される。一組のテクスチャマップは、それぞれの左右イメージのために定義され得る。それゆえ、２Ｄ対応する左右イメージ座標を、より大きなイメージにおける各テクスチャマップの位置に関連するテクスチャ座標の中に、転換することができるのである。これで、ＣＳＴＭのために必要なデータの組の、全ての進物（compliment）が生成された。つまり、一つの三次元基板、左のテクスチャ座標の組及びテクスチャマップ、右のテクスチャ座標の組及びテクスチャマップ、である。

実施、生成、描画のための基本的方法は、イメージ抽出処理のための上述した方法と非常に似ている。レーザースキャンからの、非常に濃密な、又は、取り扱いにくい点の雲、といった一定のデータの組は、ＣＳＴＭとしてもっと効率的な表現をもたらすために、ダウンサンプル（down-sampled）され得る。レーザの点の雲は、数百万もの点を含むものであるが、ＣＳＴＭのために要求されている全てのものは、物体の基本的な巨視的特徴を表現する基板であるので、大部分は捨て去り得るものである。この点の雲は、ステレオイメージの上に投影された３Ｄポイントを立体的に重ね合わせることによって物体の巨視的特徴を最もよく表現する、一組のポイントに編集し得る。レーザースキャンは、多くの位置的な誤りを頻繁に含むので、ステレオ視野をもつ物体の外観表面上に発生しない何れのレーザ３Ｄポイントも、編集又は削除され得る。

一般的に、レーザースキャンによって生成された多数の３Ｄポイントの一般的なアンダーサンプリングと比較すれば、より高い空間的精密性は、写真測量技術を使って詳細な特徴のために達成され得る。様々な特徴のより良いポイント及びエッジは、立体的に重ね合わされるよう表示された、３Ｄ投影されたレーザースキャンポイントと同じ環境において、手動でプロットされ得る。

物体抽出処理による潜在的な問題は、基板と立体画像との間の正確な「適合」を達成するのが困難なことであるが、これは、基板の頂点を生成するために使用されるデータが立体的画像それ自体から導かれていないことによる。様々な調整技術が、より好適な適合をもたらすために実施され得る。イメージ抽出方法の主な利点は、基板及びステレオプロットされたイメージ座標が、常に完全適合することである。

さらに、非常に複雑なデータ源から非常に鮮やかで緊密な多角形状の基板を作り出すにあたり、イメージ抽出処理は、概ね手動技術であるという事実にも関わらず、マシンビジョンや写真測量システムにおいて使用される、３Ｄレーザースキャン又は自動相関装置のような自動化技術よりも、一般的にずっと速い。これは、重要な点であり、さらに、これは、３Ｄモデルを作る従来技術からの根本的変動を表しているのである。つまり、従来技術は、速度及び正確性における進展は、より速く、より強力になるコンピュータ処理ツールの絶え間ない発展に依存すると考える傾向があった。人間の脳には、コンピュータができるよりも、ずっと効率的で正確に処理できることがいくつかあり、ＣＳＴＭの生成及び描画の両方において、それぞれが最良に処理できるところのものを利用するように、人間及びコンピュータ間の仕事の分担を暗示的に変更するのである。

（組み合わせ生成方法）
この方法は、組み合わせ生成されたコンピュータグラフィックスモデル及び描画（例えば、３Ｄモデリング及び描画プログラムにおいて作成されたモデル）からの、ＣＳＴＭの生成物に関連する。この技術は、オリジナル物体の立体的画像が３Ｄモデリング又はグラフィックスプログラムにおける仮想カメラ（又は、複数のカメラ）を使って撮影されるという点以外は、本質的にイメージ抽出方法に非常に似ている。左右イメージの一対のステレオ描画が生成されると、これらは、ＣＳＴＭの生成のためのイメージ抽出処理と全く同じように使用される。しかしながら、立体的画像は、組み合わせのコンピュータグラフィックスモデルを「記録する」ために使用されるので、ＣＳＴＭを生成するために必要なデータのほとんどは、既にモデル自体の中に存在している。

３Ｄモデリング及び描画環境においては、数百万もの多角形（ポリゴン）で構成された非常に複雑な表面を生成することができるが、実時間方法において描画不可能なデータの組を含んだ、それらに割り当てる多くの異なる複雑な描画、粒子、照明効果を有している。いったん、仮想の立体的画像が撮影されると、ＣＳＴＭにおいて多角形状基板として使用するための、３Ｄ描画されたモデルの基礎的な形状を直接取り出すことが可能になるのである。もし、このモデルが、多くの多角形を含んでいるとすると、様々な多角形の軽減及び最適化技術を実行することが可能になるので、その物体の基本的で最も重要な巨視的特徴だけが、その基板に現れるのである。この処理の結果、ＣＳＴＭの多角形状基板として振舞う、一組の多角形又はメッシュが作り出される。

３Ｄメッシュ又は物体の頂点は、描画された立体的画像の効果的な視野フレームの中に投影され得る（標準的な投影変換等式を用いて。等式１．１〜１．４を参照）。（ステレオ視野フレームのための変換行列は、描画システムに対して既知である）。立体的画像は、そして、イメージ抽出処理で述べたように、様々にタイル張りされ、重ね合わされたテクスチャマップの中に復元される。投影された３Ｄ頂点は、立体的画像の左右イメージ上の、一組の２Ｄイメージ座標に対する立ち上がりを与える。これは、それぞれのテクスチャマップに関する要求されたテクスチャ座標の中に転換され得る。それゆえ、これは、ＣＳＴＭのために必要とされているデータの組の完全な進物を生成するための、かなり速く効果的な処理である。つまり、多角形状の基板、左のテクスチャ座標の組及びテクスチャマップ、右のテクスチャ座標の組及びテクスチャマップである。

コンピュータゲームにおいては、多くの粒子基調の描画効果をＣＳＴＭの中に転換可能である。例えば、かすみのある毒気、水、火、爆発である。次のことにも留意すべきである。つまり、イメージ抽出処理のためのステレオプロットされたインタフェースは、実世界物体のコンピュータグラフィックスモデルを生成するための、非常に効果的な方法を提供するということである。別のやり方では、非常に困難で、ゼロから明瞭なモデルを作るまでの時間を消耗してしまうことになる。

（ＣＳＴＭを作り出すための容量データの再サンプリング）
三次元表現をもたらすためのコンピュータグラフィックスにおいて使用される、他の三次元技術が複数存在する。まず一つの方法は、ＣＡＴ及びＭＲＩ医療スキャンによって生成されたような、容量イメージを使うことである。ここで、イメージは、固形物体を通してスライスのように生成され、各スライスはイメージ値の二次元配列から構成されることとなる。イメージの平坦な平面が互いの上部に積み上げられて描画されると、容量表現が作り出されるのである。ピクセルの代わりに、ボクセル（voxel）を有している。これら組み合わせ生成のＣＳＴＭのための方法に似た方法を使って、ＣＳＴＭを生成するための容量データが再サンプルされ得る。ここで、左右の仮想カメラは、特定の関連位置からの容量データを描写するために使用される。

代わりに、もし、ボクセルの特定サブセットの３Ｄ位置をサブサンプリングする適切な方法が与えられたとすると、ＣＳＴＭは、物体抽出方法に似た技術を使って生成され得る。様々に積み重ねられた容量データのレイヤーは、不透明又は透明の程度を変更するよう設定できる。代わりに、ピクセルの各レイヤーは、様々な角度からより低いレイヤーを見ることができる、３Ｄドットの間隔が僅かにあけられた配列として表現され得る。容量データから生成されたＣＳＴＭは、インターネット上で複雑な容量データを表現するための効果的な方法を与える。ステレオ可能なインターネットブラウザは、ＣＳＴＭを表示できるよう修正でき、その結果、鑑賞したときに非常に複雑なモデルを表現する小さなデータの組を伝送することができるようになる。一方、他の方法では、伝送、処理、鑑賞するには重た過ぎるデータとなってしまう。

（可干渉性のステレオ質感のあるモデルの描画）
描画ハードウェア及びソフトウェアに依存して、ＣＳＴＭを構成する基本データの組は、多くの異なった方法で利用される。主として採用されているスキームは、「フレームシーケンシャル描画モード」として知られるところのものである。フレームシーケンシャルステレオにおいて、左右の描画された視野は、スクリーン上に交互に現れる。ＬＣＤシャッターグラス（例えば、ＣｒｙｓｔａｌＥｙｅｓ（登録商標））のような特別のアイウェアを使用することで、フリッカやクロストークを起こすことなく、彼らのそれぞれの目に対して、正確に描画された左右の視野を示すことが可能になる。

ＣＳＴＭ描画スキームにおいて、基本原則は、ＶＲシステムにおいて左視野が描画されたときに、左テクスチャマップを多角形状基板にマップし、そして、右視野が描画されたときに、右テクスチャマップを多角形状基板に割り当てることである。ほとんどのＣＳＴＭ鑑賞処理において、二組のテクスチャ座標が要求される。テクスチャ座標は、実際には形状に属し、テクスチャマップには属さない。多くの人々は、テクスチャマップのことを、それが描画される前にモデルに「接着された」ものとして考えているが、実際には、テクスチャマッピングは実時間処理であり、イメージはただ、特定の対応する頂点の組に対して蓄積又は割り当てられたマッピング座標を使って、それが描画されるときに形状に割り当てられるだけである。

しかしながら、筆者は、単一の多角形状頂点に対して二つのテクスチャ座標を割り当て可能な、商業的に利用可能なソフトウェアが存在しないことを確認している。この問題に対する一つの解決策（ソフトウェア開発スペシャリストの側に立った）は、一つを左基板として設計し、一つを右基板として設計した、二つの全く同じ多角形状基板を生成することである。このスキームでは、左基板の頂点は、テクスチャ座標の左の組を割り当てられ、右基板の頂点は、テクスチャ座標の右の組を割り当てられる。左のテクスチャマップは、そして、左の基板に割り当てられ、右のテクスチャマップは、右の基板を割り当てられる。描画時に、左右の基板は、三次元空間においてちょうど同じ位置を占めるように作られるが、しかし、左目視野が描画されたときに右基板が消される（高速形状除去機能を持ったスイッチノードを介して）ので、左の目には左データの組だけが可視となり、そして、右目視野が描画されたとき、左の基板は消えるのである。換言すれば、左右のデータの組は、常にコンピュータメモリの中にあるが、それらの描画を可能又は不可能にするための様々な設定を、ただ交互に変更しているというだけのことなのである。

ただ一つの組のテクスチャマッピング座標が使用されるところでは、他の描画スキームもまた可能である。これは、手段の多様性によって達成されるものである。そのような方法の例を以下に挙げる。（一般的な、イメージねじれの単観察手法の議論について、Crane, R. 1997, A Simplified Approach to Image Processing, pp.203-244, Prentice Hall, Upper Saddle River, NJ; and Kilgard, M., 1996, OpenGL Programming for the X Window System, pp.207-216, Addison-Wesley Developers Press, Reading, Massachusetts. を参照。）

いったん、ＣＳＴＭモデルが生成されると、ここで略述した方法のいずれかを使って、一つのイメージ（例証目的のための右イメージ）のマッピング座標値又はこれら値のいくつかの関数が、新しい（中間の）平坦な基板の頂点ための、空間内の位置を定義するための空間的座標値として使用される。オリジナルな基板上の右イメージにマップするために使用されるマッピング座標は、中間基板上に右イメージをマッピングする目的で、中間基板の対応する頂点に割り当てられる。

左イメージのマッピング座標値、又は、これらのいくつかの関数は、中間の平坦な基板の頂点の、事前に設定された空間的位置を変更又は再定義するための空間的座標値として使用される。そして、この中間的な基板は、直交の視野投影を使って描画されるか、又は、新しい右イメージを作り出すための左イメージのものと同じスケール及び解像度で再サンプルされる。そして、これは目下、右イメージのプロットされたステレオ対応ポイントが左イメージのマッピング座標に適合するように、ねじられている。

結果のデータの組は、左イメージのテクスチャ座標が、オリジナルの三次元基板の頂点に割り当てられるように編成される。再サンプルされたＣＳＴＭがステレオ描画されるとき、左イメージは、左の組のマッピング座標を使ってオリジナルの基板に使われ、新しいねじれた右イメージもまた、左イメージのマッピング座標を使ってオリジナルの基板に使われる。これらは、オリジナルの基板の頂点に最初から割り当てられるものである。

これは、非常に効率的な描画解法（例えば、ゲームの適用にとって）を示すものであるが、右イメージのねじれは、全般的に視覚的品質を低落させることになる。一つの多角形状基板が使用されるところでは、描画スキームを持つことも可能であり、左右のテクスチャ座標は、対応する目の視野が描画されるときのための頂点に、動的に割り当てられる。この技術は、大きなモデルにとっては効率的でない場合がある。（フレームシーケンシャルステレオよりもむしろ）デュアルパッシブステレオ描画として知られる技術を使用するデュアルパイプ描画システムにとって、デュアルモデル／デュアルテクスチャマップによる取り組みは、より有益であろう。

ＣＳＴＭのための四つの主な描画スキームは、このようにして、以下の通りの連番及び構成部分の関係によって特徴付けられる。

１．フレームシーケンシャル描画のために使用される、二つの基板、二組のテクスチャ座標、二つのテクスチャマップ

２．フレームシーケンシャル描画のために使用される、一つの基板、二組のテクスチャ座標、二つのテクスチャマップ

３．（よりローエンドの）フレームシーケンシャル描画のために使用される、一つの基板、一組のテクスチャ座標、二つのテクスチャマップ

４．デュアルパイプパッシブステレオ描画のために使用される、二つの基板、二組のテクスチャ座標、二つのテクスチャマップ

もし、ステレオテクスチャマッピングが、与えられた多角形状基板の両側で実行されたとき、ＣＳＴＭによって、新奇で有益な効果が実現される。両面のテクスチャマッピングは、通常、高レベルの描画命令の使用を可能にする。非包囲の表面から構成されるＣＳＴＭを仮定すると、その正面の裏側に回り込むことが可能となり（ＶＲ環境において）、ＣＳＴＭの「裏返しの」表面を効果的に知覚することができる。言い換えると、もし前の表面が顔であったとすると、両面のテクスチャマッピングによれば、観察者は、このイメージ周辺を散歩することができ、この顔の裏から外を見ることができるのである。ここで、テクスチャイメージは、ごくわずかの厚みのガラス表面上に描かれたかのように利用される。このことは、かつて正の浮き彫りだったものが、今度は負の浮き彫りになり、そして、その逆もまた同様である、ことを意味する。これは、濃密で複雑な特徴の解釈において有益である。この技術は、左イメージが右に置き換えられ、右イメージが左に置き換えられる、反影の（pseudoscopic）立体的画像生成の、標準的な写真測量立体技術に類似している。

（強制収束）
上記した処理の一つによって、一度ＣＳＴＭが生成されると、その多角形状基板を異なる形へ歪める又は変形させるといった、さらなる修正を施すことが可能である。ＣＳＴＭの使用は、オリジナルの立体的画像の、自然なステレオ投影された形状に最初に順応するものの一つであると考えられている（つまり、ゼロ視差ポイントが、対応するステレオ光線の自然なステレオ交差に位置付けられる）。この基板の変形は、多角形状基板を構成する個々の頂点の値を変更することによって実行される。テクスチャ座標は、多角形状基板に割り当てられているので、基板のメッシュを変形させ、今なお表面に対応してマップされたテクスチャイメージを持つことが可能となる。言い換えると、ステレオ対応する左右のポイントは、基板が新しい形状に変形されたとしても、なお、ゼロ視差ポイントに収束するよう作られるのである。

ゼロ視差ポイントを、ステレオ光線の自然交差ポイント（３Ｄ空間において）に位置するものとして考えるよりも、ステレオ対応するポイントを、基板の表面上のゼロ視差ポイントに「強制的に」収束されるものとして考えた方が有益である。図２５は、この概念を説明するものである。図２５．０１は、イメージ抽出処理によって生成されたＣＳＴＭ基板の交差区間の視野であり、図２５．０２は、外観表面の位置（残りの表面視差の認知によって生成された）を示し、図２５．０３は、ゼロ視差ポイントの一つの位置を示す。３Ｄ頂点の値の変更によって、基板が平坦にされたとき（２５．０６）、残りの表面視差は、なお見かけ上の３Ｄ表面を生成するために機能するが、基板に沿って歪められてしまう（２５．０７）。平坦にされたＣＳＴＭは、新しい形状に歪められ（２５．０９）、それにしたがって、残りの表面視差からの見かけ上の表面特徴は、再び歪められる（２０．０８）。このようにして、ＣＳＴＭ他の３Ｄ及びモデリングデータと結合し得る範囲において、イメージ抽出技術を使って複雑な表面が記録され、そして、特定の要求に沿うようさらなる編集及び修正が可能となる。

ＣＳＴＭを変形するための他のアプローチは、自然のステレオ投射された形状に順応する３Ｄ基板生成のステップを除去する。例えば、イメージ抽出処理において、対応する左右の平坦なメッシュに変わる、ポイントのステレオ対をプロットすることが挙げられる。これにより、左又は右のプロットされたメッシュのいずれかを、ＣＳＴＭのための新しい平坦な基板を形成するために複写することができる。左右のテクスチャマップ及びイメージのためのテクスチャ座標は、通常の方法で計算される（イメージ抽出処理において述べたような）。そして、テクスチャ座標は、ＣＳＴＭのための多角形状基板として振舞う、複写された平坦メッシュの頂点に割り当てられる。結果となるものは、なお見かけ上の３Ｄ表面を示す、残りの表面視差によるＣＳＴＭのための平坦な多角形状基板である。この平坦にされたＣＳＴＭは、取り出すことができ、さらに歪めて要求された形状にすることができる。ここで、ステレオ対応するポイントは、オリジナルの立体的画像の自然なステレオ投影された形状に順応する最初の基板を生成することなく、なお「強制的に」ゼロ視差ポイントに収束される。

図３０は、オリジナルな立体的画像によって統制された自然なステレオ投影形状（２６．０１）と、左のイメージの平坦メッシュから抽出された任意の基板（２６．０３）とに順応したＣＳＴＭの間の関係を説明する。テクスチャマッピングは、基板（２６．０１）に従ったステレオ光線のものと同じテクスチャ座標を使って実行され、その結果、同じステレオイメージポイントが、任意の基板（２６．０３）上の同じ対応頂点（ゼロ視差ポイント）にマップされることになる。この効果的な新しい投影的関係は、任意の基板上に「強制的に」収束される、「イメージの」光線（２６．０６）によって表現されている。この任意基板の、見かけ上の３Ｄ表面の良好で複雑な特徴は、前述したことに応じて歪められる（２６．０５）。この任意基板は、取り出し可能で、適用に依存した様々な形状にさらに変形することができる。

歪められたＣＳＴＭを作り出すための二つの方法は、次のように考えることができる。つまり、それぞれの基板におけるそれぞれのゼロ視差ポイント上の、ステレオ対応するポイントの強制収束においては、類似した関連性のある様々な同種の原則が存在するということである。しかしながら、第二の方法（左又は右のステレオプロットされたポイントからの任意の基板の生成）は、最初の基板を構成するための、オリジナルの立体的画像からのステレオ光線交差ポイントの抽出を要求しない。逆に、ＣＳＴＭに準じたステレオ光線は、左又は右にプロットされた２Ｄメッシュから生成された任意の基板と同じ形状に変形され得る。

（可干渉性のステレオ質感のあるモデルの外観表面からの正確な空間的測量の抽出）
立体的画像は、単一の視野を表現するだけであるので、鑑賞スクリーンに関して観察者が移動すると、立体的モデルは僅かに歪められる。立体的ずれとして知られる現象である。従来の立体的画像と比較して、全体的なずれの効果が意味を持って軽減されるにも関わらず、可干渉性のステレオ質感のあるモデルにおいて、ある程度の立体的ずれは、なお発生するであろう。これは、この基板が、平坦スクリーン又は基板よりもオリジナル物体の近似により近いという事実によって、表面視差が軽減されるだけだからである。

ＶＲ環境において、ずれの方向及び規模は、シミュレーションにおいて仮想ステレオカメラの位置に関する立体的画像をキャプチャする、オリジナルカメラの相対的な位置に大きく依存している。オリジナルなステレオカメラに直接面している平面の表面においては、仮想ステレオカメラ及びオリジナルカメラの間の＋／−７５度の角度の相違は、顕著なずれを伴うことなく余裕をもって許容できる。もっと複雑な物体は、いくつかの立体的画像によって記録され得るので、一つの立体的画像に対して非常に斜角になった表面は、他の立体的画像によってもっと適切な角度から描写され得る。

測定規準法又は本発明の他の非常に厳正な実施形態において（例えば、厳格な写真測量技術を使うもの）、ゼロ視差ポイントは、オリジナル物体上の対応するポイントの正確な三次元位置を厳格に反映する一定の位置に留まる。これは、ゼロ視差ポイントが多角形状基板の頂点として使われるために特別に選択されたものであるかどうかに関わらず、また、これらが頂点間で生じる「同時発生の」ゼロ視差ポイントであるかどうかに関わらず、また、基板の表面上のどこでステレオ光線対が収束するのかに関わらず、当てはまるのである。残りの表面視差が発生する領域において、非常に小規模程度のずれが存在する場合がある。しかしながら、ＣＳＴＭの見かけ上の表面（つまり、人間の鑑賞者によって知覚される表面）は、なお、オリジナル物体上で見出される複雑な地勢図の、同じく良好な三次元空間周波数を表現しており、見かけ上のポイントのための正確なＸＹＺ座標を抽出することが可能なのである。

図２７は、立体的にずらされた表面と、その表面の実際の位置との間の、具体的な幾何的関係を説明するものである。見かけ上のポイントは、ＣＳＴＭ表面上の見かけ上の位置Ｐ（ａ）に見える。オリジナルなステレオイメージの左右カメラ位置（２７．０４、２７．０５）のオリジナルな位置に関係する立体的なずれにより、Ｐ（ａ）は、オリジナル物体上の対応ポイントの、正確な空間的３Ｄ位置では発生しない。ステレオカーソルを使用することにより、ステレオ描画されたイメージの左右の視野フレーム（２７．０１、２７．０２）上のＣ（ｌ）及びＣ（ｒ）として表現され、見かけ上のポイントのための位置をプロットすることが可能になる。代わりに、３Ｄカーソル物体は、Ｐ（ａ）の見かけ上の位置に配置することもできる。いずれにせよ、左右の仮想カメラの遠近法による中心である、ＰoＶ（ｌ）及びＰoＶ（ｒ）から投影された左右の光線が、基板（２７．０３）の表面とどこで交差するかの、ポイントを計算することが可能である。これらの交差ポイントは、それゆえ、オリジナルな立体画像の左右イメージ（２７．０４、２７．０５）からの基板表面上に投影的にマップされる、イメージポイントＢ（ｌ）及びＢ（ｒ）の組のための基板上の３Ｄ位置を与える。

左右のイメージのための、左右のカメラステーションの方向及び位置が分かっていると仮定すると、ステレオ投影されたイメージポイントＢ（ｌ）及びＢ（ｒ）の３Ｄ位置を通る、（実際の）左右イメージＯ（ｌ）及びＯ（ｒ）の遠近法による中心からの一対の光線を数学的に投影することが可能となる。いま、前述した光線の交差ポイントを計算するとすれば、ＶＲシステムにおいて見える、対応する見かけ上のポイントＰ（ａ）の真の３Ｄ空間位置Ｐ（ｔ）を決定することができる。ベクトルの利用及び適用に関する数学的な分岐は、この課題に著しく適合する（等式２．１〜２．３を参照）。

３Ｄカーソルが使用されるとき（ステレオカーソルに対抗するものとして）、いくつかの状況において、基板上の特定の多角形状平面の表面下に、３Ｄカーソルを配置する必要が出てくる。深度検査が可能な通常のグラフィックス描画において、３Ｄカーソルは切り抜かれ、多角形の表面下にあるときは、消えることになる。この問題を解決するために、全ての主要なグラフィック要素が描かれた後フレームバッファがクリアされる前に３Ｄカーソルを風景の中に重ね合わせる、マルチパス描画技術を使用することが可能である。これは、深度検査を一時的に使用不可にすることもできるので、３Ｄカーソルは、基板の特定部分の表面下にあるときでも可視状態を維持する。真の３Ｄカーソルを使用するこのスキームにおいて、基板の表面上にステレオ投影されたポイントの３Ｄ位置を計算するための、左右の視野フレームの遠近法による中心について、光線が形成され得る。

上述した技術は、ＣＳＴＭの見かけ上の表面から正確な空間的測量を抽出するために、又は、三次元的にプロットして新しいポイントを基板のメッシュの中に挿入するために、使用することができる。メッシュの表面は、多角形状の表面を再定義することによって新しいポイントを組み入れるために、再び三角形にされ得る。左右テクスチャ座標の新しい組は、新しい頂点に割り当てるために計算される。したがって、このことは、新しく挿入されたポイントは、今度はゼロ視差ポイントとして機能し、そして、オリジナルの物体表面上の対応ポイントに関して極めて一致する位置に発生する、ということを意味する。

これら新しくプロットされたポイントは、ＣＳＴＭ上で関心のある様々な表面特徴を指し示す、様々な３Ｄ矢印の挿入ポイントとしても使用される。見かけ上のポイントから新しくプロットされた真のポイントの組分けは、ＣＳＴＭの様々な領域に注釈するための３Ｄ空間内において、ベクトル的に接続された（例えば、色のコード化がされた）線として使用され得る。ＣＳＴＭを更に操作し注釈するための、付加的な手順を実行しても良い（例えば、注記、参照、測量値等を伴った考古学的な遺跡又は博物館の物のＣＳＴＭに注釈を加えるなど）。

（アナログＣＳＴＭ）
物理的に作られた基板から構成されるＣＳＴＭを生成すること、そして、基板の表面上にマップされ、投影され、印刷されたステレオイメージを持つことが可能である。投影されたステレオイメージの左右視野を分離することができる方法が存在する場合には（例えば、円形又は線形の分極化、あるいは立体写真技術）、システム全体がＣＳＴＭとして機能する。ＣＳＴＭの出力をハードコピー可能なもののひとつは、その上に立体写真の形式で印刷された立体イメージを伴った、紙又は厚紙モデルであろう（つまり、左右の目のための分離フィルタを伴う眼鏡を使用する）。これを実現するひとつの可能な手法を、以下に述べる。

一般的に、三次元ＣＳＴＭは、まず、デジタル形式で実現される。この基板のための多角形状メッシュは、特定の多角形の全頂点が、それ自身の平面に関して空間的に変形されないよう、平坦にされなければならない。それゆえ、単一の平面に対して平らになるように、その結合境界に沿って接続された様々な多角形を、どのように個別に回転させるか決定することが必要である。多角形のある組分けにとっては、全ての接続され結合された多角形を、２Ｄ平面において重ね合わせずに平らにすることはできない。このような場合、メッシュにおいて様々な分断線を定義する必要がある。それは、メッシュ全体が、互いに重なり合った単一のサブグループの部分を持つことなく平らにすることができるサブメッシュに分解されるようにするためである。

いったん平らにされたサブグループが定義されると、多角形の個々のサブグループにテクスチャをマップすることが可能になる。オリジナルの（平坦ではない）ＣＳＴＭにおいて使用されたものと同じテクスチャマッピング座標は、平らにされたサブグループのマッピングについては修正できないように使用することができる。厚紙のＣＳＴＭはオフライン処理によって生成され得るので、テクスチャマップの事前にサンプルされたサブイメージではなく、むしろ、イメージマッピング座標を使用したイメージ全体からのサンプルを要求する、他のサンプリング技術も使用することができる。

赤及び緑色のレンズを使用した立体写真技術の例においては、左右の立体イメージを単一の平坦な基板上で合成する必要があるが、ここでは、左のテクスチャマップの輝度値は緑で描画され、右のテクスチャマップの輝度値は赤で描画される。基本的に、左右のテクスチャマップは黒及び白の調子のイメージとして取り扱われる。実用的な目的においては、左右の描画イメージとして区分された、特定の平坦な基板の描画をより簡単にできる。そして、この二つの描画されたイメージは、標準的な２Ｄイメージ処理適用を使用した単一のイメージの中で合成される。そのモデルの縁を互いに接着又は貼り付け可能にするために、様々なサブメッシュの縁に対して様々なタブを加えることができる。

３Ｄ表現をもたらすための少数の多角形を使った、このようなモデルを構成することは、一般的に実用的である。それゆえ、描画された平坦なテクスチャマップされたサブメッシュの単一の２Ｄイメージが、作り出される。そして、このイメージは、紙又は他の適当な基板上に印刷される。平坦な多角形の容易な折り畳みを可能にするために、多くの多角形の縁が事前に評価される。そして、多くの縁は折り畳まれ、分断線の縁は、ＣＳＴＭ基板のオリジナルの３Ｄ形状を再形成するために結合される。様々なサブメッシュは、より大きなモデルを形成するために互いに結合される。そうして、そのモデルは、その立体写真眼鏡を使って鑑賞することができる。赤いフィルタ（左目上）は、灰色から黒の様々な調子として緑に印刷されるイメージのパターンを示し、緑（右）のフィルタは、灰色から黒への調子としての赤のパターンを示す。それゆえ、見かけ上の３Ｄ表面は、そのモデルが鑑賞されるときに生成され、基板を構成する多角形の頂点は、対応するマップされたステレオポイント対のためのゼロ視差ポイントとして振舞う。遂にモデルが照らされると、多角形の厚紙基板が有効に可視となり、そして、知覚される全てのものは、残りの表面視差によって生成された複雑な地勢図の幻影である。

イメージ抽出処理から作り出された物理的な立体写真のＣＳＴＭは、建築学的な対象、自然歴史学の対象、医療講義を目的とした解剖学モデルといった、非常に複雑な表面を表現するために使用することができる。例えば、博物館及び歴史的遺跡での販売目的といった目新しい商品としてのこれらの利用は、明白と言えるが、教育ツールとしてのこれらの潜在能力も過小評価されるべきではない。

アナログＣＳＴＭの他の実施形態は、専門家のアイウェアなしに左右の目に対するステレオ視野を分離して表現する能力をもった、簡単な三次元基板の生成を含むものである。換言すると、その基板自身は、その上に適切に投影、描画、印刷されたステレオイメージを伴った、自動立体画像ディスプレイを構成する（例えば、レンズ状スクリーンを使って）。

（技術に関する備考）
本発明の最初の出願［英国特許出願０３２２８４０．０，「立体的画像イメージング」（出願日２００３年９月３０日）及び米国優先出願、米国特許出願番号６０／５０７，７２７（出願日２００３年９月３０日）］において、「トリホモログ（Tri-Homologous）描画」との用語は、ステレオ対応する光線対が交差し、対応する基板頂点が配置されるところの、三次元空間におけるポイントに関して使用されたものである。明確にするために、この専門用語は、基板の頂点を「ゼロ視差ポイント」と呼び、そして、光線対が交差するポイント（以前は、「バイホモログポイント（Bi-Homologous Point）」とも呼ばれていた）を「ステレオ光線交差ポイント」と呼ぶことを選んで、消し去ったものである。同様の理由で、「可干渉性のステレオ質感のある存在物」及び「写真投影的なステレオ質感のある共線的多角形状基板」は、単一の用語「可干渉性のステレオ質感のあるモデル」を選択することとして、消し去った。

［等式］
（共線等式の有益な導出）
３Ｄ空間における物体ポイントの２Ｄイメージ平面上への遠近法による投影は、次のように計算される。空間における三次元ポイントＸa，Ｙa，Ｚaは、カメラ又はイメージングシステム（図２８参照）の二次元イメージ平面上に投影され、次の定義が与えられる。

これらは、次の等式によって関係付けられる。

ここで、

は、回転行列を示し、次のように定義される。

備考− この回転行列は直交であるので、その逆は転置となる。つまり、

等式１．１を再整理し、次式が与えられる。

λを消去して、これらの等式をＸa及びＹaについて解くと、次式が与えられる。

及び、

上記の等式は、立体的画像の左右の２Ｄイメージ平面への、既知３Ｄポイントの投影のために使用することができる。

対応する左右のステレオイメージポイント対の投影によって形成される、一対のステレオ光線の交差によって形成される３Ｄ空間内のポイントの決定は、次のように実行される。ステレオシステムにおいて、二つのカメラ又はイメージングシステムが存在し、次のように定義される。

等式１．１〜１．４は、３Ｄ空間におけるポイント

と、それぞれの左右イメージ平面上の二つのポイント

との間の関係を定義する。

回転行列は、左及び右それぞれに対する、ｒｌ及びｒｒを示している。等式１．５及び１．６は、次の等式１．７から１．１２を与えるために展開できる。

これらは、次の置き換えを使って簡単にできる。

よって、

共通縦座標ポイント（Ｘp，Ｙp，Ｚp）のためのいずれかの表現対を同等とみなし、これらの等式をλについて解くと、次のようになる。

しかしながら、適正な対は、３Ｄ空間における物体ポイント位置に関して、適正な一般的なカメラの方向を基に選択される必要がある。そのような解法の一つは、次のように与えられる。

λの値は、等式１．７及び１．８、又は、等式１．９〜１．１２に代入して、Ｘp，Ｙp，Ｚpの値を計算することができる。これらは、３Ｄ空間における所望の位置である。

以下は、半径方向のレンズ歪を修正するために使用されるいくつかの表現である。半径方向のレンズ歪は、次式で近似され得る。

ここで、

のために修正された位置は、正確性を改善するための上に示したような計算に関連する様々なイメージポイントのために使用され得る。

（可干渉性のステレオ質感のあるモデル上の見かけ上の表面ポイントからの、３Ｄ空間における真のポイントの計算）
二つのポイントＰoＶ（左）及びＰoＶ（右）は、ＣＳＴＭの左右遠近法による視野の描画に使用される、左右の鑑賞錐台の遠近法による中心である（図２７参照）。視野のフィールドの中に誘導されるステレオカーソルは、見かけ上のポイントの３Ｄ位置を計算するために使用され、また、３Ｄカーソルは、見かけ上のポイントに空間的に位置するものとして用いられる。いったん見かけ上のポイントの３Ｄ位置が決定されると、光線は、ＰoＶ（左）及びＰoＶ（右）への見かけ上のポイントＰ（ａ）から構成される。基板上の表の平面は、Ｐ１、Ｐ２、Ｐ３によって定義される。それゆえ、次の動作は、投影されたイメージポイント、Ｂ（左）及びＢ（右）の三次元位置をもたらすために、基板の表の平面と共に二つの光線の交差ポイントを計算することである。投影されたポイントを二つの異なる多角形上に発生させることも可能であり、二つの異なる平面にあるステレオ対応のポイントの投影を考慮に入れた手順を開発することも可能である。使用された一般的な等式は、以下で示したように、共に三次元空間において平面を伴った線の交差ポイントに関連するものである。見かけ上のポイントＰ（ｔ）の真の位置は、第二の光線対の交差ポイントによって計算される。一つの光線は、投影された左イメージポイントＢ（左）を通って左イメージの遠近法による中心Ｏ（左）の３Ｄ位置から構成され、他の交差光線は、右イメージの遠近法による中心Ｏ（右）及び投影された右イメージポイントＢ（右）から構成される。両光線は、Ｐ（ｔ）で交差し、この見かけ上のポイントに対する真の位置は、三次元空間における二つの線（又は光線）の交差ポイントを決定するための、以下の等式を使用して計算される。同じ原則は、ＣＳＴＭの手続き上のステレオ質感にも使用可能である。

３Ｄ空間において平面を伴う線の交差ポイントの計算は、次のように計算される。平面は、非共線ポイントＰ１、Ｐ２、Ｐ３を通過するものとして定義される。ここで、

線は、Ｐ４及びＰ５を通過するものとして定義される。ここで、

平面の表面に対して法線となる単位ベクトルｎを計算して、

ベクトルｎは、いま、表面Ｐ（ｘ，ｙ，ｚ）上のいずれかの点のための、ｎ＝［ａ ｂｃ］として定義され、

線Ｐ４、Ｐ５条のいずれかのポイントは、次式によって定義される。

これらの値は、等式２．１に代入され、次式が得られる。

これを簡単にして、ｔについて解いて、

これは、次のように書き換えられる。

交差ポイントは、従って、等式２．２において、このｔの値を使って計算される。

３Ｄ空間における二つの線の交差ポイントの計算は、次の通り計算される。二つの線Ｐ１−Ｐ２及びＰ３−Ｐ４について、各点は次のように定義される。

ベクトルクロス積は、両方の線に対して直角のベクトルを生成する。

もし、これがＰ１に追加されると、Ｐ１、Ｐ２、（Ｖ＋Ｐ１）は全て、Ｐ３−Ｐ４に対して垂直な平面を形成する。上記の解法は、交差ポイントを見つけるために使用される。もしこのポイントが両方の線上にあれば、線は交わり、さもなければ、Ｐ１−Ｐ２に最も近いＰ３−Ｐ４条の点となる。Ｖは、両方の線に垂直だからである。

左右のカメラを使用した複雑な物体のステレオ記録。 オブジェクトポイントとイメージポイントとの間の関係を示す、ステレオ記録された物体のトップダウン断面図。 左右イメージのステレオ投射及び視野を示す。 投影された立体画像における見かけ上の深度の鑑賞者知覚。 投影された立体画像における見かけ上の深度の鑑賞者知覚、のトップダウン断面図。 様々なイメージポイント対の表面視差。 見かけ上のポイント（Ｂ）に対応するイメージポイントの表面視差を除去するように位置決めされたスクリーン。 三対のイメージポイントの表面視差を除去するために位置決めされた個々のスクリーン。 全てのイメージポイント対の表面視差を除去するよう位置決めされた理論上「完全な」基板。 三対のステレオ光線の理論上の交差点。 ゼロ視差ポイントの計算による表面視差の除去、及び、見かけ上の残りの視差表面の発生。 ステレオ光線の交差点の選択対が基板の頂点にマップされたところの基板及び立体画像間の関係の遠近法による視野。 質感優位の原則によって、鑑賞者は基板ではなく見かけ上の表面だけを知覚する。 従前のモデル及び可干渉性のステレオ質感のあるモデルにおける全体的な深度（巨視的視差）の軽減効果。 ステレオカーソルを使った、見かけ上の立体的特徴のプロッティング。 複雑な表面の断片のステレオ写真撮影記録。 左右の平坦な多角形状メッシュをステレオプロッティングするための動作の経過。 各イメージ座標値を伴った平坦なメッシュの頂点間の関係。 ステレオ対応する左右の平坦なメッシュからの三次元基板の計算及び構築。 ステレオプロットされたイメージ座標、左右の平坦なメッシュ、テクスチャマッピング座標の左右の組、の間の関係。 三次元多角形状の基板上への、単一（単観測，ｍｏｎｏｓｃｏｐｉｃ）テクスチャイメージマップの投影マッピング。 三次元多角形状の基板上への、対応する対の（双観測，ｓｔｅｒｅｏｓｃｏｐｉｃ）テクスチャイメージマップの投影マッピング。 描画されたスクリーン空間、３Ｄ ＶＲ物体空間、実物体空間、２Ｄテクスチャイメージ空間の間の関係。 テクスチャデータの正確なサンプリング。 ＣＳＴＭの様々なユーザ指定の空間的変形の連続。 イメージ抽出の基板を伴ったＣＳＴＭと任意の基板を使ったものとの間の空間的関係。 可干渉性のステレオ質感のあるモデルの見かけ上の表面から真の３Ｄ測量を抽出する方法。 ３Ｄ物体のステレオ記録のための写真測量法上の関係及びパラメータ。 イメージ抽出方法による可干渉性のステレオ質感のあるモデル生成の基本的手法。

符号の説明

１．０１ 左右カメラ
１．０２ 複雑な実世界物体
２．０１ 複雑な物体の表面
２．０２ 左カメラ／イメージの遠近法による中心
２．０３ 右カメラ／イメージの遠近法による中心
２．０４ オリジナルな立体的画像が記録された左右カメラの間の基本分割
２．０５ 左イメージ平面
２．０６ 右イメージ平面
３．０１ 左右ステレオプロジェクタ
３．０２ ステレオアイウェア
３．０３ 平坦な投影スクリーン
４．０１ 平坦な投影スクリーン
４．０２ 物体の見かけ上の表面
５．０１ スクリーンの平面
５．０２ 見かけ上の平面の横断面
６．０１ 見かけ上の平面の横断面
６．０２ 見かけ上のオブジェクトポイントＡのスクリーン視差距離
６．０３ 見かけ上のオブジェクトポイントＢのスクリーン視差距離
６．０４ 見かけ上のオブジェクトポイントＣのスクリーン視差距離
６．０５ 平坦なスクリーンの平面
６．０６ 左イメージの遠近法による中心
６．０７ 右イメージの遠近法による中心
６．０８ プロジェクタ／カメラ間の距離
６．０９ 左イメージ平面
６．１０ 右イメージ平面
７．０１ 見かけ上の表面の横断面
７．０２ 平坦なスクリーンの平面
７．０３ 見かけ上のオブジェクトポイントＢのゼロとなったスクリーン視差距離
７．０４ 見かけ上のオブジェクトポイントＢに対応する左イメージポイント
７．０５ 見かけ上のオブジェクトポイントＢに対応する右イメージポイント
７．０６ 左イメージの遠近法による中心
７．０７ 右イメージの遠近法による中心
７．０８ プロジェクタ／カメラ間の距離
８．０１ 見かけ上のポイントＡに位置付けされた小スクリーン
８．０２ 見かけ上のポイントＢに位置付けされた小スクリーン
８．０３ 見かけ上のポイントＣに位置付けされた小スクリーン
８．０４ 左イメージ
８．０５ 右イメージ
８．０６ 左イメージの遠近法による中心
８．０７ 右イメージの遠近法による中心
８．０８ プロジェクタ／カメラ間の距離
９．０１ 「完全な」基板
９．０２ 左イメージの遠近法による中心
９．０３ 右イメージの遠近法による中心
９．０４ プロジェクタ／カメラ間の距離
９．０５ 左イメージ
９．０６ 右イメージ
１０．０１ オリジナルなステレオ記録された物体の表面に関連して示された、三対のステレオ光線の交差ポイント
１０．０２ 左イメージの遠近法による中心
１０．０３ 右イメージの遠近法による中心
１０．０４ オリジナルな立体的画像が記録された左右カメラの間の基本分割
１０．０５ 左イメージ
１０．０６ 右イメージ
１１．０１ 多角形状基板（鑑賞者に不可視）
１１．０２ 鑑賞者によって知覚されたときの、物体の見かけ上の表面
１１．０３ 左イメージの遠近法による中心
１１．０４ 右イメージの遠近法による中心
１１．０５ オリジナルな立体的画像が記録された左右カメラの間の基本分割
１１．０６ 左イメージ
１１．０７ 右イメージ
１１．０８ 付帯的なゼロ視差ポイント
１１．０９ （正及び負の）残りの表面視差からもたらされた見かけ上の表面
１２．０１ 多角形状基板
１２．０２ 割り当てられた立体的画像のためのゼロ視差ポイントとして各頂点が働く、見かけ上の表面
１４．０１ 従来の手法によって明示的にモデルされた複雑な表面
１４．０２ ステレオ記録された３Ｄ形状の、意図的なアンダーサンプリングによって生成された簡易ＣＳＴＭ基板
１４．０３ ＣＳＴＭの見かけ上の表面
１４．０４ 全体的な深度（巨視的視差）が十分に軽減されたときの、従来モデルの見かけ上の表面
１４．０５ 全体的な深度（巨視的視差）が十分に軽減されたときの、ＣＳＴＭ基板（鑑賞者に不可視）
１４．０６ 全体的な深度（巨視的視差）が十分に軽減されたときの、ＣＳＴＭの見かけ上の表面
１４．０７ 全体的な深度（巨視的視差）がゼロにまで軽減されたときの、従来モデルの見かけ上の深度
１４．０８ 全体的な深度（巨視的視差）がゼロにまで軽減されたときの、ＣＳＴＭ基板（鑑賞者に不可視）
１４．０９ 全体的な深度（巨視的視差）がゼロにまで軽減されたときの、ＣＳＴＭの見かけ上の表面
１５．０１ ステレオ可能なディスプレイ
１５．０２ ステレオ記録された物体の見かけ上の表面
１５．０３ ステレオカーソルの左構成部分
１５．０４ ステレオカーソルの右構成部分
１５．０５ 立体的アイウェアの左構成部分
１５．０６ 立体的アイウェアの右構成部分
１５．０７ 左目
１５．０８ 右目
１５．０９ ステレオカーソルの見かけ上の位置
１６．０１ 真の３Ｄ複雑表面の断片
１６．０２ 左イメージ
１６．０３ 右イメージ
１６．０４ 左イメージ／イメージングシステムの遠近法による中心
１６．０５ 右イメージ／イメージングシステムの遠近法による中心
１６．０６ 左右イメージのための効果的な焦点長
１７．０１ 左イメージフレーム
１７．０２ 右イメージフレーム
１７．０３ 記録された物体の左イメージ
１７．０４ 記録された物体の右イメージ
１７．０５ プロットされた左イメージポイント
１７．０６ プロットされた対応する右イメージポイント
１７．０７ 左の「平坦な」メッシュ
１７．０８ 右の「平坦な」メッシュ
１７．０９ ステレオカーソルの左構成部分
１７．１０ ステレオカーソルの右構成部分
１８．０１ 左イメージフレーム
１８．０２ 右イメージフレーム
１８．０３ 左のイメージポイント
１８．０４ 右の対応するイメージポイント
１８．０５ 左イメージ／カメラの効果的な焦点長
１８．０６ 右イメージ／カメラの効果的な焦点長
１８．０７ 左イメージ／イメージングシステムの遠近法による中心
１８．０８ 右イメージ／イメージングシステムの遠近法による中心
１８．０９ 左の「平坦な」メッシュ
１８．１０ 右の「平坦な」メッシュ
１９．０１ 左イメージフレーム
１９．０２ 右イメージフレーム
１９．０３ 左イメージ／イメージングシステムの遠近法による中心
１９．０４ 右イメージ／イメージングシステムの遠近法による中心
１９．０５ 左の頂点及びイメージポイント
１９．０６ 右の対応する頂点及びイメージポイント
１９．０７ 数学的に投射された左光線
１９．０８ 数学的に投射された右光線
１９．０９ ステレオ光線交差ポイント及び３Ｄ空間における基板頂点の配置
１９．１０ 抽出された３Ｄ形状のメッシュ
２０．０１ 左イメージ
２０．０２ 右イメージ
２０．０３ 左テクスチャマップ
２０．０４ 右テクスチャマップ
２０．０５ 左にプロットされたイメージポイント、テクスチャイメージポイント、基板上の頂点
２０．０６ 右にプロットされた対応するイメージポイント、テクスチャイメージポイント、基板上の頂点
２０．０７ 垂直オフセット
２０．０８ 水平オフセット
２０．０９ 列についての画素の数又はイメージの幅の長さ
２１．０１ テクスチャマップされた３Ｄ基板
２１．０２ 左イメージフレーム
２１．０３ 左テクスチャマップの位置
２１．０４ 左にプロットされたイメージポイント、テクスチャイメージポイント、基板上の頂点
２２．０１ 可干渉性のステレオ質感のある多角形状基板
２２．０２ 投影的にマップされた左右のイメージ
２３．０１ 記録された物体の断片の効果的な位置
２３．０２ 記録された物体の基本表面を表現する３Ｄ多角形
２３．０３ 投影された／描画された多角形の２Ｄスクリーン空間位置
２３．０４ ディスプレイスクリーン／ビューポート／描画されるべきイメージ
２３．０５ あらかじめ決定された、鑑賞錐台の遠近法による中心
２３．０６ オリジナルな記録物体に関するイメージフレームの効果的な位置
２３．０７ イメージフレーム及びカメラ／記録システムの遠近法による中心
２３．０８ テクスチャ空間の中にマップされた、３Ｄ空間における多角形の位置
２３．０９ テクスチャマップの位置及び境界
２３．１０ ３Ｄ多角形の第一頂点
２３．１１ ３Ｄ多角形の第二頂点
２３．１２ ３Ｄ多角形の第三頂点
２３．１３ 第一頂点の、投影された「スクリーン」位置
２３．１４ 第二頂点の、投影された「スクリーン」位置
２３．１５ 第三頂点の、投影された「スクリーン」位置
２３．１６ 第二頂点に対応するテクスチャイメージポイントの計算されたマッピング
２３．１７ 第一頂点に対応するテクスチャイメージポイントの計算されたマッピング
２３．１８ 第三頂点に対応するテクスチャイメージポイントの計算されたマッピング
２４．０１ 描画のためのスキャンライン
２４．０２ ビュー投影された多角形の「左」の縁とのスキャンラインの交差
２４．０３ ビュー投影された多角形の「右」の縁とのスキャンラインの交差
２４．０４ あらかじめ決定された、鑑賞錐台の遠近法による中心
２４．０５ 三次元的に投影されたスキャンライン区分のスタートポイント
２４．０６ 三次元的に投影されたスキャンライン区分
２４．０７ 三次元的に投影されたスキャンライン区分のエンドポイント
２４．０８ テクスチャ空間におけるサンプリングのための投影されたラインのスタートポイント
２４．０９ テクスチャ空間におけるサンプリングのための投影されたラインのエンドポイント
２４．１０ イメージフレーム及びカメラ／記録システムの遠近法による中心
２４．１１ 現在のビューポート／描画されたイメージディスプレイピクセル
２４．１２ 三次元的に投影された、現在のスキャンラインピクセルの位置
２４．１３ 現在のサンプリングポイントの変換位置
２４．１４ テクスチャ空間において「投影された」スキャンライン区分の変換位置
２４．１５ 第一頂点に対応する、計算されたマッピング座標
２４．１６ テクスチャマップの隅
２４．１７ より大きなイメージ内のテクスチャフレームの位置
２４．１８ 現在のスキャンラインピクセルの３Ｄ座標空間への投影
２４．１９ 実世界３Ｄ空間において効果的に記録された物体ポイント
２４．２０ 第一頂点の３Ｄ位置
２４．２１ イメージテクスチャ空間から実世界オブジェクト空間への効果的な投影
２５．０１ ＣＳＴＭの基板
２５．０２ ＣＳＴＭの見かけ上の表面
２５．０３ ゼロ視差ポイント
２５．０４ ゼロ視差ポイント
２５．０５ ゼロ視差ポイント
２５．０６ 平らにされた基板
２５．０７ ステレオ質感のある基板の見かけ上の表面
２５．０８ 変換されたＣＳＴＭの見かけ上の表面
２５．０９ ＣＳＴＭの変換された基板
２６．０１ イメージ抽出方法によって発生したＣＳＴＭ基板
２６．０２ イメージ抽出ＣＳＴＭの見かけ上の表面
２６．０３ 第二ＣＳＴＭの任意基板
２６．０４ 強制的収束によって形成されたゼロ視差ポイント
２６．０５ 第二ＣＳＴＭの見かけ上の残りの視差表面
２６．０６ 右イメージからの選択された光線の強制マッピング又は収束
２６．０７ 左イメージの遠近法による中心
２６．０８ 右イメージの遠近法による中心
２６．０９ 左右カメラ／イメージングシステムの基本分割
２６．１０ 左イメージ及びイメージ平面
２６．１１ 右イメージ及びイメージ平面
２７．０１ 右に描画されたＣＳＴＭのビューイメージ
２７．０２ 左に描画されたＣＳＴＭのビューイメージ
２７．０３ ＣＳＴＭの３Ｄ基板
２７．０４ 記録された物体の立体的画像の左イメージ
２７．０５ 記録された物体の立体的画像の右イメージ
２８．０１ 三次元物体の表面
２８．０２ 三次元物体の表面ポイント
２８．０３ 左イメージ上の記録されたイメージポイント
２８．０４ 左イメージのフレーム及び方向
２８．０５ 右イメージのフレーム及び方向
２８．０６ 右イメージ上に記録されたイメージポイント
２８．０７ 左の遠近法による中心から左のイメージポイントを通る、オブジェクトポイントから投影された光線
２８．０８ 右の遠近法による中心から右のイメージポイントを通る、オブジェクトポイントから投影された光線
２８．０９ 左イメージ及びイメージングシステムの遠近法による中心
２８．１０ 右イメージ及びイメージングシステムの遠近法による中心
２８．１１ 左イメージングシステム／カメラの、効果的又は較正された焦点長
２８．１２ 右イメージングシステム／カメラの、効果的又は較正された焦点長
２９．０１ 立体写真の記録
２９．０２ 対応するイメージポイントの選択対のステレオプロッティング
２９．０３ 対応するイメージポイントの各選択対からのステレオ光線の数学的投影、及び、各交差ポイントに頂点を配置することによる基板の形成
２９．０４ テクスチャマップを導くためのイメージのサンプリング
２９．０５ マッピング指示及び座標の計算
２９．０６ 対応する頂点に割り当てられた対応するイメージポイントの各選択対を伴った、可干渉性のステレオ質感のあるモデルの描画、ポイントの選択対のための視差を除去した結果もたらされた、他の非選択ポイント対のための残りの表面視差
２９．０７ 表示された残りの表面視差の立体的な融合

Claims (39)

1. 三次元物体の立体的表現を形成するための装置上で実行されるステップからなる方法であって、
   （ａ）前記物体の立体画像を与えるために、第一及び第二の視野を構成するステップと、
   （ｂ）前記第一及び第二の視野から、前記物体の基本形状を表現する三次元特徴に関し対応するイメージポイントの複数の対を選択し、それぞれの視野のイメージ座標システムに関し各選択されたポイントのイメージ座標を決定するステップと、
   （ｃ）それぞれのイメージ座標に関して対応するイメージポイントの各選択対の三次元空間において、それに対して関連する強制収束点の位置を決定するステップと、
   （ｄ）三次元空間における一組の座標、前記強制収束点の位置に対応する座標の組によって定義された表面を有する三次元座標で表された基板を与えるステップと、
   （ｅ）対応するイメージポイントの各選択対を伴った前記基板に対して、対応するイメージポイントの各選択対のための表面視差がゼロとなり、対応するイメージポイントの少なくともいくつかの非選択対によって残りの表面視差が発生するように前記第一及び第二の視野を割り当てることにより、可干渉性のステレオ質感のあるモデルを提供するステップと
   を有することを特徴とする方法。
2. 請求項１記載の方法において、前記基板は、前記物体の基本形状の表面特徴の三次元表現であることを特徴とする方法。
3. 請求項１又は２記載の方法において、前記基板は、複数の分離した表面要素からなることを特徴とする方法。
4. 請求項３記載の方法において、前記分離した表面要素は多角形状であることを特徴とする方法。
5. 請求項３又は４記載の方法において、対応するイメージポイントの各選択対は、分離した表面要素の対応する頂点に割り当てられたことを特徴とする方法。
6. 請求項２ないし５のいずれか１項に記載の方法において、前記基板は立体画像から抽出されたデータを使用して生成されることを特徴とする方法。
7. 請求項６記載の方法において、前記基板は、
   （ａ）対応するイメージポイントの各対から数学的に投射された光線の対がそれぞれ通過し、遠近法によるそれぞれの中心を通って三次元空間内で交差するような三次元空間において一組のポイントを決定し、
   （ｂ）三次元空間における前記決定されたポイントの組を前記基板の表面を生成するために使用し、それによって、前記表面上の前記決定されたポイントの組が前記座標の組に対応する
   ことを特徴とする方法。
8. 請求項２ないし５のいずれか１項に記載の方法において、前記基板は前記物体から直接抽出されたデータを使用して生成されることを特徴とする方法。
9. 請求項８記載の方法において、対応するイメージポイントの複数対を選択するステップは、
   （ａ）前記それぞれの第一及び第二視野の遠近法による中心について、前記基板の位置及び方向を決定し、
   （ｂ）前記基板の表面によって定義された各座標から前記第一及び第二の視野の遠近法によるそれぞれの中心を通って数学的に投射された光線によって、対応するイメージポイントの前記複数の対を選択する
   ことを含むことを特徴とする方法。
10. 請求項１〜９のいずれか１項に記載の方法において、前記物体は、仮想物体（例えば、デジタル化された存在物）であり、立体画像は前記物体の左右視野の描画によって生成されることを特徴とする方法。
11. 請求項１〜１０のいずれか１項に記載の方法において、前記基板は物理空間に存在する触知可能な存在物であることを特徴とする方法。
12. 請求項１１記載の方法において、前記基板は、ユーザに対して立体眼鏡を使うことなく前記物体の立体的表現をもたらす素材で構成されていることを特徴とする方法。
13. 請求項１２記載の方法において、前記基板は、レンズ状のスクリーンからなることを特徴とする方法。
14. 請求項１ないし１０記載の方法において、前記基板は、仮想基板（例えば、デジタル化された存在物）であることを特徴とする方法。
15. 請求項１４記載の方法において、鑑賞者に対して、描画された左右の視野間の基本分割を調整可能とする一組のユーザ制御を与えるステップをさらに備えたことを特徴とする方法。
16. 請求項１〜１５のいずれか１項に記載の方法において、前記立体画像は前記物体について与えられた視野の複数の立体画像の一つであり、前記複数の立体画像はそれぞれ異なった基本分割を有し、複数の前記基板の各立体画像を割り当てるための、一組のイメージ座標の組をさらに与えることを特徴とする方法。
17. 請求項１６記載の方法において、前記基板に割り当てるべき利用可能な立体画像を観察者に選択可能にする一組のユーザ制御を与えるステップをさらに備えたことを特徴とする方法。
18. 請求項１〜１７のいずれか１項に記載の方法において、前記立体画像は、人の鑑賞にとって快適であることを通常考慮した視差の範囲を超える第一基本分割が与えられており、
    人の鑑賞にとって快適であることを考慮した視差の範囲を生み出す第二基本分割を有する第一及び第二仮想カメラを使って、前記物体の立体的表現をデジタル方式で描画するステップと、
    デジタル方式で描画された前記基板の立体的表現を、新規な立体画像として記録し、蓄積するステップと
    をさらに有することを特徴とする方法。
19. 請求項１〜１８のいずれか１項に記載の方法において、少なくとも一対の追加的な対応するイメージポイントの選択を可能にするシステムを使用して前記立体的画像を表示することをさらに含む方法。
20. 請求項１９記載の方法において、前記基板の表面をさらに定義するための前記基板表面上の新規な座標組を生成するために、前記追加的に選択された対応するイメージポイントの対を使用することをさらに含む方法。
21. 請求項１９記載の方法において、前記物体の表面特徴に対応する前記基板上のポイントから測量を抽出するために、少なくとも一つの追加的に選択された対応するイメージポイントの対を使用することをさらに含む方法。
22. 請求項１〜２１のいずれか１項に記載の方法において、三次元の立体的表現の少なくとも一つの操作及び注釈を可能にするシステム使用して立体的表現を表示することをさらに含む方法。
23. 請求項１〜２２のいずれか１項に記載の方法において、
    （ａ）前記基板上の立体画像の前記第一視野を割り当てるための、イメージ座標の第一の組を与えるステップと、
    （ｂ）前記基板上の立体画像の前記第二視野を割り当てるための、イメージ座標の第二の組を与えるステップと
    をさらに含むことを特徴とする方法。
24. 請求項２３記載の方法において、前記第一視野が表示されたときに前記基板に対する第一視野を割り当てるために前記第一の組の座標が使用され、前記第二視野が表示されたときに前記基板に対する第二視野を割り当てるため前記第二の組の座標が使用されるように前記立体的表現が描画されることを特徴とする方法。
25. 請求項２３記載の方法において、前記基板は、第一および第二基板部分からなり、各基板部分は前記物体の基本形状を描画し、三次元空間における一組の座標を定義する表面を有し、前記基板に対する立体画像の前記第一及び第二視野を割り当てるステップは、前記第一基板部分に対する第一視野に割り当てるための前記第一の組のイメージ座標の使用と前記第二基板部分に対する第二視野に割り当てるための前記第二の組のイメージ座標の使用とからなることを特徴とする方法。
26. 請求項１ないし２２のいずれか１項に記載の方法において、
    （ａ）前記第二視野は、前記第一視野において対応するイメージポイントと位置的に一致するために各選択されたイメージポイントが作られるように歪められ、
    （ｂ）一組のイメージ座標が、前記基板上の立体画像の前記第一視野を割り当てるために与えられ、
    （ｃ）前記第一視野及び歪められた第二視野が共に前記第一視野のイメージ座標を使って前記基板に割り当てられるように前記立体的表現が描画される
    ことを特徴とする方法。
27. 請求項２３ないし２６のいずれか１項に記載の方法において、シミュレーションループを使って実時間描画のために必要な反復をさらに行うことを特徴とする方法。
28. 請求項１、３ないし５、１０ないし２７に記載の方法において、前記与えられた基板は任意の形状であることを特徴とする方法。
29. 請求項１〜２８のいずれか１項に記載の方法において、新規な形状を与えるための空間的変換が前記基板に施されることを特徴とする方法。
30. 時間的に連続する物体の立体的表現の系列を形成する方法において、
    （ａ）請求項１〜２９のいずれか１項に記載された方法によってそれぞれ形成された複数の立体的表現を与えるステップと、
    （ｂ）前記複数の立体的表現を特定のフレームレートで鑑賞するために連続的に配列するステップと
    を有することを特徴とする方法。
31. 請求項３０記載の方法において、単一の基板が複数の表現の形成に使用されることを特徴とする方法。
32. 請求項１１記載の方法において、前記基板の上に立体画像を物理的に印刷することさらに有する方法。
33. 請求項１ないし３２のいずれか１項に記載の処理をコンピュータに実行させるためのプログラム命令から構成されるコンピュータプログラム。
34. 記録媒体に組み込まれた、請求項３３記載のコンピュータプログラム。
35. コンピュータメモリに組み込まれた、請求項３３記載のコンピュータプログラム。
36. 読み出し専用メモリ（リードオンリーメモリ）に組み込まれた、請求項３３記載のコンピュータプログラム。
37. 電気的搬送波に組み込まれた、請求項３３記載のコンピュータプログラム。
38. 物体の立体的表現を形成するための装置であって、
    （ａ）前記物体の立体画像を与えるために、第一及び第二の視野を構成する手段と、
    （ｂ）前記第一及び第二の視野から、前記物体の基本形状を表現する三次元特徴に関し対応するイメージポイントの複数の対を選択し、それぞれの視野のイメージ座標システムに関し各選択されたポイントのイメージ座標を決定する手段と、
    （ｃ）それぞれのイメージ座標に関して対応するイメージポイントの各選択対の三次元空間において、それに対して関連する強制収束点の位置を決定する手段と、（ｄ）三次元空間における一組の座標、前記強制収束点の位置に対応する座標の組によって定義された表面を有する三次元座標で表された基板を生成する手段と、
    （ｅ）対応するイメージポイントの各選択対を伴った前記生成された基板に対して、対応するイメージポイントの各選択対のための表面視差がゼロとなり、対応するイメージポイントの少なくともいくつかの非選択対によって残りの表面視差が発生するように前記第一及び第二の視野を割り当てることにより、可干渉性のステレオ質感のあるモデルを提供する手段と
    を有することを特徴とする装置。
39. 請求項３８記載の装置において、基板を生成する前記手段は、前記基板の基本三次元形状の表面特徴の三次元表現となる基板を生成するように構成されることを特徴とする装置。

Images