JP3944202B2

JP3944202B2 - 立体像再生装置及びその制御方法並びに記憶媒体

Info

Publication number: JP3944202B2
Application number: JP2004231442A
Authority: JP
Inventors: 敏行須藤; 晋二内山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-08-06
Filing date: 2004-08-06
Publication date: 2007-07-11
Anticipated expiration: 2020-12-04
Also published as: JP2005045824A

Description

本発明は、観察者単眼に対して複数の光線を入射させ、当該光線同士の交点で立体像を形成する立体像再生装置の為に、当該立体像を再生するための立体像再生データを生成する立体像再生データ生成装置及びその方法並びに記憶媒体に関するものである。

従来より、立体を再生する方法として様々な方式が試みられている。これらの方法のうち、両眼視差を用いて観察者に立体視を行わせる方法（偏光メガネ方式、レンチキュラ方式など）は広く利用されているが、眼の調節機能による立体認識と両眼視差による立体認識との間に矛盾が生じるため、観察者は疲労や違和感を覚えることが少なくない。そこで両眼視差のみに頼らず、眼のその他の立体認識機能を満足する３次元像再生の方法がいくつか試みられている。

「３次元画像コンファレンス２０００」講演論文集ｐｐ９５−９８「光線再現方式による３次元像再生」では光線の交点を用いて３Ｄ映像を表現する立体表示方法が開示されている。この方式では図１８に示すように、光線生成部、光線偏向部、光線出射点列の３つを用いて光線の交点を形成し、この交点の集合で３Ｄ画像（立体像）を表現する。光線生成部は微小径の平行光ビームを形成し、光線偏向部は平行光ビーム同士を３次元空間の任意の位置で交わらせて光線交点を形成する。光線が偏向する点はすべて光線出射点列として高密度に配置される。上記文献によれば、交点を形成した光線が２本以上同時に観察者の眼に入射する状態であれば、観察者の眼の焦点調節は立体像（３Ｄ画像）近傍に導かれ観察者の疲労や違和感が軽減される、としている。

しかし従来の技術には次のような問題点が存在する。上記のような光線交点で立体像を表現する立体表示方法においては立体像のデータが従来にない特殊な形式となってしまう。特に、従来一般的であった両眼視差を用いる立体表示方法では複数の視点からの視差画像を用意すれば立体像の表示が可能であったが、上記の方式ではこのような視差画像データとの互換性が全くない。上記方式のための専用立体像データを生成するためには、立体像表面の３次元空間でのすべての座標値をもとに光線交点を求めることが必要となるので、再生する立体像の対象は３次元コンピューターグラフィックス（３ＤＣＧ）や３次元デジタイザなどにより３次元形状がコンピューター入力された模型などに限定されてしまう。実用性や汎用性を考慮すると、光線交点で立体像を表現する立体表示方法においても、実写データや一般的な視差画像などが使用できることが望まれる。

本発明は以上の問題に鑑みてなされたものであり、複数の視差画像を用いて立体像を再生するデータを生成することを目的とする。

本発明の目的を解決するために、例えば本発明の立体像再生データ生成装置は以下の構成を備える。

複数の方向に光線を出射する出射点を複数含む光線出射点列を備え、前記複数の方向に出射された光線同士の交点の集合を観察者に立体像として認識せしめる立体像再生装置であって、前記観察者近傍に仮想的に配置されたサンプリング面上の複数の視点のそれぞれから、前記出射点列が配置された光線出射点列面への観察対象物の射影像として取得された複数の視差画像を、前記複数の視点のそれぞれに対応する画像配列Ｐとし、複数の前記出射点より出射され前記サンプリング面に到達する複数の前記光線の強度分布を、複数の前記出射点のそれぞれに対応する画像配列Ｑとするとき、複数の前記光線と前記サンプリング面および前記光線出射点列面との各々の交点同士の対応関係に基づき、所定の観察対象物についての画像配列Ｐを変換して画像配列Ｑを生成する生成手段と、生成した前記画像配列Ｑを、対応する前記出射点のそれぞれから出射する光線の方向強度分布として用いて前記出射点からの光線の出射を制御し、前記所定の観察対象物についての立体像再生をおこなう制御手段とを備える。

以上の説明により、本発明によれば、複数の視差画像を用いて立体像を再生するデータを生成することができる。

以下添付図面に従って、本発明を好適な実施形態に従って詳細に説明する。

［第１の実施形態］
本実施形態における立体像再生データ生成装置及びその方法は、観察者の単眼に入射する複数の光線の交点で立体の奥行きを表現するタイプの立体表示装置において、立体像のデータが従来にない特殊な形式となってしまう、という問題を解決することを目的とする。以下にこのような本実施形態における立体像再生データ生成装置及びその方法について説明する。

図１は光線と、この光線による再生像（３Ｄ）画像の関係を示している。光線出射点１はＰ面上に高密度に配置され、光線出射点列を形成している。複数の光線出射点１から出射する光線は互いに交点を形成する。個々の光線の間隔は非常に狭いので、交点を形成した複数の光線が観察者３の眼に同時に入射する。従って観察者３はそれらを光束とみなし、光線交点を点像として認識する。こうした点像としての光線交点が多数集合して立体像２を形成する。

任意の立体像２を形成するためには３次元空間の任意の位置で光線交点を形成しなくてはならない。そのため光線出射点１を出射する光線の出射方向や光線強度については任意の値を取れるよう制御する必要がある。

各出射点ごとの光線の出射方向や強度を制御する手順として、これらのデータをサンプリング平面における光線の強度分布つまり画像データとしてあらかじめ得ておくことが有効である。具体的には図２に示すように、立体像２の近傍に光線サンプリング面Ｑを仮想的に配置し、Ｑ面上での光強度分布を各出射点（ｉ，ｊ）に対応する画像配列Ｑ（ｉ，ｊ）として得る。画像配列Ｑ（ｉ，ｊ）の各画素の色や輝度の情報は光線情報と一対一に対応する。配列の個数は出射点の数と同数存在する。

しかし、上記画像配列Ｑ（ｉ，ｊ）は特殊なデータである。図２に示すとおり、画像配列Ｑ（ｉ，ｊ）とはＰ面上の点（ｉ，ｊ）の位置の点光源によるＱ面への立体像２の射影を意味する。このような画像は我々が普段観察する画像とは全く異なる種類の画像である（我々が普段観察する画像は観察時の目の位置が光線の集束点となっているが、上記の画像は光線集束点が像よりも遠方にある）。

そこで本実施形態における立体像再生データ生成装置及びその方法では、より作成しやすい一般的な画像の配列Ｐ（ｘ，ｙ）（図３参照）をまず求め、それを利用して上記の画像配列Ｑ（ｉ，ｊ）を求める。図３は画像配列Ｐ（ｘ，ｙ）の説明図である。画像配列Ｐ（ｘ，ｙ）は立体像２を構成する光線のうち、Ｑ面上の点（ｘ，ｙ）を通る光線をＰ面をサンプリング面としてサンプリングした画像である。画像配列Ｐ（ｘ，ｙ）の個数は点（ｘ，ｙ）の数と同数となり、光線の出射点（Ｑ面上の点（ｉ，ｊ））の数および並び方と画像配列Ｐ（ｘ，ｙ）の個々の画像の画素数および並び方とは一致している。例えば、Ｐ面上の点（０，０）、（０，１）、（０，２）、（０，３）には夫々画像配列Ｐ（０，０）、Ｐ（０，１）、Ｐ（０，２）、Ｐ（０，３）が対応している。図４に示すとおり、画像配列Ｐ（ｘ，ｙ）は点（ｘ，ｙ）を撮像系の視点位置とした場合に撮像面で得られる画像と相似である。

このとき、撮像する方法としては撮像系の光軸を図５のように仮想スクリーン面に垂直なまま視点移動する方法（撮像法（Ａ））と図６のように物体２に対して輻輳を生じながら視点移動する方法（撮像法（Ｂ））の二通りがある。撮像法（Ａ）は仮想スクリーン面とＰ面との対応がとりやすいという利点があるが、撮像法（Ｂ）でもコンピューター画像処理として一般的な手法である「キーストン歪み補正」を行うことでＰ面上の画像配列Ｐ（ｘ，ｙ）を得ることはできる。つまり、図７のように仮想スクリーン面がＰ面に対して傾いていることを考慮し、仮想スクリーン面上の画像をＰ面上の画像へと座標変換する。

次に、画像配列Ｐ（ｘ，ｙ）から画像配列Ｑ（ｉ，ｊ）を求める方法について説明する。この方法を説明するための簡単な例を図１７に示す。

同図において、Ｐ面上には３つの光線の出射点Ａ，Ｂ，Ｃが設けられ、Ｑ面上は３つの視点ａ，ｂ，ｃが設けられている。ここでまずＱ面上の視点ａ，ｂ，ｃにおいて、Ｐ面上の出射点Ａ，Ｂ，Ｃからの光線を撮像することを考える。各視点ａ，ｂ，ｃからこの光線を撮像することは画像配列Ｐ（ａ），Ｐ（ｂ），Ｐ（ｃ）を求めることになる。出射点Ａから視点ａに入射する光線を（Ａ−ａ）と表記すると、視点ａで撮像した光線群は（Ａ−ａ），（Ｂ−ａ）、（Ｃ−ａ）となる。同様に視点ｂで撮像される光線群（配列画像Ｐ（ｂ））は（Ａ−ｂ），（Ｂ−ｂ）、（Ｃ−ｂ）で、視点ｃで撮像される光線群（配列画像Ｐ（ｃ））は（Ａ−ｃ），（Ｂ−ｃ）、（Ｃ−ｃ）となる。

ここで逆に最終的に求めるべきＱ面上の画像は、例えば視点位置を点Ａに取った場合、配列画像Ｑ（Ａ）を構成する光線群は（ａ−Ａ）、（ｂ−Ａ）、（ｃ−Ａ）であって、前述の配列画像Ｐ（ａ）、Ｐ（ｂ）、Ｐ（ｃ）の一つ目の光線を用いれば生成可能である。他にも例えば視点位置を点Ｂに取った場合、配列画像Ｑ（Ｂ）を構成する光線群は（ａ−Ｂ）、（ｂ−Ｂ）、（ｃ−Ｂ）であって、これも前述の配列画像Ｐ（ａ）、Ｐ（ｂ）、Ｐ（ｃ）の二つ目の光線を用いれば生成可能である。配列画像Ｑ（Ｃ）の生成方法も同様にすれば生成可能である。これらの処理を言い換えると、画像配列Ｑは、複数の視点からの画像配列Ｐにおいて、各画像の同位置の画素を画像配列順に並べることで生成可能である。このようにＰ面における配列画像を用いることでＱ面における配列画像は生成可能である。

以上の例を一般的な場合、特に図２，３に示すように、画像配列Ｐ（ｘ、ｙ）から画像配列Ｑ（ｉ，ｊ）を求める方法について以下説明する。

図３において、画像配列Ｐ（ｘ、ｙ）の個々の画素はＰ面の光線出射点の一つ一つに対応するので、光線出射点が水平方向にｗ２個、鉛直方向にｈ２個存在すると仮定すると、画像配列Ｐ（ｘ，ｙ）は幅ｗ２×高さｈ２の画像となる。さらに、このとき視点（ｘ，ｙ）は水平方向ｗ１、鉛直方向にｈ１の分解能を持つ範囲に存在すると仮定し、ｘ，ｙはそれぞれ０〜ｗ１−１、０〜ｈ１−１の整数値をとるものとする。従って図９に示すとおり、画像配列Ｐ（ｘ、ｙ）は全体でｗ１×ｈ１個の画像配列となる。

また、前述の通り視点は水平方向にｗ１個、鉛直方向にｈ１個存在するので、画像配列Ｑ（ｉ，ｊ）は幅ｗ１×高さｈ１の画像となる（図２参照）。このとき光線出射点（ｉ，ｊ）は水平方向ｗ２、鉛直方向にｈ２の分解能を持つ範囲に存在するから、ｉ，ｊはそれぞれ０〜ｗ２−１、０〜ｈ２−１の整数値をとる。従って図８に示すとおり、画像配列Ｑ（ｉ，ｊ）は全体でｗ２×ｈ２個の画像配列となる。

上述の図１７を用いて説明した簡単な例に従うと、複数の視点からの画像配列Ｐから、同位置の画素を用いて画像配列順に並べてできる画像が画像配列Ｑなので、図１０に示すように、画像配列Ｐ（０、０）、Ｐ（ｘ、ｙ）、、、Ｐ（ｗ１−１，ｈ１−１）のすべての配列要素画像から座標（ｍ，ｎ）の画素情報を画像配列Ｑ（ｉ，ｊ）の任意の配列要素画像Ｑ（ｍ，ｎ）中の座標（０，０）、（ｘ、ｙ）、、、（ｗ１−１，ｈ１−１）の画素情報にそれぞれ当てはめる。その結果、幅ｗ１、高さｈ１の画像を生成することができ、任意の画像配列要素画像Ｑ（ｍ，ｎ）を得ることができる。このｍ，ｎを変化させ、すべてのｍ，ｎ（ただしｍ，ｎはｉ，ｊと同じ範囲の整数）について上記の画像生成作業を行えば、ｗ２×ｈ２個の画像配列Ｑ（ｉ，ｊ）を得ることができる。

このように、上述の方法によれば一般的な視差画像の配列Ｐ（ｘ，ｙ）から、単眼に入射する複数の光線の交点で立体の奥行きを表現するタイプの立体表示装置のための光線データ配列Ｑ（ｉ，ｊ）を求めることができる。

次に、上記視差画像配列Ｐ（ｘ，ｙ）のディメンジョンを正しく合わせるための画像生成法について説明する。前述したように、立体像再生時の光線の出射点のディメンジョンと画像配列Ｐ（ｘ，ｙ）の個々の画像のディメンジョンとは一致している必要がある。また、画像配列Ｑ（ｉ，ｊ）の個々の画像のディメンジョンと、視差画像配列Ｐ（ｘ，ｙ）を得るための視点位置のディメンジョンも一致している必要がある。

まず、視差画像配列Ｐ（ｘ，ｙ）のディメンジョンの補正方法から述べる。補正方法の説明は前述の撮像法（Ａ）を前提として行うが、キーストン歪み補正による画像処理を処理の過程に組み入れれば撮像法（Ｂ）によって得られた視差画像配列Ｐ（ｘ，ｙ）でも同様に適用できることはいうまでもない。

撮像法（Ａ）では視差画像撮像系の光軸は図５のように仮想スクリーン面に垂直なまま視点移動する。したがって、（仮想スクリーン面上での撮像系画角）＞（出射点の存在範囲）となり、出射点の存在範囲以外の情報も撮像することになってしまう。また視点の移動により光軸も移動するため、出射点の存在範囲が撮像系の画角からはみ出してしまう危険性もある。

そこで、図１１のように出射点存在範囲に相当する大きさのエリアボード４を設け、これがどの視点からも常に画角内に撮影されるよう撮像系画角を設定し、エリアボード４を物体２と共に撮像する。こうして得られた画像よりエリアボード４の範囲のみトリミングする、という方法をとれば出射点存在範囲の画像情報のみ得ることができる。

ただし、そのような画像生成法を適用した場合にトリミングした画像のディメンジョンは必ずしも画像配列Ｐ（ｘ，ｙ）とは一致しない。そこで、トリミングした画像のディメンジョンを画像配列Ｐ（ｘ，ｙ）のディメンジョンに合わせるための画像圧縮または画像伸長処理を行う。もちろん必要に応じて画素間の補間処理も行う。こうした一連の処理をまとめると図１２のようになる。同図は物体２を撮像し、この物体２の画像配列Ｐ（ｘ、ｙ）を求めるための一連の処理を示す図である。

もちろん、上記一連の手法は視差画像をコンピューターで仮想的に生成する場合にも実写画像として得る場合にも適用可能で、前者の場合はコンピュータで構築した仮想空間の中に仮想的なエリアボード４を設け、後者の場合は実際に背景となるエリアボード４を製作して撮像を行えば所望の視差画像を得ることができる。

また、撮像系の位置（視点）と撮像された画像内のトリミング範囲との対応関係を事前に把握しておけば、必ずしもエリアボード４を設ける必要はなく、その場合は仮想的に透明なエリアボード４が存在しているかのようなトリミングを上記のような手順で行えばよい。

一方、視差画像配列Ｐ（ｘ，ｙ）を得るための視点位置のディメンジョンは画像配列Ｑ（ｉ，ｊ）の個々の画像のディメンジョンと一致している必要があるが、画像配列Ｑ（ｉ，ｊ）は立体像を再生する光線をＱ面上でサンプリングした情報に他ならないので、光線の偏向角度や出射点の範囲などをもとにＱ面に届く光線の範囲をあらかじめ求めておき、どの出射点からも光線が届くような範囲を有効な視点位置の範囲とすることができる。視点位置のディメンジョンについては上記範囲および視点同士の間隔により決定されるが、範囲、ディメンジョン共に、扱える情報量、望ましい立体像観察範囲などを考慮して適当に調整することが望ましい。

尚、撮像時に撮像法（Ｂ）を採用した場合は、上記エリアボード４の中心を常に撮像系の光軸が通過するよう輻輳をつけた視点移動を行えば、エリアボード４の存在を全く意識せず画像処理のみで正確なディメンジョンの視差画像配列Ｐ（ｘ，ｙ）を得ることができる。この場合は視点位置もＱ面とは異なる面上を移動することになるので画像配列Ｑ（ｉ，ｊ）を得る際には適当な座標変換処理を行って正しいディメンジョンの画像配列Ｑ（ｉ，ｊ）を得る。

以上の立体像再生データ（画像配列Ｑ（ｉ，ｊ））を生成するための本実施形態における立体像再生データ生成装置の基本構成を図１９に示す。

１９０１はＣＰＵで、ＲＡＭ１９０２やＲＯＭ１９０３などのメモリ内に格納されたプログラムコードやデータなどを読み出して、各種の処理を実行する。

１９０２はＲＡＭで、外部記憶装置１９０４からロードされたプログラムコードやデータなどを一時的に格納するエリアを備えると共に、ＣＰＵ１９０１が各種の処理を実行する際のワークエリアも備える。

１９０３はＲＯＭで、本実施形態における立体像再生データ生成装置全体の制御プログラムコードを格納する。

１９０４は外部記憶装置で、ＣＤ−ＲＯＭやフロッピー(登録商標）ディスクなどの記憶媒体からインストールされたプログラムコードやデータなどを保存する。

１９０５は表示部で、ＣＲＴや液晶画面などにより構成されており、各種のシステムメッセージや画像などを表示することができる。

１９０６は操作部で、キーボードやマウスなどのポインティングデバイスにより構成されており、各種の指示を入力することができる。

１９０７はインターフェース（Ｉ／Ｆ）で、周辺機器やネットワーク等に接続することができ、例えばネットワークからプログラムコードやデータなどをダウンロードすることができる。

１９０８は上述の各部を繋ぐバスである。

以上の各部の動作により、画像配列Ｐ（ｘ、ｙ）から画像配列Ｑ（ｉ，ｊ）を求めることができる。なお本実施形態では立体像再生データ生成装置は上述の構成を有するコンピュータとしたが、これに限定されることなく、他にも例えば画像配列Ｐ（ｘ、ｙ）から画像配列Ｑ（ｉ，ｊ）を求める為の処理に特化した処理ボードや、チップなどでもよい。

次に、上記立体像再生データの具体的な応用例について説明する。図１３はこの応用例で用いる装置の構成図である。

１３０１は開口形成パネル（Ａｐｅｒｔｕｒｅ−ｆｏｒｍｉｎｇｐａｎｅｌ）で、任意の位置に微小開口（ｓｍａｌｌａｐｅｒｔｕｒｅ）１３０２を形成する。この微小開口１３０２が光線の出射点となる。微小開口１３０２は高速移動するので、この高速移動している微小開口１３０２から出射される光線を見た観察者の眼には多重化されて出射点列を形成しているかのように見える。なお開口形成パネル１３０１を通過する光線は凸型レンズ（ＣｏｎｖｅｘＬｅｎｓ）１３０６を介して偏向されている。

画像表示パネル（Ｉｍａｇｅｄｉｓｐｌａｙｐａｎｅｌ）１３０３は任意の光強度分布を形成しうる光源列で構成されている。上記光強度分布の形成と微小開口１３０２の形成は、画像制御装置（ＩｍａｇｅＣｏｎｔｒｏｌＤｅｖｉｃｅ）１３０４、開口制御装置（ＡｐｅｒｔｕｒｅＣｏｎｔｒｏｌＤｅｖｉｃｅ）１３０５の制御により同期している。微小開口１３０２から射出する光線の角度は、画像表示パネル１３０３上の光源位置によって決定する。射出する光線の角度を変化させたい場合は、画像表示パネル１３０３の光源位置を変化させればよい。複数の光線の角度を同時に制御するためには、画像表示パネル１３０３上に複数の光源によって構成される光強度分布を微小開口１３０２の位置に応じて変化させることになる。上述の説明の通り、光線交点で立体像を表現する立体表示方法に必要な３つの「光線出射点列」「光線生成部」「光線偏向部」が上記構成ですべて達成されていることがわかる。

立体像の再生原理を、立体像の再生を行う装置の平面図１４を用いて説明する。図１３と同じ部分には同じ番号を付けている。図１４は異なる２つの時刻におけるこの装置の平面図である。この方式においては３次元像を光線の交点で表現するので、３次元空間内の点ａ，ｂ，ｃを再生するためにはどの時刻においても微小開口１３０２から出る光線がすべて所望の点ａ，ｂ，ｃを通らなくてはならない。したがって、所望の光線が微小開口１３０２から射出されるよう微小開口１３０２の位置に対応して、画像表示パネル１３０３上の発光パターンもまた刻々と変化する。このような動作が高速に繰り返されると、観察者の目からは点ａ，ｂ，ｃから射出する光束のように見え３次元像として観察できる。上記装置において、画像表示パネル１３０３に表示される画像は上述の画像配列Ｑである。

図１５に物体２の３Ｄ画像を生成する為の装置の各部を示す。Ｐ面は開口形成パネル１３０１の面に一致しており、Ｑ面は観察者３の観察位置近傍とする。視差画像配列Ｐ（ｘ，ｙ）はＱ面上の複数視点より仮想カメラまたは実際のカメラで仮想物体または実物体２を撮像して得られる。視差画像配列Ｐ（ｘ，ｙ）のディメンジョンはＰ面における微小開口の存在範囲および存在個数のディメンジョンと一致させる。例えば、開口形成パネル１３０１の水平４００ｍｍ×鉛直３００ｍｍの領域に１ｍｍ角の微小開口を形成し、これを高速に走査して立体像を再生する場合、水平４００個、鉛直３００個の微小開口が存在することになる。したがってこのときは視差画像配列Ｐ（ｘ，ｙ）のディメンジョンを４００×３００と定める。視差画像のトリミング等は前述したような要領で行う。このようにして視差画像配列Ｐ（ｘ，ｙ）をまず得て、前述したようなデータ変換方法によりＱ（ｉ，ｊ）を求めれば、光線の強度分布としてこれを使用する。なお、このときＱ（ｉ，ｊ）の分布を装置中の凸レンズ１３０６で光学変換したデータを画像表示パネル１３０１上の輝度分布として使用することになる。

以上の説明により、本実施形態における立体像再生データ生成装置及びその方法によって、立体表示する対象の物体の表面の３次元空間における座標を求めることなく、視差画像からこの物体の立体表示を行うことができる。

［第２の実施形態］
本実施形態では図１５に示した物体２の立体表示のその他の応用例として、インテグラルフォト（以下ＩＰ）への応用を示す。ＩＰとは蠅の目状の微小レンズアレイを通して３次元被写体の像を乾板に記録し、これを現像して背後から照明することで、元の被写体位置に立体像を得る方法である。個々のレンズ間距離が十分小さければ、個々のレンズ＝出射点、記録された画像情報＝光線の強度分布、と考えることでＩＰ方式もまた「光線の交点で立体像を生成する」タイプの立体像再生装置と成りうる。

したがって、図１６のようにレンズアレイ位置にＰ面を、観察者３の観察位置近傍にＱ面を配置して第１の実施形態で説明した画像配列Ｐから画像配列Ｑを生成する方法を適用すれば、ＩＰ方式用の立体像再生データを視差画像より生成することができる。視差画像配列Ｐ（ｘ，ｙ）はＱ面上の複数視点より仮想カメラまたは実際のカメラで仮想物体または実物体２を撮像して得られる。視差画像配列Ｐ（ｘ，ｙ）のディメンジョンは微小レンズアレイのディメンジョンと一致させる。このようにして視差画像配列Ｐ（ｘ，ｙ）をまず得て、前述したようなデータ変換方法によりＱ（ｉ，ｊ）を求めれば、光線の強度分布＝各微小レンズに対応する乾板上の画像、としてこれを使用することができる。

光線と、この光線による再生像（３Ｄ）画像の関係を示す図である。画像配列Ｑ（ｉ，ｊ）を説明する図である。画像配列Ｐ（ｘ、ｙ）を説明する図である。画像配列Ｐ（ｘ、ｙ）を説明する図である。物体２の撮像方法を説明する図である。物体２の撮像方法を説明する図である。物体２を撮像するとき、仮想スクリーン面がＰ面に対して傾いている場合を説明する図である。画像配列Ｑ（ｉ，ｊ）を説明する図である。画像配列Ｐ（ｘ、ｙ）を説明する図である。画像配列Ｐ（ｘ，ｙ）から画像配列Ｑ（ｉ，ｊ）を求める方法を説明する図である。エリアボードを用いた場合を説明する図である。物体２を撮像し、この物体２の画像配列Ｐ（ｘ、ｙ）を求めるための一連の処理を示す図である。立体像再生データの具体的な応用例について説明する図である。立体像の再生原理を説明するための、立体像の再生を行う装置の平面図である。物体２の３Ｄ画像を生成する為の装置の各部を示す。本発明の第２の実施形態におけるＩＰへの適用例を説明する図である。画像配列Ｐ（ｘ，ｙ）から画像配列Ｑ（ｉ，ｊ）を求める方法を説明するための簡単な例を示す図である。光線の交点を用いて３Ｄ映像を表現する立体表示方法を説明する図である。本発明の第１の実施形態における立体像再生データ生成装置の基本構成を示すブロック図である。

Claims

複数の方向に光線を出射する出射点を複数含む光線出射点列を備え、前記複数の方向に出射された光線同士の交点の集合を観察者に立体像として認識せしめる立体像再生装置であって、
前記観察者近傍に仮想的に配置されたサンプリング面上の複数の視点のそれぞれから、前記出射点列が配置された光線出射点列面への観察対象物の射影像として取得された複数の視差画像を、前記複数の視点のそれぞれに対応する画像配列Ｐとし、
複数の前記出射点より出射され前記サンプリング面に到達する複数の前記光線の強度分布を、複数の前記出射点のそれぞれに対応する画像配列Ｑとするとき、
複数の前記光線と前記サンプリング面および前記光線出射点列面との各々の交点同士の対応関係に基づき、所定の観察対象物についての画像配列Ｐを変換して画像配列Ｑを生成する生成手段と、
生成した前記画像配列Ｑを、対応する前記出射点のそれぞれから出射する光線の方向強度分布として用いて前記出射点からの光線の出射を制御し、前記所定の観察対象物についての立体像再生をおこなう制御手段と
を備えることを特徴とする立体像再生装置。
複数の方向に光線を出射する出射点を複数含む光線出射点列を備え、前記複数の方向に出射された光線同士の交点の集合を観察者に立体像として認識せしめる立体像再生装置の制御方法であって、
前記観察者近傍に仮想的に配置されたサンプリング面上の複数の視点のそれぞれから、前記光線出射点列が配置された光線出射点列面への観察対象物の射影像として取得された複数の視差画像を、前記複数の視点のそれぞれに対応する画像配列Ｐとし、
複数の前記出射点より出射され前記サンプリング面に到達する複数の前記光線の強度分布を、複数の前記出射点のそれぞれに対応する画像配列Ｑとするとき、
複数の前記光線と前記サンプリング面および前記光線出射点列面との各々の交点同士の対応関係に基づき、所定の観察対象物についての画像配列Ｐを変換して画像配列Ｑを生成する生成工程と、
生成された前記画像配列Ｑを、対応する前記出射点のそれぞれから出射する光線の方向強度分布として用いて前記出射点からの光線の出射を制御し、前記所定の観察対象物についての立体像再生をおこなう制御工程と
を備えることを特徴とする立体像再生装置の制御方法。
コンピュータに、請求項２に記載の立体像再生装置の制御方法を実行させるためのプログラムを格納する、コンピュータ読み取り可能な記憶媒体。