JP4065488B2 - ３次元画像生成装置、３次元画像生成方法及び記憶媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、撮影対象シーンまたは被写体の３次元画像を生成する３次元画像生成装置、３次元画像生成方法及び記憶媒体に関し、特に、複数の２次元画像をもとに３次元画像を生成する場合に好適な３次元画像生成装置、３次元画像生成方法及び記憶媒体に関する。
【０００３】
【従来の技術】
従来、カメラにより被写体を近接した多くの視点から撮影した画像は、被写体の３次元的な構造を表現する上で非常に有用である。例えば、被写体の回りでカメラを移動させながら撮影した画像を順次再生することにより、被写体が３次元的に回転した画像を観察することができる。また、撮影対象シーンの中をカメラを移動させながら多くの画像を撮影し、アプリケーション上の仮想カメラの制御に追従して適切な画像を再生することで、仮想シーンのウォークスルーを行うことができる。しかしながら、上記のようなアプリケーションを使用した場合、非常に多くの画像を撮影しシステムに記憶しておくことが要求される。
【０００４】
また、従来、立体画像を表示するシステムとしては、液晶シャッタ眼鏡を用いた時分割シャッタ眼鏡方式による立体画像表示システムが知られている。該立体画像表示システムは、左右２つの視点から撮影した被写体の画像データを一旦コンピュータの記憶媒体に記憶し、立体画像の表示プログラムにより、コンピュータのディスプレイに左右画像を時間をずらして交互に表示するように動作する。このとき、それぞれの画像の表示に同期して液晶シャッタ眼鏡のシャッタが開閉し、ディスプレイに左画像が表示されている時には左眼のみが見え、ディスプレイに右画像が表示されている時には右眼のみが見えるように動作する。従って、観察者は液晶シャッタ眼鏡を介して、左画像を左眼のみで、右画像を右眼のみで見ることで立体画像を観察することができる。
【０００５】
また、従来、立体画像を撮影する方法としては、２台のカメラを左右に並べて撮影する方法が知られている。この場合、同一の特性を持つカメラを２台用意する必要がある。また、１台のカメラを移動させて同一被写体を２回撮影する方法もある。この場合には、動被写体（動きのある被写体）を撮影できないという問題がある。また、いずれの場合においても、撮影位置を水平方向にのみずらした状態で撮影する必要があり、撮影の設定が煩雑である。
【０００６】
上記のような点に鑑みて、カメラにおける撮影画面の左半分、右半分を、それぞれ左眼用の画像、右眼用の画像に対応させた構造の立体写真アダプタがある。従来の立体写真アダプタの構成例を図２４に示す。図中、５０１は被写体、５０２はカメラ、５０３はアダプタである。また、５２１はカメラの撮影レンズ、５２２は撮影面、５３１はプリズム、５３２、５３３はミラーである。また、Ｏは撮影レンズ５２１のレンズ中心（詳しくは入射瞳の中心、視点ともいう）、lは撮影レンズ５２１の光軸、m、nはそれぞれ撮影面５２２で左眼用画面、右眼用画面の中心を通る光束の主光線である。
【０００７】
図２４に示すように、アダプタ５０３の構成は撮影レンズの光軸1を中心に左右対称である。図２４で、左眼用の被写体像は、ミラー５３２、プリズム５３１で反射し、撮影レンズ５２１を通って撮影面５２２の右半分の領域に達する。同様に、右眼用の被写体像は、ミラー５３３、プリズム５３１で反射し、撮影レンズ５２１を通って撮影面５２２の左半分の領域に達する。このような仕組みにより、撮影面５２２に左眼用、右眼用の画像を撮影することができる。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記従来の、被写体を近接した多くの視点から撮影する技術においては、次のような問題があった。即ち、上述した問題を解消するために、従来から、新しい視点位置での画像を生成するための数多くの方法が提案されてきた。新しい視点位置での画像生成の実現に対する典型的なアプローチとしては、被写体の３次元モデルをポリゴン（３Ｄグラフィックスの基本単位とされる三角形）で形成し、ポリゴンの各パッチにテクスチャ（要素をある規則に従って配列し全体として一様に見えるもの）として対応する画像の一部を貼り付けたモデルを生成し、テクスチャマッピングにより任意視点位置の画像を生成することである。しかしながら、これを実現するには、被写体の３次元モデルが必要である。そして、この３次元モデルを得ることは、特に複雑な３次元構造を持つ被写体においては困難である。
【０００９】
一方、被写体の３次元モデルを使わずに新しい視点の画像を生成する方法も提案されている。Chenらは、コンピュータで生成した２つの視点の画像から、モーフィング（画像の上に格子状に並んだ制御点を用意し、その位置を動かすと、それに応じて画像が歪む効果を得る手法）により中間画像を生成する方法を示した。（”View Interpolation for Image Synthesis”，SIGGRAPH 93 COMPUTER GRAPHICS Proceedings，pp．279-288）。しかし、この従来例では、画像のモーフィングには、撮影対象シーンの３次元構造を表すZバッファ（表示しようとする面を視点から計ったとき、その奥行き方向の大きさを示すＺ値を各画素毎に求める方法）が使われている。
【００１０】
また、Wernerらは、同様な方法をステレオカメラで撮影した画像に適用し、中間画像を生成した。（”Rendering Real-World Objects Using View Interpolation ，Proceedings of International Conference on Computer Vision 1995，pp．957-962）。この従来例では、中間画像を生成する際に、ステレオ画像間での画素ごとの対応関係を利用している。
【００１１】
また、Laveauらは、異なる視点で撮影した２つの画像から、コンピュータグラフィックスのレイトレーシング（３次元の物体をグラフィックスとして表現する手法）に基づくアルゴリズムにより中間画像を生成する方法を示した。（”3-D Scene Representation as a Collection of images”，Proceedings of International Conference on Pattern Recognition 1994，pp．689-691）。この従来例では、画像間での画素ごとの対応関係と２つの画像を撮影するカメラの位置関係から中間画像を生成している。
【００１２】
また、Avidanらは、近接した視点で撮影した２つの画像からテンソルを用いた座標変換により視点の外挿を行い、任意の視点の画像を生成する方法を示した。（”Novel View Synthesis in Tenser Space”，Proceedings of Computer Vision and Pattern Recognition 1997，pp．1034-1040）。この従来例では、画像間での画素ごとの対応関係から新しい視点位置での画像を生成している。尚、該文献は、左右画像の中間的な位置における仮想の視点位置からの画像を生成できることを記載した後で、左右の画像間でなく、本来の視点位置よりも被写体に近付いた仮想視点（内挿）からの画像だけでなく、被写体に対し本来の視点位置よりも離れた仮想視点（外挿）からも画像も生成可能であることを記載したものである。
【００１３】
上記いずれの方法においても、異なる視点の複数の画像から新しい視点の画像を生成する際に画素ごとの対応が必要である。相関演算等によって画像間の対応を自動的に求める方法が知られているが、画像中の全画素において対応関係を得るには膨大な計算が必要とされる。また、被写体形状や画像パターン、撮影方法によっては正確な対応関係が得られないといった問題も生じる。
【００１４】
また、Seitzらは、画像間での対応関係を指定してモーフィングにより中間画像を生成した。（”View Morphing”,SIGGRAPH 96 COMPUTER GRAPHICS Proceedings，pp．21-30）。この従来例では、画像間で比較的少ない対応関係から未対応の対応関係を補間して、全画素での対応関係を求めている。被写体の形状によっては、補間した対応関係と実際の対応関係は大きくずれるので、特に撮影した視点の中点位置における視点では画像が２重に重なったように見えるといった問題がある。
【００１５】
また、上記従来の立体画像表示システムにおいては、次のような問題があった。即ち、人間は左右画像により生じる視差（ステレオ視差）だけでなく、観察位置の移動により生じる視差（動体視差）によっても、被写体に対して立体感を得ていると考えられている。ところが、上記立体画像表示システムは、ステレオ視差のみによる立体表示であるため、人間が被写体に対して得ている立体感に比べると、容易に立体感が得られない、リアルな立体感が得られないといった問題がある。また、動体視差による立体感を得るには、より多くの観察位置での立体画像の撮影が必要であるという問題があった。
【００１６】
また、上記従来の立体写真アダプタにおいては、次のような問題があった。即ち、立体写真アダプタで撮影した立体画像には台形歪みがある。図２４に示すように、ミラー５３２に入射する光線mと撮影レンズ５２１の光軸1の方向とのなす角をα、撮影面５２２に入射する光線mと撮影レンズ５２１の光軸1の方向とのなす角をβとすると、撮影面では（α＋β）の分だけ、カメラを平面被写体に対して傾けて撮影した時に発生する台形歪みが、撮影面５２２の左眼用画像において発生する。同様に、（α＋β）の分だけ、左眼用画像とは反対方向にカメラを平面被写体に対して傾けて撮影した時に発生する台形歪みが、撮影面５２２の右眼用画像において発生する。
【００１７】
このようにして撮影された立体画像を左右の眼でそれぞれ観察すると、被写体の正確な立体感が得られず、融像（左右の画像を融合して一つの画像とすること）しずらい、疲れるといった問題点がある。この現象は、特にカメラの撮影レンズの焦点距離が短い、広い視野角の撮影時に顕著である。
【００１８】
例えば、左右画像の視点のミラー５３２、５３３における虚像間の距離を６５ｍｍ、被写体までの距離を１０００ｍｍとすると、αは約２度、撮影レンズ５２１の焦点距離を２８ｍｍ（３５ｍｍ銀塩フィルム換算）とすると、βは約１６度である。従って、このような立体写真アダプタをカメラに装着して撮影する場合には、被写体距離に関わらず、少なくとも角度βの分だけ台形歪みを補正することは必須である。
【００１９】
また、被写体５０１が、カメラの撮影画面内の左右画像の同じ位置に撮影される場合はよいが、被写体５０１の位置がカメラに対して近すぎたり、遠すぎたりする場合には、撮影画面の左右画像内で被写体の撮影される位置がずれる。このようにして撮影された立体画像を左右の眼でそれぞれ観察すると、融像しずらい、疲れるといった問題点がある。
【００２０】
また、被写体が大きい場合には、左右それぞれの画像で被写体の異なった一部が画面からはみ出してしまい、立体感の得られる左右画像間で重なり合って、撮影される領域が少なくなるという問題がある。この現象は、特にカメラの撮影レンズの焦点距離が長い、狭い視野角の撮影時に顕著である。
また、撮影レンズ５２１の絞り径が大きい場合には、撮影される画面内の左右画像の境界付近で左右２つの画像が重なり合い、見づらくなるといった問題がある。
【００２１】
本発明は、上述した点に鑑みなされたものであり、画像間で比較的少ない対応点（画像間で同一な被写体部分を点対点の対応として表した点）しか得られない場合においても、より高画質の画像を生成することを可能とし、また、新しい視点の画像を生成する際に、全画素において対応を必要としないので処理時間が大幅に短縮すること等を可能とした３次元画像生成装置、３次元画像生成方法及び記憶媒体を提供することを第一の目的とする。
【００２５】
【課題を解決するための手段】
上記目的を達成するため、請求項１記載の発明は、被写体を複数の視点から撮影した複数の画像に基づき任意の視点から見た画像を生成する３次元画像生成装置であって、第１の視点位置の画像を分割した各ブロックから特徴点を抽出し、前記特徴点を中心とした所定サイズの部分領域をテンプレートとして、第２の視点位置の画像との相関値を求めることにより、前記被写体を複数の視点から撮影した複数の画像間の対応点を抽出する抽出手段と、前記対応点の抽出結果に基づき前記複数の画像をメッシュ領域に分割し、対応する前記メッシュ領域同士の対応関係を表す双線形関数をベースにしたモデルを求め、前記モデルに基づき前記メッシュ領域毎に中間画像を生成するためにパラメータを取得し、前記パラメータに従い前記第２の視点位置の画像をフォワードマッピングにより領域を変形して連続した視点位置での画像を順次生成することで動画像を生成する画像処理手段を有することを特徴とする。
【００２６】
上記目的を達成するため、請求項２記載の発明は、前記抽出手段は、前記第１の視点位置の画像と前記第２の視点位置の画像のそれぞれについてのピラミッド画像を用いて前記相関値を求めることを特徴とする。
【００２７】
上記目的を達成するため、請求項３記載の発明は、被写体を複数の視点から撮影した複数の画像に基づき任意の視点から見た画像を生成する３次元画像生成方法であって、第１の視点位置の画像を分割した各ブロックから特徴点を抽出し、前記特徴点を中心とした所定サイズの部分領域をテンプレートとして、第２の視点位置の画像との相関値を求めることにより、前記被写体を複数の視点から撮影した複数の画像間の対応点を抽出し、前記対応点の抽出結果に基づき前記複数の画像をメッシュ領域に分割し、対応する前記メッシュ領域同士の対応関係を表す双線形関数をベースにしたモデルを求め、前記モデルに基づき前記メッシュ領域毎に中間画像を生成するためにパラメータを取得し、前記パラメータに従い前記第２の視点位置の画像をフォワードマッピングにより領域を変形して連続した視点位置での画像を順次生成することで動画像を生成することを特徴とする。
【００２８】
上記目的を達成するため、請求項４記載の発明は、被写体を複数の視点から撮影した複数の画像に基づき任意の視点から見た画像を生成する３次元画像生成装置に適用される３次元画像生成方法を実行するプログラムを記憶したコンピュータにより読み出し可能な記憶媒体であって、前記３次元画像生成方法は、第１の視点位置の画像を分割した各ブロックから特徴点を抽出し、前記特徴点を中心とした所定サイズの部分領域をテンプレートとして、第２の視点位置の画像との相関値を求めることにより、前記被写体を複数の視点から撮影した複数の画像間の対応点を抽出するステップと、前記対応点の抽出結果に基づき前記複数の画像をメッシュ領域に分割するステップと、対応する前記メッシュ領域同士の対応関係を表す双線形関数をベースにしたモデルを求めるステップと、前記モデルに基づき前記メッシュ領域毎に中間画像を生成するためにパラメータを取得するステップと、前記パラメータに従い前記第２の視点位置の画像をフォワードマッピングにより領域を変形して連続した視点位置での画像を順次生成することで動画像を生成するステップとを有することを特徴とする。
【００７７】
【発明の実施の形態】
以下、本発明の第１〜第９の実施の形態を図面に基づいて詳細に説明する。
【００７８】
［第１の実施の形態］
本発明の第１の実施の形態は、２つの視点から被写体を撮影すると共に、撮影した２つの画像の中間画像を生成し、表示するシステムである。撮影は、撮像面の水平方向に沿って略平行に取り付けられた２つのデジタルカメラによって行われる。第１の実施の形態では、２つのデジタルカメラを使用して撮影を行う場合を例に挙げるが、２つの撮像系を有する複眼カメラ（例えば公開特許公報特開平10-66106号に開示されているもの）、或いは、ステレオアダプタ（例えば公開特許公報特開平8-36229号に開示されているもの）を装着したカメラを使用して撮影を行ってもよい。
【００７９】
図１は本発明の第１の実施の形態に係る３次元画像生成装置の構成例を示す概略ブロック図である。３次元画像生成装置は、取込部３、画像処理部４、表示部５、第一記憶部６、第二記憶部７、入力部８、制御部９を備えている。３次元画像生成装置は具体的にはコンピュータシステムとして構成される。尚、本構成は必須構成要素を機能別に示したものであり、図示の構成に限定されるものではない。
【００８０】
上記構成を詳述すると、取込部３は、デジタルカメラ１、２で各々撮影された２つの画像データを３次元画像生成装置内へ取り込むインタフェースであり、デジタル１、２で撮影された画像が記録された記録メディア（図示略）が装着可能である。画像処理部４は、後述のフローチャートにおける、画像間で同一な被写体部分を点対点の対応として表す対応点の抽出、対応点の位置座標に基づく２次元のメッシュの生成、２次元のメッシュの修正、２次元のメッシュのモデル化、画像生成パラメータの取得、中間画像の生成等の処理を行う。表示部５は、制御部９の制御に基づき、画像処理部４の処理に対応した各種表示を行うディスプレイである。
【００８１】
第一記憶部６は、本発明の３次元画像生成方法を実行するプログラムや固定データを記憶しているメモリである。第二記憶部７は、後述のフローチャートに示す処理において、画像処理部４により生成される各種データの記憶領域として使用されるメモリである。入力部８は、各種データ入力や各種指示を行うためのものであり、キーボードやマウスから構成されている。制御部９は、上記各部を制御する中央演算処理装置であり、本発明の３次元画像生成方法を実行するプログラムに基づき、下記のフローチャート（図２・図３・図６（第１の実施の形態）、図７・図８（第２の実施の形態））に示す処理を実行する。
【００８２】
図２は本発明の第１の実施の形態に係る３次元画像生成装置で実行される３次元画像生成方法のアルゴリズムを示すフローチャートである。本フローチャートは３次元画像生成装置の制御部９の制御に基づき実行されるものであり、対応点の抽出、２次元のメッシュの生成、２次元のメッシュの修正、２次元のメッシュのモデル化、画像生成パラメータの取得、中間画像の生成等の処理は画像処理部４により行われ、表示制御処理は制御部９により行われる。
【００８３】
図２のステップＳ１では、デジタルカメラ１、２により各々撮影された２つの画像データを、３次元画像生成装置の取込部（インタフェース）３を介して装置内に取り込む。尚、本発明の第１の実施の形態では、画像データを、それぞれの画素値が輝度レベルを表す２次元配列のデジタルデータとして処理を行う。
【００８４】
ステップＳ２では、画像間で同一な被写体部分を点対点の対応として表す対応点を抽出する。図３に、図２のステップＳ２で行う対応点抽出処理のアルゴリズムを示す。
【００８５】
図３のステップＳ２０１では、上記２つの画像データのうち、撮影時における視点位置が左側に相当する左画像（同様に、撮影時における視点位置が右側に相当する画像を右画像とする）を、所定の分割数で縦横方向にブロック分割する。
【００８６】
ステップＳ２０２では、左画像における分割された各ブロックから特徴点を抽出する。即ち、各ブロックに相当する左画像の元のサイズの大きさの画像データの領域のうち、所定の部分領域中の画素に対して、3×3のサイズのラプラス演算子により、その演算結果が最も大きい画素を特徴点として抽出する。この結果、左画像の各ブロックから、それぞれ最も輝度勾配が急峻な点が特徴点として抽出され、その位置座標が第二記憶部７に記憶される。上記輝度勾配が一律なブロック等においては、輝度勾配の大きい点のうちブロック中心に最も近い点が特徴点として抽出される。ここでは、ブロック内で最も輝度勾配が急峻な点を特徴点として抽出しているが、特徴点として、画像中で特異な点、即ち、他の点に対して区別が容易な点であればよい。
【００８７】
ステップＳ２０３では、２つの画像データをそれぞれ1／2と1／4に縮小し、元のサイズの画像データと合わせて３つの階層を持つ２つのピラミッド画像を作成する。（ピラミッド画像については、長尾真著 コロナ社出版”画像認識論”，pp．107-108参照）。
【００８８】
ステップＳ２０４では、左画像の各ブロックで抽出された特徴点に対応する右画像中の点を抽出するために、左画像の抽出された特徴点を中心とした所定のサイズの部分領域をテンプレートとして切り出し、右画像中の対応点を探索するための所定の領域における画素を中心として、テンプレートと同一のサイズの画像領域との相関値を求める。この結果、右画像中に設定された所定の領域と同一のサイズを有する２次元の相関値の分布が求まる。この相関演算をピラミッド画像の３つの階層全てに対して行う。
【００８９】
第１の実施の形態では、３つの階層においてテンプレートのサイズは同一のものを使用する。従って、元のサイズの画像では、画像の大きさに対して比較的小さなテンプレートで相関分布を計算し、縮小したサイズの画像では、縮小の比率に応じて画像の大きさに対し比較的大きなテンプレートで相関分布を計算することになる。
【００９０】
また、右画像中の対応点を探索するための領域は、３つの階層において同一の被写体領域に相当する領域を設定する。従って、元のサイズの画像での探索領域の大きさは、1／2のサイズの画像での探索領域の2倍、1／4サイズの画像での探索領域の4倍となる。
【００９１】
また、それぞれの探索領域は、左画像の特徴点の画素位置と同一の右画像中の画素を中心に、水平方向が垂直方向に対して比較的大きい矩形の領域とする。これは、左右画像がもともと水平方向に視点がずれているものであるため、視差が原理的には水平方向にしかずれないことを考慮したものである。以上の相関分布の計算を各ブロックに対して行う。
【００９２】
ステップＳ２０５では、上記ステップＳ２０４で求めた３つの階層における相関分布を統合して１つの相関分布にする。ここでは、３つの階層の相関値に対して所定の重み付けを行って和を求める。
【００９３】
ステップＳ２０６では、統合された２次元の相関分布から相関値のピークの位置を求める。まず、相関分布のうち最大の相関値を求める。この最大値が所定の値より低い場合は、未対応として対応点の位置を出力しない。また、最大の相関値をとる点が複数ある場合も、未対応として対応点の位置を出力しない。それ以外の場合は、最大値近傍での相関分布の鋭さを計算し、所定の値より大きく分布が鋭いと判断した場合には、その最大値をとる位置を対応点位置として出力する。それ以外は、最大値近傍で相関値が所定の間値以上のものに対して相関値を重みとした相関位置の加重平均により、相関ピーク位置を推定し、対応点の位置として出力する。以上の計算を各ブロックに対して行う。
【００９４】
ステップＳ２０７では、各ブロックにおける対応点の位置を、他のブロックにおける上記ステップＳ２０６で求まった対応点の位置から推定する。左画像中での特徴点位置と、未対応以外の他のブロックでの左画像中での特徴点位置との距離の２乗を重みとした、そのブロックの左右対応点のずれ量の加重平均により、各ブロックにおける左右対応点のずれ量を補間し、左画像中での特徴点位置に対してそのずれ量の分だけずらして、右画像中の対応点の位置を推定する。この対応点位置の推定を各ブロックに対して行い、第二記憶部７に記憶しておく。
【００９５】
ステップＳ２０８では、探索領域での画素位置と上記ステップＳ２０７で推定した対応点位置からの距離に比例した値を、上記ステップＳ２０５で求めた相関分布に足し込んで統合する。この結果、統合された分布は、対応点の左右ずれ量が回りの結果に対して滑らかに変動する場合には、相関分布から変化しないが、変動が急峻な場合には、対応点の左右ずれ量が滑らかに変化する拘束を多少付加されたごとく分布が変化する。
【００９６】
ステップＳ２０９では、上記ステップＳ２０８で統合された分布に対して上記ステップＳ２０６と同様の処理を行い、分布のピーク位置を求める。但し、この結果、未対応と判断したブロックの対応点は、上記ステップＳ２０７と同様の処理により対応点の位置を推定する。
【００９７】
一般に、画像間の相関から対応点の位置を求める場合、テンプレートとする画像領域の大きさが大きいと、視差の分布が滑らかになるが、被写体の視差分布が急に変わるような所では対応点の位置がずれる、また、テンプレートとする画像領域の大きさが小さいと、被写体の視差分布が急に変わるような所でも対応点の位置ずれはないが、信頼性が悪くなるといった問題点がある。
【００９８】
第１の実施の形態では、上記ステップＳ２０５においてピラミッド画像の３つの階層における相関分布を統合して、上記ステップＳ２０６でそのピーク位置を求めるようにしたので、異なった大きさの画像領域に相当するテンプレートを総合的に考慮して対応点を抽出することができ、対応点の信頼性、位置精度ともによい結果が期待できる。
【００９９】
また、上記ステップＳ２０７で他のブロックの対応点の位置から推定した位置情報を、上記ステップＳ２０８で相関分布に滑らかさの拘束として統合し、上記ステップＳ２０９でピーク位置を求めるようにしたので、滑らかな視差分布が得られる。また、曖昧なピークが複数存在する場合に、他のブロックの対応点を参照して対応点を推定することができる。
【０１００】
以上、上記ステップＳ２０１からステップＳ２０９の処理の結果、左画像の各ブロック中の特徴点に対応する右画像の対応点位置が抽出される。第１の実施の形態では、相関値演算に基づき対応点の抽出を行っているが、例えば左右画像のテンプレート内における画素値の差分の絶対値の和に基づき、対応点の抽出を行ってもよい。
【０１０１】
上記図２に戻って、ステップＳ３では、対応点の位置座標をもとに２次元のメッシュ（以下メッシュと略称）を生成し、元の左右画像の上に重ね合わせて、表示部５に表示する。メッシュの交点として、上記ステップＳ２の処理に基づく出力である対応点の位置座標を用いる。
【０１０２】
ここまでの処理の内容を図４と図５を用いて説明する。図４における左側の図は左画像を表したものであり、図中の破線によって区切られた領域が上記ステップＳ２０１で分割されたブロックを示す。この図では左画像を4×4のブロックに分けた例を示す。また、図中の点は、上記ステップＳ２０２で各ブロック毎に抽出された特徴点を示す。図４における右側の図は右画像を表したものであり、図中の点は、上記ステップＳ２０３から上記ステップＳ２０９の処理で抽出された右画像中の対応点を示す。例えば図中の点bは、処理によって点aと対応付けられた点である。
【０１０３】
図５における左側の図は左画像を表したものであり、図中の破線及び点は、図４における左側の図の破線及び点と同じ破線及び点である。上記ステップＳ３では、図５に示すように、左画像中で抽出された特徴点を交点としてメッシュが生成され、このメッシュが左画像の上に重ね合わされて表示部５に表示される。ここで、メッシュの端点は、画像境界部の各ブロックのコーナーの点の中点である。
【０１０４】
同様に、図５における右側の図は右画像を表したものであり、図中の点は図４における左側の図の点と同じ点である。上記ステップＳ３では、図５に示すように、上記ステップＳ２で抽出された対応点を交点として、メッシュが生成され、このメッシュが右画像の上に重ね合わされて表示部５に表示される。同様に、メッシュの端点は、画像境界部の各ブロックのコーナーの点の中点である。例えば、図５に示す領域Aと領域Bとが、対応するメッシュを表す。ここまでの処理は、システム（３次元画像生成装置）が全て自動で行う。
【０１０５】
ステップＳ４では、ユーザが表示部５に表示された図５に示す結果を画像とともに見ることで、特に対応するメッシュの交点が正しいかどうかを確認する。ユーザがこれでよい（メッシュの交点が正しく対応している）と判断した場合は、表示部５または入力部８を介してシステム（３次元画像生成装置）に次の処理（ステップＳ５）を行うよう指示する。また、修正が必要な場合は、表示部５の画面上のカーソル等で修正すべきメッシュの交点を指示し、正しいと思われる位置に交点を移動する。この修正の指示が行われた場合は、上記ステップＳ３に処理を戻す。修正が行われた点の対応点の位置座標は書き換えられ、上記ステップＳ３では、位置座標に従って再びメッシュが生成され、元の左右画像の上に重ね合わせて表示部５に表示される。
【０１０６】
ステップＳ５では、それぞれのメッシュについて、メッシュの交点である対応点座標と画像データをもとに、メッシュ同士の対応関係を表すモデルを求める。図６に、ステップＳ５で行うモデル化のアルゴリズムを示す。
【０１０７】
図６のステップＳ５０１では、メッシュの交点である対応点座標を用いて、モデルパラメータを複数セット、計算する。ここでは、メッシュ同士の対応関係を表すモデルとして、双線形関数をベースとした以下の式（1）に示す形式のモデルを考える。
【０１０８】

但し、（xL，yL）、（xR，yR）はそれぞれ左右画像の画素座標、（xa, ya）は左画像のメッシュ交点の４組の対応点座標の平均座標を表す。メッシュ交点の４組の対応点座標を（xL，yL）、（xR，yR）に当てはめ、複数のkの値に対して、それぞれ対応する複数セットのパラメータ｛kO，kl，k2，k3，k4，k5，k6，k7｝を方程式を解いて求める。
【０１０９】
ステップＳ５０２では、左画像のメッシュ内の各画素に対応する右画像の画素をモデルパラメータを用いて求め、その画素値を比較することでモデルの整合性を評価する。左画像のメッシュ内の各画素位置（xL，yL）をメッシュ同士の対応関係を表す式（1）に代入して、それに対応する右画像の画素位置（xR，yR）を計算し、その画素値をそれぞれの画像データから求める。そして、その差分絶対値の和を評価値として求める。これを全てのモデルパラメータについて行う。この評価値は、実質的に左画像のメッシュ画像を、モデルに基づき右画像の対応するメッシュ画像に変形し、その変形した画像と右画像との差に相当する値である。
【０１１０】
ステップＳ５０３では、上記ステップＳ５０２で計算した各々の評価値を比較し、その値が最も小さいモデルをそのメッシュのモデルとして選択し、k及び｛ko，kl，k2，k3，k4，k5，k6，k7｝をモデルパラメータとして第二記憶部７に記憶しておく。
【０１１１】
尚、第１の実施の形態では、メッシュ同士の対応関係を表すモデルの候補として、上記双線形関数をベースとしたモデルを採用しているが、別形式のモデルであってもよい。また、それぞれ異なった関数をベースにした複数のモデルでパラメータを計算して、評価を行い、最適なモデルを選択するようにしてもよい。また、左画像のメッシュ画像と右画像のメッシュ画像を、モデルに基づき中間画像の対応するメッシュに変形し、その変形した左右画像の差で評価して最適なモデルを選択するようにしてもよい。
【０１１２】
第１の実施の形態では、パラメータkを複数設定し、他のパラメータを計算することで各メッシュに対して複数のモデルを求め、それをもとに左画像を変形して右画像と一致するようなモデルを選択しているので、結果的にメッシュ内の左右画像における画素の対応分布を表す最適なモデルが得られたことになる。従って各メッシュ内の画素ごとの対応を例えば輝度勾配から推定し、その分布をもとにメッシュ内の対応関係を表すモデルを求めてもよい。
【０１１３】
また、第１の実施の形態では、複数設定するパラメータｋを、上記（式１）に示したようにｘＲを表す式のみに含めるようにしているが、これは、左右入力画像の視点が撮像面に対して水平方向にずれているため、被写体の形状に依存する視差が水平方向に多く反映されるためである。尚、ｘＲ、ｙＲの両方向成分を表す式に対して、複数のパラメータを設定してもよい。
【０１１４】
以上の処理を各メッシュについて行うことにより、それぞれのメッシュで左右メッシュ同士の対応関係を表すモデルが求まる。
【０１１５】
上記図２に戻って、ステップＳ６では、メッシュごとに中間画像を生成するためのパラメータを取得する。ここでは、左右画像の丁度中点にあたる視点位置での画像の生成を前提とする。この場合、中間画像を生成するためのパラメータは、上記ステップＳ５で求めたモデルパラメータの丁度1／2の値である。求めるパラメータを、｛k’，kO’，kl’，k2’，k3’，k4’，k5’，k6’，k7’｝とすると、例えば、k’＝k／2，k0’＝kO／2，kl’＝k1／2となる。
【０１１６】
ステップＳ７では、上記ステップＳ６で求めたパラメータに従い、左画像を変形して中間画像を生成する。中間画像の生成はフォワードマッピングによる。（フォワードマッピングに関しては、Wolberg著、IEEE Computer Socicty Press，”Digital Image Warping”，pp．42-44参照）。フォワードマッピングは、左画像の各画素に対して、その画素が属するメッシュの中間画像生成パラメータを用いて、以下の（式2）の座標変換による手法である。
【０１１７】
ｘＭ＝ｋ０’＋ｋ１’×ｘＬ＋ｋ２’×ｙＬ＋ｋ３’×ｘＬ×ｙＬ＋ｋ’×（ｘＬ-ｘａ）²×（ｙＬ-ｙａ）²
ｙＲ＝ｋ４’＋ｋ５’×ｘＬ＋ｋ６’×ｙＬ＋ｋ７’×ｘＬ×ｙＬ
式（2）
但し、（xM，yM）は中間画像の画素座標、（xa，ya）は左画像のメッシュ交点の４組の対応点座標の平均座標を表す。
【０１１８】
ここでは、左画像を変形して中間画像を生成したが、右画像を変形して中間画像を生成することもできる。また、左右それぞれの画像を変形してブレンドすることにより、中間画像を生成することもできる。また、左右画像の丁度中点にあたる位置以外の視点位置での、中間画像を生成することもできる。また、中間的な位置での画像だけでなく、視点の外挿を含めた任意視点位置での画像を生成するようにしてもよい。
【０１１９】
ステップＳ８では、生成した中間画像を表示部５に表示する。
【０１２０】
第１の実施の形態では、所定の視点位置における画像を生成し、表示するようにしたが、生成した結果の画像を記録するようにしてもよい。また、複数の連続した視点位置での画像を、上記ステップＳ６、上記ステップＳ７を繰り返すことによって生成し、動画として表示または記録するようにしてもよい。また、生成する視点位置やその移動方向を、上記ステップＳ８で表示された「結果画像」をユーザが見ることで、ユーザが表示部５の画面上でカーソル等によって指示し、その指示に従って上記ステップＳ６、上記ステップＳ７、上記ステップＳ８を繰り返して、インタラクティブに表示してもよい。
【０１２１】
また、第１の実施の形態で生成した画像を含めた複数の画像を用いて、例えばテレビジョン学会誌Vol．45，No．4，pp．446-452に記載されている液晶シャッタ眼鏡を用いた時分割式の表示装置や、多眼式レンチキュラ式の表示装置に出力することで、立体画像を観察できるようにしてもよい。
【０１２２】
また、第１の実施の形態のシステム（３次元画像生成装置）における図２の３次元画像生成方法を、モデル部（ステップＳ１、ステップＳ２、ステップＳ３、ステップＳ４、ステップＳ５）と、再生部（ステップＳ６、ステップＳ７、ステップＳ８）に分けて、モデル部における出力であるメッシュ及び各メッシュのモデルパラメータを一旦記録しておき、再生部において画像データとともに読み出して、画像を生成するようにしてもよい。このような構成にすることにより、一度モデル化を行えば、再度モデル化しなくとも再生は随時行うことができる。
【０１２３】
また、第１の実施の形態のシステム（３次元画像生成装置）を通信回線を介して離れた場所に設置した場合でも、受け手側に画像データ及びモデル部の出カパラメータのみ送信すれば、受け手側において再生部のみの構成で撮影した画像以外の新しい視点での画像を観察することができる。
【０１２４】
以上説明したように、本発明の第１の実施の形態によれば、同一被写体の複数の視点からの画像を取得し、複数の画像間で対応点（画像間で同一な被写体部分を点対点の対応として表した点）を抽出し、対応点抽出の結果に基づき任意の視点の画像を生成する３次元画像生成方法において、対応点抽出の結果に基づき画像を部分領域に分割し、対応する部分領域同士の対応関係を表す最適なモデルを求め、そのモデルに基づきそれぞれの部分領域を変形して任意の視点の画像を生成するようにしたので、画像間で比較的少ない対応点しか得られない場合においても、より高画質の画像を生成することができる。即ち、２つの視点から撮影した画像から自動的に、或いは、２つの視点から撮影した画像に修正を加えることで、新たな別の視点から見た画像を生成することができる。
【０１２５】
また、新しい視点の画像を生成する際に、全画素において対応を必要としないので、処理時間を大幅に短縮することができる。
【０１２６】
また、部分領域同士の対応関係を表す複数のモデル候補の整合性を画像変形結果に基づき評価し、最適なモデルを求めるようにしたので、生成する画像の画質を確実に向上することができる。
【０１２７】
また、複数の画像間での対応点抽出の結果に基づき分割される画像の部分領域と、対応する部分領域同士の対応関係を表すモデルを一旦記憶しておき、画像の部分領域とモデルとを入力して、そのデータをもとに画像を変形して３次元画像を生成し、表示するようにしたので、被写体画像のモデル化は一度行えばよいことになる。
【０１２８】
また、ステレオ画像から対応点を抽出し、対応点抽出の結果に基づき任意の視点の画像を生成する３次元画像生成方法において、対応点抽出の結果に基づき画像を部分領域に分割し、対応する部分領域同士の対応関係を表す最適なモデルを求めて、そのモデルに基づきそれぞれの部分領域を変形して連続した視点の画像を順次生成し、自動的に動画像を生成するようにしたので、ステレオ画像から３次元動画像を自動的に得ることができる。
【０１２９】
［第２の実施の形態］
本発明の第２の実施の形態では、被写体の回りをより多くの視点（例えば３つ以上）から撮影した画像に基づき中間画像を生成し表示する方法について説明する。撮影は、被写体を中心に水平方向に同心円上にデジタルカメラを移動して所定の間隔で行う。
【０１３０】
本発明の第２の実施の形態に係る３次元画像生成装置は、上記第１の実施の形態と同様に、取込部３、画像処理部４、表示部５、第一記憶部６、第二記憶部７、入力部８、制御部９を備えている（上記図１参照）。各部の構成は上記第１の実施の形態で詳述したので説明を省略する。
【０１３１】
図７及び図８は本発明の第２の実施の形態に係る３次元画像生成装置で実行される３次元画像生成方法のアルゴリズムを示すフローチャートである。本フローチャートは３次元画像生成装置の制御部９の制御に基づき実行されるものであり、被写体部分切り出し〜中間画像の生成等の処理は画像処理部４により行われ、表示制御処理は制御部９により行われる。
【０１３２】
ステップＳ１１では、デジタルカメラ１、２で撮影された画像データを、３次元画像生成装置の取込部（インタフェース）３を介して装置内に取り込む。
【０１３３】
ステップＳ１２では、画像中の被写体領域（被写体部分）を切り出す。被写体を中心にデジタルカメラ１、２を移動して撮影を行った場合、背景領域が画像中で大きく移動する可能性があり、隣り合った画像間で元々重なり合った画像が得られないため、予め被写体領域を切り出して背景領域の画像を除去しておく。この処理を全ての画像について行う。
【０１３４】
以下、ステップＳ１３からステップＳ１８の処理を、上記取り込んだ画像から隣り合った２つの画像に対して順次適用していく。
【０１３５】
ステップＳ１３では、隣り合った２つの画像間での画像歪みを補正する。被写体を中心にデジタルカメラ１、２を移動して撮影を行うと、２つの画像の撮像面は平行にならず、ある程度の輻輳角を持つため、２つの画像間で被写体画像はキーストーン歪みを持つ。このため、被写体の同じ部分の形状が異なって撮影される。撮影時のデジタルカメラ１、２の回転角と焦点距離から、２つの画像の撮像面を平行に配置した時に得られる画像となるよう、一方の画像を垂直方向を軸に回転変換し、歪み補正画像を得る。ここでは、一方の画像のみ歪み補正を行うようにしているが、それぞれの画像で２つの画像の撮像面を平行に配置した時に得られる画像となるよう、歪み補正を行ってもよい。
【０１３６】
ステップＳ１４では、歪み補正を行った画像間で対応点を抽出する。この処理は、上記第１の実施の形態のステップＳ２の処理と同様の処理である。但し、第２の実施の形態では、上記ステップＳ１２の処理で被写体領域を予め切り出しているので、被写体領域内でのみ対応点を抽出するようにしてもよい。
【０１３７】
ステップＳ１５では、抽出した対応点の位置座標を、上記ステップＳ１３で歪み補正を行った時の回転角をもとに、画像の歪み補正を行う前の元の座標系に変換する。
【０１３８】
ステップＳ１６では、対応点の位置座標をもとに２次元のメッシュを生成し、歪み補正を行う前の２つの画像に重ね合わせて表示部５に表示する。
【０１３９】
ステップＳ１７では、ユーザが対応するメッシュの交点が正しいかどうかを表示部５の表示を見ることで確認し、これでよいと判断した場合は、表示部５または入力部８を介してシステム（３次元画像生成装置）に対し次の処理を行うよう指示する。また、ユーザにより修正の指示が行われた場合は、上記ステップＳ１６に処理を戻す。
【０１４０】
尚、上記ステップＳ１６、上記ステップＳ１７の処理は、それぞれ上記第１の実施の形態の上記ステップＳ３、上記ステップＳ４の処理と同様の処理である。
【０１４１】
ステップＳ１８では、画像間の対応点位置をもとに、２つの画像の間の被写体位置の左右ずれ量、倍率関係を推定し、画像変換パラメータとして第二記憶部７に記憶しておく。
【０１４２】
以上のステップＳ１３からステップＳ１８の処理を、隣り合った２つの画像に対して順次行う。
【０１４３】
ステップＳ１９では、上記ステップＳ１８で求まった全ての２つの画像間の変換パラメータから、全ての画像における被写体領域の位置及び倍率が一定となるよう画像の再配置を行う。画像間の変換パラメータから、画像の再配置パラメータを計算し、その画像の再配置パラメータに従い、全ての画像に対して、画像の上下左右方向へのシフト、変倍を行う。また同時に、対応点座標を再配置後の座標系に変換しておく。例えば、撮影時に被写体を中心に水平方向に同心円上にデジタルカメラ１、２を移動する際、多少被写体位置や倍率がずれていても、当該ステップＳ１９の処理を行った後では、被写体の位置ずれや大きさの変動は最小限に抑えることができる。
【０１４４】
ステップＳ２０では、隣り合った２つの画像間でそれぞれのメッシュについて、メッシュの交点である対応点座標と画像データをもとに、メッシュ同士の対応関係を表すモデルを求める。この処理は、上記第１の実施の形態のステップＳ５の処理と同様の処理である。但し、第２の実施の形態では、上記ステップＳ１２の処理で被写体領域を予め切り出しているので、被写体領域内でのみメッシュ同士の対応関係を表すモデルを求めるようにしてもよい。この処理を隣り合った２つの画像に対して順次行う。
【０１４５】
ステップＳ２１では、中間画像を生成するためのパラメータを取得する。このときのパラメータは、基準となる画像の番号、その画像と次の画像とのメッシュ交点の位置座標、メッシュごとのモデルパラメータである。例えば、n番目の画像と（n＋1）番目の画像との画像から丁度中点にあたる視点位置での画像を生成する場合には、基準となる画像の番号はnで、n番目の画像と（n＋1）番目の画像とのメッシュ交点の位置座標がパラメータとなる。また、メッシュごとのモデルパラメータは、上記第１の実施の形態のステップＳ６の処理と同様にして求める。
【０１４６】
ステップＳ２２では、上記ステップＳ２１のパラメータに従い、基準画像を変形して中間画像を生成する。ここで用いる基準画像は、被写体領域のみ切り出した上記ステップＳ１２の処理の後の画像である。この処理は、上記第１の実施の形態のステップＳ７の処理と同様の処理である。
【０１４７】
ステップＳ２３では、上記ステップＳ２２で生成した中間画像をシステム（３次元画像生成装置）の表示部５に表示する。そして、ユーザが表示部５の画面でその結果を見て、画面上のカーソルにより被写体の回転方向を指示すると、システムは、その指示された回転方向に従い所定の移動量だけ視点位置をずらす。この視点位置のデータが上記ステップＳ２１に再び渡されると、システムは、新しい視点位置における被写体画像を生成し、表示する。
【０１４８】
第２の実施の形態では、上記ステップＳ２２において台形歪み補正前の画像を基準画像として変形を行い、中間画像を生成するようにしたが、台形歪み補正を行う上記ステップＳ１３の処理の後の画像を基準画像として、その座標系をベースにしたメッシュ交点の位置座標及びメッシュごとのモデルパラメータを用いて変形を行い、更に所定角度分回転変換（丁度中点にあたる視点位置においては２つの画像間の回転角の1／2）を行って、中間画像を生成してもよい。
【０１４９】
また、第２の実施の形態では、被写体部分のみ予め切り出した画像で中間画像を生成するようにしたので、被写体以外の領域では画像が得られないが、本発明の第２の実施の形態で一旦作成した画像を所望の背景画像に貼り付けてもよい。
【０１５０】
以上説明したように、本発明の第２の実施の形態によれば、被写体の回りをより多くの視点（例えば３つ以上の視点）から撮影した画像から中間画像を生成し、表示することができる。
【０１５１】
尚、上記第１及び第２の実施の形態においては、輝度レベルを表す画像データに対して処理を行ったが、カラー画像（例えば、RGB３つのチャンネルを持つ画像データ）に対して同様の処理を適用することも可能である。例えば、本発明の第１の実施の形態では、ステップＳ１からステップＳ６における対応点や画像生成のためのパラメータ取得にはGチャンネルの左右画像において、本発明の第１の実施の形態で説明した処理を行い、取得したパラメータに従って中間画像の生成をそれぞれの３つのチャンネルで別々に行い、生成した３つのチャンネルの画像を合成してカラー画像として表示するようにすればよい。
【０１５２】
また、上記第１及び第２の実施の形態においては、それぞれの画像の被写体部分の明るさや色が多少異なっていても、中間画像ではその差が日立たないが、予め被写体部分の明るさや色が一致するように入力画像を補正しておいてもよい。
【０１５３】
尚、上記第１及び第２の実施の形態における処理方法は、処理プログラムを磁気ディスクや光ディスク等の媒体に記録し、汎用のコンピュータシステムにインストールし、実行することができる。
【０１５４】
［第３の実施の形態］
本発明の第３の実施の形態は、カメラで撮影した被写体画像を変形して仮想的にカメラを移動させることで、被写体を撮影した画像を生成し、表示するシステムである。
【０１５５】
図９は本発明の第３の実施の形態に係る撮像／表示システムの構成を示すブロック図である。撮像／表示システムは、被写体画像を取得する画像入力部５１、被写体画像の視差分布を抽出する視差抽出部５２、被写体の仮想的な視点での画像を生成し表示する視点変換画像表示部５３を備えている。
【０１５６】
上記構成を詳述すると、画像入力部５１は、被写体に所定の光パターン（以下パターンと略称）を投光するパターン投光部６１、被写体の光学像を電気信号に変換する撮像レンズ、イメージセンサ等により構成され、パターンが投光された被写体の画像を撮影する撮像部６２、撮像部６２により出力される被写体像を表す電気信号からデジタル画像データ（以下、画像データと称する）を形成する画像形成部６３、ユーザの操作に従い画像入力部５１内部の動作を制御するカメラ制御部６４から構成されている。
【０１５７】
視点変換画像表示部５３は、視差分布を用いて被写体画像に幾何学的変換を行い被写体の画像データを変形することで被写体の仮想的な視点位置での画像データを生成する画像生成部８１、生成された画像データを表示する表示部８２、ユーザによるコマンドの入力を受け付け画像生成部８１に伝えるユーザコマンド入力部８３から構成されている。
【０１５８】
次に、本発明の第３の実施の形態に係る撮像／表示システムにより被写体を撮影して仮想的な視点での被写体画像を表示するまでの動作を説明する。図１０にその流れを示す。
【０１５９】
撮影が開始されると、先ずステップＳ３１で、画像入力部５１により被写体の画像が撮影される。最初に、画像入力部５１の撮像部６２の初期状態における被写体の光学像について、画像形成部６３を介して被写体の焦点状態や、明るさ、色調が検出され、最適な光学像が得られるように、撮像部６２の撮像レンズの焦点位置、絞り値、シャッタスピード、ホワイトバランスの制御値が決定される。
【０１６０】
そして、上記の初期状態で被写体像が撮像部６２で取得され、画像形成部６３で被写体の画像データが形成される（以下、このとき撮影された画像データを被写体画像と称する）。画像データはRGB３つのチャンネルを持ち、その画素値が各色チャンネルの輝度レベルを表す撮像面の水平方向、垂直方向に相当する２次元配列のデジタルデータとして形成される。
【０１６１】
ステップＳ３２では、被写体にパターンを重畳した画像が画像入力部５１で撮影される。先ず、パターン投光部６１において、光源からの光が照明レンズを介してパターンを照明し、投光レンズにより被写体に投光される。投光するパターンは、図１１に示すような、格子状にスポットを配置した平面パターンであり、パターン中心部のスポットは他のスポットと区別することが可能になっている。図１１における点で示された部分が、実際には被写体に高輝度部分として投光される。このようなパターンを、構造化されたパターンと呼ぶ。
【０１６２】
第３の実施の形態では、撮像部６２の撮像面とパターン投光部６１の物体面（パターンの置かれる面）とを、撮像面の水平方向に沿って平行に配置した。また、撮像部６２の撮像レンズの視点位置とパターン投光部６１の投光レンズの視点位置とを、撮像面の水平方向に沿って平行に配置した。
【０１６３】
パターンの投光は、撮像部６２の撮像面に対向する所定の距離の平面において、撮像面の視野と投光するパターンの視野とが略一致するように行われる。従って、撮像レンズの焦点合わせのために変化する撮影倍率に応じて、投光レンズの倍率も連動して変化するようにカメラ制御部６４により制御される。そして、パターンが投光された被写体像が撮像部６２で取得され、画像形成部６３で被写体の画像データが形成される（以下、このとき撮影された画像データをパターン画像と称する）。
【０１６４】
光源の発光と画像の取得を同期させた状態で撮像部６２で撮影できるように、カメラ制御部６４が制御する。このとき、カメラ制御部６４により、カメラ（画像入力部５１）の撮影パラメータのうち、撮影する光学像の明るさを決定するための絞り値とシャッタスピードの制御値が暗めに設定変更される。従って、撮影されたパターン画像は、パターンが投光された部分は明るいが、被写体部分は比較的暗い画像として撮影され、以下の処理においてパターン画像中のスポット位置の抽出が容易となる。以上の撮影時における画像入力部５１の制御はカメラ制御部６４で行われる。
【０１６５】
ステップＳ３３では、視差抽出部５２により、画像入力部５１から取得したパターン画像に基づき被写体の視差分布が抽出される。図１２に視差抽出部５２で行う処理のアルゴリズムを示す。下記のステップＳ６０１〜ステップＳ６０７の処理は視差抽出部５２が実行する。
【０１６６】
ステップＳ６０１では、画像入力部５１からパターン画像を取得する。
【０１６７】
ステップＳ６０２では、パターン画像からパターン中心点の位置を検出する。パターンの中心部のスポットは他のスポットと区別できるようになっているので、パターン中心部のスポットの画像パターンをテンプレートとして、パターン画像の中心付近の局所領域を探索し、相関値の分布を求める。但し、この画像パターンは予め視差抽出部５２に記憶されている。そして、相関値の分布から相関値が最も大きいピーク位置を推定し、その位置座標をパターン中心点の位置として検出する。
【０１６８】
ステップＳ６０３では、パターン画像中のスポット位置を検出する。即ち、パターン画像の画素値から輝度の高い部分を走査し、検出された部分それぞれについて、その部分領域の輝度分布から輝度値が最大となるピーク位置を推定し、その位置座標をスポット位置として検出する。
【０１６９】
ステップＳ６０４では、上記ステップＳ６０３で検出されたスポット位置が、パターンのどのスポットに対応するかの同定を行う。視差抽出部５２には、予め被写体に視差分布がない場合（即ち、被写体形状が撮像面に対向する平行な平面の場合）の各スポットのパターン中心点との相対位置が記憶されており、検出された全てのスポット位置と記憶されているスポット位置とを照合し、位置関係に矛盾が生じないように対応付けを行う。
【０１７０】
ステップＳ６０５では、上記ステップＳ６０２で検出されたパターン中心点の位置と上記ステップＳ６０３で検出されたスポット位置から、それぞれのスポットのパターン中心点に対する相対位置を求め、その相対位置と、そのスポットに対応する予め記憶されている被写体に視差分布がない場合のスポットのパターン中心点との相対位置との差を視差として算出する。
【０１７１】
ステップＳ６０６では、パターン画像中のスポット位置での視差から、画素ごとの視差を補間によって求める。即ち、各画素位置から所定距離以下の画像領域内に存在する上記ステップＳ６０３で検出されたスポットから、水平方向及び垂直方向の視差を画素位置とスポット位置との距離の２乗の逆数を重みとして、荷重平均によりそれぞれの方向の視差を計算する。パターン画像中の全画素位置でこの視差補間を行い、視差マップを求める。
【０１７２】
ステップＳ６０７では、上記ステップＳ６０６で求めた視差マップを視点変換画像表示部５３に出力する。
【０１７３】
第３の実施の形態では、視差抽出部５２において、被写体に視差分布がない場合の各スポットのパターン中心点との相対位置を予め記憶しておき、それに基づき視差を求めるようにしているが、被写体画像を撮影する前に平面にパターンを投光した画像を撮影し、その画像からスポット位置を検出するようなキャリブレーションを行うようにしてもよい。
【０１７４】
上記図１０に戻って、ステップＳ３４では、画像生成部８１により、画像生成パラメータを設定する。画像生成パラメータは、被写体画像の各画素の移動量の程度を表すものであり、その移動量は視差マップを比例倍したものである。即ち、画像生成パラメータは、視差マップの比例定数である。
【０１７５】
第３の実施の形態では、初期状態で被写体画像をそのまま表示するようにしている。従って、画像生成パラメータの初期値は０である。画像生成パラメータの値が１の時には、被写体画像が投光レンズの視点位置で撮影された仮想的な視点変換画像が得られるようになる。
【０１７６】
ステップＳ３５では、上記ステップＳ３４で画像生成部８１により設定した画像生成パラメータと、上記ステップＳ６０６で視差抽出部５２で求めた視差マップに従い、画像生成部８１により、被写体画像を変形して視点変換画像を生成する。視点変換画像の生成はフォワードマッピングによる。（フォワードマッピングに関しては、Wolberg著，IEEE Computer Society Press，”Digital Image Warping”，pp．42-44参照）。フォワードマッピングは、被写体画像の各画素を視差マップのその画素に対応する視差に、画像生成パラメータを乗算した分だけずらした位置にマッピングするように行う。
【０１７７】
ステップＳ３６では、上記ステップＳ３５で生成された視点変換画像を表示部８２に表示する。
【０１７８】
ステップＳ３７では、ユーザコマンド入力部８３により、ユーザコマンドの入力を受け付ける。本発明の第３の実施の形態では、ユーザコマンド入力部８３においては、ユーザが表示部８２に表示された画像を見て仮想的な視点位置を水平方向に移動する操作を行えるようになっており、視点を左右どちらの方向に移動するかをユーザからコマンドとして受け付ける。この時、ユーザコマンド入力部８３では、同時に表示部８２の表示を終了するかどうかも受け付け、ユーザが表示を終了する旨を指示した場合には、処理を終了する。
【０１７９】
上記ステップＳ３７でユーザにより視点の左右移動が指示された場合には、ステップＳ３４に処理を移す。ステップＳ３４では、ユーザによる視点移動の指示に従い、画像生成部８１により、所定の量だけ画像生成パラメータを変化させる。上記ステップＳ３４から上記ステップＳ３７の処理を繰り返すことで、ユーザはインタラクティブに仮想的な視点位置での被写体画像を観察することができる。
【０１８０】
第３の実施の形態では、水平方向の視点の移動のみ操作できるようにしたが、水平方向及び垂直両方向の移動を行えるようにしてもよい。この場合、上記ステップＳ３５において、垂直方向の画素の移動量が、各画素の水平方向の視差に垂直方向の視点移動量を乗算した量の定数倍になるようにマッピングを行う。これは、本システムを画像入力部５１のパターン投光部６１の投光レンズの視点と撮像部６２の撮像レンズの視点とを、撮像面の水平方向に沿って平行に配置するように構成しているため、水平方向の視差が被写体の表面形状の分布を反映しているためである。
【０１８１】
また、第３の実施の形態では、被写体画像を変形して仮想的な視点の画像を生成するようにしたが、パターン画像を変形して仮想的な視点の画像を生成するようにしてもよい。この場合、撮影は上記ステップＳ３２でのパターン画像についてのみ行う。但し、パターン画像を画像生成に使うので、パターン画像を最適な光学像として取得できるようにカメラの制御値を設定した方がよい。また、パターン画像中のスポット部には被写体の画像が得られないので、画像の被写体部分の回りの画素値から補間によって求めるようにする。
【０１８２】
また、第３の実施の形態では、仮想的な視点位置における画像を生成し、表示するようにしたが、生成した結果の画像を記録するようにしてもよい。
【０１８３】
また、第３の実施の形態では、ユーザの指示により視点を移動するようにしたが、予め定められた視点の軌道に従い、複数の連続した視点位置での画像を生成し、動画として表示または記録するようにしてもよい。
【０１８４】
また、第３の実施の形態で生成した画像を含めた複数の画像を、例えばテレビジョン学会誌Vol．45，No．4，pp．446−452に記載されている液晶シャッタ眼鏡を用いた時分割式の表示装置や、多眼式レンチキュラ式の表示装置に出力することで、立体画像を観察できるようにしてもよい。
【０１８５】
また、第３の実施の形態では、画像入力部５１のパターン投光部６１の投光レンズの視点と撮像部６２の撮像レンズの視点とを、撮像面の水平方向に沿って平行に配置するように構成したが、被写体にパターンを投光してパターン画像を取得することができれば、特に光学系の配置を限定するものではない。但し、画像入力部５１のパターン投光部６１の投光レンズの視点と撮像部６２の撮像レンズの視点とを、撮像面の水平方向に沿って平行に配置するように構成することによって、仮想的な視点での画像を、上記ステップＳ３５で示したような簡単なマッピングによって生成できるという効果がある。
【０１８６】
また、第３の実施の形態に係るシステムのうち、画像入力部５１をハードウェアで構成し、視差抽出部５２と視点変換画像生成部５３の処理を汎用コンピュータのプログラムで行ってもよい。
【０１８７】
また、画像入力部５１の撮像部６２、画像形成部６３、カメラ制御部６４をデジタルカメラで構成し、パターン投光部６１をデジタルカメラのアダプタとしてデジタルカメラに装着できるようにしてもよい。
【０１８８】
更に、パターン投光部６１の一部を図１３に示すようなアダプタで構成し、デジタルカメラに装着して使用できるようにしてもよい。図１３中、１１１はデジタルカメラの一部であるストロボで、ストロボ以外の部分はアダプタである。１１２はストロボ光によりパターンを照明する照明レンズ、１１３はパターン、１１４は投光レンズ、１１５、１１６はストロボ光をストロボ開口部からパターン１１３、投光レンズ１１４に導くミラーである。
【０１８９】
即ち、第３の実施の形態に係るシステムを、市販のデジタルカメラと汎用コンピュータにより構成することが可能である。
【０１９０】
以上説明したように、本発明の第３の実施の形態によれば、所定の光パターンを投光するパターン投光部６１と、光パターンが投光された被写体の画像を撮影する撮像部６２と、光パターンが投光された被写体の画像を用いて被写体の視差分布を抽出する視差抽出部５２と、視差分布を用いて被写体画像に幾何学的変換を行って被写体の仮想的な視点位置での画像を生成する画像生成部８１とを備えているため、被写体の視差分布の抽出を簡単な処理で確実に行うことができ、被写体の撮影時の視点以外での画像を簡単な処理で確実に生成することができる。
【０１９１】
また、撮像部６２は被写体のみの画像及び光パターンが投光された被写体の画像を撮影し、画像生成部８１は被写体のみの画像に幾何学的変換を行って被写体の仮想的な視点位置での画像を生成するようにしたので、画質のよい被写体画像をもとに被写体の仮想的な視点位置での画像を生成することができ、その画質を向上することができる。
【０１９２】
また、画像生成部８１によって生成した画像を表示する表示部８２と、仮想的な視点位置を制御可能なユーザコマンド入力部８３とを備え、ユーザコマンド入力部８３からの入力に応じて、インタラクティブに被写体の仮想的な視点位置での画像を生成し、表示するようにしたので、生成する被写体画像の視点位置をインタラクティブに移動し、被写体画像を観察することができる。
【０１９３】
また、パターン投光部６１を、カメラのストロボ光により所定の光パターンを被写体に投光するカメラに着脱可能なアダプタで構成したので、市販のデジタルカメラ等を利用することにより、簡単な構成で被写体の撮影時の視点以外での画像を生成することができる。
【０１９４】
［第４の実施の形態］
本発明の第４の実施の形態は、被写体を左右２つの撮像系で撮影し、撮影で得た２つの画像から仮想的な視点での画像を生成し、表示するシステムである。
【０１９５】
図１４は本発明の第４の実施の形態に係る撮像／表示システムの構成を示すブロック図である。撮像／表示システムは、被写体画像を取得する画像入力部２０１、被写体画像の視差分布を抽出する視差抽出部２０２、被写体の仮想的な視点での画像を生成し表示する視点変換画像表示部２０３を備えている。第４の実施の形態において上記第３の実施の形態と同名の構成要素は同等の機能を有する。
【０１９６】
上記構成を詳述すると、画像入力部２０１は、被写体に所定の光パターン（以下パターンと略称）を投光するパターン投光部２１１、被写体の光学像を電気信号に変換する撮像レンズ、イメージセンサ等により構成され、パターンが投光された被写体の画像を撮影する左右の撮像部２１２Ｌ、２１２Ｒ、左右の撮像部２１２Ｌ、２１２Ｒにより出力される被写体像を表す電気信号からデジタル画像データ（以下、画像データと称する）を形成する画像形成部２１３、ユーザの操作に従い画像入力部２０１内部の動作を制御するカメラ制御部２１４から構成されている。
【０１９７】
第４の実施の形態では、左右の撮像部２１２Ｌ、２１２Ｒを同じ構成要素で構成するようにしている。また、左右の撮像部２１２Ｌ、２１２Ｒの撮像レンズの視点位置とパターン投光部２１１の投光レンズの視点位置とを、撮像面の水平方向に沿って平行になるように、また、投光レンズの視点位置が左右の撮像部２１２Ｌ、２１２Ｒの撮影レンズの視点位置の中点位置になるよう配置している。
【０１９８】
視点変換画像表示部２０３は、視差分布を用いて被写体画像に幾何学的変換を行い被写体の画像データを変形することで仮想的な視点での画像データを生成する画像生成部２３１、生成された画像データを表示する表示部２３２、ユーザによるコマンドの入力を受け付け画像生成部２３１に伝えるユーザコマンド入力部２３３から構成されている。
【０１９９】
次に、本発明の第４の実施の形態において、被写体を撮影して仮想的な視点での被写体画像を表示するまでの動作を説明する。第４の実施の形態における動作の流れは、上記第３の実施の形態の図１０に示したものと同様である。
【０２００】
撮影が開始されると、先ずステップＳ３１で、被写体の画像が撮影される。最初に左撮像部２１２Ｌの初期状態における被写体の光学像について、画像形成部２１３を介して被写体の焦点状態や、明るさ、色調が検出され、最適な光学像が得られるように左撮像部２１２Ｌの撮像レンズの焦点位置、絞り値、シャッタスピード、ホワイトバランスの制御値が決定される。
【０２０１】
そして、上記の初期状態で被写体像が左撮像部２１２Ｌで取得され、画像形成部２１３で被写体の左画像データが形成される。同時に同じ制御値により、被写体像が右撮像部２１２Ｒで取得され、画像形成部２１３で被写体の右画像データが形成される。
【０２０２】
ステップＳ３２では、被写体にパターンを重畳した画像が撮影される。先ず、光源からの光が照明レンズを介してパターンを照明し、投光レンズにより被写体に投光される。そして、パターンが投光された被写体像が左右の撮像部２１２Ｌ、２１２Ｒで取得され、画像形成部２１３で被写体の左右のパターン画像データが形成される。
【０２０３】
ステップＳ３３では、視差抽出部２０２により、画像入力部２０１で取得したパターン画像から被写体の視差分布が抽出される。視差抽出部２０２で行う処理のアルゴリズムは、上記第３の実施の形態の図１２に示したものと同様である。下記のステップＳ６０１〜ステップＳ６０７の処理は視差抽出部５２が実行する。
【０２０４】
ステップＳ６０１では、画像入力部２０１から左右のパターン画像を取得する。
【０２０５】
ステップＳ６０２では、左右のパターン画像からそれぞれパターン中心点の位置を検出する。
【０２０６】
ステップＳ６０３では、左右のパターン画像中のスポット位置を検出する。
【０２０７】
ステップＳ６０４では、上記ステップＳ６０３で検出されたスポット位置が、左右パターンのどのスポットに対応するかの同定を行う。検出された全てのスポット位置を左右で照合し、位置関係に矛盾が生じないように対応付けを行う。
【０２０８】
ステップＳ６０５では、上記ステップＳ６０２で検出された左右パターン中心点の位置と、上記ステップＳ６０３で検出された左右のスポット位置から、それぞれのスポットのパターン中心点に対する相対位置を左右で求め、左右スポット位置の相対位置の差を視差として算出する。
【０２０９】
ステップＳ６０６では、上記ステップＳ６０５で求めた各スポット位置での視差から、画素ごとの視差を補間によって求める。先ず、左画像の各画素位置から所定距離以下の画像領域内に存在する、上記ステップＳ６０３で検出された左パターン画像のスポットから、水平方向及び垂直方向の視差を画素位置とスポット位置との距離の２乗の逆数を重みとして、荷重平均によりそれぞれの方向の視差を計算する。パターン画像中の全画素位置でこの視差補間を行い、視差マップを求める。同様に、右画像の各画素位置での視差マップも求める。但し、この時、補間に用いるスポット位置の視差は、左画像で視差を求めたスポット位置の視差とは逆符号の値を用いる。
【０２１０】
ステップＳ６０７では、上記ステップＳ６０６で求めた左右の視差マップを視点変換画像表示部２０３に出力する。
【０２１１】
上記図１０に戻って、ステップＳ３４では、画像生成部２３１により、画像生成パラメータを設定する。画像生成パラメータの初期値は０である。画像生成パラメータの値が０の時には左画像データが、画像生成パラメータの値が１の時には右画像データが、そのまま得られるように、以下の処理で画像が生成される。
【０２１２】
ステップＳ３５では、上記ステップＳ３４で画像生成部２３１により設定した画像生成パラメータと、上記ステップＳ６０６で視差抽出部２０２により求めた視差マップに従い、画像生成部２３１により、左右被写体画像を変形して視点変換画像を生成する。左画像データからの視点変換画像は、左被写体画像の各画素を、視差マップのその画素に対応する視差に画像生成パラメータを乗算した分だけずらした位置にマッピングするように行う。また、右画像データからの視点変換画像は、右被写体画像の各画素を、視差マップのその画素に対応する視差に画像生成パラメータの１からの差を乗算した分だけずらした位置にマッピングするように行う。
【０２１３】
そして、画像生成部２３１により、左右の視点変換画像を、画像生成パラメータの１からの差と画像生成パラメータの値との比率でプレンドして、視点変換画像を生成する。但し、仮想視点の位置が左撮像部２１２Ｌの視点より左側の場合は、左視点変換画像をそのまま視点変換画像とする。同様に、仮想視点の位置が右撮像部２１２Ｒの視点より右側の場合は、右視点変換画像をそのまま視点変換画像とする。
【０２１４】
ステップＳ３６では、画像生成部２３１で生成された視点変換画像を表示部２３２に表示する。
【０２１５】
ステップＳ３７では、ユーザコマンド入力部２３３からのユーザコマンドの入力を受け付ける。この時、同時に表示部２３２の表示を終了するかどうかも受け付け、ユーザがユーザコマンド入力部２３３を介して表示を終了すると指示した場合には、処理を終了する。
【０２１６】
上記ステップＳ３７でユーザにより視点の左右移動が指示された場合には、ステップＳ３４に処理を移す。ステップＳ３４では、ユーザによる視点移動の指示に従い、画像生成部２３１により、所定の量だけ画像生成パラメータを変化させる。上記ステップＳ３４から上記ステップＳ３７の処理を繰り返すことで、ユーザはインタラクティブに仮想的な視点位置での被写体画像を観察することができる。
【０２１７】
以上説明したように、本発明の第４の実施の形態によれば、２つの離れた視点で得られる被写体画像から仮想的な視点の画像を生成するようにしたので、上記第３の実施の形態のように１つの視点で得られる被写体画像では隠蔽される被写体領域も表示することができる。また、第４の実施の形態を拡張することで、３つ以上の複数の視点からの被写体画像から仮想的な視点の画像を生成するようにしてもよい。
【０２１８】
尚、上記第３及び第４の実施の形態における視差抽出部の処理、視点変換画像表示部の処理は、処理プログラムとして磁気ディスクや光ディスク等の媒体に記録し、汎用のコンピュータシステムにインストールし、実行することができる。
【０２１９】
［第５の実施の形態］
本発明の第５の実施の形態は、デジタルカメラに立体写真アダプタを装着して被写体を撮影し、時分割シャッタ眼鏡方式により立体画像表示を行う立体画像撮影／表示システムである。
【０２２０】
図１７は本発明の第５の実施の形態に係る立体画像撮影／表示システムの構成を示す概略図である。立体画像撮影／表示システムは、立体写真アダプタ４５２、デジタルカメラ４５３、記録メディア４５４、汎用のコンピュータ４５５、ディスプレイ４５６、同期信号発生器４５７、液晶シャッタ眼鏡４５８を備えている。
【０２２１】
上記構成を詳述すると、立体写真アダプタ４５２は、デジタルカメラ４５３に着脱自在に装着される。デジタルカメラ４５３は、立体写真アダプタ４５２を介して被写体４５１を撮影することにより、水平方向に視差を持つ被写体の立体画像を撮影する。記録メディア４５４は、デジタルカメラ４５３及びコンピュータ４５５に着脱自在に装着可能であり、水平方向に視差を持つ被写体の立体画像が記録される。ディスプレイ４５６は、立体画像を表示する。同期信号発生器４５７は、ディスプレイ４５６上に表示されている左右画像のそれぞれの表示に同期した同期信号を液晶シャッタ眼鏡４５８に出力する。液晶シャッタ眼鏡４５８は、観察者４５９がディスプレイ４５６上に表示されている立体画像を観察する場合に装着する。
【０２２２】
コンピュータ４５５は、記録メディアインタフェース４６１、表示制御部４６２、記憶媒体４６３、制御部４６４を備えている。記録メディアインタフェース４６１は、記録メディア４５４に記憶された立体画像データを制御部４６４へ出力する。表示制御部４６２は、ディスプレイ４５６に対する立体画像の表示制御を行う。記憶媒体４６３には、立体画像の処理プログラムが記憶されている。制御部４６４は、記憶媒体４６３に記憶された立体画像の処理プログラムをオペレーティングシステムを介して実行する。尚、コンピュータ４５５内の上記各部は必須構成要素を示したものであり、図示の構成に限定されるものではない。
【０２２３】
上記構成において、立体写真アダプタ４５２をデジタルカメラ４５３に装着して被写体４５１を撮影すると、水平方向に視差を持つ被写体の立体画像が、デジタルカメラ４５３に装着されている記録メディア４５４に記録される。記録メデイア４５４は、上述したようにデジタルカメラ４５３に対し着脱可能であり、記録メディア４５４を、汎用のコンピュータ４５５に記録メディアインタフェース４６１を介して接続する。
【０２２４】
そして、コンピュータ４５５の記憶媒体４６３に記憶された立体画像の処理プログラムを、オペレーティングシステムを介して制御部４６４で実行することにより、記録メディア４５４に記録された立体画像を処理し、コンピュータ４５５に接続されたディスプレイ４５６に、上記処理された立体画像をコンピュータ４５５の表示制御部４６２を介して表示する。立体画像の処理プログラムは、ディスプレイ４５６の所定の位置に、立体画像の左眼用の画像（左画像）と右眼用の画像（右画像）を時間をずらして交互に表示するように動作する。
【０２２５】
また、上記の左右画像のそれぞれの表示に同期して、同期信号発生器４５７が液晶シャッタ眼鏡４５８に同期信号を出力する。液晶シャッタ眼鏡４５８は、同期信号発生器４５７から同期信号を受け、ディスプレイ４５６に左画像が表示されている時には、液晶シャッタ眼鏡装着者の左眼のみが見え、ディスプレイ４５６に右画像が表示されている時には、液晶シャッタ眼鏡装着者の右眼のみが見えるように動作する。従って、観察者４５９は左画像を左眼のみで、右画像を右眼のみで見ることで、立体画像を観察することができる。
【０２２６】
図１６は本発明の第５の実施の形態に係る立体写真アダプタの構成を示す概略図である。図中、３０１は被写体、３５３はデジタルカメラ（図１７の４５３）、３５２は立体写真アダプタ（図１７の４５２）である。また、３２１はデジタルカメラ３５３の撮影レンズ、３２２は撮影面、３３１はプリズム、３３２、３３３はミラーである。また、Ｏは撮影レンズ３２１のレンズ中心（詳しくは入射瞳の中心、視点ともいう）、ｌは撮影レンズ３２１の光軸、m、nはそれぞれ撮影面３２２で左眼用画面、右眼用画面の中心を通る光束の主光線である。
【０２２７】
図１６に示すように、立体写真アダプタ３５２の構成は撮影レンズ３２１の光軸1を中心に左右対称である。図１６において、左眼用の被写体像はミラー３３２、プリズム３３１で反射し、撮影レンズ３２１を通って撮影面３２２の右半分の領域に達する。同様に、右眼用の被写体像はミラー３３３、プリズム３３１で反射し、撮影レンズ３２１を通って撮影面３２２の左半分の領域に達する。このような仕組みにより、撮影面３２２に左眼用、右眼用の画像を撮影することができる。
【０２２８】
本発明の第５の実施の形態の特徴は立体画像の処理プログラムにあり、以下、そのアルゴリズムを説明する。図１５に本発明の第５の実施の形態に係る立体画像の処理プログラムのアルゴリズムを示す。立体画像の処理プログラムは、コンピュータ４５５の制御部４６４の制御によりオペレーティングシステムを介して実行される。
【０２２９】
立体画像の処理プログラムが実行されると、先ず、ユーザが立体画像データのファイル名をコンピュータ４５５のキーボード等の入力デバイス（図示略）から入力する。これに伴い、コンピュータ４５５に挿入された記録メディア４５４に記憶されている立体画像データが、記憶メディアインタフェース４６１を介してコンピュータ４５５のシステムメモリ（図示略）に読み込まれる（ステップＳ４１）。立体画像データは、通常、コンピュータで扱う画像データと同様の形式のデータであり、例えば、RGB各色チャンネル毎に縦横２次元のデータ配列と画像データの情報を表すヘッダからなるビットマップデータである。次に、立体画像データから左右画像データが生成される（ステップＳ４２）。
【０２３０】
図１８に左右画像データ生成のアルゴリズムを示す。先ず、上記ステップＳ４１で読み込んだ立体画像データを左右画像データに分割する（ステップＳ５１）。例えば、立体画像データが水平垂直M×Nの２次元配列をなす画像データの場合、画像中心を通る垂直ラインを境界として、それぞれ水平垂直M／2×Nの画像データに分割する。
【０２３１】
次に、左右それぞれの画像データの台形歪みを補正する（ステップＳ５２）。即ち、撮影した画像の視野角を表すデジタルカメラの撮影レンズの焦点距離と、左右それぞれの画像の輻輳角を含む撮影パラメータを用いて、それぞれの画像データの画面中心を中心として、台形歪み補正後の仮想的な撮影面が互いに平行になるように、同じ角度だけ反対方向に台形歪み補正を行う。デジタルカメラの撮影パラメータは、ユーザによりキーボード等の入カデバイスから入力するようにしてもよいし、予めプログラム内に記憶しておいてもよい。そして、それぞれ補正された左右画像データから、画像データとして有効な領域から矩形領域を切り出し、左右画像データとする（ステップＳ５３）。
【０２３２】
上記図１５に戻り、次に、左右画像データから画像シーケンスを生成する（ステップＳ４３）。ここで、生成する画像に関してのデジタルカメラの位置及び方向を図１９に示す。図１９に示す点と矢印がデジタルカメラの位置及び方向を示し、v10、v20はそれぞれ左画像、右画像のカメラの視点位置とその方向を表す。上記ステップＳ４２で生成された左右画像は、図１９に示すように、画像の水平方向にBだけ視点位置が離れた、光軸方向が互いに平行な２つの画像である。
【０２３３】
また、v5、v6、・・・、v9、v11、v12、・・・、v19、v21、v22、・・・、v25は、上記ステップＳ４３で生成する画像シーケンスについて、仮想的なカメラの位置及び方向を表す。そして、上記ステップＳ４３では、左右画像を含んだ画像シーケンスv5、v6、・・・、v25を出力する。隣り合った画像間の視点間距離△は、左右画像の視点間距離Bを等分割したものであり、第５の実施の形態では、△＝B／10である。上記ステップＳ４３では、左右画像から仮想視点画像の生成を順次行う（仮想視点画像の生成の方法については後述する）。
【０２３４】
次に、立体画像として表示する左右画像シーケンスの設定を行う（ステップＳ４４）。第５の実施の形態では、ディスプレイ４５６に立体画像として表示する左右画像の視点間距離を２△とし、最初に表示する左右画像をそれぞれv10、v12に設定する。そして、左画像シーケンスとしてv5、v6、・・・、v23、右画像シーケンスとしてv7、v8、・・・、v25を設定し、表示時に必ず視点間距離が２△となるようにする。また、表示する画像の視点移動の初期方向を右方向に設定する。
【０２３５】
次に、ディスプレイ４５６に左右画像データの立体表示を行う（ステップＳ４５）。本発明の第５の実施の形態では、左右画像データを時間をずらして交互に表示することにより、立体視表示を行う。このとき、コンピュータ４５５のシステムメモリ（図示略）にある左右の画像、即ち、上記ステップＳ４５の出力画像を一旦ビデオメモリ（図示略）に書き込み、表示制御部４６２がビデオメモリの２つの画像データを切り替えて、交互にディスプレイ４５６に表示するようにする。本発明の第５の実施の形態では、先ず、v10、v12がそれぞれ左右画像データとしてディスプレイ４５６に立体表示される。
【０２３６】
この切替え表示状態の間、ユーザが表示の終了をコンピュータ４５５の入カデバイスを介して指示した場合には（ステップＳ４６でＹＥＳ）、立体視表示を終了する。他方、ユーザによる表示終了の指示がない場合には（ステップＳ４６でＮＯ）、表示する立体画像の視点が移動するように、立体画像の更新を行う（ステップＳ４７）。即ち、v10、v12の画像を、立体表示中は次にその右側の視点であるv11、v13を表示するようにする。また、右画像が右端のv25の画像である場合には、視点の移動方向を左方向に切替え、左右画像としてv22、v24をそれぞれ表示するようにする。また、左画像が左端のv5の画像である場合には、視点の移動方向を右方向に切替え、左右画像としてv5、v7をそれぞれ表示するようにする。
【０２３７】
このとき、コンピュータ４５５のシステムメモリに記憶されている画像シーケンスから更新後の画像を、一旦ビデオメモリに書き込む。この場合、立体視表示も同時に行う必要があるので、前記画像シーケンスから更新後の画像を、ビデオメモリ内の立体視表示が行われている左右画像が記憶されている領域とは別の領域に書き込むようにする。また、立体視表示の際における左右画像の切替えが遅くなると、立体感が得られなかったり、観察に不快感を感じたりするので、コンピュータ４５５のシステムメモリからビデオメモリヘの書き込みは、画像を所定の小領域ごとに分割して行い、小領域の書き込み毎に左右画像の切替えを行うようにする。そして、コンピュータ４５５のシステムメモリからビデオメモリヘの書き込み終了後、左右画像の切替え表示は、ビデオメモリ内に新たに書き込んだ左右画像で行うように変更する。以上の処理で、円滑に視点移動立体視表示を行うことができる。
【０２３８】
ここで、上記ステップＳ４３で処理される、左右画像から仮想視点画像の生成を行う方法について説明する。そのアルゴリズムを図２０に示す。
【０２３９】
ステップＳ６１では、左右画像間で同一な被写体部分を点対点の対応として表す対応点を抽出する。先ず、左画像を所定の分割数で縦横方向にブロック分割する。次に、左画像における分割された各ブロックから特徴点を抽出し、抽出された特徴点に対応する右画像中の点を抽出するために、左画像の抽出された特徴点を中心とした所定のサイズの部分領域をテンプレートとして切り出し、右画像中の対応点を探索するための所定の領域における画素を中心として、テンプレートと同一のサイズの画像領域との相関値を求める。そして、２次元の相関分布から相関値のピークの位置を求め、右画像中の対応点の位置として抽出する。
【０２４０】
次に、ステップＳ６２では、対応点の位置座標をもとに２次元のメッシュ（以下メッシュと略称）を生成し、元の左右画像の上に重ね合わせて表示する。メッシュの交点として、上記ステップＳ６１の処理に基づく出力である対応点の位置座標を用いる。
【０２４１】
ここまでの処理の内容を上記図４と上記図５を用いて説明する。図４における左側の図は左画像を表したものであり、図中の破線によって区切られた領域が分割されたブロックを示す。この図では左画像を4×4のブロックに分けた例を示す。また、図中の点は各ブロック毎に抽出された特徴点を示す。図４における右側の図は右画像を表したものであり、図中の点は上記ステップＳ６１で抽出された右画像中の対応点を示す。例えば図中の点bは、処理によって点aと対応付けられた点である。
【０２４２】
図５における左側の図は左画像を表したものであり、図中の破線及び点は図４における左側の図の破線及び点と同じ破線及び点である。上記ステップＳ４３では、図５に示すように左画像中で抽出された特徴点を交点としてメッシュが生成され、このメッシュが左画像の上に重ね合わされて表示される。ここで、メッシュの端点は画像境界部の各ブロックのコーナーの点の中点である。
【０２４３】
同様に、図５における右側の図は右画像を表したものであり、図中の点は図４における右側の図の点と同じ点である。上記ステップＳ６２では、図５に示すように、上記ステップＳ６１で抽出された対応点を交点としてメッシュが生成され、このメッシュが右画像の上に重ね合わされて表示される。同様に、メッシュの端点は画像境界部の各ブロックのコーナーの点の中点である。例えば、図５に示す領域Aと領域Bとが、対応するメッシュを表す。ここまでの処理はシステムが全て自動で行う。
【０２４４】
ステップＳ６３では、ユーザがディスプレイ４５６上で図５に示す結果を画像とともに見て、特に対応するメッシュの交点が正しいかどうかを確認する。ユーザがこれでよい（メッシュの交点が正しく対応している）と判断した場合は、ディスプレイ４５６または入力デバイスを介して、システムに次の処理（ステップＳ６４）を行うよう指示する。また、修正が必要な場合は、ディスプレイ４５６上のカーソル等で修正すべきメッシュの交点を指示し、正しいと思われる位置に交点を移動する。
【０２４５】
この修正の指示が行われた場合は、上記ステップＳ６２に処理を戻す。修正が行われた点の対応点の位置座標は書き換えられ、上記ステップＳ６２では、それに従って、再びメッシュが生成され、元の左右画像の上に重ね合わせて表示される。
【０２４６】
ステップＳ６４では、それぞれのメッシュについて、メッシュの交点である対応点座標と画像データをもとに、メッシュ同士の対応関係を表すモデルを求める。先ず、メッシュの交点である対応点座標を用いて、モデルパラメータを複数セット計算する。ここでは、メッシュ同士の対応関係を表すモデルとして、双線形関数をベースとした以下の（式1）に示す形式のモデルを考える。
【０２４７】

但し、（xL，yL）、（xR，yR）はそれぞれ左右画像の画素座標、（xa，ya）は左画像のメッシュ交点の4組の対応点座標の平均座標を表す。
【０２４８】
メッシュ交点の４組の対応点座標を（xL，yL）、（xR，yR）に当てはめ、複数のkの値に対してそれぞれ対応する複数セットのパラメータ｛kO，kl，k2，k3，k4，k5，k6，k7｝を方程式を解いて求める。次に、左画像のメッシュ内の各画素に対応する右画像の画素をモデルパラメータを用いて求め、その画素値を比較することで、モデルの整合性を評価する。左画像のメッシュ内の各画素位置（xL，yL）をメッシュ同士の対応関係を表す（式1）に代入して、それに対応する右画像の画素位置（xR，yR）を計算し、その画素値をそれぞれの画像データから求める。そして、その差分絶対値の和を評価値として求める。これを全てのモデルパラメータについて行う。
【０２４９】
この評価値は、実質的に左画像のメッシュ画像をモデルに基づき右画像の対応するメッシュに変形し、その変形した画像と右画像との差に相当する。そして、各々の評価値を比較し、その値が最も小さいモデルをそのメッシュのモデルとして選択し、k及び｛kO，kl，k2，k3，k4，k5，k6，k7｝をモデルパラメータとして記憶しておく。以上の処理を各メッシュについて行うことにより、それぞれのメッシュで左右メッシュ同士の対応関係を表すモデルが求まる。
【０２５０】
ステップＳ６５では、メッシュ毎に仮想視点画像を生成するためのパラメータを取得する。例えば、カメラの視点位置が左画像からn△（n＝−5、−4、…、15）離れた仮想視点画像を生成する場合には、パラメータは上記ステップＳ３４で求めたモデルパラメータのn△／B倍の値となる。従って、求めるパラメータを｛k’，kO’，kl’，k2’，k3’，k4’，k5’，k6’，k7’｝とすると、例えば、k’＝n△k／B，kO’＝n△kO／B，kl＝n△k1／Bとなる。
【０２５１】
ステップＳ６６では、上記ステップＳ６５で取得したパラメータに従い、左画像を変形して仮想視点画像を生成する。仮想視点画像の生成はフォワードマッピングによる。（フォワードマッピングに関しては、Wolberg著，IEEE Computer Society Press，”Digital Image Warping”，pp．42-44参照）。フォワードマッピングは、左画像の各画素に対して、その画素が属するメッシュのパラメータを用いて、以下の（式2）の座標変換を行うものであり、仮想視点画像を生成する。
【０２５２】

但し、（xM，yM）は仮想視点画像の画素座標、（xa，ya）は左画像のメッシュ交点の4組の対応点座標の平均座標を表す。
【０２５３】
以上説明したように、本発明の第５の実施の形態によれば、同一被写体の複数視点の画像から、所定軌跡の視点で撮影された一連の左画像と、該一連の左画像のそれぞれと水平方向に所定位置だけ視点が右側に移動した一連の右画像を生成し、これら一連の左右画像を動画像として順次表示し、左右それぞれの眼で独立に観察するようにしたので、立体画像を処理して、ステレオ視差だけでなく動体視差も含めた立体画像表示を行い、より容易に、リアルな被写体の立体像を観察することができる。
【０２５４】
即ち、デジタルカメラ４５３に立体写真アダプタ４５２を装着して撮影した立体画像から、左右の画像シーケンスを生成し、それらの画像シーケンスを動画として順次表示することにより、視点が連続的に移動する動画立体画像を観察することができる。
【０２５５】
［第６の実施の形態］
本発明の第６の実施の形態は、デジタルカメラに立体写真アダプタを装着して被写体を撮影し、時分割シャッタ眼鏡方式により立体画像表示を行う立体画像撮影／表示システムである。
【０２５６】
本発明の第６の実施の形態に係る立体画像撮影／表示システムは、上記第５の実施の形態と同様に、立体写真アダプタ４５２、デジタルカメラ４５３、記録メディア４５４、コンピュータ４５５、ディスプレイ４５６、同期信号発生器４５７、液晶シャッタ眼鏡４５８を備えている。更に、コンピュータ４５５は、記録メディアインタフェース４６１、表示制御部４６２、記憶媒体４６３、制御部４６４を備えている（上記図１７参照）。
【０２５７】
本発明の第６の実施の形態に係る立体画像撮影／表示システムの構成は、上記第５の実施の形態と同様であり、上記で詳述したので説明を省略する。また、第６の実施の形態に係る立体画像の処理方法も、上記第５の実施の形態の図１５に示した処理方法に準じるものであり、以下、立体画像の処理における差異のある部分について説明する。
【０２５８】
図２１に本発明の第６の実施の形態に係る処理プログラムのアルゴリズムを示す。立体画像の処理プログラムは、コンピュータ４５５の制御部４６４の制御によりオペレーティングシステムを介して実行される。図２１のステップＳ７１〜Ｓ７２、ステップＳ７５〜Ｓ７７は、上記図１５のステップＳ４１〜Ｓ４２、ステップＳ４５〜Ｓ４７と同等の処理を行うものとする。
【０２５９】
立体画像の処理プログラムが実行されると、先ず、ユーザが立体画像データのファイル名をコンピュータ４５５のキーボード等の入力デバイス（図示略）から入力する。これに伴い、コンピュータ４５５に挿入された記録メディア４５４に記憶されている立体画像データが、記憶メディアインタフェース４６１を介してコンピュータ４５５のシステムメモリ（図示略）に読み込まれる（ステップＳ７１）。次に、立体画像データから左右画像データを生成する（ステップＳ７２）。次に、左画像データから左画像シーケンスを生成する（ステップＳ７３Ｌ）。また、右画像データから右画像シーケンスを生成する（ステップＳ７３Ｒ）。
【０２６０】
ここで、上記生成する画像に関して、デジタルカメラの位置及び方向を図２２に示す。図２２で実線は左画像についてのデジタルカメラの軌跡、破線は右画像についてのカメラの軌跡を表し、vL、vRはそれぞれ左画像、右画像についてのデジタルカメラの視点位置とその方向を表す。但し、左画像についてのデジタルカメラの軌跡と右画像についてのデジタルカメラの軌跡は、同一直線上に存在するが、作図の都合上、分けて示した。
【０２６１】
また、vL5m、vL4m、・・・、vLlm、vLl、vL2、・・・、vL5は、上記ステップＳ７３Ｌで生成する画像についての仮想的なカメラの位置及び方向を表し、画像シーケンスvL5m、vL4m、・・・、vLlm、vL、vLl、vL2、・・・、vL5を出力する。また、vR5m、vR4m、・・・、vRlm、vRl、vR2、・・・、vR5は、上記ステップＳ７３Ｒで生成する画像についての仮想的なカメラの位置及び方向を表し、画像シーケンスvR5m、vR4m、・・・、vRlm、vR、vRl、vR2、・・・、vR5を出力する。
【０２６２】
ステップＳ７３Ｌでは、左右画像から左画像に対する仮想視点画像のモデルパラメータを求め、左画像を変形して仮想視点画像の生成を順次行い、ステップＳ７３Ｒでは、左右画像から右画像に対する仮想視点画像のモデルパラメータを求め、右画像を変形して仮想視点画像の生成を順次行う。
【０２６３】
次に、ディスプレイ４５６に左右画像データの立体表示を行う（ステップＳ７５）。この立体表示の間、ユーザが表示の終了をコンピュータ４５５の入カデバイスを介して指示した場合には（ステップＳ７６でＹＥＳ）、立体視表示を終了する。また、ユーザによる表示終了の指示がない場合には（ステップＳ７６でＮＯ）、表示する立体画像の視点が移動するように、立体画像の更新を行う（ステップＳ７７）。
【０２６４】
以上説明したように、本発明の第６の実施の形態によれば、左右画像シーケンスを動画として順次表示することにより、視点が連続的に移動する動画立体画像を観察することができる。本発明の第６の実施の形態では、上記第５の実施の形態に比べて、画像シーケンスの１コマあたりの生成する画像数は多くなるが、隣接画像との視差移動量△に関係なく、左右画像の視差を任意に設定することができる。
【０２６５】
上記第５及び第６の実施の形態では、デジタルカメラに立体写真アダプタを装着して撮影した立体画像から左右の画像シーケンスを生成するようにしたので、２台のカメラを左右に並べて立体画像を撮影する方法や、１台のカメラを移動して立体画像を撮影する方法に比べて、撮影の設定が容易であり、１ショットで立体画像を撮影することができる利点があり、そのようにして撮影した立体画像から、コンピュータの処理プログラムにより容易に立体画像を表示することができる。
【０２６６】
また、上記第５及び第６の実施の形態における動体視差の効果は、左右の画像から発生したものであるため、実際に撮影位置を変えて撮影した画像に比べ、特に被写体同士の遮蔽の様子等が多少異なる擬似的なものではあるが、１ショットで簡単に撮影した画像からでも得ることができる。
【０２６７】
また、上記第５及び第６の実施の形態において、被写体の奥行きのレンジが大き過ぎる場合には、ディスプレイ画面での左右画像の視差が大きくなり、立体画像の観察が難しくなる。逆に、被写体の奥行きのレンジが小さ過ぎる場合には、ディスプレイ画面での左右画像の視差が小さくなり、被写体の立体感が乏しくなる。これらの不都合を解消するために、例えば、上記第５の実施の形態では、左右視差を２△になるように立体画像を表示するようにしたが、ディスプレイ画面での立体感に応じて、画像シーケンス中の左右画像の設定を変えることで、左右視差を調整できるようにしてもよい。
【０２６８】
また、上記第５及び第６の実施の形態では、左右画像を時間的に切り替えて表示し、観察者が液晶シャッタ眼鏡を介して立体画像を観察するシステムについて説明したが、左右画像シーケンスの対応する画像をストライプ状に分けて並べた画像を生成し、液晶シャッタ眼鏡が不要なパララックスバリア方式の立体表示装置や、レンチキュラレンズ方式の立体表示装置に表示するようにしてもよい。
【０２６９】
上記第５及び第６の実施の形態の処理は、デジタルカメラで撮影した立体画像に限定されるものではなく、例えば35mmフィルム方式のカメラに立体写真アダプタを装着して撮影し、現像後のフィルムをスキャナでコンピュータに読み込んだ立体画像に対しても適用することができる。
【０２７０】
また、上記第５及び第６の実施の形態においては、カメラで撮影された立体画像の処理をコンピュータのプログラムで行うようにしたが、同等の処理を専用のハードウェアで行ってもよい。
【０２７１】
［第７の実施の形態］
本発明の第７の実施の形態に係る立体画像撮影／表示システムは、上記第５、第６の実施の形態と同様に、立体写真アダプタ４５２、デジタルカメラ４５３、記録メディア４５４、コンピュータ４５５、ディスプレイ４５６、同期信号発生器４５７、液晶シャッタ眼鏡４５８を備えている。更に、コンピュータ４５５は、記録メディアインタフェース４６１、表示制御部４６２、記憶媒体４６３、制御部４６４を備えている（上記図１７参照）。
【０２７２】
本発明の第７の実施の形態に係る立体画像撮影／表示システムの構成は、上記第５、第６の実施の形態と同様であり、上記で詳述したので説明を省略する。
【０２７３】
本発明の第７の実施の形態の特徴は立体画像の処理プログラムにあり、以下、そのアルゴリズムを説明する。図２３に立体画像の処理プログラムのアルゴリズムを示す。立体画像の処理プログラムは、コンピュータ４５５の制御部４６４の制御によりオペレーティングシステムを介して実行される。
【０２７４】
立体画像の処理プログラムが実行されると、先ず、ユーザが立体画像データのファイル名をコンピュータ４５５のキーボード等の入力デバイス（図示略）から入力し、これに伴い、立体画像データがコンピュータのシステムメモリ（図示略）に読み込まれる（ステップＳ８１）。立体画像データは、通常、コンピュータ４５５で扱う画像データと同様の形式のデータであり、例えば、RGB各色チャンネルごとに縦横２次元のデータ配列と画像データの情報を表すヘッダからなるビットマップデータである。
【０２７５】
次に、デジタルカメラ４５３の撮影パラメータがユーザによりコンピュータ４５５のキーボード等の入カデバイスから入力される（ステップＳ８２）。ここで、デジタルカメラ４５３の撮影パラメータとは、撮影した画像の視野角を表すデジタルカメラ４５３の撮影レンズの焦点距離と、左右それぞれの画像の輻輳角である。デジタルカメラ４５３の撮影レンズの焦点距離は、例えば35mm銀塩ステルカメラ相当の値であり、画像データの視野角に相当する物理量を導出できるものであればよい。
【０２７６】
従って、デジタルカメラ４５３の撮影レンズの実際の焦点距離と、撮影面に配置されるイメージセンサの大きさ、画像データの縦横画素数を入力して、画像データの視野角に相当する物理量を導出するようにしてもよい。また、輻輳角は図２４に示す角度αの２倍に相当する角度である。デジタルカメラ４５３や立体写真アダプタ４５２の撮影パラメータが固定値であるならば、コンピュータ４５５の入カデバイスから入力を行う代わりに、予め撮影パラメータをプログラム内に記憶しておいてもよい。
【０２７７】
次に、上記ステップＳ８１で読み込んだ立体画像データを左右画像データに分割する（ステップＳ８３）。例えば、立体画像データが水平垂直M×Nの２次元配列をなす画像データである場合、画像中心を通る垂直ラインを境界として、それぞれ水平垂直M／2×Nの画像データに分割する。
【０２７８】
次に、左右それぞれの画像データの台形歪みを補正する（ステップＳ８４）。即ち、上記ステップＳ８２で入力された撮影パラメータを用いて、それぞれの画像データの画面中心を中心として、台形歪み補正後の仮想的な撮影面が互いに平行になるように、同じ角度だけ反対方向に台形歪み補正を行う。ここで、台形歪み補正を行う角度は、図２４に示すように、それぞれの画像データの画面中心を通る光線と撮影面とのなす角度βと、輻輳角の半分の角度αとの和である。角度βはほぼ水平視野角の1／4であり、撮影レンズの焦点距離より求まる。台形歪み補正の処理は、よく知られた画像データの３次元の回転マトリクスによる幾何学的変換による処理である。尚、図２４は上記図１６と同一構成のため、説明を省略する。
【０２７９】
次に、それぞれ補正された左右画像データから、画像データとして有効な領域から矩形領域を切り出す（ステップＳ８５）。矩形領域を切り出す処理を行う理由は、画像データとして有効な領域が、左右画像データで左右線対称な台形状になり、このまま立体視表示すると、画像データとして有効な領域と有効でない領域とが重なってしまい、見づらくなってしまうからである。このとき、切り出す矩形領域の大きさは左右画像データで同じである。
【０２８０】
また、画像データとして有効な領域から多少余裕幅を持たせた領域を、それぞれの画像データの中心に対称な領域として切り出す。この様子を図２５に示す。図２５の破線で示した領域TL、TRが、それぞれ左右画像データのうち画像データとして有効な台形状の領域であり、図２５の実線で示した領域RL、RRが、それぞれ左右画像データから切り出した矩形領域である。特に、左右２つの画像の境界付近で左右２つの画像が重なり合っている場合には、重なり合った領域も有効でない領域として処理を行う。
【０２８１】
次に、左右それぞれの矩形状に切り出された画像データをディスプレイ４５６に立体視表示する（ステップＳ８６）。第７の実施の形態では、ディスプレイ４５６上で左右画像データを時間をずらして交互に表示することにより、立体視表示を行う。このとき、コンピュータ４５５のシステムメモリに記憶されている、上記ステップＳ８５の処理で得られた左右の出力画像を、一旦ビデオメモリに書き込み、表示制御部４６２がビデオメモリの２つの画像データを切り替えて交互にディスプレイ４５６に表示するようにする。
【０２８２】
ディスプレイ４５６が上記の切替え表示状態にある間、ユーザが表示の終了をコンピュータ４５５の入カデバイスを介して指示した場合には（ステップＳ８７でＹＥＳ）、立体視表示を終了する。
【０２８３】
また、ユーザがコンピュータ４５５の入カデバイスを介して立体画像の調整を指示した場合には、ユーザの指示に合わせて、制御部４６４の制御により立体画像の調整を行う（ステップＳ8）。第７の実施の形態では、ディスプレイ４５６における右画像からの矩形領域を、ユーザがコンピュータ４５５の入カデバイスを介して上下左右に移動することで、制御部４６４の制御により上記立体画像の調整を行う。即ち、上記ステップＳ８５で切り出した左右画像データの矩形領域は、立体写真アダプタ４５２の構成と被写体距離により決まる所定視差だけずれるように設定されるが、立体写真アダプタ４５２の構成パラメータのずれや被写体距離の変化に対応するように、ディスプレイ４５６上で立体画像を観察しながらユーザが右画像からの矩形領域を上下左右に移動することで、制御部４６４の制御により視差調整を行うのである。
【０２８４】
ユーザが視差調整の指示を行うと、コンピュータ４５５のシステムメモリに記憶されている、右画像データから調整後の矩形領域の画像を、一旦ビデオメモリに書き込む。この時、立体視表示も同時に行う必要があるので、ビデオメモリ内の立体視表示が行われている左右画像が記憶されている領域とは別の領域に書き込むようにする。
【０２８５】
また、立体視表示の際の左右画像の切替えが遅くなると、立体感が得られなかったり、観察に不快感を感じたりするので、コンピュータ４５５のシステムメモリからビデオメモリヘの書き込みは、矩形領域の所定の小領域毎に分割して行い、小領域への書き込み毎に左右画像の切替えを行うようにする。また、コンピュータ４５５のシステムメモリからビデオメモリヘの書き込み終了後、左右画像の切替え表示は、ビデオメモリ内の左画像と新たに書き込んだ右画像とで行うように変更する。
【０２８６】
以上の処理で、立体視表示を行う右画像中の矩形領域の移動を円滑に行うことができる。視差調整が終わった後、処理を上記ステップＳ８６に戻し、通常の立体視表示が行われる。
【０２８７】
以上説明したように、本発明の第７の実施の形態によれば、デジタルカメラ４５３に立体写真アダプタ４５２を装着して撮影した立体画像を左右２つの画像に分割し、分割した左右それぞれの画像の少なくとも１つを処理する立体画像の処理方法において、立体写真アダプタ４５２は、ミラー（反射面）を有し、ミラー（反射面）により、デジタルカメラ４５３の撮影面を左右２つの画面に分割し、左右２つの視点で異なる方向から被写体をそれぞれの画面に撮影するためのアダプタであり、立体画像の処理は、左右２つの視点で異なる方向から撮影された画像を互いに平行な撮影面で撮影した画像になるように台形歪みを補正する幾何学的変換による処理であるため、デジタルカメラ４５３に立体写真アダプタ４５２を装着して撮影した画像を処理することで、良好な状態で容易に被写体の立体像を観察できる立体画像表示システムを提供することができる。
【０２８８】
また、上記幾何学的変換後の画像から部分領域を切り出すようにしたので、デジタルカメラ４５３に立体写真アダプタ４５２を装着して撮影した画像を処理することで、容易に被写体の立体像を観察できる立体画像表示システムを提供することができる。
【０２８９】
また、上記部分領域の切り出し位置を、ユーザインタフェースを介して調整するようにしたので、デジタルカメラ４５３に立体写真アダプタ４５２を装着して撮影した画像を処理することで、容易に被写体の立体像を観察できる立体画像表示システムを提供することができる。
【０２９０】
また、上記立体画像処理を行った左右画像を、左右それぞれの眼で独立に観察するようにしたので、デジタルカメラ４５３に立体写真アダプタ４５２を装着して撮影した画像を処理することで、容易に被写体の立体像を観察できる立体画像表示システムを提供することができる。
【０２９１】
第７の実施の形態では、適度な奥行きを持つ被写体を撮影した場合には適度な立体感で立体画像を観察することができるが、例えば、被写体の奥行きのレンジが大き過ぎる場合には、ディスプレイ画面での左右画像の視差が大きくなり、立体画像の観察が難しくなる。このような場合には、表示する画像の大きさを適度に縮小するようにすればよい。逆に、被写体の奥行きのレンジが小さ過ぎる場合には、ディスプレイ画面での左右画像の視差が小さくなり、被写体の立体感が乏しくなる。このような場合には、表示する画像の大きさを適度に拡大するようにすればよい。上記ステップＳ８８における立体画像の調整に、このような調整機能を付加するようにしてもよい。
【０２９２】
また、表示する画像の大きさを縮小して立体画像表示を行うと大きな画面で観察できない、表示する画像の大きさを拡大して立体画像表示を行うと画像の一部しか観察できない、等の制約が生ずる。被写体の奥行きのレンジが大き過ぎたり、小さ過ぎたりする場合に、一定サイズの画面で立体画像を観察するには、撮影した左右画像の視点の間隔を狭めたり、広げたりすればよい。例えば、台形歪み補正後の左右画像から視差分布を抽出し、視点間を結ぶ直線上で中間視点位置の画像を視差分布を利用して生成し、左右どちらかの画像と置き換えることにより、左右画像の視点の間隔を狭めた立体画像を表示することができる。また、視点間を結ぶ直線上の外側の視点位置の画像を、視差分布を利用して生成し、左右どちらかの画像と置き換えることにより、左右画像の視点の間隔を広げた立体画像を表示することができる。上記ステップＳ８８における立体画像の調整に、このような調整機能を付加するようにしてもよい。
【０２９３】
また、以上の立体画像の調整（上下左右の視差調整、被写体の奥行きのレンジ調整）を、左右画像間で相関等によるマッチング演算を行いその結果を利用して、自動的に行うようにしてもよい。
【０２９４】
また、表示する立体画像の彩度、輝度、コントラストや鮮鋭度が低かったりすると、良好な立体感が得られない場合がある。このような場合には、上記ステップＳ８４の処理で台形歪みが補正された左右画像データに対して、彩度、輝度、コントラスト、鮮鋭度の調整を行うようにすればよい。
【０２９５】
以上の立体画像に、コンピュータ４５５で生成した視差を持つ画像を合成して重ね合わせてディスプレイ４５６に表示してもよい。例えば、遠距離の風景のような立体感の乏しい被写体画像に、近距離に相当する視差を持つ画像を重ね合わせることで、立体感を強調することができる。また、適度な視差を持つ写真フレーム画像を合成すれば、奥行き感のある立体写真を演出することができる。
【０２９６】
第７の実施の形態では、左右画像を時間的に切り替えて表示し、波晶シャッタ眼鏡４５８を介して立体画像を観察するシステムについて説明したが、上記ステップＳ８５の処理で切り出された左右画像の矩形領域を、眼鏡なしのパララックスバリア方式の立体表示装置や、レンチキュラレンズ方式の立体表示装置に表示するようにしてもよい。この場合には、上記ステップＳ８６の左右画像の切替え表示による立体視表示の代わりに、切り出された左右画像データから立体表示装置に適したフォーマット（例えばストライプ状に合成された二眼像）に変換して表示するようにする。
【０２９７】
また、立体視表示を行う左右画像を、コンピュータ４５５に接続されたプリンタから印刷出力するようにしてもよい。左右画像を所定の間隔で左右並べて、適当なサイズに印刷を行えば、左右画像を別々に覗いて所定倍率に拡大して観察することができるステレオビューワにより、立体画像を観察することができる。
【０２９８】
また、立体視表示を行う左右画像を、コンピュータ４５５に装備された磁気ディスクに記録するようにしてもよい。例えば、左右画像データを別々にJPEG（Joint Photographic Expert Group）等のフォーマットで圧縮を行い、記録する。
【０２９９】
以上の処理は、デジタルカメラ４５３で撮影した立体画像に限定されるものではなく、例えば35mmフィルム方式のカメラに立体写真アダプタを装着して撮影し、現像後のフィルムをスキャナでコンピュータ４５５に読み込んだ立体画像に対しても適用できる。
【０３００】
また、第７の実施の形態においては、デジタルカメラ４５３で撮影された立体画像の処理をコンピュータ４５５の立体画像処理プログラムで行うようにしたが、同等の処理を専用のハードウェアで行ってもよい。また、デジタルカメラ４５３で上記ステップＳ８５までの処理（左右画像の分割、台形歪み補正、矩形領域の切り出し）を行って、処理された左右画像データをそれぞれ記録メディアに記録し、上記ステップＳ８６以降の処理をコンピュータ４５５の立体画像処理プログラムで行うようにしてもよい。また、デジタルカメラ４５３に限鏡なしの立体表示装置を装備し、全ての処理をデジタルカメラ４５３内で行い、立体画像を表示するようにしてもよい。
【０３０１】
［第８の実施の形態］
本発明の第８の実施の形態は、別方式の立体写真アダプタをデジタルカメラに装着した場合の実施形態である。
【０３０２】
本発明の第８の実施の形態に係る立体画像撮影／表示システムは、立体写真アダプタ４５２、デジタルカメラ４５３、記録メディア４５４、コンピュータ４５５、ディスプレイ４５６、同期信号発生器４５７、液晶シャッタ眼鏡４５８を備えている。更に、コンピュータ４５５は、記録メディアインタフェース４６１、表示制御部４６２、記憶媒体４６３、制御部４６４を備えている（上記図１７参照）。但し、立体写真アダプタ４５２は上記第５〜第７の実施の形態とは別方式のものであり、詳細は後述する。
【０３０３】
本発明の第８の実施の形態に係る立体画像撮影／表示システムの構成は、上記第５〜第７の実施の形態と同様であり、上記で詳述したので説明を省略する。また、立体画像の処理方法も上記第７の実施の形態の図２３に示す処理方法に準じ、以下、立体画像の処理における差異のある部分について説明する。
【０３０４】
図２６は本発明の第８の実施の形態に係る立体写真アダプタの構成を示す概略図である。図中、６０１は被写体、６０２はデジタルカメラ（図１７の４５３）、６０４は立体写真アダプタ（図１７の４５２）、６２１は撮影レンズ、６２２は撮影面、６４１はプリズム、６４２はミラーである。図２６において、左眼用の被写体像は、そのまま撮影レンズ６２１を通って撮影面６２２の右半分の領域に達する。一方、右眼用の被写体像は、ミラー６４２、プリズム６４１で反射し、撮影レンズ６２１を通って撮影面６２２の左半分の領域に達する。
【０３０５】
上記のような構成の立体写真アダプタ４５２を介してデジタルカメラ４５３で撮影した立体画像においては、反射面を介して撮影した右眼用の被写体像にのみ台形歪みが発生する。従って、右眼用の被写体像の台形歪みを補正するように立体画像に対して処理を行う。以下、そのアルゴリズムを上記図２３に基づき説明する。上記図２３のアルゴリズムは、コンピュータ４５５の制御部４６４の制御によりオペレーティングシステムを介して実行される。
【０３０６】
立体画像の処理プログラムが実行されると、先ず、ユーザが立体画像データのファイル名をコンピュータ４５５のキーボード等の入力デバイス（図示略）から入力し、これに伴い、立体画像データがコンピュータ４５５のシステムメモリ（図示略）に読み込まれる（ステップＳ８１）。次に、デジタルカメラ４５３の撮影パラメータがユーザによりキーボード等の入カデバイスから入力される（ステップＳ８２）。次に、上記ステップＳ８１で読み込んだ立体画像データを左右画像データに分割する（ステップＳ８３）。次に、右画像データの台形歪みを補正する（ステップＳ８４）。
【０３０７】
次に、台形歪みが補正された右画像データから、画像データとして有効な領域から矩形領域を切り出す（ステップＳ８５）。また、同じ大きさの矩形領域を左画像データから切り出す。次に、左右それぞれの矩形状に切り出された画像データをディスプレイ４５６に立体視表示する（ステップＳ８６）。ディスプレイ４５６におけるこの立体視表示の間、ユーザが表示の終了をコンピュータ４５５の入カデバイスを介して指示した場合には（ステップＳ８７でＹＥＳ）、立体視表示を終了する。
【０３０８】
他方、ユーザがコンピュータ４５５の入カデバイスを介して立体画像の調整を指示した場合には（ステップＳ８７でＮＯ）、ユーザの指示に合わせて、立体画像の調整を行う（ステップＳ８８）。立体画像の調整が終わった後、処理を上記ステップＳ８６に戻し、ディスプレイ４５６に通常の立体視表示が行われる。
【０３０９】
以上説明したように、本発明の第８の実施の形態によれば、デジタルカメラ４５３に立体写真アダプタ４５２を装着して撮影した画像を処理することで、良好な状態で容易に被写体の立体像を観察することができる。
【０３１０】
［第９の実施の形態］
本発明の第９の実施の形態は、左右の開口部にアナモルフィックレンズを装備した立体写真アダプタをデジタルカメラに装着した場合の実施形態である。
【０３１１】
本発明の第９の実施の形態に係る立体画像撮影／表示システムは、立体写真アダプタ４５２、デジタルカメラ４５３、記録メディア４５４、コンピュータ４５５、ディスプレイ４５６、同期信号発生器４５７、液晶シャッタ眼鏡４５８を備えている。更に、コンピュータ４５５は、記録メディアインタフェース４６１、表示制御部４６２、記憶媒体４６３、制御部４６４を備えている（上記図１７参照）。但し、立体写真アダプタ４５２は上記第５〜第８の実施の形態とは別方式のものであり、詳細は後述する。
【０３１２】
本発明の第９の実施の形態に係る立体画像撮影／表示システムの構成は、上記第５〜第８の実施の形態と同様であり、上記で詳述したので説明を省略する。
【０３１３】
図２７は本発明の第９の実施の形態に係る立体写真アダプタの構成を示す概略図である。図中、７０１は被写体、７０２はデジタルカメラ（図１７の４５３）、７０３は立体写真アダプタ（図１７の４５２）、７２１は撮影レンズ、７２２は撮影面、７３１はプリズム、７３２、７３３はミラーである。また、７６１、７６２は互いに同等の特性を持つアナモルフィックレンズであり、立体写真アダプタ７０３の左右の開口部に装着される。アナモルフィックレンズ７６１、７６２は、その光軸がそれぞれ左眼用画面、右眼用画面の中心を通る光束の主光線ｍ、ｎと一致するように、立体写真アダプタ７０３に装着される。
【０３１４】
アナモルフィックレンズ７６１、７６２は、画像の縦方向と横方向の倍率が異なる像を生じるように作用するレンズであり、第９の実施の形態では、画像の横方向のみ1／2に圧縮する作用を持つものとする。アナモルフィックレンズ７６１、７６２は、例えば、凹状のシリンドリカルレンズと凸状のシリンドリカルレンズを組み合わせて構成される。図２７において、左眼用の被写体像は、アナモルフィックレンズ７６１を介して、ミラー７３２、プリズム７３１で反射し、撮影レンズ７２１を通って撮影面７２２の右半分の領域に達する。一方、右眼用の被写体像は、アナモルフィックレンズ７６２を介して、ミラー７３３、プリズム７３１で反射し、撮影レンズ７２１を通って撮影面７２２の左半分の領域に達する。
【０３１５】
上記のような構成の立体写真アダプタ７０３で撮影した立体画像においては、被写体画像が左右方向に圧縮され、更に台形歪みが発生する。従って、左右画像の被写体像の台形歪みを補正し、更に左右方向にのみ像を伸長するように処理を行う。以下、そのアルゴリズムを上記図２３に基づき説明する。上記図２３のアルゴリズムは、コンピュータ４５５の制御部４６４の制御によりオペレーティングシステムを介して実行される。
【０３１６】
立体画像の処理プログラムが実行されると、先ず、ユーザが立体画像データのファイル名をコンピュータ４５５のキーボード等の入力デバイス（図示略）から入力し、これに伴い、立体画像データがコンピュータ４５５のシステムメモリ（図示略）に読み込まれる（ステップＳ８１）。次に、デジタルカメラ４５３の撮影パラメータがユーザによりキーボード等の入カデバイスから入力される（ステップＳ８２）。次に、上記ステップＳ８１で読み込んだ立体画像データを左右画像データに分割する（ステップＳ８３）。次に、左右画像データの台形歪みを補正する（ステップＳ８４）。そして、台形歪み補正後の画像データを左右方向に２倍に伸長する。
【０３１７】
次に、台形歪みが補正された左右画像データにおいて、画像データとして有効な領域から矩形領域を切り出す（ステップＳ８５）。次に、左右それぞれの矩形状に切り出された画像データをディスプレイ４５６に立体視表示する（ステップＳ８６）。ディスプレイ４５６におけるこの立体視表示の間、ユーザが表示の終了をコンピュータ４５５の入カデバイスを介して指示した場合には（ステップＳ８７でＹＥＳ）、立体視表示を終了する。
【０３１８】
他方、ユーザがコンピュータ４５５の入カデバイスを介して立体画像の調整を指示した場合には（ステップＳ８７でＮＯ）、ユーザの指示に合わせて、立体画像の調整を行う（ステップＳ８８）。立体画像の調整が終わった後、処理を上記ステップＳ８６に戻し、通常の立体視表示が行われる。
【０３１９】
以上説明したように、本発明の第９の実施の形態によれば、立体写真アダプタ４５２を介してデジタルカメラ４５３で撮影した画像においては、デジタルカメラ４５３の水平方向の視野が三分され、例えば、通常撮影におけるアスベクト比が4：3の横長の視野が2：3の縦長の視野になる。第９の実施の形態では、アナモルフィックレンズ７６１、７６２により左右画像で4：3の横長の視野の画像を水平方向に1／2に圧縮して撮影し、コンピュータ４５５の立体画像処理プログラムにより、台形歪みを補正し、水平方向に2倍に伸長することで、4：3のアスペクト比の立体画像を容易に観察することができる。
【０３２０】
尚、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。上述した実施形態の機能を実現するソフトウエアのプログラムコードを記憶した記憶媒体等の媒体をシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体等の媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【０３２１】
この場合、記憶媒体等の媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体等の媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体等の媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、或いはネットワークを介したダウンロードなどを用いることができる。
【０３２２】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０３２３】
更に、記憶媒体等の媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０３２７】
【発明の効果】
以上説明したように、本発明によれば、被写体を複数の視点から撮影した複数の画像に基づき任意の視点から見た画像を生成する際に、前記対応点の抽出結果に基づき前記複数の画像をメッシュ領域に分割し、対応する前記メッシュ領域同士の対応関係を表す双線形関数をベースにしたモデルを求め、前記モデルに基づき前記メッシュ領域毎に中間画像を生成するためにパラメータを取得し、前記パラメータに従い前記第２の視点位置の画像をフォワードマッピングにより領域を変形して連続した視点位置での画像を順次生成することで動画像を生成するようにしたので、複数の画像から３次元動画像を自動的に得ることができる。
【０３２８】
また、上記の本発明の３次元画像生成装置と対応する本発明の３次元画像生成方法、本発明の記憶媒体においても、上記と同様の効果が得られる。
【図面の簡単な説明】
【図１】本発明の第１、第２の実施の形態に係る３次元画像生成装置の構成を示すブロック図である。
【図２】第１の実施の形態に係る３次元画像生成方法のアルゴリズムを示すフローチャートである。
【図３】第１の実施の形態に係る対応点抽出処理のアルゴリズムを示すフローチャートである。
【図４】左画像、右画像を示す概略図である。
【図５】左画像のメッシュ、右画像のメッシュを示す概略図である。
【図６】第１の実施の形態に係るモデル化のアルゴリズムを示すフローチャートである。
【図７】第２の実施の形態に係る３次元画像生成方法のアルゴリズムを示すフローチャートである。
【図８】第２の実施の形態に係る３次元画像生成方法のアルゴリズムを示すフローチャートである。
【図９】第３の実施の形態に係る撮像／表示システムの構成を示すブロック図である。
【図１０】第３の実施の形態に係る被写体画像表示処理のアルゴリズムを示すフローチャートである。
【図１１】投光パターンを示す概略図である。
【図１２】第３の実施の形態に係る視差抽出部で行う処理のアルゴリズムを示すフローチャートである。
【図１３】デジタルカメラの要部の構成を示す概略図である。
【図１４】第４の実施の形態に係る撮像／表示システムの構成を示すブロック図である。
【図１５】第５の実施の形態に係る立体画像処理プログラムのアルゴリズムを示すフローチャートである。
【図１６】第５〜第９の実施の形態に係る立体写真アダプタ、デジタルカメラの構成を示す概略図である。
【図１７】第５の実施の形態に係る撮像／表示システムの構成を示す概略図である。
【図１８】第５の実施の形態に係る左右画像データ生成のアルゴリズムを示すフローチャートである。
【図１９】デジタルカメラの位置及び方向を示す概略図である。
【図２０】第５の実施の形態に係る左右画像から仮想視点画像の生成方法のアルゴリズムを示すフローチャートである。
【図２１】第６の実施の形態に係る立体画像処理プログラムのアルゴリズムを示すフローチャートである。
【図２２】デジタルカメラの位置及び方向を示す概略図である。
【図２３】第７の実施の形態に係る立体画像処理プログラムのアルゴリズムを示すフローチャートである。
【図２４】第７の実施の形態に係る立体写真アダプタ、デジタルカメラの構成を示す概略図である。
【図２５】画像データにおける台形状領域、矩形状領域を示す概略図である。
【図２６】第８の実施の形態に係る立体写真アダプタ、デジタルカメラの構成を示す概略図である。
【図２７】第９の実施の形態に係る立体写真アダプタ、デジタルカメラの構成を示す概略図である。
【符号の説明】
１、２ デジタルカメラ（撮像装置）
４ 画像処理部（画像処理手段）
７ 第二記憶部（記憶手段）
５２、２０２ 視差抽出部（視差抽出手段）
６１、２１１ パターン投光部（投光手段）
６２、２１２Ｒ、２１２Ｌ 撮像部（撮像手段）
８１、２３１ 画像生成部（画像生成手段）
８２、２３２ 表示部（表示手段）
８３、２３３ ユーザコマンド入力部（入力手段）
４５２ 立体写真アダプタ
４５３ デジタルカメラ（撮像装置）
４５５ コンピュータ（画像生成手段、表示制御手段）
４５６ ディスプレイ（表示手段）
４５８ 液晶シャッタ眼鏡（立体画像観察装置）
５０２ デジタルカメラ（撮像装置）
５０３ 立体写真アダプタ
５３２、５３３ ミラー（反射面）
７６１、７６２ アナモルフィックレンズ（光学手段）

Claims (4)

1. 被写体を複数の視点から撮影した複数の画像に基づき任意の視点から見た画像を生成する３次元画像生成装置であって、
   第１の視点位置の画像を分割した各ブロックから特徴点を抽出し、前記特徴点を中心とした所定サイズの部分領域をテンプレートとして、第２の視点位置の画像との相関値を求めることにより、前記被写体を複数の視点から撮影した複数の画像間の対応点を抽出する抽出手段と、
   前記対応点の抽出結果に基づき前記複数の画像をメッシュ領域に分割し、対応する前記メッシュ領域同士の対応関係を表す双線形関数をベースにしたモデルを求め、前記モデルに基づき前記メッシュ領域毎に中間画像を生成するためにパラメータを取得し、前記パラメータに従い前記第２の視点位置の画像をフォワードマッピングにより領域を変形して連続した視点位置での画像を順次生成することで動画像を生成する画像処理手段を有することを特徴とする３次元画像生成装置。
2. 前記抽出手段は、前記第１の視点位置の画像と前記第２の視点位置の画像のそれぞれについてのピラミッド画像を用いて前記相関値を求めることを特徴とする請求項１に記載の３次元画像生成装置。
3. 被写体を複数の視点から撮影した複数の画像に基づき任意の視点から見た画像を生成する３次元画像生成方法であって、
   第１の視点位置の画像を分割した各ブロックから特徴点を抽出し、前記特徴点を中心とした所定サイズの部分領域をテンプレートとして、第２の視点位置の画像との相関値を求めることにより、前記被写体を複数の視点から撮影した複数の画像間の対応点を抽出し、
   前記対応点の抽出結果に基づき前記複数の画像をメッシュ領域に分割し、対応する前記メッシュ領域同士の対応関係を表す双線形関数をベースにしたモデルを求め、前記モデルに基づき前記メッシュ領域毎に中間画像を生成するためにパラメータを取得し、前記パラメータに従い前記第２の視点位置の画像をフォワードマッピングにより領域を変形して連続した視点位置での画像を順次生成することで動画像を生成することを特徴とする３次元画像生成方法。
4. 被写体を複数の視点から撮影した複数の画像に基づき任意の視点から見た画像を生成する３次元画像生成装置に適用される３次元画像生成方法を実行するプログラムを記憶したコンピュータにより読み出し可能な記憶媒体であって、
   前記３次元画像生成方法は、第１の視点位置の画像を分割した各ブロックから特徴点を抽出し、前記特徴点を中心とした所定サイズの部分領域をテンプレートとして、第２の視点位置の画像との相関値を求めることにより、前記被写体を複数の視点から撮影した複数の画像間の対応点を抽出するステップと、前記対応点の抽出結果に基づき前記複数の画像をメッシュ領域に分割するステップと、対応する前記メッシュ領域同士の対応関係を表す双線形関数をベースにしたモデルを求めるステップと、前記モデルに基づき前記メッシュ領域毎に中間画像を生成するためにパラメータを取得するステップと、前記パラメータに従い前記第２の視点位置の画像をフォワードマッピングにより領域を変形して連続した視点位置での画像を順次生成することで動画像を生成するステップとを有することを特徴とする記憶媒体。

Images