JP3642923B2 - 映像生成処理装置及びその装置で用いられる構造化データを作成する構造化データ作成装置 - Google Patents
映像生成処理装置及びその装置で用いられる構造化データを作成する構造化データ作成装置 Download PDFInfo
- Publication number
- JP3642923B2 JP3642923B2 JP17610097A JP17610097A JP3642923B2 JP 3642923 B2 JP3642923 B2 JP 3642923B2 JP 17610097 A JP17610097 A JP 17610097A JP 17610097 A JP17610097 A JP 17610097A JP 3642923 B2 JP3642923 B2 JP 3642923B2
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- object image
- feature point
- image
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、物体を任意の視点から見た映像を生成する映像生成処理装置及びその映像生成処理装置での処理に用いられる構造化データを作成する構造化データ作成装置に関する。
このような装置は、美術館等に収納されている彫刻、壷等の作品の三次元映像を表示装置に表示させ、実際に美術館等に行かなくても、その作品を任意の方向から観賞できるようなシステムに適用できる。また、電子ショッピングにおいて、このような装置は、表示装置の画面上で商品の外観を種々の方向から観察できるようなシステムにも適用することができる。
【０００２】
【従来技術】
従来、種々の視点から見た物体の映像を表示させるシステムとして、例えば、図３７に示すようなシステムが考えられる。このようなシステムは、構造化データ作成装置５０と映像生成処理装置６０とから構成されている。構造化データ作成装置５０は、物体Ｔの三次元形状を測定するレンジセンサ５１と、レンジセンサ５１からの測定データに基づいて三次元形状データを作成する三次元データ作成部５２と、物体Ｔの表面を撮影するテレビカメラ５３と、テレビカメラ５３からの映像信号に基づいて物体Ｔ表面各部の色を表すテクスチャデータを作成するテクスチャデータ作成部５４と、上記三次元形状データ作成部５２にて作成された物体Ｔの三次元形状データ及びテクスチャデータを構造化データとして格納する構造化データ格納部５５とを有している。
【０００３】
この構造化データ格納部５５に格納された構造化データは、通信路を介して、あるいは、ＣＤ−ＲＯＭ等の記録媒体を用いて映像生成処理装置６０に提供される。
この映像生成処理装置６０は、提供された構造化データを格納する構造化データ格納部６１と、ユーザが希望する出力映像の視点（出力視点）を設定するための出力視点設定部６２と、この設定された出力視点から見た映像を上記構造化データから投影処理によって生成する投影処理部６３とを有している。そして、投影処理部６３にて生成された映像が表示装置に表示される。
【０００４】
このようなシステムによれば、物体Ｔの三次元形状データとテクスチャデータから所謂コンピュータグラフィックスの手法（投影処理）を用いて任意の視点での当該物体Ｔの映像を表示装置に表示させることができる。
【０００５】
【発明が解決しようとする課題】
しかし、上記のようなシステムでは、歪んだ壷等のように幾何学的に単純でない物体から測定された三次元形状が必ずしも正確なものではない。また、テレビカメラで撮影した物体表面のテクスチャと測定された三次元形状で表される物体表面上の位置との対応が必ずしも正確でない。更に、実際に物体を種々の視点から観察した場合には、光源と物体との位置関係によって物体表面の色が変化するが、現状のコンピュータを用いた投影処理ではその効果を必ずしも正確に表現できない。
【０００６】
従って、上記のようにして生成された任意の視点から見た物体Ｔの映像は、実際にその視点から観察される物体と必ずしも正確に一致しない。そのため、上記システムの表示装置に表示される物体Ｔの映像のリアリティは必ずしも高いものではない。
このような問題を解決するため、物体Ｔを予め多数の視点から撮影して得られた画像を蓄積しておき、ユーザが指定した視点（出力視点）に最も近い視点から撮影した画像を選んで表示装置に表示させるシステムが考えられる。このようなシステムでは、実際に物体を撮影して得られた画像そのものが表示されるので、ユーザは表示装置の画面上でリアリティの高い映像を見ることができる。
【０００７】
しかし、ユーザが任意に希望する視点あるいは、その希望する視点により近い視点での映像を得るためには、物体をより多くの視点から撮影した物体の画像を蓄積しておかなければならない。このため、画像データを蓄積するための記憶媒体の容量が非常に多くなってしまう。また、画像データを蓄積したサーバから通信路を介して当該画像データを映像生成処理装置に取り込む場合、多量の画像データを転送するために、広帯域の通信路が必要となる。
【０００８】
そこで、本発明の第一の課題は、用意すべき画像データの量がより少ないものであっても、任意の視点から見た物体のよりリアルな映像を生成することのできる映像生成処理装置を提供することである。
また、本発明の第二の課題は、このような映像生成処理装置での処理をコンピュータに行なわせるためのプログラムを格納した記録媒体を提供することである。
【０００９】
更に、本発明の第三の課題は、上記のような映像生成処理装置で用いられる構造化データを作成する構造化データ作成装置を提供することである。
また、本発明の第四の課題は、このような構造化データ作成装置での処理をコンピュータに行なわせるためのプログラムを格納した記録媒体を提供することである。
【００１０】
【課題を解決するための手段】
上記本発明の第一の課題を解決するため、本発明に係る映像生成処理装置は、請求項１に記載されるように、複数の視点から物体を撮影して得られる物体画像を各視点に対応させて格納した入力視点画像格納手段と、入力視点画像格納手段に格納された各視点での物体画像上の互いに対応する特徴点の位置を格納した入力特徴点格納手段と、入力視点画像格納手段に格納された各物体画像を得るために物体を撮影した視点の位置を格納する入力視点格納手段と、任意の視点が指定されたときに、上記入力視点格納手段に格納された視点から所定数の視点を選択する視点選択手段と、上記入力特徴点格納手段から得られる視点選択手段にて選択された各視点での物体画像上の特徴点の位置関係および選択された各視点と指定された視点との関係に従って、選択された各視点での物体画像から上記指定された視点での物体画像を生成する画像生成手段を有し、上記視点選択手段は、指定される視点の範囲と選択されるべき所定数の視点との関係を記述したテーブルを有し、任意の視点が指定されたときに、当該指定された視点が属する範囲に対応した所定数の視点を当該テーブルを参照して選択する構成となる。
【００１１】
このような映像生成処理装置では、任意の視点が指定されたときに、選択された視点と当該指定された視点との関係と、選択された各視点での物体画像上の特徴点の位置関係に基づいて、選択された各視点での物体画像から当該指定された任意の視点での物体画像が生成される。また、指定された視点が、入力視点格納手段に格納された視点と一致すれば、画像生成手段は、上記各関係に従って、入力視点画像格納手段に格納された当該指定された視点での物体画像を出力する。
【００１２】
上記画像生成手段は、例えば、請求項２に記載されるように、選択された各視点での物体画像上の特徴点の位置的関係に基づいて、視点選択手段にて選択された各視点での物体画像上の位置を、上記指定された視点での物体画像上の位置に変換するための座標変換式を決める座標変換決定手段と、
座標変換決定手段にて決定された座標変換式に従って、上記選択された各視点での物体画像を上記指定された視点での物体画像に変換する画像変換実行手段と、
選択された各視点での物体画像から画像変換実行手段により変換された上記指定された視点での各物体画像を選択された各視点と上記指定された視点との関係に従って合成し、その合成物体画像を上記指定された視点での物体画像として出力する画像合成手段を有するように構成される。
【００１３】
更に、処理の簡便性や精度のよい物体画像を生成する等の観点から、上記各映像生成処理装置は、請求項３乃至１５に記載されるように構成される。
上記第二の課題を解決するため、本発明は、請求項１６に記載されるように、複数の視点から物体を撮影して得られる物体画像と、当該複数の各視点での物体画像上に設定された互いに対応する特徴点の位置とに基づいて、任意の視点での物体画像を生成する映像生成処理装置での処理をコンピュータに行なわせるためのプログラムを格納した記録媒体において、当該プログラムは、任意の視点が指定されたときに、当該複数の視点から選択された所定数の視点を取得するための視点選択プログラム手段と、視点選択プログラム手段に従って選択された各視点での物体画像上の特徴点の位置関係および選択された各視点と指定された視点との関係に従って、選択された各視点での物体画像から上記指定された視点での物体画像を生成するための画像生成プログラム手段とを有し、上記視点選択プログラム手段は、指定される視点の範囲と選択されるべき所定数の視点との関係を記述したテーブルを有し、任意の視点が指定されたときに、当該指定された視点が属する範囲に対応した所定数の視点を当該テーブルを参照して選択する構成となる。
【００１４】
更に、上記第三の課題を解決するため、本発明に係る構造化データ作成装置は、請求項１９に記載されるように、複数の視点から物体を撮影して得られる物体画像を各視点に対応させて格納する入力視点画像格納手段と、入力視点画像格納手段に格納された各視点での物体画像上の互いに対応する特徴点の位置を決定する入力特徴点決定手段と、入力特徴点決定手段にて決定された各視点での物体画像上の互いに対応する特徴点の位置を格納する入力特徴点格納手段と、指定される視点の範囲と選択されるべき所定数の視点との関係を記述したテーブルを作成するテーブル作成手段とを有し、上記入力特徴点決定手段は、入力視点画像格納手段に格納された各視点での物体画像から所定の条件を満たす複数の特徴点候補を抽出する特徴点候補算出手段と、各視点での物体画像における特徴点候補の位置の近傍の画像パターンの類似性に基づいて、上記抽出された特徴点候補から各視点での物体画像におけるそれぞれ対応した特徴点を抽出する入力特徴点抽出手段とを有し、上記入力視点画像格納手段に格納された複数の視点での物体画像，入力特徴点格納手段に格納された各視点での物体画像上の特徴点，指定される視点の範囲と選択されるべき所定数の視点との関係を記述したテーブルを外部のシステムに構造化データとして供給できるように構成される。
【００１５】
また、より精度のよい物体画像の生成が行なえるための構造化データを提供できることや、その構造化データをより簡便に収集できる等の観点から、上記構造化データ作成装置は、請求項２０乃至２６に記載されるように構成される。
更に、上記第四の課題を解決するため、本発明は、請求項２７に記載されるように、物体の任意の視点から見た映像を生成するための映像生成処理装置に用いられる構造化データを作成する処理をコンピュータに行なわせるためのプログラムを格納した記録媒体において、当該プログラムは、複数の視点から物体を撮影して得られる物体画像を画像格納ユニットに各視点に対応させて格納するための入力視点画像格納プログラム手段と、画像格納ユニットに格納された各視点での物体画像上の互いに対応する特徴点の位置を決定するための入力特徴点決定プログラム手段と、入力特徴点決定プログラム手段での処理にて決定された各視点での物体画像上の互いに対応する特徴点の位置を入力特徴点格納ユニットに格納するプログラム手段と、指定される視点の範囲と選択されるべき所定数の視点との関係を記述したテーブルを作成するテーブル作成プログラム手段とを有し、上記画像格納ユニットに格納された複数の視点での物体画像，入力特徴点格納ユニットに格納された各視点での物体画像上の特徴点，指定される視点の範囲と選択されるべき所定数の視点との関係を記述したテーブルを上記映像生成処理装置に構造化データとして供給できるように構成される。
【００１６】
また同観点から本発明は、請求項２８に記載されるように、物体の任意の視点から見た映像を生成するための映像生成処理装置に用いられる構造化データを作成する処理をコンピュータに行わせるためのプログラムを格納した記録媒体において、当該プログラムは、複数の視点から物体を撮影して得られる物体画像から所定の条件を満たす複数の特徴点候補を抽出する特徴点候補算出プログラム手段と、物体画像を得るために物体を撮影した視点の位置を設定して入力視点格納ユニットに格納する入力視点設定プログラム手段と、特徴点候補算出プログラム手段での処理にて算出された各視点での物体画像における複数の特徴点候補の位置と入力視点格納ユニットに格納された各視点の位置に基づいて、該特徴点候補に対応する物体上での点の三次元座標を抽出する三次元座標候補抽出プログラム手段と、三次元座標候補抽出プログラム手段での処理にて抽出された三次元座標を入力視点格納ユニットに格納された各視点での物体画像に投影された点の位置とその近傍にある特徴点候補との位置関係に基づいて特徴点に対応すべき物体上の点の三次元座標を算出する三次元座標算出プログラムと、算出された三次元座標に各視点に投影して特徴点を算出する入力特徴点決定プログラム手段と、指定される視点の範囲と選択されるべき所定数の視点との関係を記述したテーブルを作成するテーブル作成手段とを有するように構成される。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
本発明の実施の形態に係るシステムの基本的な構成は、例えば、図１及び図２に示すようになる。
図１において、映像生成処理装置１００は、ユーザが出力視点入力部１１０から入力した視点から見た物体を表す画像データを外部から提供される当該物体の構造化データから生成し、その画像データに基づいて当該視点から見た物体を表示装置１２０に表示させる。任意の視点から見た物体を表す画像データを生成するために必要な構造化データは、少なくとも、当該物体を複数の視点から撮影して得られる物体画像を表すデータ、その各視点に対応した物体画像上に設定された特徴点を表すデータ及び当該複数の視点を表すデータを含む。
【００１８】
各視点に対応した物体画像上に設定された特徴点は、物体上で同一の点に対応する特徴点が夫々対応付けられるように管理される。例えば、図３（ａ）、（ｂ）、（ｃ）に示すように、物体（三角錐体）上で同一の点に対応する各視点Ａ、Ｂ、Ｃでの物体画像上の特徴点は、同一の番号で特定される。
また、上記映像生成処理装置１００にて用いられる構造化データの一部または、全部は、ＣＤ−ＲＯＭ等の記録媒体を用いて、あるいは、通信路を介して映像生成処理装置１００に提供される。この構造化データの全部または一部は、図２に示す構造化データ作成装置２００にて作成される。
【００１９】
図２に示すように、構造化データ作成装置２００は、物体Ｔを複数の視点からカメラ２１０にて撮影して得られる画像を蓄積し、その各視点に対応した物体画像上において特徴点を設定する。ユーザが入力装置２２０（マウス等）を用いて各物体画像上にて指定した点を特徴点として設定するができる。また、各視点に対応した物体画像の特徴の共通性に基づいて各物体画像上で夫々対応する特徴点を自動的に設定することもできる。
【００２０】
このように、構造化データ作成装置２００は、少なくとも、物体Ｔを複数の視点から撮影して得られる物体画像及びその各物体画像上で設定される特徴点を当該物体Ｔの構造化データの一部として作成する。そして、少なくとも、このように作成されたデータが構造化データの一部としてＣＤ−ＲＯＭ等の記録媒体に記録され、上述したようにこの記録媒体を用いて当該構造化データが映像生成処理装置１００に提供される。また、構造化データ作成装置２００にて作成された構造化データは、通信路を介して上記映像生成処理装置１００に提供することも可能である。
【００２１】
なお、この構造化データ作成装置２００は、物体Ｔを複数の視点から撮影する際にその視点を表すデータを蓄積することも可能である。この場合、構造化データ作成装置２００にて作成される構造化データに当該各視点を表すデータが含まれる。また、上記複数の視点での物体の画像及び特徴点を表すデータのほか、構造化データ作成装置２００にて作成すべき構造化データの種類は、上記映像生成処理装置１００で用いられる構造化データの種類に応じて決められる。
【００２２】
上記映像生成処理装置１００は、通常のコンピュータシステムにて構成することができる。この場合、映像生成処理装置１００は、図４に示すようなハードウエア構成を有する。
図４において、このシステムは、それぞれバスに接続された、ＣＰＵ（中央演算処理ユニット）１０、メモリユニット１１、入力ユニット１２、外部記憶装置１３及びＣＤ−ＲＯＭドライバ１４を有する。また、指定された任意の視点から見た物体を表示するための表示装置１０２がバスに接続されている。
【００２３】
ＣＰＵ１０は、メモリユニット１１に格納されたプログラムに従って、種々の処理を実行する。メモリユニット１１は、ＲＯＭ（読みだし専用メモリ）やＲＡＭ（書き込み可能メモリ）等で構成され、種々の処理に対応したプログラムや、処理の過程で得られた各種データを格納すると供に、表示装置１２０に表示すべき画像データ（ビットマップ）を格納するための画像メモリとして使用される。入力ユニット１２は、キーボード及びマウス等で構成され、処理に必要な情報を入力すると供に、ユーザが希望する視点を入力するために用いられる。 外部記憶装置１３は、例えば、ハードディスク装置にて構成されている。当該映像生成処理装置１００での処理を実行するためのプログラムを格納したＣＤ−ＲＯＭがＣＤ−ＲＯＭドライバ１４にセットされると、ＣＰＵ１０の制御に従って、該プログラムがＣＤ−ＲＯＭからＣＤ−ＲＯＭドライバ１４を介して外部記憶装置１３にインストールされる。そして、映像生成処理装置１００としてシステムを立ち上げると、当該プログラムが外部記憶装置１３からメモリユニット１１に読み出される。
【００２４】
また、上記のようにして映像生成処理装置１００としてシステムの立ち上げが行なわれた後に、上述した構造化データを格納した他のＣＤ−ＲＯＭがＣＤ−ＲＯＭドライバ１４にセットされると、ＣＰＵ１０の制御に基づいて、当該構造化データがＣＤ−ＲＯＭからＣＤ−ＲＯＭドライバ１４を介して外部記憶装置１３にインストールされる。以後、ＣＰＵ１０は、上記のようにメモリユニット１１に読み出されたプログラムに従って、外部記憶装置１３に格納された構造化データを用いて、映像生成処理装置１００の各機能に対応した処理を実行する。
【００２５】
このコンピュータシステムに構築される映像生成処理装置１００の機能的な構成は、例えば、図５に示すようになる。
図５において、当該映像生成処理装置１００は、出力視点設置部１０１、視点選択部１０２、座標変換算出部１０３、座標変換実行部１０４、補間画像生成部１０５及び構造化データ格納部１５０から構成される。出力視点設置部１０１、視点選択部１０２、座標変換算出部１０３、座標変換実行部１０４及び補間画像生成部１０５は、それぞれプログラムに従ってＣＰＵ１０が実行する処理ステップにて実現される。構造化データ格納部１５０は、外部記憶装置１３内に構成される。
【００２６】
上記構造化データ格納部１５０は、入力視点画像格納部１５１、入力視点格納部１５２及び入力特徴点格納部１５２にて構成され、これら各部に、前述したように、例えば、ＣＤ−ＲＯＭにて提供された各種の構造化データが格納される。
入力視点画像格納部１５１には、Ｎ個の視点から撮影された物体のＮ通りの画像を表すデータが格納される。各画像には、各視点に対応した番号１〜Ｎが割り振られている。
【００２７】
入力視点格納部１５２には、上記のように物体を撮影するＮ個の視点を表すデータが格納される。各視点は、例えば、図６に示すように、物体が置かれた中心Ｏから半径１の球面上に延びるベクトルＱ１、Ｑ２、．．．、ＱＮで表される。そして、各ベクトルは、当該球の経度θと緯度φにて特定される。上記Ｎ通りの画像に対応したＮ個の視点１、２、．．．、Ｎは、それぞれ（θ１、φ１）、（θ２、φ２）、．．．、（θＮ、φＮ）にて特定される。このＮ個の視点を特定するデータ（経度θ、緯度φ）が、図７に示すようなかたちで入力視点格納部１５２に格納される。
【００２８】
入力特徴点格納部１５３には、上記入力視点画像格納部１５１に格納されるそれぞれ異なった視点で撮影された物体のＮ通りの画像上で設定された特徴点の座標値が格納される。各物体画像上において対応する特徴点、即ち、実際の物体上の同一の点に対応する各物体画像上の特徴点は、同一の番号によって管理される。図３に示す例では、視点Ａ、視点Ｂ、視点Ｃでの各物体画像上に特徴点１乃至６が設定されている。そして、この各物体画像上に設定された特徴点の座標値が、例えば、図８に示すような形式で入力特徴点格納部１５３に格納されている。
【００２９】
図８において、視点１での物体画像上に設定された各特徴点１、２、．．．、Ｍの座値がそれぞれ（Ｘ11、ｙ11）、（ｘ12、ｙ12）、．．．、（ｘ1M、ｙ1M）で表される。なお、これらの座標値を記述する座標系は、各画像に対して共通的に設定された、例えば、表示画面上に設定された座標系である。
また、視点２からは、特徴点２に対応する物体上の点が見えないので、当該視点２の物体画像上に特徴点２が設定されない。そのことを表わすため、図８において、視点２の物体画像上における特徴点２の座標値が（９９９、９９９）と記述されている。
【００３０】
出力視点設定部１０１は、ユーザが入力ユニット１２を用いて指定した視点（θV 、φV ）を出力画像の視点としてＣＰＵ１０の内部レジスタに設定する。ユーザは、例えば、次のようにして、所望の視点を指定する。
例えば、表示画面の中心が原点一致するようにＸ−Ｙ座標系が当該表示画面上に設定されている。そして、ある視点（θ、φ）から見た物体が表示装置１０２の画面上に表示されている状態において、点（ｘ、ｙ）をマウス（入力ユニット１２）で指定すると、視点（θ＋ｘ、φ＋ｙ）が新たな視点（θV 、φV ）として設定される。
【００３１】
視点選択部１０２は、出力視点設定部１０１によって設定された視点（θV 、φV ）に近い視点を入力視点格納部１５２に格納された視点から所定個数Ｋ選択する。この個数Ｋは、例えば「３」に定められる（Ｋ＝３）。視点選択部１０２は、具体的に、Ｎ個の視点から次のようにして当該３つの視点を選択する。
図６に示すように、指定された視点（θV 、φV ）で定まる半径１の球上の点をＶとし、各視点（θ１、φ１）、（θ２、φ２）、．．．、（θN 、φN ）で定まる半径１の球上の点をそれぞれＱ１、Ｑ２、．．．、ＱN とする。そして、点V と各点Ｑ１、Ｑ２、．．．、ＱN との間の距離を演算し、最も小さい距離から３番目までの視点を選択する。
【００３２】
また、次のようにしても視点を選択することができる。
すなわち、上記のようにして各視点（θ１、φ１）、（θ２、φ２）、．．．、（θＮ、φN ）に対応して定められた半径１の球上の点Ｑ１、Ｑ２、．．．、ＱN を頂点とする三角形によって当該球面を分割する。これにより、当該球体が、各面が三角形となる多面体で近似される。そして、指定された視点を表わすベクトルＶが交わる三角形の３つの頂点に対応した視点が選択される。
【００３３】
座標変換算出部１０３は、視点選択部１０２にて上記のようにして選択された３つ（Ｋ個）の視点の各物体画像上の点を出力視点設定部１０１にて設定された視点での物体画像上の点に変換するための座標変換式を算出する。座標変換算出部１０３では、具体的に次のような処理が行われる。
まず、視点選択部１０２で選択されたＫ個（３個）の各視点に対して、その視点と他の視点との視点対を作成する。例えば、視点Ａ、視点Ｂ、視点Ｃが選択された場合、視点Ａに対して視点対（Ａ、Ｂ）及び（Ａ、Ｃ）が、視点Ｂに対して視点対（Ｂ、Ａ）（Ｂ、Ｃ）が、また、視点Ｃに対して視点対（Ｃ、Ａ）（Ｃ、Ｂ）がそれぞれ作成される。
【００３４】
例えば、図９に示すように、視点Ａ、Ｂ、Ｃの各物体画像ＩＡ、ＩＢ、ＩＣにＭ個（６個）の特徴点が設定されているとする。なお、ある物体画像上では設定されているが、他の物体画像上では設定されていない特徴点が一般には存在するが、そのような特徴点は省いたうえで、各物体画像上にそれぞれ対応したＭ個の特徴点が設定されているとする。視点Ａ、Ｂ、Ｃの各物体画像上に設定されたこれらの特徴点の座標値をそれぞれ、例えば、（ｘa1、ｙa1）〜（ｘaM、ｙaM）、（ｘb1、ｙb1）〜（ｘbM、ｙbM）、（ｘc1、ｙc1）〜（ｘcM、ｙcM）とする。
【００３５】
そして、まず、視点対（Ａ、Ｂ）に着目して、視点Ａの物体画像上の特徴点（ｘa1、ｙa1）〜（ｘaM、ｙaM）が視点Ｂの物体画像上の特徴点（ｘb1、ｙb1）〜（ｘbM、ｙbM）に移るような座標変換式が算出される。即ち、
ｘ’＝ｆab（ｘ、ｙ）、 ｙ’＝ｇab（ｘ、ｙ）
のような２変数の連続関数ｆab及びｇabであって、
ｘbi＝ｆab（ｘai、ｙai）、 ｙbi＝ｇab（ｘai、ｙai） （１）
であるようなものが算出される。以下、視点対（Ａ、Ｂ）について、物体画像ＩＡから物体画像ＩＢに変換する座標変換式を算出する手順を説明する。なお、他の視点対についても同様の手順で一方の視点の物体画像から他方の視点の物体画像への座標変換式が算出される。
【００３６】
ｆab（ｘ、ｙ）及びｇab（ｘ、ｙ）をｘ、ｙについての多項式とし、その多項式の係数を上記式（１）ができるだけ満たされるように定められる。具体的には、
が最小になるように当該多項式の係数を決める。この式（２）は、未知の係数に関して二次式であるので、未知の係数それぞれで微分してゼロとおくと、当該未知の係数だけの一次方程式が得られる。これらの連立一次方程式は、数学ライブラリを用いて解くことができる。
【００３７】
また、上記のような座標変換式（式（１）参照）は、次のようにしても得ることができる。
例えば、図９に示すように、視点選択部１０２で選択された視点での各物体画像を設定された特徴点を頂点とする三角形で分割する。各物体画像において、対応する特徴点でできる三角形は互いに対応するように管理する。つまり、例えば、図９において、物体画像ＩＡに△１２６が含まれていれば、特徴点１、特徴点２及び特徴点６が設定された他の全ての物体画像ＩＢ、ＩＣに△１２６が含まれるようにする。このことは、全ての三角形について同様である。
【００３８】
なお、前述したように、視点選択部１０２で選択された視点での各物体画像において、ある画像上では設定されているが、別の画像上では設定されていない特徴点が一般に存在するが、そのような特徴点は予め省いておく。それにより、視点選択部１０２にて選択されたある視点での物体画像上で特徴点１、特徴点２、特徴点６が設定されていれば、選択された他の視点での物体画像上でも、特徴点１、特徴点２、特徴点６が設定されていることになる。従って、ある物体画像に△１２６が含まれていれば、他の全ての物体画像にも△１２６が含まれることになる。
【００３９】
次に、物体画像ＩＡに含まれる△１２６内の各点を物体画像ＩＢに含まれる△１２６内の各点に変換するアフィン変換を求める。ある三角形を別の三角形に移すようなアフィン変換が存在することやそのアフィン変換を求める手法は公知である。その手法に従って、上記物体画像ＩＡの△１２６から物体画像ＩＢの△１２６へのアフィン変換を求める。同様にして、物体画像ＩＡに含まれる全ての三角形から物体画像ＩＢに含まれる対応する三角形へのアフィン変換を算出する。
【００４０】
視点Ａから見た物体の物体画像ＩＡはこれらの三角形で覆われているので、物体画像ＩＡの物体領域内の点（ｘai、ｙai）を当該点（ｘai、ｙai）を含む三角形に対応するアフィン変換によって変換した点（ｘbi、ｙbi）が物体画像ＩＢの物体領域内の対応する点として得られる。
この場合、上記アフィン変換による座標変換式が
ｘbi＝ｆab（ｘai、ｙai）、 ｙbi＝ｇab（ｘai、ｙai）
のように算出される。
【００４１】
また更に、座標変換式は、次のようにしても求めることができる。
例えば、図１０に示すように、視点選択部１０２で選択された視点での各物体画像を設定された特徴点を頂点とする四角形で分割する。三角形を用いた上記手法と同様に、各物体画像において、対応する特徴点でできる四角形は互いに対応するように管理する。つまり、例えば、図１０において、物体画像ＩＡに□１２５６が含まれていれば、特徴点１、特徴点２、特徴点５及び特徴点６が設定された他の全ての物体画像ＩＢ、ＩＣに□１２５６が含まれるようにする。
【００４２】
次に、物体画像ＩＡに含まれる□１２５６内の各点を物体画像ＩＢに含まれる□１２５６内の各点に変換する射影変換を求める。ある四角形を別の四角形に移すような射影変換が存在することやその射影変換を求める手法は公知である。その手法に従って、上記物体画像ＩＡの□１２５６から物体画像ＩＢの□１２５６への射影変換を求める。同様にして、物体画像ＩＡに含まれる全ての四角形から物体画像ＩＢに含まれる対応する四角形の射影変換を算出する。
【００４３】
視点Ａから見た物体の画像ＩＡはこれらの四角形で覆われているので、物体画像ＩＡの物体領域内の点（ｘai、ｙai）を当該点（ｘai、ｙai）を含む四角形に対応する射影変換によって変換した点（ｘbi、ｙbi）が画像ＩＢの物体領域内の対応する点として得られる。
この場合、上記射影変換による座標変換式が
ｘbi＝ｆab（ｘai、ｙai）、 ｙbi＝ｇab（ｘai、ｙai）
のように算出される。
【００４４】
上述した３つの手法のいずれかにて、視点Ａでの物体画像ＩＡ上の点を視点Ｂでの物体画像ＩＢ上の点に変換する座標変換式
ｘb ＝ｆab（ｘa 、ｙa ）、 ｙb ＝ｇab（ｘa 、ｙa ）
が算出される。他の視点対についても同様の処理がなされ、一方の視点での物体画像から他方の視点での物体画像への座標変換式が算出される。
【００４５】
次に、特に、視点対（Ａ、Ｂ）及び視点対（Ａ、Ｃ）に着目し、これらの視点対に関して、上記のようにして算出した座標変換式に基づいて視点Ａでの物体画像ＩＡからユーザが指定した視点Ｖでの物体画像ＩＶへの座標変換式を算出する。これは、例えば、次のような手法にて算出される。
物体画像ＩＡ上の点（ｘa 、ｙa ）を物体画像ＩＢ上の点（ｘb 、ｙb ）に変換する座標変換式を
ｘb ＝ｆab（ｘa 、ｙa ）、 ｙb ＝ｇab（ｘa 、ｙa ）
とし、物体画像ＩＡ上の点（ｘa 、ｙa ）を物体画像ＩＣ上の点（ｘc 、ｙc ）に変換する座標変換式を
ｘc ＝ｆac（ｘa 、ｙa ）、 ｙc ＝ｇac（ｘa 、ｙa ）
とする。
【００４６】
物体画像ＩＡ上の点（ｘa 、ｙa ）を物体画像ＩＶ上の点（ｘv 、ｙv ）に変換する座標変換式は、
のように算出される。上記式（３）において、α、β、γは出力視点の位置に応じて定まる重みであり、α＋β＋γ＝１である。この重みα、β、γは次のようにして算出される。
【００４７】
図１１において、視点Ａ、Ｂ、Ｃのそれぞれが、位置ベクトルＱa 、Ｑb 、Ｑc にて表される。また、原点Ｏとユーザが指定した視点Ｖを結ぶ直線が三角形ＡＢＣと交わる点Ｗを表す位置ベクトルをＱw とすると、βとγは、
Ｑw ＝Ｑa ＋β（Ｑb −Ｑa ）＋（Ｑc −Ｑa ）
を満たすように定められる。
【００４８】
図１２に示すように、点Ｗを通り、ＡＣと平行な直線がＡＢと交わる点をＳとし、点Ｗを通り、ＡＢと平行な直線がＡＣと交わる点をＴとした場合、上記重みα、β、γは、
β＝ＡＳ／ＡＢ、 γ＝ＡＴ／ＡＣ、 α＝１−β−γ （４）
で求められる。
【００４９】
以上により、視点Ａでの物体画像ＩＡからユーザが指定した視点Ｖでの物体画像ＩＶへの座標変換式が上記式（３）（α、β、γが式（４）に従って決定）のように算出される。
上記と同様にして、視点Ｂでの物体画像ＩＢからユーザが指定した視点Ｖでの物体画像ＩＶへの座標変換式が、
のように算出され、また、視点Ｃでの物体画像ＩＣからユーザが指定した視点Ｖでの物体画像ＩＶへの座標変換式が、
のように算出される。
【００５０】
更に、図５に示す座標変換実行部１０４は、上述したように座標変換算出部１０３にて算出された各座標変換式に従って、選択された各視点での物体画像からユーザが指定した視点Ｖでの物体画像に変換する処理を行なう。
視点Ａでの物体画像ＩＡから視点Ｖでの物体画像への座標変換式（３）は、物体画像ＩＡにおける座標点（画素の位置を表す）（ｘa 、ｙa ）が、視点Ｖでの物体画像ＩＶにおいて座標点（ｘv 、ｙv ）＝（ｆav（ｘa 、ｙa ）、ｇav（ｘa 、ｙa ））に対応していることを表している。この関係に基づいて、物体画像ＩＡにおける（ｘa 、ｙa ）の画素の色を視点Ｖでの物体画像における（ｘv 、ｙv ）の画素の色とすることによって、当該視点Ｖでの物体画像ＩＶa が生成される。
【００５１】
なお、座標変換式
（ｘv 、ｙv ）＝（ｆav（ｘa 、ｙa ）、ｇav（ｘa 、ｙa ））
の代わりに、上述したのと同様の手法によって、逆方向の座標変換、即ち、視点Ｖでの物体画像を視点Ａでの物体画像ＩＡに変換する座標変換式
（ｘa 、ｙa ）＝（ｆva（ｘv 、ｙv ）、ｇva（ｘv 、ｙv ））
を算出し、この座標変換式に従って、物体画像ＩＶにおける各座標（ｘv 、ｙv ）の画素の色を対応する物体画像ＩＡにおける座標（ｘa 、ｙa ）の画素の色と同じ色に決定するようにしてもよい。
【００５２】
上記と同様にして、座標変換式（５）に従って、視点Ｂでの物体画像ＩＢにおける（ｘb 、ｙb ）の画素の色を視点Ｖでの物体画像における（ｘv 、ｙv ）の画素の色とすることによって、当該視点Ｖでの物体画像ＩＶb が生成される。また、座標変換式（６）に従って、視点Ｃでの物体画像ＩＣにおける（ｘc 、ｙc ）の画素の色を視点Ｖでの物体画像における（ｘv 、ｙv ）の画素の色とすることによって、当該視点Ｖでの物体画像ＩＶｃが生成される。
【００５３】
上述したような座標変換実行部１０４での処理により、視点選択部１０２で選択された、例えば、各視点Ａ、Ｂ、Ｃでの物体画像ＩＡ、ＩＢ、ＩＣのそれぞれから、座標変換式（３）、（５）、（６）に従って、図１３に示すように、ユーザが指定した視点Ｖ（出力視点）での物体画像ＩＶa 、ＩＶb 、ＩＶc が生成される。
【００５４】
補間画像生成部１０５は、上記のようにして生成された視点Ｖでの物体画像ＩＶa 、ＩＶb 、ＩＶc に基づいて最終的に表示装置１２０に表示すべき補間画像ＩＶを次のように生成する。
即ち、座標変換式（３）、（５）、（６）を算出する際に用いた重みα（視点Ａと視点Ｖとの関係を表す）、β（視点Ｂと視点Ｖとの関係を表す）、γ（視点Ｃと視点Ｖとの関係を表す）を用い、
ＩＶ＝αＩＶa ＋βＩＶb ＋γＩＶc （７）
に従って、補間画像ＩＶが生成される。
【００５５】
上記式（７）は、補間画像ＩＶの各座標（ｘv 、ｙv ）に位置する画素の色が、物体画像ＩＡの対応する座標（ｘa 、ｙa ）に位置する画素の色にα（割合）を乗じて得られる色成分と、物体画像ＩＢの対応する座標（ｘb 、ｙb ）に位置する画素の色にβ（割合）を乗じて得られる色成分と、物体画像ＩＣの対応する座標（ｘc 、ｙc ）に位置する画素の色にγ（割合）を乗じて得られる色成分との和になることを意味する。
【００５６】
このようにして生成された補間画像ＩＶは、ＣＰＵ１０の制御に従って、表示装置１２０に提供され、その表示画面に表示される。
上記のようにして構成される映像生成処理装置１００では、ユーザが物体を見る視点Ｖを指定すると、その視点Ｖに近い複数の視点が予め定めた視点のなかから選択される。そして、その選択された各視点での物体画像上に設定された特徴点の相関関係から得られる座標変換式に従って当該視点Ｖでの物体画像が生成される。このようにユーザが指定した視点Ｖでの物体画像が表示装置に表示され、その結果、ユーザは、表示装置の画面上において自分の希望する視点から当該物体を見ることが可能となる。
【００５７】
上記の例において、視点選択部１０２は、入力視点格納部１５２に格納されるＮ個の視点からユーザが指定した視点Ｖとの距離を演算して、当該視点Ｖに近い、例えば、３つの視点を選択している。このような視点選択部１０２での処理では、ユーザによって視点が指定される毎に、その指定された視点と入力視点格納部１５２に格納されたＮ個の視点との距離を演算しなければならず、その処理時間が長くなってしまう。このような不具合を解消するため、映像生成処理装置１００は、例えば、図１４に示すような機能構成とすることができる。なお、図１４において、図５と同一の参照番号は、同一の機能ブロックを示している。
【００５８】
この例では、外部記憶装置１３内に構築される構造化データ格納部１５０に視点選択テーブル１５４が付加されている。そして、視点選択部１０６が視点選択テーブル１５４を参照して視点を選択する。
この視点選択テーブル１５４は、ユーザが指定した視点Ｖをキーとして入力視点格納部１５２に含まれる視点からどの視点を選択するかを記述したテーブルであり、例えば、図１５に示すように構成されている。即ち、視点を表す経度θと緯度φをそれぞれ区分してマトリクスを構成し、各区分領域内に、当該区分領域内の経度と緯度で表される視点Ｖが指定されたときに、選択すべき視点が記述されている。例えば、図１５に示すように、経度θv がθ1 とθ2 の間にあり、緯度φv がφ3 とφ4 の間にあるような視点Ｖ（θv 、φv ）が指定された場合、経度の区分θ1 〜θ2 と緯度の区分φ3 〜φ4 で決まる区分領域内に記述された視点Ａ、Ｂ、Ｃが選択される。
【００５９】
この視点選択テーブルは、構造化データ作成装置２００にて作成することができる。この場合、他の構造化データ（各視点での物体画像データ、特徴点等）と供に、視点選択テーブルが、記録媒体（ＣＤ−ＲＯＭ等）を用いて、あるいは通信路を介して映像生成処理装置１００に提供される。また、この視点選択テーブルは、入力視点格納部１５２に格納すべき各視点に関する情報に基づいて、他の外部装置や、映像生成処理装置１００内で作成することも可能である。
【００６０】
このように視点選択テーブル１５４を用いて座標変換すべき画像の視点を選択することにより、指定された視点と各視点との距離を演算する必要がなくなり、視点選択の処理に要する時間を削減することができる。
上記映像生成処理装置１００は、例えば、図１６に示すように、構成することも可能である。なお、図１６において、図１４と同一の参照番号は、同一の機能ブロックを示している。
【００６１】
この例では、プログラムに従ったＣＰＵ１０での処理により実現される出力特徴点算出部１０７が、選択された各視点での物体画像上に設定された特徴点（入力特徴点）から、ユーザによって指定された視点から見た物体画像上の対応する特徴点（出力特徴点）を推定算出している。そして、選択された各視点での物体画像上に設定した各特徴点と指定された視点での物体画像上の対応する特徴点との関係から、座標変換算出部１０８が、当該選択された各視点での物体画像から指定された視点での物体画像への座標変換式を算出する。
【００６２】
視点選択部１０６によって選択された視点Ａ、Ｂ、Ｃでの各物体画像上に、例えば、次のようなＭ個の特徴点（入力特徴点）が設定される。即ち、視点Ａでの物体画像上では、特徴点（ｘa1、ｙa1）、（ｘa2、ｙa2）、．．．、（ｘaM、ｙaM）が設定され、視点Ｂでの物体画像上では、特徴点（ｘb1、ｙb1）、（ｘb2、ｙb2）、．．．、（ｘbM、ｙbM）が設定され、また、視点Ｃでの物体画像上では、特徴点（ｘc1、ｙc1）、（ｘc2、ｙc2）、．．．、（ｘcM、ｙcM）が設定される。
【００６３】
出力特徴点算出部１０７は、まず、ユーザにて指定された視点Ｖを取得して、前記式（４）に従って重みα、β、γを算出する。そして、この重みα、β、γを用いて、指定された視点Ｖでの物体画像上の対応するｉ番目の特徴点の位置（ｘvi、ｙvi）を
ｘvi＝αｘai＋βｘbi＋γｘci （ｉ＝１、２、．．．、Ｍ）
ｙvi＝αｙai＋βｙbi＋γｙci （ｉ＝１、２、．．．、Ｍ） （８）
に従って算出する。
【００６４】
これにより、選択された各視点Ａ、Ｂ、Ｃでの物体画像上に設定したｉ番目の特徴点に対応する視点Ｖでの物体画像上のｉ番目の特徴点が得られる。
なお、一般に、それぞれの視点において物体の影になって見えない等の理由で、全ての特徴点が観測されるわけではないが、選択された視点において共通して観測されている特徴点についてだけ上記処理が行なわれる。
【００６５】
座標変換算出部１０８は、視点選択部１０６にて選択された、例えば、各視点Ａ、Ｂ、Ｃでの物体画像上に設定された特徴点１〜Ｍ、視点設定部１０１で設定した視点Ｖと、出力特徴点算出部１０７にて算出された特徴点の各情報に基づいて、選択された各視点での物体画像から指定された視点Ｖでの物体画像に変換する座標変換式を算出する。視点Ａでの物体画像から視点Ｖでの物体画像に変換する座標変換式は次のように算出される。
【００６６】
既に、図５に示す座標変換算出部１０３が、視点Ａでの物体画像から視点Ｂでの物体画像への座標変換式（１）をそれぞれの物体画像に設定された特徴点の関係に基づいて算出するための処理（３つの手法による）について説明した。この処理と同じ手法によって、視点Ａでの物体画像から視点Ｖでの物体画像に変換する座標変換式が、視点Ａでの物体画像上に設定した特徴点（入力特徴点）と出力特徴点算出部１０７で算出されてた特徴点（出力特徴点）との関係に基づいて算出される。その結果、上記座標変換式（１）と同様の形式の座標変換式
ｘv ＝ｆav（ｘa 、ｙb ）、 ｙv ＝ｇav（ｘa 、ｙa ）
が得られる。
【００６７】
また、同様にして、選択された他の視点Ｂでの物体画像から視点Ｖでの物体画像に変換する座標変換式
ｘv ＝ｆbv（ｘb 、ｙb ）、 ｙv ＝ｇbv（ｘb 、ｙb ）
及び、更に他の視点Ｃでの物体画像から視点Ｖでの物体画像に変換する座標変換式
ｘv ＝ｆcv（ｘc 、ｙc ）、 ｙv ＝ｇcv（ｘc 、ｙc ）
がそれぞれ得られる。
【００６８】
上記のようにして得られた選択された各視点Ａ、Ｂ、Ｃでの物体画像からユーザが選択した視点Ｖでの物体画像への座標変換式が座標変換実行部１０４に提供され、上述したのと同様に、これらの変換座標式に従って、各視点Ａ、Ｂ、Ｃでの物体画像ＩＡ、ＩＢ、ＩＣから視点Ｖでの物体画像ＩＶa 、ＩＶb 、ＩＶc が演算される。
【００６９】
上記のような例では、選択された各視点での物体画像上に設定された特徴点からユーザが指定した視点での物体画像上の対応する特徴点を算出し、それら特徴点の相対的な関係に基づいて、各視点での物体画像からユーザが指定した視点での物体画像に変換する座標変換式を算出している。その結果、座標変換式がより正確に算出することが可能となる。
【００７０】
上記出力特徴点算出部１０７は、次のような処理により、ユーザが指定した視点での物体画像上の特徴点（出力特徴点）を算出することもできる。
前述した場合と同様に、視点選択部１０６にて視点Ａ、Ｂ、Ｃが選択され、それら各視点での物体画像上に設定された特徴点が、視点Ａに対しては、（ｘa1、ｙa1）、（ｘa2、ｙa2）、．．．、（ｘaM、ｙaM）、視点Ｂに対しては、（ｘb1、ｙb1）、（ｘb2、ｙb2）、．．．、（ｘbM、ｙbM）、視点Ｃに対しては、（ｘc1、ｙc1）、（ｘc2、ｙc2）、．．．、（ｘcM、ｙbM）であったとする。また、ユーザが視点Ｖ（出力視点）を指定したとする。
【００７１】
出力特徴点算出部１０７は、後述するような手法に従って、アフィン変換の係数α11、α12、α21、α22、β11、β12、β21、β22、γ11、γ12、γ21、γ22を算出する。そして、これらの係数を用いて、
ｘvi＝α11ｘai＋α12ｙai＋β11ｘbi＋β12ｙbi＋γ11ｘci＋γ12ｙci
ｙvi＝α21ｘai＋α22ｙai＋β21ｘbi＋β22ｙbi＋γ21ｘci＋γ22ｙci （９）
に従ってユーザが指定してした視点Ｖでの物体画像上の特徴点の位置（ｘvi、ｙvi）が算出される。
【００７２】
上記各アフィン変換の係数α11、α12、α21、α22、β11、β12、β21、β22、γ11、γ12、γ21、γ22は、次のようにして算出される。
図１１において、選択された視点Ａ、Ｂ、Ｃを表す位置ベクトルをそれぞれＱa 、Ｑb 、Ｑc とし、視点Ｖを表す位置ベクトルをＱv とする。また、これらのベクトルの長さが１になるように正規化したものをｕa 、ｕb 、ｕc 、ｕv とし、北極の方向を向いた単位ベクトルをηとする。
【００７３】
次式によって、３ｘ３の行列Ｍを定義する。
ここで、右肩の「t 」は、転置を表す。このとき、アフィン変換の各係数は、次式に従って算出される。
上記（１０）式から３ｘ３の行列Ｍを算出し、そのＭを用いて（１１）式でアフィン変換の係数を算出する。
【００７４】
上記のようにして算出されたアフィン変換の係数を用いて、上記（９）式に従って、ユーザが指定した視点Ｖでの物体画像上の特徴点の位置が算出される。
このような出力視点特徴部１０７での処理によれば、ユーザが指定した視点Ｖでの物体画像上の特徴点（出力特徴点）の位置をより多くのパラメータを使って算出しているので、より正確な出力特徴点の位置が算出できる。
【００７５】
上記映像生成処理装置１００は、例えば、図１７に示すように構成することができる。図１７において、図１６と同一の参照番号は、同一の機能ブロックを表している。
この例では、外部記憶装置１３内に構築される構造化データ格納部１５０に三次元座標格納部１５５が付加されている。この三次元座標格納部１５５には、各視点での物体画像上に設定された特徴点に対応する実際の物体上の点の三次元座標値が格納される。そして、出力特徴点算出部１０９は、三次元座標格納部１５５に格納された各特徴点に対応する物体上の点の三次元座標値に基づいて、ユーザが指定した視点での物体画像上の特徴点を算出する。
【００７６】
三次元座標格納部１５５には、例えば、図１８に示すような形式で、各特徴点に対応した物体上の点の三次元座標値（Ｘ、Ｙ、Ｚ）が格納されている。この三次元座標値を表すための座標系Ｘ−Ｙ−Ｚは、物体を設置する空間において任意に定めることができる。この三次元座標値は、構造化データ作成装置２００にて測定、または算出することができる。その場合、三次元座標値は、他の構造化データ（各視点に対応した物体画像、その物体画像上の特徴点）と供に、記録媒体（ＣＤ−ＲＯＭ等）を用いて、あるいは、通信路を介して映像生成処理装置１００に提供される。
【００７７】
出力特徴点演算部１０９は、三次元座標格納部１５５に格納された各特徴点に対応する物体上の点の三次元座標値に基づいて、ユーザが指定した視点Ｖでの物体画像上の特徴点を算出する。実際には、三次元空間中の特徴点に対応する点を画像面に投影することによって、指定された視点Ｖでの物体画像上での特徴点を算出する。投影の手法は、直交投影と透視投影の二種類がある。
【００７８】
まず、直交投影による手法に従って特徴点を算出する処理は、次のようになされる。
例えば、図１９に示すように、物体Ｔが三次元空間（Ｘ−Ｙ−Ｚ）の原点Ｏ付近におかれているとし、原点Ｏと視点とを結ぶ直線と平行な方向に、特徴点（入力特徴点）に対応した物体Ｔ上の点を投影する。そして、原点Ｏと視点とを結ぶ直線と垂直の向きに置かれている画像面Ｐと交わる点の位置を出力特徴点の位置とする。
【００７９】
ｍ番目の特徴点に対応した物体Ｔ上の点の三次元的な位置ベクトルＲm を
Ｒm ＝（Ｘm 、Ｙm 、Ｚm ）T
で表わし、ｎ番目の視点の位置ベクトルをＱn 、画像面Ｐのｘ軸方向の単位ベクトルをｉm 、画像面Ｐのｙ軸方向の単位ベクトルをｊm とすると、ｎ番目の視点におけるｍ番目の特徴点の座標は、
ｘnm＝（ｉn 、Ｒm ）、 ｙnm＝（ｊn 、Ｒm ）
で算出される。
【００８０】
次に、透視投影による手法に従って特徴点を算出する処理は、次のようになされる。
例えば、図２０に示すように、物体Ｔが三次元空間（Ｘ−Ｙ−Ｚ）の原点Ｏ付近に置かれているとし、各特徴点（入力特徴点）に対応した物体Ｔ上の点を視点の方向に投影し、原点Ｏと視点を結ぶ直線に垂直な向きに置かれている画像面Ｐと交わる点の位置を出力特徴点の位置とする。直行投影による手法に従った処理の場合と同様に、位置ベクトルＲm 、Ｑn 及び単位ベクトルｉn 、ｊn を定義すると、ｎ番目の視点におけるｍ番目の特徴点の座標（ｘnm、ｙnm）は、
ｘnm＝ｆ（ｉn 、Ｒm −Ｑn ）／（ｉn ×ｊn 、Ｒm −Ｑn ）
ｙnm＝ｆ（ｊn 、Ｒm −Ｑn ）／（ｉn ×ｊn 、Ｒm −Ｑn ）
で算出される。
【００８１】
このように、出力特徴点算出部１０９が各特徴点に対応した物体上の点の三次元座標をユーザが指定した視点で決まる画像面に投影して出力特徴点の位置を算出しているので、より正確な出力特徴点の位置を得ることができる。
更に、上記映像生成処理装置１００は、図２１に示すような機能構成とすることもできる。図２１において、前述した各例と同一の参照番号は、同一の機能ブロックを示している。
【００８２】
この例では、外部記憶装置１３内に構築される構造化データ格納部１５０は、図１６に示す例と同様に、入力視点画像格納部１５１、入力視点格納部１５２、入力特徴点格納部１５３及び視点選択テーブル１５４を備え、更に、入力多角形格納部１５６が付加されている。
各視点での物体画像上に設定した特徴点を頂点とする複数の多角形を各物体画像を覆うように形成した際に各多角形の頂点となる特徴点の組が、当該多角形に対応づけられて入力多角形格納部１５６に格納される。各視点での物体画像上で対応する特徴点の組が、同様に多角形の頂点となるように各視点での物体画像上の特徴点の組分けが行われる。
【００８３】
例えば、図９に示すように、各視点Ａ、Ｂ、Ｃでの物体画像ＩＡ、ＩＢ、ＩＣ上に設定された特徴点を頂点とした三角形を各物体画像を覆うように形成した際に当該三角形の頂点となる特徴点の組が、当該三角形に対応づけられて、例えば、図２２に示す形式で入力多角形格納部１５６に格納される。この例の場合、ある物体画像において特徴点の組（１、２、６）が三角形の頂点となる場合、対応する特徴点１、特徴点２、特徴点６を含む全ての物体画像において、特徴点の組（１、２、６）が三角形の頂点となるように各物体画像上の特徴点の組分けが行われる。また、図２２に示す例では、視点２から特徴点１、特徴点２、特徴点６を頂点とする三角形１及び特徴点７、特徴点８、特徴点９を頂点とする三角形Ｌを見ることができない。
【００８４】
なお、前述したように、視点選択部１０６で選択された各視点での物体画像において、ある物体画像には含まれているが別の物体画像には含まれていない特徴点が一般に存在するが、そのような特徴点は、予め省いておく。
また、例えば、図１０に示すように、各視点Ａ、Ｂ、Ｃでの物体画像ＩＡ、ＩＢ、ＩＣ上に設定された特徴点を頂点とした四角形を各物体画像を覆うように形成した際に当該四角形の頂点となる特徴点の組が、当該四角形に対応づけられて、例えば、図２３に示す形式で入力多角形格納部１５６に格納される。この例の場合、ある物体画像において特徴点の組（１、２、５、６）が四角形の頂点となる場合、対応する特徴点１、特徴点２、特徴点５、特徴点６を含む全ての物体画像において、特徴点の組（１、２、５、６）が四角形の頂点となるように各物体画像上の特徴点の組分けが行われる。また、図２３に示す例では、視点２から特徴点１、特徴点２、特徴点５、特徴点６を頂点とする四角形１及び特徴点７、特徴点８、特徴点９、特徴点１０を頂点とする四角形Ｌを見ることができない。
【００８５】
上記のような入力多角形格納部１５６に格納されるべき各視点での物体画像を覆う多角形の頂点となる特徴点の組は、上記構造化データ作成装置２００が他の構造化データ（各視点での物体画像、特徴点等）と供に、生成することができる。この場合、特徴点の組を表わすデータは、当該他の構造化データと供に、記録媒体（ＣＤ−ＲＯＭ等）を用いて、あるいは、通信路を介して映像生成処理装置１００に提供される。
【００８６】
この例では、更に、映像生成処理装置１００に出力多角形抽出部１１１が設けられている。この出力多角形抽出部１１１は、プログラムに従ったＣＰＵ１０での処理により実現される。
出力特徴点算出部１０７が前述したように、指定された視点Ｖでの物体画像上の特徴点を算出する。そして、出力多角形抽出部１１１は、上記入力多角形格納部１５６に格納された複数の多角形でなる多角形群（例えば、図２２における三角形１から三角形Ｌ）に基づいて、それに対応する多角形群であって当該視点Ｖでの物体画像を覆う複数の多角形を上記出力特徴点算出部１０７で算出された特徴点から抽出する。
【００８７】
座標変換算出部１１２は、視点選択部１０６で選択される各視点に対応した入力多角形格納部１５６に格納された特徴点の組で形成される各多角形を上記出力多角形抽出部１１１にて抽出された対応する多角形に変換する座標変換式を算出する。
例えば、視点選択部１０６で、視点Ａ、Ｂ、Ｃが選択され、また、ユーザによって視点Ｖが指定されたとする。この場合、視点Ａでの物体画像を視点Ｖでの物体画像に変換する座標変換式は、次のようにして算出される。なお、視点Ｂ、視点Ｃについても同様の処理にて座標変換式が得られる。
【００８８】
図９及び図１０を用いて前述したように、多角形の対応関係に基づいて、視点Ａでの物体画像から視点Ｂでの物体画像に変換する座標変換式は、
ｘb ＝ｆab（ｘa 、ｙa ） ｙb ＝ｇab（ｘ、a ｙa ）
となる。この関係を利用して、視点Ａでの物体画像を視点Ｖでの物体画像に変換する座標変換式が、
ｘv ＝ｆav（ｘa 、ｙa ） ｙv ＝ｇav（ｘa 、ｙa ）
のように得られる。
【００８９】
図２１に示す入力多角形格納部１５６及び出力多角形抽出部１１１は、図２４に示す多角形抽出部１１３に置き換えることが可能である。なお、図２４において、図２１と同一の参照番号は、同一の機能ブロックを示している。
多角形抽出部１１３は、視点選択部１０６にて選択された各視点に対応する入力特徴点格納部１５３に格納された特徴点を頂点とする複数の多角形を当該視点での物体画像を覆うように形成した際に各多角形の頂点となる特徴点の組を抽出する。そして、各視点での物体画像上で対応する特徴点の組が、同様に多角形の頂点となるように各視点での物体画像上の特徴点の組分けが行われる。即ち、多角形抽出部１１３は、視点設定部１０６にて選択された各視点での物体画像上で設定された特徴点を頂点とするそれぞれ対応する多角形を抽出する（図９、図１０参照）。また、出力特徴点算出部１０７で算出された特徴点を頂点とする複数の多角形であり、上記入力特徴点に基づいて抽出された多角形に対応する多角形が更に、多角形抽出部１１３にて抽出される。この出力特徴点算出部１０７で算出された特徴点を頂点とする複数の多角形からなる多角形群は、出力視点Ｖでの物体画像を覆う。
【００９０】
上記のように抽出された各視点での物体画像上の多角形と、ユーザによって指定された視点での物体画像上の多角形との関係に従って、座標変換算出部１１２が、図２１に示す例の場合と同様に、座標変換式を算出する。
各視点での物体画像上に設定された特徴点を頂点とする多角形を用いて座標変換式を算出するようにした映像生成処理装置１００は、更に、図２５に示すような機能構成とすることも可能である。なお、図２５において、図１７及び図２４と同一の参照番号は、同一の機能ブロックを表わしている。
【００９１】
この例では、外部記憶装置１３内に構築される構造化データ格納部１５０は、図１７に示す例と同様に、入力視点画像格納部１５１、入力視点格納部１５２、入力特徴点格納部１５３、視点選択テーブル１５４及び三次元座標格納部１５５を備え、更に、表面多角形格納部１５７が付加されている。
三次元座標格納部１５５は、図１７の例で説明したように、各視点での物体画像上に設定した特徴点に対応する物体上の点を表わす三次元座標値が格納されている。表面多角形格納部１５７は、三次元座標格納部１５５に格納されたそれぞれの特徴点に対応する物体上の点を頂点する複数の多角形からなる多角形群で、それらの多角形が物体の表面を覆うようなものを格納する。
【００９２】
例えば、三次元空間の特徴点に対応した点を頂点した三角形で物体を覆う場合、表面多角形格納部１５７には、図２６に示すような形式で、物体の表面で三角形を形成する点の組が格納される。この場合、物体表面は、Ｌ個の三角形で覆われ、１番目の三角形は、特徴点１、特徴点２及び特徴点６に対応した物体表面上の点を頂点とし、２番目の三角形は、特徴点２、特徴点５及び特徴点６に対応した物体表面上の点を頂点とし、Ｌ番目の三角形は、特徴点７、特徴点８及び特徴点９を頂点としている。
【００９３】
また、例えば、三次元空間の特徴点に対応した点を頂点とした四角形で物体を覆う場合、表面多角形格納部１５７には、図２７に示すような形式で、物体の表面で四角形を形成する点の組が格納される。この場合、物体表面は、Ｌ個の四角形で覆われ、１番目の四角形は、特徴点１、特徴点２、特徴点５及び特徴点６を頂点とし、２番目の四角形は、特徴点２、特徴点３、特徴点４及び特徴点５を頂点とし、Ｌ番目の四角形は、特徴点７、特徴点８、特徴点９及び特徴点１０を頂点としている。
【００９４】
上記のような表面多角形格納部１５７に格納されるべき物体表面を覆う多角形の各頂点の組は、上記構造化データ作成装置２００が他の構造化データ（各視点での物体画像、特徴点等）と供に、生成することができる。この場合、多角形の頂点の組を表わすデータは、当該他の構造化データと供に、記録媒体（ＣＤ−ＲＯＭ等）を用いて、あるいは、通信路を介して映像生成処理装置１００に提供される。
【００９５】
この例における映像生成処理装置１００は、更に、多角形抽出部１１４を備えている。この多角形抽出部１１４は、プログラムに従ったＣＰＵ１０での処理により実現される。多角形抽出部１１４は、表面多角形格納部１５７に格納された物体表面を覆う各多角形の頂点に対応した、視点選択部１０６にて選択された各視点での物体画像上の特徴点を頂点とする多角形を抽出する。更に、多角形抽出部１１４は、上記表面多角形格納部１５７に格納された物体表面を覆う各多角形の頂点に対応した、出力特徴点算出部１０９にて算出されるユーザ指定の視点Ｖでの物体画像上の特徴点を頂点とする多角形を抽出する。
【００９６】
例えば、視点選択部１０６によって視点Ａ、視点Ｂ、視点Ｃが選択されたとすする。この場合、まず、入力特徴点格納部１５１を参照して視点Ａでの物体画像上に設定された特徴点の組が取り出される。そして、表面多角形格納部１５７に格納されされている多角形のうち、視点Ａでの物体画像上で設定した特徴点に対応する点が頂点となる多角形が選ばれる。
【００９７】
多角形抽出部１１４は、その選ばれた多角形を視点Ａに関する多角形群として出力する。多角形抽出部１１４は、同様にして、視点Ｂ及び視点Ｃに関する多角形群を出力する。そして、更に、多角形抽出部１１４は、視点Ａ、視点Ｂ、視点Ｃに関する３つの多角形群に共通して含まれる複数の多角形をユーザに指定された視点（出力視点）に関する多角形群として出力する。
【００９８】
映像生成処理装置１００は、更に、図２８に示すような機能構成とすることも可能である。なお図２８において、図２５と同一の参照番号は同一の機能ブロックを示す。
この例では、入力視点格納部１５２ａに格納すべき視点（入力視点）のデータ及び三次元座標格納部１５５ａに格納すべき特徴点に対応した物体上の点の三次元座標値が映像生成処理装置１００内で生成される。即ち、映像生成処理装置１００は、入力特徴点格納部１５１に格納された特徴点のデータに基づいて対応する物体上の点の三次元座標を推定する三次元推定部１２１と、該特徴点のデータに基づいて各視点を表すデータを推定する入力視点推定部１２２とを有している。
【００９９】
これら、三次元推定部１２１及び入力視点推定部１２２は、プログラムに従ったＣＰＵ１０の処理にて実現される。
入力特徴点格納部１５１には、図８に示すように、ｎ番目の視点での物体画像上に設定されたｍ番目の特徴点の座標（ｘnm、ｙnm）が格納されている。また、直交投影（図１９参照）を仮定した場合、その特徴点の座標は、前述したように、
ｘnm＝（ｉn 、Ｒm ）、 ｙnm＝（ｊn 、Ｒm ） （１２）
で算出される。また、透視投影（図２０参照）を仮定した場合、その特徴点の座標は、前述したように、
ｘnm＝ｆ（ｉn 、Ｒm −Ｑn ）／（ｉn ×ｊn 、Ｒm −Ｑn ）
ｙnm＝ｆ（ｊn 、Ｒm −Ｑn ）／（ｉn ×ｊn 、Ｒm −Ｑn ） （１３）
で算出される。ここで、Ｒm は、ｍ番目の特徴点の三次元座標を表すベクトルであり、Ｑn は、ｎ番目の視点の位置を表すベクトルである。また、ｉn とｊn は画像面におけるｘ軸方向とｙ軸方向を表すベクトルである。一般にｎとｍがある程度大きければ、特徴点の座標（ｘnm、ｙnm）の値を基に（１２）式や（１３）式を解くことによって、Ｒm 、Ｑn 、ｉn 、ｊn を算出することができることが知られている。
【０１００】
従って、三次元座標推定部１２１は、特徴点の座標（ｘnm、ｙnm）から上記公知の手法に従って、ｍ番目の特徴点に対応した物体上の点を表すベクトルＲm を算出する。また、入力視点推定部１２２は、特徴点の座標（ｘnm、ｙnm）から公知の手法に従って視点を表すベクトルＱn 、ｉn 、ｊn を算出する。
上述したような映像生成処理装置１００で用いられる構造化データの全部または一部を作成する構造化データ作成装置２００は、通常のコンピュータシステムにて構成することができる。この場合、構造化データ作成装置２００は、図２９に示すようなハードウエア構成を有する。
【０１０１】
図２９において、このシステムは、それぞれバスに接続された、ＣＰＵ（中央演算処理ユニット）２０、メモリユニット２１、撮像信号入力回路２２、表示装置２３及び外部記憶装置２４を有する。また、各種情報及び位置の指定を行なうための入力ユニット２２０ががバスに接続されている。
ＣＰＵ２０は、メモリユニット２１に格納されたプログラムに従って、種々の処理を実行する。メモリユニット１１は、ＲＯＭ（読みだし専用メモリ）やＲＡＭ（書き込み可能メモリ）等で構成され、種々の処理に対応したプログラムや、処理の過程で得られた各種データを格納すると供に、表示装置２３に表示すべき画像データ（ビットマップ）を格納するための画像メモリとして使用される。入力ユニット２２０は、キーボード及びマウス等で構成され、処理に必要な情報を入力すると供に、特徴点を指定するため等に使用される。外部記憶装置２４は、例えば、ハードディスク装置にて構成される。
【０１０２】
カメラ２１０は物体Ｔを種々の視点から撮影し、カメラ２１０から出力される撮像信号が撮像信号入力回路２２に提供される。撮像信号入力回路２２は、カメラ２１０からの撮像信号を画像データに変換してバスに供給する。そして、画像データがＣＰＵ２０の制御に基づいてメモリユニット２１の画像メモリ上に展開される。また、画像メモリ上に展開された画像データを、外部記憶装置２４にファイルとして格納することができる。
【０１０３】
当該構造化データ作成装置２００での処理を実行するためのプログラムは、予めメモリユニット２１のＲＯＭに格納されている。このシステムを構造化データ作成装置２００として立ち上げると、ＣＰＵ２０がメモリユニット２１内の当該プログラムに従って処理を開始する。
このコンピュータシステムに構築される構造化データ作成装置２００の機能的な構成は、例えば、図３０に示すようになる。
【０１０４】
図３０において、当該構造化データ作成装置２００は、撮像信号入力部２０１、入力特徴点決定部２０２及び構造化データ格納部２５０から構成されてる。撮像信号入力部２０１は、撮像信号入力回路２２及びプログラムに従ってＣＰＵ２０が実行する処理ステップにて実現される。また、入力特徴点決定部２０２はプログラムに従ってＣＰＵ２０が実行する処理ステップにて実現される。構造化データ格納部２５０は、外部記憶装置２４内に構成される。
【０１０５】
構造化データ格納部２５０は、入力視点画像格納部２５１と入力特徴点格納部２５２を有している。物体Ｔが複数（Ｎ）の視点からカメラ２１０によって撮影され、その際得らる各視点での入力画像データが入力視点画像格納部２５１に格納される。入力特徴点格納部２５２は、上記Ｎ個の視点での物体画像上において後述するような手法に従って入力特徴点決定部２０２が決定した特徴点の位置（座標）を、例えば、図８に示す形式にて格納する。
【０１０６】
入力特徴点決定部２０２は、入力視点画像格納部２５１に格納されたＮ枚の物体画像に対して互いに対応する複数個の特徴点の位置を次のような手法にしたがて決定する。
まず、入力視点画像格納部２５１に格納されたＮ枚の物体画像を順番に表示装置２３の画面上に表示させる。ユーザが表示された物体画像を見ながら当該物体画像上において対応する物体の特徴的な点（色の境界点、形状の変化点等）を入力ユニット２２０（マウス）を用いて指定し、その指定した特徴点を特定する番号を入力ユニット２２０（キーボード）から入力する。物体上の同じ特徴的な点であっても、その物体を異なる視点から撮影して得た各画像上では、その特徴的な点に対応する特徴点の座標値が異なる。そして、物体上の同じ点に対応した各物体画像上の特徴点は、同じ番号で特定される。
【０１０７】
入力特徴点設定部２０２は、入力ユニット２２０（マウス）で指定された位置を検出してその位置に対応する座標値を、表示された物体画像の視点と入力された番号に対応付けて、入力特徴点格納部２５２に格納する（図８参照）。
また、入力視点画像格納部２５１に格納された各視点での物体画像を処理することによって特徴点の位置を自動的に決定することも可能である。その場合、入力特徴点決定部２０２は、図３１に示すように構成される。
【０１０８】
図３１において、入力特徴点決定部２０２は、特徴点候補抽出部２０２（１）、近傍パターン抽出部２０２（２）及び対応関係抽出部２０２（３）を有している。特徴点候補抽出部２０２（１）では、まず、入力視点画像格納部２５１に格納されているそれぞれの物体画像に濃度変化の程度を出力するような空間フィルタ（ガウシアンラプラッシアン等）が施される。次に、その濃度変化の値が予め定めた値より大きく、かつ、その値が周囲のどの画素の値よりも大きくなっている画素が抽出され、それらの画素が特徴点候補として出力される。
【０１０９】
近傍パターン抽出部２０２（２）では、入力視点画像格納部２５１に格納された各物体画像を対象として、その物体画像に含まれる特徴点候補のそれぞれに対して、その画素を中心とするある大きさの近傍パターンが抽出される。例えば、注目画素を中心として、ｎ×ｎの大きさの範囲にあるパターンがｎ×ｎの大きさの画像として抽出される。
【０１１０】
対応関係抽出部２０２（３）では、次のような手順に従って、近傍パターン抽出部２０２（２）で抽出された近傍パターンの類似性に基づいて画像どおしの間で対応が付けられた特徴点が抽出される。
ステップ１において、１枚目の物体画像から抽出された特徴点候補に１からＭまでの番号を付ける。
【０１１１】
ステップ２において、１からＭまでの全てのｍに対して、ステップ１においてｍの番号が付けられた特徴点候補の近傍パターンがｍ番目の代表パターンとして定められる。
ステップ３において、ｎ＝１を設定する。
ステップ４において、１からＭまでの全てのｍに対して、ｍ番目の代表パターンとｎ番目の物体画像から抽出された各特徴点候補の近傍パターンの相違度を算出し、その値が予め定めた閾値より小さいときにその近傍パターンに対応する特徴点候補にｍの番号を付ける。そして、ｍ番目の代表パターンを以下のように更新する。
【０１１２】
即ち、その時点までにｍ番目の代表パターンが更新された回数をｋとしたときに、ｍ番目の代表パターンを、更新前のパターンにｋ＋1 の重みを付け、今注目しているＩ番目の画像の近傍パターンに１の重みを付けて平均したものに更新する。
ステップ５において、ｎに１を加える。
【０１１３】
ステップ６において、ｎ＜Ｎならばステップ４に戻り、ｎ＝Ｎであるならば次のステップに進む。
ステップ７において、１からＭまでの全てのｍに対して、番号が付けられた特徴点候補の数が算出され、その数が予め定めた閾値以上である場合に、番号が付けられた特徴点候補をその番号で対応付けられた特徴点とする。
【０１１４】
以上、ステップ１から７までの処理を行なった後、２枚目の画像からＮ枚目の画像において、特徴点候補から前記ステップ１から７までの処理で抽出された対応付けられた特徴点を除いたうえで、ステップ１から７までの処理を繰り返す。このとき、ステップ１においては、２枚目の物体画像から抽出された特徴点候補に対して１からＭまでの番号を付ける。更に、同様の処理を、３枚目の画像からＮ枚目の画像に対して行なう。この処理をＮ−１枚目の画像からＮ枚目の画像を対象とした処理を行なった時点で終了する。
【０１１５】
上記のようにして、入力視点画像格納部２５１に格納された各視点での物体画像（入力視点画像）及び入力特徴点格納部２５２に格納された各物体画像上に設定した特徴点（入力特徴点）のデータは、例えば、ＣＤ−ＲＯＭ等の記録媒体に格納される。そして、これら各視点での物体画像及び各物体画像上に設定された特徴点のデータがこの記録媒体によって上述した映像生成処理装置１００に提供される。また、上記のようにして構造データ格納部２５０に格納された各視点での物体画像及び特徴点のデータを、通信路を介して上記映像生成処理装置１００に提供することもできる。
【０１１６】
上記構造化データ作成装置２００は、図３２に示すような機能構成とすることもできる。図３２において、図３０と同一の参照番号は同一の機能ブロックを表わしている。
この例では、構造化データ作成装置２００に、入力多角形決定部２０３と入力多角形格納部２５３が設けられている。
【０１１７】
入力多角形決定部２０３は、プログラムに従ったＣＰＵ２０での処理で実現される。この入力多角形決定部２０３は、入力視点画像格納部２５１に格納された各視点での物体画像上に入力特徴点決定部２０２が設定した特徴点を頂点とする複数の多角形（頂点となる特徴点の組で表される）からなる多角形群を決定する。この多角形群は、当該物体画像を覆うように決められ、また、異なる視点での各物体画像において対応する特徴点がそれぞれ頂点となる対応する多角形が決定される。
【０１１８】
具体的には、次のようにして、特徴点を頂点とする多角形が決定される。
まず、入力視点画像格納部２５１に格納されたある視点での物体画像が表示装置２３の画面に表示される。また、同時に、この物体画像上に設定され、入力特徴点格納部２５２に格納された特徴点の位置が上記物体画像に重ねて表示される。ユーザは、この表示画面をみながら２つの特徴点の間をマウス（入力ユニット２２０）で指定する。システム（入力多角形決定部２０３）は、マウスの動きを検出し、それら２つの特徴点の間を線で結び、それを表示画面に表示させる。
【０１１９】
このようにしてユーザが特徴点間をマウスで指定することによって特徴点間が線で結ばれ、表示画面上の物体画像が三角形や四角形等の多角形で覆われるようになる。入力多角形決定部１０３は、この表示画面上に描かれた結果を基に、三角形あるいは四角形の組を抽出して、例えば、図２２や図２３に示すような形式で入力多角形格納部２５３に格納する。
【０１２０】
次に、システムは、次の視点での物体画像を入力視点画像格納部２５１から読みだし、その物体画像、その物体画像上に設定された特徴点及び前の物体画像において決定された多角形を表示画面上に表示させる。ユーザはそれをみながら上記同様のマウス操作により、まだ多角形で覆われていない物体画像領域を覆うような多角形を決めてゆく。このような操作を繰り返して、全ての視点での物体画像上に設定された特徴点を頂点とする多角形を決定する。そして、その決定された多角形に関するデータが入力多角形格納部２５３に格納される（図２２、図２３参照）。
【０１２１】
上記のようにして、入力視点画像格納部２５１に格納された各視点での物体画像、入力特徴点格納部２５２に格納された各物体画像上に設定された特徴点及び入力多角形格納部２５３に格納された各物体画像上の多角形群が、例えば、ＣＤ−ＲＯＭ等の記録媒体に格納される。そして、この記録媒体によって、上記各視点での物体画像、特徴点及び物体画像上に多角形に関する情報が、例えば、図２１に示すような機能構成を有する映像生成処理装置１００に提供される。
【０１２２】
構造化データ作成装置２００は、更に、図３３に示すような機能構成とすることも可能である。なお、図３３において、図３２と同一の参照番号は、同一の機能ブロックを表している。
この例では、構造化データ作成装置２００に、入力視点決定部２０４と入力視点格納部２５４が設けられている。
【０１２３】
入力視点決定部２０４は、プログラムに従ったＣＰＵ２０での処理によって実現される。この入力視点検定部２０４は、入力視点画像格納部２５１に格納された物体画像に対してその視点を決定する。
例えば、カメラ２１０で物体Ｔを撮影する毎に、ユーザがカメラ２１０の物体Ｔに対する位置（経度θ、緯度φ）を観測し、その観測値を視点を表す情報として入力ユニット２２０（キーボード）から入力する。システム（入力視点決定部２０４）は、入力された情報（経度θ、緯度φ）を視点を認識して入力視点格納部２５４に格納する。入力視点格納部２５４には、入力された視点の情報が、例えば、図７に示す形式で格納される。
【０１２４】
また、入力視点決定部２０４は、次のような手法によっても視点の情報を得ることができる。
即ち、入力特徴点決定部２０２にて決定された各特徴点の位置情報に基づいて物体画像を得た際の視点が推定される。具体的には、例えば、図２８に示す映像生成処理装置１００の入力視点推定部１２２で行なわれるのと同様に、前記式（１２）及び式（１３）に従って視点を表すベクトルＱn が算出される。
【０１２５】
上記のようにして構造化データ格納部２５０に格納された各視点での物体画像、各物体画像上に設定された特徴点、各物体画像を覆う多角形群及び各視点の情報が、ＣＤ−ＲＯＭ等の記録媒体を利用したり、通信路を介して映像生成処理装置１００に提供される。
更に、構造化データ作成装置２００は、図３４に示すような機能構成とすることができる。なお、図３４において、図３３と同一の参照番号は、同一の機能ブロックを表している。
【０１２６】
この例では、三次元座標格納部２５５及び三次元構造推定部２０５が構造化データ作成装置２００に設けられている。
三次元構造推定部２０５は、プログラムに従ったＣＰＵ２０の処理にて実現される。この三次元構造推定部２０５は、図２８に示す映像生成処理装置１００の三次元座標推定部１２１と同様に、上記式（１２）及び式（１３）に従って、視点を表すベクトルＱn 及び特徴点の三次元座標Ｒm を算出する。そして、視点を表すベクトルＱn が構造データ格納部２５０の入力視点格納部２５４に格納され、また、特徴点の三次元座標Ｒm が三次元座標格納部２５５に格納される。
【０１２７】
上記のように構造化データ格納部２５０に格納された各視点での物体画像、各物体画像上に設定された特徴点、各物体画像を覆う多角形、各特徴点の三次元座標及び視点のデータが、構造化データとして映像生成処理装置１００に提供される。
構造化データ作成装置２００は、更に、図３５に示すような機能構成とすることもできる。
【０１２８】
この例は、前記例（図３４参照）と同様に、各特徴点に対応した物体Ｔ上の点の三次元座標を推定しているが、更に、視点に関するデータも加味して推定する点が前記例と異なる。
前述した例と同様（図３３参照）に、入力視点設定部２０４が、入力ユニット２２０から入力された視点を表す情報（経度θ、緯度φ）を取得する。そして、その取得した情報が入力視点格納部２５４に、例えば、図７に示す形式で格納される。
【０１２９】
この状態において、三次元座標推定部２０５は、上記のようにして入力された各視点に関する情報と、入力特徴点格納部２５２に格納された特徴点の位置に関する情報とに基づいて特徴点に対応する物体Ｔ上での点の三次元座標を推定する。その手法は、基本的に、前記例（図３４参照）の場合と同様に、前記式（１２）及び式（１３）に従って、当該点の三次元座標を表すベクトルＲm を算出する。この場合、入力視点に関する情報が既知であるので、上記式（１２）及び式（１３）おいて、ベクトルＱn 、ｉn 、ｊn が既知となって、その演算が容易になる。そして、その推定精度も向上する。
【０１３０】
構造化データ作成装置２００は、図３６に示すような機能構成とすることも可能である。
この例では、入力された物体Ｔの各視点での画像から特徴点候補を決定し、その候補から特徴点になるべき点に対応した物体Ｔ上の点の三次元座標を求めている。そして、その三次元座標から特徴点を決定している。
【０１３１】
図３６において、外部記憶装置２４内に構築される構造化データ格納部２５０は、入力視点画像格納部２５１、入力特徴点格納部２５２、入力視点格納部２５４及び三次元座標格納部２５５を有している。これら各格納部２５１、２５２、２５４及び２５５の機能は、前述した各例のものと同様である。
また、この構造化データ作成装置２００は、それぞれプログラムに従ったＣＰＵ２０の処理によって実現される、撮像信号入力部２０１、特徴点候補算出部２１１、入力視点設定部２０４、三次元座標候補抽出部２１２、三次元座標推定部２１３及び入力特徴点決定部２１４を有している。
【０１３２】
カメラ２１０によって物体Ｔを撮影して得られた各視点での物体画像が撮像信号入力部２０１を介して入力視点画像格納部２５１に格納される。入力視点設定部２０４は、前述した例（図３３参照）と同様の手法に従って、入力視点画像格納部２５１に格納した各物体画像を得るための物体Ｔに対する視点の位置を設定する。
【０１３３】
特徴点候補算出部２１１は、入力視点画像格納部２５１に格納された各視点での物体画像から特徴点の候補（特徴点候補）を抽出する。この特徴点候補算出部２１１は、図３１に示す特徴点候補抽出部２０２（１）と同様に、各物体画像を処理して、その画像中から濃度変化が激しい等の特徴的な点（特徴点候補）を抽出する。
【０１３４】
三次元座標候補抽出部２１２は、特徴点候補算出部２１１で算出された各視点での物体画像における複数個の特徴点候補の位置と入力視点格納部２５１に格納された各視点の情報に基づいて、各特徴点候補に対応した物体Ｔ上の点の三次元座標（三次元座標候補）を算出する。例えば、直交投影の手法を用いて次のように三次元座標候補が抽出される。なお、透視投影の手法を用いても同様に手順にて三次元座標候補が抽出される。
【０１３５】
まず、視点１から視点ＮまでのＮ個の視点があるとし、これらＮ個の視点からランダムに２個の視点を選ぶ。選ばれた視点を、例えば、視点Ａ、視点Ｂとする。また、視点Ａでの物体画像から抽出された特徴点候補の中から、ランダムに１つの特徴点候補を選び、その座標を（ｘa 、ｙa ）とする。同様に、視点Ｂでの物体画像から抽出された特徴点候補の中から、ランダムに１つの特徴点候補を選び、その座標を（ｘb 、ｙb ）とする。更に、視点Ａから物体Ｔを撮影したときの画像面のｘ軸方向の単位ベクトルをｉa 、当該画像面のｙ軸方向の単位ベクトルをｊa とし、同様に、視点Ｂに対しても単位ベクトルｉb 、ｊb を定義する。
【０１３６】
もし、視点Ａでの物体画像における特徴点候補（ｘa 、ｙa ）と視点Ｂでの物体画像における特徴点候補（ｘb 、ｙb ）が三次元空間中の同一の点Ｒ＝（Ｘ、Ｙ、Ｚ）T を投影したものであれば、直交投影について上述したのと同様に（図１９参照）、
ｘa ＝（ｉa 、Ｒ）、ｙa ＝（ｊa 、Ｒ）
ｘb ＝（ｉb 、Ｒ）、ｙb ＝（ｊb 、Ｒ） （１４）
が成り立つ。ここで、
によってＪを定義すると、（ｘa 、ｙa ）と（ｘb 、ｙb ）が三次元空間中の同一の点を投影したものであれば、Ｊの値がゼロになる。
【０１３７】
ここで、Ｊを最小にするようなＲと、そのときの最小値Ｊmin を求める。この最小値Ｊmin が予め定めた閾値より小さい場合に、そのＲを三次元座標の候補として出力する。
この処理を視点の組とそれらの視点における特徴点候補をランダムに選びながら所定の回数繰り返して三次元座標候補の組を出力する。なお、三次元座標の候補が抽出される毎に、以下に述べる三次元座標推定部２１３と入力特徴点決定部２１４の処理を行なってもよい。
【０１３８】
三次元座標推定部２１３は、上記のようにして三次元座標候補抽出部２１２によって抽出された三次元座標の候補を各視点での物体画像に投影してその投影された点の位置とその近傍にある特徴点候補の位置関係に基づいて、特徴点に対応する物体Ｔ上の点の三次元座標を算出する。
三次元座標候補抽出部２１２によって三次元空間中の点Ｒが三次元座標候補として抽出されたとする。この点を視点１から視点Ｎまでの全ての視点に対して投影する。具体的には、視点ｎから投影したときの画像面のｘ軸方向の単位ベクトルをｉn 、当該画像面のｙ軸方向の単位ベクトルをｊn とし、投影された座標として、
ｘn ＝（ｉn 、Ｒ）、 ｙn ＝（ｊn 、Ｒ） （１６）
を算出する。そして、それぞれの視点において、（ｘn 、ｙn ）に最も近い特徴点候補との距離を算出する。その距離が予め定めた閾値より小さい場合に、得点１を加算する。Ｎ個の視点について同様の処理を行なった後、得点が予め定めた値より大きいときに、この三次元座標を出力する。
【０１３９】
以上の処理を三次元座標候補抽出部２１２から出力される全ての三次元座標候補に対して行なう。その結果、三次元座標候補抽出部２１２で抽出された候補の中から信頼性の高いものが、最終的な三次元座標値として選ばれる。
三次元座標推定部２１３から出力された特徴点に対応した物体上の点の三次元座標値は、三次元座標格納部２５５に格納される。
【０１４０】
入力特徴点決定部２１４は、三次元座標推定部２１３から出力される三次元座標をそれぞれの視点に投影して得られる座標を入力特徴点の座標として入力特徴点格納部２５２に格納する。
三次元座標推定部２１３から三次元座標のベクトルＲが出力されたとする。このとき、視点１から視点Ｎまでの全ての視点に対してこの点を投影する。具体的には、視点ｎから撮影したときの画像面のｘ軸方向の単位ベクトルをｉn 、当該画像面のｙ軸方向の単位ベクトルをｊn とし、投影された座標として、
ｘn ＝（ｉn 、Ｒ）、 ｙn ＝（ｊn 、Ｒ） （１７）
を算出する。この処理を三次元座標推定部２１３から出力される全ての三次元座標について行なう。そして、式（１７）で表される座標を入力特徴点格納部２５２に格納する。
【０１４１】
上述した処理は、直交投影の手法に従ったものであるが、透視投影の手法に従った処理においては、上記、各式（１４）、（１５）、（１６）及び（１７）が次の式に代えられる。
式（１４）は、
ｘn ＝ｆ（ｉn 、Ｒ−Ｑn ）／（ｉn ×ｊn 、Ｒ−Ｑn ）
ｙn ＝ｆ（ｊn 、Ｒ−Ｑn ）／（ｉn ×ｊn 、Ｒ−Ｑn ） （１８）
に、式（１５）は、
に、式（１６）は、
ｘn ＝ｆ（ｉn 、Ｒ−Ｑn ）／（ｉn ×ｊn 、Ｒ−Ｑn ）
ｙn ＝ｆ（ｊn 、Ｒ−Ｑn ）／（ｉn ×ｊn 、Ｒ−Ｑn ） （２０）
に、式（１７）は、
ｘn ＝ｆ（ｉn 、Ｒ−Ｑn ）／（ｉn ×ｊn 、Ｒ−Ｑn ）
ｙn ＝ｆ（ｊn 、Ｒ−Ｑn ）／（ｉn ×ｊn 、Ｒ−Ｑn ） （２１）
にそれぞれおきかえられる。
【０１４２】
【発明の効果】
以上、説明してきたように、請求項１乃至１５記載の本発明によれば、複数の視点から物体を撮影して得られる物体画像上に特徴点を設定し、任意の視点が指定された際に、選択された視点と指定された視点との関係と、選択された各視点での物体画像上の特徴点の位置関係に基づいて、選択された各視点での物体画像から当該指定された任意の視点での物体画像を生成するようにしたため、用意すべき画像データの量がより少ないものであっても、任意の視点から見た物体のよりリアルな映像を生成することができる。
【０１４３】
また、請求項１６乃至１８記載の本発明によれば、上記装置での処理をコンピュータに行わせるためのプログラムを格納した記録媒体を提供することができる。
更に、請求項１９乃至２６記載の本発明によれば、上記装置に提供すべき構造化データの少なくとも一部を作成する構造化データ作成装置を提供することができる。
【０１４４】
更にまた、請求項２７及び２８記載の本発明によれば、上記構造かデータ作成装置での処理をコンピュータに行わせるためのプログラムを格納した記録媒体を提供することができる。
【図面の簡単な説明】
【図１】本発明に係る映像生成処理装置の基本構成例を示すブロック図である。
【図２】本発明に係る構造化データ作成装置の基本構成例を示すブロック図である。
【図３】各視点での物体画像及びその物体画像上の特徴点の例を示す図である。
【図４】映像生成処理装置のハードウエア構成の例を示すブロック図である。
【図５】映像生成処理装置の機能構成の第一の例を示すブロック図である。
【図６】視点の位置を記述するデータの例を示す図である。
【図７】視点の位置を表わすテーブルを示す図である。
【図８】各視点での物体画像上に設定される特徴点の位置を表わすテーブルを示す図である。
【図９】各視点での物体画像上の特徴点を頂点とする多角形の例を示す図である。
【図１０】各視点での物体画像上の特徴点を頂点とする多角形の他の例を示す図である。
【図１１】指定された視点と選択された視点との関係を示す図（その１）である。
【図１２】指定された視点と選択された視点との関係を示す図（その２）である。
【図１３】選択された各視点での物体画像から指定された視点での物体画像への変換を示す図である。
【図１４】映像生成処理装置の機能構成の第二の例を示すブロック図である。
【図１５】視点選択テーブルの構造例を示す図である。
【図１６】映像生成処理装置の機能構成の第三の例を示すブロック図である。
【図１７】映像生成処理装置の機能構成の第四の例を示すブロック図である。
【図１８】各特徴点に対応した物体上の点の三次元座標の例を示す図である。
【図１９】直行投影の手法を示す図である。
【図２０】透視投影の手法を示す図である。
【図２１】映像生成処理装置の機能構成の第五の例を示すブロック図である。
【図２２】各視点での物体画像上の特徴点を頂点とした多角形の格納形式を示す図である。
【図２３】各視点での物体画像上の特徴点を頂点とした多角形の格納形式を示す図である。
【図２４】映像生成処理装置の機能構成の第六の例を示すブロック図である。
【図２５】映像生成処理装置の機能構成の第七の例を示すブロック図である。
【図２６】各視点での物体画像上の特徴点に対応した物体上の点を頂点とした多角形の格納形式を示す図である。
【図２７】各視点での物体画像上の特徴点に対応した物体上の点を頂点とした多角形の格納形式を示す図である。
【図２８】映像生成処理装置の機能構成の第八の例を示すブロック図である。
【図２９】構造化データ作成装置のハードウエア構成例を示すブロック図である。
【図３０】構造化データ作成装置の機能構成の第一の例を示すブロック図である。
【図３１】入力特徴点決定部の具体的機能構成例を示すブロック図である。
【図３２】構造化データ作成装置の機能構成の第二の例を示すブロック図である。
【図３３】構造化データ作成装置の機能構成の第三の例を示すブロック図である。
【図３４】構造化データ作成装置の機能構成の第四の例を示すブロック図である。
【図３５】構造化データ作成装置の機能構成の第五の例を示すブロック図である。
【図３６】構造化データ作成装置の機能構成の第六の例を示すブロック図である。
【図３７】従来の映像生成処理装置と構造化データ作成装置の例を示すブロック図である。
【符号の説明】
１０、２０ ＣＰＵ
１１、２１ メモリユニット
１２ 入力ユニット
１３、２４ 外部記憶装置
１４ ＣＤ−ＲＯＭドライバ
１０１ 出力視点設定部
１０２ 視点選択ｂｕ
１０３ 座標変換算出部
１０４ 座標変換実行部
１０５ 補間画像生成部
１２０ 表示装置
１５０ 構造化データ格納部
１５１ 入力視点画像格納部
１５２ 入力視点格納部
１５３ 入力特徴点格納部
２０１ 撮像信号入力部
２０２ 入力特徴点決定部
２２０ 入力ユニット
２５０ 構造化データ格納部
２５１ 入力特徴点格納部
２５２ 入力視点画像格納部
【発明の属する技術分野】
本発明は、物体を任意の視点から見た映像を生成する映像生成処理装置及びその映像生成処理装置での処理に用いられる構造化データを作成する構造化データ作成装置に関する。
このような装置は、美術館等に収納されている彫刻、壷等の作品の三次元映像を表示装置に表示させ、実際に美術館等に行かなくても、その作品を任意の方向から観賞できるようなシステムに適用できる。また、電子ショッピングにおいて、このような装置は、表示装置の画面上で商品の外観を種々の方向から観察できるようなシステムにも適用することができる。
【０００２】
【従来技術】
従来、種々の視点から見た物体の映像を表示させるシステムとして、例えば、図３７に示すようなシステムが考えられる。このようなシステムは、構造化データ作成装置５０と映像生成処理装置６０とから構成されている。構造化データ作成装置５０は、物体Ｔの三次元形状を測定するレンジセンサ５１と、レンジセンサ５１からの測定データに基づいて三次元形状データを作成する三次元データ作成部５２と、物体Ｔの表面を撮影するテレビカメラ５３と、テレビカメラ５３からの映像信号に基づいて物体Ｔ表面各部の色を表すテクスチャデータを作成するテクスチャデータ作成部５４と、上記三次元形状データ作成部５２にて作成された物体Ｔの三次元形状データ及びテクスチャデータを構造化データとして格納する構造化データ格納部５５とを有している。
【０００３】
この構造化データ格納部５５に格納された構造化データは、通信路を介して、あるいは、ＣＤ−ＲＯＭ等の記録媒体を用いて映像生成処理装置６０に提供される。
この映像生成処理装置６０は、提供された構造化データを格納する構造化データ格納部６１と、ユーザが希望する出力映像の視点（出力視点）を設定するための出力視点設定部６２と、この設定された出力視点から見た映像を上記構造化データから投影処理によって生成する投影処理部６３とを有している。そして、投影処理部６３にて生成された映像が表示装置に表示される。
【０００４】
このようなシステムによれば、物体Ｔの三次元形状データとテクスチャデータから所謂コンピュータグラフィックスの手法（投影処理）を用いて任意の視点での当該物体Ｔの映像を表示装置に表示させることができる。
【０００５】
【発明が解決しようとする課題】
しかし、上記のようなシステムでは、歪んだ壷等のように幾何学的に単純でない物体から測定された三次元形状が必ずしも正確なものではない。また、テレビカメラで撮影した物体表面のテクスチャと測定された三次元形状で表される物体表面上の位置との対応が必ずしも正確でない。更に、実際に物体を種々の視点から観察した場合には、光源と物体との位置関係によって物体表面の色が変化するが、現状のコンピュータを用いた投影処理ではその効果を必ずしも正確に表現できない。
【０００６】
従って、上記のようにして生成された任意の視点から見た物体Ｔの映像は、実際にその視点から観察される物体と必ずしも正確に一致しない。そのため、上記システムの表示装置に表示される物体Ｔの映像のリアリティは必ずしも高いものではない。
このような問題を解決するため、物体Ｔを予め多数の視点から撮影して得られた画像を蓄積しておき、ユーザが指定した視点（出力視点）に最も近い視点から撮影した画像を選んで表示装置に表示させるシステムが考えられる。このようなシステムでは、実際に物体を撮影して得られた画像そのものが表示されるので、ユーザは表示装置の画面上でリアリティの高い映像を見ることができる。
【０００７】
しかし、ユーザが任意に希望する視点あるいは、その希望する視点により近い視点での映像を得るためには、物体をより多くの視点から撮影した物体の画像を蓄積しておかなければならない。このため、画像データを蓄積するための記憶媒体の容量が非常に多くなってしまう。また、画像データを蓄積したサーバから通信路を介して当該画像データを映像生成処理装置に取り込む場合、多量の画像データを転送するために、広帯域の通信路が必要となる。
【０００８】
そこで、本発明の第一の課題は、用意すべき画像データの量がより少ないものであっても、任意の視点から見た物体のよりリアルな映像を生成することのできる映像生成処理装置を提供することである。
また、本発明の第二の課題は、このような映像生成処理装置での処理をコンピュータに行なわせるためのプログラムを格納した記録媒体を提供することである。
【０００９】
更に、本発明の第三の課題は、上記のような映像生成処理装置で用いられる構造化データを作成する構造化データ作成装置を提供することである。
また、本発明の第四の課題は、このような構造化データ作成装置での処理をコンピュータに行なわせるためのプログラムを格納した記録媒体を提供することである。
【００１０】
【課題を解決するための手段】
上記本発明の第一の課題を解決するため、本発明に係る映像生成処理装置は、請求項１に記載されるように、複数の視点から物体を撮影して得られる物体画像を各視点に対応させて格納した入力視点画像格納手段と、入力視点画像格納手段に格納された各視点での物体画像上の互いに対応する特徴点の位置を格納した入力特徴点格納手段と、入力視点画像格納手段に格納された各物体画像を得るために物体を撮影した視点の位置を格納する入力視点格納手段と、任意の視点が指定されたときに、上記入力視点格納手段に格納された視点から所定数の視点を選択する視点選択手段と、上記入力特徴点格納手段から得られる視点選択手段にて選択された各視点での物体画像上の特徴点の位置関係および選択された各視点と指定された視点との関係に従って、選択された各視点での物体画像から上記指定された視点での物体画像を生成する画像生成手段を有し、上記視点選択手段は、指定される視点の範囲と選択されるべき所定数の視点との関係を記述したテーブルを有し、任意の視点が指定されたときに、当該指定された視点が属する範囲に対応した所定数の視点を当該テーブルを参照して選択する構成となる。
【００１１】
このような映像生成処理装置では、任意の視点が指定されたときに、選択された視点と当該指定された視点との関係と、選択された各視点での物体画像上の特徴点の位置関係に基づいて、選択された各視点での物体画像から当該指定された任意の視点での物体画像が生成される。また、指定された視点が、入力視点格納手段に格納された視点と一致すれば、画像生成手段は、上記各関係に従って、入力視点画像格納手段に格納された当該指定された視点での物体画像を出力する。
【００１２】
上記画像生成手段は、例えば、請求項２に記載されるように、選択された各視点での物体画像上の特徴点の位置的関係に基づいて、視点選択手段にて選択された各視点での物体画像上の位置を、上記指定された視点での物体画像上の位置に変換するための座標変換式を決める座標変換決定手段と、
座標変換決定手段にて決定された座標変換式に従って、上記選択された各視点での物体画像を上記指定された視点での物体画像に変換する画像変換実行手段と、
選択された各視点での物体画像から画像変換実行手段により変換された上記指定された視点での各物体画像を選択された各視点と上記指定された視点との関係に従って合成し、その合成物体画像を上記指定された視点での物体画像として出力する画像合成手段を有するように構成される。
【００１３】
更に、処理の簡便性や精度のよい物体画像を生成する等の観点から、上記各映像生成処理装置は、請求項３乃至１５に記載されるように構成される。
上記第二の課題を解決するため、本発明は、請求項１６に記載されるように、複数の視点から物体を撮影して得られる物体画像と、当該複数の各視点での物体画像上に設定された互いに対応する特徴点の位置とに基づいて、任意の視点での物体画像を生成する映像生成処理装置での処理をコンピュータに行なわせるためのプログラムを格納した記録媒体において、当該プログラムは、任意の視点が指定されたときに、当該複数の視点から選択された所定数の視点を取得するための視点選択プログラム手段と、視点選択プログラム手段に従って選択された各視点での物体画像上の特徴点の位置関係および選択された各視点と指定された視点との関係に従って、選択された各視点での物体画像から上記指定された視点での物体画像を生成するための画像生成プログラム手段とを有し、上記視点選択プログラム手段は、指定される視点の範囲と選択されるべき所定数の視点との関係を記述したテーブルを有し、任意の視点が指定されたときに、当該指定された視点が属する範囲に対応した所定数の視点を当該テーブルを参照して選択する構成となる。
【００１４】
更に、上記第三の課題を解決するため、本発明に係る構造化データ作成装置は、請求項１９に記載されるように、複数の視点から物体を撮影して得られる物体画像を各視点に対応させて格納する入力視点画像格納手段と、入力視点画像格納手段に格納された各視点での物体画像上の互いに対応する特徴点の位置を決定する入力特徴点決定手段と、入力特徴点決定手段にて決定された各視点での物体画像上の互いに対応する特徴点の位置を格納する入力特徴点格納手段と、指定される視点の範囲と選択されるべき所定数の視点との関係を記述したテーブルを作成するテーブル作成手段とを有し、上記入力特徴点決定手段は、入力視点画像格納手段に格納された各視点での物体画像から所定の条件を満たす複数の特徴点候補を抽出する特徴点候補算出手段と、各視点での物体画像における特徴点候補の位置の近傍の画像パターンの類似性に基づいて、上記抽出された特徴点候補から各視点での物体画像におけるそれぞれ対応した特徴点を抽出する入力特徴点抽出手段とを有し、上記入力視点画像格納手段に格納された複数の視点での物体画像，入力特徴点格納手段に格納された各視点での物体画像上の特徴点，指定される視点の範囲と選択されるべき所定数の視点との関係を記述したテーブルを外部のシステムに構造化データとして供給できるように構成される。
【００１５】
また、より精度のよい物体画像の生成が行なえるための構造化データを提供できることや、その構造化データをより簡便に収集できる等の観点から、上記構造化データ作成装置は、請求項２０乃至２６に記載されるように構成される。
更に、上記第四の課題を解決するため、本発明は、請求項２７に記載されるように、物体の任意の視点から見た映像を生成するための映像生成処理装置に用いられる構造化データを作成する処理をコンピュータに行なわせるためのプログラムを格納した記録媒体において、当該プログラムは、複数の視点から物体を撮影して得られる物体画像を画像格納ユニットに各視点に対応させて格納するための入力視点画像格納プログラム手段と、画像格納ユニットに格納された各視点での物体画像上の互いに対応する特徴点の位置を決定するための入力特徴点決定プログラム手段と、入力特徴点決定プログラム手段での処理にて決定された各視点での物体画像上の互いに対応する特徴点の位置を入力特徴点格納ユニットに格納するプログラム手段と、指定される視点の範囲と選択されるべき所定数の視点との関係を記述したテーブルを作成するテーブル作成プログラム手段とを有し、上記画像格納ユニットに格納された複数の視点での物体画像，入力特徴点格納ユニットに格納された各視点での物体画像上の特徴点，指定される視点の範囲と選択されるべき所定数の視点との関係を記述したテーブルを上記映像生成処理装置に構造化データとして供給できるように構成される。
【００１６】
また同観点から本発明は、請求項２８に記載されるように、物体の任意の視点から見た映像を生成するための映像生成処理装置に用いられる構造化データを作成する処理をコンピュータに行わせるためのプログラムを格納した記録媒体において、当該プログラムは、複数の視点から物体を撮影して得られる物体画像から所定の条件を満たす複数の特徴点候補を抽出する特徴点候補算出プログラム手段と、物体画像を得るために物体を撮影した視点の位置を設定して入力視点格納ユニットに格納する入力視点設定プログラム手段と、特徴点候補算出プログラム手段での処理にて算出された各視点での物体画像における複数の特徴点候補の位置と入力視点格納ユニットに格納された各視点の位置に基づいて、該特徴点候補に対応する物体上での点の三次元座標を抽出する三次元座標候補抽出プログラム手段と、三次元座標候補抽出プログラム手段での処理にて抽出された三次元座標を入力視点格納ユニットに格納された各視点での物体画像に投影された点の位置とその近傍にある特徴点候補との位置関係に基づいて特徴点に対応すべき物体上の点の三次元座標を算出する三次元座標算出プログラムと、算出された三次元座標に各視点に投影して特徴点を算出する入力特徴点決定プログラム手段と、指定される視点の範囲と選択されるべき所定数の視点との関係を記述したテーブルを作成するテーブル作成手段とを有するように構成される。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
本発明の実施の形態に係るシステムの基本的な構成は、例えば、図１及び図２に示すようになる。
図１において、映像生成処理装置１００は、ユーザが出力視点入力部１１０から入力した視点から見た物体を表す画像データを外部から提供される当該物体の構造化データから生成し、その画像データに基づいて当該視点から見た物体を表示装置１２０に表示させる。任意の視点から見た物体を表す画像データを生成するために必要な構造化データは、少なくとも、当該物体を複数の視点から撮影して得られる物体画像を表すデータ、その各視点に対応した物体画像上に設定された特徴点を表すデータ及び当該複数の視点を表すデータを含む。
【００１８】
各視点に対応した物体画像上に設定された特徴点は、物体上で同一の点に対応する特徴点が夫々対応付けられるように管理される。例えば、図３（ａ）、（ｂ）、（ｃ）に示すように、物体（三角錐体）上で同一の点に対応する各視点Ａ、Ｂ、Ｃでの物体画像上の特徴点は、同一の番号で特定される。
また、上記映像生成処理装置１００にて用いられる構造化データの一部または、全部は、ＣＤ−ＲＯＭ等の記録媒体を用いて、あるいは、通信路を介して映像生成処理装置１００に提供される。この構造化データの全部または一部は、図２に示す構造化データ作成装置２００にて作成される。
【００１９】
図２に示すように、構造化データ作成装置２００は、物体Ｔを複数の視点からカメラ２１０にて撮影して得られる画像を蓄積し、その各視点に対応した物体画像上において特徴点を設定する。ユーザが入力装置２２０（マウス等）を用いて各物体画像上にて指定した点を特徴点として設定するができる。また、各視点に対応した物体画像の特徴の共通性に基づいて各物体画像上で夫々対応する特徴点を自動的に設定することもできる。
【００２０】
このように、構造化データ作成装置２００は、少なくとも、物体Ｔを複数の視点から撮影して得られる物体画像及びその各物体画像上で設定される特徴点を当該物体Ｔの構造化データの一部として作成する。そして、少なくとも、このように作成されたデータが構造化データの一部としてＣＤ−ＲＯＭ等の記録媒体に記録され、上述したようにこの記録媒体を用いて当該構造化データが映像生成処理装置１００に提供される。また、構造化データ作成装置２００にて作成された構造化データは、通信路を介して上記映像生成処理装置１００に提供することも可能である。
【００２１】
なお、この構造化データ作成装置２００は、物体Ｔを複数の視点から撮影する際にその視点を表すデータを蓄積することも可能である。この場合、構造化データ作成装置２００にて作成される構造化データに当該各視点を表すデータが含まれる。また、上記複数の視点での物体の画像及び特徴点を表すデータのほか、構造化データ作成装置２００にて作成すべき構造化データの種類は、上記映像生成処理装置１００で用いられる構造化データの種類に応じて決められる。
【００２２】
上記映像生成処理装置１００は、通常のコンピュータシステムにて構成することができる。この場合、映像生成処理装置１００は、図４に示すようなハードウエア構成を有する。
図４において、このシステムは、それぞれバスに接続された、ＣＰＵ（中央演算処理ユニット）１０、メモリユニット１１、入力ユニット１２、外部記憶装置１３及びＣＤ−ＲＯＭドライバ１４を有する。また、指定された任意の視点から見た物体を表示するための表示装置１０２がバスに接続されている。
【００２３】
ＣＰＵ１０は、メモリユニット１１に格納されたプログラムに従って、種々の処理を実行する。メモリユニット１１は、ＲＯＭ（読みだし専用メモリ）やＲＡＭ（書き込み可能メモリ）等で構成され、種々の処理に対応したプログラムや、処理の過程で得られた各種データを格納すると供に、表示装置１２０に表示すべき画像データ（ビットマップ）を格納するための画像メモリとして使用される。入力ユニット１２は、キーボード及びマウス等で構成され、処理に必要な情報を入力すると供に、ユーザが希望する視点を入力するために用いられる。 外部記憶装置１３は、例えば、ハードディスク装置にて構成されている。当該映像生成処理装置１００での処理を実行するためのプログラムを格納したＣＤ−ＲＯＭがＣＤ−ＲＯＭドライバ１４にセットされると、ＣＰＵ１０の制御に従って、該プログラムがＣＤ−ＲＯＭからＣＤ−ＲＯＭドライバ１４を介して外部記憶装置１３にインストールされる。そして、映像生成処理装置１００としてシステムを立ち上げると、当該プログラムが外部記憶装置１３からメモリユニット１１に読み出される。
【００２４】
また、上記のようにして映像生成処理装置１００としてシステムの立ち上げが行なわれた後に、上述した構造化データを格納した他のＣＤ−ＲＯＭがＣＤ−ＲＯＭドライバ１４にセットされると、ＣＰＵ１０の制御に基づいて、当該構造化データがＣＤ−ＲＯＭからＣＤ−ＲＯＭドライバ１４を介して外部記憶装置１３にインストールされる。以後、ＣＰＵ１０は、上記のようにメモリユニット１１に読み出されたプログラムに従って、外部記憶装置１３に格納された構造化データを用いて、映像生成処理装置１００の各機能に対応した処理を実行する。
【００２５】
このコンピュータシステムに構築される映像生成処理装置１００の機能的な構成は、例えば、図５に示すようになる。
図５において、当該映像生成処理装置１００は、出力視点設置部１０１、視点選択部１０２、座標変換算出部１０３、座標変換実行部１０４、補間画像生成部１０５及び構造化データ格納部１５０から構成される。出力視点設置部１０１、視点選択部１０２、座標変換算出部１０３、座標変換実行部１０４及び補間画像生成部１０５は、それぞれプログラムに従ってＣＰＵ１０が実行する処理ステップにて実現される。構造化データ格納部１５０は、外部記憶装置１３内に構成される。
【００２６】
上記構造化データ格納部１５０は、入力視点画像格納部１５１、入力視点格納部１５２及び入力特徴点格納部１５２にて構成され、これら各部に、前述したように、例えば、ＣＤ−ＲＯＭにて提供された各種の構造化データが格納される。
入力視点画像格納部１５１には、Ｎ個の視点から撮影された物体のＮ通りの画像を表すデータが格納される。各画像には、各視点に対応した番号１〜Ｎが割り振られている。
【００２７】
入力視点格納部１５２には、上記のように物体を撮影するＮ個の視点を表すデータが格納される。各視点は、例えば、図６に示すように、物体が置かれた中心Ｏから半径１の球面上に延びるベクトルＱ１、Ｑ２、．．．、ＱＮで表される。そして、各ベクトルは、当該球の経度θと緯度φにて特定される。上記Ｎ通りの画像に対応したＮ個の視点１、２、．．．、Ｎは、それぞれ（θ１、φ１）、（θ２、φ２）、．．．、（θＮ、φＮ）にて特定される。このＮ個の視点を特定するデータ（経度θ、緯度φ）が、図７に示すようなかたちで入力視点格納部１５２に格納される。
【００２８】
入力特徴点格納部１５３には、上記入力視点画像格納部１５１に格納されるそれぞれ異なった視点で撮影された物体のＮ通りの画像上で設定された特徴点の座標値が格納される。各物体画像上において対応する特徴点、即ち、実際の物体上の同一の点に対応する各物体画像上の特徴点は、同一の番号によって管理される。図３に示す例では、視点Ａ、視点Ｂ、視点Ｃでの各物体画像上に特徴点１乃至６が設定されている。そして、この各物体画像上に設定された特徴点の座標値が、例えば、図８に示すような形式で入力特徴点格納部１５３に格納されている。
【００２９】
図８において、視点１での物体画像上に設定された各特徴点１、２、．．．、Ｍの座値がそれぞれ（Ｘ11、ｙ11）、（ｘ12、ｙ12）、．．．、（ｘ1M、ｙ1M）で表される。なお、これらの座標値を記述する座標系は、各画像に対して共通的に設定された、例えば、表示画面上に設定された座標系である。
また、視点２からは、特徴点２に対応する物体上の点が見えないので、当該視点２の物体画像上に特徴点２が設定されない。そのことを表わすため、図８において、視点２の物体画像上における特徴点２の座標値が（９９９、９９９）と記述されている。
【００３０】
出力視点設定部１０１は、ユーザが入力ユニット１２を用いて指定した視点（θV 、φV ）を出力画像の視点としてＣＰＵ１０の内部レジスタに設定する。ユーザは、例えば、次のようにして、所望の視点を指定する。
例えば、表示画面の中心が原点一致するようにＸ−Ｙ座標系が当該表示画面上に設定されている。そして、ある視点（θ、φ）から見た物体が表示装置１０２の画面上に表示されている状態において、点（ｘ、ｙ）をマウス（入力ユニット１２）で指定すると、視点（θ＋ｘ、φ＋ｙ）が新たな視点（θV 、φV ）として設定される。
【００３１】
視点選択部１０２は、出力視点設定部１０１によって設定された視点（θV 、φV ）に近い視点を入力視点格納部１５２に格納された視点から所定個数Ｋ選択する。この個数Ｋは、例えば「３」に定められる（Ｋ＝３）。視点選択部１０２は、具体的に、Ｎ個の視点から次のようにして当該３つの視点を選択する。
図６に示すように、指定された視点（θV 、φV ）で定まる半径１の球上の点をＶとし、各視点（θ１、φ１）、（θ２、φ２）、．．．、（θN 、φN ）で定まる半径１の球上の点をそれぞれＱ１、Ｑ２、．．．、ＱN とする。そして、点V と各点Ｑ１、Ｑ２、．．．、ＱN との間の距離を演算し、最も小さい距離から３番目までの視点を選択する。
【００３２】
また、次のようにしても視点を選択することができる。
すなわち、上記のようにして各視点（θ１、φ１）、（θ２、φ２）、．．．、（θＮ、φN ）に対応して定められた半径１の球上の点Ｑ１、Ｑ２、．．．、ＱN を頂点とする三角形によって当該球面を分割する。これにより、当該球体が、各面が三角形となる多面体で近似される。そして、指定された視点を表わすベクトルＶが交わる三角形の３つの頂点に対応した視点が選択される。
【００３３】
座標変換算出部１０３は、視点選択部１０２にて上記のようにして選択された３つ（Ｋ個）の視点の各物体画像上の点を出力視点設定部１０１にて設定された視点での物体画像上の点に変換するための座標変換式を算出する。座標変換算出部１０３では、具体的に次のような処理が行われる。
まず、視点選択部１０２で選択されたＫ個（３個）の各視点に対して、その視点と他の視点との視点対を作成する。例えば、視点Ａ、視点Ｂ、視点Ｃが選択された場合、視点Ａに対して視点対（Ａ、Ｂ）及び（Ａ、Ｃ）が、視点Ｂに対して視点対（Ｂ、Ａ）（Ｂ、Ｃ）が、また、視点Ｃに対して視点対（Ｃ、Ａ）（Ｃ、Ｂ）がそれぞれ作成される。
【００３４】
例えば、図９に示すように、視点Ａ、Ｂ、Ｃの各物体画像ＩＡ、ＩＢ、ＩＣにＭ個（６個）の特徴点が設定されているとする。なお、ある物体画像上では設定されているが、他の物体画像上では設定されていない特徴点が一般には存在するが、そのような特徴点は省いたうえで、各物体画像上にそれぞれ対応したＭ個の特徴点が設定されているとする。視点Ａ、Ｂ、Ｃの各物体画像上に設定されたこれらの特徴点の座標値をそれぞれ、例えば、（ｘa1、ｙa1）〜（ｘaM、ｙaM）、（ｘb1、ｙb1）〜（ｘbM、ｙbM）、（ｘc1、ｙc1）〜（ｘcM、ｙcM）とする。
【００３５】
そして、まず、視点対（Ａ、Ｂ）に着目して、視点Ａの物体画像上の特徴点（ｘa1、ｙa1）〜（ｘaM、ｙaM）が視点Ｂの物体画像上の特徴点（ｘb1、ｙb1）〜（ｘbM、ｙbM）に移るような座標変換式が算出される。即ち、
ｘ’＝ｆab（ｘ、ｙ）、 ｙ’＝ｇab（ｘ、ｙ）
のような２変数の連続関数ｆab及びｇabであって、
ｘbi＝ｆab（ｘai、ｙai）、 ｙbi＝ｇab（ｘai、ｙai） （１）
であるようなものが算出される。以下、視点対（Ａ、Ｂ）について、物体画像ＩＡから物体画像ＩＢに変換する座標変換式を算出する手順を説明する。なお、他の視点対についても同様の手順で一方の視点の物体画像から他方の視点の物体画像への座標変換式が算出される。
【００３６】
ｆab（ｘ、ｙ）及びｇab（ｘ、ｙ）をｘ、ｙについての多項式とし、その多項式の係数を上記式（１）ができるだけ満たされるように定められる。具体的には、
【００３７】
また、上記のような座標変換式（式（１）参照）は、次のようにしても得ることができる。
例えば、図９に示すように、視点選択部１０２で選択された視点での各物体画像を設定された特徴点を頂点とする三角形で分割する。各物体画像において、対応する特徴点でできる三角形は互いに対応するように管理する。つまり、例えば、図９において、物体画像ＩＡに△１２６が含まれていれば、特徴点１、特徴点２及び特徴点６が設定された他の全ての物体画像ＩＢ、ＩＣに△１２６が含まれるようにする。このことは、全ての三角形について同様である。
【００３８】
なお、前述したように、視点選択部１０２で選択された視点での各物体画像において、ある画像上では設定されているが、別の画像上では設定されていない特徴点が一般に存在するが、そのような特徴点は予め省いておく。それにより、視点選択部１０２にて選択されたある視点での物体画像上で特徴点１、特徴点２、特徴点６が設定されていれば、選択された他の視点での物体画像上でも、特徴点１、特徴点２、特徴点６が設定されていることになる。従って、ある物体画像に△１２６が含まれていれば、他の全ての物体画像にも△１２６が含まれることになる。
【００３９】
次に、物体画像ＩＡに含まれる△１２６内の各点を物体画像ＩＢに含まれる△１２６内の各点に変換するアフィン変換を求める。ある三角形を別の三角形に移すようなアフィン変換が存在することやそのアフィン変換を求める手法は公知である。その手法に従って、上記物体画像ＩＡの△１２６から物体画像ＩＢの△１２６へのアフィン変換を求める。同様にして、物体画像ＩＡに含まれる全ての三角形から物体画像ＩＢに含まれる対応する三角形へのアフィン変換を算出する。
【００４０】
視点Ａから見た物体の物体画像ＩＡはこれらの三角形で覆われているので、物体画像ＩＡの物体領域内の点（ｘai、ｙai）を当該点（ｘai、ｙai）を含む三角形に対応するアフィン変換によって変換した点（ｘbi、ｙbi）が物体画像ＩＢの物体領域内の対応する点として得られる。
この場合、上記アフィン変換による座標変換式が
ｘbi＝ｆab（ｘai、ｙai）、 ｙbi＝ｇab（ｘai、ｙai）
のように算出される。
【００４１】
また更に、座標変換式は、次のようにしても求めることができる。
例えば、図１０に示すように、視点選択部１０２で選択された視点での各物体画像を設定された特徴点を頂点とする四角形で分割する。三角形を用いた上記手法と同様に、各物体画像において、対応する特徴点でできる四角形は互いに対応するように管理する。つまり、例えば、図１０において、物体画像ＩＡに□１２５６が含まれていれば、特徴点１、特徴点２、特徴点５及び特徴点６が設定された他の全ての物体画像ＩＢ、ＩＣに□１２５６が含まれるようにする。
【００４２】
次に、物体画像ＩＡに含まれる□１２５６内の各点を物体画像ＩＢに含まれる□１２５６内の各点に変換する射影変換を求める。ある四角形を別の四角形に移すような射影変換が存在することやその射影変換を求める手法は公知である。その手法に従って、上記物体画像ＩＡの□１２５６から物体画像ＩＢの□１２５６への射影変換を求める。同様にして、物体画像ＩＡに含まれる全ての四角形から物体画像ＩＢに含まれる対応する四角形の射影変換を算出する。
【００４３】
視点Ａから見た物体の画像ＩＡはこれらの四角形で覆われているので、物体画像ＩＡの物体領域内の点（ｘai、ｙai）を当該点（ｘai、ｙai）を含む四角形に対応する射影変換によって変換した点（ｘbi、ｙbi）が画像ＩＢの物体領域内の対応する点として得られる。
この場合、上記射影変換による座標変換式が
ｘbi＝ｆab（ｘai、ｙai）、 ｙbi＝ｇab（ｘai、ｙai）
のように算出される。
【００４４】
上述した３つの手法のいずれかにて、視点Ａでの物体画像ＩＡ上の点を視点Ｂでの物体画像ＩＢ上の点に変換する座標変換式
ｘb ＝ｆab（ｘa 、ｙa ）、 ｙb ＝ｇab（ｘa 、ｙa ）
が算出される。他の視点対についても同様の処理がなされ、一方の視点での物体画像から他方の視点での物体画像への座標変換式が算出される。
【００４５】
次に、特に、視点対（Ａ、Ｂ）及び視点対（Ａ、Ｃ）に着目し、これらの視点対に関して、上記のようにして算出した座標変換式に基づいて視点Ａでの物体画像ＩＡからユーザが指定した視点Ｖでの物体画像ＩＶへの座標変換式を算出する。これは、例えば、次のような手法にて算出される。
物体画像ＩＡ上の点（ｘa 、ｙa ）を物体画像ＩＢ上の点（ｘb 、ｙb ）に変換する座標変換式を
ｘb ＝ｆab（ｘa 、ｙa ）、 ｙb ＝ｇab（ｘa 、ｙa ）
とし、物体画像ＩＡ上の点（ｘa 、ｙa ）を物体画像ＩＣ上の点（ｘc 、ｙc ）に変換する座標変換式を
ｘc ＝ｆac（ｘa 、ｙa ）、 ｙc ＝ｇac（ｘa 、ｙa ）
とする。
【００４６】
物体画像ＩＡ上の点（ｘa 、ｙa ）を物体画像ＩＶ上の点（ｘv 、ｙv ）に変換する座標変換式は、
【００４７】
図１１において、視点Ａ、Ｂ、Ｃのそれぞれが、位置ベクトルＱa 、Ｑb 、Ｑc にて表される。また、原点Ｏとユーザが指定した視点Ｖを結ぶ直線が三角形ＡＢＣと交わる点Ｗを表す位置ベクトルをＱw とすると、βとγは、
Ｑw ＝Ｑa ＋β（Ｑb −Ｑa ）＋（Ｑc −Ｑa ）
を満たすように定められる。
【００４８】
図１２に示すように、点Ｗを通り、ＡＣと平行な直線がＡＢと交わる点をＳとし、点Ｗを通り、ＡＢと平行な直線がＡＣと交わる点をＴとした場合、上記重みα、β、γは、
β＝ＡＳ／ＡＢ、 γ＝ＡＴ／ＡＣ、 α＝１−β−γ （４）
で求められる。
【００４９】
以上により、視点Ａでの物体画像ＩＡからユーザが指定した視点Ｖでの物体画像ＩＶへの座標変換式が上記式（３）（α、β、γが式（４）に従って決定）のように算出される。
上記と同様にして、視点Ｂでの物体画像ＩＢからユーザが指定した視点Ｖでの物体画像ＩＶへの座標変換式が、
【００５０】
更に、図５に示す座標変換実行部１０４は、上述したように座標変換算出部１０３にて算出された各座標変換式に従って、選択された各視点での物体画像からユーザが指定した視点Ｖでの物体画像に変換する処理を行なう。
視点Ａでの物体画像ＩＡから視点Ｖでの物体画像への座標変換式（３）は、物体画像ＩＡにおける座標点（画素の位置を表す）（ｘa 、ｙa ）が、視点Ｖでの物体画像ＩＶにおいて座標点（ｘv 、ｙv ）＝（ｆav（ｘa 、ｙa ）、ｇav（ｘa 、ｙa ））に対応していることを表している。この関係に基づいて、物体画像ＩＡにおける（ｘa 、ｙa ）の画素の色を視点Ｖでの物体画像における（ｘv 、ｙv ）の画素の色とすることによって、当該視点Ｖでの物体画像ＩＶa が生成される。
【００５１】
なお、座標変換式
（ｘv 、ｙv ）＝（ｆav（ｘa 、ｙa ）、ｇav（ｘa 、ｙa ））
の代わりに、上述したのと同様の手法によって、逆方向の座標変換、即ち、視点Ｖでの物体画像を視点Ａでの物体画像ＩＡに変換する座標変換式
（ｘa 、ｙa ）＝（ｆva（ｘv 、ｙv ）、ｇva（ｘv 、ｙv ））
を算出し、この座標変換式に従って、物体画像ＩＶにおける各座標（ｘv 、ｙv ）の画素の色を対応する物体画像ＩＡにおける座標（ｘa 、ｙa ）の画素の色と同じ色に決定するようにしてもよい。
【００５２】
上記と同様にして、座標変換式（５）に従って、視点Ｂでの物体画像ＩＢにおける（ｘb 、ｙb ）の画素の色を視点Ｖでの物体画像における（ｘv 、ｙv ）の画素の色とすることによって、当該視点Ｖでの物体画像ＩＶb が生成される。また、座標変換式（６）に従って、視点Ｃでの物体画像ＩＣにおける（ｘc 、ｙc ）の画素の色を視点Ｖでの物体画像における（ｘv 、ｙv ）の画素の色とすることによって、当該視点Ｖでの物体画像ＩＶｃが生成される。
【００５３】
上述したような座標変換実行部１０４での処理により、視点選択部１０２で選択された、例えば、各視点Ａ、Ｂ、Ｃでの物体画像ＩＡ、ＩＢ、ＩＣのそれぞれから、座標変換式（３）、（５）、（６）に従って、図１３に示すように、ユーザが指定した視点Ｖ（出力視点）での物体画像ＩＶa 、ＩＶb 、ＩＶc が生成される。
【００５４】
補間画像生成部１０５は、上記のようにして生成された視点Ｖでの物体画像ＩＶa 、ＩＶb 、ＩＶc に基づいて最終的に表示装置１２０に表示すべき補間画像ＩＶを次のように生成する。
即ち、座標変換式（３）、（５）、（６）を算出する際に用いた重みα（視点Ａと視点Ｖとの関係を表す）、β（視点Ｂと視点Ｖとの関係を表す）、γ（視点Ｃと視点Ｖとの関係を表す）を用い、
ＩＶ＝αＩＶa ＋βＩＶb ＋γＩＶc （７）
に従って、補間画像ＩＶが生成される。
【００５５】
上記式（７）は、補間画像ＩＶの各座標（ｘv 、ｙv ）に位置する画素の色が、物体画像ＩＡの対応する座標（ｘa 、ｙa ）に位置する画素の色にα（割合）を乗じて得られる色成分と、物体画像ＩＢの対応する座標（ｘb 、ｙb ）に位置する画素の色にβ（割合）を乗じて得られる色成分と、物体画像ＩＣの対応する座標（ｘc 、ｙc ）に位置する画素の色にγ（割合）を乗じて得られる色成分との和になることを意味する。
【００５６】
このようにして生成された補間画像ＩＶは、ＣＰＵ１０の制御に従って、表示装置１２０に提供され、その表示画面に表示される。
上記のようにして構成される映像生成処理装置１００では、ユーザが物体を見る視点Ｖを指定すると、その視点Ｖに近い複数の視点が予め定めた視点のなかから選択される。そして、その選択された各視点での物体画像上に設定された特徴点の相関関係から得られる座標変換式に従って当該視点Ｖでの物体画像が生成される。このようにユーザが指定した視点Ｖでの物体画像が表示装置に表示され、その結果、ユーザは、表示装置の画面上において自分の希望する視点から当該物体を見ることが可能となる。
【００５７】
上記の例において、視点選択部１０２は、入力視点格納部１５２に格納されるＮ個の視点からユーザが指定した視点Ｖとの距離を演算して、当該視点Ｖに近い、例えば、３つの視点を選択している。このような視点選択部１０２での処理では、ユーザによって視点が指定される毎に、その指定された視点と入力視点格納部１５２に格納されたＮ個の視点との距離を演算しなければならず、その処理時間が長くなってしまう。このような不具合を解消するため、映像生成処理装置１００は、例えば、図１４に示すような機能構成とすることができる。なお、図１４において、図５と同一の参照番号は、同一の機能ブロックを示している。
【００５８】
この例では、外部記憶装置１３内に構築される構造化データ格納部１５０に視点選択テーブル１５４が付加されている。そして、視点選択部１０６が視点選択テーブル１５４を参照して視点を選択する。
この視点選択テーブル１５４は、ユーザが指定した視点Ｖをキーとして入力視点格納部１５２に含まれる視点からどの視点を選択するかを記述したテーブルであり、例えば、図１５に示すように構成されている。即ち、視点を表す経度θと緯度φをそれぞれ区分してマトリクスを構成し、各区分領域内に、当該区分領域内の経度と緯度で表される視点Ｖが指定されたときに、選択すべき視点が記述されている。例えば、図１５に示すように、経度θv がθ1 とθ2 の間にあり、緯度φv がφ3 とφ4 の間にあるような視点Ｖ（θv 、φv ）が指定された場合、経度の区分θ1 〜θ2 と緯度の区分φ3 〜φ4 で決まる区分領域内に記述された視点Ａ、Ｂ、Ｃが選択される。
【００５９】
この視点選択テーブルは、構造化データ作成装置２００にて作成することができる。この場合、他の構造化データ（各視点での物体画像データ、特徴点等）と供に、視点選択テーブルが、記録媒体（ＣＤ−ＲＯＭ等）を用いて、あるいは通信路を介して映像生成処理装置１００に提供される。また、この視点選択テーブルは、入力視点格納部１５２に格納すべき各視点に関する情報に基づいて、他の外部装置や、映像生成処理装置１００内で作成することも可能である。
【００６０】
このように視点選択テーブル１５４を用いて座標変換すべき画像の視点を選択することにより、指定された視点と各視点との距離を演算する必要がなくなり、視点選択の処理に要する時間を削減することができる。
上記映像生成処理装置１００は、例えば、図１６に示すように、構成することも可能である。なお、図１６において、図１４と同一の参照番号は、同一の機能ブロックを示している。
【００６１】
この例では、プログラムに従ったＣＰＵ１０での処理により実現される出力特徴点算出部１０７が、選択された各視点での物体画像上に設定された特徴点（入力特徴点）から、ユーザによって指定された視点から見た物体画像上の対応する特徴点（出力特徴点）を推定算出している。そして、選択された各視点での物体画像上に設定した各特徴点と指定された視点での物体画像上の対応する特徴点との関係から、座標変換算出部１０８が、当該選択された各視点での物体画像から指定された視点での物体画像への座標変換式を算出する。
【００６２】
視点選択部１０６によって選択された視点Ａ、Ｂ、Ｃでの各物体画像上に、例えば、次のようなＭ個の特徴点（入力特徴点）が設定される。即ち、視点Ａでの物体画像上では、特徴点（ｘa1、ｙa1）、（ｘa2、ｙa2）、．．．、（ｘaM、ｙaM）が設定され、視点Ｂでの物体画像上では、特徴点（ｘb1、ｙb1）、（ｘb2、ｙb2）、．．．、（ｘbM、ｙbM）が設定され、また、視点Ｃでの物体画像上では、特徴点（ｘc1、ｙc1）、（ｘc2、ｙc2）、．．．、（ｘcM、ｙcM）が設定される。
【００６３】
出力特徴点算出部１０７は、まず、ユーザにて指定された視点Ｖを取得して、前記式（４）に従って重みα、β、γを算出する。そして、この重みα、β、γを用いて、指定された視点Ｖでの物体画像上の対応するｉ番目の特徴点の位置（ｘvi、ｙvi）を
ｘvi＝αｘai＋βｘbi＋γｘci （ｉ＝１、２、．．．、Ｍ）
ｙvi＝αｙai＋βｙbi＋γｙci （ｉ＝１、２、．．．、Ｍ） （８）
に従って算出する。
【００６４】
これにより、選択された各視点Ａ、Ｂ、Ｃでの物体画像上に設定したｉ番目の特徴点に対応する視点Ｖでの物体画像上のｉ番目の特徴点が得られる。
なお、一般に、それぞれの視点において物体の影になって見えない等の理由で、全ての特徴点が観測されるわけではないが、選択された視点において共通して観測されている特徴点についてだけ上記処理が行なわれる。
【００６５】
座標変換算出部１０８は、視点選択部１０６にて選択された、例えば、各視点Ａ、Ｂ、Ｃでの物体画像上に設定された特徴点１〜Ｍ、視点設定部１０１で設定した視点Ｖと、出力特徴点算出部１０７にて算出された特徴点の各情報に基づいて、選択された各視点での物体画像から指定された視点Ｖでの物体画像に変換する座標変換式を算出する。視点Ａでの物体画像から視点Ｖでの物体画像に変換する座標変換式は次のように算出される。
【００６６】
既に、図５に示す座標変換算出部１０３が、視点Ａでの物体画像から視点Ｂでの物体画像への座標変換式（１）をそれぞれの物体画像に設定された特徴点の関係に基づいて算出するための処理（３つの手法による）について説明した。この処理と同じ手法によって、視点Ａでの物体画像から視点Ｖでの物体画像に変換する座標変換式が、視点Ａでの物体画像上に設定した特徴点（入力特徴点）と出力特徴点算出部１０７で算出されてた特徴点（出力特徴点）との関係に基づいて算出される。その結果、上記座標変換式（１）と同様の形式の座標変換式
ｘv ＝ｆav（ｘa 、ｙb ）、 ｙv ＝ｇav（ｘa 、ｙa ）
が得られる。
【００６７】
また、同様にして、選択された他の視点Ｂでの物体画像から視点Ｖでの物体画像に変換する座標変換式
ｘv ＝ｆbv（ｘb 、ｙb ）、 ｙv ＝ｇbv（ｘb 、ｙb ）
及び、更に他の視点Ｃでの物体画像から視点Ｖでの物体画像に変換する座標変換式
ｘv ＝ｆcv（ｘc 、ｙc ）、 ｙv ＝ｇcv（ｘc 、ｙc ）
がそれぞれ得られる。
【００６８】
上記のようにして得られた選択された各視点Ａ、Ｂ、Ｃでの物体画像からユーザが選択した視点Ｖでの物体画像への座標変換式が座標変換実行部１０４に提供され、上述したのと同様に、これらの変換座標式に従って、各視点Ａ、Ｂ、Ｃでの物体画像ＩＡ、ＩＢ、ＩＣから視点Ｖでの物体画像ＩＶa 、ＩＶb 、ＩＶc が演算される。
【００６９】
上記のような例では、選択された各視点での物体画像上に設定された特徴点からユーザが指定した視点での物体画像上の対応する特徴点を算出し、それら特徴点の相対的な関係に基づいて、各視点での物体画像からユーザが指定した視点での物体画像に変換する座標変換式を算出している。その結果、座標変換式がより正確に算出することが可能となる。
【００７０】
上記出力特徴点算出部１０７は、次のような処理により、ユーザが指定した視点での物体画像上の特徴点（出力特徴点）を算出することもできる。
前述した場合と同様に、視点選択部１０６にて視点Ａ、Ｂ、Ｃが選択され、それら各視点での物体画像上に設定された特徴点が、視点Ａに対しては、（ｘa1、ｙa1）、（ｘa2、ｙa2）、．．．、（ｘaM、ｙaM）、視点Ｂに対しては、（ｘb1、ｙb1）、（ｘb2、ｙb2）、．．．、（ｘbM、ｙbM）、視点Ｃに対しては、（ｘc1、ｙc1）、（ｘc2、ｙc2）、．．．、（ｘcM、ｙbM）であったとする。また、ユーザが視点Ｖ（出力視点）を指定したとする。
【００７１】
出力特徴点算出部１０７は、後述するような手法に従って、アフィン変換の係数α11、α12、α21、α22、β11、β12、β21、β22、γ11、γ12、γ21、γ22を算出する。そして、これらの係数を用いて、
ｘvi＝α11ｘai＋α12ｙai＋β11ｘbi＋β12ｙbi＋γ11ｘci＋γ12ｙci
ｙvi＝α21ｘai＋α22ｙai＋β21ｘbi＋β22ｙbi＋γ21ｘci＋γ22ｙci （９）
に従ってユーザが指定してした視点Ｖでの物体画像上の特徴点の位置（ｘvi、ｙvi）が算出される。
【００７２】
上記各アフィン変換の係数α11、α12、α21、α22、β11、β12、β21、β22、γ11、γ12、γ21、γ22は、次のようにして算出される。
図１１において、選択された視点Ａ、Ｂ、Ｃを表す位置ベクトルをそれぞれＱa 、Ｑb 、Ｑc とし、視点Ｖを表す位置ベクトルをＱv とする。また、これらのベクトルの長さが１になるように正規化したものをｕa 、ｕb 、ｕc 、ｕv とし、北極の方向を向いた単位ベクトルをηとする。
【００７３】
次式によって、３ｘ３の行列Ｍを定義する。
【００７４】
上記のようにして算出されたアフィン変換の係数を用いて、上記（９）式に従って、ユーザが指定した視点Ｖでの物体画像上の特徴点の位置が算出される。
このような出力視点特徴部１０７での処理によれば、ユーザが指定した視点Ｖでの物体画像上の特徴点（出力特徴点）の位置をより多くのパラメータを使って算出しているので、より正確な出力特徴点の位置が算出できる。
【００７５】
上記映像生成処理装置１００は、例えば、図１７に示すように構成することができる。図１７において、図１６と同一の参照番号は、同一の機能ブロックを表している。
この例では、外部記憶装置１３内に構築される構造化データ格納部１５０に三次元座標格納部１５５が付加されている。この三次元座標格納部１５５には、各視点での物体画像上に設定された特徴点に対応する実際の物体上の点の三次元座標値が格納される。そして、出力特徴点算出部１０９は、三次元座標格納部１５５に格納された各特徴点に対応する物体上の点の三次元座標値に基づいて、ユーザが指定した視点での物体画像上の特徴点を算出する。
【００７６】
三次元座標格納部１５５には、例えば、図１８に示すような形式で、各特徴点に対応した物体上の点の三次元座標値（Ｘ、Ｙ、Ｚ）が格納されている。この三次元座標値を表すための座標系Ｘ−Ｙ−Ｚは、物体を設置する空間において任意に定めることができる。この三次元座標値は、構造化データ作成装置２００にて測定、または算出することができる。その場合、三次元座標値は、他の構造化データ（各視点に対応した物体画像、その物体画像上の特徴点）と供に、記録媒体（ＣＤ−ＲＯＭ等）を用いて、あるいは、通信路を介して映像生成処理装置１００に提供される。
【００７７】
出力特徴点演算部１０９は、三次元座標格納部１５５に格納された各特徴点に対応する物体上の点の三次元座標値に基づいて、ユーザが指定した視点Ｖでの物体画像上の特徴点を算出する。実際には、三次元空間中の特徴点に対応する点を画像面に投影することによって、指定された視点Ｖでの物体画像上での特徴点を算出する。投影の手法は、直交投影と透視投影の二種類がある。
【００７８】
まず、直交投影による手法に従って特徴点を算出する処理は、次のようになされる。
例えば、図１９に示すように、物体Ｔが三次元空間（Ｘ−Ｙ−Ｚ）の原点Ｏ付近におかれているとし、原点Ｏと視点とを結ぶ直線と平行な方向に、特徴点（入力特徴点）に対応した物体Ｔ上の点を投影する。そして、原点Ｏと視点とを結ぶ直線と垂直の向きに置かれている画像面Ｐと交わる点の位置を出力特徴点の位置とする。
【００７９】
ｍ番目の特徴点に対応した物体Ｔ上の点の三次元的な位置ベクトルＲm を
Ｒm ＝（Ｘm 、Ｙm 、Ｚm ）T
で表わし、ｎ番目の視点の位置ベクトルをＱn 、画像面Ｐのｘ軸方向の単位ベクトルをｉm 、画像面Ｐのｙ軸方向の単位ベクトルをｊm とすると、ｎ番目の視点におけるｍ番目の特徴点の座標は、
ｘnm＝（ｉn 、Ｒm ）、 ｙnm＝（ｊn 、Ｒm ）
で算出される。
【００８０】
次に、透視投影による手法に従って特徴点を算出する処理は、次のようになされる。
例えば、図２０に示すように、物体Ｔが三次元空間（Ｘ−Ｙ−Ｚ）の原点Ｏ付近に置かれているとし、各特徴点（入力特徴点）に対応した物体Ｔ上の点を視点の方向に投影し、原点Ｏと視点を結ぶ直線に垂直な向きに置かれている画像面Ｐと交わる点の位置を出力特徴点の位置とする。直行投影による手法に従った処理の場合と同様に、位置ベクトルＲm 、Ｑn 及び単位ベクトルｉn 、ｊn を定義すると、ｎ番目の視点におけるｍ番目の特徴点の座標（ｘnm、ｙnm）は、
ｘnm＝ｆ（ｉn 、Ｒm −Ｑn ）／（ｉn ×ｊn 、Ｒm −Ｑn ）
ｙnm＝ｆ（ｊn 、Ｒm −Ｑn ）／（ｉn ×ｊn 、Ｒm −Ｑn ）
で算出される。
【００８１】
このように、出力特徴点算出部１０９が各特徴点に対応した物体上の点の三次元座標をユーザが指定した視点で決まる画像面に投影して出力特徴点の位置を算出しているので、より正確な出力特徴点の位置を得ることができる。
更に、上記映像生成処理装置１００は、図２１に示すような機能構成とすることもできる。図２１において、前述した各例と同一の参照番号は、同一の機能ブロックを示している。
【００８２】
この例では、外部記憶装置１３内に構築される構造化データ格納部１５０は、図１６に示す例と同様に、入力視点画像格納部１５１、入力視点格納部１５２、入力特徴点格納部１５３及び視点選択テーブル１５４を備え、更に、入力多角形格納部１５６が付加されている。
各視点での物体画像上に設定した特徴点を頂点とする複数の多角形を各物体画像を覆うように形成した際に各多角形の頂点となる特徴点の組が、当該多角形に対応づけられて入力多角形格納部１５６に格納される。各視点での物体画像上で対応する特徴点の組が、同様に多角形の頂点となるように各視点での物体画像上の特徴点の組分けが行われる。
【００８３】
例えば、図９に示すように、各視点Ａ、Ｂ、Ｃでの物体画像ＩＡ、ＩＢ、ＩＣ上に設定された特徴点を頂点とした三角形を各物体画像を覆うように形成した際に当該三角形の頂点となる特徴点の組が、当該三角形に対応づけられて、例えば、図２２に示す形式で入力多角形格納部１５６に格納される。この例の場合、ある物体画像において特徴点の組（１、２、６）が三角形の頂点となる場合、対応する特徴点１、特徴点２、特徴点６を含む全ての物体画像において、特徴点の組（１、２、６）が三角形の頂点となるように各物体画像上の特徴点の組分けが行われる。また、図２２に示す例では、視点２から特徴点１、特徴点２、特徴点６を頂点とする三角形１及び特徴点７、特徴点８、特徴点９を頂点とする三角形Ｌを見ることができない。
【００８４】
なお、前述したように、視点選択部１０６で選択された各視点での物体画像において、ある物体画像には含まれているが別の物体画像には含まれていない特徴点が一般に存在するが、そのような特徴点は、予め省いておく。
また、例えば、図１０に示すように、各視点Ａ、Ｂ、Ｃでの物体画像ＩＡ、ＩＢ、ＩＣ上に設定された特徴点を頂点とした四角形を各物体画像を覆うように形成した際に当該四角形の頂点となる特徴点の組が、当該四角形に対応づけられて、例えば、図２３に示す形式で入力多角形格納部１５６に格納される。この例の場合、ある物体画像において特徴点の組（１、２、５、６）が四角形の頂点となる場合、対応する特徴点１、特徴点２、特徴点５、特徴点６を含む全ての物体画像において、特徴点の組（１、２、５、６）が四角形の頂点となるように各物体画像上の特徴点の組分けが行われる。また、図２３に示す例では、視点２から特徴点１、特徴点２、特徴点５、特徴点６を頂点とする四角形１及び特徴点７、特徴点８、特徴点９、特徴点１０を頂点とする四角形Ｌを見ることができない。
【００８５】
上記のような入力多角形格納部１５６に格納されるべき各視点での物体画像を覆う多角形の頂点となる特徴点の組は、上記構造化データ作成装置２００が他の構造化データ（各視点での物体画像、特徴点等）と供に、生成することができる。この場合、特徴点の組を表わすデータは、当該他の構造化データと供に、記録媒体（ＣＤ−ＲＯＭ等）を用いて、あるいは、通信路を介して映像生成処理装置１００に提供される。
【００８６】
この例では、更に、映像生成処理装置１００に出力多角形抽出部１１１が設けられている。この出力多角形抽出部１１１は、プログラムに従ったＣＰＵ１０での処理により実現される。
出力特徴点算出部１０７が前述したように、指定された視点Ｖでの物体画像上の特徴点を算出する。そして、出力多角形抽出部１１１は、上記入力多角形格納部１５６に格納された複数の多角形でなる多角形群（例えば、図２２における三角形１から三角形Ｌ）に基づいて、それに対応する多角形群であって当該視点Ｖでの物体画像を覆う複数の多角形を上記出力特徴点算出部１０７で算出された特徴点から抽出する。
【００８７】
座標変換算出部１１２は、視点選択部１０６で選択される各視点に対応した入力多角形格納部１５６に格納された特徴点の組で形成される各多角形を上記出力多角形抽出部１１１にて抽出された対応する多角形に変換する座標変換式を算出する。
例えば、視点選択部１０６で、視点Ａ、Ｂ、Ｃが選択され、また、ユーザによって視点Ｖが指定されたとする。この場合、視点Ａでの物体画像を視点Ｖでの物体画像に変換する座標変換式は、次のようにして算出される。なお、視点Ｂ、視点Ｃについても同様の処理にて座標変換式が得られる。
【００８８】
図９及び図１０を用いて前述したように、多角形の対応関係に基づいて、視点Ａでの物体画像から視点Ｂでの物体画像に変換する座標変換式は、
ｘb ＝ｆab（ｘa 、ｙa ） ｙb ＝ｇab（ｘ、a ｙa ）
となる。この関係を利用して、視点Ａでの物体画像を視点Ｖでの物体画像に変換する座標変換式が、
ｘv ＝ｆav（ｘa 、ｙa ） ｙv ＝ｇav（ｘa 、ｙa ）
のように得られる。
【００８９】
図２１に示す入力多角形格納部１５６及び出力多角形抽出部１１１は、図２４に示す多角形抽出部１１３に置き換えることが可能である。なお、図２４において、図２１と同一の参照番号は、同一の機能ブロックを示している。
多角形抽出部１１３は、視点選択部１０６にて選択された各視点に対応する入力特徴点格納部１５３に格納された特徴点を頂点とする複数の多角形を当該視点での物体画像を覆うように形成した際に各多角形の頂点となる特徴点の組を抽出する。そして、各視点での物体画像上で対応する特徴点の組が、同様に多角形の頂点となるように各視点での物体画像上の特徴点の組分けが行われる。即ち、多角形抽出部１１３は、視点設定部１０６にて選択された各視点での物体画像上で設定された特徴点を頂点とするそれぞれ対応する多角形を抽出する（図９、図１０参照）。また、出力特徴点算出部１０７で算出された特徴点を頂点とする複数の多角形であり、上記入力特徴点に基づいて抽出された多角形に対応する多角形が更に、多角形抽出部１１３にて抽出される。この出力特徴点算出部１０７で算出された特徴点を頂点とする複数の多角形からなる多角形群は、出力視点Ｖでの物体画像を覆う。
【００９０】
上記のように抽出された各視点での物体画像上の多角形と、ユーザによって指定された視点での物体画像上の多角形との関係に従って、座標変換算出部１１２が、図２１に示す例の場合と同様に、座標変換式を算出する。
各視点での物体画像上に設定された特徴点を頂点とする多角形を用いて座標変換式を算出するようにした映像生成処理装置１００は、更に、図２５に示すような機能構成とすることも可能である。なお、図２５において、図１７及び図２４と同一の参照番号は、同一の機能ブロックを表わしている。
【００９１】
この例では、外部記憶装置１３内に構築される構造化データ格納部１５０は、図１７に示す例と同様に、入力視点画像格納部１５１、入力視点格納部１５２、入力特徴点格納部１５３、視点選択テーブル１５４及び三次元座標格納部１５５を備え、更に、表面多角形格納部１５７が付加されている。
三次元座標格納部１５５は、図１７の例で説明したように、各視点での物体画像上に設定した特徴点に対応する物体上の点を表わす三次元座標値が格納されている。表面多角形格納部１５７は、三次元座標格納部１５５に格納されたそれぞれの特徴点に対応する物体上の点を頂点する複数の多角形からなる多角形群で、それらの多角形が物体の表面を覆うようなものを格納する。
【００９２】
例えば、三次元空間の特徴点に対応した点を頂点した三角形で物体を覆う場合、表面多角形格納部１５７には、図２６に示すような形式で、物体の表面で三角形を形成する点の組が格納される。この場合、物体表面は、Ｌ個の三角形で覆われ、１番目の三角形は、特徴点１、特徴点２及び特徴点６に対応した物体表面上の点を頂点とし、２番目の三角形は、特徴点２、特徴点５及び特徴点６に対応した物体表面上の点を頂点とし、Ｌ番目の三角形は、特徴点７、特徴点８及び特徴点９を頂点としている。
【００９３】
また、例えば、三次元空間の特徴点に対応した点を頂点とした四角形で物体を覆う場合、表面多角形格納部１５７には、図２７に示すような形式で、物体の表面で四角形を形成する点の組が格納される。この場合、物体表面は、Ｌ個の四角形で覆われ、１番目の四角形は、特徴点１、特徴点２、特徴点５及び特徴点６を頂点とし、２番目の四角形は、特徴点２、特徴点３、特徴点４及び特徴点５を頂点とし、Ｌ番目の四角形は、特徴点７、特徴点８、特徴点９及び特徴点１０を頂点としている。
【００９４】
上記のような表面多角形格納部１５７に格納されるべき物体表面を覆う多角形の各頂点の組は、上記構造化データ作成装置２００が他の構造化データ（各視点での物体画像、特徴点等）と供に、生成することができる。この場合、多角形の頂点の組を表わすデータは、当該他の構造化データと供に、記録媒体（ＣＤ−ＲＯＭ等）を用いて、あるいは、通信路を介して映像生成処理装置１００に提供される。
【００９５】
この例における映像生成処理装置１００は、更に、多角形抽出部１１４を備えている。この多角形抽出部１１４は、プログラムに従ったＣＰＵ１０での処理により実現される。多角形抽出部１１４は、表面多角形格納部１５７に格納された物体表面を覆う各多角形の頂点に対応した、視点選択部１０６にて選択された各視点での物体画像上の特徴点を頂点とする多角形を抽出する。更に、多角形抽出部１１４は、上記表面多角形格納部１５７に格納された物体表面を覆う各多角形の頂点に対応した、出力特徴点算出部１０９にて算出されるユーザ指定の視点Ｖでの物体画像上の特徴点を頂点とする多角形を抽出する。
【００９６】
例えば、視点選択部１０６によって視点Ａ、視点Ｂ、視点Ｃが選択されたとすする。この場合、まず、入力特徴点格納部１５１を参照して視点Ａでの物体画像上に設定された特徴点の組が取り出される。そして、表面多角形格納部１５７に格納されされている多角形のうち、視点Ａでの物体画像上で設定した特徴点に対応する点が頂点となる多角形が選ばれる。
【００９７】
多角形抽出部１１４は、その選ばれた多角形を視点Ａに関する多角形群として出力する。多角形抽出部１１４は、同様にして、視点Ｂ及び視点Ｃに関する多角形群を出力する。そして、更に、多角形抽出部１１４は、視点Ａ、視点Ｂ、視点Ｃに関する３つの多角形群に共通して含まれる複数の多角形をユーザに指定された視点（出力視点）に関する多角形群として出力する。
【００９８】
映像生成処理装置１００は、更に、図２８に示すような機能構成とすることも可能である。なお図２８において、図２５と同一の参照番号は同一の機能ブロックを示す。
この例では、入力視点格納部１５２ａに格納すべき視点（入力視点）のデータ及び三次元座標格納部１５５ａに格納すべき特徴点に対応した物体上の点の三次元座標値が映像生成処理装置１００内で生成される。即ち、映像生成処理装置１００は、入力特徴点格納部１５１に格納された特徴点のデータに基づいて対応する物体上の点の三次元座標を推定する三次元推定部１２１と、該特徴点のデータに基づいて各視点を表すデータを推定する入力視点推定部１２２とを有している。
【００９９】
これら、三次元推定部１２１及び入力視点推定部１２２は、プログラムに従ったＣＰＵ１０の処理にて実現される。
入力特徴点格納部１５１には、図８に示すように、ｎ番目の視点での物体画像上に設定されたｍ番目の特徴点の座標（ｘnm、ｙnm）が格納されている。また、直交投影（図１９参照）を仮定した場合、その特徴点の座標は、前述したように、
ｘnm＝（ｉn 、Ｒm ）、 ｙnm＝（ｊn 、Ｒm ） （１２）
で算出される。また、透視投影（図２０参照）を仮定した場合、その特徴点の座標は、前述したように、
ｘnm＝ｆ（ｉn 、Ｒm −Ｑn ）／（ｉn ×ｊn 、Ｒm −Ｑn ）
ｙnm＝ｆ（ｊn 、Ｒm −Ｑn ）／（ｉn ×ｊn 、Ｒm −Ｑn ） （１３）
で算出される。ここで、Ｒm は、ｍ番目の特徴点の三次元座標を表すベクトルであり、Ｑn は、ｎ番目の視点の位置を表すベクトルである。また、ｉn とｊn は画像面におけるｘ軸方向とｙ軸方向を表すベクトルである。一般にｎとｍがある程度大きければ、特徴点の座標（ｘnm、ｙnm）の値を基に（１２）式や（１３）式を解くことによって、Ｒm 、Ｑn 、ｉn 、ｊn を算出することができることが知られている。
【０１００】
従って、三次元座標推定部１２１は、特徴点の座標（ｘnm、ｙnm）から上記公知の手法に従って、ｍ番目の特徴点に対応した物体上の点を表すベクトルＲm を算出する。また、入力視点推定部１２２は、特徴点の座標（ｘnm、ｙnm）から公知の手法に従って視点を表すベクトルＱn 、ｉn 、ｊn を算出する。
上述したような映像生成処理装置１００で用いられる構造化データの全部または一部を作成する構造化データ作成装置２００は、通常のコンピュータシステムにて構成することができる。この場合、構造化データ作成装置２００は、図２９に示すようなハードウエア構成を有する。
【０１０１】
図２９において、このシステムは、それぞれバスに接続された、ＣＰＵ（中央演算処理ユニット）２０、メモリユニット２１、撮像信号入力回路２２、表示装置２３及び外部記憶装置２４を有する。また、各種情報及び位置の指定を行なうための入力ユニット２２０ががバスに接続されている。
ＣＰＵ２０は、メモリユニット２１に格納されたプログラムに従って、種々の処理を実行する。メモリユニット１１は、ＲＯＭ（読みだし専用メモリ）やＲＡＭ（書き込み可能メモリ）等で構成され、種々の処理に対応したプログラムや、処理の過程で得られた各種データを格納すると供に、表示装置２３に表示すべき画像データ（ビットマップ）を格納するための画像メモリとして使用される。入力ユニット２２０は、キーボード及びマウス等で構成され、処理に必要な情報を入力すると供に、特徴点を指定するため等に使用される。外部記憶装置２４は、例えば、ハードディスク装置にて構成される。
【０１０２】
カメラ２１０は物体Ｔを種々の視点から撮影し、カメラ２１０から出力される撮像信号が撮像信号入力回路２２に提供される。撮像信号入力回路２２は、カメラ２１０からの撮像信号を画像データに変換してバスに供給する。そして、画像データがＣＰＵ２０の制御に基づいてメモリユニット２１の画像メモリ上に展開される。また、画像メモリ上に展開された画像データを、外部記憶装置２４にファイルとして格納することができる。
【０１０３】
当該構造化データ作成装置２００での処理を実行するためのプログラムは、予めメモリユニット２１のＲＯＭに格納されている。このシステムを構造化データ作成装置２００として立ち上げると、ＣＰＵ２０がメモリユニット２１内の当該プログラムに従って処理を開始する。
このコンピュータシステムに構築される構造化データ作成装置２００の機能的な構成は、例えば、図３０に示すようになる。
【０１０４】
図３０において、当該構造化データ作成装置２００は、撮像信号入力部２０１、入力特徴点決定部２０２及び構造化データ格納部２５０から構成されてる。撮像信号入力部２０１は、撮像信号入力回路２２及びプログラムに従ってＣＰＵ２０が実行する処理ステップにて実現される。また、入力特徴点決定部２０２はプログラムに従ってＣＰＵ２０が実行する処理ステップにて実現される。構造化データ格納部２５０は、外部記憶装置２４内に構成される。
【０１０５】
構造化データ格納部２５０は、入力視点画像格納部２５１と入力特徴点格納部２５２を有している。物体Ｔが複数（Ｎ）の視点からカメラ２１０によって撮影され、その際得らる各視点での入力画像データが入力視点画像格納部２５１に格納される。入力特徴点格納部２５２は、上記Ｎ個の視点での物体画像上において後述するような手法に従って入力特徴点決定部２０２が決定した特徴点の位置（座標）を、例えば、図８に示す形式にて格納する。
【０１０６】
入力特徴点決定部２０２は、入力視点画像格納部２５１に格納されたＮ枚の物体画像に対して互いに対応する複数個の特徴点の位置を次のような手法にしたがて決定する。
まず、入力視点画像格納部２５１に格納されたＮ枚の物体画像を順番に表示装置２３の画面上に表示させる。ユーザが表示された物体画像を見ながら当該物体画像上において対応する物体の特徴的な点（色の境界点、形状の変化点等）を入力ユニット２２０（マウス）を用いて指定し、その指定した特徴点を特定する番号を入力ユニット２２０（キーボード）から入力する。物体上の同じ特徴的な点であっても、その物体を異なる視点から撮影して得た各画像上では、その特徴的な点に対応する特徴点の座標値が異なる。そして、物体上の同じ点に対応した各物体画像上の特徴点は、同じ番号で特定される。
【０１０７】
入力特徴点設定部２０２は、入力ユニット２２０（マウス）で指定された位置を検出してその位置に対応する座標値を、表示された物体画像の視点と入力された番号に対応付けて、入力特徴点格納部２５２に格納する（図８参照）。
また、入力視点画像格納部２５１に格納された各視点での物体画像を処理することによって特徴点の位置を自動的に決定することも可能である。その場合、入力特徴点決定部２０２は、図３１に示すように構成される。
【０１０８】
図３１において、入力特徴点決定部２０２は、特徴点候補抽出部２０２（１）、近傍パターン抽出部２０２（２）及び対応関係抽出部２０２（３）を有している。特徴点候補抽出部２０２（１）では、まず、入力視点画像格納部２５１に格納されているそれぞれの物体画像に濃度変化の程度を出力するような空間フィルタ（ガウシアンラプラッシアン等）が施される。次に、その濃度変化の値が予め定めた値より大きく、かつ、その値が周囲のどの画素の値よりも大きくなっている画素が抽出され、それらの画素が特徴点候補として出力される。
【０１０９】
近傍パターン抽出部２０２（２）では、入力視点画像格納部２５１に格納された各物体画像を対象として、その物体画像に含まれる特徴点候補のそれぞれに対して、その画素を中心とするある大きさの近傍パターンが抽出される。例えば、注目画素を中心として、ｎ×ｎの大きさの範囲にあるパターンがｎ×ｎの大きさの画像として抽出される。
【０１１０】
対応関係抽出部２０２（３）では、次のような手順に従って、近傍パターン抽出部２０２（２）で抽出された近傍パターンの類似性に基づいて画像どおしの間で対応が付けられた特徴点が抽出される。
ステップ１において、１枚目の物体画像から抽出された特徴点候補に１からＭまでの番号を付ける。
【０１１１】
ステップ２において、１からＭまでの全てのｍに対して、ステップ１においてｍの番号が付けられた特徴点候補の近傍パターンがｍ番目の代表パターンとして定められる。
ステップ３において、ｎ＝１を設定する。
ステップ４において、１からＭまでの全てのｍに対して、ｍ番目の代表パターンとｎ番目の物体画像から抽出された各特徴点候補の近傍パターンの相違度を算出し、その値が予め定めた閾値より小さいときにその近傍パターンに対応する特徴点候補にｍの番号を付ける。そして、ｍ番目の代表パターンを以下のように更新する。
【０１１２】
即ち、その時点までにｍ番目の代表パターンが更新された回数をｋとしたときに、ｍ番目の代表パターンを、更新前のパターンにｋ＋1 の重みを付け、今注目しているＩ番目の画像の近傍パターンに１の重みを付けて平均したものに更新する。
ステップ５において、ｎに１を加える。
【０１１３】
ステップ６において、ｎ＜Ｎならばステップ４に戻り、ｎ＝Ｎであるならば次のステップに進む。
ステップ７において、１からＭまでの全てのｍに対して、番号が付けられた特徴点候補の数が算出され、その数が予め定めた閾値以上である場合に、番号が付けられた特徴点候補をその番号で対応付けられた特徴点とする。
【０１１４】
以上、ステップ１から７までの処理を行なった後、２枚目の画像からＮ枚目の画像において、特徴点候補から前記ステップ１から７までの処理で抽出された対応付けられた特徴点を除いたうえで、ステップ１から７までの処理を繰り返す。このとき、ステップ１においては、２枚目の物体画像から抽出された特徴点候補に対して１からＭまでの番号を付ける。更に、同様の処理を、３枚目の画像からＮ枚目の画像に対して行なう。この処理をＮ−１枚目の画像からＮ枚目の画像を対象とした処理を行なった時点で終了する。
【０１１５】
上記のようにして、入力視点画像格納部２５１に格納された各視点での物体画像（入力視点画像）及び入力特徴点格納部２５２に格納された各物体画像上に設定した特徴点（入力特徴点）のデータは、例えば、ＣＤ−ＲＯＭ等の記録媒体に格納される。そして、これら各視点での物体画像及び各物体画像上に設定された特徴点のデータがこの記録媒体によって上述した映像生成処理装置１００に提供される。また、上記のようにして構造データ格納部２５０に格納された各視点での物体画像及び特徴点のデータを、通信路を介して上記映像生成処理装置１００に提供することもできる。
【０１１６】
上記構造化データ作成装置２００は、図３２に示すような機能構成とすることもできる。図３２において、図３０と同一の参照番号は同一の機能ブロックを表わしている。
この例では、構造化データ作成装置２００に、入力多角形決定部２０３と入力多角形格納部２５３が設けられている。
【０１１７】
入力多角形決定部２０３は、プログラムに従ったＣＰＵ２０での処理で実現される。この入力多角形決定部２０３は、入力視点画像格納部２５１に格納された各視点での物体画像上に入力特徴点決定部２０２が設定した特徴点を頂点とする複数の多角形（頂点となる特徴点の組で表される）からなる多角形群を決定する。この多角形群は、当該物体画像を覆うように決められ、また、異なる視点での各物体画像において対応する特徴点がそれぞれ頂点となる対応する多角形が決定される。
【０１１８】
具体的には、次のようにして、特徴点を頂点とする多角形が決定される。
まず、入力視点画像格納部２５１に格納されたある視点での物体画像が表示装置２３の画面に表示される。また、同時に、この物体画像上に設定され、入力特徴点格納部２５２に格納された特徴点の位置が上記物体画像に重ねて表示される。ユーザは、この表示画面をみながら２つの特徴点の間をマウス（入力ユニット２２０）で指定する。システム（入力多角形決定部２０３）は、マウスの動きを検出し、それら２つの特徴点の間を線で結び、それを表示画面に表示させる。
【０１１９】
このようにしてユーザが特徴点間をマウスで指定することによって特徴点間が線で結ばれ、表示画面上の物体画像が三角形や四角形等の多角形で覆われるようになる。入力多角形決定部１０３は、この表示画面上に描かれた結果を基に、三角形あるいは四角形の組を抽出して、例えば、図２２や図２３に示すような形式で入力多角形格納部２５３に格納する。
【０１２０】
次に、システムは、次の視点での物体画像を入力視点画像格納部２５１から読みだし、その物体画像、その物体画像上に設定された特徴点及び前の物体画像において決定された多角形を表示画面上に表示させる。ユーザはそれをみながら上記同様のマウス操作により、まだ多角形で覆われていない物体画像領域を覆うような多角形を決めてゆく。このような操作を繰り返して、全ての視点での物体画像上に設定された特徴点を頂点とする多角形を決定する。そして、その決定された多角形に関するデータが入力多角形格納部２５３に格納される（図２２、図２３参照）。
【０１２１】
上記のようにして、入力視点画像格納部２５１に格納された各視点での物体画像、入力特徴点格納部２５２に格納された各物体画像上に設定された特徴点及び入力多角形格納部２５３に格納された各物体画像上の多角形群が、例えば、ＣＤ−ＲＯＭ等の記録媒体に格納される。そして、この記録媒体によって、上記各視点での物体画像、特徴点及び物体画像上に多角形に関する情報が、例えば、図２１に示すような機能構成を有する映像生成処理装置１００に提供される。
【０１２２】
構造化データ作成装置２００は、更に、図３３に示すような機能構成とすることも可能である。なお、図３３において、図３２と同一の参照番号は、同一の機能ブロックを表している。
この例では、構造化データ作成装置２００に、入力視点決定部２０４と入力視点格納部２５４が設けられている。
【０１２３】
入力視点決定部２０４は、プログラムに従ったＣＰＵ２０での処理によって実現される。この入力視点検定部２０４は、入力視点画像格納部２５１に格納された物体画像に対してその視点を決定する。
例えば、カメラ２１０で物体Ｔを撮影する毎に、ユーザがカメラ２１０の物体Ｔに対する位置（経度θ、緯度φ）を観測し、その観測値を視点を表す情報として入力ユニット２２０（キーボード）から入力する。システム（入力視点決定部２０４）は、入力された情報（経度θ、緯度φ）を視点を認識して入力視点格納部２５４に格納する。入力視点格納部２５４には、入力された視点の情報が、例えば、図７に示す形式で格納される。
【０１２４】
また、入力視点決定部２０４は、次のような手法によっても視点の情報を得ることができる。
即ち、入力特徴点決定部２０２にて決定された各特徴点の位置情報に基づいて物体画像を得た際の視点が推定される。具体的には、例えば、図２８に示す映像生成処理装置１００の入力視点推定部１２２で行なわれるのと同様に、前記式（１２）及び式（１３）に従って視点を表すベクトルＱn が算出される。
【０１２５】
上記のようにして構造化データ格納部２５０に格納された各視点での物体画像、各物体画像上に設定された特徴点、各物体画像を覆う多角形群及び各視点の情報が、ＣＤ−ＲＯＭ等の記録媒体を利用したり、通信路を介して映像生成処理装置１００に提供される。
更に、構造化データ作成装置２００は、図３４に示すような機能構成とすることができる。なお、図３４において、図３３と同一の参照番号は、同一の機能ブロックを表している。
【０１２６】
この例では、三次元座標格納部２５５及び三次元構造推定部２０５が構造化データ作成装置２００に設けられている。
三次元構造推定部２０５は、プログラムに従ったＣＰＵ２０の処理にて実現される。この三次元構造推定部２０５は、図２８に示す映像生成処理装置１００の三次元座標推定部１２１と同様に、上記式（１２）及び式（１３）に従って、視点を表すベクトルＱn 及び特徴点の三次元座標Ｒm を算出する。そして、視点を表すベクトルＱn が構造データ格納部２５０の入力視点格納部２５４に格納され、また、特徴点の三次元座標Ｒm が三次元座標格納部２５５に格納される。
【０１２７】
上記のように構造化データ格納部２５０に格納された各視点での物体画像、各物体画像上に設定された特徴点、各物体画像を覆う多角形、各特徴点の三次元座標及び視点のデータが、構造化データとして映像生成処理装置１００に提供される。
構造化データ作成装置２００は、更に、図３５に示すような機能構成とすることもできる。
【０１２８】
この例は、前記例（図３４参照）と同様に、各特徴点に対応した物体Ｔ上の点の三次元座標を推定しているが、更に、視点に関するデータも加味して推定する点が前記例と異なる。
前述した例と同様（図３３参照）に、入力視点設定部２０４が、入力ユニット２２０から入力された視点を表す情報（経度θ、緯度φ）を取得する。そして、その取得した情報が入力視点格納部２５４に、例えば、図７に示す形式で格納される。
【０１２９】
この状態において、三次元座標推定部２０５は、上記のようにして入力された各視点に関する情報と、入力特徴点格納部２５２に格納された特徴点の位置に関する情報とに基づいて特徴点に対応する物体Ｔ上での点の三次元座標を推定する。その手法は、基本的に、前記例（図３４参照）の場合と同様に、前記式（１２）及び式（１３）に従って、当該点の三次元座標を表すベクトルＲm を算出する。この場合、入力視点に関する情報が既知であるので、上記式（１２）及び式（１３）おいて、ベクトルＱn 、ｉn 、ｊn が既知となって、その演算が容易になる。そして、その推定精度も向上する。
【０１３０】
構造化データ作成装置２００は、図３６に示すような機能構成とすることも可能である。
この例では、入力された物体Ｔの各視点での画像から特徴点候補を決定し、その候補から特徴点になるべき点に対応した物体Ｔ上の点の三次元座標を求めている。そして、その三次元座標から特徴点を決定している。
【０１３１】
図３６において、外部記憶装置２４内に構築される構造化データ格納部２５０は、入力視点画像格納部２５１、入力特徴点格納部２５２、入力視点格納部２５４及び三次元座標格納部２５５を有している。これら各格納部２５１、２５２、２５４及び２５５の機能は、前述した各例のものと同様である。
また、この構造化データ作成装置２００は、それぞれプログラムに従ったＣＰＵ２０の処理によって実現される、撮像信号入力部２０１、特徴点候補算出部２１１、入力視点設定部２０４、三次元座標候補抽出部２１２、三次元座標推定部２１３及び入力特徴点決定部２１４を有している。
【０１３２】
カメラ２１０によって物体Ｔを撮影して得られた各視点での物体画像が撮像信号入力部２０１を介して入力視点画像格納部２５１に格納される。入力視点設定部２０４は、前述した例（図３３参照）と同様の手法に従って、入力視点画像格納部２５１に格納した各物体画像を得るための物体Ｔに対する視点の位置を設定する。
【０１３３】
特徴点候補算出部２１１は、入力視点画像格納部２５１に格納された各視点での物体画像から特徴点の候補（特徴点候補）を抽出する。この特徴点候補算出部２１１は、図３１に示す特徴点候補抽出部２０２（１）と同様に、各物体画像を処理して、その画像中から濃度変化が激しい等の特徴的な点（特徴点候補）を抽出する。
【０１３４】
三次元座標候補抽出部２１２は、特徴点候補算出部２１１で算出された各視点での物体画像における複数個の特徴点候補の位置と入力視点格納部２５１に格納された各視点の情報に基づいて、各特徴点候補に対応した物体Ｔ上の点の三次元座標（三次元座標候補）を算出する。例えば、直交投影の手法を用いて次のように三次元座標候補が抽出される。なお、透視投影の手法を用いても同様に手順にて三次元座標候補が抽出される。
【０１３５】
まず、視点１から視点ＮまでのＮ個の視点があるとし、これらＮ個の視点からランダムに２個の視点を選ぶ。選ばれた視点を、例えば、視点Ａ、視点Ｂとする。また、視点Ａでの物体画像から抽出された特徴点候補の中から、ランダムに１つの特徴点候補を選び、その座標を（ｘa 、ｙa ）とする。同様に、視点Ｂでの物体画像から抽出された特徴点候補の中から、ランダムに１つの特徴点候補を選び、その座標を（ｘb 、ｙb ）とする。更に、視点Ａから物体Ｔを撮影したときの画像面のｘ軸方向の単位ベクトルをｉa 、当該画像面のｙ軸方向の単位ベクトルをｊa とし、同様に、視点Ｂに対しても単位ベクトルｉb 、ｊb を定義する。
【０１３６】
もし、視点Ａでの物体画像における特徴点候補（ｘa 、ｙa ）と視点Ｂでの物体画像における特徴点候補（ｘb 、ｙb ）が三次元空間中の同一の点Ｒ＝（Ｘ、Ｙ、Ｚ）T を投影したものであれば、直交投影について上述したのと同様に（図１９参照）、
ｘa ＝（ｉa 、Ｒ）、ｙa ＝（ｊa 、Ｒ）
ｘb ＝（ｉb 、Ｒ）、ｙb ＝（ｊb 、Ｒ） （１４）
が成り立つ。ここで、
【０１３７】
ここで、Ｊを最小にするようなＲと、そのときの最小値Ｊmin を求める。この最小値Ｊmin が予め定めた閾値より小さい場合に、そのＲを三次元座標の候補として出力する。
この処理を視点の組とそれらの視点における特徴点候補をランダムに選びながら所定の回数繰り返して三次元座標候補の組を出力する。なお、三次元座標の候補が抽出される毎に、以下に述べる三次元座標推定部２１３と入力特徴点決定部２１４の処理を行なってもよい。
【０１３８】
三次元座標推定部２１３は、上記のようにして三次元座標候補抽出部２１２によって抽出された三次元座標の候補を各視点での物体画像に投影してその投影された点の位置とその近傍にある特徴点候補の位置関係に基づいて、特徴点に対応する物体Ｔ上の点の三次元座標を算出する。
三次元座標候補抽出部２１２によって三次元空間中の点Ｒが三次元座標候補として抽出されたとする。この点を視点１から視点Ｎまでの全ての視点に対して投影する。具体的には、視点ｎから投影したときの画像面のｘ軸方向の単位ベクトルをｉn 、当該画像面のｙ軸方向の単位ベクトルをｊn とし、投影された座標として、
ｘn ＝（ｉn 、Ｒ）、 ｙn ＝（ｊn 、Ｒ） （１６）
を算出する。そして、それぞれの視点において、（ｘn 、ｙn ）に最も近い特徴点候補との距離を算出する。その距離が予め定めた閾値より小さい場合に、得点１を加算する。Ｎ個の視点について同様の処理を行なった後、得点が予め定めた値より大きいときに、この三次元座標を出力する。
【０１３９】
以上の処理を三次元座標候補抽出部２１２から出力される全ての三次元座標候補に対して行なう。その結果、三次元座標候補抽出部２１２で抽出された候補の中から信頼性の高いものが、最終的な三次元座標値として選ばれる。
三次元座標推定部２１３から出力された特徴点に対応した物体上の点の三次元座標値は、三次元座標格納部２５５に格納される。
【０１４０】
入力特徴点決定部２１４は、三次元座標推定部２１３から出力される三次元座標をそれぞれの視点に投影して得られる座標を入力特徴点の座標として入力特徴点格納部２５２に格納する。
三次元座標推定部２１３から三次元座標のベクトルＲが出力されたとする。このとき、視点１から視点Ｎまでの全ての視点に対してこの点を投影する。具体的には、視点ｎから撮影したときの画像面のｘ軸方向の単位ベクトルをｉn 、当該画像面のｙ軸方向の単位ベクトルをｊn とし、投影された座標として、
ｘn ＝（ｉn 、Ｒ）、 ｙn ＝（ｊn 、Ｒ） （１７）
を算出する。この処理を三次元座標推定部２１３から出力される全ての三次元座標について行なう。そして、式（１７）で表される座標を入力特徴点格納部２５２に格納する。
【０１４１】
上述した処理は、直交投影の手法に従ったものであるが、透視投影の手法に従った処理においては、上記、各式（１４）、（１５）、（１６）及び（１７）が次の式に代えられる。
式（１４）は、
ｘn ＝ｆ（ｉn 、Ｒ−Ｑn ）／（ｉn ×ｊn 、Ｒ−Ｑn ）
ｙn ＝ｆ（ｊn 、Ｒ−Ｑn ）／（ｉn ×ｊn 、Ｒ−Ｑn ） （１８）
に、式（１５）は、
ｘn ＝ｆ（ｉn 、Ｒ−Ｑn ）／（ｉn ×ｊn 、Ｒ−Ｑn ）
ｙn ＝ｆ（ｊn 、Ｒ−Ｑn ）／（ｉn ×ｊn 、Ｒ−Ｑn ） （２０）
に、式（１７）は、
ｘn ＝ｆ（ｉn 、Ｒ−Ｑn ）／（ｉn ×ｊn 、Ｒ−Ｑn ）
ｙn ＝ｆ（ｊn 、Ｒ−Ｑn ）／（ｉn ×ｊn 、Ｒ−Ｑn ） （２１）
にそれぞれおきかえられる。
【０１４２】
【発明の効果】
以上、説明してきたように、請求項１乃至１５記載の本発明によれば、複数の視点から物体を撮影して得られる物体画像上に特徴点を設定し、任意の視点が指定された際に、選択された視点と指定された視点との関係と、選択された各視点での物体画像上の特徴点の位置関係に基づいて、選択された各視点での物体画像から当該指定された任意の視点での物体画像を生成するようにしたため、用意すべき画像データの量がより少ないものであっても、任意の視点から見た物体のよりリアルな映像を生成することができる。
【０１４３】
また、請求項１６乃至１８記載の本発明によれば、上記装置での処理をコンピュータに行わせるためのプログラムを格納した記録媒体を提供することができる。
更に、請求項１９乃至２６記載の本発明によれば、上記装置に提供すべき構造化データの少なくとも一部を作成する構造化データ作成装置を提供することができる。
【０１４４】
更にまた、請求項２７及び２８記載の本発明によれば、上記構造かデータ作成装置での処理をコンピュータに行わせるためのプログラムを格納した記録媒体を提供することができる。
【図面の簡単な説明】
【図１】本発明に係る映像生成処理装置の基本構成例を示すブロック図である。
【図２】本発明に係る構造化データ作成装置の基本構成例を示すブロック図である。
【図３】各視点での物体画像及びその物体画像上の特徴点の例を示す図である。
【図４】映像生成処理装置のハードウエア構成の例を示すブロック図である。
【図５】映像生成処理装置の機能構成の第一の例を示すブロック図である。
【図６】視点の位置を記述するデータの例を示す図である。
【図７】視点の位置を表わすテーブルを示す図である。
【図８】各視点での物体画像上に設定される特徴点の位置を表わすテーブルを示す図である。
【図９】各視点での物体画像上の特徴点を頂点とする多角形の例を示す図である。
【図１０】各視点での物体画像上の特徴点を頂点とする多角形の他の例を示す図である。
【図１１】指定された視点と選択された視点との関係を示す図（その１）である。
【図１２】指定された視点と選択された視点との関係を示す図（その２）である。
【図１３】選択された各視点での物体画像から指定された視点での物体画像への変換を示す図である。
【図１４】映像生成処理装置の機能構成の第二の例を示すブロック図である。
【図１５】視点選択テーブルの構造例を示す図である。
【図１６】映像生成処理装置の機能構成の第三の例を示すブロック図である。
【図１７】映像生成処理装置の機能構成の第四の例を示すブロック図である。
【図１８】各特徴点に対応した物体上の点の三次元座標の例を示す図である。
【図１９】直行投影の手法を示す図である。
【図２０】透視投影の手法を示す図である。
【図２１】映像生成処理装置の機能構成の第五の例を示すブロック図である。
【図２２】各視点での物体画像上の特徴点を頂点とした多角形の格納形式を示す図である。
【図２３】各視点での物体画像上の特徴点を頂点とした多角形の格納形式を示す図である。
【図２４】映像生成処理装置の機能構成の第六の例を示すブロック図である。
【図２５】映像生成処理装置の機能構成の第七の例を示すブロック図である。
【図２６】各視点での物体画像上の特徴点に対応した物体上の点を頂点とした多角形の格納形式を示す図である。
【図２７】各視点での物体画像上の特徴点に対応した物体上の点を頂点とした多角形の格納形式を示す図である。
【図２８】映像生成処理装置の機能構成の第八の例を示すブロック図である。
【図２９】構造化データ作成装置のハードウエア構成例を示すブロック図である。
【図３０】構造化データ作成装置の機能構成の第一の例を示すブロック図である。
【図３１】入力特徴点決定部の具体的機能構成例を示すブロック図である。
【図３２】構造化データ作成装置の機能構成の第二の例を示すブロック図である。
【図３３】構造化データ作成装置の機能構成の第三の例を示すブロック図である。
【図３４】構造化データ作成装置の機能構成の第四の例を示すブロック図である。
【図３５】構造化データ作成装置の機能構成の第五の例を示すブロック図である。
【図３６】構造化データ作成装置の機能構成の第六の例を示すブロック図である。
【図３７】従来の映像生成処理装置と構造化データ作成装置の例を示すブロック図である。
【符号の説明】
１０、２０ ＣＰＵ
１１、２１ メモリユニット
１２ 入力ユニット
１３、２４ 外部記憶装置
１４ ＣＤ−ＲＯＭドライバ
１０１ 出力視点設定部
１０２ 視点選択ｂｕ
１０３ 座標変換算出部
１０４ 座標変換実行部
１０５ 補間画像生成部
１２０ 表示装置
１５０ 構造化データ格納部
１５１ 入力視点画像格納部
１５２ 入力視点格納部
１５３ 入力特徴点格納部
２０１ 撮像信号入力部
２０２ 入力特徴点決定部
２２０ 入力ユニット
２５０ 構造化データ格納部
２５１ 入力特徴点格納部
２５２ 入力視点画像格納部
Claims (28)
- 複数の視点から物体を撮影して得られる物体画像を各視点に対応させて格納した入力視点画像格納手段と、
入力視点画像格納手段に格納された各視点での物体画像上の互いに対応する特徴点の位置を格納した入力特徴点格納手段と、
入力視点画像格納手段に格納された各物体画像を得るために物体を撮影した視点の位置を格納する入力視点格納手段と、
任意の視点が指定されたときに、上記入力視点格納手段に格納された視点から所定数の視点を選択する視点選択手段と、
上記入力特徴点格納手段から得られる視点選択手段にて選択された各視点での物体画像上の特徴点の位置関係および選択された各視点と指定された視点との関係に従って、選択された各視点での物体画像から上記指定された視点での物体画像を生成する画像生成手段を有し、
上記視点選択手段は、指定される視点の範囲と選択されるべき所定数の視点との関係を記述したテーブルを有し、任意の視点が指定されたときに、当該指定された視点が属する範囲に対応した所定数の視点を当該テーブルを参照して選択するようにした映像生成処理装置。 - 請求項１記載の映像生成処理装置において、
上記画像生成手段は、選択された各視点での物体画像上の特徴点の位置的関係に基づいて、視点選択手段にて選択された各視点での物体画像上の位置を、上記指定された視点での物体画像上の位置に変換するための座標変換式を決める座標変換決定手段と、
座標変換決定手段にて決定された座標変換式に従って、上記選択された各視点での物体画像を上記指定された視点での物体画像に変換する画像変換実行手段と、
選択された各視点での物体画像から画像変換実行手段により変換された上記指定された視点での各物体画像を選択された各視点と上記指定された視点との関係に従って合成し、その合成物体画像を上記指定された視点での物体画像として出力する画像合成手段を有する映像生成処理装置。 - 請求項２記載の映像生成処理装置において、
上記画像合成手段は、選択された各視点での物体画像の対応する各画素のデータを当該指定された各視点と上記指定された視点との関係に基づいた定められる重みを付けて平均化して上記指定された視点での物体画像の対応する画素のデータを算出する手段を有する映像生成処理装置。 - 請求項２または３記載の映像生成処理装置において、
上記座標変換決定手段は、選択された視点のうちの第一の視点での物体画像上の特徴点と選択された視点のうちの他の視点それぞれでの物体画像上の対応する特徴点との位置関係に基づいて第一の視点での物体画像上の位置を当該他の視点それぞれでの位置に変換する各座標変換式を決める第一の手段と、
上記選択された視点それぞれと上記指定された視点との位置関係に基づいて定まる重みを上記第一の視点での物体画像上の位置を他の視点それぞれでの物体画像上の位置に変換する各座標変換式に作用させて合成することによって座標変換式を算出する第二の手段とを有し、
上記選択した全ての視点それぞれを上記第一の視点とした場合に、上記第二の手段によって、選択された全ての視点それぞれでの物体画像上の位置を指定された視点での物体画像上の位置に変換する座標変換式が算出されるようにした映像生成処理装置。 - 請求項２または３記載の映像生成処理装置において、
上記座標変換決定手段は、選択された各視点と指定された視点との位置関係に基づいて、当該選択された各視点での物体画像上の特徴点の位置から上記指定された視点での物体画像上での対応する特徴点の位置を算出する出力特徴点算出手段と、
選択された各視点での物体画像上の特徴点の位置と上記出力特徴点算出手段にて算出された当該指定された視点での物体画像上の特徴点の位置との関係に基づいて、選択された各視点での物体画像上の位置を上記指定された視点での物体画像上の位置に変換する座標変換式を算出する演算手段とを有する映像生成処理装置。 - 請求項５記載の映像生成処理装置において、
上記出力特徴点算出手段は、選択された各視点での物体画像上の特徴点の位置を当該選択された各視点と指定された視点との位置関係に基づいて定められる重みを付けて平均化して上記指定された視点での物体画像上の対応する特徴点の位置を算出する手段を有する映像生成処理装置。 - 請求項５記載の映像生成処理装置において、
上記出力特徴点算出手段は、選択された各視点と指定された視点との位置関係に基づいて、選択された各視点に対応させたアフィン変換の係数を算出する第一の手段と、
選択された各視点での物体画像上の特徴点の位置と対応する視点に対応させたアフィン変換の係数とに基づいて、上記指定された視点での物体画像上の対応する特徴点の位置を算出する手段を有する映像生成処理装置。 - 請求項２または３記載の映像生成処理装置において、
更に、上記入力特徴点格納手段に格納された各視点での画像上の特徴点に対応する物体上の点の三次元座標を格納した三次元座標格納手段を有し、
上記座標変換決定手段は、三次元座標格納手段に格納された各特徴点に対応する物体上の点の三次元座標に基づいて、上記指定された視点での画像上の対応する特徴点の位置を算出する出力特徴点算出手段と、
選択された各視点での物体画像上の特徴点の位置と上記出力特徴点算出手段にて算出された当該指定された視点での物体画像上の特徴点の位置との関係に基づいて、選択された各視点での物体画像上の位置を上記指定された視点での物体画像上の位置に変換する座標変換式を算出する演算手段とを有する映像生成処理装置。 - 請求項５乃至８いずれか記載の映像生成処理装置において、
更に、入力特徴点格納手段に格納された各視点での物体画像上に特徴点を頂点として当該物体画像を覆うように設定された複数の多角形よりなる多角形群であって、各視点での物体画像を覆う各多角形群間において各多角形が対応するように設定された当該多角形群を記述する情報を格納した入力多角形格納手段を有し、
座標変換式を算出する上記演算手段は、上記出力特徴点算出手段にて算出された当該指定された視点での物体画像の特徴点を頂点とする上記入力多角形格納手段に格納された各多角形に対応した多角形を抽出する出力多角形抽出手段と、
上記入力多角形格納手段に格納された情報にて記述される各視点での物体画像に対して設定された多角形をそれに対応するように上記出力多角形抽出手段にて抽出された多角形に変換する座標変換式を、上記各視点での物体画像上の位置を指定された視点での物体画像上の位置に変換する座標変換式として算出する手段とを有する映像生成処理装置。 - 請求項５乃至８いずれか記載の映像生成処理装置において、 座標変換式を算出する上記演算手段は、入力特徴点格納手段に格納された各視点での物体画像上に特徴点を頂点として当該物体画像を覆うように設定された複数の多角形よりなる多角形群であって、各視点での物体画像を覆う各多角形群間において各多角形が対応するように設定された当該多角形群を抽出すると供に、上記出力特徴点算出手段にて算出された当該指定された視点での物体画像の特徴点を頂点とし、上記抽出された多角形群の各多角形に対応した多角形を抽出する多角形抽出手段と、
上記多角形抽出手段にて抽出された各視点での物体画像に対して設定された多角形をそれに対応するように上記多角形抽出手段にて抽出された多角形に変換する座標変換式を、上記各視点での物体画像上の位置を指定された視点での物体画像上の位置に変換する座標変換式として算出する手段とを有する映像生成処理装置。 - 請求項８記載の映像生成処理装置において、
更に、上記三次元座標格納手段に格納された三次元座標で表わされる物体上の点を頂点として当該物体を覆うように設定された複数の多角形よりなる多角形群を記述した情報を格納する表面多角形格納手段を有し、
上記演算手段は、入力特徴点格納手段に格納された各視点での物体画像上の特徴点を頂点にして形成される多角形であって、上記表面多角形格納手段に格納された情報で記述される各多角形に対応するものを抽出するとともに、出力特徴点算出手段にて算出された上記指定された視点での物体画像上の特徴点を頂点にして形成される多角形であって、上記表面多角形格納手段に格納された情報で記述される各多角形に対応するものを抽出する多角形抽出手段と、
上記多角形抽出手段にて抽出された各視点での物体画像に対して設定された多角形をそれに対応するように上記多角形抽出手段にて抽出された多角形に変換する座標変換式を、上記各視点での物体上の位置を指定された視点での物体画像上の位置に変換する座標変換式として算出する手段とを有する映像生成処理装置。 - 請求項９乃至１１いずれか記載の映像生成処理装置において、
上記多角形は三角形であり、
上記演算手段は、各三角形毎に係数が定まるアフィン変換に基づいて座標変換式を算出するようにした映像生成処理装置。 - 請求項９乃至１１いずれか記載の映像生成処理装置において、
上記多角形は四角形であり、
上記演算手段は、各四角形毎に係数が定まる射影変換に基づいて座標変換式を算出するようにした映像生成処理装置。 - 請求項８記載の映像生成処理装置において、
更に、入力特徴点格納手段に格納された各視点での物体画像の特徴点の位置に基づいてそれら特徴点に対応する物体上の点の三次元座標を推定して上記三次元座標格納手段に格納する三次元座標推定手段を有する映像生成処理装置。 - 請求項１乃至１４いずれか記載の映像生成処理装置において、
更に、入力特徴点格納手段に格納された各視点での物体画像の特徴点の位置に基づいて物体を撮影した各視点の位置を推定して上記入力視点格納手段に格納する入力視点推定手段を有する映像生成処理装置。 - 複数の視点から物体を撮影して得られる物体画像と、当該複数の各視点での物体画像上に設定された互いに対応する特徴点の位置とに基づいて、任意の視点での物体画像を生成する映像生成処理装置での処理をコンピュータに行なわせるためのプログラムを格納した記録媒体において、当該プログラムは、
任意の視点が指定されたときに、当該複数の視点から選択された所定数の視点を取得するための視点選択プログラム手段と、
視点選択プログラム手段に従って選択された各視点での物体画像上の特徴点の位置関係および選択された各視点と指定された視点との関係に従って、選択された各視点での物体画像から上記指定された視点での物体画像を生成するための画像生成プログラム手段とを
有し、
上記視点選択プログラム手段は、指定される視点の範囲と選択されるべき所定数の視点との関係を記述したテーブルを有し、任意の視点が指定されたときに、当該指定された視点が属する範囲に対応した所定数の視点を当該テーブルを参照して選択するようにした記録媒体。 - 請求項１６記載の記録媒体において、
上記プログラムの画像生成プログラム手段は、選択された各視点での物体画像上の特徴点の位置的関係に基づいて、選択された各視点での物体画像上の位置を、上記指定された視点での物体画像上の位置に変換するための座標変換式を決めるための座標変換決定プログラム手段と、
座標変換決定プログラム手段での処理にて決定された座標変換式に従って、上記選択された各視点での物体画像を上記指定された視点での物体画像に変換するための画像変換実行プログラム手段と、
選択された各視点での物体画像から画像変換実行プログラム手段での処理により変換された上記指定された視点での各物体画像を選択された各視点と上記指定された視点との関 係に従って合成し、その合成物体画像を上記指定された視点での物体画像として出力する画像合成プログラム手段とを有する記録媒体。 - 請求項１７記載の記録媒体において、
上記プログラムの画像合成プログラム手段は、選択された各視点での物体画像の対応する各画素のデータを、当該各視点と上記指定された視点との関係に基づいた重みを付けて平均して上記指定された視点での物体画像の対応する画素のデータを算出するプログラム手段を有する記録媒体。 - 複数の視点から物体を撮影して得られる物体画像を各視点に対応させて格納する入力視点画像格納手段と、
入力視点画像格納手段に格納された各視点での物体画像上の互いに対応する特徴点の位置を決定する入力特徴点決定手段と、
入力特徴点決定手段にて決定された各視点での物体画像上の互いに対応する特徴点の位置を格納する入力特徴点格納手段と、
指定される視点の範囲と選択されるべき所定数の視点との関係を記述したテーブルを作成するテーブル作成手段とを有し、
上記入力特徴点決定手段は、入力視点画像格納手段に格納された各視点での物体画像から所定の条件を満たす複数の特徴点候補を抽出する特徴点候補算出手段と、
各視点での物体画像における特徴点候補の位置の近傍の画像パターンの類似性に基づいて、上記抽出された特徴点候補から各視点での物体画像におけるそれぞれ対応した特徴点を抽出する入力特徴点抽出手段とを有し、
上記入力視点画像格納手段に格納された複数の視点での物体画像，入力特徴点格納手段に格納された各視点での物体画像上の特徴点，指定される視点の範囲と選択されるべき所定数の視点との関係を記述したテーブルを外部のシステムに構造化データとして供給できるようにした構造化データ作成装置。 - 請求項１９記載の構造化データ作成装置において、
更に、上記入力特徴点格納手段に格納された各視点での物体画像上に特徴点を頂点として当該物体画像を覆うように設定された複数の多角形よりなる多角形群であって、各視点での物体画像を覆う各多角形群間において各多角形が対応するように当該多角形群を決定する多角形決定手段と、
該多角形決定手段にて決定された多角形群を記述する情報を格納する入力多角形格納手段とを有する構造化データ作成装置。 - 請求項１９又は２０記載の構造化データ作成装置において、
更に、入力視点画像格納手段に格納された物体画像を得るために物体を撮影した視点の位置を決定する入力視点決定手段と、
入力視点決定手段にて決定された視点の位置を格納する入力視点格納手段とを有する構造化データ作成装置。 - 請求項２１記載の構造化データ作成装置において、
上記入力視点決定手段は、入力特徴点格納手段に格納された各視点での物体画像の特徴点の位置に基づいて、入力視点画像格納手段に格納された物体画像を得るために物体を撮影した視点の位置を推定する視点推定手段を有する構造化データ作成装置。 - 請求項１９又は２０記載の構造化データ作成装置において、
更に、入力特徴点格納手段に格納された各視点での物体画像の特徴点に基づいて当該特徴点に対応する物体上の点の三次元座標及び入力視点画像に格納された物体画像を得るために物体を撮影した視点の位置の少なくとも一方を推定する推定手段と、
該推定手段にて推定された三次元座標及び視点の位置の少なくとも一方を格納する三次元座標格納手段を有する構造化データ作成装置。 - 請求項２１記載の構造化データ作成装置において、
更に、入力特徴点格納手段に格納された各視点での物体画像の特徴点の位置と入力視点決定手段で決定された視点の位置に基づいて、上記各視点での物体画像の特徴点に対応した物体上の点の三次元座標を推定する三次元座標推定手段と、
三次元座標推定手段で推定された三次元座標を格納する三次元座標格納手段とを有する構造化データ作成装置。 - 複数の視点から物体を撮影して得られる物体画像を各視点に対応させて格納する入力視点画像格納手段と、
入力視点画像格納手段に格納された各視点での物体画像から所定の条件を満たす複数の特徴点候補を抽出する特徴点候補算出手段と、
入力視点画像格納手段に格納された物体画像を得るために物体を撮影した視点の位置を設定する入力視点設定手段と、
入力視点設定手段で設定された視点の位置を格納する入力視点格納手段と、
特徴点候補算出手段で算出された各視点での物体画像における複数の特徴点候補の位置と入力視点格納手段に格納された各視点の位置に基づいて、該特徴点候補に対応する物体上での点の三次元座標を抽出する三次元座標候補抽出手段と、
三次元座標候補抽出手段にて抽出された三次元座標を入力視点格納手段に格納された各視点での物体画像に投影された点の位置とその近傍にある特徴点候補との位置関係に基づいて特徴点に対応すべき物体上の点の三次元座標を算出する三次元座標算出手段と、
算出された三次元座標を格納する三次元座標格納手段と、
算出された三次元座標に各視点に投影して特徴点を算出する入力特徴点決定部と、
指定される視点の範囲と選択されるべき所定数の視点との関係を記述したテーブルを作成するテーブル作成手段と
を有する構造化データ作成装置。 - 請求項２３乃至２５いずれか記載の構造化データ作成装置において、
更に、三次元座標格納手段に格納された三次元座標で特定される物体上の点を頂点として当該物体の表面を覆うように設定された複数の多角形よりなる多角形群を抽出する表面多角形抽出手段と、
表面多角形抽出手段にて抽出された多角形群を格納する多角形格納手段とを有する構造化データ作成装置。 - 物体の任意の視点から見た映像を生成するための映像生成処理装置に用いられる構造化データを作成する処理をコンピュータに行なわせるためのプログラムを格納した記録媒体において、当該プログラムは、
複数の視点から物体を撮影して得られる物体画像を画像格納ユニットに各視点に対応させて格納するための入力視点画像格納プログラム手段と、
画像格納ユニットに格納された各視点での物体画像上の互いに対応する特徴点の位置を決定するための入力特徴点決定プログラム手段と、
入力特徴点決定プログラム手段での処理にて決定された各視点での物体画像上の互いに対応する特徴点の位置を入力特徴点格納ユニットに格納するプログラム手段と、
指定される視点の範囲と選択されるべき所定数の視点との関係を記述したテーブルを作成するテーブル作成プログラム手段とを有し、
上記画像格納ユニットに格納された複数の視点での物体画像，入力特徴点格納ユニットに格納された各視点での物体画像上の特徴点，指定される視点の範囲と選択されるべき所定数の視点との関係を記述したテーブルを上記映像生成処理装置に構造化データとして供給できるようにした記録媒体。 - 物体の任意の視点から見た映像を生成するための映像生成処理装置に用いられる構造化データを作成する処理をコンピュータに行わせるためのプログラムを格納した記録媒体において、当該プログラムは、
複数の視点から物体を撮影して得られる物体画像から所定の条件を満たす複数の特徴点候補を抽出する特徴点候補算出プログラム手段と、
物体画像を得るために物体を撮影した視点の位置を設定して入力視点格納ユニットに格納する入力視点設定プログラム手段と、
特徴点候補算出プログラム手段での処理にて算出された各視点での物体画像における複数の特徴点候補の位置と入力視点格納ユニットに格納された各視点の位置に基づいて、該 特徴点候補に対応する物体上での点の三次元座標を抽出する三次元座標候補抽出プログラム手段と、
三次元座標候補抽出プログラム手段での処理にて抽出された三次元座標を入力視点格納ユニットに格納された各視点での物体画像に投影された点の位置とその近傍にある特徴点候補との位置関係に基づいて特徴点に対応すべき物体上の点の三次元座標を算出する三次元座標算出プログラムと、
算出された三次元座標に各視点に投影して特徴点を算出する入力特徴点決定プログラム手段と、
指定される視点の範囲と選択されるべき所定数の視点との関係を記述したテーブルを作成するテーブル作成手段と
を有する記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17610097A JP3642923B2 (ja) | 1996-11-14 | 1997-07-01 | 映像生成処理装置及びその装置で用いられる構造化データを作成する構造化データ作成装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8-303366 | 1996-11-14 | ||
| JP30336696 | 1996-11-14 | ||
| JP17610097A JP3642923B2 (ja) | 1996-11-14 | 1997-07-01 | 映像生成処理装置及びその装置で用いられる構造化データを作成する構造化データ作成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10198824A JPH10198824A (ja) | 1998-07-31 |
| JP3642923B2 true JP3642923B2 (ja) | 2005-04-27 |
Family
ID=26497155
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17610097A Expired - Fee Related JP3642923B2 (ja) | 1996-11-14 | 1997-07-01 | 映像生成処理装置及びその装置で用いられる構造化データを作成する構造化データ作成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3642923B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001165638A (ja) | 1999-02-19 | 2001-06-22 | Sanyo Electric Co Ltd | 三次元モデル提供装置及びその方法 |
| JP2001166810A (ja) | 1999-02-19 | 2001-06-22 | Sanyo Electric Co Ltd | 立体モデル提供装置及び方法 |
| JP4021685B2 (ja) | 2002-03-04 | 2007-12-12 | 松下電器産業株式会社 | 画像合成変換装置 |
| JP4094942B2 (ja) * | 2002-12-11 | 2008-06-04 | 日本電信電話株式会社 | 任意視点画像伝送方法及びその実施装置並びにその処理プログラムと記録媒体 |
| JP6496904B2 (ja) | 2014-03-25 | 2019-04-10 | パナソニックＩｐマネジメント株式会社 | 多視点画像の撮影方法および撮影装置 |
| JP5977880B1 (ja) * | 2015-12-11 | 2016-08-24 | 株式会社東急コミュニティー | 表示制御装置、表示制御方法、およびプログラム |
| KR102431510B1 (ko) | 2020-12-03 | 2022-08-12 | 엘지전자 주식회사 | 스크롤 압축기 및 이를 구비한 공기조화장치 |
-
1997
- 1997-07-01 JP JP17610097A patent/JP3642923B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10198824A (ja) | 1998-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Newcombe et al. | Live dense reconstruction with a single moving camera | |
| US6636234B2 (en) | Image processing apparatus for interpolating and generating images from an arbitrary view point | |
| JP3244798B2 (ja) | 動画像処理装置 | |
| JP3148045B2 (ja) | 三次元物体ｃｇ作成装置 | |
| US6529626B1 (en) | 3D model conversion apparatus and method | |
| US6016148A (en) | Automated mapping of facial images to animation wireframes topologies | |
| RU2215326C2 (ru) | Иерархическое основанное на изображениях представление неподвижного и анимированного трехмерного объекта, способ и устройство для использования этого представления для визуализации объекта | |
| EP0930585B1 (en) | Image processing apparatus | |
| JP3104638B2 (ja) | ３次元画像作成装置 | |
| US6683606B1 (en) | Virtual architecture experience method and apparatus | |
| JP2001067463A (ja) | 異なる視点からの複数のフェイシャル画像に基づき新たな視点からのフェイシャル画像を生成するフェイシャル画像生成装置及び方法並びにその応用装置及び記録媒体 | |
| US7209136B2 (en) | Method and system for providing a volumetric representation of a three-dimensional object | |
| JPH1049704A (ja) | 画像変換方法 | |
| JP3642923B2 (ja) | 映像生成処理装置及びその装置で用いられる構造化データを作成する構造化データ作成装置 | |
| JP2986441B2 (ja) | 任意表情を持つ３次元顔モデルの生成方法 | |
| Saito et al. | View interpolation of multiple cameras based on projective geometry | |
| JP2832463B2 (ja) | ３次元モデルの再構成方法および表示方法 | |
| US6184892B1 (en) | Image production processing apparatus and structural data generating apparatus for generating structural data used in the image production processing apparatus | |
| JP3309841B2 (ja) | 合成動画像生成装置および合成動画像生成方法 | |
| JP3850080B2 (ja) | 画像生成表示装置 | |
| JPH09138865A (ja) | ３次元形状データ処理装置 | |
| JP3575469B2 (ja) | 合成動画像生成装置および合成動画像生成方法 | |
| Mayer et al. | Multiresolution texture for photorealistic rendering | |
| JP3668168B2 (ja) | 動画像処理装置 | |
| JP3268665B2 (ja) | コンピュータ・グラフィックス制作装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040615 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040812 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040921 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041118 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050125 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050126 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080204 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090204 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090204 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100204 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110204 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110204 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120204 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130204 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130204 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140204 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |