JPH10198824A - 映像生成処理装置及びその装置で用いられる構造化データを作成する構造化データ作成装置 - Google Patents

Abstract

(57)【要約】 【課題】本発明の課題は、用意すべき画像データの量が
より少ないものであっても、任意の視点から見た物体の
よりリアルな映像を生成することのできる映像生成処理
装置を提供することである。 【解決手段】上記課題は、複数の視点から物体を撮影し
て得られる物体画像を各視点に対応させて格納した入力
視点画像格納部と、各視点での物体画像上の互いに対応
する特徴点の位置を格納した入力特徴点格納部と、各物
体画像を得るために物体を撮影した視点の位置を格納す
る入力視点格納部と、任意の視点が指定されたときに、
上記入力視点格納部に格納された視点から所定数の視点
を選択する視点選択部と、視点選択手部にて選択された
各視点での物体画像上の特徴点の位置関係および選択さ
れた各視点と指定された視点との関係に従って、選択さ
れた各視点での物体画像から上記指定された視点での物
体画像を生成する画像生成部を有する映像生成処理装置
にて達成される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、物体を任意の視点
から見た映像を生成する映像生成処理装置及びその映像
生成処理装置での処理に用いられる構造化データを作成
する構造化データ作成装置に関する。このような装置
は、美術館等に収納されている彫刻、壷等の作品の三次
元映像を表示装置に表示させ、実際に美術館等に行かな
くても、その作品を任意の方向から観賞できるようなシ
ステムに適用できる。また、電子ショッピングにおい
て、このような装置は、表示装置の画面上で商品の外観
を種々の方向から観察できるようなシステムにも適用す
ることができる。

【０００２】

【従来技術】従来、種々の視点から見た物体の映像を表
示させるシステムとして、例えば、図３７に示すような
システムが考えられる。このようなシステムは、構造化
データ作成装置５０と映像生成処理装置６０とから構成
されている。構造化データ作成装置５０は、物体Ｔの三
次元形状を測定するレンジセンサ５１と、レンジセンサ
５１からの測定データに基づいて三次元形状データを作
成する三次元データ作成部５２と、物体Ｔの表面を撮影
するテレビカメラ５３と、テレビカメラ５３からの映像
信号に基づいて物体Ｔ表面各部の色を表すテクスチャデ
ータを作成するテクスチャデータ作成部５４と、上記三
次元形状データ作成部５２にて作成された物体Ｔの三次
元形状データ及びテクスチャデータを構造化データとし
て格納する構造化データ格納部５５とを有している。

【０００３】この構造化データ格納部５５に格納された
構造化データは、通信路を介して、あるいは、ＣＤ−Ｒ
ＯＭ等の記録媒体を用いて映像生成処理装置６０に提供
される。この映像生成処理装置６０は、提供された構造
化データを格納する構造化データ格納部６１と、ユーザ
が希望する出力映像の視点（出力視点）を設定するため
の出力視点設定部６２と、この設定された出力視点から
見た映像を上記構造化データから投影処理によって生成
する投影処理部６３とを有している。そして、投影処理
部６３にて生成された映像が表示装置に表示される。

【０００４】このようなシステムによれば、物体Ｔの三
次元形状データとテクスチャデータから所謂コンピュー
タグラフィックスの手法（投影処理）を用いて任意の視
点での当該物体Ｔの映像を表示装置に表示させることが
できる。

【０００５】

【発明が解決しようとする課題】しかし、上記のような
システムでは、歪んだ壷等のように幾何学的に単純でな
い物体から測定された三次元形状が必ずしも正確なもの
ではない。また、テレビカメラで撮影した物体表面のテ
クスチャと測定された三次元形状で表される物体表面上
の位置との対応が必ずしも正確でない。更に、実際に物
体を種々の視点から観察した場合には、光源と物体との
位置関係によって物体表面の色が変化するが、現状のコ
ンピュータを用いた投影処理ではその効果を必ずしも正
確に表現できない。

【０００６】従って、上記のようにして生成された任意
の視点から見た物体Ｔの映像は、実際にその視点から観
察される物体と必ずしも正確に一致しない。そのため、
上記システムの表示装置に表示される物体Ｔの映像のリ
アリティは必ずしも高いものではない。このような問題
を解決するため、物体Ｔを予め多数の視点から撮影して
得られた画像を蓄積しておき、ユーザが指定した視点
（出力視点）に最も近い視点から撮影した画像を選んで
表示装置に表示させるシステムが考えられる。このよう
なシステムでは、実際に物体を撮影して得られた画像そ
のものが表示されるので、ユーザは表示装置の画面上で
リアリティの高い映像を見ることができる。

【０００７】しかし、ユーザが任意に希望する視点ある
いは、その希望する視点により近い視点での映像を得る
ためには、物体をより多くの視点から撮影した物体の画
像を蓄積しておかなければならない。このため、画像デ
ータを蓄積するための記憶媒体の容量が非常に多くなっ
てしまう。また、画像データを蓄積したサーバから通信
路を介して当該画像データを映像生成処理装置に取り込
む場合、多量の画像データを転送するために、広帯域の
通信路が必要となる。

【０００８】そこで、本発明の第一の課題は、用意すべ
き画像データの量がより少ないものであっても、任意の
視点から見た物体のよりリアルな映像を生成することの
できる映像生成処理装置を提供することである。また、
本発明の第二の課題は、このような映像生成処理装置で
の処理をコンピュータに行なわせるためのプログラムを
格納した記録媒体を提供することである。

【０００９】更に、本発明の第三の課題は、上記のよう
な映像生成処理装置で用いられる構造化データを作成す
る構造化データ作成装置を提供することである。また、
本発明の第四の課題は、このような構造化データ作成装
置での処理をコンピュータに行なわせるためのプログラ
ムを格納した記録媒体を提供することである。

【００１０】

【課題を解決するための手段】上記本発明の第一の課題
を解決するため、本発明に係る映像生成処理装置は、請
求項１に記載されるように、複数の視点から物体を撮影
して得られる物体画像を各視点に対応させて格納した入
力視点画像格納手段と、入力視点画像格納手段に格納さ
れた各視点での物体画像上の互いに対応する特徴点の位
置を格納した入力特徴点格納手段と、入力視点画像格納
手段に格納された各物体画像を得るために物体を撮影し
た視点の位置を格納する入力視点格納手段と、任意の視
点が指定されたときに、上記入力視点格納手段に格納さ
れた視点から所定数の視点を選択する視点選択手段と、
上記入力特徴点格納手段から得られる視点選択手段にて
選択された各視点での物体画像上の特徴点の位置関係お
よび選択された各視点と指定された視点との関係に従っ
て、選択された各視点での物体画像から上記指定された
視点での物体画像を生成する画像生成手段を有する構成
となる。

【００１１】このような映像生成処理装置では、任意の
視点が指定されたときに、選択された視点と当該指定さ
れた視点との関係と、選択された各視点での物体画像上
の特徴点の位置関係に基づいて、選択された各視点での
物体画像から当該指定された任意の視点での物体画像が
生成される。また、指定された視点が、入力視点格納手
段に格納された視点と一致すれば、画像生成手段は、上
記各関係に従って、入力視点画像格納手段に格納された
当該指定された視点での物体画像を出力する。

【００１２】上記画像生成手段は、例えば、請求項２に
記載されるように、選択された各視点での物体画像上の
特徴点の位置的関係に基づいて、視点選択手段にて選択
された各視点での物体画像上の位置を、上記指定された
視点での物体画像上の位置に変換するための座標変換式
を決める座標変換決定手段と、座標変換決定手段にて決
定された座標変換式に従って、上記選択された各視点で
の物体画像を上記指定された視点での物体画像に変換す
る画像変換実行手段と、選択された各視点での物体画像
から画像変換実行手段により変換された上記指定された
視点での各物体画像を選択された各視点と上記指定され
た視点との関係に従って合成し、その合成物体画像を上
記指定された視点での物体画像として出力する画像合成
手段を有するように構成される。

【００１３】更に、処理の簡便性や精度のよい物体画像
を生成する等の観点から、上記各映像生成処理装置は、
請求項３乃至１７に記載されるように構成される。上記
第二の課題を解決するため、本発明は、請求項１８に記
載されるように、複数の視点から物体を撮影して得られ
る物体画像と、当該複数の各視点での物体画像上に設定
された互いに対応する特徴点の位置とに基づいて、任意
の視点での物体画像を生成する映像生成処理装置での処
理をコンピュータに行なわせるためのプログラムを格納
した記録媒体において、当該プログラムは、任意の視点
が指定されたときに、当該複数の視点から選択された所
定数の視点を取得するための視点選択プログラム手段
と、視点選択プログラム手段に従って選択された各視点
での物体画像上の特徴点の位置関係および選択された各
視点と指定された視点との関係に従って、選択された各
視点での物体画像から上記指定された視点での物体画像
を生成するための画像生成プログラム手段を有する構成
となる。

【００１４】更に、上記第三の課題を解決するため、本
発明に係る構造化データ作成装置は、請求項２１に記載
されるように、複数の視点から物体を撮影して得られる
物体画像を各視点に対応させて格納する入力視点画像格
納手段と、入力視点画像格納手段に格納された各視点で
の物体画像上の互いに対応する特徴点の位置を決定する
入力特徴点決定手段と、入力特徴点決定手段にて決定さ
れた各視点での物体画像上の互いに対応する特徴点の位
置を格納する入力特徴点格納手段とを有し、上記入力視
点画像格納手段に格納された複数の視点での物体画像と
入力特徴点格納手段に格納された各視点での物体画像上
の特徴点を外部のシステムに構造化データとして供給で
きるように構成される。

【００１５】また、より精度のよい物体画像の生成が行
なえるための構造化データを提供できることや、その構
造化データをより簡便に収集できる等の観点から、上記
構造化データ作成装置は、請求項２２乃至２９に記載さ
れるように構成される。更に、上記第四の課題を解決す
るため、本発明は、請求項３０に記載されるように、物
体の任意の視点から見た映像を生成するための映像生成
処理装置に用いられる構造化データを作成する処理をコ
ンピュータに行なわせるためのプログラムを格納した記
録媒体において、当該プログラムは、複数の視点から物
体を撮影して得られる物体画像を画像格納ユニットに各
視点に対応させて格納するための入力視点画像格納プロ
グラム手段と、画像格納ユニットに格納された各視点で
の物体画像上の互いに対応する特徴点の位置を決定する
ための入力特徴点決定プログラム手段と、入力特徴点決
定プログラム手段での処理にて決定された各視点での物
体画像上の互いに対応する特徴点の位置を入力特徴点格
納ユニットに格納するプログラム手段とを有し、上記画
像格納ユニット段に格納された複数の視点での物体画像
と入力特徴点格納ユニット手段に格納された各視点での
物体画像上の特徴点を上記映像生成処理装置に構造化デ
ータとして供給できるようにし構成される。

【００１６】また同観点から本発明は、請求項３１に記
載されるように、物体の任意の視点から見た映像を生成
するための映像生成処理装置に用いられる構造化データ
を作成する処理をコンピュータに行わせるためのプログ
ラムを格納した記録場いていにおいて、当該プログラム
は、複数の視点から物体を撮影して得られる物体画像か
ら所定の条件を満たす複数の特徴点候補を抽出する特徴
点候補算出プログラム手段と、物体画像を得るために物
体を撮影した視点の位置を設定して入力視点格納ユニッ
トに格納する入力視点設定プログラム手段と、特徴点候
補算出プログラム手段での処理にて算出された各視点で
の物体画像における複数の特徴点候補の位置と入力視点
格納ユニットに格納された各視点の位置に基づいて、該
特徴点候補に対応する物体上での点の三次元座標を抽出
する三次元座標候補抽出プログラム手段と、三次元座標
候補抽出プログラム手段での処理にて抽出された三次元
座標を入力視点格納ユニットに格納された各視点での物
体画像に投影された点の位置とその近傍にある特徴点候
補との位置関係に基づいて特徴点に対応すべき物体上の
点の三次元座標を算出する三次元座標算出プログラム
と、算出された三次元座標に各視点に投影して特徴点を
算出する入力特徴点決定プログラム手段とを有するよう
に構成される。

【００１７】

【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて説明する。本発明の実施の形態に係るシステ
ムの基本的な構成は、例えば、図１及び図２に示すよう
になる。図１において、映像生成処理装置１００は、ユ
ーザが出力視点入力部１１０から入力した視点から見た
物体を表す画像データを外部から提供される当該物体の
構造化データから生成し、その画像データに基づいて当
該視点から見た物体を表示装置１２０に表示させる。任
意の視点から見た物体を表す画像データを生成するため
に必要な構造化データは、少なくとも、当該物体を複数
の視点から撮影して得られる物体画像を表すデータ、そ
の各視点に対応した物体画像上に設定された特徴点を表
すデータ及び当該複数の視点を表すデータを含む。

【００１８】各視点に対応した物体画像上に設定された
特徴点は、物体上で同一の点に対応する特徴点が夫々対
応付けられるように管理される。例えば、図３（ａ）、
（ｂ）、（ｃ）に示すように、物体（三角錐体）上で同
一の点に対応する各視点Ａ、Ｂ、Ｃでの物体画像上の特
徴点は、同一の番号で特定される。また、上記映像生成
処理装置１００にて用いられる構造化データの一部また
は、全部は、ＣＤ−ＲＯＭ等の記録媒体を用いて、ある
いは、通信路を介して映像生成処理装置１００に提供さ
れる。この構造化データの全部または一部は、図２に示
す構造化データ作成装置２００にて作成される。

【００１９】図２に示すように、構造化データ作成装置
２００は、物体Ｔを複数の視点からカメラ２１０にて撮
影して得られる画像を蓄積し、その各視点に対応した物
体画像上において特徴点を設定する。ユーザが入力装置
２２０（マウス等）を用いて各物体画像上にて指定した
点を特徴点として設定するができる。また、各視点に対
応した物体画像の特徴の共通性に基づいて各物体画像上
で夫々対応する特徴点を自動的に設定することもでき
る。

【００２０】このように、構造化データ作成装置２００
は、少なくとも、物体Ｔを複数の視点から撮影して得ら
れる物体画像及びその各物体画像上で設定される特徴点
を当該物体Ｔの構造化データの一部として作成する。そ
して、少なくとも、このように作成されたデータが構造
化データの一部としてＣＤ−ＲＯＭ等の記録媒体に記録
され、上述したようにこの記録媒体を用いて当該構造化
データが映像生成処理装置１００に提供される。また、
構造化データ作成装置２００にて作成された構造化デー
タは、通信路を介して上記映像生成処理装置１００に提
供することも可能である。

【００２１】なお、この構造化データ作成装置２００
は、物体Ｔを複数の視点から撮影する際にその視点を表
すデータを蓄積することも可能である。この場合、構造
化データ作成装置２００にて作成される構造化データに
当該各視点を表すデータが含まれる。また、上記複数の
視点での物体の画像及び特徴点を表すデータのほか、構
造化データ作成装置２００にて作成すべき構造化データ
の種類は、上記映像生成処理装置１００で用いられる構
造化データの種類に応じて決められる。

【００２２】上記映像生成処理装置１００は、通常のコ
ンピュータシステムにて構成することができる。この場
合、映像生成処理装置１００は、図４に示すようなハー
ドウエア構成を有する。図４において、このシステム
は、それぞれバスに接続された、ＣＰＵ（中央演算処理
ユニット）１０、メモリユニット１１、入力ユニット１
２、外部記憶装置１３及びＣＤ−ＲＯＭドライバ１４を
有する。また、指定された任意の視点から見た物体を表
示するための表示装置１０２がバスに接続されている。

【００２３】ＣＰＵ１０は、メモリユニット１１に格納
されたプログラムに従って、種々の処理を実行する。メ
モリユニット１１は、ＲＯＭ（読みだし専用メモリ）や
ＲＡＭ（書き込み可能メモリ）等で構成され、種々の処
理に対応したプログラムや、処理の過程で得られた各種
データを格納すると供に、表示装置１２０に表示すべき
画像データ（ビットマップ）を格納するための画像メモ
リとして使用される。入力ユニット１２は、キーボード
及びマウス等で構成され、処理に必要な情報を入力する
と供に、ユーザが希望する視点を入力するために用いら
れる。 外部記憶装置１３は、例えば、ハードディスク
装置にて構成されている。当該映像生成処理装置１００
での処理を実行するためのプログラムを格納したＣＤ−
ＲＯＭがＣＤ−ＲＯＭドライバ１４にセットされると、
ＣＰＵ１０の制御に従って、該プログラムがＣＤ−ＲＯ
ＭからＣＤ−ＲＯＭドライバ１４を介して外部記憶装置
１３にインストールされる。そして、映像生成処理装置
１００としてシステムを立ち上げると、当該プログラム
が外部記憶装置１３からメモリユニット１１に読み出さ
れる。

【００２４】また、上記のようにして映像生成処理装置
１００としてシステムの立ち上げが行なわれた後に、上
述した構造化データを格納した他のＣＤ−ＲＯＭがＣＤ
−ＲＯＭドライバ１４にセットされると、ＣＰＵ１０の
制御に基づいて、当該構造化データがＣＤ−ＲＯＭから
ＣＤ−ＲＯＭドライバ１４を介して外部記憶装置１３に
インストールされる。以後、ＣＰＵ１０は、上記のよう
にメモリユニット１１に読み出されたプログラムに従っ
て、外部記憶装置１３に格納された構造化データを用い
て、映像生成処理装置１００の各機能に対応した処理を
実行する。

【００２５】このコンピュータシステムに構築される映
像生成処理装置１００の機能的な構成は、例えば、図５
に示すようになる。図５において、当該映像生成処理装
置１００は、出力視点設置部１０１、視点選択部１０
２、座標変換算出部１０３、座標変換実行部１０４、補
間画像生成部１０５及び構造化データ格納部１５０から
構成される。出力視点設置部１０１、視点選択部１０
２、座標変換算出部１０３、座標変換実行部１０４及び
補間画像生成部１０５は、それぞれプログラムに従って
ＣＰＵ１０が実行する処理ステップにて実現される。構
造化データ格納部１５０は、外部記憶装置１３内に構成
される。

【００２６】上記構造化データ格納部１５０は、入力視
点画像格納部１５１、入力視点格納部１５２及び入力特
徴点格納部１５２にて構成され、これら各部に、前述し
たように、例えば、ＣＤ−ＲＯＭにて提供された各種の
構造化データが格納される。入力視点画像格納部１５１
には、Ｎ個の視点から撮影された物体のＮ通りの画像を
表すデータが格納される。各画像には、各視点に対応し
た番号１〜Ｎが割り振られている。

【００２７】入力視点格納部１５２には、上記のように
物体を撮影するＮ個の視点を表すデータが格納される。
各視点は、例えば、図６に示すように、物体が置かれた
中心Ｏから半径１の球面上に延びるベクトルＱ１、Ｑ
２、．．．、ＱＮで表される。そして、各ベクトルは、
当該球の経度θと緯度φにて特定される。上記Ｎ通りの
画像に対応したＮ個の視点１、２、．．．、Ｎは、それ
ぞれ（θ１、φ１）、（θ２、φ２）、．．．、（θ
Ｎ、φＮ）にて特定される。このＮ個の視点を特定する
データ（経度θ、緯度φ）が、図７に示すようなかたち
で入力視点格納部１５２に格納される。

【００２８】入力特徴点格納部１５３には、上記入力視
点画像格納部１５１に格納されるそれぞれ異なった視点
で撮影された物体のＮ通りの画像上で設定された特徴点
の座標値が格納される。各物体画像上において対応する
特徴点、即ち、実際の物体上の同一の点に対応する各物
体画像上の特徴点は、同一の番号によって管理される。
図３に示す例では、視点Ａ、視点Ｂ、視点Ｃでの各物体
画像上に特徴点１乃至６が設定されている。そして、こ
の各物体画像上に設定された特徴点の座標値が、例え
ば、図８に示すような形式で入力特徴点格納部１５３に
格納されている。

【００２９】図８において、視点１での物体画像上に設
定された各特徴点１、２、．．．、Ｍの座値がそれぞれ
（Ｘ11、ｙ11）、（ｘ12、ｙ12）、．．．、（ｘ1M、ｙ
1M）で表される。なお、これらの座標値を記述する座標
系は、各画像に対して共通的に設定された、例えば、表
示画面上に設定された座標系である。また、視点２から
は、特徴点２に対応する物体上の点が見えないので、当
該視点２の物体画像上に特徴点２が設定されない。その
ことを表わすため、図８において、視点２の物体画像上
における特徴点２の座標値が（９９９、９９９）と記述
されている。

【００３０】出力視点設定部１０１は、ユーザが入力ユ
ニット１２を用いて指定した視点（θV 、φV ）を出力
画像の視点としてＣＰＵ１０の内部レジスタに設定す
る。ユーザは、例えば、次のようにして、所望の視点を
指定する。例えば、表示画面の中心が原点一致するよう
にＸ−Ｙ座標系が当該表示画面上に設定されている。そ
して、ある視点（θ、φ）から見た物体が表示装置１０
２の画面上に表示されている状態において、点（ｘ、
ｙ）をマウス（入力ユニット１２）で指定すると、視点
（θ＋ｘ、φ＋ｙ）が新たな視点（θV 、φV ）として
設定される。

【００３１】視点選択部１０２は、出力視点設定部１０
１によって設定された視点（θV 、φV ）に近い視点を
入力視点格納部１５２に格納された視点から所定個数Ｋ
選択する。この個数Ｋは、例えば「３」に定められる
（Ｋ＝３）。視点選択部１０２は、具体的に、Ｎ個の視
点から次のようにして当該３つの視点を選択する。図６
に示すように、指定された視点（θV 、φV ）で定まる
半径１の球上の点をＶとし、各視点（θ１、φ１）、
（θ２、φ２）、．．．、（θN 、φN ）で定まる半径
１の球上の点をそれぞれＱ１、Ｑ２、．．．、ＱN とす
る。そして、点V と各点Ｑ１、Ｑ２、．．．、ＱN との
間の距離を演算し、最も小さい距離から３番目までの視
点を選択する。

【００３２】また、次のようにしても視点を選択するこ
とができる。すなわち、上記のようにして各視点（θ
１、φ１）、（θ２、φ２）、．．．、（θＮ、φN ）
に対応して定められた半径１の球上の点Ｑ１、Ｑ
２、．．．、ＱN を頂点とする三角形によって当該球面
を分割する。これにより、当該球体が、各面が三角形と
なる多面体で近似される。そして、指定された視点を表
わすベクトルＶが交わる三角形の３つの頂点に対応した
視点が選択される。

【００３３】座標変換算出部１０３は、視点選択部１０
２にて上記のようにして選択された３つ（Ｋ個）の視点
の各物体画像上の点を出力視点設定部１０１にて設定さ
れた視点での物体画像上の点に変換するための座標変換
式を算出する。座標変換算出部１０３では、具体的に次
のような処理が行われる。まず、視点選択部１０２で選
択されたＫ個（３個）の各視点に対して、その視点と他
の視点との視点対を作成する。例えば、視点Ａ、視点
Ｂ、視点Ｃが選択された場合、視点Ａに対して視点対
（Ａ、Ｂ）及び（Ａ、Ｃ）が、視点Ｂに対して視点対
（Ｂ、Ａ）（Ｂ、Ｃ）が、また、視点Ｃに対して視点対
（Ｃ、Ａ）（Ｃ、Ｂ）がそれぞれ作成される。

【００３４】例えば、図９に示すように、視点Ａ、Ｂ、
Ｃの各物体画像ＩＡ、ＩＢ、ＩＣにＭ個（６個）の特徴
点が設定されているとする。なお、ある物体画像上では
設定されているが、他の物体画像上では設定されていな
い特徴点が一般には存在するが、そのような特徴点は省
いたうえで、各物体画像上にそれぞれ対応したＭ個の特
徴点が設定されているとする。視点Ａ、Ｂ、Ｃの各物体
画像上に設定されたこれらの特徴点の座標値をそれぞ
れ、例えば、（ｘa1、ｙa1）〜（ｘaM、ｙaM）、（ｘb
1、ｙb1）〜（ｘbM、ｙbM）、（ｘc1、ｙc1）〜（ｘc
M、ｙcM）とする。

【００３５】そして、まず、視点対（Ａ、Ｂ）に着目し
て、視点Ａの物体画像上の特徴点（ｘa1、ｙa1）〜（ｘ
aM、ｙaM）が視点Ｂの物体画像上の特徴点（ｘb1、ｙb
1）〜（ｘbM、ｙbM）に移るような座標変換式が算出さ
れる。即ち、 ｘ’＝ｆab（ｘ、ｙ）、 ｙ’＝ｇab（ｘ、ｙ） のような２変数の連続関数ｆab及びｇabであって、 ｘbi＝ｆab（ｘai、ｙai）、 ｙbi＝ｇab（ｘai、ｙai） （１） であるようなものが算出される。以下、視点対（Ａ、
Ｂ）について、物体画像ＩＡから物体画像ＩＢに変換す
る座標変換式を算出する手順を説明する。なお、他の視
点対についても同様の手順で一方の視点の物体画像から
他方の視点の物体画像への座標変換式が算出される。

【００３６】ｆab（ｘ、ｙ）及びｇab（ｘ、ｙ）をｘ、
ｙについての多項式とし、その多項式の係数を上記式
（１）ができるだけ満たされるように定められる。具体
的には、 が最小になるように当該多項式の係数を決める。この式
（２）は、未知の係数に関して二次式であるので、未知
の係数それぞれで微分してゼロとおくと、当該未知の係
数だけの一次方程式が得られる。これらの連立一次方程
式は、数学ライブラリを用いて解くことができる。

【００３７】また、上記のような座標変換式（式（１）
参照）は、次のようにしても得ることができる。例え
ば、図９に示すように、視点選択部１０２で選択された
視点での各物体画像を設定された特徴点を頂点とする三
角形で分割する。各物体画像において、対応する特徴点
でできる三角形は互いに対応するように管理する。つま
り、例えば、図９において、物体画像ＩＡに△１２６が
含まれていれば、特徴点１、特徴点２及び特徴点６が設
定された他の全ての物体画像ＩＢ、ＩＣに△１２６が含
まれるようにする。このことは、全ての三角形について
同様である。

【００３８】なお、前述したように、視点選択部１０２
で選択された視点での各物体画像において、ある画像上
では設定されているが、別の画像上では設定されていな
い特徴点が一般に存在するが、そのような特徴点は予め
省いておく。それにより、視点選択部１０２にて選択さ
れたある視点での物体画像上で特徴点１、特徴点２、特
徴点６が設定されていれば、選択された他の視点での物
体画像上でも、特徴点１、特徴点２、特徴点６が設定さ
れていることになる。従って、ある物体画像に△１２６
が含まれていれば、他の全ての物体画像にも△１２６が
含まれることになる。

【００３９】次に、物体画像ＩＡに含まれる△１２６内
の各点を物体画像ＩＢに含まれる△１２６内の各点に変
換するアフィン変換を求める。ある三角形を別の三角形
に移すようなアフィン変換が存在することやそのアフィ
ン変換を求める手法は公知である。その手法に従って、
上記物体画像ＩＡの△１２６から物体画像ＩＢの△１２
６へのアフィン変換を求める。同様にして、物体画像Ｉ
Ａに含まれる全ての三角形から物体画像ＩＢに含まれる
対応する三角形へのアフィン変換を算出する。

【００４０】視点Ａから見た物体の物体画像ＩＡはこれ
らの三角形で覆われているので、物体画像ＩＡの物体領
域内の点（ｘai、ｙai）を当該点（ｘai、ｙai）を含む
三角形に対応するアフィン変換によって変換した点（ｘ
bi、ｙbi）が物体画像ＩＢの物体領域内の対応する点と
して得られる。この場合、上記アフィン変換による座標
変換式が ｘbi＝ｆab（ｘai、ｙai）、 ｙbi＝ｇab（ｘai、ｙa
i） のように算出される。

【００４１】また更に、座標変換式は、次のようにして
も求めることができる。例えば、図１０に示すように、
視点選択部１０２で選択された視点での各物体画像を設
定された特徴点を頂点とする四角形で分割する。三角形
を用いた上記手法と同様に、各物体画像において、対応
する特徴点でできる四角形は互いに対応するように管理
する。つまり、例えば、図１０において、物体画像ＩＡ
に□１２５６が含まれていれば、特徴点１、特徴点２、
特徴点５及び特徴点６が設定された他の全ての物体画像
ＩＢ、ＩＣに□１２５６が含まれるようにする。

【００４２】次に、物体画像ＩＡに含まれる□１２５６
内の各点を物体画像ＩＢに含まれる□１２５６内の各点
に変換する射影変換を求める。ある四角形を別の四角形
に移すような射影変換が存在することやその射影変換を
求める手法は公知である。その手法に従って、上記物体
画像ＩＡの□１２５６から物体画像ＩＢの□１２５６へ
の射影変換を求める。同様にして、物体画像ＩＡに含ま
れる全ての四角形から物体画像ＩＢに含まれる対応する
四角形の射影変換を算出する。

【００４３】視点Ａから見た物体の画像ＩＡはこれらの
四角形で覆われているので、物体画像ＩＡの物体領域内
の点（ｘai、ｙai）を当該点（ｘai、ｙai）を含む四角
形に対応する射影変換によって変換した点（ｘbi、ｙb
i）が画像ＩＢの物体領域内の対応する点として得られ
る。この場合、上記射影変換による座標変換式が ｘbi＝ｆab（ｘai、ｙai）、 ｙbi＝ｇab（ｘai、ｙa
i） のように算出される。

【００４４】上述した３つの手法のいずれかにて、視点
Ａでの物体画像ＩＡ上の点を視点Ｂでの物体画像ＩＢ上
の点に変換する座標変換式 ｘb ＝ｆab（ｘa 、ｙa ）、 ｙb ＝ｇab（ｘa 、ｙa
） が算出される。他の視点対についても同様の処理がなさ
れ、一方の視点での物体画像から他方の視点での物体画
像への座標変換式が算出される。

【００４５】次に、特に、視点対（Ａ、Ｂ）及び視点対
（Ａ、Ｃ）に着目し、これらの視点対に関して、上記の
ようにして算出した座標変換式に基づいて視点Ａでの物
体画像ＩＡからユーザが指定した視点Ｖでの物体画像Ｉ
Ｖへの座標変換式を算出する。これは、例えば、次のよ
うな手法にて算出される。物体画像ＩＡ上の点（ｘa 、
ｙa ）を物体画像ＩＢ上の点（ｘb 、ｙb ）に変換する
座標変換式を ｘb ＝ｆab（ｘa 、ｙa ）、 ｙb ＝ｇab（ｘa 、ｙa
） とし、物体画像ＩＡ上の点（ｘa 、ｙa ）を物体画像Ｉ
Ｃ上の点（ｘc 、ｙc ）に変換する座標変換式を ｘc ＝ｆac（ｘa 、ｙa ）、 ｙc ＝ｇac（ｘa 、ｙa
） とする。

【００４６】物体画像ＩＡ上の点（ｘa 、ｙa ）を物体
画像ＩＶ上の点（ｘv 、ｙv ）に変換する座標変換式
は、 ｘv ＝ｆav（ｘa 、ｙa ） ＝αｘa ＋βｆab（ｘa 、ｙa ）＋γｆac（ｘa 、ｙa ） ｙv ＝ｇav（ｘa 、ｙa ） ＝αｙa ＋βｇab（ｘa 、ｙa ）＋γｇac（ｘa 、ｙa ） （３） のように算出される。上記式（３）において、α、β、
γは出力視点の位置に応じて定まる重みであり、α＋β
＋γ＝１である。この重みα、β、γは次のようにして
算出される。

【００４７】図１１において、視点Ａ、Ｂ、Ｃのそれぞ
れが、位置ベクトルＱa 、Ｑb 、Ｑc にて表される。ま
た、原点Ｏとユーザが指定した視点Ｖを結ぶ直線が三角
形ＡＢＣと交わる点Ｗを表す位置ベクトルをＱw とする
と、βとγは、 Ｑw ＝Ｑa ＋β（Ｑb −Ｑa ）＋（Ｑc −Ｑa ） を満たすように定められる。

【００４８】図１２に示すように、点Ｗを通り、ＡＣと
平行な直線がＡＢと交わる点をＳとし、点Ｗを通り、Ａ
Ｂと平行な直線がＡＣと交わる点をＴとした場合、上記
重みα、β、γは、 β＝ＡＳ／ＡＢ、 γ＝ＡＴ／ＡＣ、 α＝１−β−γ （４） で求められる。

【００４９】以上により、視点Ａでの物体画像ＩＡから
ユーザが指定した視点Ｖでの物体画像ＩＶへの座標変換
式が上記式（３）（α、β、γが式（４）に従って決
定）のように算出される。上記と同様にして、視点Ｂで
の物体画像ＩＢからユーザが指定した視点Ｖでの物体画
像ＩＶへの座標変換式が、 ｘv ＝ｆbv（ｘb 、ｙb ） ＝βｘb ＋γｆbc（ｘb 、ｙb ）＋αｆba（ｘb 、ｙb ） ｙv ＝ｇbv（ｘb 、ｙb ） ＝βｙb ＋γｇbc（ｘb 、ｙb ）＋αｇba（ｘb 、ｙb ） （５） のように算出され、また、視点Ｃでの物体画像ＩＣから
ユーザが指定した視点Ｖでの物体画像ＩＶへの座標変換
式が、 ｘv ＝ｆcv（ｘc 、ｙc ） ＝γｘc ＋αｆca（ｘc 、ｙc ）＋βｆcb（ｘc 、ｙc ） ｙv ＝ｇcv（ｘc 、ｙc ） ＝γｙc ＋αｇca（ｘc 、ｙc ）＋βｇcb（ｘc 、ｙc ） （６） のように算出される。

【００５０】更に、図５に示す座標変換実行部１０４
は、上述したように座標変換算出部１０３にて算出され
た各座標変換式に従って、選択された各視点での物体画
像からユーザが指定した視点Ｖでの物体画像に変換する
処理を行なう。視点Ａでの物体画像ＩＡから視点Ｖでの
物体画像への座標変換式（３）は、物体画像ＩＡにおけ
る座標点（画素の位置を表す）（ｘa 、ｙa ）が、視点
Ｖでの物体画像ＩＶにおいて座標点（ｘv 、ｙv ）＝
（ｆav（ｘa 、ｙa ）、ｇav（ｘa 、ｙa ））に対応し
ていることを表している。この関係に基づいて、物体画
像ＩＡにおける（ｘa 、ｙa ）の画素の色を視点Ｖでの
物体画像における（ｘv 、ｙv ）の画素の色とすること
によって、当該視点Ｖでの物体画像ＩＶa が生成され
る。

【００５１】なお、座標変換式 （ｘv 、ｙv ）＝（ｆav（ｘa 、ｙa ）、ｇav（ｘa 、
ｙa ）） の代わりに、上述したのと同様の手法によって、逆方向
の座標変換、即ち、視点Ｖでの物体画像を視点Ａでの物
体画像ＩＡに変換する座標変換式 （ｘa 、ｙa ）＝（ｆva（ｘv 、ｙv ）、ｇva（ｘv 、
ｙv ）） を算出し、この座標変換式に従って、物体画像ＩＶにお
ける各座標（ｘv 、ｙv）の画素の色を対応する物体画
像ＩＡにおける座標（ｘa 、ｙa ）の画素の色と同じ色
に決定するようにしてもよい。

【００５２】上記と同様にして、座標変換式（５）に従
って、視点Ｂでの物体画像ＩＢにおける（ｘb 、ｙb ）
の画素の色を視点Ｖでの物体画像における（ｘv 、ｙv
）の画素の色とすることによって、当該視点Ｖでの物
体画像ＩＶb が生成される。また、座標変換式（６）に
従って、視点Ｃでの物体画像ＩＣにおける（ｘc 、ｙ
c）の画素の色を視点Ｖでの物体画像における（ｘv 、
ｙv ）の画素の色とすることによって、当該視点Ｖでの
物体画像ＩＶｃが生成される。

【００５３】上述したような座標変換実行部１０４での
処理により、視点選択部１０２で選択された、例えば、
各視点Ａ、Ｂ、Ｃでの物体画像ＩＡ、ＩＢ、ＩＣのそれ
ぞれから、座標変換式（３）、（５）、（６）に従っ
て、図１３に示すように、ユーザが指定した視点Ｖ（出
力視点）での物体画像ＩＶa 、ＩＶb 、ＩＶc が生成さ
れる。

【００５４】補間画像生成部１０５は、上記のようにし
て生成された視点Ｖでの物体画像ＩＶa 、ＩＶb 、ＩＶ
c に基づいて最終的に表示装置１２０に表示すべき補間
画像ＩＶを次のように生成する。即ち、座標変換式
（３）、（５）、（６）を算出する際に用いた重みα
（視点Ａと視点Ｖとの関係を表す）、β（視点Ｂと視点
Ｖとの関係を表す）、γ（視点Ｃと視点Ｖとの関係を表
す）を用い、 ＩＶ＝αＩＶa ＋βＩＶb ＋γＩＶc （７） に従って、補間画像ＩＶが生成される。

【００５５】上記式（７）は、補間画像ＩＶの各座標
（ｘv 、ｙv ）に位置する画素の色が、物体画像ＩＡの
対応する座標（ｘa 、ｙa ）に位置する画素の色にα
（割合）を乗じて得られる色成分と、物体画像ＩＢの対
応する座標（ｘb 、ｙb ）に位置する画素の色にβ（割
合）を乗じて得られる色成分と、物体画像ＩＣの対応す
る座標（ｘc 、ｙc ）に位置する画素の色にγ（割合）
を乗じて得られる色成分との和になることを意味する。

【００５６】このようにして生成された補間画像ＩＶ
は、ＣＰＵ１０の制御に従って、表示装置１２０に提供
され、その表示画面に表示される。上記のようにして構
成される映像生成処理装置１００では、ユーザが物体を
見る視点Ｖを指定すると、その視点Ｖに近い複数の視点
が予め定めた視点のなかから選択される。そして、その
選択された各視点での物体画像上に設定された特徴点の
相関関係から得られる座標変換式に従って当該視点Ｖで
の物体画像が生成される。このようにユーザが指定した
視点Ｖでの物体画像が表示装置に表示され、その結果、
ユーザは、表示装置の画面上において自分の希望する視
点から当該物体を見ることが可能となる。

【００５７】上記の例において、視点選択部１０２は、
入力視点格納部１５２に格納されるＮ個の視点からユー
ザが指定した視点Ｖとの距離を演算して、当該視点Ｖに
近い、例えば、３つの視点を選択している。このような
視点選択部１０２での処理では、ユーザによって視点が
指定される毎に、その指定された視点と入力視点格納部
１５２に格納されたＮ個の視点との距離を演算しなけれ
ばならず、その処理時間が長くなってしまう。このよう
な不具合を解消するため、映像生成処理装置１００は、
例えば、図１４に示すような機能構成とすることができ
る。なお、図１４において、図５と同一の参照番号は、
同一の機能ブロックを示している。

【００５８】この例では、外部記憶装置１３内に構築さ
れる構造化データ格納部１５０に視点選択テーブル１５
４が付加されている。そして、視点選択部１０６が視点
選択テーブル１５４を参照して視点を選択する。この視
点選択テーブル１５４は、ユーザが指定した視点Ｖをキ
ーとして入力視点格納部１５２に含まれる視点からどの
視点を選択するかを記述したテーブルであり、例えば、
図１５に示すように構成されている。即ち、視点を表す
経度θと緯度φをそれぞれ区分してマトリクスを構成
し、各区分領域内に、当該区分領域内の経度と緯度で表
される視点Ｖが指定されたときに、選択すべき視点が記
述されている。例えば、図１５に示すように、経度θv
がθ1 とθ2 の間にあり、緯度φv がφ3 とφ4 の間に
あるような視点Ｖ（θv 、φv ）が指定された場合、経
度の区分θ1 〜θ2 と緯度の区分φ3 〜φ4 で決まる区
分領域内に記述された視点Ａ、Ｂ、Ｃが選択される。

【００５９】この視点選択テーブルは、構造化データ作
成装置２００にて作成することができる。この場合、他
の構造化データ（各視点での物体画像データ、特徴点
等）と供に、視点選択テーブルが、記録媒体（ＣＤ−Ｒ
ＯＭ等）を用いて、あるいは通信路を介して映像生成処
理装置１００に提供される。また、この視点選択テーブ
ルは、入力視点格納部１５２に格納すべき各視点に関す
る情報に基づいて、他の外部装置や、映像生成処理装置
１００内で作成することも可能である。

【００６０】このように視点選択テーブル１５４を用い
て座標変換すべき画像の視点を選択することにより、指
定された視点と各視点との距離を演算する必要がなくな
り、視点選択の処理に要する時間を削減することができ
る。上記映像生成処理装置１００は、例えば、図１６に
示すように、構成することも可能である。なお、図１６
において、図１４と同一の参照番号は、同一の機能ブロ
ックを示している。

【００６１】この例では、プログラムに従ったＣＰＵ１
０での処理により実現される出力特徴点算出部１０７
が、選択された各視点での物体画像上に設定された特徴
点（入力特徴点）から、ユーザによって指定された視点
から見た物体画像上の対応する特徴点（出力特徴点）を
推定算出している。そして、選択された各視点での物体
画像上に設定した各特徴点と指定された視点での物体画
像上の対応する特徴点との関係から、座標変換算出部１
０８が、当該選択された各視点での物体画像から指定さ
れた視点での物体画像への座標変換式を算出する。

【００６２】視点選択部１０６によって選択された視点
Ａ、Ｂ、Ｃでの各物体画像上に、例えば、次のようなＭ
個の特徴点（入力特徴点）が設定される。即ち、視点Ａ
での物体画像上では、特徴点（ｘa1、ｙa1）、（ｘa2、
ｙa2）、．．．、（ｘaM、ｙaM）が設定され、視点Ｂで
の物体画像上では、特徴点（ｘb1、ｙb1）、（ｘb2、ｙ
b2）、．．．、（ｘbM、ｙbM）が設定され、また、視点
Ｃでの物体画像上では、特徴点（ｘc1、ｙc1）、（ｘc
2、ｙc2）、．．．、（ｘcM、ｙcM）が設定される。

【００６３】出力特徴点算出部１０７は、まず、ユーザ
にて指定された視点Ｖを取得して、前記式（４）に従っ
て重みα、β、γを算出する。そして、この重みα、
β、γを用いて、指定された視点Ｖでの物体画像上の対
応するｉ番目の特徴点の位置（ｘvi、ｙvi）を ｘvi＝αｘai＋βｘbi＋γｘci （ｉ＝１、２、．．．、Ｍ） ｙvi＝αｙai＋βｙbi＋γｙci （ｉ＝１、２、．．．、Ｍ） （８） に従って算出する。

【００６４】これにより、選択された各視点Ａ、Ｂ、Ｃ
での物体画像上に設定したｉ番目の特徴点に対応する視
点Ｖでの物体画像上のｉ番目の特徴点が得られる。な
お、一般に、それぞれの視点において物体の影になって
見えない等の理由で、全ての特徴点が観測されるわけで
はないが、選択された視点において共通して観測されて
いる特徴点についてだけ上記処理が行なわれる。

【００６５】座標変換算出部１０８は、視点選択部１０
６にて選択された、例えば、各視点Ａ、Ｂ、Ｃでの物体
画像上に設定された特徴点１〜Ｍ、視点設定部１０１で
設定した視点Ｖと、出力特徴点算出部１０７にて算出さ
れた特徴点の各情報に基づいて、選択された各視点での
物体画像から指定された視点Ｖでの物体画像に変換する
座標変換式を算出する。視点Ａでの物体画像から視点Ｖ
での物体画像に変換する座標変換式は次のように算出さ
れる。

【００６６】既に、図５に示す座標変換算出部１０３
が、視点Ａでの物体画像から視点Ｂでの物体画像への座
標変換式（１）をそれぞれの物体画像に設定された特徴
点の関係に基づいて算出するための処理（３つの手法に
よる）について説明した。この処理と同じ手法によっ
て、視点Ａでの物体画像から視点Ｖでの物体画像に変換
する座標変換式が、視点Ａでの物体画像上に設定した特
徴点（入力特徴点）と出力特徴点算出部１０７で算出さ
れてた特徴点（出力特徴点）との関係に基づいて算出さ
れる。その結果、上記座標変換式（１）と同様の形式の
座標変換式 ｘv ＝ｆav（ｘa 、ｙb ）、 ｙv ＝ｇav（ｘa 、ｙa
） が得られる。

【００６７】また、同様にして、選択された他の視点Ｂ
での物体画像から視点Ｖでの物体画像に変換する座標変
換式 ｘv ＝ｆbv（ｘb 、ｙb ）、 ｙv ＝ｇbv（ｘb 、ｙb
） 及び、更に他の視点Ｃでの物体画像から視点Ｖでの物体
画像に変換する座標変換式 ｘv ＝ｆcv（ｘc 、ｙc ）、 ｙv ＝ｇcv（ｘc 、ｙc
） がそれぞれ得られる。

【００６８】上記のようにして得られた選択された各視
点Ａ、Ｂ、Ｃでの物体画像からユーザが選択した視点Ｖ
での物体画像への座標変換式が座標変換実行部１０４に
提供され、上述したのと同様に、これらの変換座標式に
従って、各視点Ａ、Ｂ、Ｃでの物体画像ＩＡ、ＩＢ、Ｉ
Ｃから視点Ｖでの物体画像ＩＶa 、ＩＶb 、ＩＶc が演
算される。

【００６９】上記のような例では、選択された各視点で
の物体画像上に設定された特徴点からユーザが指定した
視点での物体画像上の対応する特徴点を算出し、それら
特徴点の相対的な関係に基づいて、各視点での物体画像
からユーザが指定した視点での物体画像に変換する座標
変換式を算出している。その結果、座標変換式がより正
確に算出することが可能となる。

【００７０】上記出力特徴点算出部１０７は、次のよう
な処理により、ユーザが指定した視点での物体画像上の
特徴点（出力特徴点）を算出することもできる。前述し
た場合と同様に、視点選択部１０６にて視点Ａ、Ｂ、Ｃ
が選択され、それら各視点での物体画像上に設定された
特徴点が、視点Ａに対しては、（ｘa1、ｙa1）、（ｘa
2、ｙa2）、．．．、（ｘaM、ｙaM）、視点Ｂに対して
は、（ｘb1、ｙb1）、（ｘb2、ｙb2）、．．．、（ｘb
M、ｙbM）、視点Ｃに対しては、（ｘc1、ｙc1）、（ｘc
2、ｙc2）、．．．、（ｘcM、ｙbM）であったとする。
また、ユーザが視点Ｖ（出力視点）を指定したとする。

【００７１】出力特徴点算出部１０７は、後述するよう
な手法に従って、アフィン変換の係数α₁₁、α₁₂、
α₂₁、α₂₂、β₁₁、β₁₂、β₂₁、β₂₂、γ₁₁、γ₁₂、γ
₂₁、γ₂₂を算出する。そして、これらの係数を用いて、 ｘvi＝α₁₁ｘai＋α₁₂ｙai＋β₁₁ｘbi＋β₁₂ｙbi＋γ₁₁ｘci＋γ₁₂ｙci ｙvi＝α₂₁ｘai＋α₂₂ｙai＋β₂₁ｘbi＋β₂₂ｙbi＋γ₂₁ｘci＋γ₂₂ｙci （９） に従ってユーザが指定してした視点Ｖでの物体画像上の
特徴点の位置（ｘvi、ｙvi）が算出される。

【００７２】上記各アフィン変換の係数α₁₁、α₁₂、α
₂₁、α₂₂、β₁₁、β₁₂、β₂₁、β₂₂、γ₁₁、γ₁₂、
γ₂₁、γ₂₂は、次のようにして算出される。図１１にお
いて、選択された視点Ａ、Ｂ、Ｃを表す位置ベクトルを
それぞれＱa 、Ｑb 、Ｑc とし、視点Ｖを表す位置ベク
トルをＱv とする。また、これらのベクトルの長さが１
になるように正規化したものをｕa 、ｕb 、ｕc 、ｕv
とし、北極の方向を向いた単位ベクトルをηとする。

【００７３】次式によって、３ｘ３の行列Ｍを定義す
る。 Ｍ＝｛（１−ｕa ｕa ^t ）＋（１−ｕb ｕb ^t ）＋（１−ｕc ｕc ^t ）｝^-1 （１０） ここで、右肩の「^t 」は、転置を表す。このとき、アフ
ィン変換の各係数は、次式に従って算出される。 α₁₁＝（ηｘｕv 、Ｍηｘｕa ）／｛｜ηｘｕv ｜｜ηｘｕa ｜｝ α₁₂＝（ηｘｕv 、Ｍｕa ｘηｘｕa ）／｛｜ηｘｕv ｜｜ηｘｕa ｜｝ α₂₁＝（ｕv ｘηｘｕv 、Ｍηｘｕa ）／｛｜ηｘｕv ｜｜ηｘｕa ｜｝ α₂₂＝（ｕv ｘηｘｕv 、Ｍｕa ｘηｘｕa ）／｛｜ηｘｕv ｜｜ηｘｕa ｜｝ β₁₁＝（ηｘｕv 、Ｍηｘｕb ）／｛｜ηｘｕv ｜｜ηｘｕb ｜｝ β₁₂＝（ηｘｕv 、Ｍｕb ｘηｘｕb ）／｛｜ηｘｕv ｜｜ηｘｕb ｜｝ β₂₁＝（ｕv ｘηｘｕv 、Ｍηｘｕb ）／｛｜ηｘｕv ｜｜ηｘｕb ｜｝ β₂₂＝（ｕv ｘηｘｕv 、Ｍｕb ｘηｘｕb ）／｛｜ηｘｕv ｜｜ηｘｕb ｜｝ γ₁₁＝（ηｘｕv 、Ｍηｘｕc ）／｛｜ηｘｕv ｜｜ηｘｕc ｜｝ γ₁₂＝（ηｘｕv 、Ｍｕc ｘηｘｕc ）／｛｜ηｘｕv ｜｜ηｘｕc ｜｝ γ₂₁＝（ｕv ｘηｘｕv 、Ｍηｘｕc ）／｛｜ηｘｕv ｜｜ηｘｕc ｜｝ γ₂₂＝（ｕv ｘηｘｕv 、Ｍｕc ｘηｘｕc ）／｛｜ηｘｕv ｜｜ηｘｕc ｜｝ （１１） 上記（１０）式から３ｘ３の行列Ｍを算出し、そのＭを
用いて（１１）式でアフィン変換の係数を算出する。

【００７４】上記のようにして算出されたアフィン変換
の係数を用いて、上記（９）式に従って、ユーザが指定
した視点Ｖでの物体画像上の特徴点の位置が算出され
る。このような出力視点特徴部１０７での処理によれ
ば、ユーザが指定した視点Ｖでの物体画像上の特徴点
（出力特徴点）の位置をより多くのパラメータを使って
算出しているので、より正確な出力特徴点の位置が算出
できる。

【００７５】上記映像生成処理装置１００は、例えば、
図１７に示すように構成することができる。図１７にお
いて、図１６と同一の参照番号は、同一の機能ブロック
を表している。この例では、外部記憶装置１３内に構築
される構造化データ格納部１５０に三次元座標格納部１
５５が付加されている。この三次元座標格納部１５５に
は、各視点での物体画像上に設定された特徴点に対応す
る実際の物体上の点の三次元座標値が格納される。そし
て、出力特徴点算出部１０９は、三次元座標格納部１５
５に格納された各特徴点に対応する物体上の点の三次元
座標値に基づいて、ユーザが指定した視点での物体画像
上の特徴点を算出する。

【００７６】三次元座標格納部１５５には、例えば、図
１８に示すような形式で、各特徴点に対応した物体上の
点の三次元座標値（Ｘ、Ｙ、Ｚ）が格納されている。こ
の三次元座標値を表すための座標系Ｘ−Ｙ−Ｚは、物体
を設置する空間において任意に定めることができる。こ
の三次元座標値は、構造化データ作成装置２００にて測
定、または算出することができる。その場合、三次元座
標値は、他の構造化データ（各視点に対応した物体画
像、その物体画像上の特徴点）と供に、記録媒体（ＣＤ
−ＲＯＭ等）を用いて、あるいは、通信路を介して映像
生成処理装置１００に提供される。

【００７７】出力特徴点演算部１０９は、三次元座標格
納部１５５に格納された各特徴点に対応する物体上の点
の三次元座標値に基づいて、ユーザが指定した視点Ｖで
の物体画像上の特徴点を算出する。実際には、三次元空
間中の特徴点に対応する点を画像面に投影することによ
って、指定された視点Ｖでの物体画像上での特徴点を算
出する。投影の手法は、直交投影と透視投影の二種類が
ある。

【００７８】まず、直交投影による手法に従って特徴点
を算出する処理は、次のようになされる。例えば、図１
９に示すように、物体Ｔが三次元空間（Ｘ−Ｙ−Ｚ）の
原点Ｏ付近におかれているとし、原点Ｏと視点とを結ぶ
直線と平行な方向に、特徴点（入力特徴点）に対応した
物体Ｔ上の点を投影する。そして、原点Ｏと視点とを結
ぶ直線と垂直の向きに置かれている画像面Ｐと交わる点
の位置を出力特徴点の位置とする。

【００７９】ｍ番目の特徴点に対応した物体Ｔ上の点の
三次元的な位置ベクトルＲm を Ｒm ＝（Ｘm 、Ｙm 、Ｚm ）^T で表わし、ｎ番目の視点の位置ベクトルをＱn 、画像面
Ｐのｘ軸方向の単位ベクトルをｉm 、画像面Ｐのｙ軸方
向の単位ベクトルをｊm とすると、ｎ番目の視点におけ
るｍ番目の特徴点の座標は、 ｘnm＝（ｉn 、Ｒm ）、 ｙnm＝（ｊn 、Ｒm ） で算出される。

【００８０】次に、透視投影による手法に従って特徴点
を算出する処理は、次のようになされる。例えば、図２
０に示すように、物体Ｔが三次元空間（Ｘ−Ｙ−Ｚ）の
原点Ｏ付近に置かれているとし、各特徴点（入力特徴
点）に対応した物体Ｔ上の点を視点の方向に投影し、原
点Ｏと視点を結ぶ直線に垂直な向きに置かれている画像
面Ｐと交わる点の位置を出力特徴点の位置とする。直行
投影による手法に従った処理の場合と同様に、位置ベク
トルＲm 、Ｑn 及び単位ベクトルｉn 、ｊn を定義する
と、ｎ番目の視点におけるｍ番目の特徴点の座標（ｘn
m、ｙnm）は、 ｘnm＝ｆ（ｉn 、Ｒm −Ｑn ）／（ｉn ×ｊn 、Ｒm −Ｑn ） ｙnm＝ｆ（ｊn 、Ｒm −Ｑn ）／（ｉn ×ｊn 、Ｒm −Ｑn ） で算出される。

【００８１】このように、出力特徴点算出部１０９が各
特徴点に対応した物体上の点の三次元座標をユーザが指
定した視点で決まる画像面に投影して出力特徴点の位置
を算出しているので、より正確な出力特徴点の位置を得
ることができる。更に、上記映像生成処理装置１００
は、図２１に示すような機能構成とすることもできる。
図２１において、前述した各例と同一の参照番号は、同
一の機能ブロックを示している。

【００８２】この例では、外部記憶装置１３内に構築さ
れる構造化データ格納部１５０は、図１６に示す例と同
様に、入力視点画像格納部１５１、入力視点格納部１５
２、入力特徴点格納部１５３及び視点選択テーブル１５
４を備え、更に、入力多角形格納部１５６が付加されて
いる。各視点での物体画像上に設定した特徴点を頂点と
する複数の多角形を各物体画像を覆うように形成した際
に各多角形の頂点となる特徴点の組が、当該多角形に対
応づけられて入力多角形格納部１５６に格納される。各
視点での物体画像上で対応する特徴点の組が、同様に多
角形の頂点となるように各視点での物体画像上の特徴点
の組分けが行われる。

【００８３】例えば、図９に示すように、各視点Ａ、
Ｂ、Ｃでの物体画像ＩＡ、ＩＢ、ＩＣ上に設定された特
徴点を頂点とした三角形を各物体画像を覆うように形成
した際に当該三角形の頂点となる特徴点の組が、当該三
角形に対応づけられて、例えば、図２２に示す形式で入
力多角形格納部１５６に格納される。この例の場合、あ
る物体画像において特徴点の組（１、２、６）が三角形
の頂点となる場合、対応する特徴点１、特徴点２、特徴
点６を含む全ての物体画像において、特徴点の組（１、
２、６）が三角形の頂点となるように各物体画像上の特
徴点の組分けが行われる。また、図２２に示す例では、
視点２から特徴点１、特徴点２、特徴点６を頂点とする
三角形１及び特徴点７、特徴点８、特徴点９を頂点とす
る三角形Ｌを見ることができない。

【００８４】なお、前述したように、視点選択部１０６
で選択された各視点での物体画像において、ある物体画
像には含まれているが別の物体画像には含まれていない
特徴点が一般に存在するが、そのような特徴点は、予め
省いておく。また、例えば、図１０に示すように、各視
点Ａ、Ｂ、Ｃでの物体画像ＩＡ、ＩＢ、ＩＣ上に設定さ
れた特徴点を頂点とした四角形を各物体画像を覆うよう
に形成した際に当該四角形の頂点となる特徴点の組が、
当該四角形に対応づけられて、例えば、図２３に示す形
式で入力多角形格納部１５６に格納される。この例の場
合、ある物体画像において特徴点の組（１、２、５、
６）が四角形の頂点となる場合、対応する特徴点１、特
徴点２、特徴点５、特徴点６を含む全ての物体画像にお
いて、特徴点の組（１、２、５、６）が四角形の頂点と
なるように各物体画像上の特徴点の組分けが行われる。
また、図２３に示す例では、視点２から特徴点１、特徴
点２、特徴点５、特徴点６を頂点とする四角形１及び特
徴点７、特徴点８、特徴点９、特徴点１０を頂点とする
四角形Ｌを見ることができない。

【００８５】上記のような入力多角形格納部１５６に格
納されるべき各視点での物体画像を覆う多角形の頂点と
なる特徴点の組は、上記構造化データ作成装置２００が
他の構造化データ（各視点での物体画像、特徴点等）と
供に、生成することができる。この場合、特徴点の組を
表わすデータは、当該他の構造化データと供に、記録媒
体（ＣＤ−ＲＯＭ等）を用いて、あるいは、通信路を介
して映像生成処理装置１００に提供される。

【００８６】この例では、更に、映像生成処理装置１０
０に出力多角形抽出部１１１が設けられている。この出
力多角形抽出部１１１は、プログラムに従ったＣＰＵ１
０での処理により実現される。出力特徴点算出部１０７
が前述したように、指定された視点Ｖでの物体画像上の
特徴点を算出する。そして、出力多角形抽出部１１１
は、上記入力多角形格納部１５６に格納された複数の多
角形でなる多角形群（例えば、図２２における三角形１
から三角形Ｌ）に基づいて、それに対応する多角形群で
あって当該視点Ｖでの物体画像を覆う複数の多角形を上
記出力特徴点算出部１０７で算出された特徴点から抽出
する。

【００８７】座標変換算出部１１２は、視点選択部１０
６で選択される各視点に対応した入力多角形格納部１５
６に格納された特徴点の組で形成される各多角形を上記
出力多角形抽出部１１１にて抽出された対応する多角形
に変換する座標変換式を算出する。例えば、視点選択部
１０６で、視点Ａ、Ｂ、Ｃが選択され、また、ユーザに
よって視点Ｖが指定されたとする。この場合、視点Ａで
の物体画像を視点Ｖでの物体画像に変換する座標変換式
は、次のようにして算出される。なお、視点Ｂ、視点Ｃ
についても同様の処理にて座標変換式が得られる。

【００８８】図９及び図１０を用いて前述したように、
多角形の対応関係に基づいて、視点Ａでの物体画像から
視点Ｂでの物体画像に変換する座標変換式は、 ｘb ＝ｆab（ｘa 、ｙa ） ｙb ＝ｇab（ｘ、a ｙa ） となる。この関係を利用して、視点Ａでの物体画像を視
点Ｖでの物体画像に変換する座標変換式が、 ｘv ＝ｆav（ｘa 、ｙa ） ｙv ＝ｇav（ｘa 、ｙa ） のように得られる。

【００８９】図２１に示す入力多角形格納部１５６及び
出力多角形抽出部１１１は、図２４に示す多角形抽出部
１１３に置き換えることが可能である。なお、図２４に
おいて、図２１と同一の参照番号は、同一の機能ブロッ
クを示している。多角形抽出部１１３は、視点選択部１
０６にて選択された各視点に対応する入力特徴点格納部
１５３に格納された特徴点を頂点とする複数の多角形を
当該視点での物体画像を覆うように形成した際に各多角
形の頂点となる特徴点の組を抽出する。そして、各視点
での物体画像上で対応する特徴点の組が、同様に多角形
の頂点となるように各視点での物体画像上の特徴点の組
分けが行われる。即ち、多角形抽出部１１３は、視点設
定部１０６にて選択された各視点での物体画像上で設定
された特徴点を頂点とするそれぞれ対応する多角形を抽
出する（図９、図１０参照）。また、出力特徴点算出部
１０７で算出された特徴点を頂点とする複数の多角形で
あり、上記入力特徴点に基づいて抽出された多角形に対
応する多角形が更に、多角形抽出部１１３にて抽出され
る。この出力特徴点算出部１０７で算出された特徴点を
頂点とする複数の多角形からなる多角形群は、出力視点
Ｖでの物体画像を覆う。

【００９０】上記のように抽出された各視点での物体画
像上の多角形と、ユーザによって指定された視点での物
体画像上の多角形との関係に従って、座標変換算出部１
１２が、図２１に示す例の場合と同様に、座標変換式を
算出する。各視点での物体画像上に設定された特徴点を
頂点とする多角形を用いて座標変換式を算出するように
した映像生成処理装置１００は、更に、図２５に示すよ
うな機能構成とすることも可能である。なお、図２５に
おいて、図１７及び図２４と同一の参照番号は、同一の
機能ブロックを表わしている。

【００９１】この例では、外部記憶装置１３内に構築さ
れる構造化データ格納部１５０は、図１７に示す例と同
様に、入力視点画像格納部１５１、入力視点格納部１５
２、入力特徴点格納部１５３、視点選択テーブル１５４
及び三次元座標格納部１５５を備え、更に、表面多角形
格納部１５７が付加されている。三次元座標格納部１５
５は、図１７の例で説明したように、各視点での物体画
像上に設定した特徴点に対応する物体上の点を表わす三
次元座標値が格納されている。表面多角形格納部１５７
は、三次元座標格納部１５５に格納されたそれぞれの特
徴点に対応する物体上の点を頂点する複数の多角形から
なる多角形群で、それらの多角形が物体の表面を覆うよ
うなものを格納する。

【００９２】例えば、三次元空間の特徴点に対応した点
を頂点した三角形で物体を覆う場合、表面多角形格納部
１５７には、図２６に示すような形式で、物体の表面で
三角形を形成する点の組が格納される。この場合、物体
表面は、Ｌ個の三角形で覆われ、１番目の三角形は、特
徴点１、特徴点２及び特徴点６に対応した物体表面上の
点を頂点とし、２番目の三角形は、特徴点２、特徴点５
及び特徴点６に対応した物体表面上の点を頂点とし、Ｌ
番目の三角形は、特徴点７、特徴点８及び特徴点９を頂
点としている。

【００９３】また、例えば、三次元空間の特徴点に対応
した点を頂点とした四角形で物体を覆う場合、表面多角
形格納部１５７には、図２７に示すような形式で、物体
の表面で四角形を形成する点の組が格納される。この場
合、物体表面は、Ｌ個の四角形で覆われ、１番目の四角
形は、特徴点１、特徴点２、特徴点５及び特徴点６を頂
点とし、２番目の四角形は、特徴点２、特徴点３、特徴
点４及び特徴点５を頂点とし、Ｌ番目の四角形は、特徴
点７、特徴点８、特徴点９及び特徴点１０を頂点として
いる。

【００９４】上記のような表面多角形格納部１５７に格
納されるべき物体表面を覆う多角形の各頂点の組は、上
記構造化データ作成装置２００が他の構造化データ（各
視点での物体画像、特徴点等）と供に、生成することが
できる。この場合、多角形の頂点の組を表わすデータ
は、当該他の構造化データと供に、記録媒体（ＣＤ−Ｒ
ＯＭ等）を用いて、あるいは、通信路を介して映像生成
処理装置１００に提供される。

【００９５】この例における映像生成処理装置１００
は、更に、多角形抽出部１１４を備えている。この多角
形抽出部１１４は、プログラムに従ったＣＰＵ１０での
処理により実現される。多角形抽出部１１４は、表面多
角形格納部１５７に格納された物体表面を覆う各多角形
の頂点に対応した、視点選択部１０６にて選択された各
視点での物体画像上の特徴点を頂点とする多角形を抽出
する。更に、多角形抽出部１１４は、上記表面多角形格
納部１５７に格納された物体表面を覆う各多角形の頂点
に対応した、出力特徴点算出部１０９にて算出されるユ
ーザ指定の視点Ｖでの物体画像上の特徴点を頂点とする
多角形を抽出する。

【００９６】例えば、視点選択部１０６によって視点
Ａ、視点Ｂ、視点Ｃが選択されたとすする。この場合、
まず、入力特徴点格納部１５１を参照して視点Ａでの物
体画像上に設定された特徴点の組が取り出される。そし
て、表面多角形格納部１５７に格納されされている多角
形のうち、視点Ａでの物体画像上で設定した特徴点に対
応する点が頂点となる多角形が選ばれる。

【００９７】多角形抽出部１１４は、その選ばれた多角
形を視点Ａに関する多角形群として出力する。多角形抽
出部１１４は、同様にして、視点Ｂ及び視点Ｃに関する
多角形群を出力する。そして、更に、多角形抽出部１１
４は、視点Ａ、視点Ｂ、視点Ｃに関する３つの多角形群
に共通して含まれる複数の多角形をユーザに指定された
視点（出力視点）に関する多角形群として出力する。

【００９８】映像生成処理装置１００は、更に、図２８
に示すような機能構成とすることも可能である。なお図
２８において、図２５と同一の参照番号は同一の機能ブ
ロックを示す。この例では、入力視点格納部１５２ａに
格納すべき視点（入力視点）のデータ及び三次元座標格
納部１５５ａに格納すべき特徴点に対応した物体上の点
の三次元座標値が映像生成処理装置１００内で生成され
る。即ち、映像生成処理装置１００は、入力特徴点格納
部１５１に格納された特徴点のデータに基づいて対応す
る物体上の点の三次元座標を推定する三次元推定部１２
１と、該特徴点のデータに基づいて各視点を表すデータ
を推定する入力視点推定部１２２とを有している。

【００９９】これら、三次元推定部１２１及び入力視点
推定部１２２は、プログラムに従ったＣＰＵ１０の処理
にて実現される。入力特徴点格納部１５１には、図８に
示すように、ｎ番目の視点での物体画像上に設定された
ｍ番目の特徴点の座標（ｘnm、ｙnm）が格納されてい
る。また、直交投影（図１９参照）を仮定した場合、そ
の特徴点の座標は、前述したように、 ｘnm＝（ｉn 、Ｒm ）、 ｙnm＝（ｊn 、Ｒm ） （１２） で算出される。また、透視投影（図２０参照）を仮定し
た場合、その特徴点の座標は、前述したように、 ｘnm＝ｆ（ｉn 、Ｒm −Ｑn ）／（ｉn ×ｊn 、Ｒm −Ｑn ） ｙnm＝ｆ（ｊn 、Ｒm −Ｑn ）／（ｉn ×ｊn 、Ｒm −Ｑn ） （１３） で算出される。ここで、Ｒm は、ｍ番目の特徴点の三次
元座標を表すベクトルであり、Ｑn は、ｎ番目の視点の
位置を表すベクトルである。また、ｉn とｊn は画像面
におけるｘ軸方向とｙ軸方向を表すベクトルである。一
般にｎとｍがある程度大きければ、特徴点の座標（ｘn
m、ｙnm）の値を基に（１２）式や（１３）式を解くこ
とによって、Ｒm 、Ｑn 、ｉn 、ｊn を算出することが
できることが知られている。

【０１００】従って、三次元座標推定部１２１は、特徴
点の座標（ｘnm、ｙnm）から上記公知の手法に従って、
ｍ番目の特徴点に対応した物体上の点を表すベクトルＲ
m を算出する。また、入力視点推定部１２２は、特徴点
の座標（ｘnm、ｙnm）から公知の手法に従って視点を表
すベクトルＱn 、ｉn 、ｊn を算出する。上述したよう
な映像生成処理装置１００で用いられる構造化データの
全部または一部を作成する構造化データ作成装置２００
は、通常のコンピュータシステムにて構成することがで
きる。この場合、構造化データ作成装置２００は、図２
９に示すようなハードウエア構成を有する。

【０１０１】図２９において、このシステムは、それぞ
れバスに接続された、ＣＰＵ（中央演算処理ユニット）
２０、メモリユニット２１、撮像信号入力回路２２、表
示装置２３及び外部記憶装置２４を有する。また、各種
情報及び位置の指定を行なうための入力ユニット２２０
ががバスに接続されている。ＣＰＵ２０は、メモリユニ
ット２１に格納されたプログラムに従って、種々の処理
を実行する。メモリユニット１１は、ＲＯＭ（読みだし
専用メモリ）やＲＡＭ（書き込み可能メモリ）等で構成
され、種々の処理に対応したプログラムや、処理の過程
で得られた各種データを格納すると供に、表示装置２３
に表示すべき画像データ（ビットマップ）を格納するた
めの画像メモリとして使用される。入力ユニット２２０
は、キーボード及びマウス等で構成され、処理に必要な
情報を入力すると供に、特徴点を指定するため等に使用
される。外部記憶装置２４は、例えば、ハードディスク
装置にて構成される。

【０１０２】カメラ２１０は物体Ｔを種々の視点から撮
影し、カメラ２１０から出力される撮像信号が撮像信号
入力回路２２に提供される。撮像信号入力回路２２は、
カメラ２１０からの撮像信号を画像データに変換してバ
スに供給する。そして、画像データがＣＰＵ２０の制御
に基づいてメモリユニット２１の画像メモリ上に展開さ
れる。また、画像メモリ上に展開された画像データを、
外部記憶装置２４にファイルとして格納することができ
る。

【０１０３】当該構造化データ作成装置２００での処理
を実行するためのプログラムは、予めメモリユニット２
１のＲＯＭに格納されている。このシステムを構造化デ
ータ作成装置２００として立ち上げると、ＣＰＵ２０が
メモリユニット２１内の当該プログラムに従って処理を
開始する。このコンピュータシステムに構築される構造
化データ作成装置２００の機能的な構成は、例えば、図
３０に示すようになる。

【０１０４】図３０において、当該構造化データ作成装
置２００は、撮像信号入力部２０１、入力特徴点決定部
２０２及び構造化データ格納部２５０から構成されて
る。撮像信号入力部２０１は、撮像信号入力回路２２及
びプログラムに従ってＣＰＵ２０が実行する処理ステッ
プにて実現される。また、入力特徴点決定部２０２はプ
ログラムに従ってＣＰＵ２０が実行する処理ステップに
て実現される。構造化データ格納部２５０は、外部記憶
装置２４内に構成される。

【０１０５】構造化データ格納部２５０は、入力視点画
像格納部２５１と入力特徴点格納部２５２を有してい
る。物体Ｔが複数（Ｎ）の視点からカメラ２１０によっ
て撮影され、その際得らる各視点での入力画像データが
入力視点画像格納部２５１に格納される。入力特徴点格
納部２５２は、上記Ｎ個の視点での物体画像上において
後述するような手法に従って入力特徴点決定部２０２が
決定した特徴点の位置（座標）を、例えば、図８に示す
形式にて格納する。

【０１０６】入力特徴点決定部２０２は、入力視点画像
格納部２５１に格納されたＮ枚の物体画像に対して互い
に対応する複数個の特徴点の位置を次のような手法にし
たがて決定する。まず、入力視点画像格納部２５１に格
納されたＮ枚の物体画像を順番に表示装置２３の画面上
に表示させる。ユーザが表示された物体画像を見ながら
当該物体画像上において対応する物体の特徴的な点（色
の境界点、形状の変化点等）を入力ユニット２２０（マ
ウス）を用いて指定し、その指定した特徴点を特定する
番号を入力ユニット２２０（キーボード）から入力す
る。物体上の同じ特徴的な点であっても、その物体を異
なる視点から撮影して得た各画像上では、その特徴的な
点に対応する特徴点の座標値が異なる。そして、物体上
の同じ点に対応した各物体画像上の特徴点は、同じ番号
で特定される。

【０１０７】入力特徴点設定部２０２は、入力ユニット
２２０（マウス）で指定された位置を検出してその位置
に対応する座標値を、表示された物体画像の視点と入力
された番号に対応付けて、入力特徴点格納部２５２に格
納する（図８参照）。また、入力視点画像格納部２５１
に格納された各視点での物体画像を処理することによっ
て特徴点の位置を自動的に決定することも可能である。
その場合、入力特徴点決定部２０２は、図３１に示すよ
うに構成される。

【０１０８】図３１において、入力特徴点決定部２０２
は、特徴点候補抽出部２０２（１）、近傍パターン抽出
部２０２（２）及び対応関係抽出部２０２（３）を有し
ている。特徴点候補抽出部２０２（１）では、まず、入
力視点画像格納部２５１に格納されているそれぞれの物
体画像に濃度変化の程度を出力するような空間フィルタ
（ガウシアンラプラッシアン等）が施される。次に、そ
の濃度変化の値が予め定めた値より大きく、かつ、その
値が周囲のどの画素の値よりも大きくなっている画素が
抽出され、それらの画素が特徴点候補として出力され
る。

【０１０９】近傍パターン抽出部２０２（２）では、入
力視点画像格納部２５１に格納された各物体画像を対象
として、その物体画像に含まれる特徴点候補のそれぞれ
に対して、その画素を中心とするある大きさの近傍パタ
ーンが抽出される。例えば、注目画素を中心として、ｎ
×ｎの大きさの範囲にあるパターンがｎ×ｎの大きさの
画像として抽出される。

【０１１０】対応関係抽出部２０２（３）では、次のよ
うな手順に従って、近傍パターン抽出部２０２（２）で
抽出された近傍パターンの類似性に基づいて画像どおし
の間で対応が付けられた特徴点が抽出される。ステップ
１において、１枚目の物体画像から抽出された特徴点候
補に１からＭまでの番号を付ける。

【０１１１】ステップ２において、１からＭまでの全て
のｍに対して、ステップ１においてｍの番号が付けられ
た特徴点候補の近傍パターンがｍ番目の代表パターンと
して定められる。ステップ３において、ｎ＝１を設定す
る。ステップ４において、１からＭまでの全てのｍに対
して、ｍ番目の代表パターンとｎ番目の物体画像から抽
出された各特徴点候補の近傍パターンの相違度を算出
し、その値が予め定めた閾値より小さいときにその近傍
パターンに対応する特徴点候補にｍの番号を付ける。そ
して、ｍ番目の代表パターンを以下のように更新する。

【０１１２】即ち、その時点までにｍ番目の代表パター
ンが更新された回数をｋとしたときに、ｍ番目の代表パ
ターンを、更新前のパターンにｋ＋1 の重みを付け、今
注目しているＩ番目の画像の近傍パターンに１の重みを
付けて平均したものに更新する。ステップ５において、
ｎに１を加える。

【０１１３】ステップ６において、ｎ＜Ｎならばステッ
プ４に戻り、ｎ＝Ｎであるならば次のステップに進む。
ステップ７において、１からＭまでの全てのｍに対し
て、番号が付けられた特徴点候補の数が算出され、その
数が予め定めた閾値以上である場合に、番号が付けられ
た特徴点候補をその番号で対応付けられた特徴点とす
る。

【０１１４】以上、ステップ１から７までの処理を行な
った後、２枚目の画像からＮ枚目の画像において、特徴
点候補から前記ステップ１から７までの処理で抽出され
た対応付けられた特徴点を除いたうえで、ステップ１か
ら７までの処理を繰り返す。このとき、ステップ１にお
いては、２枚目の物体画像から抽出された特徴点候補に
対して１からＭまでの番号を付ける。更に、同様の処理
を、３枚目の画像からＮ枚目の画像に対して行なう。こ
の処理をＮ−１枚目の画像からＮ枚目の画像を対象とし
た処理を行なった時点で終了する。

【０１１５】上記のようにして、入力視点画像格納部２
５１に格納された各視点での物体画像（入力視点画像）
及び入力特徴点格納部２５２に格納された各物体画像上
に設定した特徴点（入力特徴点）のデータは、例えば、
ＣＤ−ＲＯＭ等の記録媒体に格納される。そして、これ
ら各視点での物体画像及び各物体画像上に設定された特
徴点のデータがこの記録媒体によって上述した映像生成
処理装置１００に提供される。また、上記のようにして
構造データ格納部２５０に格納された各視点での物体画
像及び特徴点のデータを、通信路を介して上記映像生成
処理装置１００に提供することもできる。

【０１１６】上記構造化データ作成装置２００は、図３
２に示すような機能構成とすることもできる。図３２に
おいて、図３０と同一の参照番号は同一の機能ブロック
を表わしている。この例では、構造化データ作成装置２
００に、入力多角形決定部２０３と入力多角形格納部２
５３が設けられている。

【０１１７】入力多角形決定部２０３は、プログラムに
従ったＣＰＵ２０での処理で実現される。この入力多角
形決定部２０３は、入力視点画像格納部２５１に格納さ
れた各視点での物体画像上に入力特徴点決定部２０２が
設定した特徴点を頂点とする複数の多角形（頂点となる
特徴点の組で表される）からなる多角形群を決定する。
この多角形群は、当該物体画像を覆うように決められ、
また、異なる視点での各物体画像において対応する特徴
点がそれぞれ頂点となる対応する多角形が決定される。

【０１１８】具体的には、次のようにして、特徴点を頂
点とする多角形が決定される。まず、入力視点画像格納
部２５１に格納されたある視点での物体画像が表示装置
２３の画面に表示される。また、同時に、この物体画像
上に設定され、入力特徴点格納部２５２に格納された特
徴点の位置が上記物体画像に重ねて表示される。ユーザ
は、この表示画面をみながら２つの特徴点の間をマウス
（入力ユニット２２０）で指定する。システム（入力多
角形決定部２０３）は、マウスの動きを検出し、それら
２つの特徴点の間を線で結び、それを表示画面に表示さ
せる。

【０１１９】このようにしてユーザが特徴点間をマウス
で指定することによって特徴点間が線で結ばれ、表示画
面上の物体画像が三角形や四角形等の多角形で覆われる
ようになる。入力多角形決定部１０３は、この表示画面
上に描かれた結果を基に、三角形あるいは四角形の組を
抽出して、例えば、図２２や図２３に示すような形式で
入力多角形格納部２５３に格納する。

【０１２０】次に、システムは、次の視点での物体画像
を入力視点画像格納部２５１から読みだし、その物体画
像、その物体画像上に設定された特徴点及び前の物体画
像において決定された多角形を表示画面上に表示させ
る。ユーザはそれをみながら上記同様のマウス操作によ
り、まだ多角形で覆われていない物体画像領域を覆うよ
うな多角形を決めてゆく。このような操作を繰り返し
て、全ての視点での物体画像上に設定された特徴点を頂
点とする多角形を決定する。そして、その決定された多
角形に関するデータが入力多角形格納部２５３に格納さ
れる（図２２、図２３参照）。

【０１２１】上記のようにして、入力視点画像格納部２
５１に格納された各視点での物体画像、入力特徴点格納
部２５２に格納された各物体画像上に設定された特徴点
及び入力多角形格納部２５３に格納された各物体画像上
の多角形群が、例えば、ＣＤ−ＲＯＭ等の記録媒体に格
納される。そして、この記録媒体によって、上記各視点
での物体画像、特徴点及び物体画像上に多角形に関する
情報が、例えば、図２１に示すような機能構成を有する
映像生成処理装置１００に提供される。

【０１２２】構造化データ作成装置２００は、更に、図
３３に示すような機能構成とすることも可能である。な
お、図３３において、図３２と同一の参照番号は、同一
の機能ブロックを表している。この例では、構造化デー
タ作成装置２００に、入力視点決定部２０４と入力視点
格納部２５４が設けられている。

【０１２３】入力視点決定部２０４は、プログラムに従
ったＣＰＵ２０での処理によって実現される。この入力
視点検定部２０４は、入力視点画像格納部２５１に格納
された物体画像に対してその視点を決定する。例えば、
カメラ２１０で物体Ｔを撮影する毎に、ユーザがカメラ
２１０の物体Ｔに対する位置（経度θ、緯度φ）を観測
し、その観測値を視点を表す情報として入力ユニット２
２０（キーボード）から入力する。システム（入力視点
決定部２０４）は、入力された情報（経度θ、緯度φ）
を視点を認識して入力視点格納部２５４に格納する。入
力視点格納部２５４には、入力された視点の情報が、例
えば、図７に示す形式で格納される。

【０１２４】また、入力視点決定部２０４は、次のよう
な手法によっても視点の情報を得ることができる。即
ち、入力特徴点決定部２０２にて決定された各特徴点の
位置情報に基づいて物体画像を得た際の視点が推定され
る。具体的には、例えば、図２８に示す映像生成処理装
置１００の入力視点推定部１２２で行なわれるのと同様
に、前記式（１２）及び式（１３）に従って視点を表す
ベクトルＱn が算出される。

【０１２５】上記のようにして構造化データ格納部２５
０に格納された各視点での物体画像、各物体画像上に設
定された特徴点、各物体画像を覆う多角形群及び各視点
の情報が、ＣＤ−ＲＯＭ等の記録媒体を利用したり、通
信路を介して映像生成処理装置１００に提供される。更
に、構造化データ作成装置２００は、図３４に示すよう
な機能構成とすることができる。なお、図３４におい
て、図３３と同一の参照番号は、同一の機能ブロックを
表している。

【０１２６】この例では、三次元座標格納部２５５及び
三次元構造推定部２０５が構造化データ作成装置２００
に設けられている。三次元構造推定部２０５は、プログ
ラムに従ったＣＰＵ２０の処理にて実現される。この三
次元構造推定部２０５は、図２８に示す映像生成処理装
置１００の三次元座標推定部１２１と同様に、上記式
（１２）及び式（１３）に従って、視点を表すベクトル
Ｑn 及び特徴点の三次元座標Ｒm を算出する。そして、
視点を表すベクトルＱn が構造データ格納部２５０の入
力視点格納部２５４に格納され、また、特徴点の三次元
座標Ｒm が三次元座標格納部２５５に格納される。

【０１２７】上記のように構造化データ格納部２５０に
格納された各視点での物体画像、各物体画像上に設定さ
れた特徴点、各物体画像を覆う多角形、各特徴点の三次
元座標及び視点のデータが、構造化データとして映像生
成処理装置１００に提供される。構造化データ作成装置
２００は、更に、図３５に示すような機能構成とするこ
ともできる。

【０１２８】この例は、前記例（図３４参照）と同様
に、各特徴点に対応した物体Ｔ上の点の三次元座標を推
定しているが、更に、視点に関するデータも加味して推
定する点が前記例と異なる。前述した例と同様（図３３
参照）に、入力視点設定部２０４が、入力ユニット２２
０から入力された視点を表す情報（経度θ、緯度φ）を
取得する。そして、その取得した情報が入力視点格納部
２５４に、例えば、図７に示す形式で格納される。

【０１２９】この状態において、三次元座標推定部２０
５は、上記のようにして入力された各視点に関する情報
と、入力特徴点格納部２５２に格納された特徴点の位置
に関する情報とに基づいて特徴点に対応する物体Ｔ上で
の点の三次元座標を推定する。その手法は、基本的に、
前記例（図３４参照）の場合と同様に、前記式（１２）
及び式（１３）に従って、当該点の三次元座標を表すベ
クトルＲm を算出する。この場合、入力視点に関する情
報が既知であるので、上記式（１２）及び式（１３）お
いて、ベクトルＱn 、ｉn 、ｊn が既知となって、その
演算が容易になる。そして、その推定精度も向上する。

【０１３０】構造化データ作成装置２００は、図３６に
示すような機能構成とすることも可能である。この例で
は、入力された物体Ｔの各視点での画像から特徴点候補
を決定し、その候補から特徴点になるべき点に対応した
物体Ｔ上の点の三次元座標を求めている。そして、その
三次元座標から特徴点を決定している。

【０１３１】図３６において、外部記憶装置２４内に構
築される構造化データ格納部２５０は、入力視点画像格
納部２５１、入力特徴点格納部２５２、入力視点格納部
２５４及び三次元座標格納部２５５を有している。これ
ら各格納部２５１、２５２、２５４及び２５５の機能
は、前述した各例のものと同様である。また、この構造
化データ作成装置２００は、それぞれプログラムに従っ
たＣＰＵ２０の処理によって実現される、撮像信号入力
部２０１、特徴点候補算出部２１１、入力視点設定部２
０４、三次元座標候補抽出部２１２、三次元座標推定部
２１３及び入力特徴点決定部２１４を有している。

【０１３２】カメラ２１０によって物体Ｔを撮影して得
られた各視点での物体画像が撮像信号入力部２０１を介
して入力視点画像格納部２５１に格納される。入力視点
設定部２０４は、前述した例（図３３参照）と同様の手
法に従って、入力視点画像格納部２５１に格納した各物
体画像を得るための物体Ｔに対する視点の位置を設定す
る。

【０１３３】特徴点候補算出部２１１は、入力視点画像
格納部２５１に格納された各視点での物体画像から特徴
点の候補（特徴点候補）を抽出する。この特徴点候補算
出部２１１は、図３１に示す特徴点候補抽出部２０２
（１）と同様に、各物体画像を処理して、その画像中か
ら濃度変化が激しい等の特徴的な点（特徴点候補）を抽
出する。

【０１３４】三次元座標候補抽出部２１２は、特徴点候
補算出部２１１で算出された各視点での物体画像におけ
る複数個の特徴点候補の位置と入力視点格納部２５１に
格納された各視点の情報に基づいて、各特徴点候補に対
応した物体Ｔ上の点の三次元座標（三次元座標候補）を
算出する。例えば、直交投影の手法を用いて次のように
三次元座標候補が抽出される。なお、透視投影の手法を
用いても同様に手順にて三次元座標候補が抽出される。

【０１３５】まず、視点１から視点ＮまでのＮ個の視点
があるとし、これらＮ個の視点からランダムに２個の視
点を選ぶ。選ばれた視点を、例えば、視点Ａ、視点Ｂと
する。また、視点Ａでの物体画像から抽出された特徴点
候補の中から、ランダムに１つの特徴点候補を選び、そ
の座標を（ｘa 、ｙa ）とする。同様に、視点Ｂでの物
体画像から抽出された特徴点候補の中から、ランダムに
１つの特徴点候補を選び、その座標を（ｘb 、ｙb ）と
する。更に、視点Ａから物体Ｔを撮影したときの画像面
のｘ軸方向の単位ベクトルをｉa 、当該画像面のｙ軸方
向の単位ベクトルをｊa とし、同様に、視点Ｂに対して
も単位ベクトルｉb 、ｊb を定義する。

【０１３６】もし、視点Ａでの物体画像における特徴点
候補（ｘa 、ｙa ）と視点Ｂでの物体画像における特徴
点候補（ｘb 、ｙb ）が三次元空間中の同一の点Ｒ＝
（Ｘ、Ｙ、Ｚ）^T を投影したものであれば、直交投影に
ついて上述したのと同様に（図１９参照）、 ｘa ＝（ｉa 、Ｒ）、ｙa ＝（ｊa 、Ｒ） ｘb ＝（ｉb 、Ｒ）、ｙb ＝（ｊb 、Ｒ） （１４） が成り立つ。ここで、 Ｊ＝（ｘa −（ｉa 、Ｒ））² ＋（ｙa −（ｊa 、Ｒ））² ＋ （ｘb −（ｉb 、Ｒ））² ＋（ｙb −（ｊb 、Ｒ））² （１５） によってＪを定義すると、（ｘa 、ｙa ）と（ｘb 、ｙ
b ）が三次元空間中の同一の点を投影したものであれ
ば、Ｊの値がゼロになる。

【０１３７】ここで、Ｊを最小にするようなＲと、その
ときの最小値Ｊmin を求める。この最小値Ｊmin が予め
定めた閾値より小さい場合に、そのＲを三次元座標の候
補として出力する。この処理を視点の組とそれらの視点
における特徴点候補をランダムに選びながら所定の回数
繰り返して三次元座標候補の組を出力する。なお、三次
元座標の候補が抽出される毎に、以下に述べる三次元座
標推定部２１３と入力特徴点決定部２１４の処理を行な
ってもよい。

【０１３８】三次元座標推定部２１３は、上記のように
して三次元座標候補抽出部２１２によって抽出された三
次元座標の候補を各視点での物体画像に投影してその投
影された点の位置とその近傍にある特徴点候補の位置関
係に基づいて、特徴点に対応する物体Ｔ上の点の三次元
座標を算出する。三次元座標候補抽出部２１２によって
三次元空間中の点Ｒが三次元座標候補として抽出された
とする。この点を視点１から視点Ｎまでの全ての視点に
対して投影する。具体的には、視点ｎから投影したとき
の画像面のｘ軸方向の単位ベクトルをｉn 、当該画像面
のｙ軸方向の単位ベクトルをｊn とし、投影された座標
として、 ｘn ＝（ｉn 、Ｒ）、 ｙn ＝（ｊn 、Ｒ） （１６） を算出する。そして、それぞれの視点において、（ｘn
、ｙn ）に最も近い特徴点候補との距離を算出する。
その距離が予め定めた閾値より小さい場合に、得点１を
加算する。Ｎ個の視点について同様の処理を行なった
後、得点が予め定めた値より大きいときに、この三次元
座標を出力する。

【０１３９】以上の処理を三次元座標候補抽出部２１２
から出力される全ての三次元座標候補に対して行なう。
その結果、三次元座標候補抽出部２１２で抽出された候
補の中から信頼性の高いものが、最終的な三次元座標値
として選ばれる。三次元座標推定部２１３から出力され
た特徴点に対応した物体上の点の三次元座標値は、三次
元座標格納部２５５に格納される。

【０１４０】入力特徴点決定部２１４は、三次元座標推
定部２１３から出力される三次元座標をそれぞれの視点
に投影して得られる座標を入力特徴点の座標として入力
特徴点格納部２５２に格納する。三次元座標推定部２１
３から三次元座標のベクトルＲが出力されたとする。こ
のとき、視点１から視点Ｎまでの全ての視点に対してこ
の点を投影する。具体的には、視点ｎから撮影したとき
の画像面のｘ軸方向の単位ベクトルをｉn 、当該画像面
のｙ軸方向の単位ベクトルをｊn とし、投影された座標
として、 ｘn ＝（ｉn 、Ｒ）、 ｙn ＝（ｊn 、Ｒ） （１７） を算出する。この処理を三次元座標推定部２１３から出
力される全ての三次元座標について行なう。そして、式
（１７）で表される座標を入力特徴点格納部２５２に格
納する。

【０１４１】上述した処理は、直交投影の手法に従った
ものであるが、透視投影の手法に従った処理において
は、上記、各式（１４）、（１５）、（１６）及び（１
７）が次の式に代えられる。式（１４）は、 ｘn ＝ｆ（ｉn 、Ｒ−Ｑn ）／（ｉn ×ｊn 、Ｒ−Ｑn ） ｙn ＝ｆ（ｊn 、Ｒ−Ｑn ）／（ｉn ×ｊn 、Ｒ−Ｑn ） （１８） に、式（１５）は、 Ｊ＝（ｘa −ｆ（ｉa 、Ｒ−Ｑa ）／（ｉa ×ｊa 、Ｒ−Ｑa ））² ＋（ｙa −ｆ（ｊa 、Ｒ−Ｑa ）／（ｉa ×ｊa 、Ｒ−Ｑa ））² ＋（ｘb −ｆ（ｉb 、Ｒ−Ｑb ）／（ｉb ×ｊb 、Ｒ−Ｑb ））² ＋（ｙb −ｆ（ｊb 、Ｒ−Ｑb ）／（ｉb ×ｊb 、Ｒ−Ｑb ））² （１９） に、式（１６）は、 ｘn ＝ｆ（ｉn 、Ｒ−Ｑn ）／（ｉn ×ｊn 、Ｒ−Ｑn ） ｙn ＝ｆ（ｊn 、Ｒ−Ｑn ）／（ｉn ×ｊn 、Ｒ−Ｑn ） （２０） に、式（１７）は、 ｘn ＝ｆ（ｉn 、Ｒ−Ｑn ）／（ｉn ×ｊn 、Ｒ−Ｑn ） ｙn ＝ｆ（ｊn 、Ｒ−Ｑn ）／（ｉn ×ｊn 、Ｒ−Ｑn ） （２１） にそれぞれおきかえられる。

【０１４２】

【発明の効果】以上、説明してきたように、請求項１乃
至１７記載の本発明によれば、複数の視点から物体を撮
影して得られる物体画像上に特徴点を設定し、任意の視
点が指定された際に、選択された視点と指定された視点
との関係と、選択された各視点での物体画像上の特徴点
の位置関係に基づいて、選択された各視点での物体画像
から当該指定された任意の視点での物体画像を生成する
ようにしたため、用意すべき画像データの量がより少な
いものであっても、任意の視点から見た物体のよりリア
ルな映像を生成することができる。

【０１４３】また、請求項１８乃至２０記載の本発明に
よれば、上記装置での処理をコンピュータに行わせるた
めのプログラムを格納した記録媒体を提供することがで
きる。更に、請求項２１乃至２９記載の本発明によれ
ば、上記装置に提供すべき構造化データの少なくとも一
部を作成する構造化データ作成装置を提供することがで
きる。

【０１４４】更にまた、請求項３０及び３１記載の本発
明によれば、上記構造かデータ作成装置での処理をコン
ピュータに行わせるためのプログラムを格納した記録媒
体を提供することができる。

【図面の簡単な説明】

【図１】本発明に係る映像生成処理装置の基本構成例を
示すブロック図である。

【図２】本発明に係る構造化データ作成装置の基本構成
例を示すブロック図である。

【図３】各視点での物体画像及びその物体画像上の特徴
点の例を示す図である。

【図４】映像生成処理装置のハードウエア構成の例を示
すブロック図である。

【図５】映像生成処理装置の機能構成の第一の例を示す
ブロック図である。

【図６】視点の位置を記述するデータの例を示す図であ
る。

【図７】視点の位置を表わすテーブルを示す図である。

【図８】各視点での物体画像上に設定される特徴点の位
置を表わすテーブルを示す図である。

【図９】各視点での物体画像上の特徴点を頂点とする多
角形の例を示す図である。

【図１０】各視点での物体画像上の特徴点を頂点とする
多角形の他の例を示す図である。

【図１１】指定された視点と選択された視点との関係を
示す図（その１）である。

【図１２】指定された視点と選択された視点との関係を
示す図（その２）である。

【図１３】選択された各視点での物体画像から指定され
た視点での物体画像への変換を示す図である。

【図１４】映像生成処理装置の機能構成の第二の例を示
すブロック図である。

【図１５】視点選択テーブルの構造例を示す図である。

【図１６】映像生成処理装置の機能構成の第三の例を示
すブロック図である。

【図１７】映像生成処理装置の機能構成の第四の例を示
すブロック図である。

【図１８】各特徴点に対応した物体上の点の三次元座標
の例を示す図である。

【図１９】直行投影の手法を示す図である。

【図２０】透視投影の手法を示す図である。

【図２１】映像生成処理装置の機能構成の第五の例を示
すブロック図である。

【図２２】各視点での物体画像上の特徴点を頂点とした
多角形の格納形式を示す図である。

【図２３】各視点での物体画像上の特徴点を頂点とした
多角形の格納形式を示す図である。

【図２４】映像生成処理装置の機能構成の第六の例を示
すブロック図である。

【図２５】映像生成処理装置の機能構成の第七の例を示
すブロック図である。

【図２６】各視点での物体画像上の特徴点に対応した物
体上の点を頂点とした多角形の格納形式を示す図であ
る。

【図２７】各視点での物体画像上の特徴点に対応した物
体上の点を頂点とした多角形の格納形式を示す図であ
る。

【図２８】映像生成処理装置の機能構成の第八の例を示
すブロック図である。

【図２９】構造化データ作成装置のハードウエア構成例
を示すブロック図である。

【図３０】構造化データ作成装置の機能構成の第一の例
を示すブロック図である。

【図３１】入力特徴点決定部の具体的機能構成例を示す
ブロック図である。

【図３２】構造化データ作成装置の機能構成の第二の例
を示すブロック図である。

【図３３】構造化データ作成装置の機能構成の第三の例
を示すブロック図である。

【図３４】構造化データ作成装置の機能構成の第四の例
を示すブロック図である。

【図３５】構造化データ作成装置の機能構成の第五の例
を示すブロック図である。

【図３６】構造化データ作成装置の機能構成の第六の例
を示すブロック図である。

【図３７】従来の映像生成処理装置と構造化データ作成
装置の例を示すブロック図である。

【符号の説明】

１０、２０ ＣＰＵ １１、２１ メモリユニット １２ 入力ユニット １３、２４ 外部記憶装置 １４ ＣＤ−ＲＯＭドライバ １０１ 出力視点設定部 １０２ 視点選択ｂｕ １０３ 座標変換算出部 １０４ 座標変換実行部 １０５ 補間画像生成部 １２０ 表示装置 １５０ 構造化データ格納部 １５１ 入力視点画像格納部 １５２ 入力視点格納部 １５３ 入力特徴点格納部 ２０１ 撮像信号入力部 ２０２ 入力特徴点決定部 ２２０ 入力ユニット ２５０ 構造化データ格納部 ２５１ 入力特徴点格納部 ２５２ 入力視点画像格納部

Claims (31)

【特許請求の範囲】
1. 【請求項１】複数の視点から物体を撮影して得られる物
   体画像を各視点に対応させて格納した入力視点画像格納
   手段と、 入力視点画像格納手段に格納された各視点での物体画像
   上の互いに対応する特徴点の位置を格納した入力特徴点
   格納手段と、 入力視点画像格納手段に格納された各物体画像を得るた
   めに物体を撮影した視点の位置を格納する入力視点格納
   手段と、 任意の視点が指定されたときに、上記入力視点格納手段
   に格納された視点から所定数の視点を選択する視点選択
   手段と、 上記入力特徴点格納手段から得られる視点選択手段にて
   選択された各視点での物体画像上の特徴点の位置関係お
   よび選択された各視点と指定された視点との関係に従っ
   て、選択された各視点での物体画像から上記指定された
   視点での物体画像を生成する画像生成手段を有する映像
   生成処理装置。
2. 【請求項２】請求項１記載の映像生成処理装置におい
   て、上記画像生成手段は、選択された各視点での物体画
   像上の特徴点の位置的関係に基づいて、視点選択手段に
   て選択された各視点での物体画像上の位置を、上記指定
   された視点での物体画像上の位置に変換するための座標
   変換式を決める座標変換決定手段と、 座標変換決定手段にて決定された座標変換式に従って、
   上記選択された各視点での物体画像を上記指定された視
   点での物体画像に変換する画像変換実行手段と、 選択された各視点での物体画像から画像変換実行手段に
   より変換された上記指定された視点での各物体画像を選
   択された各視点と上記指定された視点との関係に従って
   合成し、その合成物体画像を上記指定された視点での物
   体画像として出力する画像合成手段を有する映像生成処
   理装置。
3. 【請求項３】請求項２記載の映像生成処理装置におい
   て、 上記画像合成手段は、選択された各視点での物体画像の
   対応する各画素のデータを当該指定された各視点と上記
   指定された視点との関係に基づいた定められる重みを付
   けて平均化して上記指定された視点での物体画像の対応
   する画素のデータを算出する手段を有する映像生成処理
   装置。
4. 【請求項４】請求項２または３記載の映像生成処理装置
   において、 上記座標変換決定手段は、選択された視点のうちの第一
   の視点での物体画像上の特徴点と選択された視点のうち
   の他の視点それぞれでの物体画像上の対応する特徴点と
   の位置関係に基づいて第一の視点での物体画像上の位置
   を当該他の視点それぞれでの位置に変換する各座標変換
   式を決める第一の手段と、 上記選択された視点それぞれと上記指定された視点との
   位置関係に基づいて定まる重みを上記第一の視点での物
   体画像上の位置を他の視点それぞれでの物体画像上の位
   置に変換する各座標変換式に作用させて合成することに
   よって座標変換式を算出する第二の手段とを有し、 上記選択した全ての視点それぞれを上記第一の視点とし
   た場合に、上記第二の手段によって、選択された全ての
   視点それぞれでの物体画像上の位置を指定された視点で
   の物体画像上の位置に変換する座標変換式が算出される
   ようにした映像生成処理装置。
5. 【請求項５】請求項２または３記載の映像生成処理装置
   において、 上記座標変換決定手段は、選択された各視点と指定され
   た視点との位置関係に基づいて、当該選択された各視点
   での物体画像上の特徴点の位置から上記指定された視点
   での物体画像上での対応する特徴点の位置を算出する出
   力特徴点算出手段と、 選択された各視点での物体画像上の特徴点の位置と上記
   出力特徴点算出手段にて算出された当該指定された視点
   での物体画像上の特徴点の位置との関係に基づいて、選
   択された各視点での物体画像上の位置を上記指定された
   視点での物体画像上の位置に変換する座標変換式を算出
   する演算手段とを有する映像生成処理装置。
6. 【請求項６】請求項５記載の映像生成処理装置におい
   て、 上記出力特徴点算出手段は、選択された各視点での物体
   画像上の特徴点の位置を当該選択された各視点と指定さ
   れた視点との位置関係に基づいて定められる重みを付け
   て平均化して上記指定された視点での物体画像上の対応
   する特徴点の位置を算出する手段を有する映像生成処理
   装置。
7. 【請求項７】請求項５記載の映像生成処理装置におい
   て、 上記出力特徴点算出手段は、選択された各視点と指定さ
   れた視点との位置関係に基づいて、選択された各視点に
   対応させたアフィン変換の係数を算出する第一の手段
   と、 選択された各視点での物体画像上の特徴点の位置と対応
   する視点に対応させたアフィン変換の係数とに基づい
   て、上記指定された視点での物体画像上の対応する特徴
   点の位置を算出する手段を有する映像生成処理装置。
8. 【請求項８】請求項２または３記載の映像生成処理装置
   において、 更に、上記入力特徴点格納手段に格納された各視点での
   画像上の特徴点に対応する物体上の点の三次元座標を格
   納した三次元座標格納手段を有し、 上記座標変換決定手段は、三次元座標格納手段に格納さ
   れた各特徴点に対応する物体上の点の三次元座標に基づ
   いて、上記指定された視点での画像上の対応する特徴点
   の位置を算出する出力特徴点算出手段と、 選択された各視点での物体画像上の特徴点の位置と上記
   出力特徴点算出手段にて算出された当該指定された視点
   での物体画像上の特徴点の位置との関係に基づいて、選
   択された各視点での物体画像上の位置を上記指定された
   視点での物体画像上の位置に変換する座標変換式を算出
   する演算手段とを有する映像生成処理装置。
9. 【請求項９】請求項５乃至８いずれか記載の映像生成処
   理装置において、 更に、入力特徴点格納手段に格納された各視点での物体
   画像上に特徴点を頂点として当該物体画像を覆うように
   設定された複数の多角形よりなる多角形群であって、各
   視点での物体画像を覆う各多角形群間において各多角形
   が対応するように設定された当該多角形群を記述する情
   報を格納した入力多角形格納手段を有し、 座標変換式を算出する上記演算手段は、上記出力特徴点
   算出手段にて算出された当該指定された視点での物体画
   像の特徴点を頂点とする上記入力多角形格納手段に格納
   された各多角形に対応した多角形を抽出する出力多角形
   抽出手段と、 上記入力多角形格納手段に格納された情報にて記述され
   る各視点での物体画像に対して設定された多角形をそれ
   に対応するように上記出力多角形抽出手段にて抽出され
   た多角形に変換する座標変換式を、上記各視点での物体
   画像上の位置を指定された視点での物体画像上の位置に
   変換する座標変換式として算出する手段とを有する映像
   生成処理装置。
10. 【請求項１０】請求項５乃至８いずれか記載の映像生成
    処理装置において、 座標変換式を算出する上記演算手段は、入力特徴点格納
    手段に格納された各視点での物体画像上に特徴点を頂点
    として当該物体画像を覆うように設定された複数の多角
    形よりなる多角形群であって、各視点での物体画像を覆
    う各多角形群間において各多角形が対応するように設定
    された当該多角形群を抽出すると供に、上記出力特徴点
    算出手段にて算出された当該指定された視点での物体画
    像の特徴点を頂点とし、上記抽出された多角形群の各多
    角形に対応した多角形を抽出する多角形抽出手段と、 上記多角形抽出手段にて抽出された各視点での物体画像
    に対して設定された多角形をそれに対応するように上記
    多角形抽出手段にて抽出された多角形に変換する座標変
    換式を、上記各視点での物体画像上の位置を指定された
    視点での物体画像上の位置に変換する座標変換式として
    算出する手段とを有する映像生成処理装置。
11. 【請求項１１】請求項８記載の映像生成処理装置におい
    て、 更に、上記三次元座標格納手段に格納された三次元座標
    で表わされる物体上の点を頂点として当該物体を覆うよ
    うに設定された複数の多角形よりなる多角形群を記述し
    た情報を格納する表面多角形格納手段を有し、 上記演算手段は、入力特徴点格納手段に格納された各視
    点での物体画像上の特徴点を頂点にして形成される多角
    形であって、上記表面多角形格納手段に格納された情報
    で記述される各多角形に対応するものを抽出するととも
    に、出力特徴点算出手段にて算出された上記指定された
    視点での物体画像上の特徴点を頂点にして形成される多
    角形であって、上記表面多角形格納手段に格納された情
    報で記述される各多角形に対応するものを抽出する多角
    形抽出手段と、 上記多角形抽出手段にて抽出された各視点での物体画像
    に対して設定された多角形をそれに対応するように上記
    多角形抽出手段にて抽出された多角形に変換する座標変
    換式を、上記各視点での物体上の位置を指定された視点
    での物体画像上の位置に変換する座標変換式として算出
    する手段とを有する映像生成処理装置。
12. 【請求項１２】請求項９乃至１１いずれか記載の映像生
    成処理装置において、 上記多角形は三角形であり、 上記演算手段は、各三角形毎に係数が定まるアフィン変
    換に基づいて座標変換式を算出するようにした映像生成
    処理装置。
13. 【請求項１３】請求項９乃至１１いずれか記載の映像生
    成処理装置において、 上記多角形は四角形であり、上記演算手段は、各四角形
    毎に係数が定まる射影変換に基づいて座標変換式を算出
    するようにした映像生成処理装置。
14. 【請求項１４】請求項８記載の映像生成処理装置におい
    て、 更に、入力特徴点格納手段に格納された各視点での物体
    画像の特徴点の位置に基づいてそれら特徴点に対応する
    物体上の点の三次元座標を推定して上記三次元座標格納
    手段に格納する三次元座標推定手段を有する映像生成処
    理装置。
15. 【請求項１５】請求項１乃至１４いずれか記載の映像生
    成処理装置において、 更に、入力特徴点格納手段に格納された各視点での物体
    画像の特徴点の位置に基づいて物体を撮影した各視点の
    位置を推定して上記入力視点格納手段に格納する入力視
    点推定手段を有する映像生成処理装置。
16. 【請求項１６】請求項１乃至１５いずれか記載の映像生
    成処理装置において、 上記視点選択手段は、上記指定された視点に近い順に所
    定数の視点を上記入力視点格納手段に格納された視点か
    ら選択するようにした映像生成処理装置。
17. 【請求項１７】請求項１乃至１６いずれか記載の映像生
    成処理装置において、 上記視点選択手段は、指定される視点の範囲と選択され
    るべき所定数の視点との関係を記述したテーブルを有
    し、任意の視点が指定されたときに、当該指定された視
    点が属する範囲に対応した所定数の視点を当該テーブル
    を参照して選択するようにした映像生成処理装置。
18. 【請求項１８】複数の視点から物体を撮影して得られる
    物体画像と、当該複数の各視点での物体画像上に設定さ
    れた互いに対応する特徴点の位置とに基づいて、任意の
    視点での物体画像を生成する映像生成処理装置での処理
    をコンピュータに行なわせるためのプログラムを格納し
    た記録媒体において、当該プログラムは、 任意の視点が指定されたときに、当該複数の視点から選
    択された所定数の視点を取得するための視点選択プログ
    ラム手段と、 視点選択プログラム手段に従って選択された各視点での
    物体画像上の特徴点の位置関係および選択された各視点
    と指定された視点との関係に従って、選択された各視点
    での物体画像から上記指定された視点での物体画像を生
    成するための画像生成プログラム手段を有する記録媒
    体。
19. 【請求項１９】請求項１８記載の記録媒体において、 上記プログラムの画像生成プログラム手段は、選択され
    た各視点での物体画像上の特徴点の位置的関係に基づい
    て、選択された各視点での物体画像上の位置を、上記指
    定された視点での物体画像上の位置に変換するための座
    標変換式を決めるための座標変換決定プログラム手段
    と、 座標変換決定プログラム手段での処理にて決定された座
    標変換式に従って、上記選択された各視点での物体画像
    を上記指定された視点での物体画像に変換するための画
    像変換実行プログラム手段と、 選択された各視点での物体画像から画像変換実行プログ
    ラム手段での処理により変換された上記指定された視点
    での各物体画像を選択された各視点と上記指定された視
    点との関係に従って合成し、その合成物体画像を上記指
    定された視点での物体画像として出力する画像合成プロ
    グラム手段とを有する記録媒体。
20. 【請求項２０】請求項１９記載の記録媒体において、 上記プログラムの画像合成プログラム手段は、選択され
    た各視点での物体画像の対応する各画素のデータを、当
    該各視点と上記指定された視点との関係に基づいた重み
    を付けて平均して上記指定された視点での物体画像の対
    応する画素のデータを算出するプログラム手段を有する
    記録媒体。
21. 【請求項２１】複数の視点から物体を撮影して得られる
    物体画像を各視点に対応させて格納する入力視点画像格
    納手段と、 入力視点画像格納手段に格納された各視点での物体画像
    上の互いに対応する特徴点の位置を決定する入力特徴点
    決定手段と、 入力特徴点決定手段にて決定された各視点での物体画像
    上の互いに対応する特徴点の位置を格納する入力特徴点
    格納手段とを有し、 上記入力視点画像格納手段に格納された複数の視点での
    物体画像と入力特徴点格納手段に格納された各視点での
    物体画像上の特徴点を外部のシステムに構造化データと
    して供給できるようにした構造化データ作成装置。
22. 【請求項２２】請求項２１記載の構造化データ作成装置
    において、 上記入力特徴点決定手段は、入力視点画像格納手段に格
    納された各視点での物体画像から所定の条件を満たす複
    数の特徴点候補を抽出する特徴点候補算出手段と、 各視点での物体画像における特徴点候補の位置の近傍の
    画像パターンの類似性に基づいて、上記抽出された特徴
    点候補から各視点での物体画像におけるそれぞれ対応し
    た特徴点を抽出する入力特徴点抽出手段とを有する構造
    化データ作成装置。
23. 【請求項２３】請求項２１または２２記載の構造化デー
    タ作成装置において、 更に、上記入力特徴点格納手段に格納された各視点での
    物体画像上に特徴点を頂点として当該物体画像を覆うよ
    うに設定された複数の多角形よりなる多角形群であっ
    て、各視点での物体画像を覆う各多角形群間において各
    多角形が対応するように当該多角形群を決定する多角形
    決定手段と、 該多角形決定手段にて決定された多角形群を記述する情
    報を格納する入力多角形格納手段とを有する構造化デー
    タ作成装置。
24. 【請求項２４】請求項２１乃至２３いずれか記載の構造
    化データ作成装置において、 更に、入力視点画像格納手段に格納された物体画像を得
    るために物体を撮影した視点の位置を決定する入力視点
    決定手段と、 入力視点決定手段にて決定された視点の位置を格納する
    入力視点格納手段とを有する構造化データ作成装置。
25. 【請求項２５】請求項２４記載の構造化データ作成装置
    において、上記入力点決定手段は、入力特徴点格納手段
    に格納された各視点での物体画像の特徴点の位置に基づ
    いて、入力視点画像格納手段に格納された物体画像を得
    るために物体を撮影した視点の位置を推定する視点推定
    手段を有する構造化データ作成装置。
26. 【請求項２６】請求項２１乃至２３いずれか記載の構造
    化データ作成装置において、 更に、入力特徴点格納手段に格納された各視点での物体
    画像の特徴点に基づいて当該特徴点に対応する物体上の
    点の三次元座標及び入力視点画像に格納された物体画像
    を得るために物体を撮影した視点の位置の少なくとも一
    方を推定する推定手段と、 該推定手段にて推定された三次元座標及び視点の位置の
    少なくとも一方を格納する三次元座標格納手段を有する
    構造化データ作成装置。
27. 【請求項２７】請求項２４記載の構造化データ作成装置
    において、 更に、入力特徴点格納手段に格納された各視点での物体
    画像の特徴点の位置と入力視点決定手段で決定された視
    点の位置に基づいて、上記各視点での物体画像の特徴点
    に対応した物体上の点の三次元座標を推定する三次元座
    標推定手段と、 三次元座標推定手段で推定された三次元座標を格納する
    三次元座標格納手段とを有する構造化データ作成装置。
28. 【請求項２８】複数の視点から物体を撮影して得られる
    物体画像を各視点に対応させて格納する入力視点画像格
    納手段と、 入力視点画像格納手段に格納された各視点での物体画像
    から所定の条件を満たす複数の特徴点候補を抽出する特
    徴点候補算出手段と、 入力視点画像格納手段に格納された物体画像を得るため
    に物体を撮影した視点の位置を設定する入力視点設定手
    段と、 入力視点設定手段で設定された視点の位置を格納する入
    力視点格納手段と、 特徴点候補算出手段で算出された各視点での物体画像に
    おける複数の特徴点候補の位置と入力視点格納手段に格
    納された各視点の位置に基づいて、該特徴点候補に対応
    する物体上での点の三次元座標を抽出する三次元座標候
    補抽出手段と、 三次元座標候補抽出手段にて抽出された三次元座標を入
    力視点格納手段に格納された各視点での物体画像に投影
    された点の位置とその近傍にある特徴点候補との位置関
    係に基づいて特徴点に対応すべき物体上の点の三次元座
    標を算出する三次元座標算出手段と、 算出された三次元座標を格納する三次元座標格納手段
    と、 算出された三次元座標に各視点に投影して特徴点を算出
    する入力特徴点決定部とを有する構造化データ作成装
    置。
29. 【請求項２９】請求項２６乃至２８いずれか記載の構造
    化データ作成装置において、 更に、三次元座標格納手段に格納された三次元座標で特
    定される物体上の点を頂点として当該物体の表面を覆う
    ように設定された複数の多角形よりなる多角形群を抽出
    する表面多角形抽出手段と、 表面多角形抽出手段にて抽出された多角形群を格納する
    多角形格納手段とを有する構造化データ作成装置。
30. 【請求項３０】物体の任意の視点から見た映像を生成す
    るための映像生成処理装置に用いられる構造化データを
    作成する処理をコンピュータに行なわせるためのプログ
    ラムを格納した記録媒体において、当該プログラムは、 複数の視点から物体を撮影して得られる物体画像を画像
    格納ユニットに各視点に対応させて格納するための入力
    視点画像格納プログラム手段と、 画像格納ユニットに格納された各視点での物体画像上の
    互いに対応する特徴点の位置を決定するための入力特徴
    点決定プログラム手段と、 入力特徴点決定プログラム手段での処理にて決定された
    各視点での物体画像上の互いに対応する特徴点の位置を
    入力特徴点格納ユニットに格納するプログラム手段とを
    有し、 上記画像格納ユニット段に格納された複数の視点での物
    体画像と入力特徴点格納ユニット手段に格納された各視
    点での物体画像上の特徴点を上記映像生成処理装置に構
    造化データとして供給できるようにした記録媒体。
31. 【請求項３１】物体の任意の視点から見た映像を生成す
    るための映像生成処理装置に用いられる構造化データを
    作成する処理をコンピュータに行わせるためのプログラ
    ムを格納した記録媒体において、当該プログラムは、 複数の視点から物体を撮影して得られる物体画像から所
    定の条件を満たす複数の特徴点候補を抽出する特徴点候
    補算出プログラム手段と、 物体画像を得るために物体を撮影した視点の位置を設定
    して入力視点格納ユニットに格納する入力視点設定プロ
    グラム手段と、 特徴点候補算出プログラム手段での処理にて算出された
    各視点での物体画像における複数の特徴点候補の位置と
    入力視点格納ユニットに格納された各視点の位置に基づ
    いて、該特徴点候補に対応する物体上での点の三次元座
    標を抽出する三次元座標候補抽出プログラム手段と、 三次元座標候補抽出プログラム手段での処理にて抽出さ
    れた三次元座標を入力視点格納ユニットに格納された各
    視点での物体画像に投影された点の位置とその近傍にあ
    る特徴点候補との位置関係に基づいて特徴点に対応すべ
    き物体上の点の三次元座標を算出する三次元座標算出プ
    ログラムと、 算出された三次元座標に各視点に投影して特徴点を算出
    する入力特徴点決定プログラム手段とを有する記録媒
    体。