JP3277105B2 - 部分立体モデルの作成方法及び装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、コンピュータ・グ
ラフィックスにおいて、実在物体の３次元形状を部分的
に作成する方法及び装置に係り、更に詳細には、実物を
カメラなどの撮像装置を用い移動撮影して得られた画像
信号を処理することにより、該実物（被写体）の３次元
形状を部分的に作成する部分立体モデルの作成方法及び
作成装置に関するもので、本方法及び装置により、バー
チャルリアリティ映像を作成する際のモデリング及びレ
ンダリング作業が簡略化される。

【０００２】

【従来の技術】従来から、コンピュータ・グラフィック
スにおいて、リアルな３次元映像を作成するに当たって
は、モデリングの作業でより実物に近い３次元形状を作
成する必要があり、このための方法としては、ＣＡＤを
用いる方法が知られている。しかし、ＣＡＤを用いて実
物に近い３次元形状を復元するのは非常に困難であり、
このため、従来は、粘土などでクレイモデルを作成しこ
れを３次元計測装置で計測し、得られた３次元位置をＣ
ＡＤに入力する方法が採られている。また、実物に関す
る視差のある２枚の画像を用い、三角測量の原理に基づ
いて該実物（被写体）の形状を３次元復元する方法（以
下、「ステレオ法」という。）も提案されている。

【０００３】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の方法において、ＣＡＤを用いる方法には、技
術的に熟練を要するばかりか、クレイモデルの作成にも
デザイン上の知識と熟練を要し、素人は勿論、経験者で
あっても簡易には行うことができないという課題があっ
た。

【０００４】一方、視差のある複数の画像を用いるステ
レオ法では、被写体の形状上の特徴を表す点（以下、
「特徴点」という。）の３次元位置（以下、「３Ｄ位
置」という）を求めるに当たり、２台のカメラの位置関
係を予め精密に設定する必要がある。従って、この方法
を建造物などの大きくて撮影に遠距離を要する被写体に
適用しようとすれば、カメラの精密設置はもとより、２
台のカメラ間隔を大きくとらなければならず、カメラ設
置に手間がかかるばかりか、最悪の場合には、カメラ同
士の位置関係を決定できないという課題があった。

【０００５】また、理論的には、上記ステレオ法を、カ
メラ同士の位置関係が決定されていない場合に適用する
ことが可能であるが、以下の理由により、実用化されて
いないのが現状である。即ち、この場合には、カメラ同
士の位置関係（以下、「カメラ運動パラメータ」とい
う。）を推定しなければならず、この推定精度が被写体
の３次元形状の復元処理精度に直接反映されるのである
が、この推定は画像ノイズに敏感であり、推定結果の誤
差のバラツキが大きく、得られる３Ｄ復元値が安定せず
実用に耐えないのである。本発明は、このような従来技
術の有する課題に鑑みてなされたものであり、その目的
とするところは、デザイン上の知識などの特別な技能を
必要とせず、しかも、カメラ同士の位置関係を精密には
制御しなくても、被写体の一部の３次元画像を簡易且つ
精度良く得ることのできる部分立体モデルの作成方法及
び作成装置を提供することにある。

【０００６】

【課題を解決するための手段】本発明者らは、上記目的
を達成すべく鋭意研究した結果、特定の指標を用いるこ
とにより上記目的が達成できることを見出し、本発明を
完成するに至った。

【０００７】即ち、本発明の部分立体モデルの作成方法
は、視点を移動させて撮影した少なくとも２個の画像を
用いて、被写体の立体形状を部分的に復元した部分立体
モデルを作成する方法において、 次式 ｄ＝｜Ｈ，ｍ，Ｒｍ’｜／｛１−（ｍ，Ｒｍ’）^２｝^１／２ （式中のＨは視点の移動を表す３次元並進ベクトル、ｍ
は移動前座標の視点を通り任意の特徴点を指す単位ベク
トル、Ｒは視点の移動を表す３次元回転行列、ｍ’は移
動後座標の視点を通り上記特徴点を指す単位ベクトル、
｜Ｈ，ｍ，Ｒｍ’｜はベクトルＨ，ｍ，Ｒｍのスカラ三
重積の絶対値、（ｍ，Ｒｍ’）はベクトルｍ，Ｒｍ’の
スカラ積を示す。）で表される、移動前座標における視
点を通り上記単位ベクトルｍを方向ベクトルとする直線
ｇと、移動後座標における視点を通り上記単位ベクトル
ｍ’を方向ベクトルとする直線ｇ’との距離ｄが最小値
（ｄｍｉｎ）となるＨ及びＲを選定し、選定した３次元
並進ベクトルＨ及び回転行列Ｒと上記単位ベクトルｍ及
びｍ’とから、得ようとする部分立体モデルにおける上
記特徴点の３Ｄ位置を決定する、ことを特徴とする。な
お、本明細書において、「｜Ｈ，ｍ，Ｒｍ｜」は、ベク
トルＨ，ｍ，Ｒｍのスカラ三重積の絶対値を示し、
「（ｍ，Ｒｍ’）」はベクトルｍ，Ｒｍ’のスカラ積
（内積）を示すものとする。

【０００８】更に、本発明の部分立体モデルの作成装置
は、視点を移動させて撮影した少なくとも２個の画像を
用いて、被写体の立体形状を部分的に復元した部分立体
モデルを作成装置であって、上記被写体の形状上の特徴
点を上記画像から抽出する特徴点抽出手段と、抽出され
た特徴点を視点移動前後の画像で対応させる対応点解決
部と、上述のｄｍｉｎ値を指標にして視点の移動を表す
３次元並進ベクトルＨ及び回転行列Ｒを探索・選定する
運動パラメータ決定手段と、得られた運動パラメータを
演算処理することにより、上記被写体の立体形状を部分
的に復元する演算処理手段と、を備えることを特徴とす
る。

【０００９】

【作用】本発明においては、視点の移動を表す３次元並
進ベクトルＨ及び回転行列Ｒ（即ち、カメラ運動パラメ
ータ）を推定するに際し、移動前後における被写体の特
徴点の３Ｄ位置間の距離ｄ、又は移動前の視点を通り上
記単位ベクトルｍを方向ベクトルとする直線ｇと、移動
後の視点を通り上記単位ベクトルｍ’を方向ベクトルと
する直線ｇ’との距離ｄを指標とし、このｄ値が最小と
なるような並進ベクトルＨと回転行列Ｒを選定した。こ
れらｄ値は、理論上、推定したカメラ運動パラメータが
真値の場合には、０となるので、ｄ値の最小値を探索す
ることにより、推定するカメラ運動パラメータの信頼性
を向上させることができる。これにより、従来、実質的
に不可能であったカメラ運動パラメータの推定を実現す
ることができ、この結果、十分な信頼性をもって部分立
体モデルを作成することができることになる。

【００１０】また、カメラなどの撮像装置を移動させ
て、少なくとも２個の画像を得るに際し、被写体におけ
る任意の特徴点のうち、視点の光軸に最も近接する特徴
点（注視点）を、移動前の画像及び移動後の画像の中心
に位置させる注視点制約を行うことにより、カメラ運動
パラメータは並進ベクトルＨのみ（空間座標のＸ，Ｙ，
Ｚの３自由度）で表示できることになる。よって、この
場合には、元来、並進及び回転の６自由度を有するカメ
ラ運動パラメータの自由度が３自由度に削減され、上述
したｄ値の探索することにより、カメラ運動パラメータ
を迅速且つより精密に推定することが可能となる。

【００１１】更に、移動後座標を上記注視点を原点とす
る極座標（ｒ，θ，φ）に変換することにより、注視点
制約による並進ベクトルＨの３自由度で表示していたカ
メラ運動パラメータをθ及びφの２自由度にまで削減す
ることができ、推定せんとするカメラ運動パラメータの
精度を更に向上させることができる。更にまた、移動前
の視点と移動後の視点とを同一平面上に位置させること
により（φ＝０とすることにより）、カメラ運動パラメ
ータをθのみの１自由度にまで削減することができ、推
定せんとするカメラ運動パラメータの精度をより一層向
上させることができる。

【００１２】特に、従来のステレオ法では、カメラ運動
パラメータを予め精密に定める必要があるが、本発明で
は、上述のようにｄ値を指標として探索を行えば十分で
あり、建造物などの大きくて撮影に遠距離を要する被写
体であっても、容易に立体モデルを作成することが可能
になる。

【００１３】

【発明の実施の形態】以下、本発明を、図面を参照して
実施形態により更に詳細に説明する。 （実施形態１）図１は、視点（カメラ）を移動させて同
一被写体の視差の異なる２枚の画像を得る場合の座標の
移動関係を示す説明図である。同図において、移動前座
標はＸ−Ｙ−Ｚで表され、移動後座標はＸ’−Ｙ’−
Ｚ’で表され、視点（カメラ位置）は各座標系の原点Ｏ
及びＯ’である。また、被写体の特徴点Ｉのうちｉ番目
のものをｉで示し、これは移動前画像上の座標としては
ｉ＝（ｘ_i，ｙ_i）、移動後画像上の座標としては、ｉ＝
（ｘ_i’，ｙ_i’）で表される。また、視点Ｏ−Ｏ’間の
移動（カメラ運動パラメータ）は、３次元並進ベクトル
Ｈ及び回転行列Ｒの合成により定義される。なお、回転
行列Ｒは、図示したようにＸ，Ｙ，Ｚ軸回りの回転角度
θ_X（パン角），θ_Y（チルド角），θ_Z（ロール角）で
表される。

【００１４】図１において、移動前座標の視点Ｏを通り
任意の特徴点ｉを指す単位ベクトルをｍ_i、移動後座標
の視点Ｏ’を通り特徴点ｉを指す単位ベクトルをｍ_i’
とすると、ｍ_i及びｍ_i’は、次式 ｍ_i＝（ｘ_i，ｙ_i，ｆ）^t／（ｘ_i ²＋ｙ_i ²＋ｆ²）^1/2・・・ ｍ_i’＝（ｘ_i’，ｙ_i’，ｆ）^t／（ｘ_i’²＋ｙ_i’²＋ｆ²）^1/2・・・ （式中のｆは焦点距離を示す）で表される。よって、各
視点を通り特徴点ｉを指すベクトルは、それぞれＰ（＝
ｒｍ_i：ｒは視点Ｏから特徴点ｉまでの距離）及びＰ’
（＝ｒ’ｍ_i’：ｒ’は視点Ｏ’から特徴点ｉまでの距
離）で表されることになる。そして、一般に、図１に示
すような座標系では、特徴点ｉの３Ｄ位置は、ｍ_i及び
ｍ_i’により算出される視差と、並進ベクトルＨ及び回
転行列Ｒの値とが明かになることにより復元することが
できる。

【００１５】次に、本発明の特徴をなすカメラ運動パラ
メータ推定のための指標について説明する。図２は、カ
メラ運動パラメータの推定値が真値と一致する場合を示
す説明図である。同図に示すように、推定したカメラ運
動パラメータが真値と一致する場合には、上述の単位ベ
クトルｍ及びｍ’から求めた視差と、推定した（仮決定
した）カメラ運動パラメータとにより算出（復元）され
る特徴点の３Ｄ位置Ｉｒは一致し、しかも単位ベクトル
ｍ及びｍ’の延長線上に存在することが幾何学的に明か
である。これに対し、図３に示したように、カメラ運動
パラメータの推定値が真値と一致しない場合（偽値の場
合）には、上記視差と仮決定した運動パラメータにより
算出した特徴点の３Ｄ位置は、単位ベクトルｍ及びｍ’
の延長線上に存在するものの一致しない（図示したＩｒ
及びＩｒ’参照）。

【００１６】本発明においては、上記特徴点の３Ｄ復元
値Ｉｒ及びＩｒ’のズレに着目し、カメラ運動パラメー
タを、種々の特徴点Ｉ（図１参照）に応じて仮決定しな
がら変化させ、３Ｄ復元値Ｉｒ及びＩｒ’の距離ｄが最
小値ｄｍｉｎとなるようなカメラ運動パラメータを選定
することにした。このように選定してカメラ運動パラメ
ータは真値に近く、従って、得られたカメラ運動パラメ
ータ及び上記視差を用いて算出した特徴点の３Ｄ位置は
極めて精度が高くなる。

【００１７】（実施形態２）本実施形態では、実施形態
１の場合とは別の指標を提供するものである。図３にお
いて、特徴点の３Ｄ復元値は単位ベクトルｍ及びｍ’の
延長線上に存在することから、視点Ｏ又はＯ’を通り単
位ベクトルｍ又はｍ’を方向ベクトルとする直線ｇ、
ｇ’を考える。仮置きしたカメラ運動パラメータが真値
の場合には、直線ｇ、ｇ’が交わることになり、その交
点が特徴点の３Ｄ位置になる。従って、種々の特徴点Ｉ
に応じて、直線ｇ、ｇ’の距離ｄが最小となるような
（ｄ＝ｄｍｉｎとなるような）カメラ運動パラメータを
選定することにより、推定するカメラ運動パラメータを
真値に近づけることができる。

【００１８】ここで、直線ｇ、ｇ’間の距離ｄは、次式 ｄ＝｜Ｈ，ｍ，Ｒｍ’｜／｛１−（ｍ，Ｒｍ’）²｝^1/2・・・ （式中のＨは視点の移動を表す３次元並進ベクトル、ｍ
は移動前座標の視点を通り任意の特徴点を指す単位ベク
トル、Ｒは視点の移動を表す３次元回転行列、ｍ’は移
動後座標の視点を通り上記特徴点を指す単位ベクトルを
示す。）で表される。また、この直線間の距離ｄを決定
する場合、ｎ個の異なる特徴点におけるｄ値を算出し、
これの平均値を採用してもよい。考慮する特徴点の個数
としては、多ければ多いほどよいが、通常は３点あれば
十分である。

【００１９】（実施形態３）本実施形態は、実施形態１
又は２の指標を用いてカメラ運動パラメータを推定する
に当たり、カメラ運動パラメータの自由度を削減するも
のである。図４に示すように、移動前座標Ｘ−Ｙ−Ｚ及
び移動後座標Ｘ’−Ｙ’−Ｚ’における画像において、
画像視点に最も近接する特徴点（この場合、「注視点」
という）を画像中心に位置させる（注視点制約する）よ
う、移動前後の座標系を画像処理手法を用いて疑似的に
回転させると、上述のパン角（θ_X）及びチルド角
（θ_Y）は、次式 ｔａｎθ_x＝Ｈ_Y／（Ｚ₀−Ｈ_Z）・・・ ｔａｎθ_Y＝−Ｈ_X／｛（Ｚ₀−Ｈ_Z）²＋Ｈ_Y ²｝^1/2・・・ （式中のＺ₀は、視点から注視点までの距離、Ｈ_X、Ｈ_Y
及びＨ_Zは並進ベクトルＨのＸ成分、Ｙ成分及びＺ成分
を示す）で表される。

【００２０】上記及び式を採用することにより、パ
ン角及びチルド角を消去でき、カメラ運動パラメータの
自由度を６自由度から４自由度に削減することができ
る。更に、ロール角（θ_Z）は、移動前画像及び移動後
画像から計算により求めることができるか又は無視でき
るので、結局、カメラ運動パラメータを並進ベクトルＨ
の３自由度に削減することができる。従って、上述の注
視点制約を実施形態１又は２に導入することにより、指
標ｄｍｉｎを満足するカメラ運動パラメータを推定する
のを容易且つ現実化することができる。

【００２１】（実施形態４）本実施形態は、実施形態３
の方法をより改良したものである。即ち、図５に示すよ
うに、移動後座標を、上記注視点Ｅを原点とする極座標
（ｒ，θ，φ）に変換するものである。この変換によ
り、並進ベクトルＨの３成分は、次式 Ｈ_X＝ｒｓｉｎ（φ）ｃｏｓ（θ）・・・ Ｈ_Y＝ｒｃｏｓ（φ）・・・ Ｈ_Z＝Ｚ₀−ｒｓｉｎ（φ）ｓｉｎ（θ）・・・ （式中のＺ₀は、視点から注視点までの距離を示す）で
表される。この結果、上記指標ｄの変化は、動径方向
（ｒ）に敏感となり、角度方向（θ，φ）では広い範囲
で安定となる。よって、カメラ運動パラメータを実質的
にθ及びφの２自由度で表示できるようになり、カメラ
運動パラメータの推定を一層迅速且つ容易にすることが
できる。なお、カメラの移動を平面運動のみに制御すれ
ば（φ＝０とすれば）、カメラ運動パラメータをθのみ
の１自由度で表示でき、カメラ運動パラメータの推定を
更に一層迅速且つ容易に行うことができる。

【００２２】次に、上述の注視点制約及びカメラ平面運
動（φ＝０）を、実施形態２で説明した直線ｇ、ｇ’間
の距離ｄにより説明する。カメラ運動パラメータの真値
近傍は図３のように表せる。また、注視点制約及びカメ
ラ平面運動を行った場合のカメラ運動パラメータの推定
は、幾何学的には図３において２直線ｇ、ｇ’がどのよ
うに離れるかという問題に置き換えることができる。こ
こで、φ＝０の条件下、上述のように移動後座標を極座
標（ｒ，θ）に変換し、カメラ運動パラメータが注視点
方向（ｒ方向）にズレた場合と、それと直角方向（θ方
向）にズレた場合を考える。前者の場合は図３で示され
る。図３に示したように、ｒ方向に運動パラメータがズ
レた場合、２直線ｇ、ｇ’は効率的にその間隔を広げる
が、θ方向にズレた場合には、注視点制約によりカメラ
光軸が常に注視点を向くので、２直線はその間隔を広げ
にくい。よって、上述のように、２直線間の距離ｄはｒ
方向に敏感になるのである。

【００２３】図６は、上述の２直線間距離ｄを指標とし
て、カメラ運動パラメータを探索した実験例を示すグラ
フである。なお、カメラ運動パラメータの真値は（ｒ，
θ）＝（５００，３０）とした。同図に示すように、こ
の指標ｄは、ｒ方向に変動が大きく、よってｒ方向に敏
感であることが明かである。また、真値での深い谷がθ
に対して広範囲に分布している。このような性質を利用
することにより、カメラ運動パラメータの探索空間を２
自由度から１自由度に減少させることができるのであ
る。

【００２４】具体的な手順としては、まず、例えばθ＝
４５°上の１次元（ｒ方向）を探索し、ｒ値の最小値を
求める。次に、求めたｒ値上の１次元（θ方向）を探索
し、θの最小値を求め、その際のｒ，θを運動パラメー
タの推定値とすればよい。このような方法により、厳密
には、１次元につきＮ回のｄ値計算を行うとすれば、２
自由度ではＮ²回の計算量を要するのが、本方法によれ
ば２Ｎ回の計算量で済むことになる。

【００２５】（実施形態５）図７は、本発明の部分立体
モデル作成装置の一実施形態を示すブロック図である。
同図において、この作成装置は、カメラを移動させて撮
影した視点の異なる２枚の画像から被写体の特徴点を抽
出する特徴点抽出部１と、抽出した特徴点をカメラ移動
前後で対応させる対応点解決部２と、実施形態３で説明
した注視点制約を行う注視点制約実現部３と、実施形態
４の極座標変換を行う極座標変換部４と、実施形態１又
は２で説明したｄ値（ｄｍｉｎ）を指標としてカメラ運
動パラメータを探索・選定する運動パラメータ決定部５
と、得られたカメラ運動パラメータから特徴点の３Ｄ位
置を決定し、被写体の立体形状を復元する演算処理部
（図示せず）とを備えている。

【００２６】この作成装置を用いた処理手順について説
明すると、まず、視差の異なる複数の画像６を特徴点抽
出部１に入力し、被写体の形状上の特徴点を抽出する。
この際、得られる部分立体モデルの安定性を考慮すれ
ば、８点以上の特徴点を抽出するのが好ましい。次に、
対応点解決部２において、抽出した特徴点のステレオと
しての対応関係を検出する。具体例としては、ディスプ
レイ上に表示されたステレオ画像に対し、指示装置を用
いてステレオ対応点を指示すればよい。指示したステレ
オ対応点は、例えば、テキスト形式７でファイル出力さ
れる。

【００２７】次いで、注視点制約実現部３及び極座標変
換部４において、上述の注視点制約及び極座標変換を行
い、カメラ運動パラメータの自由度を削減する。本実施
形態では、カメラ運動パラメータの自由度は実質的に１
自由度にまで削減される。しかる後、解空間探索部５に
おいて、上述のｄｍｉｎ値を指標として、カメラ運動パ
ラメータを探索し、適切なカメラ運動パラメータを選定
する。その後、選定したカメラ運動パラメータを用い、
図示しない演算処理部において上記特徴点の３Ｄ位置を
決定し、被写体の部分立体モデルを得る。

【００２８】

【実施例】以下、本発明を実施例及び比較例により詳細
に説明する。 （実施例１）実施形態５の部分立体モデル作成装置を用
い、カメラ運動パラメータの推定を行った。この際、被
写体としては、図８に示す物体を用い、カメラの移動位
置としては、図９に示すものを採用した。ここで、図９
において、座標系Ｘ−Ｙ−Ｚはカメラ移動前の座標を示
し、○印はカメラ移動後の座標原点を示している。ま
た、使用したカメラは、焦点距離（ｆ）が２５．００ｍ
ｍ、画素換算比（ε_X，ε_Y）が（８１．０，８０．０）
（画素／ｍｍ）、画像中心（ｉ₀，ｊ₀）が（２７３，２
３５）（画素）のものである。

【００２９】また、抽出する特徴点としては、図８に示
した○印の９点（試験１）、○印と●印との合計１５点
（試験２）、○印と●印と◎印との合計２７点（試験
３）とし、カメラ運動パラメータ探索の指標は、実施形
態２で説明した直線間距離ｄとした。なお、本例におい
ては、カメラ運動の前提条件として、Ｈ_Y＝０（φ＝
０）、θ_Z＝０が課されている。得られたカメラ運動パ
ラメータを用い、奥行（Ｚ軸方向）推定精度の平均値を
算出し、この結果を図１０（ａ）（試験１）、図１１
（ａ）（試験２）及び図１２（ａ）（試験３）に示し
た。

【００３０】（比較例１）カメラ運動パラメータ探索の
指標を、次式 Ｊ＝Ｗ_i｜Ｈ，ｍ_i，Ｒｍ_i’｜² （式中のｉは特徴点の番号、Ｗ_iは特徴点の番号に対応
する重み、Ｈ、Ｒ、ｍ_iは上述と同じものを示す）で表
されるＪ値の総和の最小値とした以外は、実施例１と同
様の操作を繰り返し、特徴点の数が９点（比較試験
１）、１５点（比較試験２）及び２７点（比較試験３）
の場合の運動パラメータを得た。次いで、実施例１のよ
うに奥行推定精度の平均値を算出し、得られた結果を図
１０（ｂ）（比較試験１）、図１１（ｂ）（比較試験
２）及び図１２（ｂ）（比較試験３）に示した。

【００３１】図１０〜図１２から明らかなように、本発
明の方法を適用した試験１〜３では、奥行推定精度（推
定誤差）のバラつきが少なく、適切な運動パラメータの
推定値が得られることが分かる。これに対して、比較試
験１〜３では、推定誤差のバラつきが大きく、推定され
た運動パラメータは３Ｄ復元に採用できないことが分か
る。また、試験１、２及び３は、比較試験１、２及び３
に対して精度が約１０倍向上していることも分かる。更
に、試験１〜３において、特徴点の数が多くなるに従っ
て、推定誤差が安定することも分かる。

【００３２】以上、本発明を若干の実施形態及び実施例
により説明したが、本発明はこれら実施例に限定される
ものではなく、本発明の要旨の範囲内において種々の変
形が可能である。例えば、本発明においてはｄ値を指標
としてカメラ運動パラメータを推定することが重要であ
り、注視点制約及び極座標変換の適用は必須の事項では
ない。

【００３３】

【発明の効果】以上説明したように、本発明によれば、
特定の指標を用いることとしたため、デザイン上の知識
などの特別な技能を必要とせず、しかも、カメラ同士の
位置関係を精密には制御しなくても、被写体の一部の３
次元画像を簡易且つ精度良く得ることのできる部分立体
モデルの作成方法及び作成装置を提供することができ
る。

【図面の簡単な説明】

【図１】視点を移動させて同一被写体の視差の異なる２
枚の画像を得る場合の座標の移動関係を示す説明図であ
る。

【図２】カメラ運動パラメータの推定値が真値と一致す
る場合を示す説明図である。

【図３】カメラ運動パラメータの推定値が真値と一致し
ない場合を示す説明図である。

【図４】注視点制約を示す説明図である。

【図５】極座標変換を示す説明図である。

【図６】２直線間距離ｄを指標として、カメラ運動パラ
メータを探索した実験例を示すグラフである。

【図７】本発明の部分立体モデル作成装置の一実施形態
を示すブロック図である。

【図８】被写体を示す斜視説明図である。

【図９】カメラの移動位置を示す説明図である。

【図１０】奥行推定精度を示すグラフである。

【図１１】奥行推定精度を示すグラフである。

【図１２】奥行推定精度を示すグラフである。

【符号の説明】

Ｏ、Ｏ’・・・視点、ｍ、ｍ’・・・単位ベクトル、Ｈ・・・並
進ベクトル、Ｉ・・・特徴点、Ｅ・・・注視点、１・・・特徴点
抽出部、２・・・対応点解決部、３・・・注視点制約実現部、
４・・・極座標変換部、５・・・解空間探索部、６・・・画像

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平４−118504（ＪＰ，Ａ) 特開 平５−37965（ＪＰ，Ａ) 特開 平２−171966（ＪＰ，Ａ) 特開 昭60−199292（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 17/40 G01B 11/00 ＣＳＤＢ（日本国特許庁)

Claims (7)

(57)【特許請求の範囲】
1. 【請求項１】 視点を移動させて撮影した少なくとも２
   個の画像を用いて、被写体の立体形状を部分的に復元し
   た部分立体モデルを作成する方法において、 次式 ｄ＝｜Ｈ，ｍ，Ｒｍ’｜／｛１−（ｍ，Ｒｍ’）^２｝^１／２ （式中のＨは視点の移動を表す３次元並進ベクトル、ｍ
   は移動前座標の視点を通り任意の特徴点を指す単位ベク
   トル、Ｒは視点の移動を表す３次元回転行列、ｍ’は移
   動後座標の視点を通り上記特徴点を指す単位ベクトル、
   ｜Ｈ，ｍ，Ｒｍ’｜はベクトルＨ，ｍ，Ｒｍのスカラ三
   重積の絶対値、（ｍ，Ｒｍ’）はベクトルｍ，Ｒｍ’の
   スカラ積を示す。）で表される、移動前座標における視
   点を通り上記単位ベクトルｍを方向ベクトルとする直線
   ｇと、移動後座標における視点を通り上記単位ベクトル
   ｍ’を方向ベクトルとする直線ｇ’との距離ｄが最小値
   （ｄｍｉｎ）となるＨ及びＲを選定し、 選定した３次元並進ベクトルＨ及び回転行列Ｒと上記単
   位ベクトルｍ及びｍ’とから、得ようとする部分立体モ
   デルにおける上記特徴点の３Ｄ位置を決定する、ことを
   特徴とする部分立体モデルの作成方法。
2. 【請求項２】 上記特徴点のうち、視点の光軸に最も近
   接する特徴点を注視点とし、この注視点を移動前座標に
   よる画像及び移動後座標による画像の中心に位置させ、
   視点の移動を３次元並進ベクトルＨのみで表示すること
   を特徴とする請求項１記載の作成方法。
3. 【請求項３】 上記移動後座標を、上記注視点を原点と
   する極座標（ｒ、θ、φ）に変換することにより、上記
   視点の移動をθ及びφの関数とし、 上記θ及びφを変化させながら、上記最小値ｄｍｉｎを
   求め、 得られたｄｍｉｎから、視点の移動を表すθ及びφを決
   定し、 得られたθ及びφと上記視差とから、得ようとする部分
   立体モデルにおける上記特徴点の３Ｄ位置を決定するこ
   とを特徴とする請求項２記載の作成方法。
4. 【請求項４】 各視点を同一平面上（φ＝０）に位置さ
   せることにより、上記視点の移動を上記θのみの関数と
   することを特徴とする請求項３記載の作成方法。
5. 【請求項５】 視点を移動させて撮影した少なくとも２
   個の画像を用いて、被写体の立体形状を部分的に復元し
   た部分立体モデルを作成するのに用いられる情報媒体で
   あって、 請求項１〜４のいずれか１つの方法を行うコンピュータ
   への命令を記録した情報媒体。
6. 【請求項６】 視点を移動させて撮影した少なくとも２
   個の画像を用いて、 被写体の立体形状を部分的に復元した部分立体モデルの
   作成装置であって、 上記被写体の形状上の特徴点を上記画像から抽出する特
   徴点抽出手段と、 抽出された特徴点を視点移動前後の画像で対応させる対
   応点解決部と、 請求項１記載のｄｍｉｎ値を指標にして視点の移動を表
   す３次元並進ベクトルＨ及び回転行列Ｒを探索・選定す
   る運動パラメータ決定手段と、 得られた運動パラメータを演算処理することにより、上
   記被写体の立体形状を部分的に復元する演算処理手段
   と、を備えることを特徴とする部分立体モデル作成装
   置。
7. 【請求項７】 上記特徴点のうち、視点の光軸に最も近
   接する特徴点を注視点とし、この注視点を移動前座標に
   よる画像及び移動後座標による画像の中心に位置させる
   注視点制御手段と、 この注視点制御手段を介して得られる移動後座標を、上
   記注視点を原点とする極座標（ｒ，θ，φ）に変換する
   極座標変換手段と、 各視点を同一平面上（φ＝０）に位置させる移動手段
   と、を付加して成ることを特徴とする請求項６記載の作
   成装置。