JPH09331440A - 三次元シーン再構成システム - Google Patents

Abstract

(57)【要約】 【課題】 三次元シーンを複数の異なった位置から撮像
した二次元画像に基づいて再構成する際、画像撮像手段
のパラメータ補正を要することがなく、精度の高い三次
元シーン情報を得る。 【解決手段】 参照点の各二次元画像内での座標を用い
て各二次元画像内の各点の像平面上への射影座標を関連
付ける射影変換を生成する射影変換生成部４、生成され
た射影変換を正規化した射影変換と対象点の二次元画像
内の射影座標を用いて上記画像撮像装置の位置から該対
象点までの距離を表すための深さの値を生成する深さの
値生成部７、参照点及び対象点の二次元画像内の射影座
標と、該対象点の深さの値と、参照平面の三次元ユーク
リッド座標軸での方程式または参照点の三次元ユークリ
ッド座標とに基づいて対象点の三次元ユークリッド座標
を生成して三次元シーン情報を得る三次元座標生成部９
を備えた。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、一般的な写真及
び画像処理の分野において、特にある画像の中の三次元
の要素や特徴を多くの二次元画像から再構成したり生成
したりするための三次元シーン再構成システムに関す
る。

【０００２】

【従来の技術】ある画像の三次元シーンをその画像の複
数の二次元画像から再構成することは、１９世紀末から
の研究課題であった。このような再構成は、対象物の三
次元の実際の形状や体積を決定するような、画像の中の
三次元的な物理的な特性についての情報を得ることを含
む、多くの領域で役に立つものと思われる。特に、この
ような再構成は、コンピュータビジョンやロボティクス
などの分野で重要になってきている。三次元の対象物と
レンズのないピンホールカメラのような単純な画像撮像
装置によって撮影された画像の幾何学的な関係は、三次
元シーンの再構成を容易にするための情報源の１つであ
る。

【０００３】現在の再構成の商用システムは、一般に航
空写真や人工衛星から撮影した画像から対象物を再構成
することを適用対象にしている。どちらの場合も、画像
との位置関係を厳密に決定できる２つの地点から画像を
記録するカメラが使われる。航空写真から再構成する場
合は、２つのカメラは飛行機に搭載された共通の台に固
定されており、それらの間の距離と方向は厳密に定めら
れている。それにより、２つのカメラの相対的な幾何学
的位置関係をある既知の状態に固定することができる。
人工衛星写真の場合は、衛星の位置と方向を非常に厳密
に決定することができる。したがって、再構成に必要な
幾何学的情報を必要な精度で与えることができる。いず
れの場合も、このような配置のもとで撮影された二次元
の写真あるいはビデオ画像から画像に写された対象物を
再構成することができる。

【０００４】ところで、カメラ等画像撮像装置による二
次元画像に基づいて三次元シーンを再構成する際、画像
撮像装置に付随する内部パラメータと外部パラメータが
影響を及ぼすことが知られている。ここで、内部パラメ
ータは、画像の形状の比率、歪み及び中心点すなわちカ
メラの光軸と像平面の交点の位置によって表すことがで
きるパラメータ（なお、カメラの焦点距離は、内部パラ
メータ、特に形状の比率に関連しているのでパラメータ
として考慮する必要がないことに注意せよ）であり、外
部パラメータは、１つのカメラの座標系ともう１つのカ
メラの座標系との間の回転や変換を含む、カメラの外部
的な幾何学的位置関係すなわちカメラの配置に関係する
パラメータである。それぞれのカメラに付随する内部パ
ラメータは、カメラの仮想的な座標系とカメラの像平面
と射影の中心（ＣＯＰ）の真の関係を示す変換を記述す
るという点でカメラの内部的な幾何学と関連している。

【０００５】これらの内部及び外部パラメータは一体と
なって結合しており、かつ非線型であり、これらの２つ
のパラメータ群が分離できるときにのみ、２つの視点か
ら得られた画像の三次元ユークリッド空間を再現するこ
とができる。内部パラメータと外部パラメータの結合の
様子を正確に表すと次のようになる。もし、２つのカメ
ラの内部パラメータをそれぞれ三次元正方行列Ｍ及び
Ｍ' で表し、Ｒとｔをそれぞれ回転と変換の外部パラメ
ータとすれば、画像の中の１点の２つの像平面に対する
それぞれの射影点ｐ＝（ｘ，ｙ，１）^T とｐ' ＝
（ｘ'，ｙ'，１）^T （Ｔはベクトルまたは行列の転置を
表す）は次式（１）に示す関係で表される。 ｚ'ｐ'＝ｚＭ'ＲＭ^-1ｐ＋Ｍ'ｔ （１） ここで、ｚとｚ' はそれぞれ２つのカメラの位置から画
像中の１点までの深さを表す。

【０００６】再構成の方法は、上述したように、内部及
び外部パラメータが一体となって結合しており、かつ非
線型であるため、カメラを補正するためのパラメータを
測定する際にいろいろな種類のエラーが入り込むような
場合や、対象物を再構成するための画像にエラーがある
ような場合には一般にうまくいかない。従来の方法は、
内部及び外部パラメータとして知られる２つのパラメー
タの集合をいかにうまく分離するかに依存している。

【０００７】一般に、再構成の方法としては、これまで
２つの方法があった。１つ目の方法は、特別のパターン
に対する画像に依存した「カメラの内部パラメータ補
正」手続きで、内部パラメータをそれぞれ独立に決定
し、内部パラメータの補正に続いて外部パラメータを補
正する方法である。２つ目の方法は、ある対象物を２つ
以上の視点から撮影し、カメラの内部パラメータはどの
視点からのものも同一で固定された値であるという仮定
のもとで、外部パラメータを決定するというものであ
る。外部パラメータの値を決定するための処理は、再帰
的評価のような非線型の方法、Levenberg-Marquardt の
繰返しのような非線型最適化技術、そして、最近では
“absolute conic”の概念を利用した射影幾何学の手法
を使って行われる。

【０００８】

【発明が解決しようとする課題】しかしながら、上述し
た従来例による再構成の方法において、内部及び外部パ
ラメータが一体となって結合しており、かつ非線型であ
るため、それぞれ独立にカメラの内部パラメータ補正を
行うという最初の方法での重大な問題点は、わずかな補
正エラーさえも再構成の段階では大きなエラーに広がる
ということである。すなわち、内部パラメータの補正に
続いて外部パラメータを補正する場合に、画像を測定す
る際の小さなエラーに非常に敏感であるため、正確な結
果を得るためには比較的広い視野を必要とすることが知
られている。

【０００９】また、ある対象物に対して２つ以上の視点
から撮影するという２つ目の方法では、カメラの内部パ
ラメータはどの視点からのものも同一で固定された値で
あるという仮定のもとで、外部パラメータを決定する際
に、ある近似値からスタートして繰返し演算を重ねると
いう処理を行うため、最初の近似値に非常に敏感であ
る。さらに、カメラの内部パラメータが固定的なもので
あるという仮定は常に正しいとは限らない。

【００１０】この発明は、上述した点に鑑みてなされた
もので、三次元シーンを複数の異なった位置から撮像し
た二次元画像に基づいて再構成する際、画像撮像手段に
付随するパラメータの補正を要することがなく、精度の
高い三次元シーン情報を得ることができる三次元シーン
再構成システムを得ることを目的とする。

【００１１】

【課題を解決するための手段】上記目的を達成するた
め、この発明に係る三次元シーン再構成システムは、画
像撮像装置により異なった複数の位置で撮像した二次元
画像に基づき三次元シーンを再構成する三次元シーン再
構成システムにおいて、参照点の各二次元画像内での座
標を用いて三次元シーン内の各対象点の像平面上への射
影座標を関連付ける射影変換を生成する射影変換生成手
段と、上記射影変換生成手段で生成された射影変換を正
規化した射影変換と三次元シーン内の対象点の射影座標
を用いて上記画像撮像装置の位置から該対象点までの距
離を表すための深さの値を生成する深さの値生成手段
と、三次元シーン内の参照点及び対象点の各像平面上の
射影座標と、該対象点の深さの値と、参照平面の三次元
ユークリッド座標軸での方程式または参照点の三次元ユ
ークリッド座標とに基づいて対象点の三次元ユークリッ
ド座標を生成して三次元シーン情報を得る三次元座標生
成手段とを備えたことを特徴とするものである。

【００１２】また、各像平面内におけるエピポールの座
標を生成するエピポール座標生成手段をさらに備え、上
記射影変換生成手段は、上記エピポール座標生成手段で
生成されたエピポールと参照点の各二次元画像内での座
標を用いて三次元シーン内の各対象点の像平面上への射
影座標を関連付ける射影変換を生成すると共に、上記深
さの値生成手段は、上記エピポール座標生成手段で生成
されたエピポールの座標と上記射影変換生成手段で生成
された射影変換を正規化した射影変換及び二次元画像内
の対象点の射影座標を用いて上記画像撮像装置の位置か
ら該対象点までの距離を表すための深さの値を生成する
ことを特徴とするものである。

【００１３】また、上記エピポール座標生成手段は、三
次元シーン内に存在する８点以上の参照点の画像を撮影
する複数の像平面への射影に基づいて各像平面上のエピ
ポールの座標を生成することを特徴とするものである。

【００１４】また、上記エピポール座標生成手段は、三
次元シーン内の参照平面を介して行われる２つの像平面
上の画像同士間の射影変換と、いずれも参照平面上には
存在しない三次元シーン内の２点以上の点に基づいて各
像平面上のエピポールの座標を生成することを特徴とす
るものである。

【００１５】また、上記射影変換生成手段は、三次元シ
ーン内の異なる３点の参照点の複数の像平面上への射影
と各像平面上のエピポールの座標に基づいて射影変換を
求めることを特徴とするものである。

【００１６】また、上記射影変換生成手段は、三次元シ
ーン内の同一平面上に存在する異なる４点以上の参照点
の複数の像平面上への射影に基づいて射影変換を求める
ことを特徴とするものである。

【００１７】また、上記深さの値生成手段は、三次元シ
ーン内の対象点の各像平面上への射影の座標をもとに１
つの像平面上の二次元画像に対して三次元シーン内の１
つの参照平面を介して行われる複数の像平面上の画像へ
のそれぞれの射影変換とその参照平面上には存在しない
三次元シーン内の１つの参照点の各像平面上への射影の
座標に基づいて対象点の深さの値として相対アフィン深
さの値を決定することを特徴とするものである。

【００１８】また、上記深さの値生成手段は、三次元シ
ーン内の対象点の像平面上での射影の座標をもとに２つ
の異なる参照平面を介して行われる複数の像平面上の画
像同士間のそれぞれ２組の射影変換といずれの参照平面
上にも存在しない三次元シーン内の１つの参照点の各像
平面上への射影の座標に基づいて対象点の深さの値とし
て射影深さの値を決定することを特徴とするものであ
る。

【００１９】また、上記三次元座標生成手段は、三次元
シーン内の対象点の像平面上の射影座標と、対象点の深
さの値と、深さの値を求めるときに用いた参照平面を表
す三次元ユークリッド空間内での方程式と、対象点の深
さの値を求めるときに用いた１つの参照点の像平面上で
の射影座標と三次元ユークリッド空間おける深さの値に
基づいて対象点の三次元ユ一クリッド座標を求めること
を特徴とするものである。

【００２０】さらに、上記三次元座標生成手段は、三次
元シーン内の対象点の像平面上の射影座標と、対象点の
深さの値と、三次元シーン内の異なる５点以上の参照点
の三次元ユークリッド座標と、それらの参照点の像平面
上の射影座標と深さの値に基づいて対象点の三次元ユー
クリッド座標を求めることを特徴とするものである。

【００２１】

【発明の実施の形態】以下、この発明を図を参照して説
明する。図１はシーンの二次元画像をもとに三次元の形
式で対象物の表面を再構成するためのこの発明に係るシ
ステム１０の概要を示した図である。図１において、シ
ステム１０は、ある三次元シーン１２の二次元画像を記
録する複数からなる写真機あるいはビデオカメラのよう
な画像撮像装置１１Ａと１１Ｂ（総称して符号１１で参
照される）を含む。シーン１２は、一般に複数の三次元
対象物を含み、図１では１３という識別子を付けたビル
ディングで表されている。少なくともシーン１２内の対
象物の外観のある部分は、画像撮像装置１１で記録され
た画像から三次元の形式で再構成することができる。

【００２２】画像撮像装置１１は、シーン１２の画像を
２つの異なった角度から記録するために置かれる。すな
わち、２つの画像撮像装置１１Ａと１１Ｂは、その表面
を三次元の形式で再構成すべき対象物１３に対して再構
成すべき表面の一部分を記録する。システム１０は、さ
らに、以下で述べるような再構成の処理を実際に行うた
めに、画像撮像装置１１から画像を受取って分析する画
像解析モジュール１４を含む。画像解析モジュール１４
は、２つの画像に記録されているシーン１２内の選ばれ
た対象物の特徴を三次元の形式で再構成する。なお、図
１のシステム１０には、２つの異なった位置にある画像
撮像装置１１Ａと１１Ｂが含まれると述べてきたが、そ
の配置が２つの位置間を動く１つの画像撮像装置で構成
されていてもよい。

【００２３】図２は上記画像解析モジュール１４の詳細
な構成を示した図である。画像解析モジュール１４は、
異なる位置から撮影された二次元画像群１を入力とし
て、参照点の射影座標算出部２でいくつかの参照点の射
影座標を算出し、その結果から、エピポール座標生成部
３でエピポール座標を、射影変換生成部４で射影変換を
算出する。さらに、射影変換正規化部５で、１つの付加
的な参照点の射影座標を入力として射影変換の正規化を
行う。深さの値生成部７では、正規化された射影変換を
用いて、参照点以外の対象物上の点（対象点）の深さの
値を求める。最後に、三次元座標生成部９で、参照平面
での三次元ユークリッド空間内での方程式と１つの付加
的な参照点の射影座標と三次元ユークリッド空間におけ
る深さの値あるいは参照点の三次元ユークリッド座標８
を入力して、対象点の射影座標と、対象点の深さの値と
から対象点の三次元情報１０として三次元ユークリッド
座標を求める。

【００２４】また、図３はエピポール座標生成部３と射
影変換生成部４の理解を助けるために示した図である。
図３には、三次元シーン内の点Ｐと、そのシーン像を記
録する２つの画像撮像装置１１Ａ及び１１Ｂの射影の中
心を表す２つの点ＯとＯ’、さらに、３つの点で定義さ
れるある１番目の参照平面π１と２番目の参照平面π２
が示されている。ここで、参照平面π１は３点Ｐ_j （ｊ
＝１，２，３）で定義されるものとし、参照平面π２は
３点Ｐ_j（ｊ＝２，３，４）で定義されるものとする。
ただし、Ｐ_jはすべて両方の画像撮像装置１１Ａ及び１
１Ｂに記録された三次元シーンの点である。

【００２５】図３には、また、それぞれの画像撮像装置
１１Ａ及び１１Ｂに関連する２つの像平面が描れてい
る。具体的には、１つ目の像平面ψ１は点Ｏの位置にあ
る画像撮像装置によるものであり、２つ目の像平面ψ２
は点Ｏ’の位置にある画像撮像装置によるものである。
すなわち、像平面ψ１は射影の中心が点Ｏの位置にある
画像撮像装置で記録された画像の平面であり、像平面ψ
２は射影の中心が点Ｏ’の位置にある画像撮像装置で記
録された画像の平面である。２つの射影の中心である点
ＯとＯ’を結ぶ線分は２つの像平面ψ１とψ２に対して
それぞれｖとｖ’で交わる。この２つの点をエピポール
と呼ぶ。

【００２６】次に、上記画像解析モジュール１４の各部
動作について、図４に示す処理手順を参照しつつ説明す
る。 （１）エピポール座標生成部３（図４のステップＳ１０
０参照） （１−１）．参照点の射影座標だけからエピポール座標
を生成する求める場合（図４のステップＳ１００参照） 三次元シーン内の任意の異なる８点の参照点から各像平
面上のエピポールを求める例を示す。エピポールの座標
は次のようにして決定することができる。

【００２７】今、図３において、ある参照平面πｉを介
して行われる像平面ψ１から像平面ψ２への１つの射影
変換をＡ（射影変換Ａは、３次元正方行列で表され、よ
り高次または低次の射影空間での変換に対してはそれに
応じて行列の要素が増減する）、三次元シーン内の点Ｐ
の像平面ψ１及びψ２上への射影座標をそれぞれｐと
ｐ’、射影座標ｐに射影変換Ａを施した結果による像平
面ψ２上の射影座標をｐ”、像平面ψ２上のエピポール
座標ｖ’と像平面ψ２上の射影座標ｐ”を結ぶ線分をＬ
とすると、 ｐ" :＝: Ａｐ （２） Ｌ＝ｖ'×ｐ" （３） が成立する。ここで、ｐ，ｐ'，ｐ"，ｖ，ｖ' は射影空
間上の斉次座標であって、３次元ベクトルで表される。
例えばｐの像平面上の座標を（ｘ，ｙ）とすると、ｐの
斉次座標は、（ｘ，ｙ，１）と表すことができる。ま
た、:＝:は、射影空間の斉次座標の意味で等しい（各座
標の値の比が両辺で等しい）ことを表す記号とする。

【００２８】また、像平面ψ２上への射影座標ｐ'が線
分Ｌ上に存在するから、 ｐ’・Ｌ＝０ （４） が成り立つ。したがって、式（２）〜（４）から （p'）^T・ｖ'×Ａｐ＝（p'）^T・［ｖ'］Ａｐ＝０ （５） が成り立つ。ここで、［ｖ'］はｖ'の歪対称行列を表す
（すべてのベクトルχに対して［ｖ'］χ＝ｖ'×χが成
立する。ここで、×はベクトル積を表す。） もし、［ｖ'］ＡをＦとすると、式（５）から （p'）^TＦｐ＝０ （６） が成立する。

【００２９】これより、エピポールの座標は次の方法で
決定することができる。（６）式は行列Ｆの９つの要素
の値に対して線型な同次方程式を与えているので、ある
シーンの中の８つの点の２つの画像への射影から行列Ｆ
の要素の値を決定することができる。任意の射影変換Ａ
に対し、Ａｖ:＝:ｖ' が常に成り立ち、かつｖ'×ｖ'
＝０（どのようなベクトルも自分自身とのベクトル積は
０である）であるので、ｖ'×Ａｖ＝ｖ'×ｖ'＝０とな
る。さらに、Ｆ＝［ｖ'］Ａ＝ｖ'×Ａであるから、ｖ'
×Ａｖ＝Ｆｖ＝０となる。行列Ｆの要素が求まっている
ので、この式を満たすようにｖの要素を求めることがで
きる。同様に、ｖ'の座標は、Ｆ^Tｖ'＝０から決定する
ことができる。この方法によれば、行列Ｆより直接エピ
ポールの座標を決定することができる。

【００３０】（１−２）．射影変換が求まっている場合 像平面ψ２上のエピポールｖ'の斉次座標は、未知変数
ｘ_v'，ｙ_v'を用いて（ｘ_v'，ｙ_v'，１）として定義され
るので、射影変換Ａが求まっている場合は、画像の中の
２つの点の射影さえあれば（５）式を用いてエピポール
ｖ' の座標を求めることができる。エピポールｖの座標
は、エピポールｖ' の座標が求まれば上で示したＡｖ:
＝:ｖ'から決定することができる。上記（１−１）及び
（１−２）の方法において、もし、画像の中のより多く
の点の射影が利用できるなら、エピポールｖ及びｖ’の
座標は、最小自乗法を用いて決定することができる。こ
の方法は２つの点の射影だけを用いたときに入るかもし
れない測定誤差を減らすのに役立てることができる。

【００３１】（２）射影変換生成部４（図４のステップ
Ｓ１０１、Ｓ１０２参照） 射影変換生成部４では、後述する深さの値生成部７で射
影深さを生成するために、少なくとも２つの射影変換を
生成する必要がある。 （２−１）．３つの参照点とエピポール座標から生成す
る方法 ３点で定義される平面（画像内の３点は常に平面を定義
する）に関する射影変換を一意に決定するには、それら
３点の射影とエピポールで十分である、ということを示
すことができる。

【００３２】一般に、参照平面π１を介して行われる２
つの像平面ψ１とψ２の間の射影変換Ａは、参照平面を
定義している３点に対する２つの像平面上の射影の点の
座標と、像平面上の２つのエピポールの座標から決定す
ることができる。すなわち、３点Ｐ_j （ｊ＝１，２，
３）の２つの像平面ψ１とψ２上への射影座標をそれぞ
れｐ_j とｐ_j'、エピポールをそれぞれｖとｖ’とする
と、 Ａｐ_j:＝:ｐ_j' （ｊ＝１，２，３） （７） Ａｖ:＝:ｖ’ （８） が成り立つ。

【００３３】従って、２つの画像の中の３点に対応する
射影とエピポールを用いることによって、（７）式と
（８）式より、参照平面πｉを介して行われる射影変換
Ａを決定することができる。これは参照平面として選ば
れたどんな平面に対しても行うことができるので、明ら
かにこれを２つの異なった参照平面π１とπ２に対して
も行うことができる。これによって、２つの参照平面π
１とπ２に対するそれぞれの射影変換Ａ₁とＡ₂を求める
ことができる。

【００３４】具体的には、射影変換生成部４は次のよう
にして射影変換Ａを求める。もし、点Ｐ_j の像平面ψ１
への射影の斉次座標を（ｘ_j，ｙ_j，１）、点Ｐ_j の像平
面ψ２への射影の斉次座標を（ｘ_j',ｙ_j',１）、像平面
ψ１とψ２上のエピポールの斉次座標をそれぞれ
（ｘ_v，ｙ_v，１）、（ｘ_v',ｙ_v',１）とし、３次元正方
行列として与えられる射影変換Ａの要素ａ₃₃の値を１と
置けば、射影変換Ａの残りの要素の値は、射影座標
ｐ_j，ｐ_j' 及びエピポールｖ，ｖ' で与えられるおのお
のの座標の対毎に次のような式（９）、（１０）を満た
す。

【００３５】

【数１】

【００３６】従って、（９）式と（１０）式は、射影変
換Ａを構成する行列の８つの要素ａ_ij（１と置いたａ₃₃
以外のすべての要素）の値を生成するのに十分な８本の
方程式を与える。

【００３７】（２−２）．同一平面上の参照点を用いて
生成する方法 もし、同一平面上の４点を構成するグループを１つ識別
できるならば、射影変換生成部４は１つの射影変換、例
えばＡ₁ を直接生成することができる。すなわち、画像
内の同一平面上の４点Ｐ_j（ｊ＝１，２，３，４）の像
平面ψ１及びψ２内の射影の座標ｐ_j とｐ_j' を参照し
て、Ａｐ_j :＝: ｐ_j （ｊ＝１，２，３，４）から射影
変換Ａを決定する。次に、射影変換生成部４は、同一平
面上に存在する４点以外の５番目と６番目の点を用い
て、（１−２）で述べた方法でエピポールｖ及びｖ' の
座標を決定し、さらに、上記同一平面と異なる平面を構
成する３点及びエピポールｖ及びｖ'の座標を用いて、
（２−１）で述べた方法で２つ目の射影変換Ａ₂ を決定
する。

【００３８】もし、画像内の同一平面上の４点を構成す
るグループを２つ識別できるならば、射影変換生成部４
によって実行される処理を簡単化することができる。そ
のような場合、射影変換生成部４は、像平面ψ１及びψ
２上のそれぞれのエピポールの座標ｖ及びｖ’をあらか
じめ求めることなしに、直接２つの射影変換Ａ₁ とＡ₂
を決定することができる。

【００３９】（３）深さの値生成部７（図４のＳ１０
３、Ｓ１０４参照） （３−１）．対象点の深さの値として射影深さの値を決
定する場合 図３に示す配置において、点Ｐと２つの参照平面π１
（点Ｐ１、Ｐ２、Ｐ３で定められる）及びπ２（点Ｐ
１、Ｐ３、Ｐ４で定められる）は三次元射影空間Ｐ³ の
中にあり、それぞれ二次元射影空間Ｐ² を定義する像平
面ψ１とψ２上に射影される。

【００４０】点Ｐと点Ｏを通る線分が、２つの参照平面
π１とπ２で交わる点を、それぞれＰ_π1及びＰ_π2とす
ると、線分ＯＰは次の式（１１）で定義される複比Ｃ_P
＝〈Ｐ，Ｏ，Ｐ_π1，Ｐ_π2〉を持つ。

【００４１】

【数２】

【００４２】Ｐ，Ｐ_π1，Ｐ_π2の像平面ψ２への射影
を、それぞれｐ'，ｐ_π1'，ｐ_π2'とすると、複比Ｃ_P
は像平面ψ２上の複比〈ｐ'，ｖ'，ｐ_π1'，ｐ_π2'〉と
等しい。Ａ₁ とＡ₂ をそれぞれ参照平面π１とπ２を介
して行われる像平面ψ１からψ２への射影変換とし、点
Ｐの像平面ψ１上での射影をｐとすると、ｐ_π1'＝Ａ₁
ｐ，ｐ_π2'＝Ａ₂ｐとなることから、次の式が成り立
つ。 ｐ' :＝: Ａ₁ｐ＋ｓＡ₂ｐ （１２） ｖ' :＝: Ａ₁ｐ＋ｓ'Ａ₂ｐ （１３） 複比Ｃ_P はｓ／ｓ’と等しい。

【００４３】次に、シーンの中のどちらかの参照平面に
ものっていない、１つの選ばれた参照点Ｐ₀ （図には示
されていない）の２つの像平面ψ１とψ２上の射影をそ
れぞれｐ₀とｐ₀’とすると、上述したのと同様に、 ｐ₀' :＝: Ａ₁ｐ₀＋ｓ₀Ａ₂ｐ₀ （１４） ｖ' :＝: Ａ₁ｐ₀＋ｓ'Ａ₂ｐ₀ （１５） となる（ｓ'の値はｐによらず一定であるため、式（１
５）のｓ'は式（１３）のｓ'と等しい）。ｓ₀／ｓ'は複
比Ｃ_P0＝〈Ｐ₀，Ｏ，Ｐ_0π1，Ｐ_0π2〉に等しい。ただ
し、Ｐ_0π1及びＰ_0π2は、線分Ｐ₀Ｏが参照平面π１及
びπ２とそれぞれ交わる点である。

【００４４】複比の比Ｃ_p／Ｃ_P0は射影不変量、すなわ
ち２つのカメラの位置及びそれぞれの内部パラメータと
は独立の値となる。これを「κ」とおくと、 κ＝Ｃ_p／Ｃ_P0＝ｓ／ｓ₀ （１６） となる。

【００４５】κの値は次のようにして求められる。ま
ず、参照点Ｐ₀ の像平面ψ１への射影である点ｐ₀ の斉
次座標（ｘ₀，ｙ₀，１）と、同じく像平面ψ２への射影
である点ｐ₀' の斉次座標（ｘ₀'，ｙ₀'，１）を用いて、
射影変換Ａ₁とＡ₂が次の式（１７）を満たすようにスケ
ール合わせする（原寸のままか、縮小あるいは拡大す
る）。 ｐ₀' :＝: Ａ₁ｐ₀＋Ａ₂ｐ₀ （１７） （この場合は、各々の射影変換は三次元正方行列で表さ
れる。より高次あるいは低次の射影空間での変換に対し
ては、射影変換はそれに応じて行や列の要素が増減す
る）。

【００４６】次に、対象点Ｐの像平面ψ１への射影ｐの
斉次座標（ｘ，ｙ，１）と、同じく像平面ψ２つ上の射
影ｐ'の斉次座標（ｘ'，ｙ'，１）、及び式（１７）に
よりスケール合わせをした後のＡ₁とＡ₂を用いて、次の
式（１８）によりκの値を定める。 ｐ' :＝: Ａ₁ｐ＋κＡ₂ｐ （１８） （詳細は、Amnon Shashua, “Projective Structure fr
om Uncalibrated Images: Structure from Motion and
Recognition", IEEE Tr. on PAMI, Vol.16, No.8，pp.7
78〜790 (1994) 参照）。

【００４７】シーンの中の各点Ｐのκの値は点Ｏの位置
によらず、したがってシーンのどのような射影変換、す
なわち、スケーリング、引き延ばし、せん断、正則点の
無限遠点への写像などによるシーンの厳密な変換のもと
でも変わらない（すなわち不変である）。

【００４８】従って、このような方法により、画像撮像
装置の射影の中心とシーン内の各点Ｐまでの深さは、射
影表現κで置き換えられる。式（１７）と式（１８）か
らわかるように、κは像平面ψ１及びψ２上の各点Ｐの
射影ｐ及びｐ’からのみで決定される。画像撮像装置に
補正が加えられても、これらの射影はそれには依存しな
い。なぜならば、画像撮像装置の内部パラメータの変更
は記録された画像の射影変換を引き起こすが、上述した
ように、κはその変換に対して不変であるからである。

【００４９】図３についての上述した議論から、射影変
換生成部４が、シーンの中の各点について、２つの像平
面上に射影されたそれぞれの点の座標及び上述した射影
の深さの不変量κの値を用いて、ある１つの画像撮像装
置の射影中心Ｏとの相対位置を決定することができる、
ということが必然的に導かれる。

【００５０】これまで述べたように、画像解析モジュー
ル１４は、三次元シーン内の任意の８つの参照点を用い
て、エピポール座標の生成と、２つの射影変換の生成
と、スケール合わせを行う。また、画像解析モジュール
１４は、同一平面上に存在する４点を構成するグループ
を１つ識別できるならば、それらを射影変換の生成のた
めに用い、同一平面上に存在する４点以外の５番目と６
番目の点をエピポールの座標を決定するために、５番目
の点を２つ目の射影変換を生成するために、６番目の点
をスケール合わせを行うために用いる。さらに、画像解
析モジュール１４は、もし、画像内の同一平面上の４点
を構成するグループを２つ識別できるならば、それらを
用いて２つの射影変換を生成し、それら２つのいずれの
グループにも属さない点をスケール合わせを行うために
用いる。

【００５１】上述のように、画像解析モジュール１４
は、２つの異なった地点ＯとＯ’で画像を記録した２つ
の画像を用いて、再構成すべき対象物上の点Ｐに対する
射影の深さの不変量κを求め、これによって画像の中の
対象物を再構成することができる。測定精度に限界があ
るため、おのおのの画像にエラーが入り込むかもしれな
いが、このようなエラ一は複数の“ｍ”個の画像を記録
し、最小自乗法でそれらを処理することによって減少さ
せることができる。

【００５２】すなわち、各々の一対の画像に対して、１
つの深さの不変量κが上で述べたように生成される。同
じ次元を持つベクトルａ，ｂ，ｃが与えられ、かつκが
ａ :＝: ｂ＋κｃを満たすスカラー量であるならば、深
さの不変量κの値は次のような最小自乗法を用いて求め
ることができる。

【００５３】

【数３】

【００５４】同様に、もし、他のベクトルの集合ａ',
ｂ',ｃ'があり、ａ':＝: ｂ'＋κｃ'を満たすスカラー
量κがあるなら、κは両方のベクトルの集合ａ，ｂ，
ｃ，ａ'，ｂ'，ｃ'から最小自乗法を用いて次のように
κを決定することができる。

【００５５】

【数４】

【００５６】式（１９）を一般化して、もし、Ａ_1ijと
Ａ_2ijを、それぞれの“ｍ”個の画像に対して２つの参
照平面π１とπ２を介して像平面ψｉからψｊに写像す
る射影変換とし、“ｐ_i” をある点Ｐのｉ番目の像平面
ψｉへの射影座標とするならば、κに対する最小自乗法
による解は次の式（２１）で与えられる。

【００５７】

【数５】

【００５８】（３−２）．対象点の深さの値として相対
アフィン深さの値を決定する場合 ２つの参照平面の代わりに唯１つの参照平面π１だけを
使う簡単なものとして、深さの値生成部７が相対アフィ
ン深さの不変量ｋを求め、それを用いて画像撮像装置１
１で記録された画像内の対象物の相対的なアフィン構造
を決定する方法がある。相対的なアフィン構造は次のよ
うに記述される。

【００５９】（ａ） もし、点ＯとＯ’に置かれた画像
撮像装置１１Ａ及びＢがそれぞれ像平面ψ１とψ２上の
画像を記録し、（ｂ） 三次元射影空間Ｐ³ の中の同一
平面上にない４つの点Ｐ_j （ｊ＝０，１，２，３）が、
それぞれ（二次元射影空間Ｐ² の中の）像平面ψ１とψ
２上の点ｐ_j とｐ_j' （ｊ＝０，１，２，３）に射影す
るものとし、

【００６０】（ｃ） 点ｖとｖ' をそれぞれ像平面ψ１
とψ２上のエピポールとし、（ｄ） Ａを、Ａｐ_j :＝:
ｐ_j （ｊ＝１，２，３）及びＡｖ :＝: ｖ'で定義され
る単一の参照平面πを介して行われる二次元射影空間Ｐ
² 上での射影変換、あるいは共線変換とし、（ｅ） エ
ピポールｖ' の座標がｐ₀' :＝: Ａｐ₀＋１ｖ' を満た
すように、Ａのスケール合わせを行うならば、それぞれ
の像平面ψ１とψ２上の点ｐとｐ’に射影する画像内の
どの点Ｐに対しても次の式が成り立つ。 ｐ₀' :＝: Ａｐ＋ｋｖ' （２２）

【００６１】ここで、“ｋ”は相対アフィン深さの不変
量であり、その値は画像撮像装置が置かれた位置Ｏ’及
びその画像撮像装置が関係する像平面ψ２の向きには依
存しない。従って、それぞれの像平面ψ１とψ２上に射
影ｐとｐ’を与える点Ｐの斉次座標は（ｘ，ｙ，１，
ｋ）で表される。また、（ｘ，ｙ，１）はその点の像平
面ψ１上の射影の斉次座標であり、“ｋ”は式（２２）
に従って決定される点Ｐに対する相対アフィン深さの不
変量の値を表す。点Ｐに対する相対アフィン深さの不変
量ｋは、位置Ｏと点Ｐの間の線分に沿って測った参照平
面と点Ｐの間の距離と位置Ｏと点Ｐの間の距離の比を、
参照点Ｐ₀ に対して同じように求めた比で正規化した比
率である。すなわち、次式（２３）のようになる。

【００６２】

【数６】

【００６３】ただし、点Ｐ'及び点Ｐ₀' は、線分ＯＰ及
び線分ＯＰ₀ がそれぞれ参照平面と交わる点である。こ
の場合、画像の相対アフィン深さｋは、すべての像平面
の対ψｉとψｊ（ｉ≠ｊ）に対して記録された像に対し
て不変である射影深さの不変量κと異なって、像平面ψ
１に対して固定されており、ｋの値は二次元画像を記録
する他の像平面ψｊ（ｊ≠１）を定義する位置Ｏ’に対
して不変である。このような観点から、深さの値生成部
７は、第２の参照平面π２を使わないということ以外
は、既に（３−１）で述べた処理と同様な処理を行うこ
とができる。

【００６４】複数の画像から射影深さの不変量κを決定
するために最小自乗法を用いたと同様に、深さの値生成
部７は、射影の中心をＯ_j'（ｊ＝２，・・・，ｍ）とす
る像平面ψ_j （ｊ＝２，・・・，ｍ）上に記録された複
数の画像を用いて相対アフィン深さｋを決定するため
に、射影の中心をＯ₁ とする像平面ψ１上に記録された
１つの画像を参照画面として、最小自乗法を用いること
ができる。すなわち、もし、参照平面π１を介して像平
面ψ１上に記録された画像を像平面ψ_j（ｊ＝２，・・
・，ｍ）上に写像する射影変換をＡ_j 、像平面ψ_j（ｊ
＝２，・・・，ｍ）に対する像平面ψ１上のエピポール
をｖ_j 、対象物のある点Ｐの像平面ψ_j への射影をｐ_j
と表すものとすれば、画像解析モジュール１４は、最小
自乗法による相対アフィン深さの不変量ｋを次式（２
４）に従って決定することができる。

【００６５】

【数７】

【００６６】相対アフィン深さｋは、従来言われていた
意味での画像の中の深さ（すなわち、射影の中心あるい
は像平面からの距離）と同様なものであるので、その値
は参照画像として使われる画像の画像撮像装置の位置に
依存する。しかし、従来言われていた意味での深さと異
なり、相対アフィン深さｋは画像を記録するために使わ
れる画像撮像装置の内部パラメータに対して不変であ
る。

【００６７】（４）三次元座標生成部９（図４のＳ１０
５参照） （４−１）．アフィン深さからの三次元座標の生成 三次元座標生成部９は、三次元シーン内の対象物の点の
像平面ψ１への射影の座標と、相対アフィン深さｋを使
って、三次元シーン内の対象物の三次元ユークリッド構
造を決定することができる。最初に、像平面ψ１に関す
る画像撮像装置１１の内部パラメータは補正されている
ものと仮定する。その場合、その内部パラメータの３次
元正方行列Ｍ（式（１）参照）は単位行列Ｉ（行列の対
角要素は１であり、その他の要素は０である）となる。
すなわち、Ｍ＝Ｉである。もし、画像として記録された
三次元シーン内の対象物のある点をＰ、像平面ψ１上の
点Ｐの射影をｐと表すものとすると、Ｐ＝ｚｐが成り立
つ。ここで、ｚは点Ｐに対して生成された相対アフィン
深さｋを使って生成される位置Ｏから点Ｐまでの深さの
値である。

【００６８】もし、参照平面を記述するパラメータを
ｒ、ｓ、ｄとし、点Ｐの位置Ｏに置かれた画像撮像装置
が向いている方向に存在する参照平面π上の射影点を
Ｐ”とするならば、参照平面π上のどの点Ｐ”に対して
も、Ｐ"＝（ｘ"，ｙ"，ｚ"）∈π、ｘ"ｒ＋ｙ"ｓ＋ｚ"
＝ｄが成り立ち、ｄ／√（ｒ²＋ｓ²＋１）が参照平面π
から画像撮像装置の射影の中心位置Ｏまでの距離にな
る。ｒ，ｓ及びｄの値は、例えば三次元シーンを具体的
に測定することによって与えることができる。画像撮像
装置が補正されているので、Ｐ"＝μｐとなる。ここ
で、距離として与えられるμは、 μ＝ｄ／（ｘｒ＋ｙｓ＋１） （２５） である。ただし、ｘとｙは点Ｐの像平面ψ１上の射影の
座標を表す。式（２３）から次式（２６）が導かれる。

【００６９】

【数８】

【００７０】ここで、ｚ₀ は参照点Ｐ₀ から位置Ｏまで
のあらかじめ与えられた距離であり、μ₀ に関しては次
式（２７）が成り立つ。 μ₀＝ｄ／（ｘ₀ｒ＋ｙ₀ｓ＋１） （２７） ただし、ｘ₀ とｙ₀ は点Ｐ₀の像平面ψ１上の射影の座
標を表す。従って、参照平面πを定義するさまざまなパ
ラメータと、位置Ｏから画像内の参照点Ｐ₀ までの距離
を用いることにより、シーン内の対象物上のどの点Ｐに
対しても、点Ｐから位置Ｏまでの距離ｚを、（２２）式
と（２４）式で決定した相対アフィン深さｋから決定す
ることができる。すでに注意したように、各々の点Ｐに
対する相対アフイン深さｋの値は画像撮像装置の内部パ
ラメータに対して不変であり、したがって、画像撮像装
置の内部補正の誤差はｋの値には影響を与えない。内部
補正の誤差は、ユークリッド的な再構成では、射影変換
にまで（すなわち、スケーリング、せん断、引き伸ばし
にまで）影響を及ぼすことがある。いずれにしても、こ
の発明による再構成は、画像の再構成に両方の画像撮像
装置の内部補正を必要とする従来の方法を使うよりは優
れている。

【００７１】もし、画像撮像装置が両方とも内部補正さ
れていない場合は、Ｐ＝ｚｐという仮定は成り立たない
かもしれない。その場合、画像解析モジュール１４は、
ある画像内の対象物を三次元ユークリッド的に再構成す
るために、射影幾何学の伝統的な手段を利用することが
できる。すなわち、もし、三次元ユークリッド空間内の
５点の座標が与えられるならば、画像解析モジュール１
４は、これまでの技術を使って、像平面ψ１に関係する
点の座標表現（ｘ，ｙ，１，ｋ）からシーン内のどのよ
うな点Ｐのユークリッド座標をも生成することのできる
４次元正方行列で表される射影変換を生成することがで
きる。

【００７２】（４−２）．射影深さからの三次元座標の
生成 シーンの三次元ユークリッド構成を、シーン内の各点の
例えばψ１などの像平面への射影の座標と各点のそれぞ
れの射影深さの不変量κから決定する手順は、２つの参
照平面π１及びπ２に含まれるパラメータを使うという
こと以外は、基本的には式（２２）ないし（２４）に関
して述べた方法と同様のものである。この場合は、参照
平面π１はパラメータｒ₁、ｓ₁、ｄ₁ によって、参照平
面π２はパラメータｒ₂、ｓ₂、ｄ₂ によって決定され
る。シーン内の点Ｐの像平面ψ１への射影をｐとする
と、Ｐ＝ｚｐが成り立つ。また、点Ｐの参照平面π１と
π２上への射影点Ｐ_π1とＰ_π2には、それぞれＰ_π1＝
μｐ 及びＰ_π2＝ρｐという関係がある。ただし、 μ ＝ｄ₁／（ｘｒ₁＋ｙｓ₁＋１） （２８） ρ ＝ｄ₂／（ｘｒ₂＋ｙｓ₂＋１） （２９） である。ここで、ｘとｙは点Ｐの像平面ψ１への射影ｐ
の座標を表す。この場合、次式（３０）が成り立つ。

【００７３】

【数９】

【００７４】ただし、ｚ₀，μ₀，ρ₀ は、シーン内の参
照点Ｐ₀ に対するｚ，μ，ρに対応するパラメータであ
る。三次元座標生成部９は、シーン内の対象物上の各点
Ｐのｘ、ｙの座標及びｚを決定することができ、したが
って、対象物の三次元（ユークリッド）構成を決定する
ことができる。

【００７５】以上要約すると、この発明は次のことを要
旨とする。この発明に係る三次元シーン再構成システム
は、複数の異なった位置に置かれた画像撮像装置で記録
されたある三次元シーンに対する画像と結びつけられて
作用するものであって、エピポールを生成する手段、射
影変換を生成する手段、深さの値を生成する手段、及び
三次元ユークリッド座標を生成する手段を有することを
要旨とする。

【００７６】また、この発明の三次元シーン再構成シス
テムは、上記エピポール座標生成手段では、エピポール
の位置、すなわち複数の画像撮像装置のそれぞれの射影
の中心を結ぶ線分が、画像が記録されているおのおのの
像平面と交わる点の座標を決定するために、選ばれたい
くつかの参照点のそれぞれの射影の座標を、あるいは画
像が記録された像平面同士の射影変換と選ばれたいくつ
かの参照点のそれぞれの射影の座標を用いることを要旨
とする。

【００７７】また、この発明の三次元シーン再構成シス
テムは、射影変換生成手段では、画像の中のすべての点
の座標と関係する射影変換を生成するために、選ばれた
いくつかの参照点のそれぞれの射影の座標と、必要に応
じてエピポールの座標を使うことを要旨とする。

【００７８】さらに、この発明の三次元シーン再構成シ
ステムは、深さの値の生成手段では、画像撮像装置群の
うちの少なくともひとつの画像撮像装置の位置からある
点までの距離を表す深さの値を生成するために、射影変
換生成手段で生成された射影変換と、必要に応じて上記
エピポール座標生成手段で生成されたエピポール座標
と、基準の深さを生成するためのひとつの参照点の射影
の座標を使うことを要旨とする。

【００７９】最後に、この発明の三次元シーン再構成シ
ステムは、三次元座標生成手段では、画像の中にある対
象物上の点（対象点）の三次元座標を生成するために、
対象点の射影の座標と、同じく対象点の深さの値と、参
照平面の三次元ユークリッド空間内での方程式あるいは
いくつかの参照点の三次元ユークリッド座標と、ひとつ
の付加的な参照点の射影の座標と三次元座標における深
さの値を用いることにより、対象物の三次元ユークリッ
ド構造を決定することを要旨とする。

【００８０】したがって、この発明の三次元シーン再構
成システムでは、三次元シーン内の対象物を異なる位置
で撮影した複数の画像に対して、三次元シーン内の複数
の参照点の二次元画像上でのそれぞれの座標から各像平
面上でのエピポールの位置を求め、三次元シーン内の任
意の３点のそれらの二次元画像上でのそれぞれの座標と
画像上でのエピポール座標から上記３点で規定される平
面（参照平面）を介した各像平面間の射影変換を求め、
同じように上記の参照平面とは異なる平面（参照平面）
を構成する３点のそれらの画像上でのそれぞれの射影座
標と像平面上でのエピポール座標から第２の参照平面を
介した各像平面間の射影変換を求め、いずれの参照平面
にも属さないひとつの付加的な参照点の各像平面上での
それぞれの射影座標から射影変換の正規化を行い、正規
化を行った射影変換あるいは射影変換とエピポールを用
いて三次元シーン内の任意の点（対象点）の像平面上の
射影座標からその点の深さの値を求め、対象点の射影座
標及び深さの値と、参照平面あるいはいくつかの参照点
の三次元ユークリッド空間内での位置と、付加的な参照
点の射影座標と三次元座標における深さの値から対象点
の三次元ユークリッド座標を求めることができる。

【００８１】また、二次元画像内から同一平面上に存在
する任意の４点を選ぶことができる場合は、その４点の
各像平面上のそれぞれの射影座標から上記同一平面を参
照平面とする射影変換を直接求め、その射影変換と上記
同一平面に属さない三次元シーン内の任意の２点の各像
平面上のそれぞれの射影座標から各像平面のエピポール
を求め、上記同一平面と異なる平面を構成する三次元シ
ーン内の３点の各像平面上のそれぞれの射影座標とエピ
ポールから２つめの射影変換を求め、それら２つの射影
変換から上で述べた方法で以下三次元シーン内の任意の
点の三次元座標を求めることができる。

【００８２】さらに、三次元シーン内から２つの異なる
同一平面上に存在するそれぞれ４点の組を２組選ぶこと
ができるならば、直接２つの異なる射影変換を求め、そ
れら２つの射影変換から上で述べた方法で以下三次元シ
ーン内の任意の点の三次元座標を求めることができる。

【００８３】

【発明の効果】以上の説明から明らかなように、この発
明に係る三次元シーン再構成システムによれば、画像撮
像装置により異なった複数の位置で撮像した二次元画像
に基づき三次元シーンを再構成する三次元シーン再構成
システムにおいて、参照点の各二次元画像内での座標を
用いて三次元シーン内の各対象点の像平面上への射影座
標を関連付ける射影変換を生成する射影変換生成手段
と、上記射影変換生成手段で生成された射影変換を正規
化した射影変換と三次元シーン内の対象点の射影座標を
用いて上記画像撮像装置の位置から該対象点までの距離
を表すための深さの値を生成する深さの値生成手段と、
三次元シーン内の参照点及び対象点の各像平面上の射影
座標と、該対象点の深さの値と、参照平面の三次元ユー
クリッド座標軸での方程式または参照点の三次元ユーク
リッド座標とに基づいて対象点の三次元ユークリッド座
標を生成して三次元シーン情報を得る三次元座標生成手
段とを備えているので、三次元シーンを複数の異なった
位置から撮像した二次元画像に基づいて再構成する際、
画像撮像手段に付随するパラメータの補正を要すること
がなく、三次元シーン内の対象物を四則演算のみで再構
成して精度の高い三次元シーン情報を得ることができ
る。

【００８４】また、各像平面内におけるエピポールの座
標を生成するエピポール座標生成手段をさらに備え、上
記射影変換生成手段は、上記エピポール座標生成手段で
生成されたエピポールと参照点の各二次元画像内での座
標を用いて三次元シーン内の各点の像平面上への射影座
標を関連付ける射影変換を生成すると共に、上記深さの
値生成手段は、上記エピポール座標生成手段で生成され
たエピポールの座標と上記射影変換生成手段で生成され
た射影変換を正規化した射影変換及び二次元画像内の対
象点の射影座標を用いて上記画像撮像装置の位置から該
対象点までの距離を表すための深さの値を生成すること
により、三次元シーン内の対象物を四則演算のみで再構
成して精度の高い三次元シーン情報を得ることができ、
測定誤差が三次元座標の誤差に与える影響を小さくする
ことができるだけでなく、計算時間を短縮できる。

【００８５】また、上記エピポール座標生成手段は、三
次元シーン内に存在する８点以上の参照点の画像を撮影
する複数の像平面への射影に基づいて各像平面上のエピ
ポールの座標を生成することにより、線形演算を用いて
容易にエピポールの座標を求めることができる。

【００８６】また、上記エピポール座標生成手段は、三
次元シーン内の参照平面を介して行われる２つの像平面
上の画像同士間の射影変換と、いずれも参照平面上には
存在しない三次元シーン内の２点以上の点に基づいて各
像平面上のエピポールの座標を生成することにより、線
形演算を用いて容易にエピポールの座標を求めることが
できる。

【００８７】また、上記射影変換生成手段は、三次元シ
ーン内の異なる３点の参照点の複数の像平面上への射影
と各像平面上のエピポールの座標に基づいて射影変換を
求めることにより、線形演算を用いて容易に射影変換を
求めることができる。

【００８８】また、上記射影変換生成手段は、三次元シ
ーン内の同一平面上に存在する異なる４点以上の参照点
の複数の像平面上への射影に基づいて射影変換を求める
ことにより、線形演算を用いて容易に射影変換を求める
ことができる。

【００８９】また、上記深さの値生成手段は、三次元シ
ーン内の対象点の各像平面上への射影の座標をもとに１
つの像平面上の画像に対して三次元シーン内の１つの参
照平面を介して行われる複数の像平面上の画像へのそれ
ぞれの射影変換とその参照平面上には存在しない三次元
シーン内の１つの参照点の各像平面上への射影の座標に
基づいて対象点の深さの値として相対アフィン深さの値
を決定することにより、相対アフィン深さの値を四則演
算を用いて容易に求めることができる。

【００９０】また、上記深さの値生成手段は、三次元シ
ーン内の対象点の像平面上での射影の座標をもとに２つ
の異なる参照平面を介して行われる複数の像平面上の画
像同士間のそれぞれ２組の射影変換といずれの参照平面
上にも存在しない三次元シーン内の１つの参照点の各像
平面上への射影の座標に基づいて対象点の深さの値とし
て射影深さの値を決定することにより、射影深さの値を
四則演算を用いて容易に求めることができる。

【００９１】また、上記三次元座標生成手段は、三次元
シーン内の対象点の像平面上の射影座標と、対象点の深
さの値と、深さの値を求めるときに用いた参照平面を表
す三次元ユークリッド空間内での方程式と、対象点の深
さの値を求めるときに用いた１つの参照点の像平面上で
の射影座標と三次元ユークリッド空間における深さの値
に基づいて対象点の三次元ユ一クリッド座標を求めるこ
とにより、対象点の三次元ユークリッド座標を四則演算
を用いて容易に求めることができる。

【００９２】さらに、上記三次元座標生成手段は、三次
元シーン内の対象点の像平面上の射影座標と、対象点の
深さの値と、三次元シーン内の異なる５点以上の参照点
の三次元ユークリッド座標と、それらの参照点の像平面
上の射影座標と深さの値に基づいて対象点の三次元ユー
クリッド座標を求めることにより、対象点の三次元ユー
クリッド座標を四則演算を用いて容易に求めることがで
きる。

【図面の簡単な説明】

【図１】 この発明に係る三次元シーン再構成システム
を説明するもので、あるシーン内の対象物を再構成する
ためのシステムの概要図である。

【図２】 図１の画像解析モジュール１４の詳細な構成
図である。

【図３】 図１に描かれたシステムにおける処理を理解
するのに役立つための、三次元シーンとエピポール及び
射影変換の関係を示す説明図である。

【図４】 図１の画像解析モジュール１４の各部動作の
処理手順を示すフローチャートである。

【符号の説明】

１ 二次元画像群、２ 参照点の射影座標算出部、３
エピポール座標生成部、４ 射影変換生成部、５ 射影
変換正規化部、６ 対象点の射影座標算出部、７ 深さ
の値生成部、９ 三次元座標生成部。

Claims (10)

【特許請求の範囲】
1. 【請求項１】 画像撮像装置により異なった複数の位置
   で撮像した二次元画像に基づき三次元シーンを再構成す
   る三次元シーン再構成システムにおいて、 参照点の各二次元画像内での座標を用いて三次元シーン
   内の各対象点の像平面上への射影座標を関連付ける射影
   変換を生成する射影変換生成手段と、 上記射影変換生成手段で生成された射影変換を正規化し
   た射影変換と二次元画像内の対象点の射影座標を用いて
   上記画像撮像装置の位置から該対象点までの距離を表す
   ための深さの値を生成する深さの値生成手段と、 三次元シーン内の参照点及び対象点の各像平面上の射影
   座標と、該対象点の深さの値と、参照平面の三次元ユー
   クリッド座標軸での方程式または参照点の三次元ユーク
   リッド座標とに基づいて対象点の三次元ユークリッド座
   標を生成して三次元シーン情報を得る三次元座標生成手
   段とを備えたことを特徴とする三次元シーン再構成シス
   テム。
2. 【請求項２】 各像平面内におけるエピポールの座標を
   生成するエピポール座標生成手段をさらに備え、上記射
   影変換生成手段は、上記エピポール座標生成手段で生成
   されたエピポールと参照点の各二次元画像内での座標を
   用いて三次元シーン内の各対象点の像平面上への射影座
   標を関連付ける射影変換を生成すると共に、上記深さの
   値生成手段は、上記エピポール座標生成手段で生成され
   たエピポールの座標と上記射影変換生成手段で生成され
   た射影変換を正規化した射影変換及び三次元シーン内の
   対象点の射影座標を用いて上記画像撮像装置の位置から
   該対象点までの距離を表すための深さの値を生成するこ
   とを特徴とする請求項１記載の三次元シーン再構成シス
   テム。
3. 【請求項３】 上記エピポール座標生成手段は、三次元
   シーン内に存在する８点以上の参照点の画像を撮影する
   複数の像平面への射影に基づいて各像平面上のエピポー
   ルの座標を生成することを特徴とする請求項２記載の三
   次元シーン再構成システム。
4. 【請求項４】 上記エピポール座標生成手段は、三次元
   シーン内の参照平面を介して行われる２つの像平面上の
   画像同士間の射影変換と、いずれも参照平面上には存在
   しない三次元シーン内の２点以上の点に基づいて各像平
   面上のエピポールの座標を生成することを特徴とする請
   求項２記載の三次元シーン再構成システム。
5. 【請求項５】 上記射影変換生成手段は、三次元シーン
   内の異なる３点の参照点の複数の像平面上への射影と各
   像平面上のエピポールの座標に基づいて射影変換を求め
   ることを特徴とする請求項２ないし４のいずれかに記載
   の三次元シーン再構成システム。
6. 【請求項６】 上記射影変換生成手段は、三次元シーン
   内の同一平面上に存在する異なる４点以上の参照点の複
   数の像平面上への射影に基づいて射影変換を求めること
   を特徴とする請求項１記載の三次元シーン再構成システ
   ム。
7. 【請求項７】 上記深さの値生成手段は、三次元シーン
   内の対象点の各像平面上への射影の座標をもとに１つの
   像平面上の二次元画像に対して三次元シーン内の１つの
   参照平面を介して行われる複数の像平面上の画像へのそ
   れぞれの射影変換とその参照平面上には存在しない三次
   元シーン内の１つの参照点の各像平面上への射影の座標
   に基づいて対象点の深さの値として相対アフィン深さの
   値を決定することを特徴とする請求項５記載の三次元シ
   ーン再構成システム。
8. 【請求項８】 上記深さの値生成手段は、三次元シーン
   内の対象点の像平面上での射影の座標をもとに２つの異
   なる参照平面を介して行われる複数の像平面上の画像同
   士間のそれぞれ２組の射影変換といずれの参照平面上に
   も存在しない三次元シーン内の１つの参照点の各像平面
   上への射影の座標に基づいて対象点の深さの値として射
   影深さの値を決定することを特徴とする請求項６記載の
   三次元シーン再構成システム。
9. 【請求項９】 上記三次元座標生成手段は、三次元シー
   ン内の対象点の像平面上の射影座標と、対象点の深さの
   値と、深さの値を求めるときに用いた参照平面を表す三
   次元ユークリッド空間内での方程式と、対象点の深さの
   値を求めるときに用いた１つの参照点の像平面上での射
   影座標と三次元ユークリッド空間における深さの値に基
   づいて対象点の三次元ユ一クリッド座標を求めることを
   特徴とする請求項１ないし８のいずれかに記載の三次元
   シーン再構成システム。
10. 【請求項１０】 上記三次元座標生成手段は、三次元シ
    ーン内の対象点の像平面上の射影座標と、対象点の深さ
    の値と、三次元シーン内の異なる５点以上の参照点の三
    次元ユークリッド座標と、それらの参照点の像平面上の
    射影座標と深さの値に基づいて対象点の三次元ユークリ
    ッド座標を求めることを特徴とする請求項１ないし８の
    いずれかに記載の三次元シーン再構成システム。