JP3476710B2 - ユークリッド的な３次元情報の復元方法、および３次元情報復元装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明はカメラ等からの画
像を処理する画像処理に関し、特に、画像を処理するこ
とにより環境の情報を獲得する画像処理・画像認識の分
野および画像から３次元的な位置および距離を計測する
画像計測の分野に関する。

【０００２】

【従来の技術】［参考文献］この分野に関連する参考文
献として以下のものがあげられる。

【０００３】

【表１】

【０００４】［用語の定義］以下に、本明細書で使用す
る主な用語についてその定義を記載する。

【０００５】「未校正カメラ」とはカメラの位置、姿
勢、レンズの焦点距離などの知識が事前に得られないカ
メラをいう。

【０００６】「対応点」とはある物体の複数個の画像内
での、物体上の同一点の画像位置のことをいう。

【０００７】「射影的な復元（Projective Reconstruct
ion）」とは、異なる位置または異なる姿勢で撮影した
複数枚の画像から、ある種の不定性を含んで３次元情報
を復元することをいう。

【０００８】「基礎行列（Fundamental Matrix）」と
は、射影的な復元を行うための、２枚の画像間の幾何学
的な関係を記述する３行×３列、ランク（階数）２の行
列のことをいう。

【０００９】「ユークリッド的な復元」とは、ここで
は、対象物体の形は知ることができるが、その大きさが
不定な３次元情報を復元することをいう。

【００１０】［従来技術の要旨］ 対象物体をカメラで撮影し、対象物体の３次元情報を画
像だけから推定する問題は、コンピュータビジョン、画
像認識の分野の中心的な問題である。特に、カメラの位
置、姿勢、レンズの焦点距離などの知識が事前に得られ
ないカメラ（未校正カメラと呼ばれる）で撮影された画
像を用いて対象物体の３次元情報を復元する手法が注目
されている。

【００１１】これらの手法を適用するには、画像間で、
対応点を決定する必要がある。対応点を求める手法は様
々なものが提案されている。その多くは、画像内で、画
素の輝度の変化の激しい場所を画像のエッジとして抽出
し、相関を用いて計算している。対応点の画像上での座
標が一旦決定されれば、幾何学的な投影関係を使って対
象物体の３次元情報を得ることができる。

【００１２】未校正画像から３次元情報を復元するため
には、異なる位置または異なる姿勢で撮影した複数枚の
画像が必要である。しかも、これだけでは３次元情報は
一意には決定できず、復元された情報はある種の不定性
を含んでいる。このように不定性を残して３次元情報を
復元する手法は射影的な復元（Projective Reconstruct
ion）と呼ばれる。射影的な復元の初期の論文として[2]
および[10]が有名である。また[7]は、様々な射影的な
復元の手法を比較している。

【００１３】射影的な復元を行うためには、まず２枚の
画像間の幾何学的な関係を計算する必要がある。この関
係は３行×３列、ランク（階数）２の行列で記述され、
この行列は基礎行列（fundamental Matrix）と呼ばれ
る。

【００１４】基礎行列の計算は３次元情報の復元を行う
最初のステップとなるが、その計算は必ずしも容易では
ない。特に、この計算は画像に含まれるノイズの影響を
大きく受け、そのため基礎行列を精度良く計算すること
は困難であった。そこで、[4]では、最適な評価関数を
導入し、基礎行列を精度良く、そしてその信頼性の評価
までも同時に計算する手法を提案している。また[9]
は、基礎行列を計算する様々なアルゴリズムの性能を評
価し、数値計算上で様々な工夫が施され、十分な精度の
計算方法を提案している。

【００１５】２枚の画像間での基礎行列が計算できる
と、次に、複数枚の画像間の関係も記述することが可能
になる。２枚だけでなく、３枚以上の画像の情報を使用
すると、射影的復元ではなく、より不定性の少ないユー
クリッド的な復元が可能となる。ここでいうユークリッ
ド的な復元とは、対象物体の形は知ることができるが、
その大きさが不定なものである。ユークリッド的な復元
では、物体の長さの比や、角度等が正確に復元できる。
未校正カメラから得られた３枚以上の画像からのユーク
リッド的な復元に関する手法は[8]、[5]および[1]によ
って実現されている。

【００１６】

【発明が解決しようとする課題】基礎行列を計算するた
めの手法のうち[4]で提案されているKanataniの最適推
定法は、精度も良く、信頼性も同時に得られるという優
れた特性を持つが、数値計算上の不安定さが残されてい
る。すなわちこの手法では、反復計算が収束すれば基礎
行列を精度良く推定できるが、収束しない場合も少なく
ないという問題がある。また[9]の手法では、基礎行列
の信頼性を得ることができないという問題がある。

【００１７】また、ユークリッド的な復元に関する手法
には、いずれも数値計算上の不安定さが付きまとい、い
かなる画像データに適用した場合でも良好な結果が得ら
れる訳ではないという問題がある。

【００１８】さらに、従来の技術では、対応点の抽出、
基礎行列の計算、およびユークリッド的な復元への変換
の個々の技術の改良に関する研究はあったが、これらを
統合して実現したものはなかった。

【００１９】それゆえに本発明の目的は、基礎行列を、
その信頼性とともに精度良く安定して計算することによ
って、未校正カメラで撮影した複数枚の画像から３次元
情報を精度良く復元するようにできる基礎行列を求める
ための方法、ユークリッド的な3次元情報復元方法およ
び３次元情報復元装置を提供することである。

【００２０】この発明の他の目的は、射影的な復元から
ユークリッド的な復元への変換を安定にかつ精度良く行
えるようにすることにより、未校正カメラで撮影した複
数枚の画像から３次元情報を精度良く復元するようにで
きる基礎行列を求めるための方法、ユークリッド的な3
次元情報復元方法および３次元情報復元装置を提供する
ことである。

【００２１】この発明のさらに他の目的は、未校正カメ
ラで撮影した複数枚の画像からの対応点の抽出、基礎行
列の計算およびユークリッド的な復元の一連のステップ
を統合した３次元情報復元装置を提供することである。

【００２２】

【課題を解決するための手段】請求項１に記載の発明に
かかるユークリッド的な３次元情報復元方法は、正方ピ
クセルを有し、かつスキューのない未校正カメラによっ
て撮影された、対象物体を異なる角度から撮影した３枚
以上の画像データから、画像の対の間の射影的な射影行
列の組を求めるステップと、各射影的な射影行列に対応
する２次元射影座標系からユークリッド的な空間の座標
系への基底変換行列を求めるステップと、基底変換行列
を用いて画像データからユークリッド的な３次元情報の
復元を行うステップとを含み、基底変換行列を求めるス
テップは、射影的な射影行列の正準形の左３×３小行列
からＱＲ分解を用いて未校正カメラの内部パラメータの
初期値を推定し、基底変換行列の初期値を準備するステ
ップと、３枚以上の画像データに基づいて、推定された
初期値から誤差評価関数を用いて反復計算することによ
り基底変換行列を求めるステップとを含み、誤差評価関
数は、スキューを表現するパラメータの絶対値である第
１の項と、正方ピクセルの第１の辺の大きさで正規化さ
れたカメラのレンズの焦点距離の誤差の絶対値を表現す
る第２の項と、正方ピクセルの第１の辺と直交する第２
の辺の大きさで正規化されたレンズの焦点距離の誤差の
絶対値を表現する第３の項とを、３枚以上の画像データ
の画像間の対応点について集計する関数である。

【００２３】 請求項１に記載の方法によれば、Ｂｏｕ
ｇｎｏｕｘの手法において見られた、自明な解に収束す
るという欠点が除去され、より安定して頑健に解を得る
ことができる。

【００２４】 請求項２に記載の発明にかかる方法は、
請求項１に記載の発明の構成に加えて、射影的な射影行
列の組を求めるステップは、画像間の対応点の組から、
画像間の関係を記述する基礎行列を求めるステップと、
基礎行列に基づいて所定の整合条件を満足する射影的な
射影行列の組を求めるステップとを含み、基礎行列を求
めるステップは、未校正カメラによって撮影された、対
象物体を異なる角度から撮影した３枚以上の画像データ
を準備するステップと、画像データに対してＨａｒｔｌ
ｅｙの非等方変換を行うステップと、Ｈａｒｔｌｅｙの
非等方変換によって変換された画像データに対して、Ｋ
ａｎａｔａｎｉの最適推定法を適用して各画像間の基礎
行列を計算するステップとを含む。

【００２５】 請求項２に記載の方法によれば、請求項
１に記載の発明の作用効果に加えて、基礎行列を求める
際にＫａｎａｔａｎｉの最適推定法を用いるに先立っ
て、データに対して非等方変換を行うので、Ｋａｎａｔ
ａｎｉの最適推定法における初期値の計算の精度が大き
く向上する。その結果、Ｋａｎａｔａｎｉの最適推定法
における数値計算が安定し、より精度高く基礎行列が求
められ、結果としてユークリッド的な３次元情報の精度
が向上する。

【００２６】 請求項３に記載の発明にかかる３次元情
報復元装置は、正方ピクセルを有し、かつスキューのな
い未校正カメラによって撮影された、対象物体を異なる
角度から撮影した３枚以上の画像データから、画像の対
の間の射影的な射影行列の組を求めるための手段と、各
射影的な射影行列に対応する２次元射影座標系からユー
クリッド的な空間の座標系への基底変換行列を求めるた
めの手段と基底変換行列を用いて画像データからユーク
リッド的な３次元情報の復元を行うための手段とを含
み、基底変換行列を求めるための手段は、射影的な射影
行列の正準形の左３×３小行列からＱＲ分解を用いて未
校正カメラの内部パラメータの初期値を推定し、基底変
換行列の初期値を準備するための手段と、３枚以上の画
像データに基づいて、推定された初期値から誤差評価関
数を用いて反復計算することにより基底変換行列を求め
るための手段とを含み、誤差評価関数は、スキューを表
現するパラメータの絶対値である第１の項と、正方ピク
セルの第１の辺の大きさで正規化されたカメラのレンズ
の焦点距離の誤差の絶対値を表現する第２の項と、正方
ピクセルの第１の辺と直交する第２の辺の大きさで正規
化されたレンズの焦点距離の誤差の絶対値を表現する第
３の項とを、３枚以上の画像データの画像間の対応点に
ついて集計する関数であり、射影的な射影行列の組を求
めるための手段は、画像間の対応点の組から、画像間の
関係を記述する基礎行列を求めるための手段と、基礎行
列に基づいて所定の整合条件を満足する射影的な射影行
列の組を求めるための手段とを含み、基礎行列を求める
ための手段は、未校正カメラによって撮影された、対象
物体を異なる角度から撮影した３枚以上の画像データを
準備するための手段と、画像データに対してＨａｒｔｌ
ｅｙの非等方変換を行うための手段と、Ｈａｒｔｌｅｙ
の非等方変換によって変換された画像データに対して、
Ｋａｎａｔａｎｉの最適推定法を適用して各画像間の基
礎行列を計算するための手段とを含む。

【００２７】 請求項３に記載の発明によれば、基礎行
列を求める際にＫａｎａｔａｎｉの最適推定法を用いる
に先立って、データに対して非等方変換を行うので、Ｋ
ａｎａｔａｎｉの最適推定法における初期値の計算の精
度が大きく向上する。さらに、そうして得られた基礎行
列から射影的な射影行列を求め、さらにユークリッド的
な３次元情報の復元を行うときに、Ｂｏｕｇｎｏｕｘの
手法において見られたように、自明な解に収束するとい
う欠点が除去される。その結果、Ｋａｎａｔａｎｉの最
適推定法における数値計算が安定し、より精度高く基礎
行列が求められることと併せて、ユークリッド的な３次
元情報を、より安定し、精度高く、かつ頑健に得ること
ができる。

【００２８】

【００２９】

【００３０】

【発明の実施の形態】［ハードウェア構成］以下、本発
明の実施の形態にかかる３次元情報復元装置について説
明する。この３次元情報復元装置は、パーソナルコンピ
ュータまたはワークステーションなど、コンピュータ上
で実行されるソフトウェアにより実現される。図１に、
この３次元情報復元装置の外観を示す。

【００３１】図１を参照してこの３次元情報復元装置
は、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory ）
ドライブ５０およびＦＤ（Flexible Disk）ドライブ５
２を備えたコンピュータ本体４０と、コンピュータ本体
４０に接続された表示装置としてのディスプレイ４２
と、同じくコンピュータ本体４０に接続された入力装置
としてのキーボード４６およびマウス４８と、コンピュ
ータ本体４０に接続された、画像を取込むためのカメラ
３０を含む。この実施の形態の装置では、カメラ３０と
してはビデオカメラを用い、カメラ３０の前で対象物体
を移動させながら得た複数枚の画像に対して後述する３
次元情報復元処理を行うものとする。

【００３２】図２に、この３次元情報復元装置の構成を
ブロック図形式で示す。図２に示されるようにこのシス
テム２０を構成するコンピュータ本体４０は、ＣＤ−Ｒ
ＯＭドライブ５０およびＦＤドライブ５２に加えて、そ
れぞれバス６６に接続されたＣＰＵ（Central Processi
ng Unit）５６と、ＲＯＭ（Read Only Memory)５８と、
RAM（Random Access Memory）６０と、ハードディスク
５４と、カメラ３０からの画像を取込むための画像取込
装置６８とを含んでいる。ＣＤ−ＲＯＭドライブ５０に
はＣＤ−ＲＯＭ６２が装着される。ＦＤドライブ５２に
はＦＤ６４が装着される。

【００３３】既に述べたようにこの３次元情報復元装置
の主要部は、コンピュータハードウェアと、ＣＰＵ５６
により実行されるソフトウェアとにより実現される。一
般的にこうしたソフトウェアはＦＤドライブ５２、ＦＤ
６４などの記憶媒体に格納されて流通し、ＣＤ−ＲＯＭ
ドライブ５０またはＦＤドライブ５２などにより記憶媒
体から読取られてハードディスク５４に一旦格納され
る。または、当該装置がネットワークに接続されている
場合には、ネットワーク上のサーバからハードディスク
５４に一旦コピーされる。そうしてさらにハードディス
ク５４からＲＡＭ６０に読出されてＣＰＵ５６により実
行される。なお、ネットワーク接続されている場合に
は、ハードディスク５４に格納することなくＲＡＭ６０
に直接ロードして実行するようにしてもよい。図５およ
び図６に示したコンピュータのハードウェア自体は一般
的なものである。したがって、本発明の最も本質的な部
分はＦＤドライブ５２、ＦＤ６４、ハードディスク５４
などの記憶媒体に記憶されたソフトウェアである。

【００３４】なお、最近の傾向として、コンピュータの
オペレーティングシステムの一部として様々なプログラ
ムモジュールを用意しておき、アプリケーションプログ
ラムはこれらモジュールを随時呼び出して処理を進める
方式が一般的である。そうした場合、当該３次元情報復
元装置を実現するためのソフトウェア自体にはそうした
モジュールは含まれず、当該コンピュータでオペレーテ
ィングシステムと協働してはじめて３次元情報復元装置
が実現することになる。しかし、一般的なプラットフォ
ームを使用する限り、そうしたモジュールを含ませたソ
フトウェアを流通させる必要はなく、それらモジュール
を含まないソフトウェア自体およびそれらソフトウェア
を記録した記録媒体（およびそれらソフトウェアがネッ
トワーク上を流通する場合のデータ信号）が実施の形態
を構成すると考えることができる。

【００３５】なお図１および図２に示したコンピュータ
自体の動作は周知であるので、ここではその詳細な説明
は繰返さない。 ［概略構成］図３を参照して、本実施の形態の装置で
は、固定したカメラ３０（未校正カメラ）の前で対象物
体７０を任意に運動させて撮影し、得られた複数枚の画
像７２−１〜７２−ｎｉからそこに写っている対象物体
７０の３次元情報を復元する。またはカメラで対象物体
を異なる複数方向から撮影して得た複数枚の画像から３
次元情報を復元してもよい。

【００３６】本実施の形態の装置は、以下の３つのステ
ップからなる方法を用いて３次元情報を復元する。 （１） 対象物体７０を撮影した複数枚の画像７２−１
〜７２−ｎ_iから、画像間で対応点を探索し、決定する
（７４）。 （２） 得られた複数枚の画像７２−１〜７２−ｎ_i間
での対応関係から、エピポーラ幾何学を援用し、３次元
射影空間での３次元情報を復元する（７６、７８）。 （３） こうして得られた３次元射影空間での３次元情
報をユークリッド空間での３次元情報に変換する（８
０）。

【００３７】ここでは、撮像素子が正方であること以
外、カメラに関する拘束はない。また仮に撮像素子が正
方でなくとも、後述するように所定の変換を行うことで
撮像素子が正方であるものとして取扱うことができる。

【００３８】上述した手法のうち、本実施の形態の眼目
となるのは以下の点である。 （１） 基礎行列の計算（７６）において、従来技術で
あるKanataniの最適推定法[4]と、Hartleyの画像正規化
手法[3]を組合わせ、より頑健に、安定に解を推定でき
る新しい手法を用いる。 （２） ユークリッド的な３次元復元（８０）におい
て、Bougnouxの手法[1]の、自明な解に収束するという
欠点を回避するような新たな手法を用いる。 （３） 画像の入力、対応点の探索、３次元形状の復元
まで組合わせ、一貫したシステムとして提案する。

【００３９】以下、図７の画像７２−１〜７２−ｎ_iが
得られたものとして、ステップ７４以下の処理をどのよ
うに行うかについて説明する。 ［対応点の決定］まずカメラ３０によって対象物体７０
を撮影して得た複数枚の画像７２−１〜７２−ｎ_iの間
で、対応点を決定する。この決定には従来の手法を利用
することができる。

【００４０】たとえば、各画像において画素の輝度の変
化の激しい場所をエッジとして抽出し、さらにエッジの
連続したものを物体の輪郭として抽出する。抽出された
輪郭のうち、曲率の大きな点を対応点の候補とし、画像
間でのそれらの相関に基づいて対応点を決定する。 ［基礎行列の計算］最初に、基礎行列の計算において使
用する数式について以下に記載する。説明中では随時こ
れら数式を参照する。

【００４１】

【数１】

【００４２】未校正画像x_j ⁽ⁱ⁾を、画像ｉのｊ番目の特
徴点の、画像上での２次元射影空間の座標であるものと
する。さらにχ^Sを、画像集合Ｓにわたる、対応点の組
とする。たとえば、χ_j ^{1,2}=(x_j ⁽¹⁾, x_j ⁽²⁾)であり、
χ_j ^{{1, 2}}∈χ{1, 2}である。ただし、{1, 2}は、画像
番号の集合を表している。

【００４３】Ｓを{1, 2, ..., n_i}とする。もしn_p個（n
_p≧９）の対応点の集合χ^Sが与えられたなら、Kanatani
の最適推定法[4]を用いて、２枚の画像間の関係を記述
する基礎行列を計算することができる。具体的には、χ
^{1,k}、(k=2,...,nⁱ)、|χ^{{1 ,k}}|=n_pから、３×３、ran
k ２の基礎行列Ｆ_1kを計算する。基礎行列Ｆ_1kでは、す
べての対応点の組(x⁽¹⁾, x^(k))について、式（１）が成
立する。

【００４４】つまり、χ^{1,k}の全ての要素について式
（１）が成立している。Kanataniの最適推定法では、対
応点の組χ^{1,k}だけでなく、χ_j ^{1,k}∈χ^{{1, k}}の、正
規化された共分散行列V₀[x_j ⁽¹⁾]やV₀[x_j ^(k)]を必要とす
る。これら行列はｘに含まれるノイズの分布形状を表し
ている。実際のｘの共分散行列V[x]と、V₀[x]との関係
は式（２）の通りとなる。ただし、この式（２）におけ
るεはノイズレベルと呼ばれ、ノイズの大きさを表して
いる。ここでは、V₀[x]=diag(1,1, 0)と仮定している。
（「diag」は、かっこ内の要素を主対角線上の要素とす
る対角行列を表す。）この仮定は、画像データの座標に
乗るノイズがガウスノイズである場合には十分に良い近
似である。

【００４５】Kanataniの最適推定法の利点は、基礎行列
F_1kを計算できるだけでなく、画像データに乗るノイズ
レベルε_1kを推定できる点である。ノイズレベルε_1kを
利用することで、画像データのアウトライヤー（間違っ
た対応づけ）除去等を行うためのしきい値を、経験的な
値を用いることなく統計的に決定することが可能にな
る。

【００４６】Kanataniの最適推定法の中核は、くり込み
法と呼ばれる数値計算法である。このくり込み法では、
まず線形解法により初期値を得る。その後、真の解に到
達するまで反復的に解を計算していく。この方法では、
必ずしも真の解に収束することが保証されているわけで
はなく、発散してしまう場合も少なくない。その原因
は、初期値を計算する線形解法に問題があるためと考え
られる。すなわち、初期値と真の解とが大きく異なって
いる場合に、反復計算の結果が収束しなくなるものと予
想される。

【００４７】ここで、Hartleyは、[3]において線形計算
法の精度を大きく向上させる方法を提案している（Hart
leyの画像正規化手法）。これは、予め画像データに非
等方的な変換を施してから、基礎行列を線形計算で計算
する手法である。この手法により、数値的な安定性や精
度が大きく向上する。本実施の形態では、Hartleyの画
像正規化手法をKanataniの最適推定法と組合わせること
で、より一層安定して基礎行列を計算することを可能と
した。図４にその処理の流れを示す。

【００４８】図４を参照して、まず全ての画像ｉで、x_j
⁽ⁱ⁾、j=1,...,n_pに、Hartleyの非等方的変換を施す（９
０）。行列T_iを、画像ｉに施した非等方的変換行列であ
るとする。するとx_j ⁽ⁱ⁾が式（３）にしたがって変換さ
れる。この変換に対応して、Kanataniの最適推定法の、
正規化された共分散行列も式（４）に示されるように変
換しておく。こうして非等方的変換を施したデータに対
してKanataniの最適推定法を適用する（９２）ことによ
って、F_1k=T₁F'_1kT_kとノイズレベルε_1k=ε'_1kとを得
る。 ［射影的な復元］続いて、射影的な復元について説明す
る。ここで使用する数式についてまずまとめて掲げてお
く。以下の説明ではこの数式を随時参照する。

【００４９】

【数２】

【００５０】射影的な復元ではまず、χ^Sという対応点
の組と、基礎行列F_1k（k=2,..., n_i）が与えられたとき
に、その中から５点の対応点の組Y^Sを選択する。この５
点の組から、射影的な射影行列P_i, P₂, P₃, Pn_iを計算
する。射影的な射影行列P_iは、画像ｉと、３次元射影座
標系との間の関係を記述するものである。Ｙ^Sは、どの
４点も同一平面上にないことなど、所定の条件を満足す
るように選択する。図５にn_i=3の場合の例を示し、図６
にこの処理の流れを示す。以下これら図面を参照して説
明する。対応点の組の選択およびそこからの基礎行列の
計算は図５および図６のステップ１００に相当する。

【００５１】ここで、射影的な射影行列P_iを計算する方
法について述べる（ステップ１０２〜ステップ１０
８）。もしノイズが存在しないならば、[9]に述べられ
ているとおり、F_1kとy^{1,k}から、P'₁ ^(k), P'_k, k=2,
..., n_iを計算することができ（ステップ１０２）、y
^{1,2}とF₁₂から計算したP'₁ ⁽²⁾と、y^{1,k}とF_1k、2≠k
から計算したP'₁ ^(k)は一致する。つまり、P'₁ ⁽²⁾=P'₁
^(k)である。しかし、ノイズが存在する場合にはこれは
成立しない。

【００５２】ノイズが存在する場合でも、整合性のとれ
た射影行列の組（P₁, ..., Pn_i）を得るために、P'₁ ⁽²⁾
=P'₁ ^(k)H_k2, k=2, ..., n_iのようにP'₁ ^(k)をP'₁ ⁽²⁾に変
換するような、４×４のホモグラフィー行列H_k2を推定
する（ステップ１０４）。[3]にあるように、どのよう
な射影行列の対（P'₁ ^(k), P'^k)=も((I|0), P'_kX_1k)のよ
うに、正準形に変換でき、そのようなホモグラフィー行
列X_1kは式（５）のように定義される。

【００５３】よって、ホモグラフィー行列H_k2は、式
（６）にしたがって得られる。このホモグラフィー行列
H_k2を用いて、仮の射影行列の組(P"₁, P"₂, ..., P"n_i)
=(P'₁ ^{( 2)}, P'₂H₂₂, ..., P'n_iH_ni2)を作る（ステップ１
０６）。この中間的な射影行列の組(P"₁, P"₂, ..., P"
n_i)から、整合性のとれた射影行列(P₁, ..., Pn_i)を得
るために、以下のようなエピポーラ修正（Epipolar Adj
ustment）を使用する（ステップ１０８）。

【００５４】中間的な射影行列の組(P"₁, P"₂, ..., P"
n_i)と、対応点の組の集合χ^Sとから、P"_i, i=1, ..., n
_iの各１１個の要素を変化させながら、[6]に記載されて
いるパウエル法により式（７）に示す誤差関数を最小化
する。ただし式（７）中で使用されているdは式（８）
によって定義されるものである。基礎行列は、[9]に示
される方法を使って射影行列の組(P"_i, P"_k), 1≦i＜k
≦n_iから計算する。

【００５５】x_j ⁽ⁱ⁾=(u_j ⁽¹⁾, v_j ⁽¹⁾, 1)、x_j ^(k)=(u_j ^(k),
v_j ^(k), 1)と、射影行列P₁とP_kとから、X_jに対して射影
的な復元をするために、ここでも[9]の方法を用いる。p
₁ ^[i]とp_k ^[i]とをそれぞれ、行列P₁とP_kとのｉ行目のベ
クトルとする。すると、射影的な復元は、式（９）に示
す線形同次方程式を特異値分解して、その零空間を求め
ることと等価である。すなわち、Ａ^TＡの最小固有値に
対する固有ベクトルが解となる。[9]は、この方法が他
の射影的復元方法と比較してより優れていることを述べ
ている。

【００５６】しかし本発明では、より頑健性を向上させ
るために、行列Ａの１行目と２行目には重み１／ω
₁₂を、３行目と４行目には重み１／ω₃₄を乗じたものを
各ステップで用いて反復的に重み付き線形方程式を解く
ようにした。ここでω₁₂およびω ₃₄はそれぞれ式（１
０）（１１）により定義される値である。

【００５７】このように重み付線形方程式を反復的に解
くことにより、この最小化に幾何学的な意味付けをする
ことができる。すなわちこの操作は、抽出された画像上
の点と、その射影的な復元点X_jの画像への投影点との間
の画像上での距離を最小化していることになる。 [ユークリッド的な復元]以上のようにして求められた３
×４の射影行列の組(P₁,...,Pn_i)が与えられたときに、
現実の３次元空間に対応する３×４のユークリッド的な
射影行列の組（Ｐ₁，．．．，Ｐn_i）を計算しなくては
ならない（図７のステップ８０）。以下にその方法につ
いて説明する。この説明中で参照する数式を以下に掲げ
る。

【００５８】

【数３】

【００５９】

【数４】

【００６０】

【数５】

【００６１】このユークリッド的な射影行列Ｐ_k，k=1,
..., n_iは式（１２）によって定義される。ただし３×
３行列Ａ_kはカメラの内部パラメータの行列であり、Ｔ_k
はカメラの外部パラメータの行列である。さらに詳しく
言えば行列Ａ_kは式（１３）によって定義される。

【００６２】また行列Ｔ_kは式（１４）によって定義さ
れる。式（１４）中に現れる３×３行列Ｒ_kは回転行列
であり、ｔ_kは並進ベクトルを表す。

【００６３】各Ｐ_kについて次のような二つの拘束条件
が存在する。式（１２）より、式（１５）および（１
６）が得られる。この式（１５）および（１６）を、ア
スペクト比とスキューとを、行列Ｐ_kの左３×３小行列
の各行ベクトルと関連付けるために利用することができ
る。すなわち式（１７）および（１８）という式が満足
される必要がある。

【００６４】ユークリッド的な射影行列は、射影的な射
影行列の特別な場合に相当する。したがって、射影的な
射影行列から、ユークリッド的な射影行列を求めよとい
う問題は、射影的な座標系から、ユークリッド的な部分
空間の座標系への基底変換行列Ｈ（４×４、det(Ｈ)≠
0）を求めることと等価である。

【００６５】どのような射影的な射影行列P_kも、２次元
射影空間である画像から、同一の３次元射影空間の座標
系への射影を表している。したがって式（１９）により
x_j ^k=(u_j ^(k), v_j ^(k), 1)を求めることができる。ただし
ここで行列Ｐ_k=P_kＨ、k=1,...,n_iはユークリッド的な射
影行列であり、Ｈ^-1X_j、j=1,...,n_pは、復元すべきユー
クリッド的な３次元情報である。

【００６６】以後の説明では、カメラは正方ピクセル
（すなわちアスペクト比＝１）を持っているものとし、
スキューも存在しないものとする。式（１３）で述べた
とおりs_u ^(k), s_v ^(k)はピクセルの大きさを表すから、こ
の場合にはs_u ^(k),=s_v ^(k)であり、γ^(k)=0である。よっ
て、α^(k)=α_u ^(k)=α_v ^(k)でもある。正方ピクセルでな
いカメラを用いるのであればs_u ^(k),=s_v ^(k)は成立しない
が、対応点の射影座標x^(k)に３×３の変換行列diag(1,
s_v ^(k),/s_u ^(k), 1)を乗ずることにより、以後の説明を適
用することができる。

【００６７】正方ピクセルでありかつスキューのないカ
メラのホモグラフィー行列Ｈを求めるために、Bougnoux
の手法[1]を用いる。[1]では、射影的な射影行列の正準
形の組（式（２０）参照）から、パラメータ化された基
底変換行列Ｑ(α,ｑ）を推定している。Ｘを、式（５）
と同様に推定された、式（２１）を満たす行列とする
と、式（２２）としてＨが求められる。

【００６８】[1]では、初期化の過程で、すべてのkに対
してＡ₁=Ａ_kを仮定し、第１番目の画像の画像中心(u₀
⁽¹⁾, v₀ ⁽¹⁾)を(0, 0)に仮定して、Kruppa方程式を解く
ことでα⁽¹⁾を得ている。また、ユークリッド的な射影
行列の初期値を（Ａ₁｜0）に選ぶことで、Ｑ(α, ｑ)の
初期値（式（２２））を、（Ａ₁｜0）=（Ｉ｜0）Ｑ(α,
ｑ)から計算することができる。全てのkについてＡ₁=Ａ
_kであり、α=α⁽¹⁾なので、Ｑ(α, ｑ)の初期値はqを除
いて一意に決定できる。[1]にあるように、ｑ’=Ａ₁ｑ
とおくとＡ₁と式（２０）に示した正準形の組とから線
形方程式を作り、ｑ’を解くことができる。ｑ’が得ら
れれば、ｑ’=Ａ₁ｑをｑについて解くことによりｑが得
られる。

【００６９】ここで、ｑ’とその共分散行列COV[ｑ’]
を重み付きの最小二乗法で解いたときに最も良い結果が
得られた。この解法は、ｑ’の不定性に応じた重みを用
い、反復法と特異値分解とを用いて計算するものであ
る。ほぼ２回から３回の反復で解が得られる。この解は
他の一般的な解法によるものより、残差は大きいものの
不定性ははるかに小さい。

【００７０】[1]では、式（２３）および（２４）とい
う拘束条件を課すために、αとｑとを変化させながら非
線形最小化している。しかし、ユークリッド的な場合に
は式（１７）および（１８）では拘束が十分ではない。
なぜなら、式（２３）および（２４）の右辺を満たす自
明な解（式（２５））が存在するからである。

【００７１】したがって、式（２３）は式（２６）で置
き換えなければならない。また式（２４）が成立するの
は式（２７）が成立するときだけである。

【００７２】本実施の形態では、正しく最小化するため
に、式（２８）に示す誤差関数を最小化する。この最小
化には、パウエル法[6]を用いる。この線形方程式か
ら、必要となる画像の枚数は最小３枚であることが分か
る （[1]）。 ［実験結果およびその評価］ −基礎行列計算 本実施の形態で採用しているKanataniの最適推定法とHa
rtleyの画像正規化手法との組合せ手法の優位性を確認
するために、Kanataniの最適推定法を始め、[9]に記載
されている他の４つの方法と本願発明の採用した方法と
を比較した。比較した手法は以下のとおりである。 （１） 線形手法。基礎行列の要素を９次元ベクトルｆ
で表し、ｆの計算を固有値問題に帰着させて解いたも
の。‖ｆ‖＝１と正規化している。 （２） Hartleyの非等方的変換を施し、線形解法で解
いたもの （３） 各点と、その対応点のエピポーラ線との距離を
最小化する非線形解法 （４） 非線形解法３と類似しているが、誤差関数の傾
きで重み付けしたもの （５） Kanataniの最適推定法 （６） Kanataniの最適推定法を改良したもの（本願発
明） 実験には、コンピュータで生成した１００個の対応点デ
ータに標準偏差１ピクセルのノイズをのせたものに対し
て、各方法を用いて各画像のエピポール位置を求め、そ
の結果を正確な位置とそれぞれ比較した。結果を表２に
示す。ここで、表２の最上段には真のエピポールの位置
を示している。方法（１）〜方法（４）まではZhang[9]
で比較されている方法である。表２より、方法（２）
（３）（６）の精度が他とくらべて抜きん出ていること
が分かる。また、表２に示すとおり、正確なエピポール
の位置（表２の最上段）に最も近いのは、本発明にかか
る方法（６）を適用したものである。

【００７３】

【表２】

【００７４】また表３には、それぞれの手法のエピポー
ルの座標の平均二乗誤差（ＲＭＳ）を示した。ここで
「方法０」の欄に記入された値は、正確な値を表してい
る。

【００７５】

【表３】

【００７６】表３に示してあるとおり、ノイズレベルが
得られるのは手法（５）および（６）のみである。しか
も手法（６）の方がより正確なノイズレベルを表してい
ることも表３から容易に見てとれる。 −ユークリッド的な３次元復元 いくつかある実験結果のうち、模様のある剛体物体のユ
ークリッド的な３次元構造を復元する実験結果を示す。
図７はn_i=6枚の画像を示し、図８はn_p=50個の対応点の
組を示している。これらの対応点を用いて、基礎行列を
求めたり、ユークリッド的な復元したり、という一連の
処理を行った。n_i=6≧3であり、n_p=40≧9であるので、
データ数は十分である。さらに図７に示されるように、
これら６枚の画像を見ると、それぞれの画像内における
対象物体の位置、姿勢は十分に異なっており、ユークリ
ッド的な復元に適していることが分かる。

【００７７】なおこの処理の前提として、対応点につい
てはその位置の不定性があるのみで、対応関係について
は間違いがないものとする。５組の画像χ^{1,k}、k=
2,...,6を用いて、まず本発明にかかる基礎行列計算法
を用いて基礎行列を計算すると、ノイズレベルε_1k∈
[0.51, 0.68]となり全てのkにおいてエピポーラ幾何を
サブピクセルの精度で推定できた。

【００７８】さらに、３次元射影空間の基底は、対応点
の組Ｙ^S（Ｓ={1, ..., 6}）の中で５組の対応点χ^S、j
∈{10, 22, 38, 8, 35}を含むように決定した。図７か
ら明らかなように、これら５点のうちどの４点も平面上
またはほぼ平面上にないことが分かる。よって、理論的
に、これらの点がよい射影座標の基底となり得ることが
分かる。

【００７９】さて、P"_k上の上２×４小行列に注目する
と、このn_i・(2・4)個の要素の変化は、初期値に対して
最大1.51％であった。P"_kの下１×４小行列では、このn
_i・(1・4)個の要素の変化は初期値に対して最大0.06％
であった。

【００８０】この結果から、４０枚の画像の対応点の組
をサブピクセルの精度で説明できるような、射影的な射
影行列を求めることができたことになる。さらに、下１
×４小行列は無限遠平面を表しており、この平面はカメ
ラの内部パラメータに対応している。すなわち、非線形
なエピポーラ修正方法により、この無限遠平面の傾きを
0.02°以下の精度で推定できたことになる。

【００８１】ここで、図７に示す６枚の画像に対してBo
ugnouxの手法によるユークリッド的な復元方法を適用し
た。ここではα^(k)=f^(k)/s_u ^(k)=7.5/0.0099[pixel/mm]
を定数として与えた。さらに、１枚目の画像の画像中心
を(u₀ ⁽¹⁾, v₀ ⁽¹⁾)=(320, 240)に置いた。こうして非線
形最小化を施した後に、次の表４に示すようなカメラの
内部パラメータが求められた。表４において、各行は画
像番号を表す。

【００８２】

【表４】

【００８３】理想的には、α^(k)は1.0に、γ^(k)、s^(k)
はそれぞれ０になる筈である。また同一のカメラで各画
像を撮影しているので、焦点距離f^(k)は一定になる筈で
ある。実際にはもちろん画像にはノイズが必ず乗ってい
るので、正確な値は得られない。しかし表４に示すよう
に、本発明によれば焦点距離として理想値である757.6
にほぼ等しい値が得られている。

【００８４】こうして行われたユークリッド的な復元の
結果を図９に示す。対象物体は図７に示すように箱型の
物体である。図９に示すように、復元された３次元形状
の３つの面はそれぞれ平面でありかつ互いに直交しあっ
ており、図７に示す対象物体の形状が正確に復元されて
いることが分かる。

【００８５】以上のように本発明によれば、画像の対応
点の組を使って、特別な知識なしにユークリッド的な３
次元形状を復元することができる。特に、基礎行列計算
では、Kanataniの最適推定法に、Hartleyの画像正規化
手法に見られる非等方的な変換を施すことで、より頑健
で安定な解を得ることに成功した。また、精度の面から
いっても、他の、最も精度が良いとされている手法と比
較して遜色のないものが得られた。

【００８６】さらに、ユークリッド的な３次元形状の復
元に関しては、Bougnouxの手法を改良し、反復的な最小
二乗法を用いることでより不定性の少ない解を計算でき
るようになった。さらに、Bougnouxの手法の非線形最適
化の段階での自明な解への収束を防ぐことが可能になっ
た。

【００８７】今回開示された実施の形態はすべての点で
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の葉にによって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。

【図面の簡単な説明】

【図１】本発明の１実施の形態にかかるシステムの外観
図である。

【図２】本発明の１実施の形態にかかるシステムのハー
ドウェア的構成を示すブロック図である。

【図３】本発明の１実施の形態にかかるシステムでのデ
ータフローおよび処理の流れを示すフローチャートであ
る。

【図４】基礎行列の計算処理のフローチャートである。

【図５】画像データから射影的な３次元復元を行う処理
を模式的に示す図である。

【図６】射影的な３次元復元を行う処理のフローチャー
トである。

【図７】実験に用いた６枚の画像を示す図である。

【図８】実験で得られた対応点の組を示す図である。

【図９】実験におけるユークリッド的な復元の結果を示
す模式図である。

【符号の説明】

２０ ３次元情報復元装置 ３０ カメラ ７０ 対象物体 ７２−１〜７２−ｎ_i 画像

フロントページの続き (56)参考文献 特開 平10−143666（ＪＰ，Ａ) 特開 平９−91436（ＪＰ，Ａ) 特開 平11−37721（ＪＰ，Ａ) 特開 平10−240939（ＪＰ，Ａ) 金谷健一，画像理解のための統計学： 画像の幾何学的解釈の信頼性評価，情報 処理，日本，情報処理学会，1996年 １ 月，Ｖｏｌ．37，Ｎｏ．１，52−60 Ｈａｒｔｌｅｙ，Ｒ．Ｉ．，Ｉｎ ｄ ｅｆｅｎｃｅ ｏｆ ｔｈｅ ８−ｐｏ ｉｎｔ ａｌｇｏｒｉｔｈｍ，Ｇｏｍｐ ｕｔｅｒ Ｖｉｓｉｏｎ， 1995． Ｐ ｒｏｃｅｅｄｉｎｇｓ．， Ｆｉｆｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎ ｆｅｒｅｎｃｅ ｏｎ，米国，ＩＥＥ Ｅ，1995年 ６月，1064 −1070 木村敬介ほか，幾何学的ＡＩＣによる カメラモデル選択，情報処理学会研究報 告（99−ＣＶＩＭ−114），日本，情報 処理学会，1999年 １月22日，Ｖｏ. 99，Ｎｏ．３（ＣＶＩＭ−114−８）, 57−64 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 315 G01B 11/00 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 正方ピクセルを有し、かつスキューのな
   い未校正カメラによって撮影された、対象物体を異なる
   角度から撮影した３枚以上の画像データから、画像の対
   の間の射影的な射影行列の組を求めるステップと、 前記各射影的な射影行列に対応する２次元射影座標系か
   らユークリッド的な空間の座標系への基底変換行列を求
   めるステップと、 前記基底変換行列を用いて前記画像データからユークリ
   ッド的な３次元情報の復元を行うステップとを含み、 前記基底変換行列を求めるステップは、 前記射影的な射影行列の正準形の左３×３小行列からＱ
   Ｒ分解を用いて前記未校正カメラの内部パラメータの初
   期値を推定し、基底変換行列の初期値を準備するステッ
   プと、 前記３枚以上の画像データに基づいて、前記推定された
   初期値から誤差評価関数を用いて反復計算することによ
   り基底変換行列を求めるステップとを含み、 前記誤差評価関数は、スキューを表現するパラメータの
   絶対値である第１の項と、前記正方ピクセルの第１の辺
   の大きさで正規化された前記カメラのレンズの焦点距離
   の誤差の絶対値を表現する第２の項と、前記正方ピクセ
   ルの前記第１の辺と直交する第２の辺の大きさで正規化
   された前記レンズの焦点距離の誤差の絶対値を表現する
   第３の項とを、前記３枚以上の画像データの画像間の対
   応点について集計する関数である、ユークリッド的な３
   次元情報の復元方法。
2. 【請求項２】前記射影的な射影行列の組を求める前記ス
   テップは、 前記画像間の対応点の組から、画像間の関係を記述する
   基礎行列を求めるステップと、 前記基礎行列に基づいて所定の整合条件を満足する射影
   的な射影行列の組を求めるステップとを含み、 前記基礎行列を求めるステップは、 未校正カメラによって撮影された、対象物体を異なる角
   度から撮影した３枚以上の画像データを準備するステッ
   プと、 前記画像データに対してＨａｒｔｌｅｙの非等方変換を
   行うステップと、 前記Ｈａｒｔｌｅｙの非等方変換によって変換された画
   像データに対して、Ｋａｎａｔａｎｉの最適推定法を適
   用して各画像間の基礎行列を計算するステップとを含
   む、請求項２に記載のユークリッド的な３次元情報の復
   元方法。
3. 【請求項３】 正方ピクセルを有し、かつスキューのな
   い未校正カメラによって撮影された、対象物体を異なる
   角度から撮影した３枚以上の画像データから、画像の対
   の間の射影的な射影行列の組を求めるための手段と、 前記各射影的な射影行列に対応する２次元射影座標系か
   らユークリッド的な空間の座標系への基底変換行列を求
   めるための手段と前記基底変換行列を用いて前記画像デ
   ータからユークリッド的な３次元情報の復元を行うため
   の手段とを含み、 前記基底変換行列を求めるための手段は、 前記射影的な射影行列の正準形の左３×３小行列からＱ
   Ｒ分解を用いて前記未校正カメラの内部パラメータの初
   期値を推定し、基底変換行列の初期値を準備するための
   手段と、 前記３枚以上の画像データに基づいて、前記推定された
   初期値から誤差評価関数を用いて反復計算することによ
   り基底変換行列を求めるための手段とを含み、 前記誤差評価関数は、スキューを表現するパラメータの
   絶対値である第１の項と、前記正方ピクセルの第１の辺
   の大きさで正規化された前記カメラのレンズの焦点距離
   の誤差の絶対値を表現する第２の項と、前記正方ピクセ
   ルの前記第１の辺と直交する第２の辺の大きさで正規化
   された前記レンズの焦点距離の誤差の絶対値を表現する
   第３の項とを、前記３枚以上の画像データの画像間の対
   応点について集計する関数であり、 前記射影的な射影行列の組を求めるための前記手段は、 前記画像間の対応点の組から、画像間の関係を記述する
   基礎行列を求めるための手段と、 前記基礎行列に基づいて所定の整合条件を満足する射影
   的な射影行列の組を求めるための手段とを含み、 前記基礎行列を求めるための手段は、 未校正カメラによって撮影された、対象物体を異なる角
   度から撮影した３枚以上の画像データを準備するための
   手段と、 前記画像データに対してＨａｒｔｌｅｙの非等方変換を
   行うための手段と、 前記Ｈａｒｔｌｅｙの非等方変換によって変換された画
   像データに対して、Ｋａｎａｔａｎｉの最適推定法を適
   用して各画像間の基礎行列を計算するための手段とを含
   む、３次元情報の復元装置。