WO2009099117A1 - 平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラム - Google Patents

Abstract

多眼ステレオ画像を用いて平面パラメータを短時間で安定且つ精度良く推定する平面パラメータ推定装置を提供する。　多眼ステレオ画像の画像ペア毎に定まるヘッセ行列を含めて繰返し計算ごとに変化しない諸量を１度だけ計算する前処理計算部と、各画像ペアのヘッセ行列に基づき、１つの画像ペア又は２つの画像ペアを選択する画像ペア選択部と、選択された画像ペアに対して基準画像と参照画像の役割を入れ替えて定式化されたＳＳＤを第１のコスト関数とし、第１推定を別々に行う第１推定部と、第１のコスト関数の値の小さい方の第１推定の平面パラメータ推定値を初期値とし、ＳＳＤを全画像ペアから選択された多数の画像ペアについて加算したＳＳＳＤを第２のコスト関数とし、第２推定を行い、得られた推定値を平面パラメータとする第２推定部とを備える。また、第１推定及び第２推定における繰返し計算を行う際に諸量を利用する。

Description

平面パラメータ推定装置、 平面パラメータ推定方法及び 平面パラメータ推定プロ グラム

技術分野

明

本発明は、 デジタル画像処理技術に関し、 特に、 多眼ステ レオカ メ ラ で撮影された多眼ステ レオ画像 （多田眼ステ レオカメ ラで取得された複数 の画像データ） から、 撮影対象の平面の 3次元パラメータを推定する平 面パラメータ推定装置、 平面パラメータ推定方法及び平面パラ メータ推 定プログラムに関するものである。

背景技術

ステ レオ画像を利用 して、 平面の 3次元パラメータ （即ち、 平面の単 位法線と基準カメ ラの光学中心から平面までの距離） を推定する 「平面 パラメータ推定技術」 は、 例えば、 ロボッ ト歩行のための床面センシン グ （非特許文献 1 を参照） や、 ヘリ コプターの着陸のための地平面セン シング、 実物体のサーフェス生成 （非特許文献 2 を参照） など、 様々な アプリ ケーシ ョ ンに応用できる有用な技術である。 以下、 「平面の 3次 元パラメータ」 を単に 「平面パラメータ」 と も称する。

ステ レオ画像を利用して平面パラメータを精度よく 求めるには、 画像 間の S S D (Sura of S quared D i f f erenc e s)をコス ト関数と し、 最適ィ匕ァ ルゴリ ズムによってそのコス ト関数を最小にする平面パラメータを求め る、 いわゆる直接法が有効である （非特許文献 3 を参照） 。

しかし、 2 眼ステレオカメ ラで撮影された 2眼ステレオ画像を用いて 、 平面パラメータを推定する場合、 撮影対象のテク スチャがェピポーラ 線と平行なエッジによって構成されている と、 奥行き （基準カメ ラの光 学中心から平面までの距離） 推定に曖昧性が生じる問題が存在するこ と が知られてお り 、 このよ う な問題が生じた場合、 2眼ステ レオ画像によ る平面パラメータ推定が不可能となる。

ステ レオ計測の分野では、 上記のよ う な問題を解決する方法と して、 多眼ステレオカメ ラで撮影された多眼ステ レオ画像を利用 し、 S S S D (Sum of SSD)を評価するマノレチベー スライ ンァノレゴリ ズムが知られてい る （非特許文献 4 を参照） 。

従来、 S S S Dをコス ト関数と して利用 した多眼ステ レオカ メ ラで撮 影された多眼ステ レオ画像による平面パラメータ推定方法は、 非特許文 献 5 において定式化されており 、 そして、 非特許文献 6 において実用の ための平面パラメータの初期値の推定方法が提案されている。 非特許文 献 6 では、 8 自 由度の平面射影変換パラメータを求めてから、 3 自 由度 の平面パラメ ータを求めて平面パラメータの初期値と している。 しかし、 非特許文献 5及び非特許文献 6 に提案された、 多眼ステ レオ カメ ラで撮影された多眼ステ レオ画像による平面パラメータ推定方法を 利用 して、 平面パラメータを推定する場合では、 次のよ う な問題点があ る。

問題点その 1 ：

8 .自 由度を持つ平面射影変換パラメータを事前に推定するこ とは、 平 面パラメータ推定の安定性を損な う。

問題点その 2 ：

S S S Dのコス ト関数を最小化するための最適化計算アルゴリ ズムが 非効率である。 問題点その 3

多眼ステレオ力メ ラで撮影された多眼ステ レォ画像の全ての画像ペア

(全画像ペア） について加算した S S S Dをコス ト関数と しているため

、 つま り 、 平面パラメ一タ推定に悪影響を与える画像べァをち含めて、

S S S Dのコス ト関数を最適化しているため、 平面パラメ一タ推定の収 束の安定性が悪い o

問題点その 4 ：

- o 多眼ステ レオ力メ ラで撮影された多眼ステレォ画像の画像 ァ数に比 例して、 平面パラメータ推定するための計算コス トが大さ く な o ) ~

、 各画像ペアにおける S S Dは、 常に同一の更新量によつて小さ く なる とは言えないため 、 算出される更新量に競合が発生するこ とがめ 。 のこ とによ り 、 コス ト関数の最適化処理における繰返し計算回数が增加 し、 また、 平面パラメータ推定の失敗を引き起こす。

発明の開示

本発明は、 上述のよ う な事情から成されたものであ り 、 本発明の目的 は、 多眼ステ レオカ メ ラで撮影された多眼ステ レオ画像を利用 して、 撮 影対象の平面パラメータを短時間 （少ない計算コス ト） で安定且つ精度 良く推定する、 平面パラメータ推定装置、 平面パラメータ推定方法及び 平面パラメータ推定プロ グラムを提供するこ とにある。 本発明は、 既知の視点位置を持つ校正済みの多眼ステ レオカ メ ラによ つて撮影された多眼ステ レオ画像を用いて、 撮影対象の平面パラメータ を推定する平面パラメータ推定装置に関し、 本発明の上記目的は、 1 つ の基準画像、 前記基準画像上に設定された注目領域、 複数の参照画像、 カメ ラ内部パラメ一タ、 カメ ラ間の外部パラメータを入力と し、 画像べ ァ毎に定まるヘッセ行列を含めて繰返し計算ごとに変化しない複数のパ ラメータを 1 度だけ計算する、 前処理計算部と、 前記前処理計算部で算 出された各画像ペアのヘッセ行列に基づき、 前記多眼ステ レオ画像の全 画像ペアから、 1つの画像ペア又は 2つの画像ペアを選択する、 画像べ ァ選択部と、 前記画像ペア選択部で選択された、 前記 1 つの画像ペア又 は前記 2つの画像ペアに対して、 基準画像と参照画像の役割を入れ替え て定式化された S S Dを第 1 のコス ト関数と し、 前記第 1 のコス ト関数 を最適化アルゴリ ズムによ り最適化するこ とによ り 、 2眼ステ レオ画像 による平面パラメータ推定 （以下、 第 1推定と言う。 ） を別々に行い、 前記第 1 のコス ド関数の値の小さい方の前記第 1推定の平面パラメータ 推定値を前記平面パラメ ータ とする、 第 1推定部と を備え、 前記第 1推 定部で行われる前記第 1 推定において、 前記第 1 のコス ト関数を最適化 するための繰返し計算を行う際に、 前記複数のパラメータを利用するこ と によ り 、 或いは、 1 つの基準画像、 前記基準画像上に設定された注目 領域、 複数の参照画像、 カメ ラ内部パラメータ、 カメ ラ間の外部パラメ —タを入力と し、 画像ペア毎に定まるヘッセ行列を含めて繰返し計算ご と に変化しない複数のパラメータを 1 度だけ計算する、 前処理計算部と 、 前記前処理計算部で算出された各画像ペアのヘッセ行列に基づき、 前 記多眼ステレオ画像の全画像ペアから、 1つの画像ペア又は 2つの画像 ペアを選択する、 画像ペア選択部と、 前記画像ペア選択部で選択された 、 前記 1 つの画像ペア又は前記 2 つの画像ペアに対して、 基準画像と参 照画像の役割を入れ替えて定式化された S S Dを第 1 のコス ト関数と し 、 前記第 1 のコス ト関数を最適化アルゴリ ズムによ り最適化するこ とに よ り 、 2眼ステ レオ画像による平面パラメータ推定 （以下、 第 1推定と 言う。 ） を別々に行う、 第 1推定部と、 前記第 1 のコ ス ト関数の値の小 さい方の前記第 1 推定の平面パラメータ推定値を初期値と し、 前記 S S Dを前記全画像ペアから選択された多数の画像ペアについて加算した S S S Dを第 2 のコス ト関数と し、 前記第 2 のコス ト関数を前記最適化ァ ルゴリ ズムによ り最適化するこ とによ り 、 多眼ステ レオ画像による平面 パラメータ推定 （以下、 第 2推定と言う。 ） を行い、 得られた第 2推定 の平面パラメータ推定値を前記平面パラメータ とする、 第 2推定部とを 備え、 前記第 1推定部で行われる前記第 1 推定において、 前記第 1 のコ ス ト関数を最適化するための繰返し計算を行う際に、 前記複数のパラメ ータを利用 し、 前記第 2推定部で行われる前記第 2推定において、 前記 第 2のコス ト関数を最適化するための繰返し計算を行う際に、 前記複数 のパラメータを利用するこ とによって、 効果的に達成される。

また、 本発明の上記 目 的は、 前記最適化アル ゴ リ ズムは、 Gua s s - Newton 法に基づく アルゴ リ ズムである こ と によ り 、 或いは、 前記画像 ペア選択部では、 前記全画像ペアの う ち、 画像ペアにおけるヘッセ行列 の条件数が最小で、 且つその画像ペアを撮影したカメ ラ間のベースライ ン長が最小の画像ペアを、 前記 1つの画像ペア又は前記 2つの画像ペア と して選択するこ とによ り 、 或いは、 前記画像ペア選択部では、 前記全 画像ペアの う ち、 画像ペアにおけるヘッセ行列から算出された曲率が最 大で、 且つその画像ペアを撮影したカメ ラ間のベースライ ン長が最小の 画像ペアを、 前記 1 つの画像ペア又は前記 2 つの画像ペアと して選択す るこ とによ り 、 或いは、 前記曲率とは、 主曲率、 平均曲率、 ガウス曲率 の何れかであるこ とによ り 、 或いは、 前記全画像ペアを、 前記第 2推定 部で利用される前記多数の画像ペアと して利用するこ とによ り 、 或いは 、 所定の複数画像ペア選択基準によ り 、 前記全画像ペアから選択した、 前記画像ペア選択部で選択された前記 1 つの画像ペア又は前記 2 つの画 像ペアも含めた複数の画像ペアを、 前記第 2推定部で利用される前記多 数の画像ペアと して利用するこ と によ り、 或いは、 前記所定の複数画像 ペア選択基準とは、 前記第 2推定の初期値と して利用された前記第 1推 定の平面パラメータ推定値を用いて、 前記全画像ペアに対し、 前記 S S Dを計算し、 計算した結果が小さい画像ペアのみを前記第 2推定部で利 用される前記多数の画像ペアと して選択するものであるこ とによ り 、 或 いは、 前記第 1 の コ ス ト関数は、 ( T [Aw_n (u; Δρ„ (Aq))] - /„ [w„ ( u; p(q))])² ueROl に よ っ て 表 さ れ 、 前 記 第 2 の コ ス ト 関 数 は 、

T . I r[Aw„ (υ;Δρ„(Δς))] - /„ [w„ iu;p(q))])² に よ っ て 表 さ れ 、 た だ し 、

△w„(u;Ap„)は、 ΰ„ = (Ι + ΔΡ_η)ΰと表される座標変換式と等価な座標変換関数 であ り 、 ΔΡ„と Aqの関係は、 ΔΡ„ = _{τ τ} ¹ _{T T} R_n ^Tt_nAq^Tによって定め

l + q¾t_n + Aq¾_n られ、 ≡ Υ v (u)v„(u)} 、

b_n≡ Υ

)J(u)K„が成立し、 そ して、 R〇 ueROI

I は注目領域を表し、 Tは基準画像であり 、 基準画像上の点 u v)⁷"と n番目 の参照画像上における対応点 u„ニ ,^)⁷"との関係は同次座標表現 fi = (w,v,l , fi„ = (w_n,v„,l)^rを用レ、て、 ΰ„ = Ρ„ΰ及び P„= R„+ t„q^rで表され、 P„は 3 X 3 の平面射影変換行列を表し、 R_nは基準カメ ラ座標系と n番目 の カメ ラ座標系との間の回転行列を表し、 t„は平行移動べク トルを表し、 qは、 基準カメ ラ座標系における平面 Πを一意に定める 3次元べク トル で、 推定する平面パラメ ータを表し、 H„及び v„(u)は前記複数のパラメ ータであるこ とによってよ り効果的に達成される。

また、 本発明は、 既知の視点位置を持つ校正済みの多眼ステレオカメ ラによって撮影された多眼ステ レオ画像を用いて、 撮影対象の平面パラ メ ータを推定する平面パラメータ推定装置における平面パラメータ推定 方法に関し、 本発明の上記目的は、 1 つの基準画像、 前記基準画像上に 設定された注目領域、 複数の参照画像、 カメ ラ内部パラメータ、 カメ ラ 間の外部パラメータを入力と し、 画像ペア毎に定まるヘッセ行列を含め て繰返し計算ごとに変化しない複数のパラメータを 1度だけ計算する、 前処理計算ステ ップと 、 前記前処理計算ステ ップで算出された各画像ぺ ァのヘッセ行列に基づき、 前記多眼ステ レオ画像の全画像ペアから、 1 つの画像ペア又は 2つの画像ペアを選択する、 画像ペア選択ステップと 、 前記画像ペア選択ステ ップで選択された、 前記 1 つの画像ペア又は前 記 2つの画像ペアに対して、 基準画像と参照画像の役割を入れ替えて定 式化された S S Dを第 1 のコス ト関数と し、 前記第 1 のコス ト関数を最 適化アルゴリ ズムによ り最適化するこ とによ り 、 2眼ステ レオ画像によ る平面パラメータ推定 （以下、 第 1 推定と言う。 ） を別々に行い、 前記 第 1 のコス ト関数の値の小さい方の前記第 1 推定の平面パラメータ推定 値を前記平面パラメータ とする、 第 1 推定ステ ップと を有し、 前記平面 パラメータ推定装置は、 前記第 1推定ステ ップで行われる前記第 1推定 において、 前記第 1 のコス ト関数を最適化するための繰返し計算を行う 際に、 前記複数のパラメータを利用するこ とによ り 、 或いは、 1 つの基 準画像、 前記基準画像上に設定された注目領域、 複数の参照画像、 カメ ラ内部パラメータ、 カメ ラ間の外部パラメータを入力と し、 画像ペア毎 に定まるヘッセ行列を含めて繰返し計算ごとに変化しない複数のパラメ ータを 1度だけ計算する、 前処理計算ステ ップと 、 前記前処理計算ステ ップで算出された各画像ペアのヘッセ行列に基づき、 前記多眼ステ レオ 画像の全画像ペアから、 1 つの画像ペア又は 2つの画像ペアを選択する 、 画像ペア選択ステップと、 前記画像ペア選択ステ ップで選択された、 前記 1 つの画像ペア又は前記 2 つの画像ペアに対して、 基準画像と参照 画像の役割を入れ替えて定式化された S S Dを第 1 のコス ト関数と し、 前記第 1 のコス ト関数を最適化アルゴ リ ズムによ り最適化するこ と によ り 、 2眼ステ レオ画像による平面パラメータ推定 （以下、 第 1推定と言 う。 ） を別々に行う、 第 1 推定ステップと、 前記第 1 のコス ト関数の値 の小さい方の前記第 1 推定の平面パラメ タ is 値を初期値と し、 前記

S S Dを前記全画像ペアから選択された多数の画像ぺァについて加算し た S S S Dを第 2 のコス ト関数と し、 前記第 2 のせコス ト関数を前記最適 化アルゴリ ズムによ り最適化するこ とによ り 、 多眼ス S: テレオ画像による 平面パラメータ推定 (以下、 第 2推定と ラ 。 ） を行い、 得られた第 2 推定の平面パラメ一タ推定値を前記平面 ラメータ とする、 第 2推定ス テツプと を有し 、 記平面パラメータ推定装 記第 1推定ステツ プで行われる前記第 1 推定において、 前記第 1 のコス ト関数を最適化す るための繰返し計算を行う際に、 前記複数のパラメ一タを利用 し、 前記 平面パラメータ推定装置は、 前記第 2推定ステツプで行われる前記第 2 推定において、 、 '

目り記第 2 のコス ト関数を最 化するための繰返し計算を 行う際に、 前記複数のパラメータを利用する こ とによって、 効果的に達 成される。

更に、 本発明は、 既知の視点位置を持つ校正済みの多眼ステレオカメ ラによって撮影された多眼ステ レオ画像を用いて、 撮影対象の平面パラ メータを推定するために、 コンピュータを機能させるための平面パラメ ータ推定プロ グラムに関し、 本発明の上記目的は、 コ ンピュータを、 1 つの基準画像、 前記基準画像上に設定された注目領域、 複数の参照画像 、 カメ ラ内部パラメータ、 カメ ラ間の外部パラメータを入力と し、 画像 ペア毎に定まるヘッセ行列を含めて繰返し計算ごとに変化しない複数の パラメータを 1度だけ計算する、 前処理計算手段、 前記前処理計算手段 で算出された各画像ペアのヘッセ行列に基づき、 前記多眼ステ レオ画像 の全画像ペアから、 1 つの画像ペア又は 2 つの画像ペアを選択する、 画 像ペア選択手段、 前記画像ペア選択手段で選択された、 前記 1 つの画像 ペア又は前記 2つの画像ペアに対して、 基準画像と参照画像の役割を入 れ替えて定式化された S S Dを第 1 のコス ト関数と し、 前記第 1 のコス ト関数を最適化アルゴリ ズムによ り最適化するこ とによ り 、 2眼ステ レ ォ画像による平面パラメータ推定 （以下、 第 1 推定と言う。 ） を別々に 行い、 前記第 1 のコス ト関数の値の小さい方の前記第 1 推定の平面パラ メータ推定値を前記平面パラメータ とする、 第 1推定手段と して機能さ せ、 前記第 1 推定手段で行われる前記第 1推定において、 前記第 1 のコ ス ト関数を最適化するための繰返し計算を行う際に、 前記複数のパラメ ータを利用するこ とによ り 、 或いは、 コ ンピュータを、 1 つの基準画像 、 前記基準画像上に設定された注目領域、 複数の参照面像、 カメ ラ内部 パラメータ、 カメ ラ間の外部パラメータを入力と し、 画像ペア毎に定ま るヘッセ行列を含めて繰返し計算ごと に変化しない複数のパラメータを

1 度だけ計算する、 前処理計算手段、 前記前処理計算手段で算出された 各画像ペアのヘッセ行列に基づき、 前記多眼ステ レオ画像の全画像ペア から、 1 つの画像ペア又は 2つの画像ペアを選択する、 画像ペア選択手 段、 前記画像ペア選択手段で選択された、 前記 1 つの画像ペア又は前記

2つの画像ペアに対して、 基準画像と参照画像の役割を入れ替えて定式 化された S S Dを第 1 のコス ト関数と し、 前記第 1 のコ ス ト関数を最適 0

化アルゴリ ズムによ り最適化するこ とによ り 、 2眼ステ レオ画像による 平面パラメータ推定 （以下、 第 1推定と言う。 ） を別々に行う 、 第 1推 定手段、 前記第 1 のコス ト関数の値の小さい方の前記第 1推定の平面パ ラメータ推定値を初期値と し、 前記 S S Dを前記全画像ペアから選択さ れた多数の画像ペアについて加算した S S S Dを第 2 のコス ト関数と し 、 前記第 2 のコス ト関数を前記最適化アルゴリ ズムによ り最適化するこ とによ り 、 多眼ステ レオ画像による平面パラメータ推定 （以下、 第 2推 定と言う。 ） を行い、 得られた第 2推定の平面パラメータ推定値を前記 平面パラメータ とする、 第 2推定手段と して機能させ、 前記第 1推定手 段で行われる前記第 1推定において、 前記第 1 のコス ト関数を最適化す るための繰返し計算を行う際に、 前記複数のパラメータを利用 し、 前記 第 2推定手段で行われる前記第 2推定において、 前記第 2 のコ ス ト関数 を最適化するための繰返し計算を行う際に、 前記複数のパラメータ を利 用するこ とによって、 効果的に達成される。 図面の簡単な説明

第 1 図は、 本発明に係る平面パラメータ推定装置の一実施形態を示す ブロ ック構成図である。

第 2図は、 多眼ステ レオカメ ラ配置及び画像ペアイ ンデックスを説明 するための模式図である。

第 3図は、 本発明に係る平面パラメ ータ推定装置の処理手順を示す図 である。

第 4図は、 本発明に係る平面パラメータ推定装置起動後の処理手順を 示す図である。

第 5図は、 本発明に係る平面パラメータ推定装置の前処理計算部及び 画像ペア選択部の処理手順を示す図である。

第 6図は、 本発明に係る平面パラメータ推定装置の第 1推定部の処理 手順を示す図である。

第 7図は、 本発明に係る平面パラメータ推定装置の第 2推定部の処理 手順を示す図である。

第 8図は、 コ ンピュータグラフィ ッ ク スによって生成された 2 5眼ス テレオ画像 （合成画像） を示す図である。

第 9図は、 第 8図の 2 5眼ステ レオ画像から選択した基準画像 （合成 画像） を示す図である。

第 1 0図は、 第 8図の 2 5眼ステ レオ画像 （合成画像） を用いた場合 に、 各画像ペアによる平面パラメータ推定及び全画像ペアによる平面パ ラメータ推定の R M S E と繰返し回数との関係を示すグラフである。 第 1 1 図は、 第 8 図の 2 5眼ステレオ画像 （合成画像） を用いた場合 に、 各面像ペアにおけるヘッセ行列の条件数を示す図である。

第 1 2図は、 第 8 図の 2 5眼ステ レオ画像 （合成画像） を用いた場合 に、 各画像ペアにおけるヘッセ行列から導出されたガウス曲率を示す図 である。

第 1 3図は、 第 8 図の 2 5眼ステ レオ画像 （合成画像） を用いた場合 に、 各画像ペアにおけるヘッセ行列から導出された平均曲率を示す図で ある。

第 1 4図は、 第 8図の 2 5眼ステ レオ画像 （合成画像） を用いて本発 明を適用 した場合に、 本発明における繰返し回数による平面パラメータ 推定精度の変化を示す図である。

第 1 5図は、 第 8 図の 2 5眼ステ レオ画像 （合成画像） を用いて本発 明によって推定された平面パラメータを利用 して生成された仮想焦点面 画像を示す図である。

第 1 6 図は、 本発明の実施例 2 に利用 された実画像を撮影 した Viewplus社製の 2 5眼力メ ラを示す図である。

第 1 7 図は、 第 1 6図の 2 5眼力メ ラで撮影した 2 5眼ステ レオ画像 (実画像） を示す図である。

第 1 8 図は、 第 1 7図の 2 5眼ステ レオ画像 （実画像） を用いて本発 明によって推定された平面パラメータ を利用 して生成された仮想焦点面 画像を示す図である。 符号の説明

1 平面パラメータ推定装置

1 0 前処理計算部

2 0 画像ペア選択部

3 0 第 1 推定部

4 0 第 2推定部 発明を実施するための最良の形態

まず、 本発明の着眼点について説明する。

多眼ステ レオカ メ ラで撮影された多眼ステ レオ画像 （多眼ステ レオ力 メ ラで取得された複数の画像データ） を用いて、 撮影対象の平面パラメ —タを推定する平面パラメータ推定技術では、 画像ペアの画素値の差分 二乗和（S S D)を全画像ペアについて加算した S S S Dを、 コス ト関数 とする場合に、 そのコス ト関数を最適化するのに Gauss- Newton 法によ る繰返し計算が有効である。

しかし、 非特許文献 5及び非特許文献 6 に記載された従来の多眼ステ 3

レオ画像による平面パラメ一タ推定方法のコス ト関数を最適化するのに

、 Gau s s-Newt on 法を適用する と、 ヘッセ行列を繰返しごと に計算し直 さなければならず、 収束解を得るまでの計算コス トが非常に大きいとい う問題が発生してしま う。

一方、 非特許文献 7に開示されたよ う に、 本発明の発明者らによ り提 案された 「ステ レオ画像を用いた高速な平面パラメータ推定法」 では、 2眼ステ レオ画像を用いた平面パラメータ推定において、 基準画像と参 照画像の役割を入れ替えて S S D を定式化する こ と に よ り 、 Gau s s- Newt on 法における繰返し計算ごとのヘッセ行列がスケール倍を除いて 固定されるこ とが見出されている。 つま り 、 本発明の発明者らが提案し た 「 2眼ステ レオ画像による平面パラメータ推定方法」 では、 ヘッセ行 列がスケール倍を除いて固定される こ とから、 Gau s s - Newt on 法による 高速な平面パラメータ推定アルゴリ ズムを実現している。

そこで、 本発明の発明者らは、 自 らの研究成果である 「 2眼ステ レオ 画像による平面パラメータ推定方法」 （非特許文献 7 を参照） を、 多眼 ステ レオ画像による平面パラメータ推定に拡張し、 更に、 多眼ステ レオ 画像による平面パラメ一タ推定を 2段階で順次行う こ とによ り 、 多眼ス テレオ画像による高精度な平面パラメータ推定を安定に実現する と同時 に、 平面パラメータ推定の計算コス トの大幅な低減をも実現するよ う に した、 本発明の平面パラメータ推定装置、 平面パラメータ推定方法及び 平面パラメータ推定プロ グラムを発明した。

また、 前述したよ う に、 非特許文献 5及び非特許文献 6 に記載された 従来の多眼ステ レオ画像を用いた平面パラメ ータ推定方法では、 多眼ス テレオ画像の全画像ペアについて加算した S S S Dをコス ト関数と して いるため、 全画像ペアの中に平面パラメータ推定に悪影響を与える画像 4

ペアが存在するこ とがあり 、 その画像ペアが原因で多数の繰返し計算を 必要と した り 、 解が適切に収束しなかったりする という 問題点がある。

そこで、 本発明では、 多眼ステ レオ画像の全画像ペアから平面パラメ ータ推定に悪影響を与える画像ペアを排除する、 つま り 、 多眼ステ レオ 画像の全画像ペアから平面パラメータ推定に悪影響を与えない画像ペア のみを選択して、 選択された画像ペアを用いて平面パラメータ推定を 2 段階で順次行う という技術的思想を採用するこ とによ り 、 この問題点を 解決した。

要するに、 本発明では、 本発明の発明者らに提案された非特許文献 7 の 2眼ステ レオ画像を用いた平面パラメ一タ推定方法を多眼ステ レオ画 像による平面パラメータ推定に拡張するこ とによ り 、 多眼ステ レオ画像 の全画像ペアについて、 画像べァ毎に異なるヘッセ行列を算出するこ と ができる。 そして、 算出された ッセ行列は 、 対応する画像ペアのみを 用いて平面パラメータ推定を行ラ際に利用され、 そのヘッセ行列は繰返 し計算を通して変化しない。 特に 、 ヘッセ

行.列の条件数の小さ さは、 そ のヘッセ行列が対応する画像べァのみを用レ、て平面パラメータ推定を行 う際の解の安定性を示している と 曰 ん よつて、 ヘッセ行列が解に与 える影響を調べ、 良好な解が得られるへッセ行列を特定するこ とができ れば、 そのヘッセ行列を持つ画像ペア、 即ち 、 そのヘッセ行列が対応す る画像ペアは、 平面パラメータ推定に好ま しい画像ペアである と言える そこで、 本発明では、 多眼ステレオ画像の全画像ペアから得られた多 数の画像ペアを用いて、 多眼ステレオ画像による平面パラメータ推定 （ 以下、 単に 「第 2推定」 と も言う 。 ） を行 前に、 まず、 後述する本発 明の独自の画像ペア選択基準によ り 、 平面パラメ一タ推定に好ま しい画 像ペアを選択して、 選択された画像ペアを用いて、 2眼ステ レオ画像に よる平面パラメータ推定 （以下、 単に 「第 1推定」 と も言う。 ） を行う 次に、 第 1 推定で得られた平面パラメータ推定結果 （平面パラメータ 推定値） を、 第 2推定の平面パラメータの初期値と し、 多眼ステ レオ画 像の全画像ペアから得られた多数の画像ペアを用いて第 2推定を行う。 つま り 、 第 2推定では、 多眼ステ レオ画像の全画像ペアから得られた多 数の画像ペアを用いて、 第 1 推定で得られた平面パラメータ推定値を平 面パラ メ ータ の初期値と し、 コス ト関数 （ S S S D ) を最適化するこ と によ り平面パラメータを推定する。

本発明では、 こ のよ う に平面パラメータ推定を 2段階で順次行う こ と によ り 、 効率的に （少ない計算コス トで） 高精度な平面パラメータを安 定に推定する こ とができる。

以下、 本発明を実施するための最良の形態について、 図面を参照しな がら詳細に説明する。

第 1 図は、 本発明に係る平面パラメータ推定装置の一実施形態を示す ブロ ック構成図である。 第 1 図に示されたよ う に、 本発明の平面パラメ ータ推定装置 1 は、 前処理計算部 1 0 と、 画像ペア選択部 2 0 と、 第 1 推定部 3 0 と、 第 2推定部 4 0 とから構成される。

本発明の平面パラメータ推定装置 1 では、 多眼ステ レオカメ ラで撮影 された多眼ステ レオ画像 （多眼ステ レオカメ ラで取得された複数の画像 データ） を入力と し、 前処理計算部 1 0、 画像ペア選択部 2 0 、 第 1推 定部 3 0 、 及ぴ第 2推定部 4 0での一連の処理によ り 、 撮影対象の平面 パラメータを推定し、 推定した平面パラメータを出力する。

本発明では、 多眼ステ レオ画像を撮影するための多眼ステ レオカメ ラ 6

の一台を基準カメ ラ と し、 基準カメ ラで撮影された画像 （基準カメ ラで 取得された画像データ） を基準画像とする。 また、 多眼ステ レオカメ ラ から基準カメ ラを除いて他の全てのカメ ラを参照カメ ラ と し、 これら複 数の参照力メ ラで撮影された複数の画像 （複数の参照力メ ラで取得され た複数の画像データ） を複数の参照画像とする。 即ち、 基準画像以外の 多眼ステ レオ画像を参照画像とする。

そして、 多眼ステレオカメ ラについて、 各カメ ラの画角や焦点距離等 の内部パラメータ （以下、 単に 「カメ ラ内部パラメータ」 と も言う。 ） 、 及び基準カメ ラ座標系に対する各力メ ラの位置や傾きを示す外部パラ メータ （以下、 単に 「カメ ラ間の外部パラメータ」 と も言う。 ） は、 予 めキャ リ ブレーショ ンによ り 求められているものとする。 即ち、 本発明 では、 既知の視点位置を持つ校正済みの多眼ステ レオカメ ラによって撮 影された多眼ステレオ画像を用いて、 平面パラメータを推定する。

ここで、 本発明の平面パラメータ推定装置 1 及び平面パラメ ータ推定 方法を用いて、 多眼ステ レオ画像 （ 1枚の基準画像及び複数の参照画像

) から、 撮影対象の平面パラメータを推定する平面パラメータ推定処理 の処理手順について説明する。

こ こで、 まず、 基準画像が前処理計算部 1 0 に入力される前に、 基準 画像上に 3次元平面を観測した領域を注目領域（R O I )と して定める。 即ち、 3次元平面 （以下、 単に平面と も言う。 ） が観測されている基準 画像上の領域を注目領域（R O I )と設定する。 基準画像上に定めた注目 領域 （R O I ) に関して平面パラメータを以下のよ う に推定する。

最初に、 前処理計算部 1 0では、 入力された基準画像、 複数の参照画 像、 カメ ラ内部パラメータ、 カメ ラ間の外部パラメータ、 注目領域（R O I )内の画像座標と画素値に基づいて、 画像ペア毎に定まるヘッセ行 列を含めて繰返し計算ごとに変化しない諸量を計算する。

次に、 画像ペア選択部 2 0では、 前処理計算部 1 0で算出された各画 像ペアのヘッセ行列から、 本発明の独自の画像ペア選択基準によ り 、 平 面パラメータ推定に好ま しい画像ペアを選択する。

本発明の画像ペア選択基準の第 1 実施形態とは、 多眼ステレオ画像の 全画像ペアの う ち、 画像ペアから算出されるヘッセ行列の条件数が最小 で、 且つ画像ペアを撮影したカメ ラ間のベースライ ン長が最短 （最小） の画像ペアを、 平面パラメータ推定に好ま しい画像ペアと して選択する こ とである。 つま り 、 全画像ペアの う ち、 ヘッセ行列の条件数とカメ ラ 間のベースライ ン長がと もに最小値を持つ画像ペアを、 平面パラメータ 推定に好ま しい画像ペアと して選択する。

本発明では、 画像ペア選択部 2 0で画像ペア選択基準の第 1 実施形態 によ り 、 画像ペアを選択する際に、 例えば、 まず、 カメ ラ間のベースラ イ ン長の小さい画像ペアを複数個選択しておき、 次に、 選択された小さ いベース ライ ン長を有する複数の画像ペアの中から最小の条件数を持つ 画像ペアを、 平面パラメータ推定に好ま しい画像ペアと して選択するよ う にしても良い。 また、 逆に、 まず、 ヘッセ行列の条件数の小さい画像 ペアを複数個選択しておき、 次に、 選択された小さい条件数を有する複 数の画像ペアの中から最小のカメ ラ間のベースライ ン長を持つ画像ペア を、 平面パラメータ推定に好ま しい画像ペアと して選択するよ う にして も良い。

そして、 本発明の画像ペア選択基準の第 2実施形態とは、 多眼ステ レ ォ画像の全画像ペアの う ち、 画像ペアから算出されるヘッセ行列から導 出されるコ ス ト関数の曲率が最大で、 且つ画像ペアを撮影したカメ ラ間 のベースライ ン長が最短 （最小） の画像ペアを、 平面パラメータ推定に 8

好ま しい画像ペアと して選択するこ とである。 つま り 、 全画像ペアのう ち、 ヘッセ行列から導出されるコス ト関数の曲率が最大値で、 カメ ラ間 のベースライ ン長が最小値を持つ画像ペアを、 平面パラメータ推定に好 ま しい画像ペアと して選択する。 なお、 本発明で言う コス ト関数の曲率 とは、 主曲率、 平均曲率、 ガウス曲率などの何れかを意味する。

本発明では、 画像ペア選択部 2 0で画像ペア選択基準の第 2実施形態 によ り 、 画像ペアを選択する際に、 例えば、 まず、 カメ ラ間のベースラ イ ン長の小さい画像ペアを複数個選択しておき、 次に、 選択された小さ いベース ライ ン長を有する複数の画像ペアの中から最大の曲率を持つ画 像ペアを、 平面パラメータ推定に好ま しい画像ペア と して選択するよ う にしても良い。 また、 逆に、 まず、 ヘッセ行列から導出されるコス ト関 数の曲率が大きい画像ペアを複数個選択しておき、 次に、 選択された大 きい曲率を有する複数の画像ペアの中から最小のカメ ラ間のベースライ ン長を持つ画像ペアを、 平面パラメータ推定に好ま しい画像ペアと して 選択するよ う にしても良い。

次に、 第 1 推定部 3 0では、 画像ペア選択部 2 0で選択された画像べ ァを用いて、 基準画像と参照画像の役割を入れ替えて定式化された S S D を コ ス ト関数と して、 Gaus s- Newton 法などの最適化アルゴ リ ズムを 利用 して、 2眼ステ レオ画像による平面パラメータ推定 （第 1推定） を 行う。

即ち、 第 1推定部 3 0では、 選択された画像ペアにおいて、 注目領域 内の基準画像座標における画素値と、 平面パラメータが定める座標変換 によって決まる参照画像座標における画素値との差分を、 注目領域内の 全て の 画素 に っ レ、 て カ卩 算 し た 二乗 和 （ S S D ： Sum of Square d D i ff erenc e s)をコス ト関数と し、 そのコス ト関数を最小化する平面パラ 9

メータを、 例えば Gauss- Newton 法などの最適化アルゴリ ズムを用いて 推定する。

そして、 第 2推定部 4 0では、 第 1推定部 3 0で行った第 1 推定によ つて得られた平面パラメータ推定値を、 第 2推定部 4 0 自身で行う多眼 ステレオ画像による平面パラメータ推定 （第 2推定） の平面パラメータ の初期値と して、 基準画像と参照画像の役割を入れ替えて定式化された S S Dを、 多眼ステ レオ画像の全画像ペアから得られた 「多数の画像ぺ ァ J について加算した S S S D ( S u m o f S S D ) ,をコス ト関数 と して、 Gauss-Newton 法などの最適化アルゴリ ズムを利用 して、 多眼 ステ レオ画像による平面パラメータ推定 （第 2推定） を行う。

即ち、 第 2推定部 4 0では、 第 1推定部 3 0で行った第 1 推定によつ て得られた平面パラメータ推定値を平面パラメータの初期値と して、 画 像ペアにおいて、 注目領域内の基準画像座標における画素値と、 平面パ ラメータが定める座標変換によって決まる参照画像座標における画素値 との差分を注目領域内の全ての画素について加算した S S Dを、 多眼ス テ レオ画像の全面像ペアから得られた 「多数の画像ペア」 について加算 した S S S D をコス ト関数と し、 そのコス ト関数を最小化する平面パラ メータを、 例えば Gauss-Newton 法などの最適化アルゴリ ズムを用いて 推定する。

ここでは、 第 2推定部 4 0で利用される 「多数の画像ペア」 とは、 .多 眼ステ レオ画像の全画像ペアから得られた複数の画像ペアを意味し、 当 該複数の画像ペアに第 1推定部 3 0において利用された画像ペアが含ま れている。

多眼ステレオ画像の全画像ペアから第 2推定部 4 0で利用 される 「多 数の画像ペア」 を決定 （選択） するのに、 ( 1 ) 複数画像ペア選択基準を設けずに、 多眼ステ レオカメ ラによって 取得された全ての画像ペア （全画像ペア） を、 第 2推定部 4 0 で利用さ れる 「多数の画像ペア」 と して利用する方法と、

( 2 ) 所定の複数画像ペア選択基準によ り 、 多眼ステ レオカ メ ラによつ て取得された全ての画像ペア （全画像ペア） から、 複数の画像ペアを第 2推定部 4 0で利用される 「多数の画像ペア」 と して選択する方法があ る。

上記方法 （ 2 ) では 、 所定の 数画像ペア選択基準の第 1 実施形態と は、 第 1推定部 3 0 による第 1推定によって得られた平面パラメータ推 定値を用いて、 2枚の画像におレ、てその 3次元平面 （こ こで言う 「その

3次元平面」 とは、 「基準画像上に 3次元平面を観測した領域を注目領 域（R O I )と して定める J における 3次元平面を意味する。 ） が観測さ れていると判断される画像ペアのみを、 第 2推定部 4 0で利用 される Γ 多数の画像ペア」 と して選択するこ とである。

また、 上記方法 （ 2 ) では、 所定の複数画像ペア選択基準の第 2実施 形態とは、 第 .1推定部 3 0 による第 1推定によって得られた平面パラメ ータ推定値を用いて、 S S Dを計算した結果が小さい画像ペアのみを 、 第 2推定部 4 0で利用される 「多数の画像ペア」 と して選択するこ とで める。

以上では、 第 1 図に基づき、 本発明に係る平面パラメータ推定装置の 一実施形態を説明 したが 、 本発明はそれに限定されるこ とはなく 、 他の 実施形態を有するこ と もできる

つま り 、 本発明に係る平面パラメータ推定装置の他の実施形態 （以下

、 単に 「本発明の平面パラメ一タ推定装置 2」 という 。 ） では、 即ち 、 本発明の平面パラメ一タ推定装置 2は、 第 1 図の前処理計算部 1 0 と 、 2

第 1 図の画像ペア選択部 2 0 と、 第 1 図の第 1推定部 3 0 とから構成さ れる。

本発明の平面パラメータ推定装置 2では、 多眼ステ レオカメ ラで撮影 され—た多眼ステ レオ画像 （多眼ステ レオカメ ラで取得された複数の画像 データ） を入力と し、 前処理計算部 1 0、 画像ペア選択部 2 0、 及び第 1 推定部 3 0 での一連の処理によ り 、 撮影対象の平面パラメータを推定 し、 推定した平面パラメータを出力する。

本発明の平面パラメータ推定装置 2の特徴とは、 平面ノヽ フメータ推定 装置 1 に必要である 「第 2推定部 4 0 による第 2推定処理 J が不要で、 第 1 推定部 3 0による第 1 推定処理によ り得られた平面 ラメータ推定 値を、 第 2推定部 4 0の初期値とせずにそのまま平面パラメータ とする こ とである。

つま り 、 本発明の平面パラメータ推定装置 2 における第 1推定部 3 0 では、 画像ペア選択部 2 0で選択された、 画像ペアに対して 、 基準画像 と参照画像の役割を入れ替えて定式化された S S Dをコス 卜関数と し、 そのコ ス ト関数を Gau s s - Newt on 法などの最適ィヒアノレゴ V ズムによ り 最 適化するこ と によ り 、 2眼ステ レオ画像による平面パラメ一タ推定 （第

1 推定） を行い、 第 1推定によって得られた平面パラメ タ推定値を平 面パラメータ とする。

また、 本発明の平面パラメータ推定装置 2 における第 1推定部 3 0 で は、 画像ペア選択部 2 0 で選択された画像ペアが 2つの画像ペアである 場合に、 その 2つの画像ペアに対して、 基準画像と参照画像の役割を入 れ替えて定式化された S S D を コ ス ト 関数と し、 そのコ ス ト 関数を Gau s s -Newt on 法などの最適化アルゴ リ ズムに よ り 最適化する こ と によ り 、 2眼ステ レオ画像による平面パラメータ推定 （第 1 推定） を別々に 行い、 そのコス ト関数の値の小さい方の第 1 推定の平面パラメータ推定 値を前記平面パラメータ とする。

以下では、 本発明の平面パラメータ推定装置 1 (第 1 図を参照） 及び 平面パラメータ推定方法に用いられる平面パラメータ推定アルゴ リ ズム について、 詳細に説明する。

< 1 >平面射影変換と平面パラメータ

N台のカメ ラ C _n , ( n = l ， …， N) を用いて 3次元平面 Πを撮影 し、 それぞれのカメ ラから得られる画像を I _n , ( n = l , ··· , N ) と する。 ただし、 C _m, m e { 1 , …， N}を基準カメ ラ と し、 Tを基準画 像（基準カメ ラから得られる画像）とする。 基準画像上の座標 （基準画像 座標） を u = (_w,_vf と し、 n番目 の画像 （参照画像） 上における対応点座 標を u„=(w„,vj^rと表す。

ただし、 以下では、 煩雑さを避けるために、 画像座標を、 内部パラメ ータが正規化された座標 （正規化画像座標） で示すものとする。 また、 行列及びベク トルをそれぞれ大文字と小文字の太字体で表記する。

基準画像上の点 uと、 n番目の画像上における対応点 u„との関係は、 同次座標表現

を用いて、 下記数 1及ぴ数 2 で表さ れる （非特許文献 8 を参照） 。

【数 1 】

ΰ_π = Ρ_ηΰ

【数 2 】

P" ₌R"+t"q⁷

ただし、 P_nは 3 X 3 の平面射影変換行列を表 し、 R„は基準カメ ラ座 標系と n番目のカメ ラ座標系との間の回転行列を表し、 t„は平行移動べ ク トルを表す。 また、 qは、 基準カメ ラ座標系における平面 Πを一意に 定める 3次元べク トルである （非特許文献 7 を参照） 。 以下では、 qを 求めるべき平面パラメータべク トルとする。

また、 座標変換関数 w„を用いるこ と によ り 、 上記数 1 で表される座 標変換は、 下記数 3 のよ う になる （非特許文献 7 を参照） 。

【数 3】

u_n = w„(u;p„(q))

ただし、 p_nは、 平面射影変換行列 P„の要素をラスタ順に並べた 9次元 のベク トルであ り 、 その要素は、 上記数 2式で表されるよ う に、 qの関 数となる。

< 2 >多眼ステレオ画像による高速平面パラメータ推定アルゴリ ズム こ こで、 本発明の発明者らが提案した 2眼ステ レオ画像による高速平 面パラメータ推定アルゴリ ズム （非特許文献 7 を参照） を多眼ステ レオ 画像による平面パラメータ推定に拡張した方法について述べる。

基準画像 T と、 n番目 の画像 （参照画像） I _nの 2枚の画像を利用 し て、 平面パラメータべク トル （以下、 単に、 平面パラメータ と も言う） qを求めるには、 現在の推定量 と微小変化量 Aqを用いて q = + Aqとお き、 下記数 4 で表す評価関数 （即ち、 コ ス ト関数） を最小にする の 推定と 5 の更新を繰返し行う （非特許文献 3 を参照） 。

【数 4】

∑ [11卜/" [w_n (u;p„( + Aq))]) ただし、 R O I は基準画像上の注目領域を表し、 即ち、 基準画像上に 3次元平面を観測した領域である。

上記数 4のよ う に、 二乗和（ S S D )で表現されたコ ス 卜関数を最適化 するには Guass-Newton 法が有効である。 しかし、 数 4で表すコス ト関 数を利用 した場合は、 その計算コス トが大きい。 これに対し、 本発明の 発明者らによる提案した非特許文献 7 では、 数 4 を下記数 5 のよ う に書 き換えるこ とによ り 、 換言すれば、 基準画像と参照画像の役割を入れ替 えて数 4のコス ト関数を定式化して得られた下記数 5 のコス ト関数を用 いるこ とによ り 、 平面パラメータ推定の精度を損なう こ となく 平面パラ メータ推定の高速化を実現している。

【数 5 】

∑ (r[Aw_n(u;A_Pn(Aq)) |-/„ [w_n (u;p(q))])

u ROI ただし、 Δν„(ιι;Δρ„)は、 ΰ„ = (Ι + ΔΡ„)ΰと表される座標変換式と等価な座 標変換関数である。 また、 ΔΡ„と の関係 （即ち、 ΔΡ Aq)) は、 下記数 6 によって定められる。

【数 6 】

ΔΡ„ = ₁—-^ ~~——R_n ^Tt_nAq^r

l + q^rR t„ + Aq^rR^t„ 上記数 5 で表す コ ス ト 関数は、 2 枚の画像間 の S S D (Sum of Squared Differences)を表している。 多眼ステレオカメ ラで撮影された 全ての画像 （多眼ステレオ画像） による平面パラメータ推定に、 数 5の コス ト関数を適用する場合は、 多眼ステ レオ画像の全画像ペアに関する S S S D (Sum of SSD)をコス ト関数と し、 そのコス ト関数を最小にする qを求めればよい。

つま り 、 2枚の画像間の S S Dを表す数 5のコス ト関数を、 多眼ステ レオ画像に拡張して得られたコス ト関数は、 下記数 7である。

【数 7】

∑∑ (r[Aw„ (u; Δρ„(Δς))] - /„ [w_n (u;p(q))]) 上記数 7 のコス ト関数に Gauss-Newton 法を適用することによ り 記数 8〜数 1 6が得られる。

【数 8】

Aq = -H 'b

【数 9】

【数 1 0】

【数 1 1 】

【数 1 2】

- (i+5 )

【数 1 3】

v_n(u)_≡g(u)J(u)K

【数 1 4】 dT 3Δ\ν„

g(")^≡— ~ ,J(u);

dAw_n 5Δρ_π

【数 1 5】 9Δρ_η

K.三

dAq

【数 1 6 】

^ョ: T[u]— [w u;p„®)]

ただし、 v_n (u)は、 g(u),J(u)，K„の積によって得られる 1 X 3 の行べク ト ノレである。

g(U)は、 基準画像上の座標 （基準画像座標） IIにおける基準画像勾配 を表す 1 X 2 の行ベク トルを示し、 下記数 1 7で表す （非特許文献 7 を 参照） 。

【数 1 7 】

—dT ' dT dTヽ

g(«) =

aAw 、du dv j

J(u)は、 基準画像座標 uにおける 2 X 9 のヤコ ビ行列を示し、 下記数 1 8 で表す （非特許文献 7 を参照） 。

【数 1 8 】

Μ V 1 0 0 0 -w -uv 一 U

J(u) =

5Δρ, 0 0 0 w 1 -uv -v² — v g(u),J(u)は、 どちらも Aq = 0において評価されているため、 座標 uごと 異なるものの、 繰返し計算ごとに変化しない。

K„は、 R_n，t_nのみで定まる 9 X 3 のヤコ ビ行列であ り 、 下記数 1 9 で 表す （非特許文献 7 を参照） 。 なお、 3Δρノ dAqの結果には、 繰返し計算 ごと に変化するスカラー項（1/ )が存在しているので、 そのスカ ラー項 をキャンセルするために、 数 1 9 に示すよ う に、 が積算されている。 【数 1 9 】 】 0 0 ₂ 0 0 "₃ 0 0

ν 5Δρ_Λ

0 ", 0 0 α₂ 0 0 α₃ 0

0 0 α, 0 0 α， 0 0 "，

【数 2 0 】

ただし、 r ( ，/^,…， ^(Π))^Γは R„をラスタ順に並べたべク トルである。 また、 （ ,^ )⁷'≡t„である。 K„はカ メ ラ外部パラメ ータ (R„,tJにのみ 依存しているため、 繰返し計算ごとに変化しない。

以上のこ とから、 v_n(u)は画素ごと異なる値を持つも のの、 繰返し計 算ごと に変化せず、 よって、 v【(u)v_n(u)の加算によって得られる H„は、 一度だけ計算すればよいこ とが明らかである。

これによ り 、 数 5 のコス ト関数を用いた 2眼ステ レオ画像による平面 パラメータ推定を行った場合は、 数 4 のコス ト関数を用いた 2眼ステレ ォ画像による平面パラメータ推定を行った場合と比較して、 繰返しごと の計算コス トが大幅に削減された高速平面パラ メ ータ推定アルゴリ ズム を実現した （詳細は非特許文献 7 を参照） 。

さ らに、 数 7 のコス ト関数を用いた多眼ステ レオ画像による平面パラ メータ推定 （多眼ステ レオ画像による高速平面パラメータ推定アルゴリ ズム） では、 各画像ペアにおける H„が固定されるため、 ヘッセ行列 H„ = (l/A:_n ²) x H_nを計算する際に、 （1/ ）χ Η_πを画像ペア数だけ加算するだけ でよ く 、 非特許文献 6で利用されている多眼ステ レオ画像による平面パ ラメータ推定アルゴリ ズムよ り 、 高速な平面パラメータ推定アルゴリ ズ ムを提供する。 ただし、 繰返し計算の前処理と して、 η番目の画像ペア (基準画像 T及び n番目 の画像 （参照画像） I _n ) に対する座標 uごと の v„(u)を計算する必要があり 、 繰返し計算ごと に e„ X v„(u)を計算する必 要があるため、 その計算コス トは画像ペア数に比例する。

< 3 >本発明の画像ペア選択部における画像ペア選択アルゴリ ズム 多眼ステ レオ画像による平面パラメータ推定の利点は、 複数のベース ライ ンを組み合わせるこ とによ り 、 ベースライ ンとテクスチャによつて 生じる曖昧性の問題を回避できる点と、 多く の情報を利用するこ と によ る高精度な平面パラメータ推定ができる点が挙げられる。

一方で、 多眼ステ レオ画像を用いた平面パラメータ推定では、 上述の よ う に、 画像ペア数に比例して計算コス トが増大する との問題がある。 例えば、 2 5 眼ステ レオカメ ラ （ 2 4ペアの画像ペア）を用いた場合は、 2眼ステ レオカメ ラ （ 1 ペアの画像ペア） を用いた場合と比較して、 2 4倍の計算コス トが必要となる。

また、 多眼ステ レオカ メ ラ （多眼ステ レオ画像） による平面パラメ一 タ推定では、 推定に悪影響を与える画像ペアが存在するこ とがあり 、 悪 影響を与える画像ペアの存在が原因で、 収束が遅く なつた り 、 場合によ つては推定に失敗した りする との問題がある。

本発明を適用 した多眼ステ レオ画像による平面パラメータ推定は、 多 眼ステ レオ画像による平面パラメータ推定の利点を保持したまま、 上述 の問題を解決した。

つま り 、 本発明において、 まず、 画像ペア選択部 2 0では、 多眼ステ レオ画像の全画像ペアから、 曖昧性と初期値の両方に関して問題がない 画像ペア （即ち、 平面パラメータ推定に好ま しい画像ペア） を、 独自の 画像ペア選択基準によ り選択する。 次に、 第 1 推定部 3 0では、 選択された画像ペアを用いて第 1 推定 （ 2眼ステ レオ画像による高速平面パラメータ推定アルゴ リ ズムによる推 定） を行う。 そ して、 第 2推定部 4 0では、 第 1推定で得られた平面パ ラメータ推定結果 （平面パラメータ推定値） を初期値と して、 全画像ぺ ァから得られた 「多数の画像ペア」 を用いて第 2推定 （多眼ステ レオ画 像による高速平面パラメータ推定アルゴリ ズムによる推定） を行う。

以下、 本発明の画像ペア選択部における画像ペア選択アルゴ リ ズム （ 画像ペア選択基準） の詳細について説明する。

< 3 - 1 >ヘッセ行列の条件数による画像ペア選択

上記数 8及び数 9 よ り 、 2眼ステレオ画像のみによる平面パラメータ 推定では、 G u s s -Newt on 法によって導かれるヘッセ行列 g„は、 下記数 2 1 で表される。

【数 2 1 】

κ„はスカ ラーであるため、 ヘッセ行列 ί¾„の条件数は Η„と 同 じである 。 < 2 >で述べたよ う に、 Η„は繰返し計算ごと に変化しない行列であ るから、 ヘッセ行列 g„の条件数も繰返し計算ごとに変化せず一定値と なる。 即ち、 繰返し計算を行う前に、 各画像ペアにおけるヘッセ行列の 条件数を評価するこ とができる。

また、 ヘッセ行列の条件数の画像ペアごとの違いは、 数 2 0 によ り 、 ベク ト ノレ R の要素のみに よ っ て生 じ る こ と がわ力 る。 こ こ で、

- R^t„= t'„とおく と、 t'„は、 基準カメ ラ座標系で定義された参照カメ ラの 光学中心の位置を表わすため、 このヘッセ行列の条件数は、 実質的に平 行移動 t'„の方向のみに依存している と言える。

即ち、 基準カメ ラ と、 基準カメ ラの光学中心を通る直線上に光学中心 を持つ全ての参照カメ ラ との画像ペアでは、 参照カメ ラがいかなる方向 を向いていても、 ヘッセ行列の条件数は全て同じになる。

n番目の画像ペア （基準画像 T及び n番目の画像 （参照画像） I _n ) におけるヘッセ行列が特異ではないという こ とは、 基準カメ ラによって 観測されたテクスチャから平面パラメータを推定する 目的において、 η 番目の画像ペアを利用すれば解の曖昧性を生じないこ と を示している。

また、 ヘッセ行列の条件数は、 2眼ステ レオ画像を用いた平面パラメ ータ推定法 （非特許文献 7 を参照） の解の安定性に寄与するものであり 、 ヘッセ行列の条件数の値が小さいほど、 画像ノィズなどのデータ誤差 に対して堅牢であるこ とが広く 知られている （非特許文献 9 を参照） 。 即ち、 最小の条件数を持つ画像ペアを選択して平面パラメータ推定を行 う こ とによ り 、 テクスチャ とェピポーラライ ンによって生じる曖昧性の 問題を回避するこ とができる と と もに、 マルチベースライ ンの利点を損 なう こ となく 効率的な平面パラメータ推定も可能となる。

よって、 本発明では、 最小のヘッセ行列の条件数を持つ画像ペアを、 曖昧性と初期値の両方に関して問題がない画像ペア （即ち、 平面パラメ ータ推定に好ま しい画像ペア） と して選択する。

< 3 — 2 >カメ ラ間のベースライ ン長による画像ペア選択

上述のよ う に、 ヘッセ行列の条件数が最小の画像ペアを選択するこ と によ り 、 テクスチャによる曖昧性を回避しつつ画像ノイズ等の影響を受 けにく い平面パラメータ推定が可能となる。 しかし、 ヘッセ行列の条件 数が最小の画像ペアを選択しても、 常に正しい平面パラメ一タ推定がで きるとは限らない。

上述のよ う に、 ヘッセ行列の条件数の違いは、 平行移動ベク トル の 向きに依存しており 、 基準カメ ラの光学中心を通る直線上に他のカメ ラ (参照カメ ラ） の光学中心を並べた場合に、 基準画像と参照画像との画 像ペアでは、 カメ ラの視線方向によ らず、 ヘッセ行列の条件数は全て同 じになる。 こ の と き、 真値と大き く 異なる、 平面パラメータの初期値 を与える と、 基準画像 Γ[ιι]と参照画像 /„[w_n(u; ]との間の位置ずれが大き い画像ペアでは、 最適化による推定に失敗する可能性が大きい。 このよ う な問題を回避するためには、 ヘッセ行列の条件数が小さいだけでなく 、 基準画像と参照画像との間の位置ずれが小さい画像ペアを選択する必 要力 ^sある。

第 2図は、 本発明で利用される、 多眼ステレオカメ ラ配置及び画像べ アイ ンデッ ク スを説明するための模式図である。 第 2図 （A ) に多眼ス テ レオカメ ラ配置を示しており 、 第 2図 （ B ) にカメ ライ ンデックス （ 各画像の番号 n ) 及び画像ペアイ ンデックスを示している （即ち、 基準 画像と参照画像の画像ペアのィ ンデックスは、 参照カメ ラのィ ンデック スによって定めた） 。 第 2図から分かるよ う に、 多眼ステ レオカメ ラ配 置の中央にあるカメ ラ （即ち、 基準カメ ラ） で撮影された画像を基準画 像 （ 1 3番目の画像） と し、 他のカメ ラ （即ち、 参照カメ ラ） で撮影さ れた画像を参照画像 （ 1番目の画像〜 2 5番目の画像、 ただし、 1 3番 目の画像を除く。 ） とする。 また、 全てのカメ ラの光学中心は、 同一の 平面上に配置され、 平行な視線方向を持つものとする。 ただし、 視点の 同一平面性や視線方向の平行性などは厳密である必要はない。

更に、 無限遠に存在する平面パラメ ータ q = (0,0,0 を平面ノ ラメ ータ の初期値と して与え、 数 2 によ り 、 平面射影変換行列 P„は P„= R„と な り 、 n番目の画像 （参照画像） を変形した結果 /„[w„(u;5)]は、 基準カメ ラ と完全に平行な視線方向を持つ画像と なる。

即ち、 平面パラメータの初期値によって n番目の画像 （参照画像） を 変形した結果は、 基準カメ ラ と平行な視線を持つ画像と して、 自動的に レクティ フィ ケーシヨ ンされる。 このと き、 基準画像上の座標 （基準画 像座標） uと 、 u' = w„(u;¾との間の位置ずれを Διι = (Δ"，Δν)^Γと表わすと 、 が十分小さいとき、 下記数 2 2が成立する。

【数 2 2 】

Au =

ただし、 d は基準カメ ラの光学中心から撮影対象 （平面） までの奥行 き （距離） を示す。 これによ り 、 位置ずれ量 | Au |の小さい画像ペアを選 択するためには、

Iが小さい、 即ち、 カメ ラ間のベース ライ ン 長が小さい画像ペアを選択すればよいこ とがわかる。

よって、 本発明では、 ヘッセ行列の条件数が最小で、 且つ、 最小の力 メ ラ間のベースライ ン長を持つ画像ペアを、 曖昧性と初期値の両方に関 して問題がない画像ペア （即ち、 平面パラメータ推定に好ま しい画像ぺ ァ） と して選択する。

< 3 一 3 >ォクル一ジョ ンを考慮した画像ペア選択

上記 < 3 - 1 >及び < 3 — 2 〉で述べた画像ペア選択基準 （画像ペア 選択基準の第 1 実施形態） を用いて、 平面パラメータ推定に好ま しい画 像ペアと して、 画像ペアを 1 つだけ選択する と、 その画像ペアにォクル ージョ ンが発生していた場合には、 平面パラメータ推定に失敗するこ と 力 ^sある。 そこで、 ォクルージョ ンが原因で平面パラメータ推定が失敗して しま う との問題を回避するために、 本発明では、 画像ペア選択部にて画像べ ァを選択する際に、 画像ペア選択基準を用いて、 基準画像を中心に対称 な 2つの画像ペアを選択するよ う にする。

次に、 選択された対称な 2つの画像ペアを用いて、 第 1推定部にて、 それぞれ独立に 2眼ステ レオ画像による平面パラメータ推定 （第 1 推定 ) を行い、 そして、 選択された対称な 2つの画像ペアについて、 第 1推 定における繰返しの最後に得られたコ ス ト関数の値、 若しく は、 画像間 の輝度差に関する R M S E (Root Me an S quar e d Error)を評価し、 コ ス ト関数の値若しく は R M S Eの小さい方の画像ペアから得られた平面パ ラメータ推定結果を 「第 1 推定の平面パラメータ推定結果」 とする。

このよ う にするこ とによ り 、 選択ざれた対称な 2つの画像ペアにおい て、 どちらかの画像ペアでォクルージョ ンが発生していても （その一例 と して、 例えば、 注目領域が柱のすぐ横にあった場合） 、 平面パラメ一 タ推定に成功した一方の画像ペアの平面パラメータ推定結果を利用する こ とができる。

本発明では、 全てのカメ ラが均等な間隔で配置され、 かつ平行視線を 持つ理想的なステ レオカメ ラ配置を有する多眼ステ レオカメ ラによって 撮影された多眼ステ レオ画像を用いて平面パラメータ推定を行う場合、 画像ペアを選択する際に、 まず、 各画像ペアのヘッセ行列の条件数を先 に評価し、 その後にカメ ラ間のベースライ ン長を評価するこ とによ り 、 基準カメ ラに隣接する 2台の参照カメ ラ （基準カメ ラについて対称配置 を有する 2台の参照カメ ラ） が選択され、 選択された 2台の参照カメ ラ で得られた参照画像と基準画像とで構成された 2 つの画像ペアを第 1推 定に利用する。 しかし、 多眼ステ レオ力メ ラは、 必ず理想的なステ レオ力メ フ配置を 有する とは限らない。 例えば、 実際に複数のカメ ラを配置して多眼ステ レオカメ ラ と して利用する場合、 t_nの方向が全て異なるため へッセ行 列の条件数を先に評価する と、 基準カメ ラに隣接しない参照力メ ラ力 S 1 つだけ選択される可能性がある。 この場合、 画像のずれが大さレ、とレヽぅ 問題が発生する可能性があるため、 本発明の画像ペア選択ァルコ リ ズム では、 先に、 ベースライ ン長の小さい （即ち、 基準カメ ラに隣接する） 参照カメ ラグループ.を選択しておき、 次に、 選択した参照力メ ラグル一 プの中でヘッセ行列の条件数を評価して、 最小の条件数を持つ画像ペア を選択し 、 そ して、 選択された画像ペアと対称な配置をもつ画像ペアを も う一つ選択する。 く 4 ：>本発明の平面パラメータ推定装置における処理手順

本発明では、 画像ペア選択部にて選択された画像べァを用レ、て第 1 推 定 （数 5 のコス ト関数を用いた 2眼ステ レォ画像による平面ハ⁰ラメータ 推定） によって得られた平面パラメータ推定結果を、 第 2推定の平面パ ラメータの初期値と して、 数 7 のコス ト関数を用いた多眼ステ レォ画像 による平面パラメータ推定 （第 2推定） を行う。

つま り 、 数 5のコス ト関数を用いた 2眼ステ レオ画像による平面パラ メータ推定 （第 1推定） において得られた平面パラメータ推定結果は、 数 7 のコス ト関数を用いた多眼ステ レオ画像による平面パラメータ推定 (第 2推定） にとつて良好な初期値であり 、 本発明では、 このよ う に、 と もに高速化した 2段階の平面パラメータ推定 （第 1推定及び第 2推定 ) を行う こ とによ り 、 少ない計算コス ト （短時間） で安定且つ精度良く 平面パラメータを推定するこ と を実現した。 上記 < 3 〉で述べた画像ペア選択アルゴリ ズムを実装した本発明の平 面パラメータ推定装置の処理手順を第 3図に示す。 ただし、 第 3 図に沿 つて本発明の平面パラメータ推定装置の処理手順を説明する前に、 前提 条件と して、 予め基準カメ ラに隣接するカメ ラグループ （参照カメ ラグ ループ） は選択されたものとする。 また、 基準画像中の注目領域 （ R O I ) は、 予め指定されたものとする。 更に、 繰返し計算の終了条件と し て、 例えは、 繰返し回数の最大数や、 算出 された Aqのノルムの最小値 などを事前に指定する。

第 3図に示されたよ う に、 本発明の平面パラメータ推定装置では、 注 目領域 （R O I ) が指定された （与えられた） 直後に、 座標 uに関する 全ての画像ペア n の v„(u)を、 数 1 3 を用いて計算し、 更に、 数 1 0 に よ り 、 全ての画像ペア n について、 H_nを計算する。 全ての画像ペア n についての v„(u),H_nは、 繰返し計算の前処理（pre- computation)と して前 処理計算部にて行われる。

そして、 予め選択された、 基準カメ ラに隣接する参照カメ ラグループ について、 それらのヘッセ行列の条件数を計算し、 最小値の条件数を持 つ画像ペア i (即ち、 基準画像と参照画像 i で構成された画像ペア） を

1つ選ぶ。 更に、 基準画像に関して、 参照画像 i と対称配置を持つ参照 画像 j をも う 1 つ選ぶこ とによ り 、 画像ペア j (即ち、 基準画像と参照 画像 〗 で構成された画像ペア） を選択する。

選択された 2 つの画像ペア （画像ペア i 及び画像ペア j ) について、 それぞれ独立に平面パラメータを推定する。 つま り 、 画像ペア i 及ぴ画 像ペア j に対し、 それぞれ独立に、 数 5 の コ ス ト関数を用いて Gauss- Newton 法を利用 し、 2 眼ステ レオ画像による平面パラメータ推定 （第

1推定） を行う。 なお、 画像ペア i 及び画像ペア j による第 1推定では、 一方の画像べ ァによる第 1推定が終了した後に、 も う一方の画像ペアによる第 1推定 を実行させる手順、 又は、 両者の繰返し回数を同期させておき、 一方の 画像ペアによる第 1推定が終了条件に達した時点で、 も う一方の画像べ ァによる第 1 推定を終了させる手順を採用するこ とができる。

いずれの手順でも、 第 1推定によ り得られた 2つの平面パラメータ推 定値 （ 2つの平面パラメータべク トル） のう ち、 最後の繰返し計算にお いて得た画像間の R M S Eが小さい方を、 第 2推定 （数 7のコ ス ト関数 を用いた多眼ステ レオ画像による平面パラメータ推定） の平面パラメ一 タべク トルの初期値 とする。

さ らに、 第 2推定 （数 7 のコス ト関数を用いた多眼ステ レオ画像によ る平面パラメータ推定） に利用する 「多数の画像ペア」 を選択するため に、 を画像間の R M S Eの値 e_nの閾値てとする （即ち、 て = 5 x ) 。 ただし、 fは 2眼ステ レオ画像による平面パラメータ推定 （第 1 推定） において得られた小さい方の画像間の R M S E と し、 s はユーザが定め た定数とする。

つま り 、 多眼ステ レオ画像の全画像ペアから、 画像間の R M S Eの値 e„が閾値 rを超えない画像ペアのみを 「多数の画像ペア」 と して選択す る。

次に、 数 7 のコス ト関数を用いた第 2推定 （多眼ステ レオ画像による 平面パラメータ推定） を行う。 この と き、 多眼ステ レオ画像の全画像べ ァに対し、 先に求めた H„及び v„(u)を利用 して、 繰返しごと に、 数 9 を 用いて H及び bを計算する こ と ができ るが、 H及び bを算出する前に、 まず、 多眼ステ レオ画像の全画像ペアについて、 各画像ペアにおける画 像間の R M S Eの値 を計算する。 そ して、 計算された画像間の R M S Eの値 が先に定めた閾値 rを超えない画像ペアのみについて、 Η„及び v_n(u)を利用 して数 9 によ り H及ぴ bを算出 し、 算出された H及び bに基 づき、 数 8 によ り 、 第 2推定における平面パラメータベク トルの更新値 △qを求める。

本発明では、 このよ う にするこ とによ り 、 多眼ステ レオ画像の う ち、 特定の画像にォクルージョ ンが発生した場合に、 その画像を排除して、 即ち、 計算された画像間の R M S Eの値 e„が先に定めた閾値てを超えた 画像ペアを排除して、 ォクルージョ ンの影響を受けずに第 2推定を行う こ とができる。

以下では、 第 4図〜第 7図を通して、 本発明の平面パラメータ推定装 置の処理手順を、 平面パラメータ推定装置起動後の処理手順、 前処理計 算部及び画像ペア選択部の処理手順、 第 1推定部の処理手順、 及び第 2 推定部の処理手順に分けて、 説明する。

なお、 以下で述べる本発明の平面パラメータ推定装置による推定処理 に利用される多眼ステレオ画像は、 第 2図 （A ) に示すよ う な平行視線 を持つ多眼ステ レオカ メ ラを用いて撮影された多眼ステ レオ画像である 。 また、 第 2図 （ B ) に示すよ うに、 画像ペアは、 基準カメ ラ （基準画 像） とペアになる参照カメ ラ （参照画像） のイ ンデッ ク ス nによって表 される。 以下では、 参照カメ ラ （参照画像） のイ ンデッ ク ス nを画像べ ァの番号 （画像ペアイ ンデックス） と して扱い、 つま り 、 第 2図 （A ) に示すよ う な 2 5眼ステレオカメ ラを用いた場合に、 画像べアイ ンデッ クスは、 基準画像 （ 1 3番） のみを除いた 1 〜 2 5の値を持つものとす る。

本発明の平面パラメータ推定装置による処理は、 大き く分ける と、 4 つの処理に分けるこ とができ る。 第 4 図に示す 「 1 つ目の処理」 は、 本 発明の平面パラメータ推定装置起動時に行われる処理であり 、 前処理計 算部にて行われる前処理の一部であ り 、 シーンや注目領域（R O I )に依 存しないパラメータを求める。

第 5図に示す 「 2つ目の処理」 は、 注目領域（R O I )が選択された後 に行われる処理であり 、 前処理計算部及ぴ画像ペア選択部にて行われる 前処理及び画像ペア選択処理であり 、 繰返し計算に必要な諸量 （ヘッセ 行列を含む、 画像ペア毎に定ま り 、 且つ繰返し計算ごとに変化しない複 数のパラメータ） を求め、 そして、 各画像ペアのヘッセ行列の条件数を 計算し、 算出された各ヘッセ行列の条件数及び画像ペアを撮影した力メ ラ間のベースライ ン長に基づき、 「 3つ目の処理」 において利用する 2 つの画像ペアを選択する。

第 6 図に示す 「 3つ目 の処理」 は、 「 2つ目 の処理」 で選択された 2 つの画像ペアから、 第 1推定部にてそれぞれ独立に、 数 5 のコ ス ト関数 を用いた 2眼ステレオ画像による平面パラメータ推定 （第 1 推定） を行 い、 得られた 2 όの平面パラメータ推定値 （ 2つの平面パラメータべク トル） のう ち、 最後の繰返し計算において得た画像間の R M S Εが小さ い方を、 「 4つ目 の処理」 にて行う第 2推定の平面パラメータベク トル の初期値とする と と もに、 第 2推定に利用する画像ペアを選択するため の閾値てを求める処理である。

第 7図に示す 「 4つ目 の処理」 は、 「 3つ目 の処理」 で得られた閾値 てに基づき、 全画像ペアから選択された 「多数の画像ペア」 を用いて、 第 2推定 （数 7 のコス ト関数を用いた多眼ステ レオ画像による平面パラ メータ推定） を行う処理である。 以下では、 それぞれの処理手順について詳細に説明する。 < 4 - 1 〉平面パラメータ推定装置起動後の処理手順

第 4図には本発明の平面パラメータ推定装置起動後の処理手順を示す 。 つま り 、 第 4図に示す 「 1つ目の処理」 は、 本発明の平面パラメータ 推定装置が起動した直後に行われる処理である。

平面パラメータ推定では、 座標 uにおける列べク トル v„(u)を、 画像べ ァごと に求める必要がある。 1 X 3 の列べク トルである v_n(u)は、 数 1 3 によって計算されるが、 この う ち、 シーンによって変化する ものは、 画像勾配 g(u)だけである。 よって、 事前に J(u) .K_n≡C_n(u)を求めておく こ とによって、 平面パラメータ推定時の計算コス トを低減するこ とができ る。 行列 C„(u)は、 2 X 3 のサイ ズを有するため、 こ こでは、 基準画像 中の全ての座標 uにおける行列 C„(u)の 6個の値を画像ペアごと に求め、 求めた全ての値を本発明の平面パラメータ推定装置のメモ リ に格納する 基準画像における画素単位の座標 Xは、 基準カメ ラの内部パラメ ータ 行列 A。を用いて、 全て正規化画像座標 u (内部パラメ ータが正規化され た画像座標） に変換され、 そ して、 数 1 8 によ り J(u)が算出される。 ま た、 各画像ペアの行列 K„は、 画像ペアイ ンデッ クス η に対応するカメ ラ間の外部パラメータ （R„ )を用いて、 数 1 9 によ り 算出される。 そし て、 算出された J(u)と K„を積算した値、 即ち、 J(u) .K„≡C_n(u)を本発明の 平面パラメータ推定装置のメモリ に格納する。

< 4 一 2 〉前処理計算部及び画像ペア選択部の処理手順

第 5図には本発明の平面パラメータ推定装置の前処理計算部及び画像 ペア選択部の処理手順を示す。 つま り 、 本発明の平面パラメータ推定装 置起動時に、 第 4 図に示す 「 1つ目 の処理」 が行われた後に、 ユーザが 注目領域 （R O I ) を選択する。 そして、 注目領域 （R O I ) が選択さ れた後に、 第 5図に示す 「 2つ目の処理」 が開始される。

まず、 前処理計算部で前処理と して、 R O I 中の座標 IIに対して計算 された行列 C。(u)と画像勾配 g(u)と に基づき、 列べク トル v_n(u)を計算す る。 そ して、 R O I 中の全ての座標に対して計算された v„(u)の値に基 づき、 画像ペア nにおけるヘッセ行列 H_nを算出する。 列べク トル v_n(u) もヘッセ行列 H_nも、 全画像ペアについて計算される。 こ こ で、 算出さ れた全ての v_n(u)及び H_nは、 本発明の平面パラメ ータ推定装置のメ モ リ に格納される。 ちなみに、 前述した 「繰返し計算に必要な諸量」 と は v_n(u)と H_nのこ とである。

ただし、 画像勾配 g(u)は、 画像座標 Xにおける画素単位の勾配値を、 正規化画像座標 uにおける勾配値に変換するこ とで求められる。 また、 行列 C_n(u)は、 「 1 つ目の処理」 によって既に算出されている。

次に、 画像ペア選択部で画像ペア選択処理 （第 5 図の下部の網がけさ れた部分） と して、 各画像ペアのヘッセ行列 H_nの条件数 com/(H_n)を計算 し、 小さなベースライ ン長を持つカメ ラグループ （例えば、 第 2図に示 す 2 5眼ステ レオカメ ラで撮影した多眼ステレオ画像を用いた場合に、 カメ ライ ンデックス 7、 8、 9 、 1 2、 1 4、 1 7、 1 8 、 1 9力 ら構 成される参照カメ ラグループ） の中で、 最小の条件数を持つ画像ペアを 選択する。

小さなベースライ ン長を持つカメ ラグループの中で最小の条件数を持 つ画像ペアが 2つある場合は、 その 2つの画像ペアを 「 3つ目の処理」 において利用する画像ペアと して選択する。 また、 小さなベースライ ン 長を持つカメ ラグループの中で最小の条件数を持つ画像ペアが 1 つしか ない場合は、 その 1 つの画像ペアを 「 3つ目の処理」 において利用する 4

画像ペアと して 択した上で、 更に、 基準画像に関して対称配 となる も う 1 つの画像べァを 「 3つ目の処理 J において利用する画像 ァと し て選択する

なお、 本発明の画像ペア選択部で画像べァを選択する際に、 必ずしも

2つの画像ペアを選択する必要はなく 、 1つの画像ペアのみを選択する よ う にしても良く 、 また、 ヘッセ行列の条件数がある程度小さい画像べ ァを複数選択しても良い。 ちなみに、 第 2図に示す 2 5眼ステレォカメ ラを用いた場合は 条件数とベースライ ン長から選択される画像ペアは

、 常に 2つとなる

以下では 、 画像ぺァ選択部で 2つの画像 ァを選択したものと し、 選 択したカメ ライ ンテ ックスを i 、 j とする

< 4 - 3 >第 1 推定部の処理手順

第 6 図には本発明の平面パラメータ推定装置の第 1推定部の処理手順 を示す。 つま り 、 第 6図に示す 「 3つ目の処理 」 は、 「 2つ目 の処理 j で選択された 2 つの画像ペアを用い、 それぞれ独立に第 1 推定を行い、 得られた 2つの平面パラメータ推定値から、 「 4つ目の処理」 にて行う 第 2推定の平面パラメータべク トルの初期値とするものを選択する と と もに、 第 2推定に利用する画像ペアを選択するための閾値 rをも求める 処理である。

「 2つ目の処理」 で 2つの画像ペア （ 2つのカメ ライ ンデックス） が 選択された後に、 第 1推定部では、 「 2つ目の処理」 で選択されたカメ ライ ンデックス i 、 j (参照画像 i 、 参照画像 j ) それぞれと基準画像 との 2つの画像ペアを用いて、 それぞれ独立に、 数 5 のコス ト関数を用 いた 2眼ステ レオ画像による平面パラメータ推定を行う。 第 6 図に示すよ う に、 第 1推定処理では、 平面パラメータベク トルの 初期値と して与えられた q が、 2つの平面パラメ ータべク トル Hの 初期値と して用いられ、 平面パラメータべク トル , は、 操返し計算に よってそれぞれ別々に更新される。 なお、 平面パラメータべク トルの初 期値と して、 無限遠に存在するの平面、 即ち、 _/M = (0，0，0 を用いても良 く 、 また、 基準カメ ラの光軸に垂直で十分遠方にある平面を用いても良 く 、 更に、 ユーザが与えた平面を用いても良い。

ここで、 基準画像と参照画像 i との画像ペアによる第 1推定の処理手 順について説明する。

まず、 現在の平面パラメータベク トル 5,を用いて、 基準画像の注目領 域内の座標 _{u e} ROIを変換 した座標 w,.(u; ,)を求め る。 た だ し、 座標 w,.(u; ）を計算するのに、 、 カメ ラの外部パラメータ R,,t,、 基準カメ ラ の内部パラメ ータ行列 A。、 参照カメ ラ （カメ ライ ンデッ ク ス i ) の内 部パラメータ行列 Α,.を利用する。

次に、 参照画像 i の画素値ん.[^ (11;5,.)]を計算する こ と によって、 参照 画像 i を変形する。 そして、 基準画像と変形後の参照画像 i との画素値 の差分 e,.(u)≡ T[u] - [w,(u; )]を算出する。

さ らに、 算出された画素値の差分 e,.(u)と前処理計算部で求めた ν,.(ιι)と を積算し、 注目領域 （R O I ) の画素ごとの積算値を加算する こ とによ り 、 つま り 、 b,三 {e,.(u)v, (u)}に基づき、 b,を求める。 一方で、 現在の

ueROI 平面パラメ ータべク トル を用いて、 AT, = - (1 + ⁷" R「t,)に基づき、 / .を求 めておく。

そして、 上述のよ う に求めた b, , A:,.及び前処理計算部で求めたヘッセ行 列 Η,.を用いて、 Aq,. = - / Ή,-¹!),.に基づき、 平面パラメータべク トルの更新 値 Δς,·を求め、 Aq, + ,によ り 平面パラメータべク トル を更新する。 上述した一連の処理は、 所定の推定処理終了条件を満たすまで繰り返 される。 換言すれば、 所定の推定処理終了条件を満た したら、 第 1推定 処理を終了する。 そして、 第 1推定処理を終了する直前に更新された平 面パラメータベク トル を、 基準画像と参照画像 i との画像ペア （画像 ペア i ) による第 1推定処理の平面パラメータ推定値とする。

ここで、 所定の推定処理終了条件と して、 例えば、 平面パラメータべ ク トルの更新値のノルム I Aq,. Iが十分小さ く なつた場合に第 1 推定処理を 終了するよ う にしても良く 、 又、 繰返しが所定の回数に達した場合に第 1推定処理を終了するよ う に しても良い。

基準画像と参照画像 i との画像ペア （画像ペア i ) による第 1推定処 理は、 以上の手順に沿って行われる。 同様に、 基準画像と参照画像 j と の画像ペア （画像ペア j ) による第 1 推定処理も、 以上のよ う な手順で 行われる。

要するに、 上述の第 1推定処理は、 画像ペア i 、 画像ペア ； j について 、 それぞれ行われ、 どち らか一方が先に所定の推定処理終了条件を満た したら、 両方の繰返し計算 （第 1推定処理） を終了する。 ただし、 両方 終了するまで繰返し計算を別々に行う こ と もできる。

そして、 繰返し計算を終了する直前に、 即ち、 一番最後の繰返し計算 によ り算出された e,(u),e..(u)から、 = ∑ [e,(u)²，, = X [e (u)²]に基づき、

ueROl 輝度差の R M S E (Root Mean Squared Error) ， をそれぞれ求める 求めた , から、 値の小さい方の R M S Eを f とする。 に対応する 平面パラメータ推定値を、 「 4つ目の処理」 で行われる第 2推定処理 （ 多眼ステレオ画像による平面パラメータ推定） の平面パラメータべク ト ルの初期値とする。 さ らに、 を第 2推定処理に利用される画像ペア を選択するための閾値てとする （て = s x 。 ただし、 s は事前に定めた定 数であり 、 例えば、 2〜 3 という程度の実数値を利用する。 く 4 一 4 >第 2推定部の処理手順

第 7図には本発明の平面パラメータ推定装置の第 2推定部の処理手順 を示す。 つま り 、 第 7図に示す 「 4つ 目 の処理」 は、 「 3 つ 目 の処理」 で得られた閾値 rに基づき、 全画像ペアから選択された 「多数の画像べ ァ」 を用いて、 第 2推定 （数' 7のコス ト関数を用いた多眼ステ レオ画像 による平面パラメータ推定） を行う処理である。

第 7 図に示すよ う に、 第 2推定部では、 「 3つ目の処理」 で得られた 平面パラメータ推定結果、 即ち、 fに対応する平面パラメータ推定値を 平面パラメータべク トル の初期値と して、 第 2推定処理 （数 7 のコ ス ト関数を用いた多眼ステレオ画像による平面パラメータ推定） を行う。 第 2推定処理 （数 7 のコス ト関数を用いた多眼ステ レオ画像による平 面パラメータ推定処理） では、 各参照画像に関して、 例えば、 第 2図に 示す 2 5眼ステ レオカメ ラで撮影した多眼ステ レオ画像を用いた場合、 n = l 、 2、 · · ·、 2 5 の各画像 （ただし、 1 3番基準画像は除く ） に関 して、 各参照画像の変形から b„の計算までの手順は、 前述の第 1推定処 理の場合と、 基本的に同じである。

ただし、 第 2推定処理では、 第 7図の中央部の網がけされた部分で示 すよ う に、 基準画像と変形後の参照画像 n との画素値の差分 _e„(u)を算出 した後に、 まず、 (u)から = 「e„(u)² lに基づき、 輝度差の R M S E s„

u€ROI を計算する。 そ して、 算出 した が <ての条件を満たす n (参照画像 n ) のみについて、 b„≡ y (e„(u)v_n(u)}に基づき、 b„を求める。 つま り 、

ueROl 第 2推定処理では、 このよ う にして、 閾値てに基づき、 全ての参照画像 から第 2推定で使用する多数の参照画像 （多数の画像ペア） を選択して いる訳である。 次に、 H = 5 - ^H _n,^b = y丄 ^b„, =— (l + q^rR (ただし、 nは ^くての条件

κ„ ^ κ_η を満たす。 ） に基づき、 Η及び bを算出する。

そして、 上述のよ う に求めた Hと bを用いて、 Aq = - H— 'bに基づき、 平 面パラメ ータべク トノレの更新量 Aqを求め、 + 5によって平面パラ メータべク トル を更新する。 上述した一連の処理は、 所定の推定処理 終了条件を満たすまで繰り返される。 換言すれば、 所定の推定処理終了 条件を満たしたら、 第 2推定処理を終了する。

そして、 第 2 .推定処理を終了する直前に更新された平面パラメータべ ク トル を、 第 2推定処理の平面パラメータ推定値とする。 つま り 、 第 2推定処理の平面パラメータ推定値は、 本発明の平面パラメータ推定装 置によって推定された平面パラメータ （平面パラメータべク トル） であ る。

ここで、 所定の推定処理終了条件と して、 例えば、 平面パラメータべ ク トルの更新値のノルム | Aq |が十分小さ く なった場合に第 2推定処理を 終了するよ う にしても良く 、 又、 繰返しが所定の回数に達した場合に第 2推定処理を終了するよ う にしても良い。

以上のよ う に、 第 4図〜第 7図を通して、 本発明の平面パラメータ推 定装置の処理手順を、 平面パラメータ推定装置起動後の処理手順、 前処 理計算部及び画像ペア選択部の処理手順、 第 1 推定部の処理手順、 及び 第 2推定部の処理手順に分けて説明した。

なお、 本発明の平面パラメータ推定装置は、 上述した処理手順に限定 されるこ とはなく 、 画像ペア選択部で行う画像ペア選択処理と、 第 1推 定部で行う第 1推定処理を行わずに、 上述した平面パラメータ推定装置 起動後の処理手順、 上述した前処理計算部の処理手順、 上述した第 2推 定部の処理手順を行う こ とによって平面パラメータを推定するこ と もで き る。 ただし、 その場合は、 第 2推定部の処理手順について、 第 7図の 中央部の網がけされた部分で示す処理は行わない。 つま り 、 第 2推定部 において、 画像ペアを選択せずに、 全画像ペアを用いて第 2推定処理を 行う。 また、 第 2推定処理の平面パラメータベク トル の初期値と して 、 無限遠に存在するの平面、 即ち、 ： ，ひ，。)⁷ "を用いても良く 、 また、 基準カメ ラの光軸に垂直で十分遠方にある平面を用いても良く 、 更に、 ユーザが与えた平面を用いても良い。

また、 上述した本発明に係る平面パラメータ推定装置及び平面パラメ ータ推定方法 （平面パラメータ推定アルゴ リ ズム） は、 コ ンピュータシ ステムを利用 し、 ソフ ト ウェア （コンピュータプログラム） によ り 実装 さ れ る こ と 力 ^s で き 、 そ し て 、 A S I C ( Application Specific Integrated Circuit) 、 G P U ( Graphics Processing Unit) y F P G A (Field Programmable Gate Array) などのノヽー ドウエア ίこ よ り 実装 されるこ と も勿論できる。

< 5 >本発明を適用 した具体的な実施例

以下では、 本発明を適用 した具体的な実施例 （合成画像による実施例 1 、 及び実画像による実施例 2 ) について説明する。

< 5 — 1 >合成画像による実施例 1

実施例 1 では、 第 2図に示す 2 5台のカメ ラア レイ （ 2 5眼ステ レオ カ メ ラ） を用レヽて、 コ ン ピュータ グラ フ ィ ッ ク ス （ C G : Computer Graphic) によって生成された第 8図に示す 2 5枚の合成画像 （画像サ ィズは、 全て 6 4 0 X 4 8 0 ピクセルである。 ） を利用 した。 なお、 生 成した 2 5枚の合成画像は全てカラー画像であるが、 本実施例では、 こ れら 2 5枚の合成画像を全てモノ ク ロ画像に変換してから、 変換後のモ ノ ク ロ画像を用いて平面パラメータ推定処理を行った。 また、 合成画像 のシーンは、 床面、 2枚の壁面、 及ぴ 1つの柱によって構成され、 それ ぞれの面にテタスチヤを貼り付けたものである。

実施例 1 で使用する 2 5眼ステレオカメ ラは、 全てのカメ ラの光軸は 平行と し、 各カメ ラは水平方向及び垂直方向に等間隔に並んでおり 、 水 平方向及び垂直方向に隣接するカメ ラ間のベース ライ ン長は、 全て 0. 2 [ m ] と し 、 全て の カ メ ラ は、 同 じカ メ ラ 内部ノ ラ メ ー タ 行列 650.0 0 319.5

A = 0 650.0 239.5 を持ち、 画角は約 4 0 ° と した。 基準カメ ラの光 0 0 0 学中心から最遠方点 （ 2枚の壁面と床面の交差点） までの距離は 2 5. 5 [ m ]であった。

各画像ペアは、 基準画像 1 3 (reference image)とペアになる参照画 像を撮影した参照カメ ラのイ ンデックス n (参照画像 n ) によって表さ れ、 nは基準画像（ 1 3番）を除外した 1 〜 2 5 の値を持つものとする。

本実施例では、 作成した全ての合成画像に、 標準偏差 3 [gray level] のガウスノイズを加える と と もに、 平面パラメータ推定処理では、 σ =

3 [pixel]のガウシアンフ ィ ルタを用いて画像を平滑化した。 また、 第

1 推定処理でも、 第 2推定処理でも、 繰返しごと算出された平面パラメ 一タべク トルの更新値のノ ルムが 1 0 - 4以下になった場合を、 繰返し の終了条件 （所定の推定処理終了条件） と した。 そして、 第 1推定処理 の平面パラ メ ー タべク ト ル ， の初期値は、 無限遠の平面、 即 ち /_M = (0,0，0 と した。 更に、 第 2推定処理に利用 される画像ペアを選択す るための閾値て（て = ·?χ )について、 s = 3 によ り 定めた。

第 9図には、 第 8 図の 2 5眼ステ レオ画像から選択した基準画像 1 3 (合成画像） 及び当該基準画像上に定めた注目領域 （R O I ) を示して いる。 第 9 図で四角の枠で示された注目領域 （R O I ) のサイズは、 1 0 0 X 1 0 0 ピクセルでおる。 この注目領域 （ R Ο I ) は、 シーンの右 壁面の一部を示しており 、 この注目領域 （ R O I ) を利用 して、 右壁面 の 3次元平面パラメータ （平面パラメータべク トル） を推定した。

まず、 ここで、 第 8図の 2 5眼ステレオ画像 （合成画像） を用いて、 1 つの画像ペアによる平面パラメータ推定処理を 2 4組別々に行った場 合と、 全画像ペアを用いて平面パラメータ推定処理を行った場合との違 いを検証した。

第 1 0図は、 第 8 図の 2 5眼ステ レオ画像 （合成画像） を用いた場合 に、 各画像ペアによる平面パラメータ推定及び全画像ペアによる平面パ ラメータ推定の画像間の R M S E と繰返し回数との関係を示すグラフで ある。 つま り 、 第 1 0図には、 基準画像と参照画像との役割を入れ替え て定式化したコス ト関数 （即ち、 数 5及び数 7 で表すコ ス ト関数） を利 用 し、 Gauss- Newton 法を適用 した繰返し計算結果の様子を示している 以下、 説明の便宜上、 第 1 0図における各画像ペア及び数 5 のコ ス ト 関数を利用 した 2眼ステ レオ画像による平面パラメータ推定を、 単に 「 従来の高速化した 2眼ステレオ画像による平面パラメータ推定」 と も言 う。 また、 第 1 0図における全画像ペア及び数 7 のコス ト関数を利用 し た多眼ステ レオ画像による平面パラメータ推定を、 単に、 「従来の高速 化した多眼ステ レオ画像による平面パラメータ推定」 と も言う。

第 1 0図では、 繰返し回数を横軸に示し、 また、 コス ト関数値を画素 サイズで割った値の根 （ルー ト） を縦軸に示しており 、 即ち、 縦軸は、 画素値の差分に関する R M S E (Root Mean Squared Differences) で あり 、 その単位は画素値のグレイ レベルである。 また、 第 1 0図では、 全画像ペア （ 2 4 つの画像ペア） を用いて平面パラメータ推定処理を行 つた場合を太い実線で示しており 、 1 つの画像ペアのみを利用 して平面 パラメータ推定処理を行った場合を細線で示しており 、 それぞれに画像 ペアイ ンデッ ク スを付与している。 第 1 0 図では、 繰返し終了条件 （推 定処理終了条件） と して、 繰返しごと に算出される平面パラメータべク トルの更新量 が 0 . 0 0 0 1 よ り も小さ く なった場合に、 コス ト関数 の最適化処理が収束したものと して繰返し計算 （平面パラメータ推定処 理） を終了した。

第 1 0図を見る と、 各画像ペアによる平面パラメ一タ推定処理の場合 も、 全画像ペアによる平面パラメータ推定処理の場合も、 1 2 0回まで の繰返しまでに、 繰返し終了条件に達しており 、 それぞれの R M S Eの グラ フの終端付近に、 対応する画像ペアィ ンデッ クス nを付与している 第 1 0図を見る と、 各画像ペアをそれぞれ独立に用いて平面パラメ一 タ推定処理 （従来の高速化した 2眼ステ レオ画像による平面パラメータ 推定） を行つた 口、 土画像べァの う ち、 約半分の画像ペアは終了時の

R M S E値が小さいこ とから （ R M S Eの値が 2 0 グレイ レベル以下で

、 即ち 、 コス 卜関数の値が十分小さ く なつているこ とから） 、 平面パラ メータ推定処理に成功しており 、 それ以外の画像べァは局所解に陥り 、 平面パラメ一タ推定処理に失敗しているこ とが分かる 。 これに対し、 全 画像べァを用いた平面パラメ一タ推定処理 （従来の高速化した多眼ステ レオ画像による平面パラメータ推定） は成功しており 、 多く の画像を利 用するこ とによ り 、 解を安定に得られるこ とが示されている。

—方で、 第 1 0図において、 2眼ステ レオ画像による平面パラメータ 推定処理では、 特にコス ト関数の最適化処理の収束が速い画像ペアは、 画像ペアイ ンデックス 8番と 1 8番の画像べァであり 、 約 1 0回の繰返 しで平面パラメータ推定処理に成功している また、 第 1 0図において

、 全画像ペアを用いた平面パラメ一タ推定処理を行った場合に、 平面パ ラメータ推定処理に成功しているものの、 約 1 2 0回の繰返しを必要と している。 これは、 従来の高速化した多眼ステレオ画像による平面パラ メ一タ推定処理では、 多眼ステレオ画像の全画像ペアを利用 しているた め 、 即ち、 平面パラメータ推定処理に失敗する可能性のある約半分の画 像ぺァも利用 しているため、 コス ト関数の最適化処理の収束が遅く なる 現象を生じた訳である。

こ こで、 本発明では、 前処理計算部及び画像ペア選択部にて行われる

、

目 IJ処理及び画像ペア選択処理を行う こ とによつて、 第 1推定部に利用す る画像ペアを選択するよ う にしている。 まず 、 本発明では、 第 8図の 2

5 眼ステ レオ面像 （合成画像 ) について、 各画像ペアにおけるヘッセ行 列の条件数を算出するこ とができる。 第 1 1 図は、 第 8 図の 2 5眼ステ レォ画像 （合成画像） を用いた場合に、 各画像ペアにおけるヘッセ行列 5

の条件数を示す図であり 、 横軸に各画像ペアのイ ンデッ ク ス番号を示し ている。 第 1 1 図から、 画像ペアイ ンデックス 3番、 8番、 1 8番、 2 3番の各画像ペアにおけるヘッセ行列の条件数が一番小さいこ とが分か る。

また、 第 1 1 図では、 小さなベースライ ン長を持つ画像ペアグループ

(画像べアイ ンデッ ク ス 7番、 8番、 9番、 1 2番、 1 4番、 1 7番、

1 8番、 1 9番、 合計 8つの画像ペア） を黒い実線で表示してお り 、 本 発明の画像ペア選択部では、 最小の条件数を持ち、 かつべ一スラィ ン長 の小さレヽ画像ペア (画像べアイ ンデッ ク ス 8番、 1 8番の 2つの画像べ ァ） を、 第 1 推定部に利用する画像ペアと して、 選択する のよ う に 選択された画像べァを第 1推定に利用するこ と によ り 、 効率よ < 平面パ ラメータを推定するこ とができる。

第 1. 2図は、 第 8図の 2 5眼ステレオ画像 （合成画像） を用いた場合 に、 各画像ペアのヘッセ行列から導出されたコス ト関数のガウス曲率 （ ヘッセ行列の行列式の値） を、 カメ ラベースライ ン長によって正規化し たものを示しており 、 横軸に各画像ペアのイ ンデックス番号を示してい る。 第 1 2図から、 画像ペアイ ンデッ ク ス 3番、 8番、 1 8番、 2 3番 の各画像ペアにおけるヘッセ行列から導出されたコス ト関数のガウス曲 率が一番大きいこ とが分かる。

第 1 1 図と 同じよ う に、 第 1 2図では、 小さなベースライ ン長を持つ 画像ペアグループ （画像ペアイ ンデッ ク ス 7番、 8番、 9番、 1 2番、 1 4番、 1 7番、 1 8番、 1 9番、 合計 8つの画像ペア） を黒い実線で 表示している。

第 1 2 図によ り 、 第 1 0図においてコ ス ト関数の最適化処理の収束の 速かった画像ペアイ ンデッ ク ス 8番と 1 8番の画像ペアは、 最大のガウ ス曲率を持ち、 かつベースライ ン長の小さい画像ペアであるこ とがわか る。

そこで、 本発明では、 画像ペア選択部で画像ペア選択処理を行う際に 、 ヘッセ行列から算出された条件数の代わり に、 ヘッセ行列から導出さ れたコス ト関数のガウス曲率を用いて、 第 1推定部で利用する画像ペア を選択するこ と も可能である。 つま り 、 本発明では、 最大のガウス曲率 を持ち、 かつベースライ ン長の小さい画像ペアを、 第 1推定部で利用す る画像ペアと して選択するこ と もでき る。

第 1 3 図は、 第 8 図の 2 5眼ステレオ画像 （合成画像） を用いた場合 に、 各画像ペアのヘッセ行列から導出されたコス ト関数の平均曲率 （ 3 個の固有値の値の平均） を、 カメ ラベースライ ン長によって正規化した ものを示しており 、 横軸に各画像ペアのィ ンデッタ ス番号を示している 。 第 1 3図力 ら、 画像ペアイ ンデッ ク ス 3番、 8番、 1 8番、 2 3番の 各画像ペアにおけるヘッセ行列から導出されたコス ト関数の平均曲率が 一番大きいこ とが分かる。

第 1 1 図と 同じよ う に、 第 1 3 図では、 小さなベースライ ン長を持つ 画像ペアグループ （画像ペアイ ンデックス 7番、 8番、 9番、 1 2番、 1 4番、 1 7番、 1 8番、 1 9番、 合計 8つの画像ペア） を黒い実線で 表示している。

第 1 3 図によ り 、 第 1 0図においてコ ス ト関数の最適化処理の収束の 速かった画像ペアイ ンデックス 8番と 1 8番の画像ペアは、 最大の平均 曲率を持ち、 かつベースライ ン長の小さい画像ペアであるこ とがわかる そこで、 本発明では、 画像ペア選択部で画像ペア選択処理を行う 際に 、 ヘッセ行列から算出された条件数の代わり に、 ヘッセ行列から導出さ れたコス ト関数の平均曲率を用いて、 第 1推定部で利用する画像ペアを 選択するこ と も可能である。 つま り 、 本発明では、 最大の平均曲率を持 ち、 かつベースライ ン長の小さい画像ペアを、 第 1推定部で利用する画 像ペアと して選択するこ と もでき る。

次に、 第 8 図の 2 5眼ステレオ画像 （合成画像） を用いて本発明を適 用 した平面パラメータ推定を行った結果を示す。 こ こでは、 画像ペア選 択部では、 画像ペアごとのヘッセ行列の条件数と、 画像ペアのカメ ラべ ース ライ ン長とに基づき、 第 1推定部で利用する画像ペアを選択する。 つま り 、 まず、 画像ペア選択部では、 ベースライ ン長の小さい画像ペア 、 即ち、 7番、 8番、 9番、 1 2番、 1 4番、 1 7番、 1 8番、 1 9番 の画像ペアを先に選択し、 その中から最小の条件数を持つ画像ペア、 即 ち、 8番と 1 8番の画像ペアを選択する。 そして、 第 1 推定部では、 選 択された 2つの画像ペア （ 8番と 1 8番の画像ペア） に対して別々に、 2眼ステ レオ画像による平面パラメータ推定 '（第 1推定） を行った。 次 に、 2つの画像ペア （ 8番と 1 8番の画像ペア） それぞれの第 1推定結 果から、 コス ト関数の値の小さい方の第 1推定結果を選択し、 選択した その第 1推定結果を、 第 2推定の平面パラメータの初期値と して、 全画 像ペア （ 2 4つの画像ペア） による平面パラメータ推定処理を行った。 だだし、 こ こでも、 第 1 推定処理及び第 2推定処理において、 繰返しご と に算出される平面パラメータの微小変化量が 0 . 0 0 0 1 よ り も小さ く なった場合に、 最適化処理が収束したものと して繰返し計算を終了し た。

第 1 4図は、 第 8 図の 2 5眼ステ レオ画像 （合成画像） を用いて本発 明を適用 した場合の繰返し計算ごと の推定精度 1 - q^ lの変化を対数ス ケールで示したものである。 第 1 4 図では、 画像ペアイ ンデックス 8番 と 1 8番の画像ペアが選択され、 この 2つの画像ペアを独立に用いた平 面パラメータ推定処理 （第 1推定処理） が行われ、 どちらも 9回の繰返 し計算で所定の推定処理終了条件に達している。 第 1 推定処理の初期段 階では、 5の傾きが大き く変化するため、 の値は一時的に大き く なるこ とがあるが、 9回の繰返し計算によ り誤差の小さい平面パラメ一 タ推定値が得られた。

第 1 4図から分かるよ う に、 第 1推定処理の終了時に、 画像ペアィ ン デックス 8番の画像ペアの R M S Eの方が小さかった （画像べアイ ンデ ッ ク ス 8番の画像ペアのコス ト関数の値が小さかった） ため、 画像ペア インデックス 8番の画像ペアによって推定された平面パラメータを、 第 2推定処理 （多眼ステレオ画像による推定処理） の平面パラメータの初 期値と して利用 し、 全画像ペア （ 2 4つの画像ペア） による第 2推定処 理は 2回の繰返し計算 （ トータルでは 1 0回目 と 1 1 回目の繰返し計算 ) で終了 している。

即ち、 第 1 0図に示すよ う な従来の高速化した多眼ステ レオ画像によ る平面パラメータ推定処理では、 平面パラメータを推定するために、 1

2 0回の繰返し計算を必要と したのに対し、 本発明を適用 した平面パラ メータ推定処理では、 第 1推定処理と第 2推定処理を含めて トータル 1 1 回の繰返し計算のみで、 平面パラメータ推定を行う こ とが出来た。 第 1 0図及び第 1 4図を比較するこ とによ り 、 本発明を適用 した平面パラ メータ推定処理が、 安定かつ効率的な平面パラメ ータ推定を実現できた こ とが分かる。

第 1 4 図から分かるよ う に、 全画像ペアによる第 2推定処理では、 2 眼ステ レオ画像による平面パラメータ推定処理 （第 1 推定処理） よ り も 推定誤差が一桁小さ く なり 、 推定された平面パラメータの精度は、 多眼 ステレオ画像を用いるこ とによって改善された。

こ こで、 1 つの画像ペアのみを用いた 2眼ステ レオ画像による平'面パ ラメータ処理を行った場合と、 本発明の全画像ペアによる第 2推定処理 を行った場合との平面パラメータ推定精度の比較を、 表 1 に示す。

【表 1 】

つま り 、 表 1 は、 1 つの画像ペアのみを用いた 「従来の高速化した 2 眼ステ レオ画像による平面パラメータ推定処理」 を行った場合と、 本発 明を適用 して全画像ペア （ 2 4つの画像ペア） による第 2推定処理を行 つた場合における、 推定された平面パラメータのエラーを示したもので ある。 表 1 では、 差分ノルム （ - q_real|) 、 平面パラノータの真値と平 面パラメータ推定値における R O I 中心の距離 （奥行き） の差（ I depth err|)、 及ぴ、 平面パラメータの角度差（ I angl e err | )を示したものであ る。 平面パラメ ータの真値は q = (0.04562, - 0.00334,0.03813fで、 R O I 中心 の距離 （奥行き） は 2 1 . 1 6 9 4 6 [mm]である。

また、 表 1 では、 1 つの画像ペアのみを用いた 「従来の高速化した 2 眼ステレオ画像による平面パラメータ推定処理」 において表示した画像 ペアイ ンデッ クス （ Image Index) は、 画像間の R M S Eが 1 5 [gray level]以下になり 、 平面パラメ一タ推定に成功したと判断でき るものの みを表示している。 そして、 表 1 の 「Image Index」 の欄の 「A11」 は、 本発明を適用 して全画像ペア （ 2 4つの画像ペア） による第 2推定処理 を行う場合を意味する。

表 1 を見る と、 差分ノ ルム及び平面パラメータの角度差においては、 本発明による第 2推定処理 （All) で得られた平面パラメータ推定値が 最も精度がよいこ とが分かる。 また、 真値と推定値における R O I 中心 の距離の差は、 ベースライ ン長の比較的長い画像ペアイ ンデックス 1 6 番の画像ペアが最も良いが、 平面パラメータの角度差は、 本発明による 第 2推定処理 （All) で得られた平面パラメータ推定値がはるかに良好 であるため、 本発明による多眼推定結果 （本発明による第 2推定処理結 果） が最も精度が良いと言える。

表 2 は、 従来の高速化した多眼ステ レオ画像による平面パラメータ推 定処理に必要な計算時間と、 本発明を適用 した平面パラメータ推定処理 (本発明による画像ペア選択を伴う多眼ステ レオ画像による平面パラメ ータ推定処理） に必要な計算時間をそれぞれ示したものである。 また、 表 2 に示す推定処理は、 Pentium- IV (登録商標） 2.8GHz及び L i nux (登 録商標） を搭載したパーソナルコ ンピュータによって実行される。

【表 2 】

表 2 ίこおレヽて、 「pre— computationj fま、 操返し計算を行 う前 ίこ、 へ ッセ行列等の諸量 （ v„(u)及び H„ ) を計算するために要 した時間を示し て お り 、 つ ま り 、 前処理計算 時間 を示 し て い る 。 ま た 、 「 per iterationj は、 1 回の繰返し計算に要する計算時間を示しており 、 本 発明を用いた場合では、 第 1推定処理では、 2眼ステ レオ画像による平 面パラメータ推定処理を 2つの画像ペア利用 して別々 に行ったため、 第 1推定処理に要する時間と、 第 2推定処理に要する時間との両方を併記 している。 そ して、 「total (for Fig.9) J は、 第 9 図に示す注目領域 ( R O I のサイズ ： 1 0 0 X 1 0 0 ピクセル） に対して平面パラメータ 推定処理を行った場合に要する トータルの計算時間を示している。

表 2から分かるよ う に、 従来の高速.化した多眼ステ レオ画像による平 面パラメータ推定処理を行った場合では、 繰返し計算の回数が 1 1 7回 であるこ とから、 トータルの計算時間は 1 4 4 2 6 . 7 [ミ リ秒] であ るのに対して、 本発明を適用 した平面パラメータ推定処理を行った場合 では、 2眼ステレオ画像による第 1推定処理の繰返し計算の回数が 9回 で、 多眼ステ レオ画像による第 2推定処理の繰返し計算の回数が 2回で ある （合計で 1 1 回である） こ とから、 トータルの計算時間は 5 6 3 . 8 2 [ミ リ秒] である。

本発明による平面パラメータ推定処理は、 従来の高速化した多眼ステ レオ画像による平面パラメータ推定処理よ り も、 約 2 5倍短い時間で推 定できており 、 又は、 非常に少ない繰返し回数で平面パラメータ推定処 理を終了 しており 、 本発明の効率の良さ （少ない計算コス トで平面パラ メータを安定に推定できたこ と） が実証された。

なお、 多眼ステ レオ画像による平面パラメータ推定を行う こ とは、 全 ての参照画像を基準画像に重ね合わせるための平面射影変換パラメータ を推定するこ と と等価である。 本発明の応用例と して、 本発明によって 推定された平面パラメータを利用 して、 多眼ステ レオ画像の全画像を統 合するこ とによ り 、 仮想焦点面画像 （非特許文献 1 1 を参照） や超解像 度画像 （非特許文献 1 2及び非特許文献 1 3 を参照） を生成するこ とが できる

第 1 5図は、 第 8図の 2 5眼ステ レオ画像 （合成画像） を用いて本発 明によって推定された平面パラメータを利用 して生成された仮想焦点面 画像を示す図である。 仮想焦点面画像とは、 被写界深度の大きな複数の 画像から生成された被写界深度の小さい画像である。

第 1 5図の仮想焦点面画像は、 本発明によって推定された平面パラメ —タを利用 して、 全ての参照画像 （合計 2 4枚の参照画像） を基準画像 に重なるよ う に変形し、 変形後の 2 4枚の参照画像と基準画像と を含む 合計 2 5枚の画像を平均化するこ とによって、 生成された。 本発明によ つて推定された平面パラメータの精度が非常に高いため、 第 1 5図を見 れば分かるよ う に、 右側の壁面全体に対してのみ焦点のあった画像が生 成されている。

< 5 — 2 〉実画像による実施例 2

実施例 2 では、 第 1 6 図に示す 2 5眼力メ ラを利用 して、 第 1 7図に 示す 2 5眼ステ レオ画像 （実画像） を利用 した。 2 5枚の実画像の画像 サイズは、 全て 6 4 0 X 4 8 0 ピクセルである。 また、 Mat lab のカメ ラキャ リ ブレーショ ンツール （非特許文献 1 0 を参照） を利用 して、 第 1 6 図に示す 2 5眼力メ ラの全力メ ラのキャ リ ブレーショ ンを行ったと ころ、 隣接するカメ ラの平均のベースライ ン長は 1 2. 3 [mm]である こ とが分かった。

第 1 7 図の 2 5眼ステ レオ画像 （実画像） を用いて本発明によって推 定された平面パラメータを利用 して生成ざれた仮想焦点面画像を第 1 8 図に示す。 第 1 8図 （A) 、 ( B ) 、 ( C ) の四角の枠で囲まれた 1 0 0 X 1 0 0 ピクセルの R O I を定め、 それらの注目領域 （R O I ) に関 して、 本発明を利用 して平面パラメータを推定した。

本発明による平面パラメータ推定処理では、 第 1推定処理の繰返し計 算の回数がそれぞれの R O I について 6回、 8回、 8 回で、 第 2推定処 理の繰返し計算の回数が 3回、 3回、 4回であり 、 それぞれの R O I に 関する トータルの計算時間は、 6 5 6. 2 ミ リ秒、 6 7 5 · 5 ミ リ秒、 7 9 6. 8 ミ リ秒であ り 、 全ての平面パラメータ推定処理は、 1 秒以内に 計算を終えているこ とが分かった。 このよ う に、 実画像の多眼ステ レオ 画像に本発明を適用するこ と によって、 少ない計算コス トで平面パラメ ータを精度良く推定できたこ とは、 実証された。

また、 第 1 8図 （ B ) 、 ( C ) において、 その 2つの注目領域 （ R O I ) の対象が平面とは言えない。 それにもかかわらず、 本発明によ り推 定された平面パラメータを利用するこ とによ り 、 良好な仮想焦点面画像 が生成されており 、 本発明の有効性が実証された。 産業上の利用可能性 本発明は、 多眼ステ レオカメ ラで撮影された多眼ステ レオ画像を利用 して、 撮影対象の平面パラメータを短時間で安定且つ精度良く 推定でき る よ う にした、 平面パラメータ推定装置、 平面パラメータ推定方法及び 平面パラメータ推定プロ グラムに関するものである。

本発明では、 多眼ステ レオ画像の全画像ペアから選択した多数の画像 ペアを用いて、 多眼ステ レオ画像による平面パラメータ推定 （第 2推定 ) を行う前に、 まず、 平面パラメータ推定に好ま しい画像ペアを選択し て、 選択された画像ペアを用いて、 2眼ステ レオ画像による平面パラメ ータ推定 （第 1推定） を行う よ う にする。 次に、 第 1推定で得られた平 面パラメータ推定値を、 第 2推定の平面パラメータの初期値と し、 多眼 ステ レオ画像の全画像ペアから選択した多数の画像ペアを用いて第 2推 定を行う。

本発明によれば、 多眼ステレオ画像による平面パラメータ推定を 2段 階 （第 1 推定、 第 2推定） で順次行う こ と によ り 、 また、 基準画像と参 照画像の役割を入れ替えて定式化した S S D及び S S S Dをそれぞれ第 1 推定及び第 2推定のコス ト関数とするこ とによ り 、 コ ス ト関数を最適 化するための計算コス トを大幅に抑えるこ とができ、 平面パラメータを 短時間 （少ない計算コス ト） で安定且つ精度良く 推定できる という優れ た効果を奏する。

<参考文献一覧〉

非特許文献 1 ：

淺谷南己 · 杉本茂樹 · 奥富正敏共著， 「二足歩行ロボッ トのための歩行 計画に基づく ステ レオ画像センシング」 ，画像の認識 · 理解シンポジゥ ム（MI RU2007)論文集， p. 899-904, 2007年 6 非特許文献 2 ：

エス . スギモ ト （S. Sugimoto) 、 ェム . ォク 卜 ミ （M. Okutomi) 共 著， 「ァ ダイ レ ク ト ア ン ド エフ イ シェ ン ト メ ソ ッ ド フ ォー ピースワイ ズ ブラーナ サーフェス リ ーコ ンス ト ラ ク シヨ ン フ ロ ム ス テ レ オ Ί メ 一 シス (, A direct and eif lcient method for piecewise -planar surface reconstruct ion from stereo images ) J , I E E E コ ンピュータ ソサイ ァティ カ ンフ ァ レンス オン コ ンビュ一 タ ビジ ョ ン ア ン ド ノヽ。ターン リ コ グニシ ヨ ン ( IEEE Computer Society Conference on Computer Vision and Pattern Recognition) , ^00/ 年 非特許文献 3 ：

キュー. ケ （Q. Ke) 、 ティ一. カナデ （T. Kanade) 共著， 「 ト ラ ン ス フォー ミ ング カメ ラ ジオメ ト リ ー ト ゥー ァ バーチャル ダウ ンヮ — ド ルツキング カ メ ラ ： ローバス ト エゴモーシ ョ ン エスティ メ イ シヨ ン ア ン ド グ ラ ウ ン ド レ イ ヤ ー デ テ ク シ ヨ ン ( Transforming camera geometry to a virtual downward- looking camera： Robust ego— motion est imat ion and ground-layer detection) 」 ， CVPR, 第 1 卷, p.390- 397, 2003年 非特許文献 4 ：

ェム. ォク ト ミ （M. Okutomi) 、 ティー. カナデ （T. Kanade) 共著， 「ァ マノレチプノレ ベース ラ イ ン ス テ レ才 ( A multiple— baseline stereo) J . I E E E ト ラ ンスア ク シ ョ ンズ オン パターン アナ リ シ ス ア ン ド マ シ ン イ ン テ リ ジ ェ ン ス ( IEEE Transactions on Pattern Analysis and Machine Intelligence ) ， 第 15 巻， 第 4 号 ， p.353-367, 1993年 4月 非特許文献 5 ：

ェム. ハツべクケ（M. Habbecke)、 ェノレ. コブべノレト（し Kobbelt )共著，「（ Iterative multi-view plane fitting) J，プ ロ シ一デン グズ オフ ザ 1 1 t h イ ンタ ーナシ ョ ナル フ ォール ワ ーク シ ョ ッ プ オン ビジ ョ ン， モデ リ ン グ， ア ン ド ビジ ユ ア ラ イ ザ シ ヨ ン （ V M V 2 0 0 6 ) (Proceedings of the 11th International Fall Workshop on Vision, Modeling, and Visualization (VMV2006)) , p.73-80,2006年 非特許文献 6 ：

マ一テ ィ ン ノヽッべクケ (Martin Habbecke)、 ラ イ フ コブべノレト (Leif Kobbelt) 共 ¾，ι (A Surface- Growing Approach to Multi-View Stereo Reconstruction )」，プ ロ シ一デ ン グズ オフ I E E E カ ン フ ァ レ ンス オ ン コ ン ピ ュ ー タ ビ ジ ョ ン ア ン ド パ タ ー ン リ コ グ ニ シ ヨ ン （ C V P R 2 0 0 7 ) ( proceedings of IEEE conference on Computer Vision ana Pattern Recognition (CVPR2007)) , p.1-8,2007年 非特許文献 7 ：

杉本茂樹 ' 奥富正敏共著， 「ステ レオ画像を用いた高速な平面パラメ一 タ推定法」 ，情報処理学会論文誌 ： コ ンピュータ ビジ ョ ンとイ メージメ ディ ア，第 48卷，第 SIG 1 (CVIM 17)号， p.24-34， 2007年 非特許文献 8 ォー. フ ァ ゲラ ス (0. Faugeras) 、 エフ . ラ ス トマン （F. Lustman ) 共著， 「モーシ ョ ン ア ン ド ス ト ラ クチャ一 フ ロ ム モーシ ョ ン イ ン ァ ピ ー ス ワ イ ズ プ ラ ー ナ イ ン ィ ァ ロ ン メ ン ト （ Motion and structure from motion in a piecewise planar environment) J ， レ 3 ー ト デ レ チ ヤ ノレ チ ヤ デ 1 I N R I A ( Report de Recherche de Γ INRIA) , 1988年 非特許文献 9 ：

ケィ . チン （K. Chen) 著， 「マ ト リ ク ス プ レ コ ンディ シ ョ ニ ング テク ニ ッ ク ズ アン ド アプ リ ケイ シヨ ンズ (Matrix Preconditioning Techniques and Ap lications) J , ケンフ シ ヽーシテ ィ 一 プレス (Cambridge University Press) 2005年 非特許文献 1 0 ：

ジエ ー. ワイ . ボ ウ ダエ ト （J. -Y. Bouguet) 著， 「カ メ ラ キヤ リ ブ レ ー シ ヨ ン ツ ー ノレボ ッ ク ス フ ォ ー マ ッ ト ラ ブ (Camera Calibration Toolbox for Mat ab) 」

URL (http://www. vision. caltech. edu/bouguetj/calib doc/" ) 非特許文献 1 1

ヴィ . ビシュ （V. Vaish)他共著， 「シンセティ ッ ク アパーチャ一 フ オーカ シング ユーシング ァ シーア ワープ フ ァ ク ト ライ ザシ ヨ ン オフ ザ ビュ ーイ ン グ 卜 ラ ン ス フ ォ ーム （ Synthetic aperture focusing using a shear-warp factorization of the viewing transform) 」 ， I E E E コ ンピュータ ソサイ ァティ カ ンフ ァ レン ス オン コ ンピュータ ビジ ョ ン アン ド / ターン リ コ グニショ ン ( IEEE Computer Society し onierence on Computer ision ana Pattern Recognition) , p. 129， 2005年 非特許文献 1 2 ：

ティー. ゴ ト （T. Goto) 、 ェム. オタ ト ミ （M. Okutomi) 共著， 「ダ ィ レク ト ス ーノ ー レ ゾルー シ ヨ ン ア ン ド レジス ト レ一 シ ヨ ン ュ一シン グ ロ ー C F A イ メ ー ジ ズ ( Direct super-resolution and registration using ra し FA images) J , I E コ ノヒ ュ ¹ ~タ ソ サイ ァティ カ ンフ ァ レンス オン コ ンピュータ ビジョ ン アン ド パ タ ーン リ コ グ ニ シ ヨ ン ( IEEE Computer Society し onierence on Computer Vision and Pattern Recognition) ，第 II 卷， p.600607， 2004 ¥ 非特許文献 1 3 :

池田薰 · 清水雅夫 · 奥富正敏共著， 「撮影位置の異なる複数の画像を用 いた高解像仮想焦点面画像生成」 ，情報処理学会研究報告（コ ンピュータ ビジ ョ ン と イ メ ージメ ディ ア 2006— CVIM— 156) , 第 2006 卷，第 13 号 , p. 101108， 2006年

Claims

請 求 の 範 囲

1 . 既知の視点位置を持つ校正済みの多眼ステ レオカメ ラによって撮影 された多眼ステ レオ画像を用いて、 撮影対象の平面パラメータを推定す る平面パラメータ推定装置であって、

1つの基準画像、 前記基準画像上に設定された注目領域、 複数の参照 画像、 カメ ラ内部パラメータ、 カメ ラ間の外部パラメータを入力と し、 画像ペア毎に定まるヘッセ行列を含めて繰返し計算ごとに変化しない複 数のパラメータを 1 度だけ計算する、 前処理計算部と、

前記前処理計算部で算出された各画像ペアのヘッセ行列に基づき、 前 記多眼ステ レオ画像の全画像ペアから、 1 つの画像ペア又は 2つの画像 ペアを選択する、 画像ペア選択部と、

前記画像ペア選択部で選択された、 前記 1 つの画像ペア又は前記 2つ の画像ペアに対して、 基準画像と参照画像の役割を入れ替えて定式化さ れた S S Dを第 1 のコス ト関数と し、 前記第 1 のコス ト関数を最適化ァ ルゴリ ズムによ り最適化するこ とによ り 、 2眼ステ レオ画像による平面 パラメータ推定 （以下、 第 1推定と言 う。 ） を別々に行い、 前記第 1 の コス ト関数の値の小さい方の前記第 1 推定の平面パラメータ推定値を前 記平面パラメータ とする、 第 1 推定部と、

を備え、

前記第 1推定部で行われる前記第 1 推定において、 前記第 1 のコス ト 関数を最適化するための繰返し計算を行う際に、 前記複数のパラメータ を利用するこ と を特徴とする平面パラメータ推定装置。

2 . 前記最適化アルゴ リ ズムは、 Gu a s s - Newt on 法に基づく ァノレゴリ ズ ムである請求の範囲第 1 項に記載の平面パラメータ推定装 ft o

3 .. 刖記画像べァ選択部では 、 前記全画像べァの う ち、 画像ぺァにおけ るへッセ行列の条件数が最小で、 且つその画像ペアを撮影した力メ ラ間 のべ一スライ ン長力 S最 /J、の画像ペアを、 前記 1 つの画像ペア又は tu記 2 つの画像ペアと して選択する請求の範囲第 2項に記載の平面パラメータ 推定装 Λ o

4 . iu記画像べァ選択部では 、 前記全画像ぺァのう ち、 画像ぺァにおけ るへッセ行列から算出された曲率が最大で、

且つその画像ぺァを撮影し たカメ ラ間のべースライ ン長が最小の画像べァを、 in記 1つの画像ペア 又は前記 2つの画像ペアと して選択する請求の範囲第 2項に記载の平面 パラメータ推定装置。

5 · HU記曲率とは、 主曲率、 平均曲率、 ガウス曲率の何れかであ Ο 永 の範囲第 4項に記載の平面パラメ一タ推定装置 ο

6 . 前記第 1 の コ ス ト関数は、 (Γ [Aw_n fu; Δρ„ (Δς))] - /„ [w„ fu; (q))])² ueROI よって表され、

ただし、 Δ „(ιι;Δρ„)は、 α_η = (Ι + ΔΡ_η)ΰと表される座標変換式と等価な座 標変換関数であり 、 ΔΡ_ηと Aqの関係は、 ΔΡ„ = ~~ ^R_n ^rt_nAq^rに

l + q¾t_n + Aq¾t„ よって定められ、 △q lb_n,H„_≡ ∑卜; (u)v )}、

AT" ueROI b„≡ ∑ {_e„(_U)_V»}，A:„ョ- (l + ^ t„),_V„(u)ョ _g(n)J(u)K„が成立し、

ueROI そして、 R O I は注目領域を表し、 Tは基準画像であ り 、 基準画像上 の点 ii = (u，_V)^rと n番目の参照画像上における対応点 u„ = (z/_n , v„)^f との関係は 同次座標表現 fi = (w, v, l)^r,fi„ = (_M„,v„,l)^rを用いて、 ϋ„ = Ρ„ΰ及び P_n = R_n +t„q^rで 表され、 P„は 3 X 3 の平面射影変換行列を表し、 R_nは基準カメ ラ座標 系と n番目のカメ ラ座標系との間の回転行列を表し、 t„は平行移動べク トルを表し、 qは、 基準カメ ラ座標系における平面 Πを一意に定める 3 次元べク トルで、 推定する平面パラメータ を表し、 H_n及び V u)は前記 複数のパラメ ータである請求の範囲第 2項乃至請求の範囲第 5項のいず れかに記載の平面パラメータ推定装置。

7 . 既知の視点位置を持つ校正済みの多眼ステ レオカメ ラによって撮影 された多眼ステ レオ画像を用いて、 撮影対象の平面パラメータを推定す る平面パラメータ推定装置であって、

1つの基準画像、 前記基準画像上に設定された注目領域、 複数の参照 画像、 カメ ラ内部パラメータ、 カメ ラ間の外部パラメータを入力と し、 画像ペア毎に定まるヘッセ行列を含めて繰返し計算ごと に変化しない複 数のパラメータを 1 度だけ計算する、 前処理計算部と、

前記前処理計算部で算出された各画像ペアのヘッセ行列に基づき、 前 記多眼ステ レオ画像の全画像ペアから、 1 つの画像ペア又は 2つの画像 ペアを選択する、 画像ペア選択部と、

前記画像ペア選択部で選択された、 前記 1 つの画像ペア又は前記 2つ の画像ペアに対して、 基準画像と参照画像の役割を入れ替えて定式化さ れた S S Dを第 1 のコス ト関数と し、 前記第 1 のコス ト関数を最適化ァ ルゴリ ズムによ り最適化するこ とによ り 、 2眼ステ レオ画像による平面 パラメータ推定 （以下、 第 1推定と言う。 ） を別々に行う 、 第 1 推定部 と、

前記第 1 のコス ト関数の値の小さい方の前記第 1推定の平面パラメ一 タ推定値を初期値と し、 前記 S S Dを前記全画像ペアから選択された多 数の画像ペアについて加算した S S S Dを第 2 のコス ト関数と し、 前記 第 2 のコ ス ト関数を前記最適化アルゴリ ズムによ り最適化する こ とによ り 、 多眼ステ レオ画像による平面パラメータ推定 （以下、 第 2推定と言 う。 ） を行い、 得られた第 2推定の平面パラメータ推定値を前記平面パ ラメニタ どする、 第 2推定部と、

を備え、

前記第 1推定部で行われる前記第 1 推定において、 前記第 1 のコス ト 関数を最適化するための繰返し計算を行う際に、 前記複数のパラメータ を利用 し、

前記第 2推定部で行われる前記第 2推定において、 前記第 2 のコス ト 関数を最適化するための繰返し計算を行う際に、 前記複数のパラメータ を利用する こ とを特徴とする平面パラメータ推定装置。

8 . 前記最適化アルゴリ ズムは、 Gua s s-Newton 法に基づく 了ルゴリ ズ ムである請求の範囲第 7項に記載の平面パラメータ推定装置。

9 . 前記画像ペア選択部では、 前記全画像ペアの う ち、 画像ペアにおけ るヘッセ行列の条件数が最小で、 且つその画像ペアを撮影したカメ ラ間 のベースライ ン長が最小の画像ペアを、 前記 1 つの画像ペア又は前記 2 つの画像ペアと して選択する請求の範囲第 8項に記載の平面パラメータ 推定装置。

1 0 . 前記画像ペア選択部では、 前記全画像ペアの う ち、 画像ペアにお けるヘッセ行列から算出された曲率が最大で、 且つその画像ペアを撮影 したカメ ラ間のベースライ ン長が最小の画像ペアを、 前記 1 つの画像ぺ ァ又は前記 2つの画像ペアと して選択する請求の範囲第 8項に記載の平 面パラメータ推定装置。

1 1 . 前記曲率とは、 主曲率、 平均曲率、 ガウス曲率の何れかである請 求の範囲第 1 0項に記載の平面パラメータ推定装置。

1 2 . 前記全画像ペアを、 前記第 2推定部で利用される前記多数の画像 ペアと して利用する請求の範囲第 8項乃至請求の範囲第 1 1 項のいずれ かに記載の平面パラメータ推定装置。

1 3 . 所定の複数画像ペア選択基準によ り 、 前記全画像ペアから選択し た、 前記画像ペア選択部で選択された前記 1 つの画像ペア又は前記 2つ の画像ペアも含めた複数の画像ペアを、 前記第 2推定部で利用される前 記多数の画像ペアと して利用する請求の範囲第 8項乃至請求の範囲第 1 1項のいずれかに記載の平面パラメ ータ推定装置。

1 4 . 前記所定の複数画像ペア選択基準とは、 前記第 2推定の初期値と して利用された前記第 1推定の平面パラメータ推定値を用いて、 前記全 画像ペアに対し、 前記 S S Dを計算し、 計算した結果が小さい画像ペア のみを前記第 2推定部で利用される前記多数の画像ペアと して選択する ものである請求の範囲第 1 3項に記載の平面パラメータ推定装置。

1 5 . 前記第 1 の コ ス ト 関数は、 [T [Aw„ ( u; Δρ„ (Aq))] - /„ [w„ (u; p(q))]) によって表され、 前記第 2 の コ ス ト関数は、 (r[Aw„ (u;Ap„(Aq))] - /„ [w„ (u;p(q))])²に よって表され、

ただし、 Δ _η(υ;Δρ„)は、 ΰ„ = (Ι + ΔΡ„)ΰと表される座標変換式と等価な座 標変換関数であ り 、 ΔΡ_ηと Aqの関係は、 ΔΡ„ = _Γ ~~ p-^—R^Aq⁷"に よって定められ、

Aq = -H ^Ib,H≡ _J -T^H _n ^{b s} — ^b _n>^H _n ^≡ T {v^(u)v_n(u)} , ≡∑ ^^"( 三-ひ+ ^ョ ！^が成立し、 そして、 R O I は注目領域を表し、 Tは基準画像であ り 、 基準画像上 の点 u = (_M，v)^rと n番目の参照画像上における対応点

との関係は 同次座標表現

で 表され、 P„は 3 X 3 の平面射影変換行列を表 し、 R„は基準カメ ラ座標 系と n番目のカメ ラ座標系との間の回転行列を表し、 t_nは平行移動べク トルを表し、 qは、 基準カメ ラ座標系における平面 Πを一意に定める 3 次元べク トルで、 推定する平面パラメータを表し、 H„及び v_n(u)は前記 複数のパラメータである請求の範囲第 8項乃至請求の範囲第 1 4項のい ずれかに記載の平面パラメータ推定装置。

1 6 . 既知の視点位置を持つ校正済みの多眼ステ レオカ メ ラによって撮 影された多眼ステ レオ画像を用いて、 撮影対象の平面パラメータを推定 する平面パラメータ推定装置における平面パラメータ推定方法であって

1 つの基準画像、 前記基準画像上に設定された注目領域、 複数の参照 画像、 カメ ラ内部パラメータ、 カメ ラ間の外部パラメータを入力と し、 画像ペア毎に定まるヘッセ行列を含めて繰返し計算ごとに変化しない複 数のパラメータを 1 度だけ計算する、 前処理計算ステ ップと 、

前記前処理計算ステ ップで算出された各画像ペアのヘッセ行列に基づ き、 前記多眼ステ レオ画像の全画像ペアから、 1 つの画像ペア又は 2つ の画像ペアを選択する、 画像ペア選択ステップと、

前記画像ペア選択ステ ップで選択された、 前記 1 つの画像ペア又は前 記 2つの画像ペアに対して、 基準画像と参照画像の役割を入れ替えて定 式化された S S Dを第 1 のコス ト関数と し、 前記第 1 のコス ト関数を最 適化アルゴ リ ズムによ り最適化するこ とによ り 、 2眼ステ レオ画像によ る平面パラメータ推定 （以下、 第 1推定と言う。 ） を別々に行い、 前記 第 1 のコス ト関数の値の小さい方の前記第 1 推定の平面パラメータ推定 値を前記平面パラメータ とする、 第 1推定ステップと、

を有し、

前記平面パラメータ推定装置は、 前記第 1 推定ステ ップで行われる前 記第 1 推定において、 前記第 1 のコス ト関数を最適化するための繰返し 計算を行う際に、 前記複数のパラメータを利用するこ とを特徴とする平 面パラメータ推定方法。

1 7 . 前記最適化アルゴ リ ズムは、 Guas s- Newton 法に基づく アルゴ リ ズムである請求の範囲第 1 6項に記載の平面パラメータ推定方法。 、

1 8 . 前記画像ペア選択ステップにおいて、 前記平面ノ ラメ一タ推定装 置は、 前記全画像ペアの ち 、 画像ペアにおけるヘッセ行列の条件数が 最小で、 且つその画像べァを撮影した力メ ラ間のベースラィ ン長が最小 の画像ペアを、 前記 1つの画像ペア又は リ記 2つの画像ぺァと して選択 する請求の範囲第 1 7項に記載の平面パラメータ推定方法

1 9 . 前記画像ペア選択ステップにおいて、 前記平面ノヽ⁰ラメ一タ推定装 置は、 前記全画像ペアのうち 、 画像ペアにおけるヘッセ行列から算出さ れた曲率が最大で、 且つその画像ペアを撮影したカメ ラ間のベースライ ン長が最小の画像ペアを 、 記 1 つの画像ぺァ又は前記 2つの画像ペア と して選択する請求の範囲 1 7項に記載の平面パラメ一タ推定方法。

2 0 . 前記曲率とは、 主曲率、 平均曲率、 ガウス曲率の何れかである請 求の範囲第 1 9項に記載の平面パラメータ推定方法。

2 1 · 前記第 1 のコ ス ト関数は、 ∑ (Γ rAw_n ( u; Δρ_π (Aq))] - /„ [w_n (u; p(q))]) によって表され、

ただし、 Aw„(u;Ap_n)は、 ΰ„ = (Ι + ΔΡ„)ΰと表される座標変換式と等価な座 標変換関数であり 、 ΔΡ„と の関係は、 ΔΡ„= ^ ~~ p^-R^Aq こ

l + q¾t„+Aq^rR^t„ よって定められ、

△q =— H—】b,Hミ H„,b三 y :b„，H"ョ Y iv„^r(u)v_n(u)}、

n=l ^A _n n=l "-_n ueROI b "ョ ∑ {e )v )}， ^ョ— (l + 5^rR„^rt_n)，_V"(u) _g(u)J(u)K„が成立し、

ueROI そして、 R O I は注目領域を表し、 Tは基準画像であ り 、 基準画像上 の点 u = (M,v)^rと n番目の参照画像上における対応点 _Un = (_Un,_V/f との関係は 同次座標表現 a = (w,v，l)^r,fi„ = (_Mn,v„，l)^rを用いて、 ΰ„ = Ρ„ΰ及ぴ P„= R„+t_nq^rで 表され、 P„は 3 X 3 の平面射影変換行列を表し、 R„は基準カメ ラ座標 系と n番目のカメ ラ座標系との間の回転行列を表し、 t„は平行移動べク トルを表し、 qは、 基準カメ ラ座標系における平面 Πを一意に定める 3 次元べク トルで、 推定する平面パラメータ を表し、 H_n及び v„(u)は前記 複数のパラメ ータである請求の範囲第 1 7項乃至請求の範囲第 2 0項の いずれかに記載の平面パラメータ推定方法。

2 2 . 既知の視点位置を持つ校正済みの多眼ステレオカメ ラによって撮 影された多眼ステ レオ画像を用いて、 撮影対象の平面パラメータを推定 する平面パラメータ推定装置における平面パラメータ推定方法であって

1 つの基準画像、 前記基準画像上に設定された注目領域、 複数の参照 画像、 カメ ラ内部パラメータ、 カメ ラ間の外部パラメータを入力と し、 画像ペア毎に定まるヘッセ行列を含めて繰返し計算ごとに変化しない複 数のパラメータを 1 度だけ計算する、 前処理計算ステップと、 前記前処理計算ステ ップで算出された各画像ペアのヘッセ行列に基づ き、 前記多眼ステ レオ画像の全画像ペアから、 1 つの画像ペア又は 2つ の画像ペアを選択する、 画像ペア選択ステップと、

前記画像ペア選択ステ ップで選択された、 前記 1 つの画像ペア又は前 記 2つの画像ペアに対して、 基準画像と参照画像の役割を入れ替えて定 式化された S S Dを第 1 のコス ト関数と し、 前記第 1 のコス ト関数を最 適化アルゴリ ズムによ り最適化するこ とによ り 、 2眼ステ レオ画像によ る平面パラメータ推定 （以下、 第 1推定と言う。 ） を別々に行う 、 第 1 推定ステ ップと 、

前記第 1 のコス ト関数の値の小さい方の前記第 1推定の平面パラメ一 タ推定値を初期値と し、 前記 S S Dを前記全画像ペアから選択された多 数の画像ペアについて加算した S S S Dを第 2 の ώス ト関数と し、 前記 第 2 のコス ト関数を前記最適化アルゴリ ズムによ り最適化するこ とによ り 、 多眼ステ レオ画像による平面パラメータ推定 （以下、 第 2推定と言 う。 ） を行い、 得られた第 2推定の平面パラメータ推定値を前記平面パ ラメータ とする、 第 2推定ステップと、

を有し、

前記平面パラメータ推定装置は、 前記第 1 推定ステ ップで行われる前 記第 1推定において、 前記第 1 のコス ト関数を最適化するための繰返し 計算を行う際に、 前記複数のパラメータを利用 し、

前記平面パラメータ推定装置は、 前記第 2推定ステ ップで行われる前 記第 2推定において、 前記第 2 のコス ト関数を最適化するための繰返し 計算を行う際に、 前記複数のパラメータを利用するこ と を特徴とする平 面パラメータ推定方法。

2 3 . 前記最適化アルゴ リ ズムは、 Gua s s - Newt on 法に基づく ァノレゴ リ ズムである請求の範囲第 2 2項に記載の平面パラメータ推定方法。

2 4 . 前記画像ペア選択ステップにおいて 前記平面パラメ一タ推定装 置は、 前記全画像ペアのう ち 、 画像ペアにおけるヘッセ行列の条件数が 最小で、 且つその画像ペアを撮影したカメ ラ間のベ一スライ ン長が最小 の画像ペアを、 前記 1 つの画像ペア又は前記 2つの画像ペアと して選択 する請求の範囲第 2 3項に記載の平面ノヽ。ラメータ推定方法。

2 5 . 前記画像ペア選択ステップにおいて 、 前記平面パラメータ推定装 置は、 前記全画像ペアの う ち 、 画像ペアにおけるヘッセ行列から算出さ れた曲率が最大で、 且つその画像ペアを 影したカメ ラ間のベースライ

.、 /- ン長が最小の画像ペアを、 目 U記 1 つの画像 ァ又は前記 2つの画像ペア と して選択する請求の範囲 2 3項に記載の平面パラメータ推定方法。

第

2 6 . 前記曲率とは、 主曲率 、 平均曲率、 ガウス曲率の何れかである請 求の範囲第 2 5項に記載の平面パラメータ推定方法。

2 7 . 前記平面パラメータ推定装置は、 前記全画像ペアを、 前記第 2推 定ステ ップで利用される前記多数の画像ペアと して利用する請求の範囲 第 2 3項乃至請求の範囲第 2 6項のいずれかに記載の平面パラメータ推 定方法。

2 8 . 前記平面パラメータ推定装置は、 所定の複数画像ペア選択基準に よ り 、 前記全画像ペアから選択した、 前記画像ペア選択ステ ップで選択 された前記 1 つの画像ペア又は前記 2つの画像ペアも含めた複数の画像 ペアを、 前記第 2推定ステップで利用される前記多数の画像ペアと して 利用する請求の範囲第 2 3項乃至請求の範囲第 2 6項のいずれかに記載 の平面パラメータ推定方法。

2 9 . 前記所定の複数画像ペア選択基準とは、 前記第 2推定の初期値と して利用された前記第 1推定の平面パラメータ推定値を用いて、 前記全 画像ペアに対し、 前記 S S Dを計算し、 計算した結果が小さい画像ペア のみを前記第 2推定ステップで利甩される前記多数の画像ペアと して選 択するものである請求の範囲第 2 8項に記載の平面パラメータ推定方法

3 0 . 前記第 1 の コ ス ト 関数は、 (T[ w_n (u;Ap_n(Aq))] - /_n [w„ (u;p(q))]j

ueROl によって表され、 前記第 2 の コ ス ト 関数は、 [ [ w_n (U; Δρ„ (Aq))] - /„ [w„ (u; p(q))])²に

よって表され、

ただし、 Aw_n(u;Ap„)は、 ΰ„ = (Ι + ΔΡ_π)ΰと表される座標変換式と等価な座 標変換関数であり 、 ΔΡ_ηと Aqの関係は、 ΔΡ„ = j—-^ ~~—^R_n ^rt_nAq^Tに よって定められ、

N N

△q = -H— 'b,Hョ y ~^H„,b三 一 b_n,H " ョ Y iv„^r(u)v"(u)} 、

n=) K_{n n} ueROl b„三 ∑ {e„(u)v"(u)} , jc " ョ— (l + ^rR【t„), v„(u)ョ g(u)J(u)K„が成立し、

UEROI そして、 R O I は注目領域を表し、 Tは基準画像であり 、 基準画像上 の点！！ニ ， )⁷ "と n番目の参照画像上における対応点 ニ , )⁷"との関係は 同次座標表現 ΰ = (u,v,l)^T , Un =

を用いて、 ΰ" = Ρ„ΰ及び P„ = R„ +t„q^rで 表され、 P„は 3 X 3 の平面射影変換行列を表し、 R„は基準カ メ ラ座標 系と n番目のカメ ラ座標系との間の回転行列を表し、 t„は平行移動べク トルを表し、 qは、 基準カメ ラ座標系における平面 Πを一意に定める 3 次元べク トルで、 推定する平面パラメータを表 し、 H„及び v„(u)は前記 複数のパラメータである請求の範囲第 2 3項乃至請求の範囲第 2 9項の いずれかに記載の平面パラメータ推定方法。

3 1 . 既知の視点位置を持つ校正済みの多眼ステ レオカ メ ラによって撮 影された多眼ステ レオ画像を用いて、 撮影対象の平面パラメータを推定 するためにコ ンピュータを、

1つの基準画像、 前記基準画像上に設定された注目領域、 複数の参照 画像、 カメ ラ内部パラメータ、 カメ ラ間の外部パラメータを入力と し、 画像ペア毎に定まるヘッセ行列を含めて繰返し計算ごと に変化しない複 数のパラメータを 1 度だけ計算する、 前処理計算手段、

前記前処理計算手段で算出された各画像ペアのヘッセ行列に基づき、 前記多眼ステレオ画像の全画像ペアから、 1 つの画像ペア又は 2つの画 像ペアを選択する、 画像ペア選択手段、

前記画像ペア選択手段で選択された、 前記 1 つの画像ペア又は前記 2 つの画像ペアに対して、 基準画像と参照画像の役割を入れ替えて定式化 された S S Dを第 1 のコス ト関数と し、 前記第 1 のコス ト関数を最適化 アルゴリ ズムによ り最適化するこ とによ り 、 2眼ステ レオ画像による平 面パラメータ推定 （以下、 第 1推定と言う。 ） を別々 に行い、 前記第 1 のコ ス ト関数の値の小さい方の前記第 1推定の平面パラメータ推定値を 前記平面パラメータ とする、 第 1推定手段、

と して機能させるための平面パラメータ推定プロ グラムであって、 前記第 1推定手段で行われる前記第 1推定において、 .前記第 1 のコス ト関数を最適化するための繰返し計算を行う 際に、 前記複数のパラメ一 タを利用するこ と を特徴とする平面パラメータ推定プログラム。

3 2 . 目 IJ記最適ィ匕ァノレゴリ ズムは、 Gua s s -Newt on 法に基づ < ァノレゴリ ズムである請求の範囲第 3 1 項に記載の平面パラメータ推定プロ グラム o

3 3 . U記画像ペア選択手段では、 前記全画像べァの う ち、 画像ペアに おけるへッセ行列の条件数が最小で、 且つその画像ペアを撮旦: ίしたカメ ラ間のベースライ ン長が最小の画像ペアを、 前記 1 つの画像 ァ又は前 記 2つの画像ペアと して選択する請求の範囲第 3 2項に記載の平面パラ メータ推定プロ グラム。

3 4 . 目リ記画像ペア選択手段では、 前記全画像べァの う ち、 画像ペアに おけるへッセ行列から算出された曲率が最大で、 且つその画像ペアを撮 影した力メ ラ間のベースライ ン長が最小の画像ぺァを、 刖 IC 1 つの画像 ペア又は前記 2つの画像ペアと して選択する請求の範囲第 3 2項に記載 の平面パラメータ推定プログラム。

3 5. 前記曲率とは、 主曲率、 平均曲率、 ガウス曲率の何れかである請 求の範囲第 3 4項に記載の平面パラメータ推定プロ グラム。

3 6 . 前記第 1 の コ ス ト関数は、 (r[Aw_n (u;Ap„(Aq))]-/„ [w_n (u;p(q))]) u&ROl によって表され、

ただし、 Aw„(u;ApJは、 ΰ„ = (Ι + ΔΡ„)ΰと表される座標変換式と等価な座 標変換関数であ り 、 ΔΡ_ηと Aqの関係は、 ΔΡ„ = ^ p^— R^t„Aq^rに

1+ q R t„+Aq^rR^t„ よって定められ、

△q =— H— 'b,H H„,b 1»>,Η„ Υ u)v"(u)}

n=l n=] ueROI b " »)},^ (l + fR ) ,ν„(ιι) _g(u)J(u)K_nが成立し、

ueROI そして、 R O I は注目領域を表し、 Tは基準画像であり 、 基準画像上 の点 ι^Ο,ν)⁷ "と η番目の参照画像上における対応点 u„=0„, )⁷"と の関係は 同次座標表現 ΰ = 0 ν,1) ,ΰ„ = ("„ ν„,1)^Γを用いて、 ύ„ = Ρ„ΰ及び P„=R„ + t„q^rで 表され、 P_nは 3 X 3 の平面射影変換行列を表し、 R„は基準カメ ラ座標 系と n番目のカメ ラ座標系との間の回転行列を表し、 t は平行移動べク トルを表し、 qは、 基準カメ ラ座標系における平面 Πを一意に定める 3 次元べク トルで、 推定する平面パラ メ ータを表し、 H_n及び v„(u)は前記 複数のパラメータである請求の範囲第 3 2項乃至請求の範囲第 3 5項の いずれかに記載の平面パラメータ推定プロ グラム。

3 7. 既知の視点位置を持つ校正済みの多眼ステレオカメ ラによって撮 影された多眼ステ レオ画像を用いて、 撮影対象の平面パラメータを推定 するためにコ ンピュータを、

1 つの基準画像、 前記基準画像上に設定された注自領域、 複数の参照 画像、 カメ ラ内部パラメータ、 カメ ラ間の外部パラメータを入力と し、 画像ペア毎に定まるヘッセ行列を含めて繰返し計算ごとに変化しなぃ複 数のパラメータを 1度だけ計算する、 前処理計算手段、

刖言己 j処理計算手段で算出された各画像べァのヘッセ行列に基づき、 前記多眼ステレオ画像の全画像ペアから、 1 つの画像ペア又は 2つの画 像ペアを選択する、 画像ペア選択手段、

HU記画像ペア選択手段で選択された、 前記 1 つの画像ぺァ又は目 ij記 2 つの画像べァに対して、 基準画像と参照画像の役割を入れ替えて定式化 された S S Dを第 1 のコス ト関数と し、 前記第 1 のコス ト関数を最適化 ァノレゴリ ズムによ り最適化するこ とによ り 、 2眼ステレオ画像による平 面ノヽ⁰ラメ一タ推定 （以下、 第 1推定と言う。 ) を別々に行 9 、 1 推定 手段、

前記第 1 のコス ト関数の値の小さい方の前記第 1推定の平面パラメ一 タ推定値を初期値と し、 前記 S S Dを前記全画像ペアから選択された多 数の画像ペアについて加算した S S S Dを第 2 のコス ト関数と し、 前記 第 2のコス ト関数を前記最適化アルゴリ ズムによ り最適化するこ とによ り 、 多眼ステレオ画像による平面パラメータ推定 （以下、 第 2推定と言 う。 ） を行い、 得られた第 2推定の平面パラメ ータ推定値を前記平面パ ラメータ とする、 第 2推定手段

と して機能させるための平面パラメータ推定プログラムであって、 前記第 1推定手段で行われる前記第 1推定において、 前記第 1 のコス ト関数を最適化するための繰返し計算を行う際に、 前記複数のパラメ一 8

タを利用 し、

前記第 2推定手段で行われる前記第 2推定において、 前記第 2 のコス ト関数を最適化するための繰返し計算を行う際に、 前記複数のパラメ一 タを利用するこ と を特徴とする平面パラメータ推定プログラム。

3 8 . 前記最適化アルゴ リ ズムは、 Gua s s- Newt on 法に基づく アルゴ リ ズムである請求の範囲第 3 7項に記載の平面パラメータ推定プログラム

3 9 月 U id ifij像ぺァ選択手段では 、 前記全画像 ァの つ ち、 画像ペアに おけるヘッセ行列の条件数 ¾ /Jヽで、 且つその画像 ァを撮旦: ί したカメ ラ間のベ一スライ ン長が最 /Jヽの画像ペアを、 刖記 1 つの画像ぺァ又は前 記 2つの画像ペア と して選択する請求の範囲第 3 8項に の平面パラ メ一タ推定プ口 グラム。

4 0 目 IJ記画像ぺァ選択手段では 、 前記全画像 ァの う ち、 画像ペアに おけるヘッセ行列か された曲率が最大でヽ 且つその画像ペアを撮 影したカメ ラ間のベースラィン長が最 /J、の画像ぺァをゝ 刖記 1 つの画像 ペア又は HU言己 2つの画像ぺァと して選択する請求の 囲第 3 8項に記載 の平面ノ ラメ一タ推定プロ グラム

4 1 . 前記曲率とは、 主曲率、 平均曲率、 ガウス曲率の何れかである 求の範囲第 4 0項に記載の平面パラメータ推定プログラム。

4 2 . 前記全画像ペアを、 前記第 2推定手段で利用される前記多数の画 像ペアと して利用する請求の範囲第 3 8項乃至請求の範囲第 4 1項のい ずれかに記載の平面パラメータ推定プログラム。

4 3 . 所定の複数画像ペア選択基準によ り 、 前記全画像ペアから選択し た、 前記画像ペア選択手段で選択された前記 1 つの画像ペア又は前記 2 つの画像ペアも含めた複数の画像ペアを、 前記第 2推定手段で利用され る前記多数の画像ペアと して利用する請汆の範囲第 3 8項乃至請求の範 囲第 4 1 項のいずれかに記載の平面パラメータ推定プロ グラム。

4 4 . 前記所定の複数画像ペア選択基準とは、 前記第 2推定の初期値と して利用された前記第 1推定の平面パラメータ推定値を用いて、 前記全 画像ペアに対し、 前記 S S Dを計算し、 計算じた結果が小さい画像ペア のみを前記第 2推定手段で利用 される前記多数の画像ペアと して選択す るものである請求の範囲第 4 3項に記載の平面パラメータ推定プロ ダラ ム。

4 5 . 前記第 1 の コ ス ト関数は、 (T[Aw_n (u; Δρ_η (Aq))] - I_n [ w_n ( u; p(q))])² によって表され、 前記第 2 の コ ス ト 関数は、

[^T [^Aw« (^u' ^Δ » (^Δ ϊ))] - ⁷" [^w» Ρ(¾)])²に よって表され、

ただし、 Aw_n(u; Ap„)は、 ΰ„ = (Ι + ΔΡ_π)ΰと表される座標変換式と等価な座 標変換関数であ り 、 ΔΡ„と Aqの関係は、 厶 Ρ„ = _ΓΊ~^ ~~ =-^ R_n ^rt_nAq^rに よって定められ、

△q ≡ { (^u)v_n(u)}、

UEROI b„≡ ∑ {e„(u)_V„(u)}, ョー (l + 5^rR t„),v )ョ _g(u)J(n)K„が成立し、

ueROI そして、 R O I は注目領域を表し、 Tは基準画像であ り 、 基準画像上 の点 u = (w，v)^rと n番目の参照画像上における対応点 u„ =(_Mn，v_nf との関係は 同次座標表現

で 表され、 Ρ„は 3 X 3 の平面射影変換行列を表し、 R。は基準カ メ ラ座標 系と η番目のカメ ラ座標系との間の回転行列を表し、 t„は平行移動べク トルを表し、 qは、 基準カメ ラ座標系における平面 Πを一意に定める 3 次元べク トルで、 推定する平面パラメ ータを表し、 H„及び v„(u)は前記 複数のパラメータである請求の範囲第 3 8項乃至請求の範囲第 4 4項の いずれかに記載の平面パラメータ推定プログラム。