JP7111183B2

JP7111183B2 - カメラパラメータ推定装置、カメラパラメータ推定方法、及びプログラム

Info

Publication number: JP7111183B2
Application number: JP2020565064A
Authority: JP
Inventors: 学中野
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2019-01-09
Filing date: 2019-01-09
Publication date: 2022-08-02
Anticipated expiration: 2039-01-09
Also published as: US20220076388A1; JPWO2020144757A1; US11861812B2; WO2020144757A1

Description

本発明は、カメラの幾何パラメータとレンズ歪みパラメータとを算出するための、カメラパラメータ推定装置、及びカメラパラメータ推定方法に関し、更には、これらを実現するためのプログラムに関する。

レンズの歪みが考慮されていないカメラで撮影された画像は直線が曲線として観測されるという問題がある。このような現象はカメラによる自己位置推定や物体認識といった画像処理において精度低下の原因となる。特に、広角レンズを用いて広範囲を撮影すると、画像の周辺部が大きく歪曲される。歪曲が大きいと画像に対象物が写っていても正確な認識ができず、広角レンズの特性を活かすことが困難となる。正確な画像処理のためには、レンズ歪みを除去し、直線が直線として観測されるように画像を補正する必要がある。

レンズ歪みを推定する方法の１つとして、様々な直線を複数回観測することで、カメラ素子の１画素ごとに歪みの補正された画素位置をノンパラメトリックに推定する方法が知られている（例えば「非特許文献１」参照）。具体的には、非特許文献１は、平面ディスプレイに映した様々なグレイコードパターンを撮影し、撮影したグレイコードパターンを用い、いわゆる構造化光（structured light）の原理に基づいて、歪みを補正する方法を開示している。

但し、このようなノンパラメトリックな方法は、事前に整えられた環境が必要であり、かつ、撮影中に歪みが不変であることを前提としている。このため、このようなノンパラメトリックな方法には、ズームレンズのように歪みが適応的に変化する場合に適用できないという問題がある。

一方、レンズ歪みを適応的に推定する方法として、数式を用いて歪みをモデル化するパラメトリックな方法が開示されている（例えば、非特許文献２～５参照）。具体的には、非特許文献２は、「レンズ歪みを円周方向歪み（radial distortion）のみと仮定すると、直線が２次曲線として観測される」ことを利用して、画像中のエッジに２次曲線を当てはめてレンズ歪みを推定する方法を開示している。接線方向歪み及び薄プリズム歪みをゼロとして、円周方向歪みのみを補正することは、近年のデジタルカメラにおいては十分成り立つ仮定である。

また、非特許文献３は、同一被写体を異なる位置から撮影した２枚の画像における対応点を用いて、１次近似した円周方向のレンズ歪みと同時に、基礎行列及びホモグラフィ行列を推定する方法を開示している。更に、非特許文献４及び５は、より広角な歪みに対応するために、３次近似した円周方向のレンズ歪みと同時に透視投影行列を推定する方法を開示している。

ところで、歪みの小さいレンズから広角レンズまでに対応するためには、１つの未知数で表され、且つ、解析的にその未知数を計算可能な円周方向のレンズ歪みモデルを用いる必要がある。

しかしながら、非特許文献２、３、４、及び５に開示された各方法では、円周方向歪みを多項式により近似するモデルが用いられているが、多項式近似を用いる場合、大きい歪み、つまり、広角なレンズに対応するためには近似次数を増やす必要性がある。そして、事前には適切な近似次数は不明なため、これらの方法では、低次近似では、歪みが除去しきれず、一方、高次近似ではオーバーフィッティングにより数値計算が不安定になる。つまり、これらの方法では、歪みの小さいレンズから広角レンズまでに対応することは困難である。

また、歪みを除去するためには画像座標の逆変換が必要となるが、多項式近似では、解析的な逆変換式を導出することが困難である。よって、非特許文献２、３、４、及び５に開示された各方法には、非線形最適化により数値的に求めるための計算量が大きいという問題もある。

また、非特許文献３に開示された方法は、１変数で表現される１次の多項式近似であれば一般化固有値問題として基礎行列、ホモグラフィ行列が算出可能なことを示している。しかし、非特許文献３に開示された方法では、より高次の近似を用いる場合には、未知数が増加するため一般化固有値問題として解くことは困難となる。

更に、非特許文献４及び５に開示された方法は、３変数で表現される高次多項式近似を用いて広角レンズに対応している。しかし、非特許文献４及び５に開示された方法は、アドホックな変数消去に基づき透視投影行列を導出しており、他のカメラ幾何行列、例えば基礎行列及びホモグラフィ行列等の導出に適用できないという問題がある。

一方、非特許文献６は、円周方向歪みを表現するモデルとして、Field-of-Viewモデル（以下、「FOVモデル」と表記する）を用いる方法を開示している。FOVモデルには、未知数が１であり、逆変換式を解析的に導出可能である、という利点がある。このため、非特許文献６に開示された方法によれば、歪みの小さいレンズから広角レンズまでに対応することが可能であるように考えられる。

Sagawa et al., "Calibration of lensdistortion by structured-light scanning," pp.832-837, IROS2005, IEEE. Bukhari et al., "Automatic radial distortion estimation from a single image," Journal of mathematical imaging and vision,vol.45, no.1, pp.31-45, 2013, Springer. Fitzgibbon, "Simultaneous linear estimation of multiple view geometry and lens distortion," CVPR2011, IEEE. Kukelova et al., "Real-timesolution to the absolute pose problem with unknown radial distortion and focal length," ICCV 2013, IEEE. Nakano, "A versatile approachfor solving PnP, PnPf, and PnPfr problems," ECCV 2016. Devernay and Faugeras, "Straightlines have to be straight," Machine vision and applications, vol.13, no.1,pp.14-24, 2001, Springer.

しかしながら、FOVモデルにおいては、未知数が三角関数の引数となっているため、未知数を直接計算することができず、未知数の計算は非線形最適化により数値的に行う必要がある。

本発明の目的の一例は、上記問題を解消し、レンズの円周方向歪みを１つの未知数で表現可能なモデルを用いて、レンズ歪みパラメータとカメラ幾何パラメータとを推定し得る、カメラパラメータ推定装置、カメラパラメータ推定方法、及びプログラムを提供することにある。

上記目的を達成するため、本発明の一側面におけるカメラパラメータ推定装置は、対象物を撮影したカメラの幾何パラメータと単一の未知数で表されるレンズ歪みモデルのレンズ歪みパラメータとを推定するための装置であって、
前記対象物に関する画像対応点、及び前記レンズ歪みモデルを多項式近似する近似次数を取得する、データ取得部と、
前記画像対応点及び前記近似次数に基づいて、前記幾何パラメータと前記レンズ歪みパラメータとを推定する、パラメータ推定部と、
を備えている、
ことを特徴とする。

また、上記目的を達成するため、本発明の一側面におけるカメラパラメータ推定方法は、対象物を撮影したカメラの幾何パラメータと単一の未知数で表されるレンズ歪みモデルのレンズ歪みパラメータとを推定するための方法であって、
（ａ）前記対象物に関する画像対応点、及び前記レンズ歪みモデルを多項式近似する近似次数を取得する、ステップと、
（ｂ）前記画像対応点及び前記近似次数に基づいて、前記幾何パラメータと前記レンズ歪みパラメータとを推定する、ステップと、
を有する、
ことを特徴とする。

更に、上記目的を達成するため、本発明の一側面におけるプログラムは、コンピュータによって、対象物を撮影したカメラの幾何パラメータと単一の未知数で表されるレンズ歪みモデルのレンズ歪みパラメータとを推定するためのプログラムであって、
前記コンピュータに、
（ａ）前記対象物に関する画像対応点、及び前記レンズ歪みモデルを多項式近似する近似次数を取得する、ステップと、
（ｂ）前記画像対応点及び前記近似次数に基づいて、前記幾何パラメータと前記レンズ歪みパラメータとを推定する、ステップと、
を実行させる、
ことを特徴とする。

以上のように、本発明によれば、レンズの円周方向歪みを１つの未知数で表現可能なモデルを用いて、レンズ歪みパラメータとカメラ幾何パラメータとを推定することができる。

図１は、本発明の実施の形態におけるカメラパラメータ推定装置の構成を示すブロック図である。図２は、本発明の実施の形態におけるカメラパラメータ推定装置の動作を示すフロー図である。図３は、本発明の実施の形態におけるカメラパラメータ推定装置の他の例の構成を示すブロック図である。図４は、本発明の実施の形態におけるカメラパラメータ推定装置を実現するコンピュータの一例を示すブロック図である。

（実施の形態）
以下、本発明の実施の形態における、カメラパラメータ推定装置、カメラパラメータ推定方法、及びプログラムについて、図１～図４を参照しながら説明する。

［装置構成］
最初に、図１を用いて、本実施の形態におけるカメラパラメータ推定装置の構成について説明する。図１は、本発明の実施の形態におけるカメラパラメータ推定装置の構成を示すブロック図である。

図１に示す本実施の形態におけるカメラパラメータ推定装置１０は、対象物を撮影したカメラの幾何パラメータと単一の未知数で表されるレンズ歪みモデルのレンズ歪みパラメータとを推定する。図１に示すように、カメラパラメータ推定装置１０は、データ取得部１１と、パラメータ推定部１２とを備えている。

データ取得部１１は、対象物に関する画像対応点、及び単一の未知数で表されるレンズ歪みモデルを多項式近似する近似次数を取得する。パラメータ推定部１２は、データ取得部１１によって取得された画像対応点及び近似次数に基づいて、幾何パラメータとレンズ歪みパラメータとを推定する。

ここで、「幾何パラメータ」とは、画像対応点の変換を記述するパラメータである。具体的には、幾何パラメータとしては、例えば、２枚の画像での平面の変換を表すホモグラフィ行列、２枚の画像間でのカメラの相対的な射影関係を表す基礎行列、３次元点とそれらを１枚の画像へ射影した２次元点との変換を表す射影変換行列等が挙げられる。

入力される画像対応点は、推定すべき幾何パラメータに応じて異なる。例えば、幾何パラメータが、ホモグラフィ行列、又は基礎行列であれば、画像対応点は、画像上で対応する２次元点である。また、幾何パラメータが、射影変換行列であれば、画像対応点は、３次元点とそれらを射影した２次元点である。

推定に必要な対応点の数は、幾何パラメータの自由度によって異なる。なお、このことは、広く公知の事実であるので詳細は省略する。また、これらの対応点は、いわゆる退化配置（「Degenerate Configuration」または「Critical Configuration」とも呼ばれる）ではないとする。なぜならば、そのような対応点に対しては理論的に幾何パラメータを推定できないためである。

このように、本実施の形態では、画像対応点と、レンズ歪みモデルを多項式近似する近似次数とに基づいて、幾何パラメータとレンズ歪みパラメータとが推定される。本実施の形態によれば、レンズの円周方向歪みを１つの未知数で表現可能なモデルを用いて、レンズ歪みパラメータとカメラ幾何パラメータとを推定することができる。

また、本実施の形態では、パラメータ推定部１２は、画像対応点及び近似次数に基づいて、複数の幾何パラメータの候補と複数のレンズ歪みパラメータの候補とを推定することができる。この場合、パラメータ推定部１２は、これらの候補の中から、誤差関数を最小化する、幾何パラメータの候補、及びレンズ歪みパラメータの候補を選択し、選択した各候補を、それぞれ幾何パラメータ及びレンズ歪みパラメータとして出力する。また、誤差関数は、画像対応点と、幾何パラメータ及びレンズ歪みパラメータと、の変換関係を表す関数である。

更に、本実施の形態では、パラメータ推定部１２は、画像対応点の数が設定条件を満たさない場合（例えば、画像対応点の数が過剰である場合）は、非線形最適化によって誤差関数を最小化する、幾何パラメータの候補、及びレンズ歪みパラメータの候補を選択する。

［装置動作］
次に、本実施の形態におけるカメラパラメータ推定装置１０の動作について図２を用いて説明する。図２は、本発明の実施の形態におけるカメラパラメータ推定装置の動作を示すフロー図である。以下の説明においては、適宜図１を参酌する。また、本実施の形態１では、カメラパラメータ推定装置１０を動作させることによって、カメラパラメータ推定方法が実施される。よって、本実施の形態におけるカメラパラメータ推定方法の説明は、以下のカメラパラメータ推定装置の動作説明に代える。

図２に示すように、最初に、データ取得部１１は、対象物に関する画像対応点、及び単一の未知数で表されるレンズ歪みモデルを多項式近似する近似次数を取得する（ステップＡ１）。

次に、パラメータ推定部１２は、ステップＡ１によって取得された画像対応点及び近似次数に基づいて、幾何パラメータの候補とレンズ歪みパラメータの候補とをそれぞれ複数推定する（ステップＡ２）。

次に、パラメータ推定部１２は、ステップＡ２で推定した候補の中から、誤差関数を最小化する、幾何パラメータの候補、及びレンズ歪みパラメータの候補を選択する（ステップＡ３）。

その後、パラメータ推定部１２は、ステップＡ３で選択した各候補を、それぞれ幾何パラメータ及びレンズ歪みパラメータとして出力する（ステップＡ４）。

［具体例］
続いて、本実施の形態の具体例について説明する。なお、以下の具体例では、歪み中心は画像の中心（つまり画像の大きさの半分）と仮定する。この仮定は、上述した非特許文献２～５でも採用されており、昨今のデジタルカメラは高精度に製造されているため妥当な仮定である。但し、歪み中心としては、事前に計算された既知の値が用いられていても良いし、利用シーンに応じて当業者によって自由に変更されても良い。

（１）レンズ歪みモデル
最初に、レンズ歪みモデルについて説明する。また、以下の説明では、上添字のTは行列及びベクトルの転置である。また、歪み係数をw、歪みのない画像座標をm_u、歪みのある画像座標をm_dと表記する。また、歪みのない画像座標m_uは、下記の数１で表すことができ、歪みのある画像座標m_dは下記の数２で表すことができる。

また、画像座標を斉次化した座標をm_uチルダとm_dチルダとで表記する。m_uチルダは、下記の数３で表すことができ、m_dチルダは、下記の数４で表すことができる。

ここで、歪みモデルの定義を行う。レンズ歪みを円周方向歪みのみと仮定した場合、m_uとm_dとの変換関係は、以下の数５で表される。

また、以下の数６及び数７が成立するので、上述の非特許文献５に従うと、FOVモデルに基づくr_uとr_dとの変換関係は、数８及び数９で表される。

上記数５、数８及び数９において、歪みのない値、つまりx_u’、y_u’、r_uは、一般には未知であり、観測可能な歪みのある値、x_d’、y_d’、r_dから推定される。上記数５、数８及び数９より、歪み係数wが求まれば、r_dからr_uが計算でき、m_dからm_uが直接に計算可能なことが分かる。

上記数５を変形し、変形した数５を、斉次化座標を用いて表すと、下記の数１０の通りとなる。

上記数１０において、z_d=r_d/r_uであり、記号∝は、右辺と左辺が互いに定数倍に不変であることを示している。歪み係数wが、０（ゼロ）に近いことを利用して、z_dをテイラー展開すると、z_dは、以下の数１１～数１３によって表される。なお、数１１において、a_2nはw²ⁿに対応する近似係数である。

上記数１１～数１３を用いると、上記数１０は、以下の数１４及び数１５で表される。

上記数１１～数１３、及び上記数１４～数１５で表されたFOVモデルの多項式近似が、本具体例におけるレンズ歪みモデルである。

（２）歪み係数及びカメラパラメータの計算
次に、歪み係数w及びカメラパラメータ（幾何パラメータ、レンズ歪みパラメータ）の計算方法について説明する。本具体例では、便宜上n=2として歪み係数wと基礎行列とを同時に推定する方法について説明する。n=2のとき、歪みモデルは以下の数１６で表される。なお、nは上記数１１に示した変数である。

基礎行列Fが満たすエピポーラ方程式は、以下の数１７で表される。

m'_uチルダは、m_uチルダに対する、２枚目の画像上における対応点の斉次化座標である。上記数１６を上記数１７に代入すると、歪み係数wを含むエピポーラ方程式は、以下の数１８で表される。

そして、９点の対応点が与えられたとき、上記数１８を行列形式で表すと、以下の数１９に示す通りとなる。

ここで、λ=w²であり、fはベクトル化したFを表している。また、Dは、各λに対する係数行列である。

上記数１９は、ｆを固有ベクトルとし、λを固有値とする、９×９の行列多項式問題であり、線形代数ライブラリを用いて解くことができる。また、λ=w²であるため、正の固有値のみに対応する固有ベクトルを取り出せば良い。そして、歪み係数wは、w=λ^(1/2)として計算できる。

また、９点より多くの対応点が与えられたときは、上記数１９にD₁の転置を左から乗算し、同様に９×９の行列多項式として解けば良い。

上記数１９を解くと、９個の固有値とそれらに対応する固有ベクトルとが得られる。対応点数が９点より多い場合は、上記数１７に基づく代数学的誤差又は再投影誤差が最小となる、固有値と固有ベクトルとの組が選択されれば良い。

対応点数が９点の場合は、代数学的誤差も再投影誤差もゼロとなるが、適切なλを経験的に選択しても良い。すなわち、λ=w²であること、上記数１５はFOVモデルのw=0を中心とするテイラー展開であることを利用して、λは、ゼロより大きい最小の正の実数として設定してもよい。また、事前にλの値域がわかっている場合、λは、それに基づいて、しきい値処理により選択されても良い。

上記数１９は、FOVモデルの近似であるため、得られた歪み係数wを初期値として、上記数８及び数９に基づく真のFOVモデルを利用して、ニュートン法などの非線形最適化により、上記数１７に基づく代数学的誤差又は再投影誤差を最小化しても良い。また、真のFOVモデルではなく、近似次数を増加させた多項式近似が用いられても良い。

本具体例では、n=2としたが、近似精度を向上させるためにより大きなnが用いられても良く、この場合も、同様の行列多項式問題に帰着する。一方で、歪みが小さいと事前に既知である場合、演算量を低く抑えたい場合は、n=1とされていてもよい。その場合、行列多項式におけるλの次数は小さくなるため、より低い計算量で解くことができる。得られた解が低精度である場合には、上述した非線形最適化が施されていても良い。

［実施の形態における効果］
以上のとおり、本実施の形態によれば、レンズ歪みが小さい場合、及び大きい場合の、いずれの場合でも、レンズ歪みパラメータは単一の未知数で表現され、同時にカメラ幾何パラメータの推定が可能となる。その理由は以下の通りである。

FOVモデルは、非常に広角な魚眼レンズの歪みを定式化する方法である。上記数１１～数１３はFOVモデルの多項式近似であるが、歪み係数wは広角レンズにおいても0に近い値を取る。従って、歪みが大きい場合でも多項式近似が成立するため、従来方法と異なり、レンズ歪みパラメータの未知数を増やすのではなく、近似次数を増やすことでレンズ歪みパラメータの推定が可能となる。逆に、歪みが小さい場合においては、近似次数nを小さくすればよい。このため、本実施の形態によれば、パラメータ数は不変のまま近似次数の増減により、歪みの大きさに対応できるため、従来方法の課題の解決が可能となる。

［変形例］
また、本発明は、上述した実施の形態のみに限定されない。本発明は、上述した実施形態に対して、いわゆる当業者が理解し得る多様な変更を適用することが可能である。例えば、本発明は、以下の変形例に示す形態によっても実施可能である。

（１）変形例１
上述した実施の形態において、カメラ幾何パラメータは基礎行列に限定されない。例えば、ホモグラフィ行列、透視投影行列など、その他のカメラ幾何パラメータも同様の方法で計算できる。上述して非特許文献３に記載されているように、いずれの場合も、同様に行列多項式に帰着する。

（２）変形例２
本実施の形態では、図３に示すように、カメラパラメータ推定装置１０は、カメラの撮影時の焦点距離と撮影された画像の解像度とから近似次数を計算する、近似次数決定部１３を備えていてもよい。近似次数決定部１３は、例えば、画像に埋め込まれたタグ情報、Exif情報を用いることで、画像解像度と撮影時のおおよその焦点距離とを取得することができる。図３は、本発明の実施の形態におけるカメラパラメータ推定装置の他の例の構成を示すブロック図である。変形例２では、データ取得部１１は、画像対応点のみを取得する。

また、近似次数決定部１３は、画像の横幅又は縦幅とカメラの撮影時の焦点距離との比率から画角を計算し、画角の大きさに対応するおおよそのレンズ歪みの値を事前情報として利用して、レンズ歪みモデルの近似次数を決定することもできる。

（３）変形例３
上述した実施の形態において、カメラ幾何パラメータとレンズ歪みパラメータの計算方法とは、行列多項式に限定されない。例えば、上述の非特許文献４及び５には、レンズ歪みパラメータが１つの場合における透視投影行列の計算方法が記載されており、本実施の形態でも、行列多項式の代わりにそれらの方法が用いられてもよい。

［プログラム］
本実施の形態におけるプログラムは、コンピュータに、図２に示すステップＡ１～Ａ４を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態におけるカメラパラメータ推定装置１０とカメラパラメータ推定方法とを実現することができる。この場合、コンピュータのプロセッサは、データ取得部１１及びパラメータ推定部１２として機能し、更には、近似次数決定部１３としても機能し、処理を行なう。

また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、データ取得部１１及びパラメータ推定部１２のいずれかとして、更には近似次数決定部１３として、機能しても良い。

ここで、本実施の形態におけるプログラムを実行することによって、カメラパラメータ推定装置１０を実現するコンピュータについて図４を用いて説明する。図４は、本発明の実施の形態におけるカメラパラメータ推定装置を実現するコンピュータの一例を示すブロック図である。

図４に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。また、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。

ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。

また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。

データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。

なお、本実施の形態におけるカメラパラメータ推定装置１０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、カメラパラメータ推定装置１０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。

上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記１２）によって表現することができるが、以下の記載に限定されるものではない。

（付記１）
対象物を撮影したカメラの幾何パラメータと単一の未知数で表されるレンズ歪みモデルのレンズ歪みパラメータとを推定するための装置であって、
前記対象物に関する画像対応点、及び前記レンズ歪みモデルを多項式近似する近似次数を取得する、データ取得部と、
前記画像対応点及び前記近似次数に基づいて、前記幾何パラメータと前記レンズ歪みパラメータとを推定する、パラメータ推定部と、
を備えている、
ことを特徴とするカメラパラメータ推定装置。

（付記２）
付記１に記載のカメラパラメータ推定装置であって、
前記パラメータ推定部が、前記画像対応点及び前記近似次数に基づいて、複数の前記幾何パラメータの候補と複数の前記レンズ歪みパラメータの候補とを推定し、
これらの中から、前記画像対応点と、前記幾何パラメータ及び前記レンズ歪みパラメータと、の変換関係を表す誤差関数を最小化する、前記幾何パラメータの候補、及び前記レンズ歪みパラメータの候補を選択する
ことを特徴とするカメラパラメータ推定装置。

（付記３）
付記２に記載のカメラパラメータ推定装置であって、
前記パラメータ推定部が、前記画像対応点の数が設定条件を満たさない場合に、非線形最適化によって前記誤差関数を最小化する、前記幾何パラメータの候補、及び前記レンズ歪みパラメータの候補を選択する、
ことを特徴とするカメラパラメータ推定装置。

（付記４）
付記１～３のいずれかに記載のカメラパラメータ推定装置であって、
前記カメラの撮影時の焦点距離と撮影された画像の解像度とに基づいて、前記レンズ歪みモデルの近似次数を決定する、近似次数決定部を更に備えている、
ことを特徴とするカメラパラメータ推定装置。

（付記５）
対象物を撮影したカメラの幾何パラメータと単一の未知数で表されるレンズ歪みモデルのレンズ歪みパラメータとを推定するための方法であって、
（ａ）前記対象物に関する画像対応点、及び前記レンズ歪みモデルを多項式近似する近似次数を取得する、ステップと、
（ｂ）前記画像対応点及び前記近似次数に基づいて、前記幾何パラメータと前記レンズ歪みパラメータとを推定する、ステップと、
を有する、
ことを特徴とするカメラパラメータ推定方法。

（付記６）
付記５に記載のカメラパラメータ推定方法であって、
前記（ｂ）のステップにおいて、前記画像対応点及び前記近似次数に基づいて、複数の前記幾何パラメータの候補と複数の前記レンズ歪みパラメータの候補とを推定し、
これらの中から、前記画像対応点と、前記幾何パラメータ及び前記レンズ歪みパラメータと、の変換関係を表す誤差関数を最小化する、前記幾何パラメータの候補、及び前記レンズ歪みパラメータの候補を選択する
ことを特徴とするカメラパラメータ推定方法。

（付記７）
付記６に記載のカメラパラメータ推定方法であって、
前記（ｂ）のステップにおいて、前記画像対応点の数が設定条件を満たさない場合に、非線形最適化によって前記誤差関数を最小化する、前記幾何パラメータの候補、及び前記レンズ歪みパラメータの候補を選択する、
ことを特徴とするカメラパラメータ推定方法。

（付記８）
付記５～７のいずれかに記載のカメラパラメータ推定方法であって、
（ｃ）前記カメラの撮影時の焦点距離と撮影された画像の解像度とに基づいて、前記レンズ歪みモデルの近似次数を決定する、ステップを更に有する、
ことを特徴とするカメラパラメータ推定方法。

（付記９）
コンピュータによって、対象物を撮影したカメラの幾何パラメータと単一の未知数で表されるレンズ歪みモデルのレンズ歪みパラメータとを推定するためのプログラムであって、
前記コンピュータに、
（ａ）前記対象物に関する画像対応点、及び前記レンズ歪みモデルを多項式近似する近似次数を取得する、ステップと、
（ｂ）前記画像対応点及び前記近似次数に基づいて、前記幾何パラメータと前記レンズ歪みパラメータとを推定する、ステップと、
を実行させる、プログラム。

（付記１０）
付記９に記載のプログラムであって、
前記（ｂ）のステップにおいて、前記画像対応点及び前記近似次数に基づいて、複数の前記幾何パラメータの候補と複数の前記レンズ歪みパラメータの候補とを推定し、
これらの中から、前記画像対応点と、前記幾何パラメータ及び前記レンズ歪みパラメータと、の変換関係を表す誤差関数を最小化する、前記幾何パラメータの候補、及び前記レンズ歪みパラメータの候補を選択する
ことを特徴とするプログラム。

（付記１１）
付記１０に記載のプログラムであって、
前記（ｂ）のステップにおいて、前記画像対応点の数が設定条件を満たさない場合に、非線形最適化によって前記誤差関数を最小化する、前記幾何パラメータの候補、及び前記レンズ歪みパラメータの候補を選択する、
ことを特徴とするプログラム。

（付記１２）
付記９～１１のいずれかに記載のプログラムであって、
前記コンピュータに、
（ｃ）前記カメラの撮影時の焦点距離と撮影された画像の解像度とに基づいて、前記レンズ歪みモデルの近似次数を決定する、ステップを更に実行させる、
ことを特徴とするプログラム。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

以上のように、本発明によれば、レンズの円周方向歪みを１つの未知数で表現可能なモデルを用いて、レンズ歪みパラメータとカメラ幾何パラメータとを推定することができる。本発明は、レンズの歪みの補正が必要となる各種画像処理システムに有用である。

１０カメラパラメータ推定装置
１１データ取得部
１２パラメータ推定部
１３近似次数決定部
１１０コンピュータ
１１１ＣＰＵ
１１２メインメモリ
１１３記憶装置
１１４入力インターフェイス
１１５表示コントローラ
１１６データリーダ／ライタ
１１７通信インターフェイス
１１８入力機器
１１９ディスプレイ装置
１２０記録媒体
１２１バス

Claims

対象物を撮影したカメラの幾何パラメータと単一の未知数で表されるレンズ歪みモデルのレンズ歪みパラメータとを推定するための装置であって、
前記対象物に関する画像対応点、及び前記レンズ歪みモデルを多項式近似する近似次数を取得する、データ取得手段と、
前記画像対応点及び前記近似次数に基づいて、前記幾何パラメータと前記レンズ歪みパラメータとを推定する、パラメータ推定手段と、
を備えている、
ことを特徴とするカメラパラメータ推定装置。
請求項１に記載のカメラパラメータ推定装置であって、
前記パラメータ推定手段が、前記画像対応点及び前記近似次数に基づいて、複数の前記幾何パラメータの候補と複数の前記レンズ歪みパラメータの候補とを推定し、
これらの中から、前記画像対応点と、前記幾何パラメータ及び前記レンズ歪みパラメータと、の変換関係を表す誤差関数を最小化する、前記幾何パラメータの候補、及び前記レンズ歪みパラメータの候補を選択する
ことを特徴とするカメラパラメータ推定装置。
請求項２に記載のカメラパラメータ推定装置であって、
前記パラメータ推定手段が、前記画像対応点の数が設定条件を満たさない場合に、非線形最適化によって前記誤差関数を最小化する、前記幾何パラメータの候補、及び前記レンズ歪みパラメータの候補を選択する、
ことを特徴とするカメラパラメータ推定装置。
請求項１～３のいずれかに記載のカメラパラメータ推定装置であって、
前記カメラの撮影時の焦点距離と撮影された画像の解像度とに基づいて、前記レンズ歪みモデルの近似次数を決定する、近似次数決定手段を更に備えている、
ことを特徴とするカメラパラメータ推定装置。
対象物を撮影したカメラの幾何パラメータと単一の未知数で表されるレンズ歪みモデルのレンズ歪みパラメータとを推定するための方法であって、
（ａ）前記対象物に関する画像対応点、及び前記レンズ歪みモデルを多項式近似する近似次数を取得する、ステップと、
（ｂ）前記画像対応点及び前記近似次数に基づいて、前記幾何パラメータと前記レンズ歪みパラメータとを推定する、ステップと、
を有する、
ことを特徴とするカメラパラメータ推定方法。
コンピュータによって、対象物を撮影したカメラの幾何パラメータと単一の未知数で表されるレンズ歪みモデルのレンズ歪みパラメータとを推定するためのプログラムであって、
前記コンピュータに、
（ａ）前記対象物に関する画像対応点、及び前記レンズ歪みモデルを多項式近似する近似次数を取得する、ステップと、
（ｂ）前記画像対応点及び前記近似次数に基づいて、前記幾何パラメータと前記レンズ歪みパラメータとを推定する、ステップと、
を実行させる、プログラム。