JP3104327B2 - 歪曲収差補正装置および画像合成装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像の歪曲収差を補正
する装置および画像合成装置に関する。

【０００２】

【従来の技術】従来、このような分野の技術としては、
例えば図２２に示すものがある。図２２は、この従来の
歪曲収差補正装置の構成図を示すものである。図２２に
おいて、５１はカメラ、５２は画像取り込みスイッチ、
５３はテストパターンメモリ、５４はパターン検出回
路、５５はパターン検出結果、５６は曲線補間回路、５
７は曲線補間結果、５８は画像歪曲収差補正回路であ
る。このように構成された従来の歪曲収差補正装置につ
いて以下その動作を説明する。

【０００３】まずカメラ５１により、テストパターンと
して等間隔のパターンをもった画像を撮影し、画像取り
込みスイッチ５２を閉じ、この画像をテストパターンメ
モリ５３に記憶する。次にパターン検出回路５４によっ
て、各パターンが実際に画像メモリ上でどの位置にある
かを検出する。５５はこのようにして検出された離散的
なパターン位置を補間して連続的な関数を求める。画像
歪曲収差補正回路５６は、この関数を逆補正する動作に
よって、入力した画像を補正し、画像の歪曲収差を除去
しようとするものである。図２３（ａ）は５４によって
検出するパターン位置と、画面の中心からの距離を示す
図、図２３（ｂ）は検出したパターン位置を補間した関
数を示す図である。

【０００４】

【発明が解決しようとする課題】しかしながら、図２２
のような構成では、歪曲収差の測定のための格子パター
ン等、特別のテストパターンが必要であった。さらに、
ズーミング操作などによってカメラの焦点距離を変化さ
せた場合、通常は歪曲収差特性も変化するので、焦点距
離を変化させるたびに、その都度テストパターンを撮影
して、歪曲収差特性を測定し直すという不便さを有して
いた。

【０００５】本発明は、上記課題を解決するもので、歪
曲収差測定のための特別のテストパターンを必要とする
ことなく、通常の画像入力のみを用いて歪曲収差を補正
する手段を提供することを目的としている。

【０００６】

【課題を解決するための手段】本発明は、上記問題点を
解決するために、複数の画像を入力し、複数の画像間の
互いに重複し対応する部分の座標位置を検出し、歪曲収
差および焦点距離を推定して、これらに基づいて歪曲収
差を補正し、座標の幾何変換を行って、複数の画像間で
重複し、対応する点の座標位置の誤差が所定の値以下と
なるよう前述の歪曲収差の推定値および焦点距離の推定
値を更新するようにしたものである。

【０００７】

【作用】本発明によれば、上記のように、複数の画像を
入力して、これら複数の画像中から対応する点を検出
し、画像の座標を幾何変換して、対応する画素位置がで
きるだけ正確に重なるように、歪曲収差および焦点距離
を推定しているので、歪曲収差測定のための特別のテス
トパターンを必要としない。また、焦点距離および歪曲
特性が変化しても、同一焦点距離で撮影した画像が複数
枚あれば、これらより歪曲収差および焦点距離を推定す
ることができるため、撮影対象である通常の画像のみを
用いて画像入力系の焦点距離を検出できるとともに、画
像の歪曲収差を検出し、これを補正することができる。

【０００８】また本発明によれば、歪曲収差を補正した
画像を用いて合成することが容易となり、歪曲収差が補
正された高精度の合成画像を得ることができる。

【０００９】

【実施例】以下、本発明の実施例について、以下図面を
参照しながら説明する。

【００１０】図１は、本発明の第１の実施例における歪
曲収差補正装置の構成図を示すものである。図１におい
て、１は画像入力端子、２〜３は入力した画像を記憶す
る画像メモリ、４〜５は入力した画像の互いに重複する
部分の座標位置を検出する対応点検出手段、６は画像の
入力した画像が有する歪曲収差を推定する歪曲収差推定
手段、７は入力した画像を撮影した装置の焦点距離を推
定する焦点距離推定手段、８〜９は歪曲収差による座標
位置の変位を補正する座標歪曲収差補正手段、１０は座
標位置を幾何変換するための係数を決定する変換係数決
定手段、１１は画像の座標位置を幾何変換する座標幾何
変換手段、１２は座標位置の誤差を評価する誤差評価手
段、１３は入力した画像の歪曲収差を補正して１４より
出力する画像歪曲収差補正手段である。図２は本発明の
第１の実施例の動作説明図である。

【００１１】以上のように構成された本発明の第１の実
施例の歪曲収差補正について、以下その動作を説明す
る。

【００１２】カメラの角度を変える等により、被写体の
一部が重複する第１および第２の２枚の画像を、それぞ
れ画像メモリ２および３に入力する。第１の画像中から
２枚の画像で互いに重複する部分の座標位置を第１の対
応点検出４によって検出する。同様にして、第２の画像
から２枚の画像で互いに重複する部分の座標位置を第２
の対応点検出５によって検出する。次に６によって、入
力した画像が有する歪曲収差を表すパラメータを適当な
初期値から出発して推定する。次に７によって、入力画
像を撮影した装置の焦点距離を適当な初期値から出発し
て推定する。第１および第２の座標歪曲収差補正手段８
および９は、推定した歪曲収差に基づき、これを逆補正
するよう、前述の４、５で検出した対応点の座標位置を
それぞれ補正する。

【００１３】入力された２枚の画像は、一部分が重複し
ているものの、撮影時のカメラ角度が異なっており、こ
のため一方の画像は他方の画像に対して、単純な平行移
動を行っても完全には重ならない。重複した部分を重ね
るためには、一方の画像に所定の幾何変換を施す必要が
ある。この幾何変換は、変換前の点（ｘ，ｙ）が
（ｘ’，ｙ’）に変換されるとすれば、次の（数１）お
よび（数２）の関係が成り立つような変換である。ただ
し歪曲収差は補正されているものとする。

【００１４】

【数１】

【００１５】

【数２】

【００１６】ここでｆはカメラの焦点距離、Ｒ_ij（i,j=
1,2,3）は幾何変換行列Ｒの係数であり、２枚の画像間
で共通の被写体部分に対応する点（以下対応点という）
の組が、２組以上あれば決定できることが知られてい
る。

【００１７】さて、１０の座標変換係数決定手段は、歪
曲収差を補正した２組以上の対応点の座標位置と、７で
推定した焦点距離値により変換係数Ｒ_ijを決定し、１１
はこの変換係数に基づいて、９の出力の座標位置を幾何
変換する。８の出力と１１の出力を誤差評価手段１２に
よって評価するが、歪曲収差の推定値と焦点距離の推定
値が共に真の値に近ければ、この評価値はほぼ０とな
る。この評価値を６および７にフィードバックして、歪
曲収差の推定値および焦点距離の推定値を更新するルー
プを形成し、この評価値が最小となる歪曲収差値および
焦点距離値を探索する。

【００１８】この動作の概念を図２を用いて説明する。
図２において（ａ）は被写体であり、これを異なったカ
メラ角度で撮影した２枚の画像（ｂ）、（ｃ）には歪曲
収差がある。Ａ、Ｂ、Ｃ、およびＡ’、Ｂ’、Ｃ’は２
枚の画像でそれぞれ重複する部分の対応点である。
（ｂ）および（ｃ）の画像の歪曲収差を補正したものが
（ｄ）および（ｅ）である。（ｅ）における２点たとえ
ばＡ’、Ｃ’がそれぞれ（ｄ）における２点Ａ、Ｃに対
応するとすれば変換係数が決定できる。この変換係数に
従って画像（ｅ）を変換すると（ｆ）が得られる。
（ｆ）において、 ＡとＡ’、ＣとＣ’は常に一致する
が、ＢとＢ’は歪曲収差推定値および焦点距離推定値が
正しくなければ一致しない。このＢとＢ’が一致するよ
うフィードバックして歪曲収差値および焦点距離値を更
新し、これらの真値を推定する。最終的に正しく推定さ
れた歪曲収差を用いて画像を補正することにより、画像
の歪曲収差の補正が実現できる。なお画像の対応検出に
は一般の画像を用いることができ、前もって特殊なテス
トパターン等を準備して歪曲収差を測定する必要がな
い。また焦点距離の推定も同時に行われ、焦点距離につ
いても前もって測定しておく必要がない。

【００１９】なお、図２では、画像の変換を用いて説明
したが、必ずしも実際に画像の歪曲収差を補正したり、
幾何変換したりする必要はなく、必要最小限の画素の座
標値のみを用いて演算することが可能である。また簡単
のため、画像の対応点には３点を用いて説明したが、一
般的には未知である歪曲収差、焦点距離のパラメータ数
に応じて、対応点の数を用意し、正しい推定値で系が収
束するようにする必要がある。

【００２０】以上のように、本実施例によれば、前もっ
て特殊なテストパターン等を準備して歪曲収差を測定せ
ずに、一般の画像を用いて画像の歪曲収差を補正するこ
とが可能となる。また、同一焦点距離で撮影された２枚
の画像があれば、前もって特殊なパターンを用いて焦点
距離を測定することなく、画像の歪曲収差を補正するこ
とができる。

【００２１】図３は、本発明の第２の実施例において、
歪曲収差推定手段が推定する歪曲収差に対応する結像特
性図である。図３において、縦軸Ｙは画像の中心からの
各画素の座標の距離（観測した画素位置）であり、横軸
Ｘは、歪曲収差が無い場合の、画像の中心からの各画素
の距離（理想的な画素の位置）である。図３中の（１）
〜（３）は本発明の第２の実施例の歪曲収差推定手段
が、歪曲収差を近似した多項式の係数を最小単位更新し
たときの結像特性の変化を示すものである。以下この第
２の実施例について同図を用いて説明する。

【００２２】歪曲収差が無いとすれば、結像関係は明ら
かに、（数３）で表されるが、歪曲収差により、結像関
係が歪曲収差パラメータをａ、ｂとして、（数４）で表
されるものとする。

【００２３】

【数３】

【００２４】

【数４】

【００２５】図３において（１）は（数４）で表される
結像特性の例である。歪曲収差推定手段は、この歪曲収
差パラメータａ、ｂを推定するのであるが、探索によっ
て推定する場合、その更新ステップ幅が大きすぎると、
最適な値を見落とす恐れがあり、逆に更新ステップ幅が
必要以上に小さければ、次元数はａ、ｂで２次元となる
ことから、探索に要する時間が非常に長くなるという問
題点がある。このため、この更新ステップ幅は適切に設
定する必要がある。

【００２６】図３（２）は歪曲収差パラメータａを更新
ステップとして最小単位Δａだけ変化させたときの結像
特性の例、図３（３）は歪曲収差パラメータｂを更新ス
テップとして最小単位Δｂだけ変化させたときの結像特
性の例である。ここでΔａおよびΔｂを所定の値に設定
すると、これら歪曲収差パラメータの変化によって生じ
る画素位置の変化ΔＸａ、ΔＸｂをそれぞれ０．５画素
以下とすることができ、歪曲収差パラメータの最小単位
の変化による画像上の任意の点の移動量が０．５画素以
下となる。このように設定することにより、パラメータ
を最小単位変化させた場合にも、画素位置の順序関係が
入れ替わることがないため、最適値を見落とすことな
く、最適値に十分近いパラメータを探索することが可能
になる。

【００２７】以上のように、本実施例によれば、歪曲収
差による画素位置変化の最大値を０．５画素以下に設定
することにより、最適値に十分近いパラメータを探索す
ることがてきる。

【００２８】図４および図５は、本発明の第３の実施例
における焦点距離推定手段の動作を説明する図で、図４
は推定した焦点距離値に対する誤差評価値の例を表す
図、図５は図４のＡ、Ｂ、Ｃ、Ｄのデータを用いて補間
したグラフである。以下図面に従って本発明の第３の実
施例の焦点距離推定手段の動作を説明する。

【００２９】本実施例では、まず焦点距離値を仮に推定
する。これに対して最も良い誤差評価値を与える歪曲収
差パラメータを推定する。この推定は例えば第２の実施
例のように、歪曲収差パラメータを所定の最小更新ステ
ップによって更新して探索する方法で推定することがで
きる。このようにして、ひとつの焦点距離値に対して、
最良の誤差評価値を与える歪曲収差パラメータを推定
し、この評価値を記録する。もし、焦点距離を細かく設
定し、その都度誤差評価値をグラフにすれば図４を得
る。このグラフから、評価値最小を与える焦点距離設定
値を最終的な焦点距離推定値とすることができるが、こ
の方法では誤差評価値最小を与える焦点距離値を正確に
求めるには、細かく焦点距離を設定して、その都度歪曲
収差パラメータを推定する必要があり、必要演算回数が
増大してしまう。そこで本発明の第３の実施例における
焦点距離推定手段では、まず図４の３点以上の点、たと
えばＡ、Ｂ、Ｃ、Ｄの各４点の焦点距離値を設定する。
次にこの４点における誤差評価値を補間して、図５のよ
うに連続した関数を得る。補間した関数の最小値を与え
る点Ｐ’での焦点距離値ｆ₀’を、もとの図４の誤差評
価値の最小値を与えるｆ₀の近似とすることができる。

【００３０】以上のように、本実施例によれば、焦点距
離を３点以上の異なった値に設定し、各々設定した焦点
距離について、誤差評価値最小を与える歪曲収差を推定
し、これら３点以上の誤差評価値を補間して得られた関
数の最小値の位置より、焦点距離値を推定することによ
り、少ない演算回数で焦点距離値を推定することができ
る。

【００３１】図６、図７、図８は、本発明の第４の実施
例における焦点距離推定手段の動作を説明する図であ
る。図６は推定した焦点距離値に対する評価値の例を表
す図、図７は図６のデータの局所最小値を示す図、図８
は図７のデータを補間した図である。以下図面に従って
本発明の第４の実施例の焦点距離推定手段の動作を説明
する。

【００３２】前述の本発明の第３の実施例と同様、焦点
距離を仮に設定し、これに対して最も良い評価値を与え
る歪曲収差パラメータを推定する。この推定は例えば第
２の実施例のように、歪曲収差パラメータを所定の最小
更新ステップによって更新して探索する方法で推定する
ことができる。このような方法の場合、次元数がａ、ｂ
で２次元であることから、更新ステップ幅を大きくする
ことができれば、探索の回数を著しく減少させることが
できる。図６の実線はこの更新ステップ幅を大きくした
場合の誤差評価値であり、図６の点線で示した、歪曲収
差パラメータ探索の際のステップ幅を十分細かくして探
索した場合の誤差評価値と比較して、周期的に大きな誤
差を発生する。そこで、図６に局所最小値処理を施し、
図７を得る。この局所最小値処理は、図６の誤差評価値
の谷の部分の最大周期をＴmaxとして、推定する焦点距
離推定値に対して±（Ｔmax／２）の幅をもった範囲で
の誤差表価値の最小値を求めるような処理とすることが
できる。図７を補間して図８を得る。この補間した関数
の最小値を与える点Ｐ”での焦点距離値ｆ₀”を、ｆ₀の
近似とすることができる。このよう局所最小値処理を設
けることにより、歪曲収差パラメータ探索の際の更新ス
テップ幅を大きく設定することができる。

【００３３】以上のように、本実施例によれば、焦点距
離を複数の異なった値に設定し、各々設定した焦点距離
について、最小の誤差評価値を与える歪曲収差を推定
し、これら複数の誤差評価値を局所最小値処理して得ら
れた値により関数を補間し、この補間した関数の最小値
の位置より、焦点距離値を推定することにより、歪曲収
差パラメータ探索の更新ステップ幅を大きくすることが
でき、少ない演算回数で焦点距離値を推定することがで
きる。

【００３４】図９、図１０、図１１は、本発明の第５の
実施例における歪曲収差推定手段の動作を説明する図で
ある。図９は歪曲収差に対応する結像特性図であり、
（数４）に相当する。図３において、縦軸Ｙは画像の中
心からの各画素の座標の距離（観測した画素位置）であ
り、横軸Ｘは、歪曲収差が無い場合の、画像の中心から
の各画素の距離（理想的な画素の位置）である。歪曲収
差のパラメータに応じて例えば（１）、（２）、（３）
の用に変化する。

【００３５】歪曲収差の大きさは、画像の中心付近の倍
率で出来上がる像の大きさを理想像高とし、現実の像の
大きさが、これよりどの程度伸縮しているか、で表現す
る方法が一般的である。歪曲収差を、実際の像高および
理想像高、を用いて（数５）のように定義すると、

【００３６】

【数５】

【００３７】と表すことができる。この表現は、歪曲収
差が全く無い場合、歪曲収差＝０となり、歪曲収差を把
握するのに都合がよい。（数５）の実際の像高にＹ、理
想像高にＸを代入すると（数６）を得る。

【００３８】

【数６】

【００３９】図１０は（数６）にしたがって、画像中心
からの距離と歪曲収差の例との関係を示した図である。
画像の中心からの距離をＸ、画像上での観測される画素
位置をＹしている。歪曲収差は、例えば図１０の
（１）、（２）、（３）のように、歪曲収差パラメータ
ａ，ｂの値によって変化する２次曲線で表せる。

【００４０】さて歪曲収差パラメータａ，ｂを探索によ
って推定する際には、予め歪曲収差パラメータａ，ｂの
範囲をそれぞれ決めることで、探索する範囲を限定する
ことができるが、パラメータａ、ｂの範囲はそれぞれ独
立に設定すると、探索にむだが生じる。すなわち、レン
ズは通常（数５）で表される歪曲収差の値が所定の範囲
内となるよう管理されているので、これによるパラメー
タの制約条件を考慮して探索の範囲をさらに限定するこ
とが可能となる。例えば（数６）で表される歪曲収差の
絶対値が所定の値ｄmax以下であるとすると、図１０の
ように、歪曲収差の絶対値がｄmaxを超えない曲線を与
えるａ、ｂの組合せは、図１１の斜線を施した、Ｉの部
分にのみ限定される。IIの部分は糸巻収差の最大値が、
III の部分では樽型収差の最大値がそれぞれｄmaxを超
える領域であり、ａ、ｂの組合せを考慮することで、こ
れらの領域の探索が除外でき、探索の範囲を限定して効
率的な歪曲収差の探索が可能となる。

【００４１】以上のように、本実施例によれば、歪曲収
差を近似する多項式で近似し、歪曲収差の絶対値の最大
値が所定の値以下であることを用いて、この条件を満た
す範囲のみを探索して推定することによって、効率的な
歪曲収差を推定することが可能となる。

【００４２】なお、本実施例の説明では、歪曲収差の絶
対値の最大値が所定の範囲内となる係数の範囲とした
が、この他、たとえば歪曲収差の最大値と歪曲収差の最
小値の差が所定の値以下となる範囲とすること等、種々
変形することが可能である。たとえば正の歪曲収差は負
の歪曲収差に比較して許容範囲が小さいこと、また歪曲
収差の絶対値はそれほど大きくなくても、この値が急激
に変化するような歪曲収差も許容されないこと等を利用
して、歪曲収差パラメータの探索範囲を限定することが
できる。

【００４３】図１２は本発明の歪曲収差推定値と、誤差
評価の値の関係を示す図、図１３は本発明の第６の実施
例の歪曲収差補正装置の歪曲収差推定手段の動作説明図
である。以下図１２および図１３を用いて本発明の第６
の実施例の動作を説明する。

【００４４】図１２は推定する歪曲収差を２次式で表
し、焦点距離の推定値を所定の値としたときの、２つの
歪曲収差パラメータの推定値ａおよびｂと、誤差評価値
の関係を示すものである。シミュレーションによれば、
パラメータａ、ｂに対して誤差評価値の変化は一様では
なく、定性的にはａを増加させた場合にはｂを減少させ
るような曲線上に誤差評価値の谷が確認される。図１３
はこの谷の底の部分を点線でａｂ平面上に示したもので
ある。本実施例の歪曲収差推定手段は、図１３の第１の
ｂ＝一定の直線 Ｌ1上を探索し、誤差評価値最小の点Ａ
を得る。同様にして第２の直線 Ｌ2上を探索し、誤差評
価値最小の点Ｂを、第３の直線 Ｌ3上を探索し、誤差評
価値最小の点Ｃを得る。次にＡ、Ｂ、Ｃの各点を通る２
次曲線を求める。さらに得られた２次曲線上のみを探索
して、最も小さい誤差評価値を与える歪曲パラメータａ
およびｂを求めることができる。このようにすることに
より、パラメータの探索はＬ1〜Ｌ3上の探索、および求
めた２次曲線上での探索とすることができ、これらはい
ずれも１次元探索となり、ａｂ平面内を隈なく２次元的
に探索することに比較して著しく探索範囲を少なくする
ことができる。

【００４５】なお、本実施例の探索の範囲を本発明の第
５の実施例で示される範囲と組み合わせてさらに探索範
囲を削減できることは言うまでもない。

【００４６】以上のように、本実施例によれば、入力し
た画像が有する歪曲収差を２次式で近似し、この２次式
の２つの係数は、この係数が表す２次元平面上にあるこ
とを検出し、この曲線上を探索して歪曲収差を推定する
ことにより、パラメータの探索をすべて１次元探索とす
ることができ、探索範囲を著しく削減して効率よい歪曲
収差推定が実現できる。

【００４７】図１４は歪曲収差の種類を表す図、図１５
は本発明の第７の実施例の歪曲収差推定手段が探索する
係数の範囲を示す図である。以下、図１４および図１５
を用いて、本発明の第７の実施例について説明する。

【００４８】図１４は歪曲収差の種類を表す図で、
（１）〜（２）は糸巻収差、（４）〜（５）は樽型収差
といわれるものである。（６）は実際画像の像高に対し
て、歪曲収差のない、理想の場合の像高が一通りでな
く、歪んだ画像ともとの画像の間に１対１の対応がな
く、このような場合はもはや画像の座標位置の補正によ
って歪曲収差を補正することは不可能である。またこの
ような極度の歪曲収差は通常考慮する必要がないため、
歪曲収差パラメータの探索の際、（６）のような歪曲収
差を生じる範囲を除外することにより、探索範囲を削減
することができる。この除外する範囲は、歪曲収差を２
次で近似した場合、図１５の斜線を施した部分で示され
る領域となる。

【００４９】以上のように、本実施例によれば、入力し
た画像が有する歪曲収差を、座標変換によって収差を補
正することが可能な収差の範囲を探索範囲とすることに
より、探索範囲を削減して、効率よい歪曲収差推定を実
現することができる。

【００５０】図１６は本発明の第８の実施例の歪曲収差
補正装置の座標変換手段の動作を説明する説明図であ
る。図１６において（ａ）は被写体、（ｂ）および
（ｃ）はそれぞれカメラの角度を変えて撮影した画像、
（ｄ）は（ｂ）、（ｃ）の画像をそれぞれ歪曲収差を補
正し、幾何変換してそれぞれの対応点どうしを重ね合わ
せたもの、（ｅ）は複数の対応点の位置関係を示す図で
ある。以下この図に従って本発明の第８の実施例の座標
変換手段の動作を説明する。

【００５１】被写体の一部が重複するようにして撮影さ
れた２枚の画像（ｂ）および（ｃ）から３組の対応点
Ａ、Ａ’、Ｂ、Ｂ’、Ｃ、Ｃ’を検出する。次にこれら
の対応点の組のうち、最も距離が離れた２組、Ａ、
Ａ’、Ｃ、Ｃ’を検出して、これらをの座標値を歪曲収
差補正した座標値から画像の変換係数を計算する。この
変換は一方の画像の画素位置を、他方のカメラ角度から
みた画像として変換するときの係数に相当するものであ
る。この変換の結果異なった角度で撮影された２枚の画
像は、（ｄ）のように対応することになる。各対応点の
関係は（ｅ）で示され、前述の変換により、Ａ＝Ａ’、
Ｃ＝Ｃ’となっている。残る対応点ＢとＢ’との間の距
離εが最小となるよう、焦点距離または歪曲収差値を推
定する。このように、最も離れた対応点間では完全に座
標位置が一致し、中間部分に配置している、残りの対応
点での誤差が最小になるようにしているので、広範囲に
わたって精度よく座標位置を対応させることができる。

【００５２】以上のように、本実施例によれば、対応点
のうち、最も距離の離れた２点により決定される変換係
数によって、座標の変換を行うことにより、広範囲にわ
たって精度よく座標位置を対応させることができる。

【００５３】図１７は本発明の第９の実施例の歪曲収差
補正装置の座標変換手段の動作を説明する説明図であ
る。図１７において（ａ）は被写体、（ｂ）および
（ｃ）はカメラ角度を変えて撮影した２枚の画像と検出
された複数の対応点の例、（ｄ）は歪曲収差の例、
（ｅ）、（ｆ）は検出された対応点のうち、入力画像で
の中心部に最も近いに存在する対応点を選択したもので
ある。以下この図に従って本発明の第９の実施例につい
て説明する。

【００５４】被写体（ａ）の一部が重複するようにして
撮影された２枚の画像（ｂ）および（ｃ）から複数組の
対応点例えばＡ、Ａ’、Ｂ、Ｂ’、Ｃ、Ｃ’、Ｄ、Ｄ’
を検出する。次にこれらの対応点のうち、（ｂ）の画像
の中心に最も近い対応点Ａと、（ｃ）の画像の中心に最
も近い対応点Ｄ’とを検出して、これらのペアとなる対
応点Ａ’およびＤを用い、これら２組の対応点から、座
標の幾何変換係数Ｒ_ijを決定する。なお、２枚の画像間
で対応する組が２組以上あれば幾何変換係数がＲ_ij決定
できることは、本発明の第１の実施例で述べた通りであ
る。このようにそれぞれの入力画像の中心部に最も近い
部分に存在する対応点を用いて幾何変換係数を決定して
いるので、対応点の座標値のうち、少なくともいずれか
一方は、画像の中心部に位置しており、一般に（ｄ）の
ように表される歪曲収差の影響を受けにくい。このため
より精度の高い演算が期待できる。

【００５５】以上のように、本実施例によれば、それぞ
れの入力画像の中心部に最も近い部分に存在する対応点
を用いて幾何変換係数を決定しているので、歪曲収差の
影響を軽減して、より精度の高い変換係数を得ることが
期待できる。

【００５６】図１８は、本発明の第１０の実施例の歪曲
収差補正装置における対応点検出手段の動作を説明する
説明図である。図１８において（ａ）は被写体、（ｂ）
および（ｃ）はカメラ角度を変えて撮影した２枚の画
像、（ｄ）は初期対応点検出結果、（ｅ）は選択された
対応点の例である。以下この図に従って本発明の第１０
の実施例について説明する。

【００５７】カメラの角度を変えて撮影した２枚の画像
（ｂ）および（ｃ）からは、重複する部分の初期対応点
（ｄ）が多数得られる。これらのうち、互いの距離が所
定の値以上離れた対応点のみを選択して（ｅ）を得る。
このようにして対応点を選択することにより、ほとんど
距離が離れていない対応点を除去し、計算精度向上に寄
与しない対応点を除去して、演算の効率を向上させるこ
とができる。

【００５８】以上のように、本実施例によれば、検出さ
れた対応点のうち、互いの距離が所定の値以上離れた対
応点を選択して用いることによって精度を低下させるこ
となく、演算の効率を向上させることができる。

【００５９】図１９は、本発明の第１１の実施例におけ
る画像合成装置の構成図を示すものである。図１９にお
いて、図１と異なるのは、第２の画像歪曲収差補正手段
１５、画像変換手段１６、画像合成手段１７を設けた点
である。以上のように構成された本発明の第１１の実施
例の画像合成装置について、以下その動作を、第１の実
施例と異なる点について説明する。

【００６０】入力した第２の画像は、最終的に推定され
た歪曲収差に基づき、１５の画像歪曲収差補正手段によ
って歪曲収差を補正し、さらに１０で得られる画像変換
係数に従って変換される。この変換によって、１３の出
力画像および１６の出力画像は、それぞれの対応点が一
致し、画像合成手段１７によって１枚の連続した画像と
して合成することができる。

【００６１】この動作の概念を再び図２を用いて説明す
る。図２において（ａ）は被写体であり、これを異なっ
たカメラ角度で撮影した２枚の画像（ｂ）、（ｃ）には
歪曲収差がある。Ａ、Ｂ、Ｃ、およびＡ’、Ｂ’、Ｃ’
は２枚の画像でそれぞれ重複する部分の対応点である。
（ｂ）および（ｃ）の画像の歪曲収差を補正したものが
（ｄ）および（ｅ）である。（ｅ）における２点たとえ
ばＡ’、Ｃ’がそれぞれ（ｄ）における２点Ａ、Ｃに対
応するとすれば変換係数が決定できる。この変換係数に
従って画像（ｅ）を変換すると（ｆ）が得られる。
（ｆ）において、ＡとＡ’、ＣとＣ’は常に一致する
が、ＢとＢ’は歪曲収差推定値および焦点距離推定値が
正しくなければ一致しない。このＢとＢ’が一致するよ
うフィードバックして歪曲収差および焦点距離を推定す
る。最終的に正しく推定された歪曲収差を用いて画像を
補正し、これらを合成することにより、（ｇ）のような
連続した１枚の画像を得ることができ、歪曲収差を補正
して、良好な画像合成を実現することができる。なお歪
曲収差の補正や焦点距離の推定には、前もって特殊なテ
ストパターン等を準備したり、予め較正しておいたりす
る必要がない。また焦点距離の推定も同時に行われ、焦
点距離についても前もって測定しておく必要がない。

【００６２】なお、本実施例では合成する画像を２枚の
画像であるとして説明したが、本発明はこれに限定され
るものではなく、一般に複数の画像の合成の場合に適用
できるのはもちろんである。例えば入力する画像のひと
つを、重複する被写体を画面の中心部分に位置するよう
にして撮影した画像とし、他の画像はこの被写体の周囲
を撮影した複数枚の画像とすることができるのはもちろ
んである。

【００６３】以上のように、本実施例によれば、前もっ
て特殊なテストパターン等を準備して歪曲収差の補正や
焦点距離の推定を行うことを必要とせずに、画像に歪曲
収差がある場合の複数画像を用いて良好な画像合成を行
うことが可能となる。ことができる。

【００６４】図２０は本発明の第１２の実施例の画像合
成装置の構成図である。図２１（ａ）は４枚の画像を入
力した場合の合成画像を、図１９で示す本発明の第１１
の実施例の画像合成装置により得たものである。図２１
（ｂ）は４枚の画像を入力した場合の合成画像を、図２
０で示す本発明の第１２の実施例の画像合成装置により
得たものである。図２０において、図１９と異なるの
は、基準位置設定手段１９、基準位置変換係数決定手段
２０、第２の画像変換手段２１、行列乗算手段２２を設
けた点である。以上のように構成された本発明の第１２
の実施例の画像合成装置について、以下その動作を、第
１１の実施例と異なる点について図２０および図２１を
用いて説明する。

【００６５】第１の画像歪曲収差補正手段１３の出力す
る画像は、図２１（ａ）の太線の四辺形で示すような画
像である。この画像を基準として第１１の実施例の構成
の画像合成装置で他の３枚の画像を合成すると、図２１
（ａ）に示すように、カメラの中心はＯ点であり、４枚
の画像で重複して撮影した被写体を中心にして撮影した
画像とは異なった画像となってしまう。この現象は焦点
距離の短い、すなわち広角レンズを用いて撮影した場
合、特に顕著である。そこで本実施例では、そこで基準
位置設定手段１９を設け、視点の中心となる基準位置
を、重複した被写体の中央とし、２０によって各入力画
像に対応する複数の基準位置変換係数を求め、この基準
位置変換を施したのち、１７によって合成して出力す
る。なお、１０によって既に変換係数が決定している部
分の画像については、行列乗算手段２２によって変換係
数を改めて求めた後、１６によて画像変換する。このよ
うに、視点の中心位置を、４枚の入力画像で重複してい
る被写体の中央部分とするような画像変換手段を設ける
ことにより、図２１（ｂ）のように、Ｏ’が視点の中心
となる画像に変換した合成画像を得ることができる。な
お、このような視点の中心を移動するような変換は、
（数１）、（数２）と同様な変換によって行うことがで
きる。

【００６６】以上のように、本実施例によれば、基準位
置設定手段を設け、視点の中心となる位置を変換する手
段を設けて複数の画像を変換した後合成するので、重複
して撮影された被写体を画像の中心となるようにして撮
影した画像と等価な画像を合成によって得ることができ
る。

【００６７】なお、本発明は上記実施例に限定されるも
のではなく、これらの組み合わせのほか、本発明の趣旨
に基づいて種々の変形が可能である。

【００６８】

【発明の効果】以上説明したように、本発明によれば次
のような効果を奏することができる。 （１）前もって特殊なテストパターン等を準備して歪曲
収差を測定することを必要とせずに、一般の画像を用い
て画像の歪曲収差を補正することが可能となる。また、
同一焦点距離で撮影された２枚の一般の画像があれば、
前もって特殊なパターンを用いて焦点距離を測定するこ
となく、画像の歪曲収差を補正することができる。 （２）歪曲収差による画素位置変化の最大値を０．５画
素以下に設定することにより、パラメータの最適値を見
落とすことなく、滑らかにパラメータを探索することが
てきる。 （３）焦点距離を３点以上の異なった値に設定し、各々
設定した焦点距離について、誤差評価値最小を与える歪
曲収差を探索し、これら３点以上の誤差評価値を補間し
て得られた関数の最小値の位置より、焦点距離値を推定
することにより、少ない演算回数で焦点距離値を推定す
ることができる。 （４）焦点距離を複数の異なった値に設定し、各々設定
した焦点距離について、誤差評価値最小を与える歪曲収
差を探索し、これら複数の誤差評価値を局所最小値処理
して得られた値により関数のを補間し、この補間した関
数の最小値の位置より、焦点距離値を推定することによ
り、歪曲収差パラメータ探索の更新ステップ幅を大きく
することができ、少ない演算回数で焦点距離値を推定す
ることができる。 （５）歪曲収差を近似する多項式が表す歪曲収差の絶対
値の最大値が所定の値以下であることを用いて、この条
件を満たす係数の範囲のみを探索することによって、効
率的な歪曲収差の探索および推定が可能となる。 （６）入力した画像が有する歪曲収差を２次式で近似
し、この２次式の２つの係数は、この係数が表す２次元
平面上にあることを検出し、この曲線上を探索して歪曲
収差を推定することにより、パラメータの探索をすべて
１次元探索とすることができ、探索範囲を著しく削減し
て効率よい歪曲収差推定が実現できる。 （７）座標変換によって補正することが可能な歪曲収差
の範囲を探索範囲とすることにより、探索範囲を削減し
て、効率よい歪曲収差推定を実現することができる。 （８）対応点のうち、最も距離の離れた２点により決定
される変換係数によって、座標の変換を行うことによ
り、広範囲にわたって精度よく座標位置を対応させるこ
とができる。 （９）それぞれの入力画像の中心部に最も近い部分に存
在する対応点を用いて幾何変換係数を決定することによ
り、歪曲収差の影響を軽減して、より精度の高い変換係
数を得ることが期待できる。 （１０）検出された対応点のうち、互いの距離が所定の
値以上離れた対応点を選択して用いることによって精度
を低下させることなく、演算の効率を向上させることが
できる。 （１１）前もって特殊なテストパターン等を準備して歪
曲収差の補正や焦点距離の推定を行うことを必要とせず
に、画像に歪曲収差がある場合の複数画像を用いて良好
な画像合成を行うことが可能となる。ことができる。 （１２）視角設定手段を設け、視点の中心となる位置を
変換する手段を設けて複数の画像を変換したのち合成す
ることにより、重複して撮影された被写体を画像の中心
となるようにして撮影した画像と等価な画像を合成によ
って得ることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例における歪曲収差補正装
置の構成図

【図２】本発明の第１の実施例における歪曲収差補正装
置の動作説明図

【図３】本発明の第２の実施例における歪曲収差推定手
段が推定する歪曲収差に対応する結像特性図

【図４】本発明の第３の実施例における焦点距離推定手
段が推定した焦点距離値に対する誤差評価値の例を示す
図

【図５】本発明の第３の実施例において、推定した関数
による補間を示す図

【図６】本発明の第４の実施例において、推定した焦点
距離値に対する誤差評価値の例を示す図

【図７】本発明の第４の実施例において、推定した焦点
距離値に対する誤差評価値の局所最小値の例を示す図

【図８】本発明の第４の実施例において、局所最小値を
補間した例を示す図

【図９】本発明の第５の実施例における歪曲収差推定手
段が推定する歪曲収差に対応する結像特性図

【図１０】本発明の第５の実施例において、画像中心か
らの距離と歪曲収差の例を示す図

【図１１】本発明の第５の実施例において、歪曲収差の
絶対値が所定の値を超えない範囲を示す図

【図１２】本発明の第６の実施例において、歪曲収差推
定値と、誤差評価値との関係を示す図

【図１３】本発明の第６の実施例において、誤差評価値
のグラフの谷部分を示す図

【図１４】本発明の第７の実施例において、歪曲収差の
種類を示す図

【図１５】本発明の第７の実施例において、歪曲収差が
探索する係数の範囲を示す図

【図１６】本発明の第８の実施例において、座標変換手
段の動作の概念を示す図

【図１７】本発明の第９の実施例において、歪曲収差の
例と座標変換手段が用いる対応点の関係を示す図

【図１８】本発明の第１０の実施例の対応点検出手段の
動作説明図

【図１９】本発明の第１１の実施例の画像合成装置の構
成図

【図２０】本発明の第１２の実施例の画像合成装置の構
成図

【図２１】本発明の第１２の実施例の画像合成装置の動
作の概念図

【図２２】従来の歪曲収差補正装置の構成図

【図２３】従来の歪曲収差補正装置のパターン検出回路
および曲線補間回路の動作説明図

【符号の説明】

１ 画像入力 ２、３ 画素メモリ ４、５ 対応点検出手段 ６ 歪曲収差推定手段 ７ 焦点距離推定手段 ８、９ 座標歪曲収差補正手段 １０ 座標変換係数決定手段 １１ 座標幾何変換手段 １２ 誤差評価手段 １３、１５ 画像歪曲収差補正手段 １４、１８ 画像出力 １６、２１ 画像変換手段 １７ 画像合成手段 １９ 基準位置設定手段 ２０ 基準位置変換係数決定手段 ２２ 行列乗算手段

フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/232 G06T 3/00 200 H04N 5/262

Claims (16)

(57)【特許請求の範囲】
1. 【請求項１】（ａ）複数の画像を入力する手段と、 （ｂ）前記入力した複数の画像間の互いに重複する部分
   の座標位置を検出する対応点検出手段と、 （ｃ）前記入力した複数の画像が有する歪曲収差を推定
   する歪曲収差推定手段と、 （ｄ）前記入力した複数の画像を撮影した装置の焦点距
   離を推定する焦点距離推定手段と、 （ｅ）前記推定した歪曲収差に基づいて前記対応点検出
   手段の出力を補正する座標歪曲収差補正手段と、 （ｆ）前記座標歪曲収差補正手段の出力と前記焦点距離
   推定手段の出力とを用いて座標変換係数を決定する座標
   変換係数決定手段と、 （ｇ）前記座標変換係数に従って前記座標歪曲収差補正
   手段の出力を座標変換する座標変換手段と、 （ｈ）前記座標歪曲収差補正手段の出力と前記座標変換
   手段の出力との相違を評価する誤差評価手段と、 （ｉ）前記入力した複数の画像の少なくとも１つを、前
   記歪曲収差推定手段によって推定した歪曲収差に基づい
   て歪曲収差を補正して出力する画像歪曲収差補正手段と
   を備え、 （ｊ）前記誤差評価の値が所定の値以下となるよう、前
   記誤差評価手段の出力によって、前記歪曲収差の推定値
   と前記焦点距離の推定値とを更新するよう構成されたこ
   とを特徴とする歪曲収差補正装置。
2. 【請求項２】歪曲収差推定手段は、入力した画像が有す
   る歪曲収差を多項式で近似し、この多項式の係数を最小
   単位更新したときに生じる歪曲収差変化による画素位置
   変化の最大値が、所定の値以下となるよう前記歪曲収差
   を推定するようにしたことを特徴とする請求項１記載の
   歪曲収差補正装置。
3. 【請求項３】歪曲収差によるの画素位置変化の最大値
   が、０．５画素以下となるようにしたことを特徴とする
   請求項２記載の歪曲収差補正装置。
4. 【請求項４】焦点距離推定手段は、焦点距離値を３通り
   以上の異なった値に設定し、歪曲収差推定手段は、各々
   設定した焦点距離値について誤差評価手段の出力値が所
   定の値以下となる歪曲収差を各々推定し、各々設定した
   焦点距離値および各々推定した歪曲収差を用いて得られ
   た３点以上の誤差評価値を補間して得られた関数の最小
   値の位置より、焦点距離値を推定するようにしたことを
   特徴とする請求項１記載の歪曲収差補正装置。
5. 【請求項５】焦点距離推定手段は、焦点距離値を３通り
   以上の異なった値に設定し、歪曲収差推定手段は、各々
   設定した焦点距離値について誤差評価手段の出力値が所
   定の値以下となる歪曲収差を各々推定し、各々設定した
   焦点距離値および各々推定した歪曲収差を用いて得られ
   た３点以上の誤差評価値のうち、所定の局所最小値を用
   いて関数を補間し、この補間した関数の最小値により、
   焦点距離値を推定するようにしたことを特徴とする請求
   項１記載の歪曲収差補正装置。
6. 【請求項６】歪曲収差推定手段は、歪曲収差を近似する
   多項式が表す歪曲収差特性を評価した値が所定の範囲と
   なる係数の範囲を探索することを特徴とする請求項２記
   載の歪曲収差補正装置。
7. 【請求項７】歪曲収差特性を評価した値は、歪曲収差の
   最大値であることを特徴とする請求項６記載の歪曲収差
   補正装置。
8. 【請求項８】歪曲収差特性を評価した値は、歪曲収差の
   最大値と歪曲収差の最小値の差であることを特徴とする
   請求項６記載の歪曲収差補正装置。
9. 【請求項９】歪曲収差推定手段は、入力した画像が有す
   る歪曲収差を２次式で近似し、この２次式の２つの係数
   は、この係数が表す２次元平面上の曲線上にあることを
   検出し、この曲線上を探索して歪曲収差推定値を得るよ
   うにしたことを特徴とする請求項２記載の歪曲収差補正
   装置。
10. 【請求項１０】歪曲収差推定手段は、座標変換によって
    補正可能な歪曲収差の範囲を、歪曲収差の探索範囲とす
    るようにしたことを特徴とする請求項２記載の歪曲収差
    補正装置。
11. 【請求項１１】座標変換手段は、対応点検出手段によっ
    て検出された対応点のうち、最も距離が離れた２点によ
    り決定される変換係数によって、座標の変換を行うこと
    を特徴とした請求項２記載の歪曲収差補正装置。
12. 【請求項１２】座標変換手段は、対応点検出手段によっ
    て検出された対応点のうち、それぞれの入力画像での中
    心部に最も近い部分に存在する対応点を用いて決定され
    る変換係数によって、座標の変換を行うことを特徴とし
    た請求項２記載の歪曲収差補正装置。
13. 【請求項１３】対応点検出手段は、検出された対応点の
    うち、互いの距離が所定の値以上離れた対応点を用いて
    決定される変換係数によって、座標の変換を行うことを
    特徴とした請求項２記載の歪曲収差補正装置。
14. 【請求項１４】（ａ）複数の画像を入力する手段と、 （ｂ）前記入力した複数の画像間の互いに重複する部分
    の座標位置を検出する対応点検出手段と、 （ｃ）前記入力した複数の画像が有する歪曲収差を推定
    する歪曲収差推定手段と、 （ｄ）前記入力した複数の画像を撮影した装置の焦点距
    離を推定する焦点距離推定手段と、 （ｅ）前記推定した歪曲収差に基づいて前記対応点検出
    手段の出力を補正する座標歪曲収差補正手段と、 （ｆ）前記座標歪曲収差補正手段の出力と前記焦点距離
    推定手段の出力とを用いて座標変換係数を決定する座標
    変換係数決定手段と、 （ｇ）前記座標変換係数に従って前記座標歪曲収差補正
    手段の出力を座標変換する座標変換手段と、 （ｈ）前記座標歪曲収差補正手段の出力と前記座標変換
    手段の出力との相違を評価する誤差評価手段と、 （ｉ）前記入力した複数の画像を、前記歪曲収差推定手
    段によって推定した歪曲収差に基づいて補正して出力す
    る第１の画像歪曲収差補正手段と、 （ｊ）前記歪曲収差推定手段によって得られた歪曲収差
    を用いて画像の歪曲収差補正を行う第２の画像歪曲収差
    補正手段と、 （ｋ）前記座標変換係数を用いて前記第２の歪曲収差補
    正手段の出力を画像座標変換する画像変換手段と、 （ｌ）前記第１の画像歪曲収差補正手段の出力画像と前
    記画像変換手段の出力画像とを合成して出力する画像合
    成手段とを備え、 （ｍ）前記誤差評価手段の出力が所定の値以下となるよ
    う、前記誤差評価手段の出力によって、前記歪曲収差の
    推定値と前記焦点距離の推定値とを更新するよう構成さ
    れたことを特徴とする画像合成装置。
15. 【請求項１５】複数の画像を入力する手段は、基準とな
    る画像と、この基準となる画像の中央部分を重複して有
    する画像とを入力する手段であることを特徴とする請求
    項１４記載の画像合成装置。
16. 【請求項１６】画像合成手段は、合成に用いる画像に所
    定の回転変換を施して合成して出力することを特徴とす
    る請求項１４記載の画像合成装置。