JPH064660A

JPH064660A - 画像合成装置

Info

Publication number: JPH064660A
Application number: JP4159832A
Authority: JP
Inventors: Atsushi Morimura; 森村　　淳; Isao Kawahara; 功川原
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1992-06-18
Filing date: 1992-06-18
Publication date: 1994-01-14

Abstract

(57)【要約】【目的】画像処理の演算コストを削減し、画像変形時
の補間に伴う画像のボケが発生する面積を低減できる画
像合成装置を提供すること。【構成】入力された画像を記憶する画像メモリ1,2
と、複数の画像の対応点をを検出する対応点検出手段3
と、その検出結果に基づき、各画像の歪曲収差、回転補
正角及び焦点距離値を推定する歪曲収差焦点距離推定手
段4と、推定された歪曲収差に基づき、重なり部分につ
いて、補正を行う歪曲収差補正手段5と、推定された回
転補正角及び焦点距離値に基づき、回転補正値及び回転
補正範囲を決定する回転補正制御手段6と、その決定結
果に基づき、回転補正範囲の部分に回転補正を行う回転
補正手段7と、回転補正制御手段6の決定結果に基づき、
複数の画像を合成する画像合成手段8とを備える。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、一部重複する複数の画
像から、重複部分で画像を重ねて合成する画像合成装置
に関するものである。

【０００２】

【従来の技術】従来、一部重複する複数の画像を合成す
る分野の技術としては、例えば図１３に示すものがある
（１９９１年電子情報通信学会春季全国大会講演論文集
Ｄ−４５３）。図１３は、この従来の画像合成方法の概
念を示すものである。図１３においてＲは被写体であり
Ｏはカメラの基準点である。Ｑ，Ｑ’は被写体がカメラ
撮像時に投影される投影面であり、Ｐはパノラマ画像を
得るための投影面である。この技術はＱ，Ｑ’に投影さ
れた画像をＰに変換することにある。

【０００３】上記のＱ，Ｑ’に投影されるカメラの画像
を、図１４（ａ）に示す。この画像は通常のカメラで撮
像される画像であるが、この２枚の画像は被写体が同じ
であっても、撮像される角度が異なるため、異なる投影
が行なわれ画像はそのままでは重ならない。画像がちょ
うど重なるようにするためには、カメラの撮像画像の投
影面であるＱ，Ｑ’からパノラマ画像が得られるＰの投
影面に画像を再投影すればよい。Ｑ，Ｑ’の画像をＰに
投影した画像を図１４（ｂ）に示す。このようにＰに再
投影した画像は、原理的には図１４（ｃ）のように丁度
重なるものである。

【０００４】また、発明者らが出願している画像合成技
術（特願平03-270813）の概要を図１５に示す。同図
（ａ）は撮像画像で歪曲収差を含む画像であり、同図
（ｂ）は歪曲収差を補正した画像であり、同図（ｃ）は
画像の回転変換により画像の重ね合わせが可能になるよ
うして画像を合成したものである。この技術は撮像され
た画像より、カメラのレンズの焦点値、歪曲収差値を画
像間の対応点から推定し、歪曲収差を補正してから画像
の回転変換を行い画像を接続合成するものである。

【０００５】以下にこれらの技術の概要を説明する。

【０００６】発明者らが提案した上記の画像合成に用い
る画像合成装置の構成図を図１６に示す。破線で示した
歪曲収差、焦点距離、回転角推定部で歪曲収差を推定す
る事により、画像がレンズの歪曲収差により受ける歪を
補正し、次に画像の回転変換を行うことにより図１５
（ｃ）に示すように、複数の画像を重ね合わせ誤差の非
常に少ない状態で合成することができる。

【０００７】

【発明が解決しようとする課題】しかしながら、図１３
のような方法では、カメラの歪曲収差のために合成され
た画像で数画素のずれが発生し、現実のカメラから得ら
れる画像では理想通りにきれいに重ね合わすことができ
ない。また画像を投影することによる画像の変形が、画
像の全領域におよび、画像処理の演算コストが高くな
り、また画像の変形時の補間に伴う画像のボケが発生す
るという問題点を有していた。

【０００８】これに対し発明者らは図１５に示す方法を
提案し、実際の画像の歪曲収差を補正し、複数の画像が
重ね合わせ誤差の非常に少ない状態で合成する方式を実
現した。しかしこの方法も、画像を重ね合わせる変換を
行なうとき、重ね合わせる画像の全領域の画像変換を行
なう必要があり、やはり画像処理の演算コストが高くな
り、また画像の変形時の補間に伴う画像のボケが発生す
るという課題があった。

【０００９】本発明は、従来のこのような課題を考慮
し、画像の変形部分の面積を低減することによって、画
像処理の演算コストを削減し、画像変形時の補間に伴う
画像のボケが発生する面積を低減できる画像合成装置を
提供することを目的とするものである。

【００１０】

【課題を解決するための手段】請求項１の本発明は、一
部重複する複数の画像を入力する画像入力手段と、その
入力された複数の画像の重複する部分を検出する重複検
出手段と、その重複検出手段の検出結果に基づき、収差
情報を推定し、それに基づいて、少なくとも重なり部分
について、収差補正を行う収差補正手段と、その収差補
正された双方の重なり部分画像について、その不一致の
態様の傾向を推定し、その推定結果に基づき、双方の重
なり部分を、互いに一致する方向に補正を行う重なり補
正手段と、補正されたそれら画像を合成する画像合成手
段とを備えた画像合成装置である。

【００１１】請求項２の本発明は、一部重複する複数の
画像を入力する画像入力手段と、その入力された複数の
画像の重複する部分を検出する重複検出手段と、その重
複検出手段の検出結果に基づき、複数の各画像の収差、
回転補正角及び焦点距離値の各情報を推定する補正情報
推定手段と、その推定された収差情報に基づき、少なく
とも重なり部分について、収差補正を行う画像収差補正
手段と、推定された回転補正角情報及び焦点距離値情報
に基づき、回転補正値及び回転補正範囲を決定する回転
補正決定手段と、その決定結果に基づき、画像の回転補
正範囲の部分に回転補正を行う回転補正手段と、回転補
正決定手段の決定結果に基づき、回転補正された画像を
合成する画像合成手段とを備えた画像合成装置である。

【００１２】請求項７の本発明は、一部重複する複数の
画像を入力する画像入力手段と、その入力された複数の
画像の重複する部分を検出する重複検出手段と、その重
複検出手段の検出結果に基づき、部分同士のずれ量を計
算するずれ計算手段と、その計算されたずれをなくすよ
うに画像を変形する画像ずれ補正手段と、そのずれ補正
手段よりずれの無いように変形された複数の画像を合成
する画像合成手段とを備えた画像合成装置である。

【００１３】請求項８の本発明は、一部重複する複数の
画像を入力する画像入力手段と、その入力された複数の
画像の重複する部分を検出する重複検出手段と、その重
複検出手段の検出結果に基づき、対応する部分同士のず
れ量を求め、その対応する２部分のうち、それぞれの画
像中心から遠い方の部分を補正することによってずれを
なくすずれ補正手段と、補正された画像を合成する画像
合成手段とを備えた画像合成装置である。

【００１４】

【作用】請求項１の本発明は、画像入力手段が一部重複
する複数の画像を入力し、重複検出手段が入力された複
数の画像の重複する部分を検出し、収差補正手段が重複
検出手段の検出結果に基づき、収差情報を推定し、それ
に基づいて、少なくとも重なり部分について、収差補正
を行い、重なり補正手段が収差補正された双方の重なり
部分画像について、その不一致の態様の傾向を推定し、
その推定結果に基づき、双方の重なり部分を、互いに一
致する方向に補正を行い、画像合成手段が補正されたそ
れら画像を合成する。

【００１５】請求項８の本発明は、画像入力手段が一部
重複する複数の画像を入力し、重複検出手段が入力され
た複数の画像の重複する部分を検出し、補正手段が重複
検出手段の検出結果に基づき、対応する部分同士のずれ
量を求め、その対応する２部分のうち、それぞれの画像
中心から遠い方の部分を補正することによってずれをな
くし、画像合成手段がその補正された画像を合成する。

【００１６】

【実施例】以下に、本発明をその実施例を示す図面に基
づいて説明する。

【００１７】図１は、本発明にかかる第１の実施例にお
ける画像合成装置の構成図である。すなわち、画像合成
装置には入力された画像を記録する画像メモリ１，２が
設けられ、画像メモリ１，２は複数の画像の対応点を検
出する対応点検出手段３及び、画像の歪曲収差を補正す
る歪曲収差補正手段５に接続されている。対応点検出手
段３は画像の対応関係より撮像したときのカメラの歪曲
収差、焦点距離、回転角を推定する歪曲収差焦点距離推
定手段４に接続され、歪曲収差焦点距離推定手段４は、
回転補正の補正範囲と補正量を制御する回転補正制御手
段６及び、歪曲収差補正手段５に接続されている。歪曲
収差補正手段５は歪曲収差の補正された画像に対して回
転補正を行なう回転補正手段７に接続され、その回転補
正手段７は補正された画像を合成する画像合成手段８に
接続されている。又、回転補正制御手段６は回転補正手
段７及び画像合成手段８に接続されている。以上の画像
メモリ１，２が画像入力手段を構成し、対応点検出手段
３が重複検出手段を構成し、歪曲収差焦点距離推定手段
４が補正情報推定手段を構成し、歪曲収差補正手段５が
画像収差補正手段を構成し、回転補正制御手段６が回転
補正決定手段を構成し、又、歪曲収差焦点距離推定手段
４及び歪曲収差補正手段５が収差補正手段を構成し、回
転補正制御手段６及び回転補正手段７が重なり補正手段
を構成している。

【００１８】次に上記実施例の動作について説明する。

【００１９】まず、撮像時にカメラの角度を変え、被写
体の一部を重複させて撮像した第１および第２の２枚の
画像を、それぞれ画像メモリ１，２に入力する。次に第
１と第２の画像中から、２枚の画像の互いに重複する部
分の座標位置２カ所を、対応点検出手段３によって検出
する。検出された２点の対応点を用い、歪曲収差焦点距
離推定手段４により歪曲収差、焦点距離及び回転角を推
定する。

【００２０】図２は、上記の歪曲収差焦点距離推定手段
４の構成図である。歪曲収差焦点距離推定手段４は、座
標歪曲収差補正手段１４，１５、座標変換係数決定手段
１０、座標幾何変換手段１１、誤差評価手段１２、焦点
距離推定手段１３、歪曲収差推定手段１６により構成さ
れている。このように構成された歪曲収差焦点距離推定
手段４の動作を簡単に述べる。尚、歪曲収差焦点距離推
定手段４の動作は、発明者らが先出願の画像合成技術
（特願平03-270813）と同じであり、同じ動作の部分の
詳細な説明は一部省略する。

【００２１】まず、歪曲収差推定手段１６によって、入
力された画像が有する歪曲収差を表すパラメータを適当
な初期値から出発して推定し、次に焦点距離推定手段１
３によって、入力画像を撮影した装置の焦点距離を適当
な初期値から出発して推定する。座標歪曲収差補正手段
１４，１５は、推定した歪曲収差に基づき、これを逆補
正するよう、前述の対応点検出手段３で検出した対応点
の座標位置をそれぞれ補正する。

【００２２】入力された２枚の画像は一部分を重複させ
たものであるが、撮影時のカメラの角度が異なってお
り、このため一方の画像は他方の画像に対して、単純な
平行移動を行っても完全には重ならない。重複した部分
を重ねるためには、一方の画像に所定の幾何変換を施す
必要がある。この幾何変換は、変換前の点（ｘ，ｙ）が
点（ｘ’，ｙ’）に変換されるとすれば、次の（数１）
および（数２）の関係が成り立つような変換である。た
だし歪曲収差は補正されているものとする。

【００２３】

【数１】 x'= f(R11X + R12Y + R13f)/(R31X + R32Y + R33f)

【００２４】

【数２】 y'= f(R21X + R22Y + R23f)/(R31X + R32Y + R33f) ここでｆはカメラの焦点距離、Ｒ_ij（i,j=1,2,3）は幾
何変換行列Ｒの係数であり、２枚の画像間で共通の被写
体部分に対応する点（以下対応点という）の組が、２組
以上あれば決定できることが知られている。

【００２５】次に、座標変換係数決定手段１０は、歪曲収
差を補正した２組以上の対応点の座標位置と、焦点距離
推定手段１３により推定された焦点距離値から変換係数
Ｒ_ij及び回転角θを決定し、座標幾何変換手段１１は決
定された変換係数に基づいて、座標歪曲収差補正手段１
５の出力の座標位置を幾何変換する。座標歪曲収差補正
手段１４の出力及び座標幾何変換手段１１の出力を誤差
評価手段１２によって評価する。この時歪曲収差の推定
値と焦点距離値の推定値が共に真の値に近ければ、この
評価値はほぼ０となる。従って、評価値を歪曲収差推定
手段１６および焦点距離推定手段１３にフィードバック
して、歪曲収差の推定値および焦点距離値の推定値を更
新するループを形成し、誤差評価手段１２の評価値が最
小となる歪曲収差値および焦点距離値を探索する。

【００２６】この動作の概念を図１５を用いて説明する
（歪曲収差値の推定と焦点距離値の推定については発明
者らが先に提案したものと同じである）。図１５（ａ）
の画像ａ及びｂは、被写体を異なったカメラ角度で撮影
した２枚の画像であり、一般に画像には歪曲収差が含ま
れている。

【００２７】画像内のＡ、Ｂ、Ｃ、およびＡ’、Ｂ’、
Ｃ’は２枚の画像でそれぞれ重複する部分の対応点であ
る。画像ａ、ｂの歪曲収差を補正したものが図１５
（ｂ）に示す画像ｃ、ｄである。画像ｂにおける２点た
とえばＡ’、Ｃ’がそれぞれ画像ａにおける２点Ａ、Ｃ
に対応するとすれば変換係数が決定できる。この変換係
数に従って画像ｄを幾何変換すると図１５（ｃ）に示す
画像ｆが得られる。図１５（ｃ）の画像ｃ、ｆにおい
て、ＡとＡ’、ＣとＣ’は常に一致するが、ＢとＢ’
は歪曲収差推定値および焦点距離推定値が正しくなけれ
ば一致しない。このＢとＢ’が一致するよう焦点距離推
定値ｆと（数３）に示す歪曲収差値のパラメータwa,wb
を変化させ、フィードバックしてＢとＢ’の差が最小に
なるようにする。以上のようにして歪曲収差値および焦
点距離値の真値を推定する。最終的に正しく推定された
歪曲収差を用いて画像の歪曲収差を補正する。画像の歪
曲収差は以下に示す（数３）で表わされる。

【００２８】

【数３】Ｙ＝waＸ³＋wbＸ²＋ＸここでＸは理想的な画素の位置であり、Ｙは画像の中心
からの各画素の座標までの距離である。wa,wbは歪曲収
差パラメータである。

【００２９】この時画像の対応点検出には一般の画像を
用いることができ、前もって特殊なテストパターン等を
準備して歪曲収差を測定する必要がなく、また焦点距離
の推定も同時に行われ、焦点距離についても前もって測
定しておく必要もない。

【００３０】なお、ここでは、画像の変換を用いて説明
したが、必ずしも実際に画像の歪曲収差を補正したり、
幾何変換したりする必要はなく、必要最小限の画素の座
標値のみを用いて演算することが可能である。また簡単
のため、画像の対応点には３点を用いて説明したが、一
般的には未知である歪曲収差、焦点距離のパラメータ数
に応じて、対応点の数を用意し、正しい推定値で系が収
束するようにすれば良い。

【００３１】ここまでは発明者らが既に提案した（特願
平03-270813）と同様で、撮像画像の歪曲収差と焦点距
離及びカメラの回転角を求める方法であり、歪曲収差焦
点距離推定手段４で行なう。本発明における歪曲収差及
び焦点距離の推定方法は、歪曲収差の補正範囲と回転変
換の補正方法が異なる。すなわち、まず推定された歪曲
収差を用い、歪曲収差補正手段５で２つの画像の対応部
のみ歪曲収差補正を行い歪曲収差のない画像を得る。対
応部の歪曲収差を補正した、画像と歪曲収差の補正量の
割合を図３（ａ）、（ｂ）に示す。

【００３２】次に２つの画像が重なりあっている部分の
回転補正角θを、図３（ｅ）に示すように画像ＡとＢの
それぞれに分割して変化させながら、画像の重なりあっ
ている部分だけそれぞれの回転補正角θを分割した回転
補正値に応じて画像の回転座標変換を行なう。このよう
に座標変換を行なったときの画像の変化の概略を図３
（ｃ）、（ｄ）に示す。図３（ｄ）は同図（ｃ）の中央
部の拡大図である。画像ＡとＢのオーバーラップ部では
それぞれの回転補正値の合計は一定で、画像Ａ、Ｂを撮
像したときのカメラのなす角すなわち回転補正角θに等
しい。この回転補正角θは歪曲収差焦点距離推定手段４
で推定されたものである。図３（ｃ）の破線は、Ａまた
はＢの片方の画像を固定し、他方の画像全体に歪曲収差
補正と、回転補正角θに相当する回転座標変換を行なっ
たときの、画像の変形の概略を示したものである。

【００３３】このように回転補正値を図３（ｅ）に示す
ように変化させながら、回転座標変換を行なうことによ
り、画像Ａ、Ｂのオーバーラップ部で画像が丁度重なる
ような変換となる。以上のように回転補正値の補正時の
制御を、回転補正制御手段６で行い、画像の回転補正処
理を回転補正手段７で行なう。このようにして得られた
対応部分が位置合わせされた複数の画像を画像合成手段
８で合成する。この画像合成手段８の構成を図６に示
す。画像合成手段８は、対応部平均値算出手段２０，２
１、レベル補正値決定手段２２、重み決定手段２３、乗
算手段２４，２５、加算手段２６により構成されてい
る。このように構成された画像合成手段８の動作を説明
する。対応部平均値検出手段２０，２１により各画像の
対応部の信号レベルの平均値を求める。次にそれら平均
値の平均を求め、この平均値に各画像のレベルを一致す
るように変換の補正値を決定する。画像Ａの対応部の平
均をａ、画像Ｂの対応部の平均をｂとすると、各画像の
対応部の中心の補正値α、βは（数４）（数５）のよう
になる。

【００３４】

【数４】α＝（ａ＋ｂ）／２・ａ

【００３５】

【数５】β＝（ａ＋ｂ）／２・ｂ画像の中心から画像の対応部の境界までレベル補正値
（乗算時の係数）を１とし、画像の対応部の境界から対
応部の中心までレベル補正値を徐々に変化させ、対応部
の中心でαまたはβとする。対応部の各画像の平均レベ
ルをａ＝２／３、ｂ＝１／３としたときのレベル補正値
の一例を図７（ａ）に示す。同図の二点鎖線で示したも
のもレベル補正値の一例であり、オーバーラップ部と各
画像の境界で他の画像Ａのレベルをもう一方の画像Ｂの
レベルに変換する特性である。α１、β１は（数６）
（数７）のようになる。

【００３６】

【数６】α１＝ｂ／ａ

【００３７】

【数７】β１＝ａ／ｂ以上の処理をレベル補正値決定手段２２で行なう。次に
画像Ａと画像Ｂの混合重みを位置により変化させ、混合
重みとレベル補正値の積により、画像にかける最終的な
重みを決定する。この重みの決定を重み決定手段２３で
行なう。混合重みの一例を図７（ｂ）に示す。このよう
にして決定された重みを乗算手段２４，２５によりそれ
ぞれの画像信号にかけ、加算手段２６で混合し、合成さ
れた画像の出力を得る。

【００３８】レベル補正値を１からαβ、α１β１と変
化させた場合、画像の信号レベルは画像Ａのレベルから
画像Ｂのレベルへと連続的に変化するため、画像の混合
重みは図７（ｂ）の破線で示したように、その重みを位
置に対して急激に変化させても問題は発生しない。極端
な例として、オーバーラップ部の中心で画像ＡとＢを切
り替える処理をすることも可能である。また逆に混合重
みを図７（ｂ）の実線のように揺るやかに変化させた場
合、レベル補正値をどの位置で１としても、つまりレベ
ル補正をしない場合でも、合成された画像のレベルは画
像Ａから画像Ｂに連続的に変化し、なめらかに接続され
る。又、図８（ａ）に示すようにレベル補正値を、オー
バーラップ部の外部にまで延長することにより、画像の
レベル変化を非常に揺るやかなものとすることができ、
合成された画像をより自然な接続にすることが可能であ
る。

【００３９】以上のように、画像の対応部分のカメラの
光学系の歪を補正するとともに、画像の対応部分の回転
補正値を制御し、カメラの回転による画像の回転投影の
変形を補正することにより、画像を補正する部分の面積
を小さくでき、同時に複数の画像の対応部分を完全に重
なるように変換することが可能となる。従って画像の補
正によりボケる部分が最小となるようにして、複数の画
像を合成し、高解像度な画像を合成できる。

【００４０】更に、各画像で最適に露光制御された複数
の画像の接合部分の明るさを、なだらかに接合されるよ
うに変換して画像を接続するため、合成された画像は飽
和や黒沈みの少ない（すなわちダイナミックレンジの高
い）画像とすることが可能である。

【００４１】又、回転補正角θが各画像に分割された回
転補正値を変化させながら、回転座標変換を行ない、画
像Ａ，Ｂのオーバーラップ部で画像が丁度重なるような
変換を行なう。また画像のレベルも、複数の画像のオー
バーラップ部で等しくなるように変換する。この時画像
がオーバーラップしていない部分では、回転座標変換に
よる画像の拡大がなく、またオーバーラップ部と非オー
バーラップ部との接続部分での不連続もない。従って非
オーバーラップ部の画像信号の補間による画像の劣化が
なく、２枚（複数枚）の画像をずれることなく、また画
像のレベル差もなく重ね合わせることが可能となり、高
品位な画像の合成が可能となる。

【００４２】次に上記の画像合成の第１のバリエーショ
ンとして、回転補正値の与え方を変化させた場合を図４
に示す。ここでは、画像のオーバーラップ部の中心より
画像の外側（周辺部）の部分で画像の回転補正値を１０
０％とし、画像のオーバーラップ部の中心より画像の内
側（中心部）の部分で画像の回転補正値を０％として、
画像の回転座標変換を行い画像を合成する。図４（ｂ）
に回転補正値の与え方を示す。その他の手法は図３の場
合と同様である。このように画像の回転座標変換を行な
ったときの画像の変形の概略を図４（ａ）に示す。この
ような回転補正値の与え方のメリットは回転補正値が２
つの値しかとらず、画像の回転座標変換の演算が容易に
実現できる点である。ただしこの時オーバーラップ部の
中心で画像は連続であるが、その画像が示す線は少し曲
がることになる。

【００４３】画像合成の回転変換部分の第２のバリエー
ションとして、図５に示す方法がある。この場合のバリ
エーションも回転補正値の与え方を変化させている点で
ある。図５（ｂ）に示すように、画像の回転角を徐々に
変化させ、画像のオーバーラップ部以外の位置でも回転
補正値を零でない値とする。オーバーラップ部で画像の
回転補正値をそれぞれ５０％とし、（それぞれの画像の
回転補正値の合計が１００％であれば良く、各画像の回
転補正値は５０％からずれても良い。）画像のオーバー
ラップ部の中心の内側（中心部）で画像の回転補正値を
徐々に減少させる。各画像の中心部では回転補正値を零
とし、さらに画像の外側（オーバーラップ部と逆方向）
でも画像の回転補正値は零とする。このようにして回転
補正値を決定し、画像の回転座標変換を行い画像を合成
する。このとき画像の変形の位置による変化の割合（以
下変化率とする）を小さくでき、第１のバリエーション
のように画像の回転補正値の急激な変化があるときに発
生する、画像が示す線の曲がりが非常に小さく、画像の
変化率も非常に低くすることが可能である。このとき画
像の回転座標変換を行なう面積は前の２つの場合よりも
多少増加する。

【００４４】次に本発明の第２の実施例として、画像の
回転座標変換時に焦点距離値を変化させて行なう方法を
示す。構成は第１の実施例と同様であり省略する（図１
参照）。異なる点は回転補正制御手段６である。第１の
実施例では歪曲収差焦点距離推定手段４より得られた焦
点距離値を、回転座標変換時にそのまま定数として処理
を行なっていたが、本実施例では焦点距離値を位置に対
して変化する関数とする。焦点距離値を関数とすること
により、回転座標変換を行い画像を接続した接続点の近
傍で、画像上の位置の変化がさらに滑らかになる。焦点
距離値（ｆ値）の変化の様子と、そのときの回転角の与
え方及び画像の変形の概要を図９に示す。焦点距離値の
増分の最大値Δfmは、回転補正角をθとすると（数８）
となる。

【００４５】

【数８】Δfm ≒ １／cos(θ/２) 図９（ｃ）はｆ値の変化の一例を示したものであり、同
図（ｂ）は回転補正値の一例でこれは第１の実施例と同
じである。同図（ａ）は上記の変換を行なったときの画
像の変形の様子の概要である。破線はｆ値を１００％で
固定し、回転補正値のみを可変（第１の実施例と同じ）
したときの回転座標変換の画像の変形であり、２点鎖線
はｆ値１００％、回転補正値１００％で固定（従来例と
同じ）したときの回転座標変換の画像の変形を示したも
のである。回転補正値とｆ値をともに変化させて回転座
標変換を行なったものが、画像を接続したときに滑らか
に（画像の変形の度合が少ない状態で）接続される。当
然であるがこの３つの接続方法は、画像の変形の方向や
度合は異なるが、画像のオーバーラップ部は３つの接続
方法で、ＡとＢ（複数）の画像はともに重なる変形であ
る。

【００４６】以上のように、画像の回転座標変換を行な
うときに、焦点距離値（ｆ値）を制御することにより、
より少ない面積の変換でより滑らか（画像の変形の度合
が少ない状態）な画像の変換が可能となる。従って接続
合成された画像は、変形される部分が少なく、画像の接
続部分もなめらかで、より自然なものとすることができ
る。

【００４７】次に本発明の第３の実施例として、画像の
回転座標変換を用いない手法を示す。本実施例の構成を
図１０に示す。同図において前述の実施例と同じ機能を
有するものは、同じ番号を付し説明は省略する。異なる
点は歪曲収差焦点距離推定手段４、歪曲収差補正手段
５、回転補正制御手段６及び回転補正手段７に代えて、
ズレ計算手段３０、画像ズレ補正手段３１、画像混合重
み決定手段３２を有している点である。以上のズレ計算
手段３０及び画像ズレ補正手段３１がずれ補正手段を構
成している。

【００４８】まず、入力された画像は画像メモリ１，２
に記録され、それら画像の対応関係を対応点検出手段３
で求める。画像の対応関係の検出には、画像のオーバ−
ラップ部の中のそれぞれの領域で、全点または代表点に
対して（数９）のような相関演算を行い、最も強い相関
の得られる偏移量から画像間の対応関係を算出する。

【００４９】

【数９】

【００５０】ここで（xk、yk）はｋ番目の演算点の座
標、Ｓａ、Ｓｂは画像ａまたはｂの信号レベル、Ｐ（i,
j）は偏移量（i,j）での相関演算値である。（数９）で
はＰ（i,j）の最小値が最も強い相関となる。相関演算
により画像の対応を求める領域の一例を図１１に示す。
図１１でａij 、ｂij は相関演算で画像の対応を求める
領域でＡij、Ｂijは各領域の中心を示す。ａ11とｂ11で
対応を求め、その後ａ52とｂ52まで１０カ所で対応関係
を求める。次にズレ計算手段３０の動作について説明す
る。図１１の画像Ａ、Ｂの上側の４個の対応領域ａij、
ｂij（i=1,2 j=1,2）の偏移量の平均と、下側の４個の
対応領域ａij、ｂij（i=4,5 j=1,2）の偏移量の平均で
画像ＡとＢの相対位置関係（平行移動と回転）を決定す
る。上側、下側のそれぞれの対応領域の偏移量の平均を
平行移動とし、それぞれの偏移量の差を回転に対応させ
る。次に各領域では決定された相対位置関係からそれぞ
れの領域でのズレを求め、各画像の中心に近いものを固
定し、中心から遠いものにズレがあるとして修正する。
例えばＡ11とＢ11の対応で、画像ＡとＢの相対位置関係
を補正した残りのズレが水平＋３．２画素、垂直−５．
６画素あった場合、画像ＡのＡ11の点は画像Ａの中心に
近いので変形の補正を行なわず、画像ＢのＢ11の点を水
平方向に−３．２画素（負方向）移動し、垂直方向に＋
５．６画素（正方向）移動させ、変形補正する。またＡ
12とＢ12の対応で、画像ＡとＢの相対位置関係を補正し
た残りのズレが水平＋１．２画素、垂直＋２．６画素あ
った場合、画像ＢのＢ12の点は画像Ｂの中心に近いため
変形の補正を行なわず、画像ＡのＡ12の点を水平方向に
＋１．２画素（正方向）移動し、垂直方向に＋２．６画
素（正方向）移動させ、変形補正する。ここでズレは画
像Ａを基準にしたときの画像Ｂのズレであるため、変形
補正する画像がＡかＢかで修正方向は逆になる。このよ
うに各画像の中心に近い部分を固定し、中心から遠い部
分を変形させる補正を行なう。また画像の変形補正量
は、各相関演算を行なった対応領域の中心部のみで求ま
るが、その他の点の変形補正量は、距離に応じた直線補
間で求める。この補間の一例を図１２に示す。Ａ11から
Ａ31は画像Ａの中心部に近いので、このｐ点での画像の
変形補正量を零にする。いまＡ12の変形補正量（以下補
正量）を(1.2,2.6)、Ａ22の補正量を(1.0,1.2)、Ａ32の
補正量を(-0.6,-1.4)とする。この時Ａ11とＡ12の中間
点αの補正量は(0.6,1.3)、Ａ12とＡ22の中間点βの補
正量は(1.1,1.85)、Ａ22とＡ32の中間点γの補正量は
(0.2,-0.1)というように補正量を補間する。

【００５１】以上のようにズレ計算手段３０では対応領
域でのズレを求めるとともに、その他の中間点でのズレ
補正量を決定する。次に画像ズレ補正手段３１では、求
められたズレの補正量に応じて画像のズレを零になるよ
う変形をおこなう。画像の重みと画像の合成は他の実施
例と同様に決定し、画像が連続的に入れ替わるような重
みとして画像を合成する。

【００５２】以上のように画像を変形修正することによ
り、複数の画像をスムーズに接続することが可能とな
る。このような変形は投影変換時の歪を補正する画像の
回転変換を用いずに画像を接続でき、カメラの光学系の
歪曲収差が大きい場合、あるいは又歪曲収差が高次の歪
を持つ場合など、歪曲収差や焦点距離値などのパラメー
タが推定しずらいときでも、画像の変形補正量が容易に
求まり、画像の接続が容易に実現できる。

【００５３】なお、上記実施例では、いずれも２枚の画
像を合成する例を示したが、合成する画像の枚数は２枚
に限る必要はなく、画像間でオーバーラップのある複数
枚の画像に適応可能である。

【００５４】また、上記実施例では、いずれも画像の合
成方向は水平方向の例を示したが、合成方向は水平方向
に限る必要はなく、垂直方向でもその他の方向でも良
い。

【００５５】また、上記第１の実施例で示した回転補正
値の与え方は例であり、本発明の主旨にそうものであれ
ば、実施例に示した回転補正値の与え方に限定されるも
のではない。

【００５６】また、上記実施例の画像の信号レベルの補
正方法も、実施例に示した方法に限定されるものではな
い。

【００５７】また、上記第２の実施例に示した焦点距離
値ｆの与え方は１例であり、本発明の主旨にそうもので
あれば、実施例に示した焦点距離値ｆの与え方に限定さ
れるものではない。

【００５８】また、上記第３の実施例で示した画像のズ
レ検出方法は１例であり、例えばその他の相関演算や動
きベクトル演算方法など、画像のズレが検出できるもの
であれば良く、実施例に示したズレ検出方法に限定され
るものではない。又、画像のズレを求めるための対応す
る領域の範囲や個数も本実施例に限定されるものではな
い。

【００５９】また、上記実施例では、いずれも専用のハ
ードウェアにより構成したが、これに代えて、コンピュ
ータを用いてソフトウェア的に構成しても勿論よい。

【００６０】また、上記実施例では、いずれも補正を行
う収差を歪曲収差としたが、これに限らず、更に他の収
差を補正できるように構成してもよい。

【００６１】

【発明の効果】以上述べたところから明らかなように本
発明は、画像処理の演算コストを削減し、画像変形時の
補間に伴う画像のボケが発生する面積を低減できるとい
う長所を有する。

【図面の簡単な説明】

【図１】本発明にかかる第１の実施例における画像合成
装置の構成図である。

【図２】同実施例の歪曲収差焦点距離推定手段の構成図
である。

【図３】同図（ａ）、（ｂ）は、同実施例の画像の歪曲
収差の補正を示す図、同図（ｃ）は、同実施例の画像の
変形を示す図、同図（ｄ）、（ｅ）は、同実施例の画像
の対応部の画像の変形及び回転補正値を示す図である。

【図４】同図（ａ）、（ｂ）は、同実施例における回転
補正値の与え方の一例を示す図である。

【図５】同図（ａ）、（ｂ）は、同実施例における回転
補正値の与え方の一例を示す図である。

【図６】同実施例の画像合成手段の構成図である。

【図７】同図（ａ）、（ｂ）は、同実施例の画像合成手
段の画像合成特性の一例を示す図である。

【図８】同図（ａ）、（ｂ）は、同実施例の画像合成手
段の画像合成特性の一例を示す図である。

【図９】同図（ａ）、（ｂ）、（ｃ）は、本発明にかか
る第２の実施例における回転補正制御手段の特性を示す
図である。

【図１０】本発明にかかる第３の実施例における画像合
成装置の構成図である。

【図１１】本発明にかかる第３の実施例の対応点を示す
図である。

【図１２】同実施例のズレの補正量の補間方法を示す図
である。

【図１３】従来の画像合成の１手法の原理を示す図であ
る。

【図１４】従来の画像合成の１手法の合成手順を示す図
である。

【図１５】従来の画像合成の１手法の合成手順を示す図
である。

【図１６】従来の画像合成装置の構成を示す図である。

【符号の説明】

１、２画像メモリ３対応点検出手段４歪曲収差焦点距離推定手段５歪曲収差補正手段６回転補正制御手段７回転補正手段８画像合成手段１０座標変換係数決定手段１１座標幾何変換手段１２誤差評価手段１３焦点距離推定手段１４、１５座標歪曲収差補正手段１６歪曲収差推定手段２０、２１対応部平均値検出手段２２レベル補正値決定手段２３重み決定手段

Claims

【特許請求の範囲】

【請求項１】一部重複する複数の画像を入力する画像
入力手段と、その入力された複数の画像の重複する部分
を検出する重複検出手段と、その重複検出手段の検出結
果に基づき、収差情報を推定し、それに基づいて、少な
くとも前記重なり部分について、収差補正を行う収差補
正手段と、その収差補正された双方の重なり部分画像に
ついて、その不一致の態様の傾向を推定し、その推定結
果に基づき、双方の重なり部分を、互いに一致する方向
に補正を行う重なり補正手段と、補正されたそれら画像
を合成する画像合成手段とを備えたことを特徴とする画
像合成装置。
【請求項２】一部重複する複数の画像を入力する画像
入力手段と、その入力された複数の画像の重複する部分
を検出する重複検出手段と、その重複検出手段の検出結
果に基づき、前記複数の各画像の収差、回転補正角及び
焦点距離値の各情報を推定する補正情報推定手段と、そ
の推定された収差情報に基づき、少なくとも前記重なり
部分について、収差補正を行う画像収差補正手段と、前
記推定された回転補正角情報及び焦点距離値情報に基づ
き、回転補正値及び回転補正範囲を決定する回転補正決
定手段と、その決定結果に基づき、前記画像の前記回転
補正範囲の部分に回転補正を行う回転補正手段と、前記
回転補正決定手段の決定結果に基づき、前記回転補正さ
れた画像を合成する画像合成手段とを備えたことを特徴
とする画像合成装置。
【請求項３】回転補正決定手段により決定される前記
回転補正範囲は、前記複数の画像間の重複する部分で各
画像の面積の所定の割合以下であり、前記回転補正値は
前記回転補正範囲で重複する２枚の画像のそれぞれの回
転補正値の合計が前記補正情報推定手段で求めた前記回
転補正角であることを特徴とする請求項２記載の画像合
成装置。
【請求項４】回転補正決定手段により決定される前記
回転補正範囲は、前記複数の画像間の重複する部分以外
の部分も含み、前記回転補正値は前記回転補正範囲で重
複する２枚の画像のそれぞれの回転補正値の合計が前記
補正情報推定手段で求めた前記回転補正角であることを
特徴とする請求項２記載の画像合成装置。
【請求項５】回転補正値は、各画像の中心およびその
近くで回転補正角が小さくなることを特徴とする請求項
４記載の画像合成装置。
【請求項６】回転補正決定手段は、回転補正時に前記
補正情報推定手段で求めた前記焦点距離値を増加させ、
被回転補正画像の変化が滑らかになるように制御するこ
とを特徴とする請求項２、３、４、又は５記載の画像合
成装置。
【請求項７】一部重複する複数の画像を入力する画像
入力手段と、その入力された複数の画像の重複する部分
を検出する重複検出手段と、その重複検出手段の検出結
果に基づき、部分同士のずれ量を計算するずれ計算手段
と、その計算されたずれをなくすように前記画像を変形
する画像ずれ補正手段と、そのずれ補正手段よりずれの
無いように変形された複数の画像を合成する画像合成手
段とを備えたことを特徴とする画像合成装置。
【請求項８】一部重複する複数の画像を入力する画像
入力手段と、その入力された複数の画像の重複する部分
を検出する重複検出手段と、その重複検出手段の検出結
果に基づき、対応する部分同士のずれ量を求め、その対
応する２部分のうち、それぞれの画像中心から遠い方の
部分を補正することによってずれをなくすずれ補正手段
と、前記補正された画像を合成する画像合成手段とを備
えたことを特徴とする画像合成装置。
【請求項９】画像合成手段は、複数の画像の対応する
部分の画像信号の平均値を計算する画像対応部平均値演
算手段と、前記計算された画像信号の平均値に基づき、
前記画像信号のレベル補正値を決定する補正値決定手段
と、そのレベル補正値に応じて各画像の位置に対応した
画像レベルの重みを決定する画像重み決定手段と、その
決定された重みに基づき、前記複数の画像の信号値を前
記対応する部分の近傍で実質上等しいレベルに変換し、
それら画像を合成する重み合成手段とを備えたことを特
徴とする請求項１、２、３、４、５、６、７、又は８記
載の画像合成装置。