JP4783461B2 - 画像合成装置及び方法 - Google Patents

Description

本発明は、２以上のデータ化された静止画像を合成する技術に関し、特に複数の静止画像をつなぎ合わせて合成する技術に関する。

従来、複数の画像をつなぎ合わせた画像を得る際、各画像をつなぎ合わせるために複数の画像で重複又は共通する領域を「のりしろ」として設定する（以下、のりしろとする領域を共通領域という）。そして、複数の画像間の相対位置を算出して、その相対位置に基づいて複数の画像の位置合わせを行う。位置合わせ後に複数の画像をつなぎ合わせて合成するが、撮影した時間の差や、撮影角度の変化による光量の差等により生じる画像間の差異があるため、画像をつなぎ合わせた境界（画像のつなぎ目）に不自然な断裂が生じてしまう。

そのため、通常は境界が不自然にならないように、境界近傍（以下、重畳領域）で複数の画像を重畳させて合成する。したがって、つなぎ合わせた結果得られる画像は、１枚の画像のみからなる領域と、複数の画像を重畳して得られた合成画像からなる領域とが混在する画像となる。

重畳領域内に動いている被写体が含まれている場合、重畳の結果、その領域で被写体が多重化してしまう問題が生じるため、重畳領域は小さいほうが望ましい。しかし、つなぎ合わせる対象となる複数の画像間の差異（ギャップ）が大きい場合には、重畳領域が狭すぎると、その複数の画像間の差異によって生じる境界近傍の不自然さを解消できない。

このような問題を解決するために、特許文献１記載のデジタルカメラによれば、撮影時に撮影者（ユーザ）が多重化が生じないように、且つ、境界の不自然な断裂が生じないように重畳領域の幅を設定することを可能とする。

しかし、特許文献１記載のデジタルカメラには、撮影者による操作が必要であり、且つその操作が煩雑であるという課題があった。さらに、撮影者が撮影対象を見て判断した結果に基づいて撮影前に操作するため、画像の品質が撮影者の経験や撮影テクニックの巧拙に依存するという課題もあった。さらに、撮影前に撮影者が操作することとなっているため、撮影後の画像を用いて得られた合成後の画像で、境界の不自然な断裂が実際には生じてしまう場合があるという課題もあった。
特開２０００−２９９８０４号公報

本発明の目的は、つなぎ合わせの境界に不自然な断裂が生じにくいように、複数の画像をつなぎ合わせる画像合成技術を提供することである。

本発明に係わる画像合成装置の原理図である。 第１実施形態に係わる画像合成装置の構成図である。 第１実施形態に係わる画像合成装置の行う処理の流れを示すフローチャートである。 ２画像が２次元方向にずれている場合の共通領域を説明する図である。 相関度を算出する対象となる領域を説明する図（その１）である。 相関度を算出する対象となる領域を説明する図（その２）である。 重畳領域を説明する図（その１）である。 重畳領域を説明する図（その２）である。 重畳幅決定関数の一例を示す図である。 第２実施形態に係わる画像合成装置の構成図である。 第２実施形態に係わる画像合成装置の行う処理の流れを示すフローチャートである。 境界からの距離に応じて合成比率を変える場合について説明する図である。 画像間のギャップが大きい場合の境界近傍を示す図（その１）である 画像間のギャップが大きい場合の境界近傍を示す図（その２）である 画像間のギャップが大きい場合の境界近傍を示す図（その３）である 画像間のギャップが小さい場合の境界近傍を示す図（その１）である 画像間のギャップが小さい場合の境界近傍を示す図（その２）である 画像間のギャップが小さい場合の境界近傍を示す図（その３）である 領域ごとに重畳範囲内の合成比率を変える場合について説明する図（その１）である。 領域ごとに重畳範囲内の合成比率を変える場合について説明する図（その２）である。 第３実施形態に係わる画像合成装置の構成図である。 第３実施形態に係わる画像合成装置の行う処理の流れを示すフローチャートである。 変換が加えられる、境界近傍の領域について説明する図である。 ガンマ補正カーブの一例を示す図である。 Ｙ値の差分とガンマ補正カーブの対照表の一理を示す図である。 多くの画像をつなぎ合わせる場合を説明する図である。

以下、本発明の実施形態を図面を参照しながら説明する。これらの実施形態は、当業者が実施できるように十分詳細に説明されているが、その他の実施形態も利用可能である。例えば、実施形態に対する構成的な、論理的な、電気的な変更は、本発明の主題の範囲から逸脱することなくなされ得る。したがって、以下の説明は、限定的に捉えるべきではなく、発明の主題の範囲は、特許請求の範囲およびそれらの法的均等物によって画定されるべきである。

さらに、ここに説明されている装置の機能は、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せによって実現することができる。ここに提示されている例は、ユニットごとに一つもしくはそれ以上の機能を組み合わせることができるが、機能の別の組み合わせも本発明の主題の範囲を逸脱することなく実現化することができる。

図１は、本発明の原理図である。図１に示すように、本発明にかかわる画像合成装置１０は、複数の画像間の差異（ギャップ）の度合い又は程度を示す相関度を算出する相関算出手段１１、相関度に基づいて複数の画像を重畳させる重畳領域を決定する重畳領域決定手段１２、及び重畳領域で複数の画像を重畳させて画像をつなぎ合わせる合成手段１３（合成部・画像作成部）を備える。

まず、位置合わせされた複数の画像を入力されると、相関算出手段１１（相関算出部）は複数の画像のつなぎ合わせる境界近傍における複数の画像間のギャップの度合いを示す相関度を算出する。より具体的には、相関算出部１１は、複数の画像の各々から境界近傍にある画素を取得し、それぞれについて画素の統計量を算出し、その統計量に基づいて相関度を算出する。なお、画像間の類似が大きくなるほど、言い換えると画像間の差異（ギャップ）が小さくなるほど、相関算出手段１１が算出する相関度は高くなる。

ここで、つなぎ合わせの境界近傍とは、具体的には、つなぎ合わせる境界から、複数の画像にまたがって所定の幅内にある領域である。よって、相関度が高いことは、つなぎ合わせの境界をはさんだ近傍において複数の画像が互いに大きな差異（ギャップ）がないことを意味する。

ここで、相関度を算出するために用いる画素の統計量とは明るさ、彩度、色温度及び画素値の差の何れか少なくとも１つの統計量であることとしてもよい。また、統計量は平均、最大値、累積和、標準偏差及び分散のいずれであってもよい。

例えば、明るさに基づいて相関度を算出する場合、相関度が高いということは、境界近傍において複数の画像間の明るさにギャップが少ないことを意味する。
重畳領域決定手段１２（重畳領域決定部）は、相関度に基づいて、つなぎ合わせの境界近傍でそれらの画像を重畳させる領域を決定する。合成手段１３（合成部・画像作成部）は、重畳領域では複数の画像を重畳させることにより、複数の画像をつなぎ合わせて合成する。

複数の画像をつなぎ合わせる際に、その境界でつなぎ合わせた画像を重畳させると、その境界を目立たなくすることができるが、その重畳させる重畳領域を固定にすると、画像間のギャップによっては重畳領域の広さが余分だったり、不足したりすることがある。例えば、画像間のギャップが十分に小さい場合に重畳領域を固定していると、重畳領域が大きすぎ、その大きすぎる重畳領域で被写体の多重化が生じることがある。一方で、画像間のギャップが大きい場合に重畳領域を固定していると、重畳領域が小さすぎてつなぎ合わせの境界に生じる不自然さを解消できないことがある。

本発明の画像合成装置１０によれば、重畳領域決定手段１２（重畳領域決定部）が、相関度に基づいて重畳領域を決定することにより、画像間のギャップを解消するために必要な重畳領域を確保しつつ、重畳領域での被写体の多重化を避けることが可能となる。つまり、画像間のギャップが十分に小さい場合、重畳領域決定手段１２は、重畳領域を小さくすることにより、重畳領域での被写体の多重化を避けることを可能にする。一方、画像間のギャップが大きい場合、重畳領域決定手段１２は、重畳領域を大きくすることにより、つなぎ合わせの境界に生じる不自然さを解消することを可能にする。

また、つなぎ合わせられる複数の画像に基づいて重畳領域決定手段１２が重畳領域を決定するため、撮影前に撮影者に重畳領域を設定させる必要はない。よって、画像の品質が撮影者の経験や撮影テクニックの巧拙に依存するという問題は生じない。また、撮影前ではなく、撮影後に重畳領域を決定するため、実際に撮影してみると重畳領域が不適切だったという問題も生じない。

なお、重畳領域における複数の画像の合成比率を、境界からの距離に応じて変化させることとしてもよい。これにより、重畳領域で滑らかに複数の画像が合成されるため、一層境界を目立ちにくくすることが可能となる。

また、画像合成装置１０は、上記構成に加えて、さらに、相関度を所定の値と比較し、比較結果に基づいて複数の画像の少なくとも１つを変換する画像変換手段を備えることしてもよい。より具体的には、画像変換手段は、相関度が所定の値よりも小さい場合、画像変換手段による変換後の複数の画像の相関度が高くなるように画像を変換する。つまり、画像変換手段は、複数の画像間のギャップが小さくなるように画像を変換する。

これにより、画像間のギャップが大きい場合、重畳領域を重畳させるだけでなく境界近傍の領域において画像間のギャップが小さくなるように画像を変換することが可能になるため、つなぎ合わせの境界は一層目立ちにくくなる。

ここで、画像変換手段は、変換対象となる画像における境界近傍を変換することとしてもよい。多数の画像をつなぎ合わせる場合に、画像全体を変換すると、画像が次第に元の画像から大きく異なってしまうことがあるが、変換する範囲を境界近傍に限定することにより、このような問題を避けることが可能となる。

また、画像変換手段は、変換後の複数の画像の相関度と所定の値と比較し、比較結果が所定の条件を満たすまで変換を繰り返すこととしてもよい。より具体的には、画像変換手段は、変換後の複数の画像の相関度が所定の値より小さくなるまで変換を繰り返すこととしてもよい。これにより、つなぎ合わせの境界は一層目立ちにくくなる。

また、画像合成装置１０は、上記構成に加え、複数の画像のずれ量を算出するずれ量算出手段と、ずれ量に基づいて複数の画像の位置合わせを行い、複数の画像で重複する領域を共通領域として決定する共通領域決定手段を更に備えることとしてもよい。

これにより、予め位置合わせ及び共通領域が設定されていない複数の画像であっても、つなぎ合わせることが可能となる。
また、画像合成装置１０は画像撮影装置にそなえられることとしてもよい。

また、画像合成装置を有する画像撮影装置を、携帯電話、ＰＤＡ（Personal Digital Assistant）、パソコン等に備えることとしてもよい。
また、画像合成装置１０を構成する各手段により行われる処理の過程からなる方法も本発明に係わるものであり、この方法によっても上述の目的を達成することが可能である。

また、画像合成装置１０を構成する各手段により行なわれる機能と同様の制御をプロセッサに行なわせるプログラム、そのプログラムを記録した記録媒体及びプログラム・プロダクトも本発明に係わるものである。このプログラムをプロセッサに読み出させて、そのプログラムに基づいてプロセッサに、それに接続された各種インターフェース等を制御させることによっても、上述の目的を達成することが可能である。

以下、２つの画像をつなぎ合わせると仮定して説明する。この仮定は説明をわかりやすくするためであり、画像は２以上であってもよい。さらに、画像を四辺形であると仮定して説明するが、画像の形状は四辺形以外の形状であってもよい。

まず、本発明の第１実施形態にかかわる画像合成装置について説明する。第１実施形態に係わる画像合成装置１００は、画像をつなぎ合わせる境界近傍における画像間のギャップを考慮して重畳領域を決定し、その重畳領域において２画像を重畳させて、２画像をつなぎ合わせる。

図２は、第１実施形態にかかわる画像合成装置１００の構成図である。図２に示すように、画像合成装置１００は、ずれ算出部１１０、共通領域決定部１２０、相関算出部１３０、重畳領域決定部１４０、セレクタ１５０、合成部１６０及び画像作成部１７０を備える。

ずれ量算出部１１０には、つなぎ合わせるべき画像Ｐ１及びＰ２が入力される。ずれ量算出部１１０は、画像Ｐ１及びＰ２の互いに対応する位置にある画素をマッチングすることにより、ずれ量を算出する。共通領域決定部１２０は、算出されたずれ量に基づいて画像Ｐ１及びＰ２の位置合わせを行い、２画像で重複する領域を共通領域として決定する。相関算出部１３０は、画像Ｐ１及びＰ２の画素に基づいて共通領域の境界近傍での画像Ｐ１及びＰ２間の差異（ギャップ）の度合いを示す相関度を算出する。重畳領域決定部１４０は、算出された相関度に基づいて、画像Ｐ１及びＰ２を重畳させるべき領域である重畳領域を決定する。セレクタ１５０は、入力された画像Ｐ１及びＰ２中の画素を合成部１６０又は画像作成部１７０に出力する。合成部は１６０は、画像Ｐ１及びＰ２の画素を合成し、合成された画素を画像作成部１７０に出力する。画像作成部１７０は、セレクタ１５０及び合成部１６０から出力された画素から、合成後の画像（以下、合成画像）を作成し、出力する。

以下、図３を用いて、画像合成装置１００が行う処理の流れについて説明する。
まず、ずれ量算出部１１０は、画像Ｐ１及びＰ２の互いに対応する位置にある画素をマッチングすることにより、ずれ量を算出する（ステップＳ１）。共通領域決定部１２０は、算出されたずれ量に基づいて、画像Ｐ１またはＰ２を、画像間のずれがなくなるように変換することにより位置合わせを行う。さらに、共通領域決定部１２０は、位置合わせ後の２画像の間で重複する領域を共通領域として決定する（ステップＳ２）。

相関算出部１３０は、共通領域の境界近傍について相関度を算出する(ステップＳ３）。より具体的には、相関算出部１３０は、画像Ｐ１及びＰ２の各々から境界の近傍にある画素を、画素の座標情報に基づいて取り出し、それらの画素についての統計量を算出し、その統計量に基づいて相関度を算出する。この相関度についてはさまざまな算出方法が考えられる。例えば、明るさの統計量、彩度の統計量、色温度の統計量、又は・及び画素値の差の統計量を用いる算出方法が挙げられる。また、明るさ、彩度又は・及び色温度の統計量を用いる場合、統計量として、例えば、平均、標準偏差及び分散などが考えられる。画素値の差の統計量を用いる算出方法の場合、統計量として、平均、最大値、累積和、標準偏差及び分散などが考えられる。

続いて、重畳領域決定部１４０は、算出された相関度に基づいて重畳範囲を決定する。より具体的には、重畳領域決定部１４０は、相関算出部１３０によって算出された相関度が高い場合、狭い重畳領域を決定し、算出された相関度が低い場合、広い重畳領域を決定する（ステップＳ４）。

セレクタ１５０は、決定された重畳領域、並びに画像Ｐ１及びＰ２の画素の座標情報に基づいて、各画素がつなぎ合わせ後の画像の重畳領域内にあるか否か判定する(ステップＳ５）。ある画素が重畳領域内にあると判定された場合（ステップＳ５：Ｙｅｓ）、セレクタ１５０は、その画素をその座標情報とともに合成部１６０に出力する。合成部１６０は、画像Ｐ１の画素と、その画素を対応する位置にある画像Ｐ２の画素を重畳させて合成し、合成の結果得られた画素を、つなぎ合わせ後の画像上での座標情報とともに出力する。なお、画像Ｐ１とＰ２の合成比率は任意の定数としてもよいし、変数としてもよい（ステップＳ６）。一方、ある画素が重畳領域内にないと判定された場合、セレクタ１５０は、その画素を、つなぎ合わせ後のその画素の座標情報とともにそのまま出力する（ステップＳ７）。なお、共通領域内であるが重畳領域内にはない画素の場合、画像Ｐ１とＰ２の両方の画素があるが、その場合、セレクタ１５０は、いずれか一方の画像の画素と、そのつなぎ合わせ後の画像上の座標情報を出力する。

上記の処理を入力された画像Ｐ１及びＰ２の全ての領域について行うと（ステップＳ８：Ｙｅｓ）、セレクタ１５０及び合成部１６０から出力された画素及びその位置情報に基づいて、画像作成部１７０は合成後の画像（以下、合成画像）を作成し（ステップＳ９）、処理を終了する。

ここで、相関度を算出する対象となる、境界近傍の領域について図４及び図５を用いて説明する。図４に、つなぎ合わせるべき画像Ｐ１及びＰ２が、互いに上下方向及び左右方向にずれている場合の共通領域及びその境界近傍を示す。共通領域は、画像Ｐ１及びＰ２で重複する領域であり、図４では斜線で示される。共通領域は、画像Ｐ１の外周の一部及びＰ２の外周の一部で囲まれた四辺形となる。以下、共通領域の各辺のうち、画像Ｐ１の外周の一部で構成される２辺を画像Ｐ１側の境界といい、画像Ｐ２の外周の一部で構成される２辺を画像Ｐ２側の境界という。

２画像をつなぎ合わせる際、共通領域内で画像Ｐ１を用いる場合と、画像Ｐ２を用いる場合との２パターンがある。図５Ａ及び５Ｂを用いてこの２パターンについて説明する。図５Ａ及び５Ｂに示すように、共通領域内で用いられる画像側の境界がつなぎ合わせ後の画像上に表れ、共通領域内で用いられない画像側の境界はつなぎ合わせ後の画像の下に隠れる。下に隠れる境界の近傍については相関度の算出は不要である。したがって、相関算出部１３０が相関度を算出する対象となる領域は、共通領域内で用いられる画像側の境界からある画素数分だけ離れた領域となる。図５Ａ及び５Ｂでは、斜線で示される領域が、相関度を算出する対象となる領域である。

つまり、共通領域内で画像Ｐ１を用いる場合、図５Ａに示すように、画像Ｐ１側の境界がつなぎ合わせ後の画像上に表れ、この画像Ｐ１側の境界から共通領域の内及び外に向かってある範囲内にある領域が、相関度を算出する対象となる領域となる。同様に、共通領域内で画像Ｐ２を用いる場合、図５Ｂに示すように、画像Ｐ２側の境界から共通領域の内及び外に向かってある範囲内にある領域が、相関度を算出する対象となる領域となる。なお、境界近傍の領域の幅は、だいたい画像の全体幅の数パーセントから十数パーセントの間としてもよい。

次に、相関度の算出についてより詳しく説明する。相関算出部１３０は、明るさの統計量、彩度の統計量、色温度の統計量、及び画素値の差等の画素値の統計量を用いて相関度を算出する。

例として、相関度を算出するために明るさの平均を用いる場合について説明する。ここでは、テレビ等でよく使われるＹＣｂＣｒ空間又はＹＰｂＰｒ色空間を例として用いて説明する。これらの色空間では明るさをＹ値で示す。なお、これは例示にすぎず、デバイスによってさまざまな色空間があり、そのいずれの色空間についても基本的に同様な方法で適用可能である。

まず、相関算出部１３０は、画像Ｐ１及びＰ２の各々から共通領域の境界近傍にある画素を取得し、画像Ｐ１からの画素のＹ値の平均と、画像Ｐ２からの画素のＹ値の平均を算出する。さらに、相関算出部１３０は、得られた２つのＹ値の平均の差を算出する。そして、相関算出部１３０は、（この差の絶対値＋１）の逆数、あるいは（差の絶対値＋１）を階調数（多くの場合、Ｙ値は０から２５５までの２５６階調である）で割った値の逆数を相関度としてもよい。 更なる例として、相関度を算出するために、ＨＳＢ（Hue Saturation Brightness）色空間（ＨＳＶ（Hue Saturation Value）色空間）における明度の平均を用いる場合について説明する。なお、これも例示に過ぎないことはいうまでもない。この場合、相関算出部１３０は、画像Ｐ１及びＰ２の各々から共通領域の境界近傍にある画素を取得し、画像Ｐ１からの画素の明度の平均と、画像Ｐ２からの画素の明度の平均を算出する。さらに、相関算出部１３０は、得られた２つの明度の平均の差を算出する。相関度は、（差の絶対値＋１）の逆数としてもよい。 また、他の統計量を用いる場合も同様にして、相関算出部１３０は、画像Ｐ１の境界近傍からの画素と、画像Ｐ２の境界近傍からの画素の各々について統計量を算出し、さらに、それらの統計量に基づいて相関度を算出する。その際、相関算出部１３０は、その統計量が画像Ｐ１及びＰ２の境界近傍の高い類似を示すほど、相関度が高くなるように、相関度を算出する。つまり、境界近傍の領域での画像間のギャップが小さいほど、相関度は高くなる。

相関度が算出されると、重畳領域決定部１４０は重畳範囲を決定するが、この重畳範囲について説明する。図６Ａ及び６Ｂを用いて、重畳領域について説明する。図６Ａ及び６Ｂは、画像Ｐ１及びＰ２が互いに上下方向及び左右方向にずれている場合の重畳領域を示す。共通領域は、画像Ｐ１及びＰ２が重複している領域であり、図６Ａ及び６Ｂで斜線がかけられた領域である。重畳領域は、共通領域の一部を構成する鉤状の領域であり、図６Ａ及び６Ｂで網掛けされた領域である。共通領域内で画像Ｐ１を用いる場合、図６Ａに示すように、画像Ｐ１側の境界がつなぎ合わせ後の画像上に表れ、この画像Ｐ１側の境界からの距離がある範囲内にある共通領域内の領域が重畳領域となる。同様に、共通領域内で画像Ｐ２を用いる場合、図６Ｂに示すように、画像Ｐ２側の境界からある範囲内にある、共通領域内の領域が重畳領域となる。なお、重畳領域の幅は、だいたい共通領域の全体幅の数パーセントから数十パーセントの間としてもよい。

次に、重畳領域決定部１４０による重畳範囲の決定について説明する。重畳領域決定部１４０は、算出された相関度が高い場合、狭い重畳範囲を決定し、相関度が低い場合、広い重畳範囲を決定する。

つまり、相関度が高い場合、境界近傍の画像間のギャップが小さいといえるため、合成処理をする前でも画像Ｐ１及びＰ２の共通領域の境界は目立ちにくい。したがって、２つの画像をつなぎ合わせても境界に不自然な断裂は生じにくい。したがって、重畳領域決定部１４０は、重畳領域を狭くし、重畳領域での被写体の多重化を避ける。一方、相関度が低い場合、境界近傍の画像間のギャップが大きいため、２画像をつなぎ合わせると境界に不自然な断裂が生じる。したがって、重畳領域決定部１４０は、重畳領域を広くし、境界近傍の不自然な断裂を解消する。

このように、画像合成装置１００は、つなぎ合わせる２画像の境界近傍のギャップに応じて重畳領域を決定することにより、被写体の多重化を避けつつ、境界近傍の不自然な断裂を解消することを可能とする。

ところで、いくら算出された相関度が高くとも、重畳領域、言い換えると重畳幅が小さすぎる場合、境界に不自然な断裂が生じる恐れがある。また、共通領域を超えるような重畳幅を設定することもできない（図６Ａ及び６Ｂ参照）。したがって、これらの点をふまえて、重畳領域決定部１４０に、重畳幅の最大値及び最小値を与えることとしてもよい。また、例えば、重畳幅の最大値は、共通領域決定部１２０による共通領域の決定に基づいて設定されることとしてもよい。

さらに、重畳領域決定部１４０に、図７に示すような重畳幅決定関数を与えることとしてもよい。そして、重畳領域決定部１４０は、この関数にしたがって重畳範囲の最大値と最小値の間を相関度に応じて変動させることとしてもよい。

例えば、明るさ、例えばＹＣｂＣｒ空間又はＹＰｂＰｒ色空間におけるＹ値を用いて相関度を算出する場合、相関度を算出する過程でＹ値の平均の差の絶対値を２５５で割った値が得られる。この場合、その値が１０％程度である時、画像間のギャップが大きいといえ、その値が４％程度である時、画像間のギャップが十分に小さいといえる。したがって、重畳範囲決定部１４０は、その値が１０％程度以上である時に重畳幅を最大として、その値が上がるにつれ徐々に重畳幅を減少させ、その値が４％程度以下である時に重畳幅を最小とすることとしてもよい。

また、例えば、色温度を用いて相関度を算出する場合、相関度を算出する過程で色温度の差の絶対値が得られる。この場合、その値が１５００ケルビン程度である時、画像間のギャップが大きいといえるため、１５００ケルビン程度以上で重畳幅を最大とし、相関度が３００ケルビン程度である時、画像間のギャップが十分に小さいといえるため、３００ケルビン程度以下で重畳幅を最小としてもよい。

なお、重畳幅の最大値と最小値は、境界近傍の断裂の解消を重視するか多重化発生の防止を重視するかによって異なる。つまり、断裂の解消を優先する場合、最大値及び最小値はいずれも幾分大きな値を使用するほうが望ましい。一方、多重化発生の防止を重視する場合は最大値及び最小値はともに幾分小さい値を使用するほうが望ましい。

また、重畳幅の最大値と最小値を、境界近傍の断裂の解消を重視するか多重化発生の防止を重視するかによって適宜変更できることにしてもよい。例えば、重畳領域決定部１４０に、最大値及び最小値について予め複数個の設定値を用意し、例えばユーザがこれらの値を切り替えられるようにすることにしてもよい。これにより、ユーザの希望に応じた重畳幅、つまり重畳領域の決定が可能となる。

次に、本発明の第２実施形態にかかわる画像合成装置について説明する。第２実施形態にかかわる画像合成装置２００は、第１実施形態に係わる画像合成装置１００の機能に加え、さらに、その重畳範囲内で２画像を重畳させる合成比率を変える機能を有する。

図８は、本発明の第２実施形態にかかわる画像合成装置２００の構成図である。図８に示すように、画像合成装置２００は、画像合成装置１００を構成する各部に加え、さらに、合成比率算出部２１０を備える。

合成比率算出部２１０は、重畳領域内の複数の画像の合成比率を画素ごと、あるいは領域ごとに算出し、合成部１６０は、算出された合成比率に基づいて合成する。その他の各部についてはすでに説明した。

以下、図９を用いて、画像合成装置２００が行う処理の流れについて説明する。図９に示すように、画像合成装置２００は、画像合成装置１００が行う処理のステップＳ５とＳ６の間に、さらにステップＳ２０として、合成比率を算出する処理が加わる。その他の処理は、画像合成装置１００と同様である。

以下、合成比率算出部２１０による合成比率の算出について説明する。まず、図１０を用いて境界からの距離に応じて合成比率を変える場合について説明する。説明を簡単にするために、左右方向に互いにずれた画像Ｐ１及びＰ２をつなぎ合わせると仮定するが、２次元方向にずれている場合も基本的な考え方は同様である。なお、図１０において、画像Ｐ２が画像Ｐ１よりも小さく描かれているが、これは説明のためであり、実際は２画像は同じ大きさである。

図１０の上側部分には、共通領域内で画像Ｐ２を用いる場合に画像Ｐ１及びＰ２のつなぎ合わせ部分が示される。この場合、図１０に示すように、画像Ｐ２側の境界がつなぎ合わせ後の画像上に表れる。図１０の下側部分は、図１０の上側部分に対応している。図１０の下側部分は、画像Ｐ２側の境界からの距離と合成比率の関係を示すグラフである。図１０のグラフの横軸は画像Ｐ２側の境界からの距離を示し、縦軸は合成比率を示す。図１０に示すように、共通領域の境界（画像Ｐ２側の境界）では、画像Ｐ１の合成比率を１．０（１００％）、画像Ｐ２の合成比率を０％とする。そして、共通領域の境界から離れ、重畳領域の終端に近づくにしたがって徐々に画像Ｐ１の合成比率を０％まで下げ、画像Ｐ２の合成比率を１．０（１００％）まで上げる。これにより、合成領域でなめらかに画像Ｐ１と画像Ｐ２をつなげることが可能になる。

なお、図１０とは逆に、共通領域内で画像Ｐ１を用いる場合、共通領域の境界（画像Ｐ１側の境界）では、境界は画像Ｐ２の合成比率を１．０（１００％）、画像Ｐ１の合成比率を０％とする。そして、共通領域の境界から離れるにしたがって画像Ｐ２の合成比率を０％まで次第に下げ、画像Ｐ１の合成比率を１００％まで次第に上げる（不図示）。

以下、図１１及び図１２を用いて、画像間のギャップの大きさと重畳幅の関係を説明する。図１１Ａ、１１Ｂ及び１１Ｃに、画像Ｐ１及びＰ２の画像間のギャップが大きい場合の画像のつなぎ合わせ目、つまり境界近傍を示し、図１２Ａ、１２Ｂ及び１２Ｃに、画像Ｐ１及びＰ２の画像間のギャップが小さい場合の境界近傍を示す。

まず、図１１Ａに示すように、画像Ｐ１とＰ２のギャップが大きい場合、画像Ｐ１及びＰ２をつなぎ合わせると境界に大変目立つ不自然な断裂が生じる。このような場合、重畳幅が十分に大きくないと、図１１Ｂに示すように、合成比率を変えながら画像Ｐ１及びＰ２を重畳させても、境界近傍の断裂が目立つ。重畳幅が十分に大きい場合、図１１Ｃに示すように、合成比率を変えながら画像Ｐ１及びＰ２を重畳させた結果、境界近傍の断裂はほとんど目立たなくなる。

一方、図１２Ａに示すように、画像Ｐ１とＰ２のギャップが小さい場合、画像Ｐ１及びＰ２をつなぎ合わせると境界に不自然な断裂が生じるが、あまり目立たない。このような場合、重畳幅が小さい場合でも、図１２Ｂに示すように合成比率を変えながら画像Ｐ１及びＰ２を重畳させると、境界近傍の断裂はほとんど目立たなくなる。重畳幅が大きい場合、図１２Ｃに示すように、合成比率を変えながら画像Ｐ１及びＰ２を重畳させた結果、境界近傍の断裂はいっそう目立たなくなるが、図１２Ｂと図１２Ｃの違いはあまりない。このような場合、断裂を目立たなくすることよりも、多重化発生の防止を重視するために、大きい重畳幅よりも小さい重畳幅を採用するほうが望ましいことが多い。

次に、図１３Ａ及び１３Ｂを用いて、領域ごとに重畳範囲内の合成比率を変える場合について説明する。図１３Ａ及び１３Ｂは、例として、重畳幅の中央で重畳範囲を２つの領域に分ける場合を示す。図１３Ａ及び１３Ｂのグラフの横軸は共通領域の境界からの距離を示し、縦軸は合成比率を示す。共通領域内で画像Ｐ２を用いる場合、画像Ｐ２側の境界がつなぎ合わせ後の画像上に表れる。この場合、図１３Ａに示すように、共通領域の境界（画像Ｐ２側の境界）から重畳幅の中央直前まで、画像Ｐ１の合成比率を１．０（１００％）、画像Ｐ２の合成比率を０％とする。そして、重畳幅の中央から重畳幅の終端直前まで画像Ｐ１の合成比率を０．５（５０％）、画像Ｐ２の合成比率を０．５（５０％）とする。最後に、重畳幅の終端で画像Ｐ１の合成比率を０％、画像Ｐ２の合成比率を１．０（１００％）とする。

一方、共通領域内で画像Ｐ１を用いる場合、画像Ｐ１側の境界がつなぎ合わせ後の画像上に表れる。この場合、図１３Ｂに示すように、図１３Ａの場合と逆に、共通領域の境界（画像Ｐ２側の境界）から重畳幅の終端まで、画像Ｐ２の合成比率は１．０（１００％）から０．５（５０％)を経て０％まで段階的に変化し、画像Ｐ２の合成比率は０％から０．５を経て１．０（１００％）まで段階的に変化する。

このように合成部１６０が合成比率を領域毎に段階的に変化させて画像Ｐ１及びＰ２を重畳させることによっても、合成領域でなめらかに画像Ｐ１と画像Ｐ２をつなげることが可能になる。また、この場合、先に説明した画素ごとに合成比率を変化させる場合と比べて処理が簡単になるため、処理装置にかかる負荷が軽くなるという利点がある。

次に、本発明の第３実施形態にかかわる画像合成装置について説明する。第３実施形態にかかわる画像合成装置３００は、第１実施形態に係わる画像合成装置１００の機能に加え、さらに、必要に応じて、画像をつなぎ合わせる前に画像Ｐ１及びＰ２の一方又は両方の画像を変換する機能を有する。図１４は、本発明の第３実施形態にかかわる画像合成装置３００の構成図である。図１４に示すように、画像合成装置３００は画像合成装置１００を構成する各部に加え、さらに、画像変換部３１０を備える。

画像変換部３１０は、相関算出部１３０が算出した相関度が小さい、つまり、画像間のギャップが大きい場合、ギャップが小さくなるようにそれらの画像の一方又は両方の画像を変換する。そして、相関算出部１３０は、変換後の複数の画像について相関度を算出する。

以下、図１５を用いて、画像合成装置３００が行う処理の流れについて説明する。図１５に示すように、画像合成装置３００は、画像合成装置１００が行う処理のステップＳ３とＳ４の間に、さらにステップＳ３０からＳ３２の処理が加わる。以下、ステップＳ３０からＳ３２について説明する。

ステップＳ３で、相関算出部１３０が相関度を算出すると、画像変換部３１０は、その相関度を所定の値と比較する（ステップＳ３０）。所定の値より相関度が低い、つまり、画像間のギャップが大きい場合（ステップＳ３０：Ｎｏ）、画像変換部３１０は、画像間のギャップが小さくなるように複数の画像の一方又は両方を変換する（ステップＳ３１）。

所定の値より相関度が高い場合（ステップＳ３０：Ｙｅｓ）、画像変換部３１０は、画像変換を行わず、相関度は重畳領域決定部１４０に出力され、以後ステップＳ４以降が行われる。

ステップＳ３１の画像変換が行われた場合、相関算出部１３０は、変換された画像について相関度を算出する（ステップＳ３２）。算出された相関度は、重畳領域決定部１４０に出力され、以後ステップＳ４以降が行われる。

なお、ステップＳ３２の後、ステップＳ３０に戻ることとしてもよい。この場合、画像変換部３１０は、画像変換後の相関度が所定の値より小さくなるまで画像変換を繰り返すことになる（不図示）。その他の処理は、画像合成装置１００と同様である。

以下、画像変換部３１０による画像変換について説明する。画像変換部３１０は、相関度が所定の値よりも小さい場合、画像間のギャップが大きいと判定し、ギャップが小さくなるように画像を変換する。この変換は、画像全体について行うこととしてもよいし、つなぎ合わせの境界近傍の領域について行うこととしてもよい。また、変換は、つなぎ合わせる２つの画像の両方について行うこととしてもよいし、一方について行うこととしてもよい。また、境界近傍を変換する場合、その領域は、境界近傍をはさんで２つの画像をまたぐ領域であってもよいし、一方の画像の境界近傍であってもよい。

図１６を用いて、境界近傍に変換を加える場合において、変換が加えられる領域について説明する。説明を簡単にするために、左右方向に互いにずれた画像Ｐ１及びＰ２をつなぎ合わせると仮定するが、２次元方向にずれている場合も基本的な考え方は同様である。なお、図１６において、画像Ｐ２が画像Ｐ１よりも小さく描かれているが、これは説明のためであり、実際は２画像は同じ大きさであってもよい。

図１６の上側部分には、共通領域内で画像Ｐ２を用いる場合に画像Ｐ１及びＰ２のつなぎ合わせ部分が示される。図１６の下側部分は、図１６の上側部分に対応している。図１６の下側部分は、画像Ｐ２側の境界からの距離と合成比率の関係を示すグラフである。図１６グラフの横軸は画像Ｐ２側の境界からの距離を示し、縦軸はＹ値を示す。図１６に示すように、画像変換する領域は、境界から所定距離内にある領域である。この領域は、相関度を算出する対象となる領域と同じであってもよいが、その領域より広くてもよい。また、画像変換する領域は、重畳領域より広くしてもよい。画像の大きさにもよるが、画像変換する領域は、画像全体の幅の数パーセントから数十パーセントの間としてもよい。

以下、例として、明るさに基づいて画像変換する場合について説明する。ここではＹＣｂＣｒ空間又はＹＰｂＰｒ色空間を例として用いる。これらの色空間では明るさをＹ値で示す。

境界近傍での画像Ｐ１のＹ値の平均は、画像Ｐ２のＹ値の平均より高いと仮定すると（つまり、画像Ｐ１の方がＰ２よりも明るい）、画像変換部３１０は、画像Ｐ１の境界近傍を暗くなるように補正し、逆に、画像Ｐ２の境界近傍を明るくなるように補正する。その結果、図１５の下側で示すように、画像変換する領域の画像Ｐ１側の終端から画像Ｐ２側の終端まで、明るさはなだらかに減少することになる。

以下、画像変換部３１０による画像変換について詳しく説明する。Ｙ値に基づいた画像変換の場合、画像変換部３１０に、図１７に示す複数のガンマ補正カーブ及び図１８に示すＹ値の差分とガンマ補正カーブの対照表をあたえることとしてもよい。画像変換部３１０は、相関算出部１３０が算出した相関度が所定値よりも低いと判定した場合、画像Ｐ１のＹ値の平均と画像Ｐ２のＹ値の平均の差分を算出し、その差分に対応するガンマ補正カーブを、図１８に示す対照表に基づいて図１７に示す複数のガンマ補正カーブから選択する。なお、差分に対応するカーブがない場合、画像変換部３１０は、図１７及び図１８に基づいて、その差分に対応するカーブを生成することとしてもよい。続いて、画像変換部３１０は、そのガンマ補正カーブに基づいて画像Ｐ１及Ｐ２の一方又は両方を変換することとしてもよい。その後、画像変換部３１０は画像変換後の画像Ｐ１及び／又はＰ２を再度、相関算出部１３０に出力する。相関算出部１３０は、変換後の画像Ｐ１と画像Ｐ２について相関度を算出し、重畳領域決定部１４０は、その相関度に基づいて重畳幅を決定する。

なお、ガンマ補正後の画像間の相関度が所定値より大きくなるまで、画像変換部３１０が画像変換を繰り返し行うこととしてもよい。この場合、相関算出部１３０が、変換後の画像Ｐ１と画像Ｐ２について相関度を算出し、その相関度を画像変換部３１０に戻し、画像変換部３１０は、画像変換の要否を判定するためにその相関度を再び所定値と比較する。

図１１Ａから図１１Ｃ及び図１２Ａから図１２Ｃに、画像間のギャップが小さくなるように画像Ｐ１及びＰ２に画像変換をした場合の境界近傍を示す。例えば、図１１Ａは、画像Ｐ２が画像Ｐ１よりとても暗い場合における、境界近傍を示す。この場合、境界によく目立つ断裂が生じている。図１１Ｂに、画像Ｐ２を若干明るくなるように補正し、画像Ｐ１を若干暗くなるように補正した結果を示す。重畳幅が小さいことも相まって、境界に生じた断裂はまだ残っている。図１１Ｃに、画像Ｐ２をさらに明るくなるように補正し、画像Ｐ１をさらに暗くなるように補正した結果を示す。今回は重畳幅が広げられたことも相まって、境界に生じた断裂はわかりにくくなっている。

図１２Ａから図１２Ｃは、画像間のギャップが図１１に示す場合よりずっと小さい場合に、図１１と同様な変換を行った結果を示す。この場合、図１１Ｂに示すように、１回の画像変換で十分に境界に生じた断裂が目立たなくなっているため、図１１Ｃに示すような２回目の画像変換を行わないこととしてもよい。

次に、図１９を用いて、多くの画像をつなぎ合わせる場合について説明する。図１９に、例として４つの画像をつなぎ合わせた場合の重畳領域と、左の画像と比べた右の画像の明るさの度合いを示す。なお、この図では重畳幅はほぼ同じ幅となっているが、画像の相関度に応じて重畳幅が適宜変更されることはいうまでもない。

例えば、連続撮影のとき、室内では被写体に対する光源の位置の変化や、戸外では雲の切れ目や方角の変化によって、画像の全体の明るさが画像ごとに異なることがある。図１９では、一番左の画像の明るさよりその右隣の画像は明るく、さらにその右隣の画像はもっと明るいとする。このような場合に、画像変換部３１０が画像間のギャップを小さくなるように画像全体を変換すると仮定すると、画像を明るくするような変換が続くことになる。その結果、２枚目の画像、３枚目の画像と右につないでいくにつれ、画像がだんだん白っぽくなってしまうことになる。

しかし、図１９に示すように、変換する領域を画像をつなぎ合わた境界近傍に限定すれば、このような問題を回避しつつも、つなぎ合わせの境界付近の断裂を目立たなくすることが可能となる。

本発明に係わる画像合成装置１００、２００及び３００はさまざまな形で実現可能である。以下、本発明に係わる画像合成装置１００、２００及び３００の実現形態について説明する。

画像合成装置１００、２００及び３００は、コンピュータを用いて実現可能である。コンピュータ（不図示）は、少なくともＣＰＵ（Central Processing Unit 、プロセッサ）、メモリ及び入出力インタフェースを備え、これらは互いにバスを介して接続される。入出力インターフェースとして、例えば、液晶パネル、タッチパネル、種々のボタン、ダイヤル等が挙げられる。

画像合成装置１００、２００及び３００を、コンピュータを用いて実現するために、まず画像合成装置を構成する各部によって行われる処理をプロセッサに行わせるためのプログラムをメモリに格納する。そして、プロセッサが、メモリを利用してそのプログラムを実行することにより、画像合成装置１００、２００及び３００が実現される。

さらに、この画像合成装置はさまざまな装置に搭載可能である。搭載する装置の例として、例えば、スチルカメラ及びビデオカメラのような画像撮影装置等が上げられる。
例として画像撮影装置に搭載する場合について説明する。画像撮影装置は、多くの場合、レンズ、撮像素子、コントローラ（非汎用プロセッサ）、ディスプレイ、メモリ、入出力インターフェース、及び補助記憶装置を備える。レンズは被写体を撮像素子上に結像させる。撮像素子は結像された画像を電子信号に変換してコントローラに出力する。コントローラはメモリ、記憶装置、インターフェース及びディスプレイを制御する。そして、画像合成装置を構成する各部によって行われる処理をコントローラに行わせるためのプログラムをメモリに格納し、コントローラがこのプログラムをメモリから読み出して実行する。これにより、画像合成装置を搭載する画像撮影装置を実現する。

さらに、画像合成装置を構成する各部によって行われる処理を各種インターフェースに行わせるように制御するコンピュータ・チップ（マイクロコントローラ）を作成し、そのコンピュータ・チップが画像撮影装置を構成する各種機器を制御することにより、画像合成装置を搭載する画像撮影装置を実現することとしてもよい。

また、画像合成装置を構成する各部によって行われる処理をプロセッサに行わせるためのプログラムをメモリ等に書き込んだ状態で画像撮影装置に組み込む（ファームウェア）ことにより、画像合成装置を搭載する画像撮影装置を実現することとしてもよい。

また、さらに、画像合成装置１００、２００及び３００を有する画像撮影装置を備える装置として、ＰＤＡ（Personal Digital Assistant）、パソコン等が挙げられる。
以下、プログラムのローディングについて説明する。上述の実施形態において説明した画像合成装置の機能をコンピュータ、画像撮影装置、並びに画像撮影装置を有する携帯電話及びＰＤＡ等に実現させるプログラムは、さまざまな方法で取得可能である。

例えば、そのプログラムを、コンピュータ等の画像合成装置を実現させるべき装置（プロセッサを含む装置）に接続された外部記憶装置に保存しておき、必要に応じてこのプログラムをメモリにロードさせることとしてもよい。

また、コンピュータで読み取り可能な記録媒体に予め記憶させ、その記録媒体からプログラムを画像合成装置を実現させるべき装置に読み出させて、そのコンピュータのメモリや外部記憶装置に一旦格納させ、この格納されたプログラムをそのコンピュータの有するＣＰＵに読み出させて実行させるように構成すればよい。

また、このプラグラムをプログラム・サーバが備える記憶装置に格納させ、画像合成装置を実現するべき装置に、入力インターフェース及び通信回線を介してダウンロードさせることとしてもよい。この場合、例えば、プログラム・サーバは、上述のプログラムを表現するプログラム・データをプログラム・データ・シグナルに変換し、モデムを用いて変換されたプログラム・データ・シグナルを変調することにより伝送信号を得て、得られた伝送信号を通信回線に出力する。プログラムを受信する装置では、モデムを用いて受信した伝送信号を復調することにより、プログラム・データ・シグナルを得て、得られたプログラム・データ・シグナルを変換することにより、プログラム・データを得る。

なお、送信側のコンピュータと受信側のコンピュータの間を接続する通信回線（伝送媒体）がデジタル回線の場合、プログラム・データ・シグナルを通信することも可能である。また、プログラムを送信するコンピュータと、プログラムをダウンロードするコンピュータとの間に、電話局等のコンピュータが介在しても良い。

以上、本発明の幾つかの実施形態について説明したが、これらの実施形態は任意に組み合わせ可能である。また、本発明の主題を説明するための記述及び図面に基づいて、当業者がなしうるその他の変更は、本発明主題およびそれらの均等物に該当する。

本発明によれば、複数の画像をつなぎ合わせて合成する際に、その境界近傍の領域における複数の画像間のギャップの度合い（程度）を示す相関度を算出し、相関度に基づいて、つなぎ合わせた境界が目立たないように複数の画像を重畳させる領域を決定する。これにより、つなぎ合わせの境界に生じる不自然な断裂が目立たないようにすることが可能となる。

Claims (6)

1. 撮像位置の異なる第１の画像と第２の画像とにつき、共通領域と判定された領域の位置を合わせて合成する画像合成装置であって、
   前記第１の画像と前記第２の画像との共通領域を判定する共通領域判定手段と、
   前記共通領域判定手段により共通領域と判定された領域の位置を合わせて合成した際、前記第１の画像と前記第２の画像との境界となる部分の近傍の画像のギャップの度合いを示す相関度を算出する相関算出手段と、
   前記相関度算出手段によって算出された相関度に基づいて、前記境界近傍において前記複数の画像を重畳させる重畳領域を決定する重畳領域決定手段と、
   を備えることを特徴とする画像合成装置。
2. 前記境界近傍は、前記共通領域判定手段により共通領域と判定された領域の位置を合わせて合成した際、前記第１の画像と前記第２の画像との境界となる部分から所定の幅内にある領域である、
   ことを特徴とする請求項１に記載の画像合成装置。
3. 前記相関算出手段は、前記第１の画像および前記第２の画像の各々から前記境界近傍にある画素を取得し、前記画素の統計量に基づいて相関度を算出する、
   ことを特徴とする請求項１に記載の画像合成装置。
4. 前記重畳領域決定手段は、前記相関度に基づいて前記重畳領域の広さを決定する、
   ことを特徴とする請求項１に記載の画像合成装置。
5. 撮像位置の異なる第１の画像と第２の画像とにつき、共通領域と判定された領域の位置を合わせて合成する処理をコンピュータに実行させる画像合成プログラムであって、
   前記コンピュータを、
   前記第１の画像と前記第２の画像との共通領域を判定する共通領域判定手段と、
   前記共通領域判定手段により共通領域と判定された領域の位置を合わせて合成した際、前記第１の画像と前記第２の画像との境界となる部分の近傍の画像のギャップの度合いを示す相関度を算出する相関算出手段と、
   前記相関度算出手段によって算出された相関度に基づいて、前記境界近傍において前記複数の画像を重畳させる重畳領域を決定する重畳領域決定手段、
   として機能させることを特徴とする画像合成プログラム。
6. 撮像位置の異なる第１の画像と第２の画像とにつき、共通領域と判定された領域の位置を合わせて合成する処理をコンピュータが、
   前記第１の画像と前記第２の画像との共通領域を判定する共通領域判定し、
   前記共通領域と判定された領域の位置を合わせて合成した際、前記第１の画像と前記第２の画像との境界となる部分の近傍の画像のギャップの度合いを示す相関度を算出し、
   前記算出した相関度に基づいて、前記境界近傍において前記複数の画像を重畳させる重畳領域を決定する
   ことを実行することを特徴とする画像合成方法。

Images