JP4828479B2 - 合成画像生成装置および合成画像生成プログラム - Google Patents

Description

本発明は、被写体の一部を重複して撮影した静止画像群あるいは動画像群を、位置合わせおよび合成して、合成静止画像あるいは合成動画像を生成する合成画像生成装置および合成画像生成プログラムに関する。特に、複数のカメラで、あるいはひとつのカメラで時間をわけて、同一の被写体を撮影して得られる静止画像群あるいは動画像群を基に、パノラマ静止画像あるいはパノラマ動画像を生成する装置およびプログラムに関する。

複数のカメラを用いて、被写体の一部領域を重複させた状態で、若干向きを変えて撮影した静止画像群あるいは動画像群を、接合させてパノラマ画像などを作成することができる。また、一台のカメラを用いて、複数回にわたってシャッターを切ったり（静止画像を撮影する場合）、異なる時間帯に撮像したり（動画像を撮影する場合）することにより、同様のパノラマ画像などを得ることができる。
このとき、同じ被写体を撮影しても、異なるカメラを用いたり、撮影する場所や時間によって光線等の条件が異なったりする場合、撮影された画像や映像は、画像の輝度や色が異なるために、撮影したままの状態の画像を用いると自然に接合しないので、合成境界部分の境界を見えにくくするような加工を施す必要がある。

そのために必要な処理は、従来の技術においては、位置あわせ処理、濃淡補正処理、接合点の探索処理、接合点周辺の平滑化処理である。位置あわせ処理については、画像を重ね合わせるために、画像の対応点を探索し、幾何学変換処理で位置、大きさを調整するこの処理により、画像ごとに微妙に異なる幾何学歪を補正することが出来る。濃淡補正処理は、合成する画像全体のヒストグラムなどを計算し、輝度平均や色調を合わせることで、画像全体の色調を合わせる。この処理により、原画像ごとに異なる色調の差を軽減することが出来る。しかしながら、完全に濃度、色調を合わせることは困難である。このため、接合線においては、微妙な輝度・色調の差が生じる。しかしながら、これは、人間の目には画像の境界線として知覚されやすいので、接合線が目立たないようなに濃度レベル差が小さくなるところを探し、接合線にする接合点の探索処理が必要である。それでも、接合線で輝度、色調差が残存するので、濃度値の平滑化処理を行う必要があった。

非特許文献１には、上記のような接合処理、特に、複数の原画像間で濃度レベル差が小さくなる接合線を探索することによって、なるべく接合線を目立たせないように合成画像を作成する手法が記載されている。
高木幹雄・下田陽久（監修），「新編 画像解析ハンドブック」，２００４年，東京大学出版会，ｐ．１１６１−ｐ．１１６７

しかしながら、非特許文献１に記載されている手法では、接合線の探索処理の計算負荷が大きいという問題があった。また、接合線の探索処理の後に平滑化処理を行なう必要があり、その結果として接合線近辺において、画像の解像度が低下するという欠点があった。
本発明は、この課題認識に基づくものであり、接合線の探索処理のような計算負荷の大きい処理を必要とせず、且つ解像度の低下を招くことなく、接合線が目立たない合成画像を得ることのできる、合成画像生成装置および合成画像生成プログラムを提供することを目的とする。

［１］上記の課題を解決するため、本発明の一態様による合成画像生成装置は、入力される複数の合成用元画像の、合成画像における配置を決定する配置決定部と、前記合成画像上の各位置において各々の前記合成用元画像が存在するか否かを表わすキー画像情報に基づき、前記位置における前記複数の合成用元画像の混合比を表わし、前記合成用元画像同士の重複部分において値が連続的に変化する合成キー画像情報を生成するキー生成部と、前記合成キー画像情報を用いて前記複数の合成用元画像を合成することにより合成画像を生成する合成処理部と、を備えることを特徴とする。
これによれば、合成画像上の各位置において各々の合成用元画像が存在するか否かを表わすキー画像情報に基づき、つまり画素値に依存した接合線探索の処理を必要とせずに、合成キー画像情報を生成することができる。そして、このように生成された、混合比を表わす合成キー画像情報を用いることにより、合成用元画像の画素値と合成キー画像の値の積和（sum of products）演算という単純な計算処理によって合成画像を生成でき、前記の課題を解決できる。

［２］また、本発明の一態様は、上記の合成画像生成装置において、前記キー生成部は、前記合成画像内で複数の前記合成用元画像が重複する領域において、前記合成用元画像の重複度値の境界線から前記位置までの距離に応じた前記混合比を表わす前記合成キー画像情報を生成することを特徴とするものである。
合成用元画像の重複度値とは、合成画像上の位置において何枚の合成用元画像が重なっているかを表わす値である。つまり、重複度値の境界線とは、複数の合成用元画像のうちのいずれかの合成用元画像が存在するか否かを分ける境界線である。この構成によれば、合成用元画像を合成する場合の混合比はその境界線からの距離に応じたものとなる。つまり、合成用元画像間での色調・階調の不連続的な変化を抑え、合成用元画像の重なり具合に応じて人間の目に接合線の見えにくい合成画像を得るための合成キー画像情報を生成できる。またそれとともに、合成キー画像情報は合成用元画像の画素値に依存しなくて済む。

［３］また、本発明の一態様は、上記の合成画像生成装置において、前記キー生成部は、前記合成画像内での前記合成用元画像の重複度値に応じた前記混合比を表わす前記合成キー画像情報を生成することを特徴とするものである。
これによれば、重複度値に応じた混合比を用いることができる。つまり、重複度値が大きい場合には各合成用元画像の混合比を下げ、重複度値が小さい（例えば、現画像が１枚だけ存在し、重なっていない位置においては重複度値は１）場合には各合成用元画像の混合比を上げるようにできるため、生成される合成画像全体の色調・階調をバランスよくすることができる。

［４］また、本発明の一態様は、上記の合成画像生成装置において、前記キー生成部は、前記位置の所定の近傍の領域における前記重複度値の逆数の平均値に応じた前記混合比を表わす前記合成キー画像情報を生成することを特徴とするものである。
これによれば、比較的少ない計算量によって、重複度値に応じた混合比としながら、連続的に滑らかに変化する合成キー画像情報を得ることができる。

［５］また、本発明の一態様は、上記の合成画像生成装置において、前記キー生成部は、前記位置の所定の近傍の領域からは前記合成用元画像が存在しない領域を除外して前記重複度値の逆数の平均値を算出することを特徴とするものである。
これによれば、合成用元画像が存在する領域内で、且つその近傍に合成用元画像が存在しない領域を含むような位置において、混合比が下がってしまうことによって合成後の画像の濃度が落ち込むことを避けることができる。

［６］また、本発明の一態様による合成画像生成装置は、上記の合成画像生成装置において、入力される前記合成用元画像は動画像であり、前記キー生成部が生成した前記合成キー画像情報を記憶しておく合成キー画像情報記憶部をさらに備え、前記合成処理部は、前記合成キー画像情報記憶部から読み出した前記合成キー画像情報を用いて、動画像のコマ毎に、前記複数の合成用元画像を合成することを特徴とするものである。
これによれば、合成用元画像の配置に基づき合成キー画像情報を一度だけ算出すれば、動画像の各コマに対して共通にその合成キー画像情報を用いることができ、動画像のコマ毎に合成キー画像情報を算出しなくて済む。これは、本発明が、合成用元画像の画素値に依存しない合成手法を用いていることから得られる利点を生かした構成である。

［７］また、本発明の一態様による合成画像生成プログラムは、入力される複数の合成用元画像の、合成画像における配置を決定する配置決定過程と、前記合成画像上の各位置において各々の前記合成用元画像が存在するか否かを表わすキー画像情報に基づき、前記位置における前記複数の合成用元画像の混合比を表わし、前記合成用元画像同士の重複部分において値が連続的に変化する合成キー画像情報を生成するキー生成過程と、前記合成キー画像情報を用いて前記複数の合成用元画像を合成することにより合成画像を生成する合成処理過程と、の各過程の処理をコンピュータに実行させる。

本発明の合成画像生成装置および合成画像生成プログラムによれば、接合線部分での色調・階調の不自然な変化がなく、接合部分の目立たない合成画像を作成する場合に、接合線の探索などといった計算負荷の大きい処理を必要としない。また、接合部分付近での解像度の低下を起こすこともない。また、画像が存在しない領域の近くにおいても画像の濃度が落ち込むことがなく、良好な合成画像を得ることができるようになる。

以下、図面を参照しながら本発明の最良の実施形態について説明する。
図１は、本実施形態による合成画像生成装置の機能構成を示すブロック図である。この合成画像生成装置１０は、入力される複数の静止画像あるいは動画像（以降，両者を合わせて画像と呼ぶ）を用いてパノラマ合成画像を作成するものである。図示するように、合成画像生成装置１０は、入力画像（静止画像または動画像）１〜Ｎの入力を受け付けるようになっている。そして、合成画像生成装置１０は、入力画像１に対して、幾何学変換および濃度・色調整部（幾何学変換部）１１−１と、合成用元画像１３−１を記憶する記憶部と、キー画像（キー画像情報）１５−１を記憶する記憶部と、キー生成部１７−１と、合成キー乗算部１９−１とを備えた構成となっている。また、合成画像生成装置１０は、入力画像２〜Ｎに対してもそれぞれ、上記の入力画像１に対する処理の構成と同様の構成を備えている。そして、加算部２１が、Ｎ個の合成キー乗算部１９−１，１９−２，・・・，１９−Ｎから出力された画像を加算してパノラマ合成画像を出力する構成となっている（合成キー乗算部１９−１，１９−２，・・・，１９−Ｎと加算部２１をあわせたものが合成処理部）。

図１に示す各画像はｘｙ平面上の画像であり、それぞれ、座標（ｘ，ｙ）における画素値が記憶部に記憶されている。なお、記憶部は例えば半導体メモリや磁気ハードディスク装置を用いて実現する。そして、例えば、合成用元画像１３−１の座標（ｘ，ｙ）における画素値はｄ_１（ｘ，ｙ）で表わされ、キー画像１５−１の画素値はｅ_１（ｘ，ｙ）で表わされ、キー生成部１７−１からの出力される合成キー画像の画素値はｋ_１（ｘ，ｙ）で表わされ（合成キー画像情報）、加算部２１から出力されるパノラマ合成画像の画素値はＰ（ｘ，ｙ）で表わされる。入力画像２〜Ｎの各系列の画像についても同様である。

次に、この合成画像生成装置１０による処理の手順を説明する。
まず、幾何学変換および濃度・色調整部１１−１，１１−２，・・・，１１−Ｎは、それぞれ、入力画像１，２，・・・，Ｎの入力を受け、この入力画像を幾何学変換して張り合わせる位置を合わせる。この幾何学変換とは、例えば画像のｘ軸方向あるいはｙ軸方向への平行移動や、ｘ軸方向あるいはｙ軸方向への拡大または縮小や、任意の角度での回転などである。また、幾何学変換および濃度・色調整部１１−１、１１−２、・・・、１１−Ｎは、それぞれ、その際，色調を統一するために，濃度・色調整を行う。なお、この段階での濃度・色調整では、画像の全体的な色調の統一を行うものの、画像を張り合わせるつなぎ目（境い目）部分での調整までは行なえない。このようにして、合成用元画像１３−１、１３−２、・・・、１３−Ｎが出来上がる。これらの画像はそれぞれ、ｄ_１（ｘ，ｙ），ｄ_２（ｘ，ｙ），・・・，ｄ_Ｎ（ｘ，ｙ）で表わされる。

幾何学変換および濃度・色調整部１１−１，１１−２，・・・，１１−Ｎは、上記の処理にあわせて、キー画像１５−１，１５−２，・・・，１５−Ｎも、それぞれ作成する。これらのキー画像は、それぞれｅ_１（ｘ，ｙ），ｅ_２（ｘ，ｙ），・・・，ｅ_Ｎ（ｘ，ｙ）で表わされる。但し、ｄ_ｔ（ｘ，ｙ）（但し、１≦ｔ≦Ｎ）において、画像が存在する領域（図１においては、合成用元画像内のパターンが塗られている領域）ではｅ_ｔ（ｘ，ｙ）の値は１、画像が存在しない領域（図１においては、合成用元画像内のパターンが塗られていない領域）ではｅ_ｔ（ｘ，ｙ）の値は０である。
なお、モノクロ画像の場合、画素値ｄ_ｔ（ｘ，ｙ）はグレースケールを表わし、黒のときに最低値（ゼロ）をとり、白のときに最高値をとる。カラー画像の場合、画素値ｄ_ｔ（ｘ，ｙ）はＲ（赤）・Ｇ（緑）・Ｂ（青）の各原色の明度を表わす値であり、黒のときはゼロとなる。
モノクロの場合もカラーの場合も、画像が存在しない領域については、ｄ_ｉ（ｘ，ｙ）の値はゼロ（黒）である。

加算部２１は、合成用元画像１３−１，１３−２，・・・，１３−Ｎを重ね合わせることによってパノラマ合成画像を生成するが、その際、キー生成部１７−１，１７−２，・・・，１７−Ｎによって生成されるそれぞれの合成キー画像の値ｋ_１（ｘ，ｙ），ｋ_２（ｘ，ｙ），・・・，ｋ_Ｎ（ｘ，ｙ）を、それぞれの合成用元画像の画素値ｄ_１（ｘ，ｙ），ｄ_２（ｘ，ｙ），・・・，ｄ_Ｎ（ｘ，ｙ）に乗算してから、これらを足し合わせることによって、パノラマ合成画像の画素値Ｐ（ｘ，ｙ）を算出する。合成キー画像の値ｋ_１（ｘ，ｙ），ｋ_２（ｘ，ｙ），・・・，ｋ_Ｎ（ｘ，ｙ）の求め方については後述するが、これらの値が各合成用元画像の濃度を調整する作用をする。
加算部２１によって生成されるパノラマ合成画像の画素値Ｐ（ｘ，ｙ）は、式では、下の式（１）のように表わされる。

なお、合成キー画像の値ｋ_１（ｘ，ｙ），ｋ_２（ｘ，ｙ），・・・，ｋ_Ｎ（ｘ，ｙ）の範囲は、０以上で１以下である。
つまり、合成キー画像の値ｋ_１（ｘ，ｙ），ｋ_２（ｘ，ｙ），・・・，ｋ_Ｎ（ｘ，ｙ）が、座標（ｘ，ｙ）における各合成用元画像の混合比を表わしている。例えば、座標（ｘ，ｙ）合成用元画像１３−１の混合比は、ｋ_１（ｘ，ｙ）である。他の合成用元画像についても同様である。なお、ｋ_１（ｘ，ｙ）＋ｋ_２（ｘ，ｙ）＋・・・＋ｋ_Ｎ（ｘ，ｙ）＝１となるように、合成キー画像の値は正規化されている。

そして例えば、キー生成部１７−１は、全てのキー画像１５−１，１５−２，・・・，１５−Ｎの値（それぞれ、ｅ_１（ｘ，ｙ），ｅ_２（ｘ，ｙ），・・・，ｅ_Ｎ（ｘ，ｙ））を入力として、合成用元画像１３−１用の合成キー画像を生成する。同様に、キー生成部１７−２，・・・，１７−Ｎの各々は、全てのキー画像１５−１，１５−２，・・・，１５−Ｎの値を入力として、自合成用元画像用の合成キー画像を生成する。この合成キー画像の値は、式では、下の式（２）のように表わされる。

但しここで、１≦ｔ≦Ｎであり、Ｎｅ（ｘ，ｙ）は座標（ｘ，ｙ）の近傍を表わす。また、ｐ_ｔ（ｉ，ｊ）およびｑ_ｔ（ｉ，ｊ）は、それぞれ下の式（３）および式（４）で表わされる。

ここで、Ｄ_ｔ（ｉ，ｊ）は、座標（ｉ，ｊ）において、キー画像１５−ｔ（その値はｅ_ｔ（ｉ，ｊ））に、他のキー画像がいくつ重複しているかを表わす重複度の値である。このＤ_ｔ（ｉ，ｊ）は、下の式（５）で表わされる。

つまり、式（５）が表わすように、座標（ｉ，ｊ）において、合成用元画像１３−ｔ（この符号「１３−ｔ」は、「１３−１」，「１３−２」，・・・，「１３−Ｎ」のうちの特定のいずれか１つを表わす。以下においても同様。）のみが存在しているならばＤ_ｔ（ｉ，ｊ）＝１であり、合成用元画像１３−ｔも含めて他の合成用元画像が存在しているならば合成用元画像１３−ｔも含めた合成用元画像の数がＤ_ｔ（ｉ，ｊ）となる。例えば、合成用元画像１３−ｔと他の１個の合成用元画像だけが存在しているならばＤ_ｔ（ｉ，ｊ）＝２である。但し、座標（ｉ，ｊ）に合成用元画像１３−ｔが存在しない（つまり、ｅ_ｔ（ｉ，ｊ）＝０）ならば、他の合成用元画像が存在するか否かに関わらずＤ_ｔ（ｉ，ｊ）＝０である。

つまり、式（２）が表わすように、合成用元画像１３−ｔ用の合成キー画像の値ｋ_ｔ（ｘ，ｙ）は、座標（ｘ，ｙ）に合成用元画像１３−ｔが存在する場合には、座標（ｘ，ｙ）の近傍（但し合成用元画像１３−ｔが存在する領域のみ）における各座標での画像の重複度の逆数の平均値となっている。なお、座標（ｘ，ｙ）に合成用元画像１３−ｔが存在しない場合には、合成キー画像の値ｋ_ｔ（ｘ，ｙ）はゼロである。また、近傍において合成用元画像１３−ｔのみが存在している（つまり、合成用元画像１３−ｔに対応するキー画像ｅ_ｔ（ｉ，ｊ）の値が１で、その他のキー画像の値が０）ような座標（ｘ，ｙ）では、合成キー画像の値ｋ_ｔ（ｘ，ｙ）は１．０となる。近傍において合成用元画像１３−ｔおよび他の合成用元画像が存在しているような座標（ｘ，ｙ）では、合成キー画像の値ｋ_ｔ（ｘ，ｙ）は、式（２）に従って０より大きく１より小さい値となる。

式（２）における近傍Ｎｅ（ｘ，ｙ）をどの程度の範囲とするかは適宜決めればよい。座標（ｘ，ｙ）から一定距離の範囲内（この場合、範囲は円形）を近傍としてもよいし、円形以外の範囲としてもよい。なお、この近傍の範囲を広く取ると接合点付近での色調および階調の変化がなめらかになり、近傍の範囲を狭く取ると色調および階調の変化は比較的急になる。なお、本実施形態では近傍Ｎｅ（ｘ，ｙ）の範囲の大きさ及び形状は、座標（ｘ，ｙ）に依らず一定としている。概ね、合成用元画像同士の重複領域の半分ぐらいを近傍の範囲とすると、良好な結果が得られることが発明者らの実験によりわかっている。重複領域の半分ぐらいとは、例えば３０％〜７０％の範囲内であることが好ましい。また、例えば、４０％〜６０％の範囲内であるとより一層好ましい。
式（２）〜式（５）に表わしたように、合成キー画像の値ｋ_１（ｘ，ｙ），ｋ_２（ｘ，ｙ），・・・，ｋ_Ｎ（ｘ，ｙ）は、合成用元画像同士の重なり具合によるものであって、言い換えれば重複領域における各々の合成用元画像の境界線からの距離に依存するものであって、画素値（濃度（カラー画像の場合には各原色の濃度））には全く依存していない。つまり、キー生成部１７−２，・・・，１７−Ｎは画素値を全く使用せずに少ない計算量で合成キー画像を生成できる。

式（２）〜式（５）で表わされる合成キー画像についてまとめると、まず、合成キー画像の値は、前記合成用元画像の重複度値の境界線から前記位置までの距離に応じた混合比を表わす。また、合成キー画像の値は、合成用元画像の重複度値に応じた混合比を表わす。そして、合成キー画像の値は、画素の位置の所定の近傍の領域における合成用元画像の重複度値の逆数の平均値に応じた混合比を表わす。
また、式からもわかるように、上記の重複度値の逆数の平均値を算出する際、画素の位置の所定の近傍の領域からは合成用元画像が存在しない領域を除外している。これにより、前記近傍に画像が存在しない領域を含むような場合にも画像が存在しない領域が混合比に影響しない。つまり、画像が存在しない領域に近い場所で、画像の濃度を落とすことを防ぎながら、パノラマ合成画像を得ることができるという効果がある。

次に、Ｎ＝３の場合のキー生成部１７−１の具体的動作例について説明する。
図２は、キー画像１５−１，１５−２，１５−３を基にキー生成部１７−１が合成キー画像を生成する動作例を示す概略図である。

この図において、丸数字「１」で示す領域は自合成用元画像のみが存在し（キー生成部１７−１にとっては、合成用元画像１３−１が自合成用元画像であり、キー画像１５−１が自合成用元画像用のキー画像である）、他の合成用元画像が重複していない領域である。丸数字「２」で示す領域は自合成用元画像が合成用元画像１３−２のみと重複している領域である。丸数字「３」で示す領域は自合成用元画像が合成用元画像１３−３のみと重複している領域である。丸数字「４」で示す領域は自合成用元画像が合成用元画像１３−２および１３−３と重複している領域である。
丸数字「１」で示す領域内ではＤ_１（ｉ，ｊ）＝１であり、丸数字「２」で示す領域内あるいは丸数字「３」で示す領域内ではＤ_１（ｉ，ｊ）＝２であり、丸数字「４」で示す領域内ではＤ_１（ｉ，ｊ）＝３であり、その他の領域ではＤ_１（ｉ，ｊ）＝０である。

キー生成部１７−１は、このようなＤ_１（ｉ，ｊ）を用いて合成キー画像を生成するが、ここで重要なことは、自合成用元画像がある部分と無い部分とを切り分けて処理している点である。これは、前記の式（３）および式（４）において、Ｄ_ｔ（ｉ，ｊ）＝０の場合には、それぞれｐ_ｔ（ｉ，ｊ）およびｐ_ｔ（ｉ，ｊ）の値が０となっていることに対応している。これにより、式（２）を用いて画像の重複度の逆数の平均値を求める際に、Ｎｅ（ｘ，ｙ）に含まれる領域のうち自合成用元画像がない領域を除外している。仮に自合成用元画像の無い部分も加算して平均値を求める処理をしてしまうと画像の無い部分との接合線近辺において自合成用元画像用の合成キー画像のキーレベルが下がってしまうが、本実施形態の手法では、画像同士の接合線のみ滑らかにし、それ以外の部分の画像濃度のレベルは元の値を維持する特徴がある。

以上、入力画像を基にパノラマ合成画像を生成するまでの処理手順を説明したが、この手法は入力画像が静止画像の場合だけでなく動画像の場合にも適用可能である。入力画像が動画像の場合にも、各々の入力画像に基づいてキー画像（１５−１，１５−２，・・・，１５−Ｎ）を生成し、それらすべてのキー画像に基づいて各々のキー生成部（１７−１，１７−２，・・・，１７−Ｎ）が合成キー画像を生成する点は、入力画像が静止画像の場合と変わりはない。本実施形態の手法の特徴は、前述の通り、合成キー画像は画素値には全く依存せずに、式（２）〜式（５）で表わした計算のみによって合成キー画像が求められることにある。よって、入力画像が動画像の場合にも、各入力画像に対応する合成キー画像を１回だけ作成して合成キー画像記憶部に保存しておき、それを読み出して動画像のすべてのコマに共通して使用すればよく、動画像のコマごとに合成キー画像を作成する必要はない。よって、入力動画像を基にパノラマ合成画像を生成する場合、各コマの画素値に依存した合成を行なう手法と比べると、合成画像の生成に要する計算量は格段に少なく済む。

次に、別の合成キー画像の例を説明する。
図３は、合成画像生成装置１０が、複数の合成用元画像を基にパノラマ合成画像を生成する際の各合成用元画像の配置を示す概略図である。この図において、符号５１，５２，５３はそれぞれ合成用元画像であり、これら３枚の合成用元画像は互いにその一部が重複して配置されている。符号５５は、近傍画素の範囲を表わす円（点線で示す）であり、この円５５の中心を（ｘ，ｙ）とするときに前記の式（２）に現れるＮｅ（ｘ，ｙ）はこの円５５の内側の範囲である。Ａ〜Ｇはそれぞれ、説明のために便宜上設けている区間であり、パノラマ合成画像を横切る線Ｘ−Ｘ’（一点鎖線で示す）上の各区間で合成用元画像の重なり方が異なっている。区間Ａでは合成用元画像は存在せず、区間Ｂでは合成用元画像５１のみが存在し、区間Ｃでは合成用元画像５１と５３が重なって存在し、区間Ｄでは合成用元画像５１と５２と５３がすべて重なって存在し、区間Ｅでは合成用元画像５２と５３が重なって存在し、区間Ｆでは合成用元画像５２のみが存在し、区間Ｇでは合成用元画像が存在しない。

図４は、図３に示した合成用元画像５１〜５３の配置に対応する合成キー画像の画素値を表わすグラフである。図４における（ａ）は、合成用元画像５１に対応する合成キー画像ｋ_１（ｘ，ｙ）の値を表わすグラフである。同じく（ｂ）は、合成用元画像５２に対応する合成キー画像ｋ_２（ｘ，ｙ）の値を表わすグラフである。同じく（ｃ）は、合成用元画像５３に対応する合成キー画像ｋ_３（ｘ，ｙ）の値を表わすグラフである。これら（ａ）〜（ｃ）のグラフはいずれも、図３に示した一点鎖線Ｘ−Ｘ’上における合成キー画像値の変化を表わし、横軸は座標ｘであり、縦軸は合成キー画像値である。

まず図４（ａ）に示すように、合成キー画像ｋ_１（ｘ，ｙ）の値は区間Ａにおいては、合成用元画像５１が存在しないため、０である。区間Ｂにおいては合成用元画像５１のみが存在するためｋ_１（ｘ，ｙ）は１である。区間Ｃにおいては合成用元画像５１に合成用元画像５３が重なるため、ｘが増加するにつれて、ｋ_１（ｘ，ｙ）は、滑らかなカーブを描きながら１から徐々に減少し０．５（重複度「２」の逆数）まで達してからは０．５を維持する。区間Ｄにおいては、さらに合成用元画像５２が重なるため、ｋ_１（ｘ，ｙ）は、０．５から徐々に減少し約０．３３（重複度「３」の逆数）まで達し、さらに区間Ｄの右端にかけて徐々に減少し０に達する。区間Ｅ〜Ｆにおいては合成用元画像５１が存在しないため、合成キー画像ｋ_１（ｘ，ｙ）の値は０である。

次に、図４（ｂ）に示すように、合成キー画像ｋ_２（ｘ，ｙ）の値は区間Ａ〜Ｃにおいては、合成用元画像５２が存在しないため、０である。区間Ｄにおいては、合成用元画像５２が存在するとともに、合成用元画像５１および５３とも重なっているため、ｋ_２（ｘ，ｙ）の値は０から滑らかなカーブを描きながら徐々に増加し約０．３３（重複度「３」の逆数）まで達し、合成用元画像５１の存在範囲は区間Ｄの右端までであるため、さらにｋ_２（ｘ，ｙ）は徐々に増加し０．５（重複度「２」の逆数）に達する。区間Ｅ内の左半分の領域では、ｋ_２（ｘ，ｙ）は０．５を維持する。合成用元画像５３の存在範囲は区間Ｅの右端までであるため、区間Ｅ内の右半分の領域においてｋ_２（ｘ，ｙ）は０．５から徐々に増加し１に達する。区間Ｆにおいては、合成用元画像５２のみが存在するため、ｋ_２（ｘ，ｙ）は１である。区間Ｇでは合成用元画像５２が存在しないため、ｋ_２（ｘ，ｙ）の値は０である。

次に、図４（ｃ）に示すように、合成キー画像ｋ_３（ｘ，ｙ）の値は区間Ａ〜Ｂにおいては、合成用元画像５３が存在しないため、０である。区間Ｃにおいては、合成用元画像５３が存在するとともに、合成用元画像５１が重なっているため、ｋ_３（ｘ，ｙ）の値は０から滑らかなカーブを描きながら徐々に増加し０．５（重複度「２」の逆数）まで達してからは０．５を維持する。区間Ｄにおいては、合成用元画像５３が存在するとともに、合成用元画像５１の存在範囲は区間Ｄの右端までであり、合成用元画像５２の存在範囲は区間Ｄの左端までである。よって、ｋ_３（ｘ，ｙ）の値は、区間Ｄの両端において０．５で、区間Ｄの中央付近で約０．３３（重複度「３」の逆数）で、それらの間で滑らかに変化している。区間Ｅにおいては合成用元画像５３が合成用元画像５２のみと重なっているため、区間Ｅの左半分の領域ではｋ_３（ｘ，ｙ）は０．５（重複度「２」の逆数）を維持する。そして、区間Ｅの右端までが合成用元画像５３の存在範囲であるため、ｋ_３（ｘ，ｙ）は、区間Ｅの右半分で徐々に減少し区間Ｅの右端で０に達する。区間Ｆ〜Ｇにおいては、合成用元画像５３が存在しないため、ｋ_３（ｘ，ｙ）は０である。

ここではｘ軸方向の合成キー画像値の変化を説明し、ｙ軸方向や斜め方向については説明を省略したが、各方向についても同様のことが言える。

以上のように、本実施形態で用いる合成キー画像の第１の特徴は、座標のみに依存し、合成用元画像の画素値には全く依存しないことである。さらに言えば、合成キー画像は合成用元画像の重複度が変化する変化点（つまり、合成用元画像の領域の境界線）からの距離に依存して変化することである。このようにすることにより、少ない計算量で、自然な感じの合成画像を生成することができる。

また、第２の特徴は、重複度値の逆数が基準となることである。例えば、図４（ａ）の区間Ｂでは、重複度が１であるため、ｋ_１（ｘ，ｙ）は１となっている。また例えば、図４（ｂ）の区間Ｅの左半分の領域では、重複度が２であるため、ｋ_２（ｘ，ｙ）は０．５となっている。また例えば、図４（ｃ）の区間Ｄの中央付近では、ｋ_３（ｘ，ｙ）は約０．３３となっている。
なお、上記の第２の特徴にも関連するが、合成用元画像が１つ以上存在している領域内のある座標における合成キー画像の値の合計値は、１．０で固定されているか、１．０に近い値であることが好適である。

また、第３の特徴は、上記のように重複度値の逆数を基準としながら、合成キー画像の値が滑らかに変化することである。このようにすることにより、合成用元画像のつなぎ目が見えにくく、合成用元画像が重複している領域においても自然な感じの合成画像を生成することができる。但し、重複度が０から１に変化する点においてはこの限りではなく、合成キー画像が不連続的に変化していてもよい。
なお、合成キー画像の値が滑らかに変化するとは、例えば、１つ以上の合成用元画像の存在する領域において、合成キー画像の値ｋ_ｔ（ｘ，ｙ）がｘｙ平面において連続であり、且つ合成キー画像の値ｋ_ｔ（ｘ，ｙ）がｘｙ平面における任意の方向での微分値が連続である場合などである。式（２）で表わした合成キー画像や、図４（ａ）〜（ｃ）で例示した合成キー画像は、これらの条件を満たすものである。このような合成キー画像を得る方法としては、式（２）を用いることによる他、例えば、重複度値の逆数を基準としながら、それらの基準点を通るようなｘおよびｙのｎ次関数（ｎは、例えば、２や３など）を領域ごとに得て、それらを複数つなぎ合わせる方法でもよい。

なお、上述した実施形態における合成画像生成装置の全体あるいは一部の機能をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、コンピュータや、ハードウェアで実現されたロジックや、画像処理専用プロセッサなどに適宜機能を分担させるようにして、これらを組み合わせて実現してもよい。
また、合成用元画像や、キー画像や、合成キー画像や、作成されたパノラマ合成キー画像や、その他作成過程で必要な中間的な計算結果などは、適宜、記憶部に記録される。この記憶部は、例えば、半導体メモリや磁気ハードディスク装置や光磁気ディスク装置などを用いて実現される。幾何学変換および濃度・色調整部１１−１，１１−２，・・・，１１−Ｎや、キー生成部１７−１，１７−２，・・・，１７−Ｎや、合成キー乗算部１９−１，１９−２，・・・，１９−Ｎや、加算部２１などは、適宜、これら各画像などの情報を記憶部から読み出したり、記憶部に書き込んだりする。
コンピュータを用いて実現する場合、ＣＰＵから直接アドレッシング可能なメモリ空間上の記憶部を用いてもよいし、入出力インタフェースを経由した外部記憶装置を記憶部として用いてもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
例えば、上記の実施形態では、合成用元画像のデータ（ｄ_ｔ（ｘ，ｙ））とキー画像のデータ（ｅ_ｔ（ｘ，ｙ））を別々に扱っていたが、合成用元画像のデータのみを用いて、合成用元画像のデータがゼロか否かによって、キー画像のデータと同等の情報を表わすようにしてもよい。また、合成用元画像のデータとキー画像のデータの値の表現を適切に設計することによって、全体として両者の記憶に要する記憶容量を削減するようにしてもよい。

上記の実施形態で用いた手法（特に合成キー生成の処理）は、パノラマ画像合成だけでなく、複数の画像の合成に適用することが出来る。適用範囲は広いが、例えば、航空機から地表を撮影した航空写真や人工衛星から地表を撮影した衛星写真などを複数接合して広域の写真を作成することなどに適用できる。また、何らかの量的なレベルの異なるものを滑らかに接合することが出来るので、造形物の滑らかな接合にも適用することが出来る。

本発明の実施形態による本実施形態による合成画像生成装置の機能構成を示すブロック図である。 同実施形態によるキー画像（１５−１，１５−２，１５−３）を基にキー生成部（１７−１）が合成キー画像を生成する動作例を示す概略図である。 同実施形態により、複数の合成用元画像を基にパノラマ合成画像を生成する際の各合成用元画像の配置を示す概略図である。 図３に示した複数の合成用元画像の配置に対応する合成キー画像の画素値を表わすグラフである。

符号の説明

１０ 合成画像生成装置
１１−１，１１−２，・・・，１１−Ｎ 幾何学変換および濃度・色調整部（幾何学変換部）
１３−１，１３−２，・・・，１３−Ｎ 合成用元画像
１５−１，１５−２，・・・，１５−Ｎ キー画像（キー画像情報）
１７−１，１７−２，・・・，１７−Ｎ キー生成部
１９−１，１９−２，・・・，１９−Ｎ 合成キー乗算部（合成処理部の一部）
２１ 加算部（合成処理部の一部）

Claims (7)

1. 入力される複数の合成用元画像の、合成画像における配置を決定する配置決定部と、
   前記合成画像上の各位置において各々の前記合成用元画像が存在するか否かを表わすキー画像情報に基づき、前記位置における前記複数の合成用元画像の混合比を表わし、前記合成用元画像同士の重複部分において値が連続的に変化する合成キー画像情報を生成するキー生成部と、
   前記合成キー画像情報を用いて前記複数の合成用元画像を合成することにより合成画像を生成する合成処理部と、
   を備えることを特徴とする合成画像生成装置。
2. 前記キー生成部は、前記合成画像内で複数の前記合成用元画像が重複する領域において、前記合成用元画像の重複度値の境界線から前記位置までの距離に応じた前記混合比を表わす前記合成キー画像情報を生成する
   ことを特徴とする請求項１に記載の合成画像生成装置。
3. 前記キー生成部は、前記合成画像内での前記合成用元画像の重複度値に応じた前記混合比を表わす前記合成キー画像情報を生成する
   ことを特徴とする請求項２に記載の合成画像生成装置。
4. 前記キー生成部は、前記位置の所定の近傍の領域における前記重複度値の逆数の平均値に応じた前記混合比を表わす前記合成キー画像情報を生成する
   ことを特徴とする請求項３に記載の合成画像生成装置。
5. 前記キー生成部は、前記位置の所定の近傍の領域からは前記合成用元画像が存在しない領域を除外して前記重複度値の逆数の平均値を算出する
   ことを特徴とする請求項４に記載の合成画像生成装置。
6. 入力される前記合成用元画像は動画像であり、
   前記キー生成部が生成した前記合成キー画像情報を記憶しておく合成キー画像情報記憶部をさらに備え、
   前記合成処理部は、前記合成キー画像情報記憶部から読み出した前記合成キー画像情報を用いて、動画像のコマ毎に、前記複数の合成用元画像を合成する
   ことを特徴とする請求項１から請求項５までのいずれか一項に記載の合成画像生成装置。
7. 入力される複数の合成用元画像の、合成画像における配置を決定する配置決定過程と、
   前記合成画像上の各位置において各々の前記合成用元画像が存在するか否かを表わすキー画像情報に基づき、前記位置における前記複数の合成用元画像の混合比を表わし、前記合成用元画像同士の重複部分において値が連続的に変化する合成キー画像情報を生成するキー生成過程と、
   前記合成キー画像情報を用いて前記複数の合成用元画像を合成することにより合成画像を生成する合成処理過程と、
   の各過程の処理をコンピュータに実行させる合成画像生成プログラム。

Images