JP5531865B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置及び画像処理方法及びプログラムに関する。

従来より、通行人や通過物体といった不要な動物体が含まれる画像から、当該動物体を除去したいという要望が存在する。
かかる要望に応える従来の技術として、略同一の画角で撮像した複数のフレームのデータから、画素毎の平均や多数決により動物体像のない状態を推定する技術が、特許文献１に開示されている。
また、かかる要望に応える別の従来の技術として、略同一の画角で撮像した複数のフレームのデータについて、フレーム番号をラベルとするＭＲＦ(Markov Random Field)上の多値ラベル最適化問題として解くことにより、物体の途切れを最小限に抑える技術が、非特許文献１に記載されている。

特開平１１−２２５３４４号公報 "Interactive Digital Photomontage" A. Agarwala et al. ACM SIGGRAPH, 2004

しかしながら、特許文献１に記載の技術を採用した場合、ほぼ動いていないが完全には静止していない動物体像の領域や、複数の動物体像の通行量の多い領域において、動物体像の一部が途切れて残ったり、ぼんやりした痕跡が残ってしまう。
一方、非特許文献１の技術を採用した場合は、グラフカット法を用いることで、痕跡をあまり残さずに動物体像を除去すること自体は可能になるが、計算処理が膨大になる多値ラベルのグラフカットが必要になる。

本発明は、このような状況に鑑みてなされたものであり、連続的に取得された画像を利用して、障害物となる当該動物体像を除いた、より自然な合成画像を生成するための画像処理の負担を軽くすることを目的とする。

上記目的達成のため、請求項１に記載の発明は、
時間的に連続した略同一画角の複数の画像データを取得する画像取得手段と、
前記画像取得手段により取得された複数の画像データに基づいて、画像合成のための基準画像データを生成する生成手段と、
前記生成手段により生成された基準画像データに基づいて、少なくとも二つ以上の画像データを前記画像取得手段により取得された複数の画像データから選択する選択手段と、
前記選択手段により選択された二つ以上の画像データに境界を設定する境界設定手段と、
前記境界設定手段により設定された境界に基づいて、前記選択手段により選択された二つ以上の画像データを合成する合成手段と
を備えることを特徴とする画像処理装置を提供する。
また、請求項２に記載の発明は、
前記生成手段は、前記複数の画像データに撮像された動体の影響が当該複数の画像データよりも少ない基準画像データを生成することを特徴とする。
また、請求項３に記載の発明は、
前記生成手段は、前記画像取得手段により取得された複数の画像データの各画素の平均値又は中央値を算出することにより、前記基準画像データを生成することを特徴とする。
また、上記目的達成のため、請求項４に記載の発明は、
時間的に連続した略同一画角の複数の画像データを取得する画像取得手段と、
画像合成のための基準画像データを取得する基準画像取得手段と、
前記基準画像取得手段により取得された基準画像データに基づいて、合成の結果の画像が前記基準画像データの画像に類似すると判断できる少なくとも二つ以上の画像データを前記画像取得手段により取得された複数の画像データから選択する選択手段と、
前記選択手段により選択された二つ以上の画像データに境界を設定する境界設定手段と、
前記境界設定手段により設定された境界に基づいて、前記選択手段により選択された二つ以上の画像データを合成する合成手段と
を備えることを特徴とする画像処理装置を提供する。

また、請求項５に記載の発明は、
前記選択手段は、
合成の結果の画像が前記基準画像データの画像に最も類似するような少なくとも二つ以上の画像データを選択することを特徴とする。
また、請求項６に記載の発明は、
前記選択手段により選択された画像データ間の相違度を、各画像データ中の隣接する画素に対して算出する第１の相違度算出手段と、
前記選択手段により選択された二つ以上の画像データの前記基準画像データに対する相違度を算出する第２の相違度算出手段と、
前記第１の相違度算出手段により算出された相違度と前記第２の相違度算出手段により算出された相違度とを変数とする関数を設定する関数設定手段と、
を更に備え、
前記境界設定手段は、前記関数設定手段により設定された関数が最小の値となるように、選択された二つ以上の画像データに境界を設定する
ことを特徴とする。

また、上記目的達成のため、請求項７に記載の発明は、
時間的に連続した略同一画角の複数の画像データを取得する画像取得手段と、
画像合成のための基準画像データを取得する基準画像取得手段と、
前記基準画像取得手段により取得された前記基準画像データに画素値が類似した少なくとも一つの画像データを、前記画像取得手段により取得された複数の画像データから選択する第１の選択手段と、
合成結果の画像が前記基準画像データの画像に更に類似した画像となるような前記第１の選択手段により選択された画像データとは異なる画像データを、前記画像取得手段により取得された複数の画像データから少なくとも一つ選択する第２の選択手段と、
前記第１の選択手段及び前記第２の選択手段により選択された二つ以上の画像データに境界を設定する境界設定手段と、
前記境界設定手段により設定された境界に基づいて、前記二つ以上の画像データを合成する合成手段と、
を備えることを特徴とする画像処理装置を提供する。

また、請求項８に記載の発明は、
前記第１の選択手段及び前記第２の選択手段により選択された画像データ間の相違度を、各画像データ中の隣接する画素に対して算出する第１の相違度算出手段と、
前記第１の選択手段及び前記第２の選択手段により選択された二つ以上の画像データの前記基準画像データに対する相違度を算出する第２の相違度算出手段と、
前記第１の相違度算出手段により算出された相違度と前記第２の相違度算出手段により算出された相違度とを変数とする関数を設定する関数設定手段と、
を更に備え、
前記境界設定手段は、前記関数設定手段により設定された関数が最小の値となるように、前記二つ以上の画像データに境界を設定する
ことを特徴とする。
また、請求項９に記載の発明は、前記基準画像取得手段は、前記画像取得手段により取得された複数の画像データに基づいて、画像合成のための基準画像データを生成する生成手段を含むことを特徴とする。

また、請求項１０に記載の発明は、
時間的に連続して略同一画角で複数回撮像し、前記複数回の撮像の結果得られる画像データを出力する撮像手段をさらに備え、
前記画像取得手段は、前記撮像手段から出力された複数の画像データを、前記時間的に連続した略同一画角の複数の画像データとして取得する、
ことを特徴とする。
また、請求項１１に記載の発明は、
前記複数の画像データの情報量を小さくさせるよう加工する加工手段と、
を更に備えることを特徴とする。

また、上記目的達成のため、請求項１２に記載の発明は、
時間的に連続した略同一画角の複数の画像データを取得する画像取得ステップと、
前記画像取得ステップにより取得された複数の画像データに基づいて、画像合成のための基準画像データを生成する生成ステップと、
前記生成ステップにより生成された基準画像データに基づいて、前記画像取得ステップにて取得された複数の画像データから少なくとも二つ以上の画像データを選択する選択ステップと、
前記選択ステップにて選択された二つ以上の画像データに境界を設定する境界設定ステップと、
前記境界設定ステップにて設定された境界に基づいて、前記選択ステップにて選択された二つ以上の画像データを合成する合成ステップと
を含むことを特徴とする画像処理方法を提供する。
また、上記目的達成のため、請求項１３に記載の発明は、
時間的に連続した略同一画角の複数の画像データを取得する画像取得ステップと、
画像合成のための基準画像データを取得する基準画像取得ステップと、
前記基準画像取得ステップにより取得された基準画像データに基づいて、合成の結果の画像が前記基準画像データの画像に類似すると判断できる少なくとも二つ以上の画像データを前記画像取得ステップにて取得された複数の画像データから選択する選択ステップと、
前記選択ステップにて選択された二つ以上の画像データに境界を設定する境界設定ステップと、
前記境界設定ステップにて設定された境界に基づいて、前記選択ステップにて選択された二つ以上の画像データを合成する合成ステップと
を含むことを特徴とする画像処理方法を提供する。
また、上記目的達成のため、請求項１４に記載の発明は、
時間的に連続した略同一画角の複数の画像データを取得する画像取得ステップと、
画像合成のための基準画像データを取得する基準画像取得ステップと、
前記基準画像取得ステップにより取得された前記基準画像データに画素値が類似した少なくとも一つの画像データを、前記画像取得ステップにより取得された複数の画像データから選択する第１の選択ステップと、
合成結果の画像が前記基準画像データの画像に更に類似した画像となるような前記第１の選択ステップにより選択された画像データとは異なる画像データを、前記画像取得ステップにより取得された複数の画像データから少なくとも一つ選択する第２の選択ステップと、
前記第１の選択ステップ及び前記第２の選択ステップにより選択された二つ以上の画像データに境界を設定する境界設定ステップと、
前記境界設定ステップにより設定された境界に基づいて、前記二つ以上の画像データを合成する合成ステップと
を含むことを特徴とする画像処理方法を提供する。

また、上記目的達成のため、請求項１５に記載の発明は、
コンピュータを、
時間的に連続した略同一画角の複数の画像データを取得する画像取得手段、
前記画像取得手段により取得された複数の画像データに基づいて、画像合成のための基準画像データを生成する生成手段、
前記生成手段により生成された基準画像データに基づいて、少なくとも二つ以上の画像データを前記画像取得手段により取得された複数の画像データから選択する選択手段、
前記選択手段により選択された二つ以上の画像データに境界を設定する境界設定手段と、
前記境界設定手段により設定された境界に基づいて、前記二つ以上の画像データを合成する合成手段
として機能させるためのプログラムを提供する。
また、上記目的達成のため、請求項１６に記載の発明は、
コンピュータを、
時間的に連続した略同一画角の複数の画像データを取得する画像取得手段、
画像合成のための基準画像データを取得する基準画像取得手段、
前記基準画像取得手段により取得された基準画像データに基づいて、合成の結果の画像が前記基準画像データの画像に類似すると判断できる少なくとも二つ以上の画像データを前記画像取得手段により取得された複数の画像データから選択する選択手段、
前記選択手段により選択された二つ以上の画像データに境界を設定する境界設定手段、
前記境界設定手段により設定された境界に基づいて、前記二つ以上の画像データを合成する合成手段、
として機能させるためのプログラムを提供する。
また、上記目的達成のため、請求項１７に記載の発明は、
コンピュータを、
時間的に連続した略同一画角の複数の画像データを取得する画像取得手段、
画像合成のための基準画像データを取得する基準画像取得手段、
前記基準画像取得手段により取得された前記基準画像データに画素値が類似した少なくとも一つの画像データを、前記画像取得手段により取得された複数の画像データから選択する第１の選択手段、
合成結果の画像が前記基準画像データの画像に更に類似した画像となるような前記第１の選択手段により選択された画像データとは異なる画像データを、前記画像取得手段により取得された複数の画像データから少なくとも一つ選択する第２の選択手段、
前記第１の選択手段及び前記第２の選択手段により選択された二つ以上の画像データに境界を設定する境界設定手段、
前記境界設定手段により設定された境界に基づいて、前記二つ以上の画像データを合成する合成手段、
として機能させるためのプログラムを提供する。

本発明によれば、連続的に取得された画像を利用して、障害物となる当該動物体像を除いた、より自然な合成画像を生成できる。

本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 図１の撮像装置の画像処理部の機能的構成を示す機能ブロック図である。 図２の画像処理部の具体的な処理結果の一例を示す図である。 図２の画像処理部が主に実行する画像合成処理の流れを説明するフローチャートである。

以下、本発明の一実施形態を図面に基づいて説明する。

図１は、本発明に係る画像処理装置の一実施形態としての撮像装置１のハードウェアの構成を示すブロック図である。撮像装置１は、例えばデジタルカメラにより構成することができる。

撮像装置１は、CPU（Central Processing Unit）１１と、ROM（Read Only Memory）１２と、RAM（Random Access Memory）１３と、画像処理部１４と、バス１５と、入出力インターフェース１６と、撮像部１７と、操作部１８と、表示部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。

CPU１１は、ROM１２に記録されているプログラム、又は、記憶部２０からRAM１３にロードされたプログラムに従って各種の処理を実行する。
RAM１３にはまた、CPU１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

画像処理部１４は、DSP(Digital Signal Processor)や、VRAM(Video Random Access Memory)等から構成されており、CPU１１と協働して、画像のデータに対して各種画像処理を施す。
例えば、画像処理部１４は、後述する撮像部１７から入力される撮像画像のデータに対して、ノイズ低減、ホワイトバランス、手ぶれ補正等の画像処理を施す。
ここで、本実施形態では、撮像装置１による画像の処理単位は一枚の静止画像であり、このような処理単位としての静止画像が、本明細書では「フレーム」と呼ばれている。以下、特に断りがない限り、画像とはフレームを意味するものとする。
また、本実施形態では、画像処理部１４を含め撮像装置１により画像処理が施される場合の画像のサイズ（解像度）は、原則として、後述するリムーバブルメディア３１に記録されるサイズであるものとする。このようなサイズを、以下、「通常サイズ」と呼ぶ。
本実施形態では、画像処理部１４は、さらに、連写画像取得部４１と、画像合成部４２と、を備えている。詳細については図２を参照して後述するが、連写画像取得部４１の縮小部５１により、画像のデータのサイズが、通常サイズから、それよりも小さいサイズ、例えばQVGA（Quarter-Video Graphics Array）のサイズに縮小される。このような縮小後のサイズの画像のデータが、画像合成部４２の処理対象になる。

CPU１１、ROM１２、RAM１３、及び画像処理部１４は、バス１５を介して相互に接続されている。このバス１５にはまた、入出力インターフェース１６も接続されている。入出力インターフェース１６には、撮像部１７、操作部１８、表示部１９、記憶部２０、通信部２１、及びドライブ２２が接続されている。

撮像部１７は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮像するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、AFE（Analog Front End）等から構成される。
光電変換素子は、例えばCMOS（Complementary Metal Oxide Semiconductor）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D（Analog/Digital）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１７の出力信号として出力される。
なお、このような撮像部１７の出力信号が、本明細書では「撮像画像のデータ」と呼ばれている。従って、撮像部１７からは撮像画像のデータがフレーム単位で出力されて、CPU１１や画像処理部１４等に適宜供給される。以下、特に断りがない限り、撮像画像とはフレームを意味するものとする。

操作部１８は、各種釦等で構成され、ユーザの指示操作を受け付ける。
表示部１９は、液晶ディスプレイ等で構成され、各種画像を表示する。
記憶部２０は、DRAM（Dynamic Random Access Memory）等で構成され、画像処理部１４等から出力された画像のデータを一時的に記憶する。また、記憶部２０は、画像処理部１４等の処理に必要な各種データも記憶する。
通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。

図２は、このような撮像装置１のうち、画像処理部１４の機能的構成を示す機能ブロック図である。

図２に示すように、画像処理部１４は、連写画像取得部４１と、画像合成部４２と、を備えている。

連写画像取得部４１は、連写された結果得られる複数の画像のデータを取得する。
連写とは、撮像装置１等が時間的に連続して複数回略同一画角で撮像することをいう。
ここで、撮像装置１等と記載しているのは、連写画像取得部４１が取得する画像のデータは、撮像装置１の撮像部１７から出力された撮像画像のデータである必要は特になく、他の撮像装置により撮像された画像のデータでもよいからである。ただし、ここでは説明の簡略上、撮像装置１が固定された状態で、撮像部１７が連写した結果得られる複数の撮像画像のデータが、連写画像取得部４１によって取得されるものとする。
なお、連写のタイミングは、連写画像取得部４１の取得タイミングよりも前であれば足り、連写画像取得部４１の取得タイミングの直前である必要は特にない。
また、本実施形態では、連写された結果得られる複数の画像のデータのサイズは、通常サイズであるものとする。

連写画像取得部４１は、縮小部５１を備えている。
縮小部５１は、連写画像取得部４１により取得された複数の画像のデータのサイズ（解像度）を、通常サイズから、それよりも小さなサイズ（例えばQVGAサイズ）に縮小する。

以下、このようにして縮小部５１により縮小された複数の画像データの各々を「縮小化連写データ」と呼び、各縮小連写データの各々を個々に区別すべく、P[i]の符号を用いる。ここで、iは、連写画像取得部４１により取得された複数の画像のデータの各々に対して一意に付された番号（以下、「フレーム番号」と呼ぶ）を示している。連写画像取得部４１によりn枚（nは２以上の整数値）の複数の画像データが取得された場合には、i=1乃至nのうちの何れかのフレーム番号を示している。即ち、縮小化連写データP[i]とは、フレーム番号iの画像のデータの縮小データを指す。

なお、縮小部５１は、連写画像取得部４１にとって必須な構成要素ではない。
しかしながら、本発明の目的の１つ、即ち、連続的に取得された画像を利用して、障害物となる当該動物体像を除いた、より自然な合成画像を生成するための画像処理の負担を軽くするという目的の達成のためには、後述する画像合成部４２の計算処理の負担を少しでも抑制することが必要である。
そこで、本実施形態では、後述する画像合成部４２は、連写画像取得部４１により取得された複数の画像のデータ（通常サイズのデータ）をそのまま用いるのではなく、データ容量が小さくなった縮小化連写データP[1]乃至P[n]を用いることによって、計算処理の負担を抑制するようにしている。このため、本実施形態では、縮小部５１が連写画像取得部４１に設けられているのである。
その他、縮小部５１が設けられている理由は、画像合成部４２が縮小後の画像データを用いることにより、連写画像取得部４１により取得された複数の画像のデータが三脚不使用で撮像されたものである場合等に生ずる位置ズレがさほど問題にならないからである。もちろん、必要に応じて画像の幾何変換による位置合わせを行ってもよく、そのほうがより良い結果となる。

画像合成部４２は、縮小化連写データP[1]乃至P[n]から、合成対象の複数の画像のデータを選択して取得する。画像合成部４２は、合成対象の複数の画像のデータ夫々を分割するための境界を設定する。画像合成部４２は、合成対象の複数の画像のデータの夫々を境界に沿って分割し、分割後の各画像のデータのうち一部のデータを、境界に沿って繋げるように合成することで、合成画像のデータを生成する。
画像合成部４２は、この境界を適切に設定することによって、連写により得られた複数の画像の少なくとも一部に含まれる障害物である動物体像が除去された合成画像のデータを生成することが可能になる。

画像合成部４２は、このような一連の処理を実行して、合成画像のデータを生成すべく、基準画像生成部６１と、基準最近似画像選択部６２と、相補画像選択部６３と、２値ラベリング部６４と、合成部６５と、を備えている。

図３は、このような機能的構成を有する画像合成部４２の処理結果の具体例を示している。
具体的には、図３（Ａ）は、基準画像生成部６１、基準最近似画像選択部６２、及び、相補画像選択部６３の各処理結果の具体例を示している。
図３（Ｂ）及び図３（Ｃ）は、２値ラベリング部６４及び合成部６５の各処理結果（途中結果含む）の具体例を示している。
以下、図３を適宜参照しつつ、画像合成部４２の機能的構成について説明する。

基準画像生成部６１は、縮小化連写データP[1]乃至P[n]に基づいて、画像合成の基準となる基準画像Bのデータを生成する。
基準画像Bのデータ生成手法は、移動物体像がある程度除去できる手法であれば足り、例えば、各画素毎、色成分毎に縮小化連写データP[1]乃至P[n]のメディアンや平均をとる等の一般的な手法を採用することができる。あるいはまた、各画素毎に、他のフレームとの各画素の距離（差分絶対値や差分二乗）の総和が最小となるようなフレームのデータを探して、そのフレームの画素値をとることによって基準画像Bのデータを生成する手法を採用することもできる。
基準画像Bは、障害物である動物体像はかなり除去されているが、ぼんやりした痕跡は残るので、最終出力の画像としては不適であるため、本実施形態では、最終出力を推定するための基準として用いられるのである。ここでは例えば、図３（Ａ）に示す画像９３のデータが基準画像Bのデータとして生成されたものとする。

基準最近似画像選択部６２は、本実施形態では、縮小化連写データP[1]乃至P[n]から、合成対象の１つとして、基準画像Bのデータに画素値が最も近い画像のデータを選択して取得する。このようにして、基準最近似画像選択部６２により合成対象の１つとして選択される画像のデータを、以下、「基準最近似画像のデータ」と呼ぶ。
ただし、合成対象の１つである基準最近似画像と、合成対象の別の１つの画像（後述の相補画像）とが合成された結果として、基準画像に最も近い合成画像が得られれば足りるため、基準最近似画像は、必ずしも基準画像Bと最近似である必要はない。以下では、縮小化連写データP[1]乃至P[n]のうち、フレーム番号pの縮小化連写データP[p]が、基準最近似画像のデータとして選択されるものとする。
この場合、フレーム番号pは、次の式（１）によって得られる。
式（１）において、Σ内のd(α,β)は、画素値αと画素値βとの相違度を出力する関数を示している。ここで、画素値αとしては、基準画像Bの画素uの画素値が採用されている。画素値βとしては、縮小化連写データP[i]を構成する画素値のうち、略同一画素uの画素値が採用されている。ここで、相違度としては、輝度の差分絶対値や、色成分の差分絶対値の総和あるいは差分二乗の総和などを採用することができる。
このような式（１）によれば、相違度を全画素について総和した値が最も小さくなるフレームのフレーム番号iが、基準最近似画像のデータP[p]のフレーム番号pとして得られることになる。
ここでは例えば、図３（Ａ）に示す画像９１のデータが基準最近似画像のデータP[p]として取得されたものとする。

相補画像選択部６３は、本実施形態では、縮小化連写データP[1]乃至P[n]から、基準最近似画像のデータP[p]と組み合わせて最適に切り貼りした時に、基準画像Bのデータに最も近づけることのできる相補画像のデータを選択して取得する。このようにして、基準最近似画像選択部６２により合成対象の１つとして選択される画像のデータを、以下、「相補画像のデータ」と呼ぶ。以下では、縮小化連写データP[1]乃至P[n]のうち、フレーム番号qの縮小化連写データP[q]が、相補画像のデータとして選択されるものとする。
この場合、フレーム番号qは、次の式（２）によって得られる。
式（２）において、Σ内のd(Ａ,Ｂ)は、パラメータＡとパラメータＢとのうちの最小値を出力する関数を示している。このような式（２）によれば、各画素毎に、縮小化連写データP[i]または基準最近似画像のデータP[p]のいずれかと基準画像Bのデータとの相違度が比べられる。そして、これらの相違度のうち小さい方を総和した値が最も小さくなるようなフレームのフレーム番号iが、相補画像のデータP[q]のフレーム番号qとして得られることになる。
ここでは例えば、図３（Ａ）に示す画像９２のデータが相補画像のデータP[q]として取得されたものとする。

２値ラベリング部６４は、基準最近似画像のデータP[p]と相補画像のデータP[q]とを切り貼りするために、各画素に対して、p（つまり基準最近似画像のデータP[p]由来の画素）又はq（つまり相補画像のデータP[q]由来の画素）という２値のラベルを付す。
このような２値ラベリング部６４の処理を、以下、「２値ラベリング」と呼ぶ。
２値ラベリングの手法は、特に限定されず各種各様の手法を採用することができるが、本実施形態ではグラフカット法を用いる手法が採用されているものとする。
２値ラベリング部６４は、基準最近似画像のデータP[p]と相補画像のデータP[q]から、後述するコスト関数の２つの項である平滑化項とデータ項を算出する。
２値ラベリング部６４は、このコスト関数が最小となるように全ての画素をp側とq側に分割する２値ラベリングを、後述するグラフカット法により探索する。
なお、コスト関数とグラフカット法の詳細に関しては、非特許文献１を参照するとよい。
２値ラベリング部６４は、この２値ラベリングを実行することによって、基準最近似画像のデータP[p]と相補画像のデータP[q]とを最適に切り貼りするための境界線を設定することが可能になる。
２値ラベリング部６４は、このような一連の処理を実行して、最適な境界線を設定すべく、第１相違度算出部７１と、第２相違度算出部７２と、コスト関数設定部７３と、境界設定部７４と、を備えている。

具体的には、図３（Ｂ）は、第２相違度算出部７２の処理結果の具体例を示している。
即ち、図３（Ａ）の例では、上述したように、基準最近似画像のデータP[p]が画像９１のデータで表され、相補画像のデータP[q]が画像９２のデータで表され、基準画像Bのデータが画像９３のデータで表されている。
このような図３（Ａ）の各画像９１乃至９３のデータについて、データ項Cpとして得られたデータをグレイスケール画像で表したものが、図３（Ｂ）に示す画像１０１であり、データ項Cqとして得られたデータをグレイスケール画像で表したものが、図３（Ｂ）に示す画像１０２である。

第１相違度算出部７１は、本実施形態では、式（３）に従って、隣接画素ペア(u,v)の関数C(u,v)を算出する。式（３）の意味は後述するが、以下、この関数Cを「平滑化項」と呼ぶ。
式（３）によれば、隣接画素ペア(u,v)における、基準最近似画像のデータP[p]と相補画像のデータP[q]の相違度の合計を、関数C(u,v)、即ち平滑化項とする手法が採用されていることになる。この手法は、非特許文献１にもみられる一般的な算出法である。
この平滑化項が小さいほど、基準最近似画像のデータP[p]と相補画像のデータP[q]で似通った領域となることを意味するため、このような領域で境界線を引けば、切れ目を目立たないようにすることが可能になる。ただし、その境界線で分割された２つの領域のどちら側が排除すべき領域、即ち動物体像の領域かを判定するためには、次の第２相違度算出部７２により算出されるデータ項が必要となる。

第２相違度算出部７２は、本実施形態では、式（４）と式（５）に従って、画素uの関数Cp(u)と関数Cq(u)を算出する。これらの関数Cp(u)と関数Cq(u)の意味は後述するが、以下、これらの関数Cpと関数Cqをまとめて「データ項」と呼ぶ。
式（４）と式（５）によれば、基準最近似画像のデータP[p]と相補画像のデータP[q]の各々について、各画素位置uにおける基準画像Bのデータからの相違度をデータ項とする手法が採用されていることになる。この手法は、従来にはみられない本実施形態の特有の手法である。
基準画像Bにおいては、障害物である動物体像の痕跡は少なくなっていると考えられるので、このデータ項が小さいほど、背景領域である可能性が高い。それゆえ、このデータ項が小さい領域を切り出すような境界線を、平滑化項が小さい領域で引くことができれば、動物体像を横切らずに、基準画像Bのデータに近い合成画像のデータを得ることが可能になる。

コスト関数設定部７３は、第１相違度算出部７１によって算出された平滑化項Cと、第２相違度算出部７２によって算出されたデータ項Cp及びCqを用いて、コスト関数を設定する。このコスト関数が、全画素の各々を、基準最近似画像のデータP[p]から切り出すべき領域と相補画像のデータP[q]から切り出すべき領域のどちらかに切り分けるのに最適な境界線を探すための関数となる。
コスト関数設定部７３は、コスト関数を設定するために、以下のようなノードの集合とノード間に張ったエッジの集合から構成されるグラフを想定する。
即ち、先ず、コスト関数設定部７３は、基準最近似画像のデータP[p]と相補画像のデータP[q]を切り貼りして作成できたと仮想する合成画像データの全画素をノードとし、その全ての隣接画素ペア(u,v)間にエッジを張る。
次に、コスト関数設定部７３は、そのグラフの裏表にp側の空間とq側の空間を想定し、両空間に１つずつ仮想的なノードを追加する。
なお、以下、p側の空間に仮想的に追加したノードを「sourceノード」と呼び、q側の空間に仮想的に追加したノードを「sinkノード」と呼ぶ。
さらに、コスト関数設定部７３は、sourceノードから全画素へ張ったエッジと、全画素からsinkノードへ張ったエッジを追加する。
コスト関数設定部７３は、各隣接画素ペア(u,v)間に張ったエッジに、第１相違度算出部７１によって算出された平滑化項C(u,v)の重みを与える。
コスト関数設定部７３は、sourceノードから各画素へ張ったエッジに、第２相違度算出部７２によって算出されたデータ項Cq(u)の重みを与える。また、コスト関数設定部７３は、各画素からsinkノードへ張ったエッジに、第２相違度算出部７２によって算出されたデータ項Cp(u)の重みを与える。
このように重みを与えられたグラフを、以下では「重み付きグラフ」と呼ぶ。
コスト関数設定部７３は、このコスト関数を算出するために必要な重み付きグラフを準備して、境界設定部７４に供給する。

以上の内容を踏まえて、境界設定部７４の理解を容易なものとすべく、グラフカットとコスト関数について説明する。
あるグラフGにおいて、Gのエッジ集合のある部分集合Eに属するエッジを全て切り離した時、Gのノード集合が二つの部分集合に切り分けられる場合、そのエッジの部分集合Eを「グラフGのカットE」と呼ぶ。
このカットEに属する全てのエッジに与えられた重みを合計したものを、以下、「カットEのコスト関数」と呼ぶ。

境界設定部７４は、コスト関数設定部７３から供給された重み付きグラフをp側のノード集合とq側のノード集合に切り離すような全てのカットEを調べる。

重み付きグラフがカットEによってp側のノード集合とq側のノード集合に切り離された場合、p側の画素とq側の画素の境界線上で隣接する全てのp側の画素とq側の画素のペアを結んでいたエッジは切り離されているので、カットEに属する。
そこで、全ての隣接するp側の画素uとq側の画素vについて、それを結んでいたエッジの重み（平滑化項）C(u,v)が、カットEのコスト関数に加算される。
この重みC(u,v)が小さいほど、画素ペア(u,v)の近傍では基準最近似画像のデータP[p]と相補画像のデータP[q]の差がなく、したがって境界線が目立たないことになる。

また、p側に属するsourceノードとq側に入れられた全ての画素とを結んでいたエッジも必然的に切り離されるので、カットEに属する。
そこで、全てのq側の画素uについて、それとsourceノードを結んでいたエッジの重み（データ項）Cq(u)が、カットEのコスト関数に加算される。
この重みCq(u)が小さいほど、画素uにおいては相補画像のデータP[q]と基準画像Bのデータの差がなく、従って、この画素uにおいては相補画像のデータP[q]の画素値を採用して良かったということになる。

逆に、q側に属するsinkノードとp側に入れられた全ての画素とを結んでいたエッジも必然的に切り離されるので、カットEに属する。
そこで、全てのp側の画素uについて、それとsinkノードを結んでいたエッジの重み（データ項）Cp(u)が、カットEのコスト関数に加算される。
この重みCp(u)が小さいほど、画素uにおいては基準最近似画像のデータP[p]と基準画像Bのデータの差がなく、したがって、この画素uにおいては基準最近似画像のデータP[p]の画素値を採用して良かったということになる。

重み付きグラフの全ての可能なカットの中から、このように計算されたコスト関数が最小となるようなカットEを求めれば、そのカットEが、p側の画素とq側の画素の間に境界線を設定して、基準最近似画像のデータP[p]と相補画像のデータP[q]を切り貼りするための、ほぼ最適な２値ラベリングとなる。

以上説明した一連の手法が、グラフカットと呼ばれる手法であり、その具体的なアルゴリズムは幾つか知られている。
また、同じグラフカットでも、非特許文献１に記載された多値ラベルのグラフカットでは、上述の計算を何度も繰り返す必要があるため、計算処理が膨大となる。これに対して、上述した本実施形態のグラフカットでは、２つのフレームの縮小化連写データを切り貼りするだけなので、２値ラベルのグラフカットとなり、計算処理の負担が軽くなるという効果を奏することが可能になる。

境界設定部７４は、このようにして得られた２値ラベルを、合成部６５に供給する。

合成部６５は、境界設定部７４によって決定された２値ラベルを用いて、p側の画素では基準最近似画像のデータP[p]から対応する画素値を採用し、q側の画素では相補画像のデータP[q]から対応する画素値を採用することによって、合成画像のデータを生成する。
合成部６５は、合成画像のデータを、表示制御部８１に供給する。

具体的には、図３（Ｃ）は、境界設定部７４と合成部６５の処理結果の具体例を示している。
即ち、図３（Ａ）の例では、基準最近似画像のデータP[p]が画像９１のデータで表され、相補画像のデータP[q]が画像９２のデータで表され、基準画像Bのデータが画像９３のデータで表されている。
この場合、境界設定部７４によって作成された２値ラベルについて、基準最近似画像のデータP[p]の画素値を採用すべき領域を白で表し、破棄すべき領域を黒で表すように表示した画像が、図３（Ｃ）の画像１１１である。逆に、相補画像のデータP[q]の画素値を採用すべき領域を白で表し、破棄すべき領域を黒で表すように表示した画像が、図３（Ｃ）の画像１１２である。このように、画像１１１と画像１１２は、白黒反転した関係になっている。
このような画像１１１及び画像１１２の黒白の境界線（図中点線）として、基準最近似画像のデータP[p]と相補画像のデータP[q]が切り貼りされることによって、図３（Ｃ）の合成画像１１３のデータが得られることになる。

次に、図４を参照して、図２の画像処理部１４が主に実行する画像合成処理について説明する。
図４は、画像合成処理の流れを説明するフローチャートである。

画像合成処理は、操作部１８に設けられた釦あるいは選択メニューから入力するユーザの画像合成開始の指示を契機として開始され、次のようなステップＳ１乃至Ｓ１３の処理が実行される。

図４のステップＳ１において、連写画像取得部４１の縮小部５１は、連写された結果得られる複数の画像（ここではn枚の画像）のデータの各々を縮小することによって、縮小化連写データP[1]乃至P[n]を生成する。

ステップＳ２において、基準画像生成部６１は、ステップＳ１の処理で生成された縮小化連写データP[1]乃至P[n]から、基準画像Bのデータを生成する。
例えば、上述した図３の例では、ステップＳ２の処理で、画像９３のデータが基準画像Bのデータとして生成されることになる。

ステップＳ３において、基準最近似画像選択部６２は、ステップＳ１の処理で生成された縮小化連写データP[1]乃至P[n]から、基準最近似画像のデータP[p]を選択する。
例えば、上述した図３の例では、ステップＳ３の処理で、画像９１のデータが基準最近似画像のデータP[p]として生成されることになる。

ステップＳ４において、相補画像選択部６３は、ステップＳ１の処理で生成された縮小化連写データP[1]乃至P[n]から、相補画像のデータP[q]を選択する。
例えば、上述した図３の例では、ステップＳ４の処理で、画像９２のデータが相補画像のデータP[q]として生成されることになる。

ステップＳ５において、２値ラベリング部６４は、ステップＳ２の処理で生成された基準画像Bのデータ、ステップＳ３において選択された基準最近似画像のデータP[p]、およびステップＳ４において選択された相補画像のデータP[q]から、コスト関数を設定し、コスト最小化により最適な２値ラベリングを求める。
例えば、上述した図３の例では、ステップＳ５の処理で、画像１０１のデータが、基準画像Bのデータと基準最近似画像のデータP[p]との相違度を表すデータとして生成される。また、画像１０２のデータが、基準画像Bのデータと相補画像のデータP[q]との相違度を表すデータとして生成されることになる。これらのデータは、コスト関数のデータ項として用いられる。

ステップＳ６において、合成部６５は、ステップＳ５の処理で求められた２値ラベルに従い、基準最近似画像のデータP[p]と相補画像のデータP[q]の各データを合成することによって、合成画像（後述する通常サイズの合成画像と区別すべく、「縮小化合成画像」と呼ぶ）のデータを生成する。
例えば、上述した図３の例では、ステップＳ５の処理で求められた２値ラベルに従い、基準最近似画像のデータP[p]から選択して切り出すべき領域を白で現した画像１１１のデータが生成されることになる。また、当該２値ラベルに従い、相補画像のデータP[q]から選択して切り出すべき領域を白で現した画像１１２のデータが生成されることになる。その結果、ステップＳ６の処理で、画像１１３のデータが、縮小化合成画像のデータとして生成されることになる。
縮小化合成画像のデータが、合成部６５から表示制御部８１に供給されると、処理はステップＳ７に進む。

ステップＳ７において、表示制御部８１は、合成部６５から供給されたデータにより表わされる画像、即ち、縮小化合成画像を表示部１９に表示させる。

ここで、縮小化合成画像の表示形態は特に限定されず、例えば、表示制御部８１は、縮小化合成画像をそのままのサイズ（表示部１９の表示サイズよりも小さいサイズ）で表示部１９の画面の一部として表示させることができる。また例えば、表示制御部８１は、縮小化合成画像のサイズを表示部１９の表示サイズまで拡大して、表示部１９の画面全体として表示させることができる。
いずれにしても、連写により得られた複数の画像と比較して、解像度が劣化した縮小化合成画像が表示部１９に表示される。
最終的にユーザが記録対象として求める合成画像は、連写により得られた複数の画像と比較して略同一の画質の合成画像、即ち、連写により得られた複数の画像のサイズと同一サイズ（通常サイズ）の合成画像であるが、画素数の多い画像の通常サイズの合成処理は一般に処理時間が多くかかり、ユーザの気に入るかどうかが不明な段階で一律に処理を行うことは適切でない。合成による被写体の途切れなどの著しい瑕疵が生じているかどうかは縮小化合成画像でも視認可能であることが多いので、プレビューとしてこの表示を行う。
そこで、ユーザは、操作部１８を操作することで、表示部１９に表示された縮小化合成画像に対応する通常サイズの合成画像を、記録対象として採用するか否かを指示することができる。

ステップＳ８において、表示制御部８１は、合成画像の採用有無確認を示す画像を表示部１９に表示させることによって、当該合成画像の採用有無確認を報知する。
なお、報知の手法は、画像表示に特に限定されず、例えば、合成画像の採用有無確認を示す音声（メッセージ）を図示せぬスピーカから出力する手法を採用してもよい。

ステップＳ９において、画像合成部４２は、合成画像の採用が指示されたか否かを判定する。
ユーザが、操作部１８を操作することで、表示部１９に表示された縮小化合成画像に対応する通常サイズの合成画像を、記録対象として採用することを指示した場合、ステップＳ９においてＹＥＳであると判定されて、処理はステップＳ１０に進む。

ステップＳ１０において、画像合成部４２は、通常サイズの合成画像のデータを生成する。
即ち、基準最近似画像選択部６２は、通常サイズの基準最近似画像のデータを取得する。通常サイズの基準最近似画像のデータとは、連写された結果得られる複数の画像のデータのうち、基準最近似画像のデータ（縮小化連写データの１つ）が縮小部５１によって縮小される前の画像のデータをいう。
相補画像選択部６３は、通常サイズの相補画像のデータを取得する。通常サイズの相補画像のデータとは、連写された結果得られる複数の画像のデータのうち、相補画像のデータ（縮小化連写データの１つ）が縮小部５１によって縮小される前の画像のデータをいう。
２値ラベリング部６４は、ステップＳ６の処理で用いた２値ラベルを、通常サイズに補間拡大（アップサンプル）する。単純に0または1のラベル値を最近傍法により補間しても良いし、また例えば線形補間法等により0または1のラベル値を補間して、異なるラベル値の中間位置が[0,1]の間の実数値のα値（後述）となってもよい。
合成部６５は、通常サイズに拡大された２値ラベルを、通常サイズの基準最近似画像I[p]と通常サイズの相補画像I[q]の各データに適用することにより、通常サイズの合成画像のデータを生成する。具体的に、画素位置uにおける0または1のラベル値または前記のような補間された[0,1]のα値をA(u)とした時、0がフレームp側、1がフレームq側の選択を表すとすれば、出力画素値はR(u)=I[p](u)×(1-A(u))＋I[q](u)×A(u)として計算できる。
通常サイズの合成画像のデータが、合成部６５から表示制御部８１に供給されると、処理はステップＳ１１に進む。

ステップＳ１１において、表示制御部８１は、合成部６５から供給されたデータにより表わされる画像、即ち、通常サイズの合成画像を表示部１９の画面全体として表示させる。
これにより、画像合成処理は終了となる。

これに対して、ユーザにとって、ステップＳ７の処理で表示部１９に表示された縮小化合成画像が所望の画像でなかった場合には、合成画像を記録対象として採用しないという指示がなされる。このような場合には、ステップＳ９においてＮＯであると判定されて、処理はステップＳ１２に進む。

ステップＳ１２において、基準最近似画像選択部６２は、通常サイズの基準最近似画像のデータを取得する。
通常サイズの基準最近似画像のデータが、基準最近似画像選択部６２から合成部６５を介して表示制御部８１に供給されると、処理はステップＳ１３に進む。

ステップＳ１３において、表示制御部８１は、基準最近似画像選択部６２から合成部６５を介して供給されたデータにより表わされる画像、即ち、通常サイズの基準最近似画像を代替画像として表示する。これは、最も動物体の少ない瞬間の画像であることから、ユーザの所望の画像に一応近い画像であると考えられ、また単一の画像であるから合成による瑕疵のない画像である。
これにより、画像合成処理は終了となる。

以上説明したように、本実施形態の撮像装置１は、時間的に連続した略同一画角の複数の画像から、二枚の相補的画像を選択し、グラフカットなどの手法によって夫々に最適な境界を設定して、切り貼りを行うことにより、軽い計算処理で、動物体を除去した合成画像を得ることができる。
特許文献１などの手法では、平均化により、ぼんやりした動物体の痕跡が残るという問題があったが、本実施形態では、平均化ではなく切り貼りによって合成するので、そのような痕跡は残らない。また、グラフカット法によれば、動物体を横切るような境界を極力避けることができるので、動物体の切れ端も残りにくい。さらに、多値ラベルのグラフカットは膨大な計算処理が必要であったが、２値ラベルのグラフカットは計算処理を多値ラベルのグラフカットに比べて極めて軽くすることができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

例えば、上述の実施形態では、先ず基準最近似画像のデータを選択してから、次にそれと組み合わせる相補画像のデータを選択していたが、前述の如く、あくまでも２つの画像データを組み合わせた結果が基準画像のデータに最も近似すれば良いのであるから、縮小化連写データの中から任意の２フレームを全て調べ、その中から最適の組み合わせ(p,q)を選択するという実施形態も考えられる。具体的には、数式（１）及び（２）に差し替えて、下記の数式（６）を使用すれば実現できる。
ただし、任意の組み合わせを全て調べると処理時間が増えるので、もっと簡便に、最初のフレームと最後のフレームを組み合わせるという実施形態も考えられる（時間的に離れていれば動物体が大きく移動すると考えられるため）。
さらに、組み合わせる画像も必ずしも２フレームには限定されず、３フレーム以上を組み合わせることもできる。その場合、３値以上のラベリングとなり、処理時間は増えるが、nより十分少ないフレーム数であれば、十分高速に処理することができる。
また、相違度の設計には、差分絶対値や差分二乗値、相関値の反転、また輝度のみや色成分の和、またそれを単調関数で変換したりクリップしたり、様々なバリエーションがあり得る。

例えば、上述の実施形態では、画像合成処理の処理対象は、連写された結果得られる複数の画像のデータ（通常サイズのデータ）を縮小したものとされたが、特にこれに限定されない。
例えば、処理時間が許されるのであれば、連写された結果得られる複数の画像のデータ（通常サイズのデータ）を、画像合成処理の処理対象としてもよい。

また例えば、上述の実施形態では、本発明が適用される画像処理装置は、デジタルカメラ等の撮像装置として構成される例として説明した。しかしながら、本発明は、撮像装置に特に限定されず、撮像機能の有無を問わず（連写された結果得られる複数の画像のデータは別の装置から取得してもよい）、上述の画像処理を実行可能な電子機器一般に適用することができる。具体的には例えば、本発明は、パーソナルコンピュータ、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD-ROM（Compact Disk-Read Only Memory），DVD（Digital Versatile Disk）等により構成される。光磁気ディスクは、MD（Mini-Disk）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のROM１２や、図１の記憶部２０に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

１・・・撮像装置、１１・・・CPU、１２・・・ROM、１３・・・RAM、１４・・・画像処理部、１５・・・バス、１６・・・入出力インターフェース、１７・・・撮像部、１８・・・操作部、１９・・・表示部、２０・・・記憶部、２１・・・通信部、２２・・・ドライブ、４１・・・連写画像取得部、４２・・・画像合成部、５１・・・縮小部、６１・・・基準画像生成部、６２・・・最近似画像選択部、６３・・・相補画像選択部、６４・・・２値ラベリング部、６５・・・合成部、７１・・・第１相違度算出部、７２・・・第２相違度算出部、７３・・・コスト関数設定部、７４・・・境界設定部、８１・・・表示制御部

Claims (17)

1. 時間的に連続した略同一画角の複数の画像データを取得する画像取得手段と、
   前記画像取得手段により取得された複数の画像データに基づいて、画像合成のための基準画像データを生成する生成手段と、
   前記生成手段により生成された基準画像データに基づいて、少なくとも二つ以上の画像データを前記画像取得手段により取得された複数の画像データから選択する選択手段と、
   前記選択手段により選択された二つ以上の画像データに境界を設定する境界設定手段と、
   前記境界設定手段により設定された境界に基づいて、前記選択手段により選択された二つ以上の画像データを合成する合成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記生成手段は、前記複数の画像データに撮像された動体の影響が当該複数の画像データよりも少ない基準画像データを生成する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記画像取得手段により取得された複数の画像データの各画素の平均値又は中央値を算出することにより、前記基準画像データを生成することを特徴とする請求項１又は２に記載の画像処理装置。
4. 時間的に連続した略同一画角の複数の画像データを取得する画像取得手段と、
   画像合成のための基準画像データを取得する基準画像取得手段と、
   前記基準画像取得手段により取得された基準画像データに基づいて、合成の結果の画像が前記基準画像データの画像に類似すると判断できる少なくとも二つ以上の画像データを前記画像取得手段により取得された複数の画像データから選択する選択手段と、
   前記選択手段により選択された二つ以上の画像データに境界を設定する境界設定手段と、
   前記境界設定手段により設定された境界に基づいて、前記選択手段により選択された二つ以上の画像データを合成する合成手段と、
   を備えることを特徴とする画像処理装置。
5. 前記選択手段は、
   合成の結果の画像が前記基準画像データの画像に最も類似するような少なくとも二つ以上の画像データを選択することを特徴とする請求項４に記載の画像処理装置。
6. 前記選択手段により選択された画像データ間の相違度を、各画像データ中の隣接する画素に対して算出する第１の相違度算出手段と、
   前記選択手段により選択された二つ以上の画像データの前記基準画像データに対する相違度を算出する第２の相違度算出手段と、
   前記第１の相違度算出手段により算出された相違度と前記第２の相違度算出手段により算出された相違度とを変数とする関数を設定する関数設定手段と、
   を更に備え、
   前記境界設定手段は、前記関数設定手段により設定された関数が最小の値となるように、選択された二つ以上の画像データに境界を設定する
   ことを特徴とする請求項１から５の何れかに記載の画像処理装置。
7. 時間的に連続した略同一画角の複数の画像データを取得する画像取得手段と、
   画像合成のための基準画像データを取得する基準画像取得手段と、
   前記基準画像取得手段により取得された前記基準画像データに画素値が類似した少なくとも一つの画像データを、前記画像取得手段により取得された複数の画像データから選択する第１の選択手段と、
   合成結果の画像が前記基準画像データの画像に更に類似した画像となるような前記第１の選択手段により選択された画像データとは異なる画像データを、前記画像取得手段により取得された複数の画像データから少なくとも一つ選択する第２の選択手段と、
   前記第１の選択手段及び前記第２の選択手段により選択された二つ以上の画像データに境界を設定する境界設定手段と、
   前記境界設定手段により設定された境界に基づいて、前記二つ以上の画像データを合成する合成手段と、
   を備えることを特徴とする画像処理装置。
8. 前記第１の選択手段及び前記第２の選択手段により選択された画像データ間の相違度を、各画像データ中の隣接する画素に対して算出する第１の相違度算出手段と、
   前記第１の選択手段及び前記第２の選択手段により選択された二つ以上の画像データの前記基準画像データに対する相違度を算出する第２の相違度算出手段と、
   前記第１の相違度算出手段により算出された相違度と前記第２の相違度算出手段により算出された相違度とを変数とする関数を設定する関数設定手段と、
   を更に備え、
   前記境界設定手段は、前記関数設定手段により設定された関数が最小の値となるように、前記二つ以上の画像データに境界を設定する
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記基準画像取得手段は、前記画像取得手段により取得された複数の画像データに基づいて、画像合成のための基準画像データを生成する生成手段を含むことを特徴とする請求項４，５，７又は８に記載の画像処理装置。
10. 時間的に連続して略同一画角で複数回撮像し、前記複数回の撮像の結果得られる画像データを出力する撮像手段を更に備え、
    前記画像取得手段は、前記撮像手段から出力された複数の画像データを、前記時間的に連続した略同一画角の複数の画像データとして取得する、
    ことを特徴とする請求項１から９の何れかに記載の画像処理装置。
11. 前記複数の画像データの情報量を小さくさせるよう加工する加工手段と、
    を更に備えることを特徴とする請求項１から１０の何れかに記載の画像処理装置。
12. 時間的に連続した略同一画角の複数の画像データを取得する画像取得ステップと、
    前記画像取得ステップにより取得された複数の画像データに基づいて、画像合成のための基準画像データを生成する生成ステップと、
    前記生成ステップにより生成された基準画像データに基づいて、少なくとも二つ以上の画像データを前記画像取得ステップにより取得された複数の画像データから選択する選択ステップと、
    前記選択ステップにより選択された二つ以上の画像データに境界を設定する境界設定ステップと、
    前記境界設定ステップにより設定された境界に基づいて、前記選択ステップにより選択された二つ以上の画像データを合成する合成ステップと、
    を含むことを特徴とする画像処理方法。
13. 時間的に連続した略同一画角の複数の画像データを取得する画像取得ステップと、
    画像合成のための基準画像データを取得する基準画像取得ステップと、
    前記基準画像取得ステップにより取得された基準画像データに基づいて、合成の結果の画像が前記基準画像データの画像に類似すると判断できる少なくとも二つ以上の画像データを前記画像取得ステップにて取得された複数の画像データから選択する選択ステップと、
    前記選択ステップにて選択された二つ以上の画像データに境界を設定する境界設定ステップと、
    前記境界設定ステップにて設定された境界に基づいて、前記選択ステップにて選択された二つ以上の画像データを合成する合成ステップと、
    を含むことを特徴とする画像処理方法。
14. 時間的に連続した略同一画角の複数の画像データを取得する画像取得ステップと、
    画像合成のための基準画像データを取得する基準画像取得ステップと、
    前記基準画像取得ステップにより取得された前記基準画像データに画素値が類似した少なくとも一つの画像データを、前記画像取得ステップにより取得された複数の画像データから選択する第１の選択ステップと、
    合成結果の画像が前記基準画像データの画像に更に類似した画像となるような前記第１の選択ステップにより選択された画像データとは異なる画像データを、前記画像取得ステップにより取得された複数の画像データから少なくとも一つ選択する第２の選択ステップと、
    前記第１の選択ステップ及び前記第２の選択ステップにより選択された二つ以上の画像データに境界を設定する境界設定ステップと、
    前記境界設定ステップにより設定された境界に基づいて、前記二つ以上の画像データを合成する合成ステップと、
    を含むことを特徴とする画像処理方法。
15. コンピュータを、
    時間的に連続した略同一画角の複数の画像データを取得する画像取得手段、
    前記画像取得手段により取得された複数の画像データに基づいて、画像合成のための基準画像データを生成する生成手段、
    前記生成手段により生成された基準画像データに基づいて、少なくとも二つ以上の画像データを前記画像取得手段により取得された複数の画像データから選択する選択手段、
    前記選択手段により選択された二つ以上の画像データに境界を設定する境界設定手段と、
    前記境界設定手段により設定された境界に基づいて、前記二つ以上の画像データを合成する合成手段、
    として機能させるためのプログラム。
16. コンピュータを、
    時間的に連続した略同一画角の複数の画像データを取得する画像取得手段、
    画像合成のための基準画像データを取得する基準画像取得手段、
    前記基準画像取得手段により取得された基準画像データに基づいて、合成の結果の画像が前記基準画像データの画像に類似すると判断できる少なくとも二つ以上の画像データを前記画像取得手段により取得された複数の画像データから選択する選択手段、
    前記選択手段により選択された二つ以上の画像データに境界を設定する境界設定手段、
    前記境界設定手段により設定された境界に基づいて、前記二つ以上の画像データを合成する合成手段、
    として機能させるためのプログラム。
17. コンピュータを、
    時間的に連続した略同一画角の複数の画像データを取得する画像取得手段、
    画像合成のための基準画像データを取得する基準画像取得手段、
    前記基準画像取得手段により取得された前記基準画像データに画素値が類似した少なくとも一つの画像データを、前記画像取得手段により取得された複数の画像データから選択する第１の選択手段、
    合成結果の画像が前記基準画像データの画像に更に類似した画像となるような前記第１の選択手段により選択された画像データとは異なる画像データを、前記画像取得手段により取得された複数の画像データから少なくとも一つ選択する第２の選択手段、
    前記第１の選択手段及び前記第２の選択手段により選択された二つ以上の画像データに境界を設定する境界設定手段、
    前記境界設定手段により設定された境界に基づいて、前記二つ以上の画像データを合成する合成手段、
    として機能させるためのプログラム。