JP4777116B2 - 画像処理装置及び方法、及び撮像装置 - Google Patents

Description

本発明は画像処理装置及び方法、及び撮像装置に関し、更に詳しくは、複数の画像を１つの画像に重ね合わせ合成する画像処理装置及び方法、及び撮像装置に関する。

近年、カメラのデジタル化が急速に進んでおり、デジタル信号処理を用いたダイナミックレンジ拡大や手ぶれ補正など、カメラの撮影フィールドを広げる試みがなされている。

特許文献１は所謂ダイナミックレンジ拡大を行う方法を開示している。特許文献１では、露光量を変化させた画像を複数取得し、それらの信号を合成することによって、所謂白とびや黒つぶれを回避し、実質的なダイナミックレンジ拡大を行うことが開示されている。

特許文献２は複数画像を用いたぶれ除去装置を開示している。特許文献２によれば、動画を構成する個々の静止画を一旦メモリ上に格納した後に、次のコマの静止画とメモリ上の静止画の相関を求める。これにより、画像の移動を検出し、位置を合わせて記録を行う。結果として、所謂手ぶれによる像のふれを補正して、高品位な動画を得ることができる。

特許文献３及び４は複数の画像間の移動ベクトルの推定精度を向上させる方法を開示している。特許文献３に開示された発明によると、複数のブロックに分けて移動ベクトルを算出する場合に、隣接ブロックのベクトルを活用することによってベクトルの推定精度を向上させる。また、特許文献４に開示された発明によると、ベクトルの頻度を基にして、検出されたベクトルの信頼性を推定する。特許文献３及び４に開示された方法を適用することで、複数画像間の移動ベクトルの推定精度をあげて適切に画像処理を行うことができる。

特開昭６１−２１９２７０号公報 特開平０１−１０９９７０号公報 特開平０７−１７０４９６号公報 特開平０７−００７７２１号公報

しかしながら、特許文献１および２の発明をデジタルカメラ等に用いる場合においては、画像のＳＮ比が良くない場合などは移動ベクトルの推定精度が落ちて適切に画像が処理できないという問題があった。

また、特許文献３の発明をデジタルカメラ等に用いる場合においては、例えば夜景の撮影のように多くのブロックでＳＮ比が良くない場合には、隣接ブロック情報を用いても十分に推定精度を向上させることが困難である。

また、特許文献４の発明をデジタルカメラ等に用いる場合においては、瞬間的に大きく手ぶれが発生した場合などは、発生頻度情報に基づいて正しい条件が除去されてしまい、十分に推定精度を向上させることができないという問題があった。

本発明は上記問題点を鑑みてなされたものであり、より適切に複数画像の重ね合わせ合成を行うことが可能な画像処理装置及び方法、及び撮像装置を提供することを目的とする。

上記目的を達成するために、互いに関連する複数の画像を合成することで合成画像を得る本発明の画像処理装置は、各画像間の相対的な変位を移動ベクトルとして求める位置検出手段と、前記移動ベクトルの検出の信頼性を、前記複数の画像間の移動ベクトルの合成ベクトルを用いて求める信頼性検出手段と、前記信頼性検出手段により求められた信頼性に基づいて、前記互いに関連する複数の画像から、合成に用いる複数の画像を選択する選択手段と、前記選択手段により選択された複数の画像を、前記位置検出手段により求めた前記移動ベクトルに基づいて、被写体が合致するように位置合わせして合成する合成手段とを有し、前記信頼性検出手段は、前記複数の画像間の移動ベクトルを順次加算し、該順次加算された移動ベクトルに前記複数の画像のうち最後の画像から最初の画像への移動ベクトルを加えた合成ベクトルから前記移動ベクトルの検出の信頼性を求めることを特徴とする。

また、互いに関連する複数の画像を合成することで合成画像を得る本発明の画像処理方法は、各画像間の相対的な変位を移動ベクトルとして求める位置検出工程と、前記移動ベクトルの検出の信頼性を、前記複数の画像間の移動ベクトルの合成ベクトルを用いて求める信頼性検出工程と、前記信頼性検出工程で求められた信頼性に基づいて、前記互いに関連する複数の画像から、合成に用いる複数の画像を選択する選択工程と、前記選択工程で選択された複数の画像を、前記位置検出工程により求めた前記移動ベクトルに基づいて、被写体が合致するように位置合わせして合成する合成工程とを有し、前記信頼性検出工程では、前記複数の画像間の移動ベクトルを順次加算し、該順次加算された移動ベクトルに前記複数の画像のうち最後の画像から最初の画像への移動ベクトルを加えた合成ベクトルから前記移動ベクトルの検出の信頼性を求めることを特徴とする。

また、別の構成によれば、互いに関連する複数の画像のうち、少なくとも３枚の画像を合成することで合成画像を得る本発明の画像処理装置は、各画像間の相対的な変位を移動ベクトルとして求める位置検出手段と、前記移動ベクトルの検出の信頼性を、前記複数の画像間の移動ベクトルの合成ベクトルを用いて求める信頼性検出手段と、前記信頼性検出手段により求められた信頼性に基づいて、前記位置検出手段が検出を失敗した前記移動ベクトルを求めた２枚の画像を選択し、該選択した２枚の画像間の移動ベクトルを、該選択した２枚の画像のうち一方の画像から、前記複数枚の画像のうち当該２枚の画像以外の任意の画像への移動ベクトルと、該任意の画像から前記２枚の画像の他方の画像への移動ベクトルとの和に置き換える置換手段と、前記位置検出手段により求めた移動ベクトル及び前記置換手段により置き換えられた移動ベクトルに基づいて、被写体が合致するように前記複数の画像を位置合わせして合成する合成手段とを有し、前記信頼性検出手段は、前記複数の画像間の移動ベクトルを順次加算し、該順次加算された移動ベクトルに前記複数の画像のうち最後の画像から最初の画像への移動ベクトルを加えた合成ベクトルから、前記移動ベクトルの検出の信頼性を求めることを特徴とする。

また、互いに関連する複数の画像のうち、少なくとも３枚の画像を合成することで合成画像を得る本発明の画像処理方法は、各画像間の相対的な変位を移動ベクトルとして求める位置検出工程と、前記移動ベクトルの検出の信頼性を、前記複数の画像間の移動ベクトルの合成ベクトルを用いて求める信頼性検出工程と、前記信頼性検出工程で求められた信頼性に基づいて、前記位置検出工程で検出を失敗した前記移動ベクトルを求めた２枚の画像を選択し、該選択した２枚の画像間の移動ベクトルを、該選択した２枚の画像のうち一方の画像から、前記複数枚の画像のうち当該２枚の画像以外の任意の画像への移動ベクトルと、該任意の画像から前記２枚の画像の他方の画像への移動ベクトルとの和に置き換える置換工程と、前記位置検出工程により求めた移動ベクトル及び前記置換工程により置き換えられた移動ベクトルに基づいて、被写体が合致するように前記複数の画像を位置合わせして合成する合成工程とを有し、前記信頼性検出工程では、前記複数の画像間の移動ベクトルを順次加算し、該順次加算された移動ベクトルに前記複数の画像のうち最後の画像から最初の画像への移動ベクトルを加えた合成ベクトルから前記移動ベクトルの検出の信頼性を求めることを特徴とする。

更に、別の構成によれば、互いに関連する複数の画像を合成することで合成画像を得る本発明の画像処理装置は、前記複数の画像をそれぞれ複数ブロックに分割する分割手段と、前記分割手段により分割された各ブロックについて、画像間の相対的な変位を移動ベクトルとして求める第１の位置検出手段と、前記移動ベクトルの検出の信頼性を、前記複数の画像間の移動ベクトルの合成ベクトルを用いてブロック毎に求める第１の信頼性検出手段と、前記複数ブロックの内、前記第１の信頼性検出手段により求められた信頼性が予め設定された信頼性よりも低いブロック以外のブロックの、前記第１の位置検出手段により求められた画像間の相対的な変位に基づいて、全体画像間の移動量または写像マトリックスを求める第２の位置検出手段と、前記第２の位置検出手段により求められた移動量または写像マトリックスに基づいて、当該移動量または写像マトリックスの検出の信頼性を求める第２の信頼性検出手段と、前記第２の信頼性検出手段により求められた信頼性に基づいて、前記互いに関連する複数の画像から、合成に用いる複数の画像を選択する選択手段と、前記選択手段により選択された複数の画像を、前記第２の位置検出手段により求めた移動量または写像マトリックスに基づいて、被写体が合致するように位置合わせして合成する合成手段とを有し、前記第１の信頼性検出手段は、前記複数の画像間の移動ベクトルを順次加算し、該順次加算された移動ベクトルに前記複数の画像のうち最後の画像から最初の画像への移動ベクトルを加えた合成ベクトルから、前記移動ベクトルの検出の信頼性を求め、前記第２の信頼性検出手段は、前記複数の画像間の写像を順次重ね、該順次重ねられた写像に前記複数の画像のうち最後の画像から最初の画像への写像を重ねることで、前記移動量または写像マトリクスの検出の信頼性を求めることを特徴とする。

また、互いに関連する複数の画像を合成することで合成画像を得る本発明の画像処理方法は、前記複数の画像をそれぞれ複数ブロックに分割する分割工程と、前記分割工程で分割された各ブロックについて、画像間の相対的な変位を移動ベクトルとして求める第１の位置検出工程と、前記移動ベクトルの検出の信頼性を、前記複数の画像間の移動ベクトルの合成ベクトルを用いてブロック毎に求める第１の信頼性検出工程と、前記複数ブロックの内、前記第１の信頼性検出工程で求められた信頼性が予め設定された信頼性よりも低いブロック以外のブロックの、前記第１の位置検出工程で求められた画像間の相対的な変位に基づいて、全体画像間の移動量または写像マトリックスを求める第２の位置検出工程と、前記第２の位置検出工程で求められた移動量または写像マトリックスに基づいて、当該移動量または写像マトリックスの検出の信頼性を求める第２の信頼性検出工程と、前記第２の信頼性検出工程で求められた信頼性に基づいて、前記互いに関連する複数の画像から、合成に用いる複数の画像を選択する選択工程と、前記選択工程で選択された複数の画像を、前記第２の位置検出工程で求めた移動量または写像マトリックスに基づいて、被写体が合致するように位置合わせして合成する合成工程とを有し、前記第１の信頼性検出工程では、前記複数の画像間の移動ベクトルを順次加算し、該順次加算された移動ベクトルに前記複数の画像のうち最後の画像から最初の画像への移動ベクトルを加えた合成ベクトルから、前記移動ベクトルの検出の信頼性を求め、前記第２の信頼性検出工程では、前記複数の画像間の写像を順次重ね、該順次重ねられた写像に前記複数の画像のうち最後の画像から最初の画像への写像を重ねることで、前記移動量または写像マトリックスの検出の信頼性を求めることを特徴とする。

また、本発明の撮像装置は、上記いずれかに記載の画像処理装置を備える。

より適切に複数画像の重ね合わせ合成を行うことが可能な画像処理装置及び方法、及び撮像装置を提供することができる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
本発明の第１の実施形態について、図１から図５を参照して説明する。

●画像処理装置の構成
図１は本発明の第１の実施形態における撮像装置の電気的構成を示すブロック図である。図１において、３１はレンズおよび絞りからなる光学系、３２はメカニカルシャッタ、３３はＣＣＤやＣＭＯＳセンサ等の固体撮像素子、３４はアナログ信号処理を行うＣＤＳ回路である。３５はアナログ信号をデジタル信号に変換するＡ／Ｄ変換器、３６は、撮像素子３３、ＣＤＳ回路３４およびＡ／Ｄ変換器３５を動作させる信号を発生するタイミング信号発生回路である。３７は、光学系３１、シャッタ３２および撮像素子３３の駆動回路、３８は撮影した画像データに必要な信号処理を行う信号処理回路、３９は信号処理された画像データを記憶する画像メモリである。

４０は撮像装置から取り外し可能な記録媒体、４１は信号処理された画像データを記録媒体４０に記録する記録回路、４２は信号処理された画像データを表示する表示装置、４３は表示装置４２に画像を表示する表示回路である。４４は撮像装置全体を制御するシステム制御部である。４５はシステム制御部４４で実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データ、および、キズアドレス等の補正データを記憶しておく不揮発性メモリ（ＲＯＭ）である。４６は不揮発性メモリ４５に記憶されたプログラム、制御データおよび補正データを転送して記憶しておき、システム制御部４４が撮像装置を制御する際に使用する揮発性メモリ（ＲＡＭ）である。

●撮影動作
以下、上記のように構成された撮像装置を用いてメカニカルシャッタ３２を使用した場合の撮影動作について説明する。なお、撮影動作に先立ち、撮像装置の電源投入時等のシステム制御部４４の動作開始時において、不揮発性メモリ４５から必要なプログラム、制御データおよび補正データを揮発性メモリ４６に転送して記憶しておくものとする。これらのプログラムやデータは、システム制御部４４が撮像装置を制御する際に使用する。更に、必要に応じて、追加のプログラムやデータを不揮発性メモリ４５から揮発性メモリ４６に転送したり、システム制御部４４が直接不揮発性メモリ４５内のデータを読み出して使用したりするものとする。

まず、光学系３１は、システム制御部４４からの制御信号により、絞りとレンズを駆動して、適切な明るさに設定された被写体像を撮像素子３３上に結像させる。次に、メカニカルシャッタ３２は、システム制御部４４からの制御信号により、必要な露光時間となるように撮像素子３３の動作に合わせて撮像素子３３を遮光するように駆動される。この時、撮像素子３３が電子シャッタ機能を有する場合は、メカニカルシャッタ３２と併用して、必要な露光時間を確保してもよい。

撮像素子３３は、システム制御部４４により制御されるタイミング信号発生回路３６が発生する動作パルスをもとにした駆動パルスで駆動され、被写体像を光電変換により電気信号に変換してアナログ画像信号として出力する。撮像素子３３から出力されたアナログの画像信号は、システム制御部４４により制御されるタイミング信号発生回路３６が発生する動作パルスにより、ＣＤＳ回路３４でクロック同期性ノイズを除去し、Ａ／Ｄ変換器３５でデジタル画像信号に変換される。

次に、システム制御部４４により制御される信号処理回路３８において、デジタル画像信号に対して、不図示の色変換、ホワイトバランス補正、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を行う。さらに、複数の画像を重ね合わせ合成して１つの画像を生成する処理を施す。なお、この合成処理については、詳細に後述する。画像メモリ３９は、信号処理中のデジタル画像信号を一時的に記憶したり、信号処理されたデジタル画像信号である画像データを記憶したりするために用いられる。

信号処理回路３８で信号処理された画像データや画像メモリ３９に記憶されている画像データは、記録回路４１において記録媒体４０への記録に適したデータ（例えば階層構造を持つファイルシステムデータ）に変換されて記録媒体４０に記録される。また、信号処理回路３８で解像度変換処理が実施された後、表示回路４３において表示装置４２に適した信号（例えばＮＴＳＣ方式のアナログ信号等）に変換されて表示装置４２に表示されたりする。

ここで、信号処理回路３８においては、システム制御部４４からの制御信号により信号処理をせずにデジタル画像信号をそのまま画像データとして、画像メモリ３９や記録回路４１に出力してもよい。また、信号処理回路３８は、システム制御部４４から要求があった場合に、信号処理の過程で生じたデジタル画像信号や画像データの情報をシステム制御部４４に出力する。ここで出力される情報は、例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報、あるいは、それらから抽出された情報等である。さらに、記録回路４１は、システム制御部４４から要求があった場合に、記録媒体４０の種類や空き容量等の情報をシステム制御部４４に出力する。

●再生動作
記録媒体４０に画像データが記録されている場合の再生動作について説明する。システム制御部４４からの制御信号により、記録回路４１は、記録媒体４０から画像データを読み出す。また、同じくシステム制御部４４からの制御信号により、信号処理回路３８は、画像データが圧縮画像であった場合には、画像伸長処理を行い、画像メモリ３９に記憶する。画像メモリ３９に記憶されている画像データは、信号処理回路３８で解像度変換処理を実施された後、表示回路４３において表示装置４２に適した信号に変換されて表示装置４２に表示される。

●画像合成処理
図２は複数の画像を合成処理する場合の、信号処理装置３８の機能構成を示すブロック図である。なお、ここで行われる合成処理は重ね合わせ合成であって、公知のダイナミックレンジ拡大やノイズ低減、手振れ補正等に利用することが可能である。また、この合成処理を常に行う必要はなく、必要に応じてまたは操作者の設定に応じて行えばよい。

図２にあるように複数の画像１０ａ、１０ｂ、…、１０ｍが位置検出部１および画像選択部３に与えられる。位置検出部１では例えば特開２０００−３４１５８２に開示された方法などによって複数画像間の位置ずれを検出する。信頼性検出部２では、位置検出部１の出力を基に位置検出の信頼性を判断し、画像合成に適した画像を求める。画像選択部３においては、信頼性検出部２によって求められた信頼性情報を基に、複数の画像１０ａ、１０ｂ、…、１０ｍの内、合成に用いる画像を選択し、選択した画像のみを画像合成部４に渡す。画像合成部４では、位置検出部１の情報を基に、画像選択部３によって選択された複数の画像に対して位置合わせと画像の露出補正などを行い、１つの画像に合成する。

次に、図３を参照して複数画像の合成と移動ベクトルおよび信頼性検出部２について説明する。

図３において、（ａ）及び（ｂ）は合成の対象となる２枚の画像を示す模式図、（ｃ）は（ａ）及び（ｂ）に示した画像を位置合わせせずにそのまま重ねた場合を示す模式図、（ｄ）は（ａ）及び（ｂ）に示した画像を位置合わせして重ねた場合を示す模式図である。

また、２１ａ、２１ｂはそれぞれ被写体を示し、図３（ｃ）の２０ａ及び２０ｂは（ａ）及び（ｂ）に示した画像間の移動ベクトルを示す。

手ぶれ等、画角が変化する要因がある状態で撮影された複数画像は、図３（ｃ）に示すようにそのまま重ねた場合、被写体２１ａ、２１ｂがずれてしまう。特開２０００−３４１５８２に開示された方法などにより、画像の相関を取ることなどによって２つの像の位置ずれを求めることができる。本願発明では、画像間のずれを示すベクトルを「移動ベクトル」と呼ぶ。求められた移動ベクトルを使って画像を写像することによって位置合わせを行うことが可能であり、図３（ｄ）に示したような位置合わせを行った後に合成した像を得ることができる。

図３では説明の簡単のために２枚の画像の合成と移動ベクトルについて説明を行ったが、さらに多くの画像に関しても順次同様の処理を行うことで、３枚以上の画像の合成を行うことができる。

次に、図４を用いて、信頼性検出部２にて行われる複数画像間の移動ベクトルの信頼性推定の原理について説明する。

以下の説明において、ｐ枚目からｑ枚目に向かう移動ベクトルをｖ_pqと記す。図４は１枚目からｎ枚目までのベクトルを示している。図４（ａ）は１枚目からｎ枚目の画像まで移動ベクトルの検出の失敗や誤差が無い場合を、図４（ｂ）は１枚目からｎ枚目の画像のうち、ｎ−１枚目からｎ枚目への移動ベクトルの検出に失敗や誤差がある場合をそれぞれ示している。理想的な被写体では、移動ベクトルの検出に誤差や失敗は無いが、元の画像中の被写体に動きがある場合や、撮像素子のノイズの影響を受ける場合には移動ベクトルはその影響によって検出に誤差や失敗が生じる場合がある。図４から分かるように、各画像間の移動ベクトルを求めるには冗長性がある。つまり、１枚目からｎ枚目へ向かうベクトルは、ｖ_1nとして求めることもできるが、ｖ₁₂＋ｖ₂₃＋…＋ｖ_(n-1)nとして求めることもできる。つまり、
ｖ_1n＝ｖ₁₂＋ｖ₂₃＋…＋ｖ_(n-1)n …（１）

が成り立つ。図４（ａ）に示したように検出の失敗や誤差が無い状態では、
ｖ₁₂＋ｖ₂₃＋…＋ｖ_(n-1)n−ｖ_1n＝ｖ₁₂＋ｖ₂₃＋…＋ｖ_(n-1)n＋ｖ_n1＝０ …（２）
が成り立つ。しかし、一般的には検出の誤差などがあるために図４（ｂ）のように
ｖ_1n≠ｖ₁₂＋ｖ₂₃＋…＋ｖ_(n-1)n …（３）
であり、結果として、
ｖ₁₂＋ｖ₂₃＋…＋ｖ_(n-1)n−ｖ_1n＝ｖ₁₂＋ｖ₂₃＋…＋ｖ_(n-1)n＋ｖ_n1≠０ …（４）
となる。一方で１枚目からｎ−１枚目までの移動ベクトルを考えると、図４（ｂ）の例でも
ｖ₁₂＋ｖ₂₃＋…＋ｖ_(n-2)(n-1)−ｖ_1(n-1)＝ｖ₁₂＋ｖ₂₃＋…＋ｖ_(n-2)(n-1)＋ｖ_(n-1)1＝０ …（５）
が成り立つ。ここで１枚目からｎ枚目までの移動ベクトルの同定の信頼性の評価値として次式（６）を用いる。

（信頼性評価値）＝｜ｖ₁₂＋ｖ₂₃＋…＋ｖ_(n-1)n＋ｖ_n1｜ …（６）
図４を用いて説明したように、移動ベクトルの同定において検出間違いや大きな誤差がある場合、信頼性評価値は大きな値をとり、全く誤差が無い場合にはゼロとなる。つまり信頼性評価値でベクトルの同定精度を見積もることが可能である。
さらに、信頼性評価値を用いて画像の合成に用いる移動ベクトルおよび画像を決定する方法について、図４および図５を用いて説明する。

図５では説明を簡単にするために、４枚の画像を合成する場合を例に挙げて説明するが、５枚以上の画像を合成する場合においても同様に適用することができる。図５（ａ）は１枚目から４枚目までの移動ベクトルの検出の失敗や誤差が無い場合を、図５（ｂ）は１枚目から４枚目までのうち３枚目から４枚目への移動ベクトルの検出に失敗や誤差がある場合をそれぞれ示している。ここでは３枚目から４枚目に向かうベクトル以外は正確に同定できると仮定する。

図４を用いて説明したように図５（ｂ）の状態では

（信頼性評価値）＝｜ｖ₁₂＋ｖ₂₃＋ｖ₃₄＋ｖ₄₁｜≠０ …（７）
である。
信頼性検出部２は、図５（ｂ）に示す例のように、上述したようにして算出した信頼性評価値が予め設定された所定値よりも大きい（信頼性が低い）場合に、合成すべき４枚の画像のうち、いずれか１つの画像を飛ばしながら再度上記評価値を計算する。なお、許容できる信頼性評価値の値は、実用的には許容錯乱円等を考慮して決定すればよい。図５（ｂ）に示す移動ベクトルの内、１枚目の画像を飛ばした場合を図５（ｃ）に、２枚目の画像を飛ばした場合を図５（ｄ）に、３枚目の画像を飛ばした場合を図５（ｅ）に、そして４枚目の画像を飛ばした場合を図５（ｆ）にそれぞれ示している。

図５から、明らかに、
（１枚目を除いた場合の信頼性評価値）＝｜ｖ₂₃＋ｖ₃₄＋ｖ₄₂｜≠０
（２枚目を除いた場合の信頼性評価値）＝｜ｖ₁₃＋ｖ₃₄＋ｖ₄₁｜≠０
（３枚目を除いた場合の信頼性評価値）＝｜ｖ₁₂＋ｖ₂₄＋ｖ₄₁｜＝０

（４枚目を除いた場合の信頼性評価値）＝｜ｖ₁₂＋ｖ₂₃＋ｖ₃₁｜＝０ …（８）
となる。一般的に同定は誤差を含むために上記の信頼性評価値は厳密には０にならないが、小さくなるようなベクトルを基に画像を合成することで、画像の位置あわせ精度を向上することができる。
図２に示した位置検出部１は、信頼性検出部２により式（８）に示すような各画像を除いた信頼性評価値を算出するために、必要な移動ベクトルをすべて検出し、信頼性検出部２に出力する。必要な移動ベクトルの数は、任意の２点の組み合わせで決まるので、ｎ枚の画像においてはn(n-1)/2個のベクトルとなる。例えば、上述したように画像が４枚の場合には、ｖ₁₂、ｖ₁₃、ｖ₂₃、ｖ₂₄、ｖ₃₄、ｖ₄₁である。

このように、信頼性検出部２において上述したようにして信頼性評価値を求め、信頼性の高いベクトルを求める。次に図２に示した画像選択部３において、信頼性検出部２からの値に基づいて、合成すべき画像と合成に用いる移動ベクトルを決定する。式（８）に示す例では、３枚目を除いた場合の信頼性評価値と４枚目を除いた場合の信頼性評価値とが共に０であるため、３枚目または４枚目を除いた３枚の画像（即ち、１、２、４枚目、または１、２、３枚目）を用いて合成を行うようにする。図５（ｂ）から分かるように、ここでは３枚目から４枚目への移動ベクトルの検出に失敗しているため、３枚目または４枚目のいずれを除いても、画像の合成時に移動ベクトルｖ₃₄が使用されないようにすることができる。なお、実際には信頼性評価値が０になることはまれであるため、信頼性評価値が小さい方（信頼性が高い方）の画像の組み合わせを選択すればよい。

合成に用いる画像及び移動ベクトルを決定すると、次に、画像合成部４で、位置合わせと画像の露出補正などを行って複数画像から１つの画像を合成する。結果として高品位な合成画像を得ることができる。この高品位な画像を図１に示した記録回路４１を利用して記録媒体４０に記録する。

上記の通り本第１の実施形態によれば、より適切に複数画像の重ね合わせ合成を行うことができる。

＜変形例＞
上記第１の実施形態では、式（８）に示す信頼性評価値に基づいて、複数の画像の内、合成に用いる画像及び移動ベクトルを選択したが、以下に記すように移動ベクトルを置き換えるようにしても良い。式（８）の例では、ｖ₃₄を含む場合に信頼性評価値が大きくなる（信頼性が低くなる）ことから、ｖ₃₄が検出に失敗した移動ベクトルであると評価することができる。

従って、画像選択部３において、検出に失敗した移動ベクトルまたは検出に成功した移動ベクトルを選択し、ｖ₃₄を他の移動ベクトルにより置き換えて画像合成部４に置き換えた移動ベクトルを出力するようにしても良い。具体的には、ｖ₃₁＋ｖ₁₄やｖ₃₂＋ｖ₂₄に置き換える。そして画像合成部４では、位置検出部１から得られた移動ベクトル及び画像選択部３により置き換えられた移動ベクトルを用いて、１〜４枚目のすべての画像を合成することも可能である。なお、ここでは４枚の画像を合成する場合について説明したが、４枚以外の枚数の画像を合成する場合にも、同様の処理を行えば良いことは言うまでもない。

上記のようにすることで、第１の実施形態と比較して、より多くの枚数の画像を適切に合成することが可能になる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について、図１、図２および図６から図８を用いて説明する。

本第２の実施形態では、位置検出部１及び信頼性検出部２の動作が上記第１の実施形態と異なる。それ以外の構成及び動作は上記第１の実施形態と同様であるため、位置検出部１及び信頼性検出部２の説明を以下に行い、それ以外については説明を省略する。

図６は本第２の実施形態における位置検出部１の機能構成を示すブロック図である。図６に示すように、位置検出部１は分割部５、移動ベクトル検出部６、ブロック信頼性検出部７、アフィン写像生成部８から構成されている。

次に、上記構成を有する位置検出部１の動作について説明する。

まず分割部５によって複数の画像１０ａ〜１０ｍをそれぞれ、予め設定されたｎ個の領域（ブロック）に分割する。なお、分割部５により分割をする代わりに、特徴点抽出部を用いて画像中のいくつかの特徴点を抽出するようにしても良い。画像の中の複数の点で移動ベクトルを用いると言うことではどちらの方法を用いても本質的な違いは無い。従って、本第２の実施形態では分割部５を用いた場合について説明を行うが、特徴点を用いた方法に本第２の実施形態を適用することが可能である。

次に、移動ベクトル検出部６で、例えば特開２０００−３４１５８２に開示された方法などを用いて、各々のブロック毎に複数画像間の位置ずれを検出する。ブロック信頼性検出部７では、移動ベクトル検出部６の出力を基に位置検出の信頼性を判断し、アフィン写像の同定に適したブロックを求める。アフィン写像生成部８ではブロック信頼性検出部７から得られたブロックと、当該ブロックの画像上の位置情報から、複数画像間の写像を表すアフィン写像マトリックスを生成する。

上述の動作を図７を用いて具体的に説明する。

図７において、（ａ）及び（ｂ）は合成の対象となる２枚の画像を示す模式図、（ｃ）は（ａ）及び（ｂ）に示した画像を位置合わせせずにそのまま重ねた場合を示す模式図、（ｄ）は（ａ）及び（ｂ）に示した画像を位置合わせして重ねた場合を示す模式図である。図７（ｃ）は、複数のブロックに分けて示している。

図７において、２１ａ、２１ｂはそれぞれ被写体を示し、（ｃ）の２０ａ、２０ｂ、２０ｃ、２０ｄ、２０ｅは（ａ）及び（ｂ）に示した画像間の移動ベクトルを示す。

手ぶれ等、画角が変化する要因がある状態で撮影された複数画像は、図７（ｃ）に示すようにそのまま重ねた場合、被写体２１ａ、２１ｂがずれてしまう。そこで、分割された各領域で画像の相関を取ることなどによって各領域での２つの像の位置ずれを求めることができる。本第２の実施形態においても、画像間のずれを示すベクトルを移動ベクトルと呼ぶ。

また、図７（ｃ）において、移動ベクトル２０ｅが存在するブロックは所謂被写体が存在しないものとする。被写体が無いブロックでは画像間の相関がうまく取れないことがあり、そのような場合には２０ｅに示すように不適切な移動ベクトルが求められる場合がある。移動ベクトル２０ｅのように同定が不適切な場合も含めて画像全体のアフィン写像マトリックスを同定すると、位置合わせを正確に行うことが困難である。

アフィン写像生成部８の動作を図８を用いて説明する。図８において、Ｏは画像上の基準点を示す。本第２の実施形態においては、ｐ枚目の画像において、画像上に設けた計算の基準点Ｏからｉ番目の領域へ向かうベクトルをｖ_piとし、ｉ番目の領域において、ブロック位置検出部４によって求められたｐ枚目の画像とｑ枚目の画像間の移動ベクトルをｕ_ipqとする。

図７では１枚目と２枚目の間で１番目から５番目までのブロックで求められた移動ベクトルとブロックへのベクトルを図示している。図８において５番目のブロックは移動ベクトルの同定が適切に行われておらず、その他のブロックは適切に同定されていると仮定する。ここで、ｐ枚目からｑ枚目へのアフィン写像を表すマトリックスをＡ_pqと表現すると、上述した定義から明らかに
ｖ_qi＝ｖ_pi＋ｕ_ipq=Ａ_pqｖ_pi …（９）

上記式（９）において、ｕ_ipqは移動ベクトル検出部６によって求められ、ｖ_piはブロックの分割方法によって決まる既知の値である。また、上記式はブロックｉに関わらず成り立つので、

（ｖ_q1, ｖ_q2, ..., ｖ_qm）＝（ｖ_p1＋ｕ_1pq, ｖ_p2＋ｕ_2pq, ..., ｖ_pm＋ｕ_mpq）
＝Ａ_pq（ｖ_p1, ｖ_p2, ..., ｖ_pｍ） …（１０）
上記式（１０）において、（ｖ_q1, ｖ_q2, ..., ｖ_qm）＝Ｍ_q、（ｖ_p1, ｖ_p2, ..., ｖ_pm）＝Ｍ_pと標記すると、上記式（１０）は
Ｍ_q＝Ａ_pqＭ_p …（１１）

と書くことができる。この式（１１）を解くと、Ａ_pqは、
Ａ_pq＝Ｍ_qＭ_p ^T（Ｍ_pＭ_p ^T）^-1 …（１２）
として求めることができる。式（１２）における（Ｍ_pＭ_p ^T）^-1がランク落ちをしないように適切に処理をすることで、Ａ_pqを求めることができる。Ａ_pqは残差２乗和が最小になるように求められるので、図７においてｕ₅₁₂のように不適切に同定されたブロックがあるとアフィンマトリックスの同定精度を下げてしまう。そこで各ブロックにおいてｎ枚の画像間で求められた移動ベクトルに対して上記第１の実施形態を適用してアフィンマトリックスの同定精度を向上させる。具体的にはｉ番目のブロックにおいて求められた移動ベクトル
ｕ_i12，ｕ_i23，…，ｕ_i(n-1)n
に対して、上記第１の実施形態の方法を適用する。第１の実施形態の方法によってブロック信頼性検出部７がアフィンマトリックスの同定に適したブロックを選択する。例えば図７において５番目のブロックは不適切に同定が行われているが、図７に示したように背景部分などは同定が不適切になりやすい。このようなブロックは画像間で移動ベクトルがランダムに求まるので、第１の実施形態に示した評価値が小さくならないため容易に除外することができる。このようなブロックの移動ベクトルを除去した後にアフィンマトリックスを同定することで、図７（ｄ）のような正確に重ね合わされた像を得ることができる。
図２に示すように、位置検出部１で求められたアフィンマトリックスは信頼性検出部２に渡される。本第２の実施形態では信頼性検出部２はアフィンマトリックスの行列式を用いて評価を行う。つまり、第１の実施形態での移動ベクトルの場合と同様に誤差無くアフィンマトリックスが同定された場合は
Ａ_1n＝Ａ₁₂Ａ₂₃…Ａ_(n-1)n …（１３）

が成り立つ。この式（１３）を変形すると
Ｅ＝Ａ₁₂Ａ₂₃…Ａ_(n-1)nＡ_n1 …（１４）
となる。ただし、式（１４）の左辺のＥは単位行列を表す。つまり、１枚目からｎ枚目までの写像を順次重ねたものにさらにｎ枚目から１枚目までの写像を行うと、元に戻る単位行列になるのである。上式の両辺の行列式を考えると

（信頼性評価値）＝det(E)＝det（Ａ₁₂Ａ₂₃…Ａ_(n-1)nＡ_n1）＝０ …（１５）
となるので、式（１５）により得られる値を、信頼性評価値として定義する。そして、
（ｋ枚目を除いた信頼性評価値）＝det（Ａ₁₂Ａ₂₃…Ａ_(k-2)(k-1)Ａ_(k-1)(k+1)…Ａ_(n-1)nＡ_n1） …（１６）
を順次計算していき、第１の実施形態の信頼性評価値と同様にこの値を小さくすることで適切なアフィン写像を選別することができる。
図２に示す信頼性検出部２において、本第２の実施形態においては式（１６）により信頼性評価値を求め、信頼性の高いアフィン写像を求める。次に図２に示した画像選択部３において、信頼性検出部２からの値に基づいて合成すべき画像と合成に用いるアフィン写像を決定する。

そして、最終的に画像合成部４で、位置合わせと画像の露出補正などを行って、複数画像から１つの画像を合成する。結果として高品位な合成画像を得ることができる。この高品位な画像を図１に示す記録回路４１を利用して記録媒体４０に記録する。

上記の通り本第２の実施形態によれば、より適切に複数画像の重ね合わせ合成を行うことができる。

＜他の実施形態＞
上記第１及び第２の実施形態では、本発明の信号処理回路を撮像装置に搭載した場合について説明したが、本発明はこれに限るものではない。例えば、撮像装置から入力される画像をコンピュータなどの外部信号処理装置において処理する場合に適用することができる。

その場合、本発明の目的は、例えば、以下の様にして達成することも可能である。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。

本発明の実施の形態における撮像装置の全体構成を示すブロック図である。 本発明の実施の形態における画像処理装置の機能構成を示すブロック図である。 複数画像の重ね合わせ合成について説明するための図である。 本発明の実施の形態におけるベクトルの定義を説明する図である。 本発明の第１の実施形態における信頼性の高いベクトルを抽出する場合の説明図である。 本発明の第２の実施形態における位置検出部の機能構成を示すブロック図である。 本発明の第２の実施形態における複数画像の重ね合わせ合成について説明するための図である。 本発明の第２の実施形態におけるベクトルの定義を説明する図である。

符号の説明

１ 位置検出部
２ 信頼性検出部
３ 画像選択部
４ 画像合成部
５ 分割部or特徴点抽出部
６ 移動ベクトル検出部
７ ブロック信頼性検出部
８ アフィン写像生成部
１０ａ〜１０ｍ 画像
１１ 出力画像
２０ 移動ベクトル
２１ 被写体
３１ 光学系
３２ メカニカルシャッタ
３３ 撮像素子
３４ ＣＤＳ回路
３５ Ａ／Ｄ変換器
３６ タイミング信号発生回路
３７ 駆動回路
３８ 信号処理回路
３９ 画像メモリ
４０ 記録媒体
４１ 記録回路
４２ 表示装置
４３ 表示回路
４４ システム制御部
４５ 不揮発性メモリ（ＲＯＭ）
４６ 揮発性メモリ（ＲＡＭ）

Claims (18)

1. 互いに関連する複数の画像を合成することで合成画像を得る画像処理装置であって、
   各画像間の相対的な変位を移動ベクトルとして求める位置検出手段と、
   前記移動ベクトルの検出の信頼性を、前記複数の画像間の移動ベクトルの合成ベクトルを用いて求める信頼性検出手段と、
   前記信頼性検出手段により求められた信頼性に基づいて、前記互いに関連する複数の画像から、合成に用いる複数の画像を選択する選択手段と、
   前記選択手段により選択された複数の画像を、前記位置検出手段により求めた前記移動ベクトルに基づいて、被写体が合致するように位置合わせして合成する合成手段とを有し、
   前記信頼性検出手段は、前記複数の画像間の移動ベクトルを順次加算し、該順次加算された移動ベクトルに前記複数の画像のうち最後の画像から最初の画像への移動ベクトルを加えた合成ベクトルから前記移動ベクトルの検出の信頼性を求めることを特徴とする画像処理装置。
2. 互いに関連する複数の画像のうち、少なくとも３枚の画像を合成することで合成画像を得る画像処理装置であって、
   各画像間の相対的な変位を移動ベクトルとして求める位置検出手段と、
   前記移動ベクトルの検出の信頼性を、前記複数の画像間の移動ベクトルの合成ベクトルを用いて求める信頼性検出手段と、
   前記信頼性検出手段により求められた信頼性に基づいて、前記位置検出手段が検出を失敗した前記移動ベクトルを求めた２枚の画像を選択し、該選択した２枚の画像間の移動ベクトルを、該選択した２枚の画像のうち一方の画像から、前記複数枚の画像のうち当該２枚の画像以外の任意の画像への移動ベクトルと、該任意の画像から前記２枚の画像の他方の画像への移動ベクトルとの和に置き換える置換手段と、
   前記位置検出手段により求めた移動ベクトル及び前記置換手段により置き換えられた移動ベクトルに基づいて、被写体が合致するように前記複数の画像を位置合わせして合成する合成手段とを有し、
   前記信頼性検出手段は、前記複数の画像間の移動ベクトルを順次加算し、該順次加算された移動ベクトルに前記複数の画像のうち最後の画像から最初の画像への移動ベクトルを加えた合成ベクトルから、前記移動ベクトルの検出の信頼性を求めることを特徴とする画像処理装置。
3. 前記合成ベクトルの大きさが小さいほど、前記信頼性が高く、
   当該信頼性が予め設定された信頼性の基準よりも低い場合に、前記複数枚の画像のうち前記複数の画像よりも少ない枚数の画像で前記信頼性を求めることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記信頼性検出手段は、ｎ枚の画像を合成する場合において、ｐ枚目からｑ枚目への移動ベクトルをｖ_pqと表現した場合に、
   ｜ｖ₁₂＋…＋ｖ_(n-1)n＋ｖ_n1｜
   を前記信頼性として求め、当該信頼性が予め設定された信頼性よりも低い場合に、更に、前記複数の画像の内の１枚を順に除きながら前記信頼性を求めることを特徴とする請求項３に記載の画像処理装置。
5. 前記予め設定された信頼性が、許容錯乱円の関数であることを特徴とする請求項４に記載の画像処理装置。
6. 互いに関連する複数の画像を合成することで合成画像を得る画像処理装置であって、
   前記複数の画像をそれぞれ複数ブロックに分割する分割手段と、
   前記分割手段により分割された各ブロックについて、画像間の相対的な変位を移動ベクトルとして求める第１の位置検出手段と、
   前記移動ベクトルの検出の信頼性を、前記複数の画像間の移動ベクトルの合成ベクトルを用いてブロック毎に求める第１の信頼性検出手段と、
   前記複数ブロックの内、前記第１の信頼性検出手段により求められた信頼性が予め設定された信頼性よりも低いブロック以外のブロックの、前記第１の位置検出手段により求められた画像間の相対的な変位に基づいて、全体画像間の移動量または写像マトリックスを求める第２の位置検出手段と、
   前記第２の位置検出手段により求められた移動量または写像マトリックスに基づいて、当該移動量または写像マトリックスの検出の信頼性を求める第２の信頼性検出手段と、
   前記第２の信頼性検出手段により求められた信頼性に基づいて、前記互いに関連する複数の画像から、合成に用いる複数の画像を選択する選択手段と、
   前記選択手段により選択された複数の画像を、前記第２の位置検出手段により求めた移動量または写像マトリックスに基づいて、被写体が合致するように位置合わせして合成する合成手段とを有し、
   前記第１の信頼性検出手段は、前記複数の画像間の移動ベクトルを順次加算し、該順次加算された移動ベクトルに前記複数の画像のうち最後の画像から最初の画像への移動ベクトルを加えた合成ベクトルから、前記移動ベクトルの検出の信頼性を求め、
   前記第２の信頼性検出手段は、前記複数の画像間の写像を順次重ね、該順次重ねられた写像に前記複数の画像のうち最後の画像から最初の画像への写像を重ねることで、前記移動量または写像マトリクスの検出の信頼性を求めることを特徴とする画像処理装置。
7. 前記合成ベクトルの大きさが小さいほど、前記移動ベクトルの検出の信頼性が高く、
   当該信頼性が予め設定された信頼性の基準よりも低い場合に、前記複数枚の画像のうち前記複数の画像よりも少ない枚数の画像で前記移動ベクトルの検出の信頼性を求めることを特徴とする請求項６に記載の画像処理装置。
8. 前記第１の信頼性検出手段は、ｎ枚の画像を合成する場合において、ｐ枚目からｑ枚目への移動ベクトルをｖ_pqと表現した場合に、
   ｜ｖ₁₂＋…＋ｖ_(n-1)n＋ｖ_n1｜
   を前記移動ベクトルの検出の信頼性として求め、当該信頼性が前記予め設定された信頼性よりも低い場合に、更に、前記複数の画像の内の１枚を順に除きながら前記移動ベクトルの検出の信頼性を求めることを特徴とする請求項７に記載の画像処理装置。
9. 前記予め設定された信頼性が、許容錯乱円の関数であることを特徴とする請求項８に記載の画像処理装置。
10. 前記第２の信頼性検出手段は、ｎ枚の画像を合成する場合において、ｐ枚目からｑ枚目へのアフィン写像を表すマトリックスをＡ_pqと表現するとき、
    det(Ａ₁₂＋…＋Ａ_(n-1)n＋Ａ_n1）
    を前記移動量または写像マトリクスの検出の信頼性として求め、当該信頼性が前記予め設定された信頼性よりも低い場合に、更に、前記複数の画像の内の１枚を順に除きながら前記移動量または写像マトリクスの検出の信頼性を求めることを特徴とする請求項６乃至９のいずれか１項に記載の画像処理装置。
11. 前記予め設定された信頼性が、許容錯乱円の関数であることを特徴とする請求項１０に記載の画像処理装置。
12. 請求項１から１１のいずれか１項に記載の画像処理装置を備えた撮像装置。
13. 互いに関連する複数の画像を合成することで合成画像を得る画像処理方法であって、
    各画像間の相対的な変位を移動ベクトルとして求める位置検出工程と、
    前記移動ベクトルの検出の信頼性を、前記複数の画像間の移動ベクトルの合成ベクトルを用いて求める信頼性検出工程と、
    前記信頼性検出工程で求められた信頼性に基づいて、前記互いに関連する複数の画像から、合成に用いる複数の画像を選択する選択工程と、
    前記選択工程で選択された複数の画像を、前記位置検出工程により求めた前記移動ベクトルに基づいて、被写体が合致するように位置合わせして合成する合成工程とを有し、
    前記信頼性検出工程では、前記複数の画像間の移動ベクトルを順次加算し、該順次加算された移動ベクトルに前記複数の画像のうち最後の画像から最初の画像への移動ベクトルを加えた合成ベクトルから前記移動ベクトルの検出の信頼性を求めることを特徴とする画像処理方法。
14. 互いに関連する複数の画像のうち、少なくとも３枚の画像を合成することで合成画像を得る画像処理方法であって、
    各画像間の相対的な変位を移動ベクトルとして求める位置検出工程と、
    前記移動ベクトルの検出の信頼性を、前記複数の画像間の移動ベクトルの合成ベクトルを用いて求める信頼性検出工程と、
    前記信頼性検出工程で求められた信頼性に基づいて、前記位置検出工程で検出を失敗した前記移動ベクトルを求めた２枚の画像を選択し、該選択した２枚の画像間の移動ベクトルを、該選択した２枚の画像のうち一方の画像から、前記複数枚の画像のうち当該２枚の画像以外の任意の画像への移動ベクトルと、該任意の画像から前記２枚の画像の他方の画像への移動ベクトルとの和に置き換える置換工程と、
    前記位置検出工程により求めた移動ベクトル及び前記置換工程により置き換えられた移動ベクトルに基づいて、被写体が合致するように前記複数の画像を位置合わせして合成する合成工程とを有し、
    前記信頼性検出工程では、前記複数の画像間の移動ベクトルを順次加算し、該順次加算された移動ベクトルに前記複数の画像のうち最後の画像から最初の画像への移動ベクトルを加えた合成ベクトルから前記移動ベクトルの検出の信頼性を求めることを特徴とする画像処理方法。
15. 互いに関連する複数の画像を合成することで合成画像を得る画像処理方法であって、
    前記複数の画像をそれぞれ複数ブロックに分割する分割工程と、
    前記分割工程で分割された各ブロックについて、画像間の相対的な変位を移動ベクトルとして求める第１の位置検出工程と、
    前記移動ベクトルの検出の信頼性を、前記複数の画像間の移動ベクトルの合成ベクトルを用いてブロック毎に求める第１の信頼性検出工程と、
    前記複数ブロックの内、前記第１の信頼性検出工程で求められた信頼性が予め設定された信頼性よりも低いブロック以外のブロックの、前記第１の位置検出工程で求められた画像間の相対的な変位に基づいて、全体画像間の移動量または写像マトリックスを求める第２の位置検出工程と、
    前記第２の位置検出工程で求められた移動量または写像マトリックスに基づいて、当該移動量または写像マトリックスの検出の信頼性を求める第２の信頼性検出工程と、
    前記第２の信頼性検出工程で求められた信頼性に基づいて、前記互いに関連する複数の画像から、合成に用いる複数の画像を選択する選択工程と、
    前記選択工程で選択された複数の画像を、前記第２の位置検出工程で求めた移動量または写像マトリックスに基づいて、被写体が合致するように位置合わせして合成する合成工程とを有し、
    前記第１の信頼性検出工程では、前記複数の画像間の移動ベクトルを順次加算し、該順次加算された移動ベクトルに前記複数の画像のうち最後の画像から最初の画像への移動ベクトルを加えた合成ベクトルから、前記移動ベクトルの検出の信頼性を求め、
    前記第２の信頼性検出工程では、前記複数の画像間の写像を順次重ね、該順次重ねられた写像に前記複数の画像のうち最後の画像から最初の画像への写像を重ねることで、前記移動量または写像マトリックスの検出の信頼性を求めることを特徴とする画像処理方法。
16. 情報処理装置が実行可能なプログラムであって、前記プログラムを実行した情報処理装置を、請求項１乃至１１のいずれか１項に記載の画像処理装置として機能させることを特徴とするプログラム。
17. コンピュータに、請求項１３乃至１５のいずれか１項に記載の画像処理方法の各工程を実行させるためのプログラム。
18. 請求項１６または１７に記載のプログラムを格納したことを特徴とする情報処理装置が読み取り可能な記憶媒体。

Images