JPWO2016167014A1 - 画像処理装置及び方法、並びにプログラム及び記録媒体 - Google Patents

Abstract

参照画像（Ｄａ１〜ＤａＭ）の各画素について基準画像（Ｄａ０）との位置ずれ量（Ｄｂｍｉ）を検出し（１０−１〜１０−Ｍ）、位置ずれ量（Ｄｂｍｉ）に従って参照画像の各画素を割り当てることにより、位置合わせ画像（Ｄｃ１〜ＤｃＭ）を生成し（２０−１〜２０−Ｍ）、基準画像（Ｄａ０）と位置合わせ画像（Ｄｃ１〜ＤｃＭ）とを用いて、加重加算を行う。位置合わせ画像（Ｄｃ１〜ＤｃＭ）の各画素が定義された画素であるか否かに応じた重みを付けて、或いは定義されていない画素を補間した上で加重加算を行う。複数の入力画像の視点が互いに異なっていても、画像の変形処理によって生じる問題を解決し、高画質の合成画像を生成することができる。

Description

本発明は、複数枚の画像を合成して１枚の高画質の画像を得る画像処理装置及び画像処理方法に関する。本発明はまた、上記の画像処理装置又は画像処理方法における処理をコンピュータに実行させるプログラム、及び該プログラムを記録した記録媒体に関する。

複数枚の画像を合成して、元の個々の画像よりも高Ｓ／Ｎ、高ダイナミックレンジの画像を得る画像処理技術がある。この技術では、複数枚の画像の撮影時に撮像部又は被写体の動きがある場合に、互いに位置がずれた画像を重ねたものが合成画像として生成されてしまうという問題がある。

そこで、例えば、特許文献１では、合成する複数の画像において、画像間で求めた動きベクトルに従って画像の位置ずれを補償し、かつ、動きベクトルの信頼度に基づいて画像の合成比率を変えることで、上記の問題の解決を図っている。

特開２０１２−１９３３７号公報（段落００２６〜００３０）

撮像部が高速に移動している場合など、撮影上の制約から複数の同一視点の画像を得ることが難しい場合に、上記の方法で高画質化を図ろうとすると、視点が異なる画像に変形処理を施して合成を行う必要がある。

画像の変形処理は、変形後の画像の各画素について変形前の画像の対応する部分の位置を求める方法と、変形前の画像の各画素について変形後の画像の対応する部分の位置を求める方法のいずれかで行い得る。

変形後の画像の各画素について変形前の画像の対応する部分の位置を求める場合、変形後の画像の各画素の値を、変形前の画像の対応する部分の位置の周辺の画素の階調値を使ってリサンプリングすることによって決定する。この場合、リサンプリング時に用いるカーネルの周波数特性によって高周波数成分が劣化し、変形後の画像がぼやけると言う問題がある。

変形前の画像の各画素について変形後の画像の対応する部分の位置を求める場合、変形前の画像の各画素の値を、変形後の画像の対応する部分の位置に最も近い画素に割り当てることにより変形後の画像の画素の値を決定する。この場合、リサンプリングによる問題を回避して画像の変形を行うことができる。しかしながら、この方法では、変形に伴う画素サンプリング密度の不均一性等によって変形後の画像に階調値が定義されない画素（未定義画素）が生じ、未定義画素の部分において、合成による画質の改善効果が得られない。

上記特許文献１に開示された方法は、上記の変形処理に伴う問題に対する解決を与えるものではない。

本発明は上記の課題を解決するためになされたものであり、入力画像の視点が異なっていても、高画質の合成画像の生成を可能にすることを目的とする。

本発明の画像処理装置は、
複数の入力画像のうちの１つの入力画像を基準画像とし、前記基準画像以外の１又は２以上の入力画像を参照画像としてこれらを合成して出力する画像処理装置であって、
それぞれ前記１又は２以上の参照画像を入力として受け、各々入力された参照画像の各画素について、前記基準画像との位置ずれ量を検出する１又は２以上の位置ずれ量検出部と、
それぞれ前記１又は２以上の参照画像を入力として受け、各々入力された参照画像から、少なくとも一部の画素の階調値が定義された位置合わせ画像を生成する１又は２以上の位置合わせ画像生成部と、
前記基準画像と、前記１又は２以上の位置合わせ画像生成部で生成された前記位置合わせ画像との合成を行って合成画像を出力する合成部とを備え、
前記位置合わせ画像生成部の各々は、入力された参照画像の各画素を、当該画素についての前記位置ずれ量に従って移動させ、移動先に最も近い画素位置に、当該画素の階調値を割り当てて定義し、前記位置合わせ画像の画素位置のうち、前記参照画像中に割り当てられる画素が存在しない画素位置に対しては階調値を定義しないことにより、前記位置合わせ画像を生成し、
前記合成部は、前記基準画像の各画素を注目画素とし、前記注目画素の階調値と、前記位置合わせ画像の、前記注目画素と同じ位置の画素の階調値とを、前記位置合わせ画像の各々の各画素が、階調値が定義された画素であるか否かに応じた重みを付けて加重加算することによって、或いは階調値が定義されていない画素の階調値を補間した上で加重加算することによって前記合成画像の前記注目画素と同じ位置の画素の階調値を算出する
ことを特徴とする。

本発明によれば、入力画像の視点が異なっていても、高画質の合成画像を生成することができる。

本発明の実施の形態１の画像処理装置を示すブロック図である。 図１の画像処理装置を備えた撮像装置の一例を示すブロック図である。 （ａ）〜（ｃ）は、位置ずれと位置合わせ画像の概念図である。 図１の合成部の一構成例を示すブロック図である。 図１の合成部の他の構成例を示すブロック図である。 図１の合成部のさらに他の構成例を示すブロック図である。 本発明の実施の形態２の画像処理装置を示すブロック図である。 （ａ）及び（ｂ）は、階調値分布の一例と、それに対して適用される階調変換特性を示す図である。 （ａ）及び（ｂ）は、階調値分布の他の例と、それに対して適用される階調変換特性を示す図である。 図７の合成部の一構成例を示すブロック図である。 図７の合成部の他の構成例を示すブロック図である。 図７の合成部のさらに他の構成例を示すブロック図である。 階調値の変化分の変換特性の一例を示す図である。 本発明の実施の形態１又は２の画像処理装置の処理を実行するコンピュータの構成を示すブロック図である。

実施の形態１．
図１は本発明の実施の形態１の画像処理装置を示す。
図１の画像処理装置は、Ｎ枚（Ｎは２以上の整数）の入力画像を受けて、これらの画像を合成して１枚の合成画像Ｄｇを生成する。ここで、Ｎ枚の入力画像のうち、１枚の入力画像を基準画像Ｄａ０、それ以外の入力画像を参照画像Ｄａ１〜ＤａＭとする。但し、ＭはＮ−１に等しく、従って、１又は２以上の整数である。

図２は、本発明の実施の形態１の画像処理装置を備えた撮像装置の一例を示す。
図２の撮像装置は、撮像部２と、画像メモリ４と、画像処理装置６と、制御部８とを備える。図１の画像処理装置は、図２の画像処理装置６として用い得る。
撮像部２は制御部８により露光時間などの露光条件を制御されて撮影を行う。制御部８は、画像メモリ４から出力される画像の明るさなどに基づいて露光条件を決定して、撮像部２に対する制御を行う。例えば、露光時間は画像が明るいほど短くされる。なお、撮像により得られた画像の明るさに基づいて露光条件を決定する代わりに、事前に取得された情報、例えば、光源条件に関する情報、被写体の反射率に関する情報、或いは撮像装置の信号変換特性、ダイナミックレンジ等の画像処理の条件に関する情報に基づいて露光条件を決定することとしても良い。
撮像部２によって、異なる時刻での撮影で得られた撮像画像は、順次画像メモリ４に記憶され、画像メモリ４からＮ枚（Ｎは２以上の整数）の画像が同時に読み出され、基準画像Ｄａ０及びＭ枚の参照画像Ｄａ１〜ＤａＭとして、画像処理装置６に供給される。

図２に示す例では、基準画像Ｄａ０及び参照画像Ｄａ１〜ＤａＭは、同じ１つの撮像部２で相前後して、即ち異なる時刻に撮影を行うことで得られた画像であり、従って、撮像部２或いは被写体の移動により視点が異なるものとなっている可能性がある。

図１の画像処理装置は、Ｍ個の位置ずれ量検出部１０−１〜１０−Ｍと、Ｍ個の位置合わせ画像生成部２０−１〜２０−Ｍと、合成部３０とを備えている。図示の例では、Ｍが２以上の整数であるが、Ｍは１であっても良い。

位置ずれ量検出部１０−１〜１０−Ｍは、それぞれＭ枚の参照画像Ｄａ１〜ＤａＭを入力として受け、各々入力された参照画像Ｄａｍ（ｍは１からＭのいずれか）の各画素Ｄａｍｉについて、基準画像Ｄａ０との位置ずれ量Ｄｂｍｉを検出する。
参照画像Ｄａｍの各画素を表す符号「Ｄａｍｉ」の「ｉ」、及び各画素についての位置ずれ量を表す符号「Ｄｂｍｉ」の「ｉ」は、画素を識別する符号であり、１からＩ（Ｉは画像を構成する画素の総数）までのいずれかの値を取る。基準画像Ｄａ０の画素、及び合成画像Ｄｇの画素、並びに後述の位置合わせ画像Ｄｃ１〜ＤｃＭの画素についても同様である。

位置合わせ画像生成部２０−１〜２０−Ｍは、それぞれＭ枚の参照画像Ｄａ１〜ＤａＭを入力とし、各々入力された参照画像Ｄａｍから位置合わせ画像Ｄｃｍを生成する。
位置合わせ画像生成部２０−１〜２０−Ｍの各々（２０−ｍ）は、入力された参照画像Ｄａｍの各画素Ｄａｍｉを、当該画素Ｄａｍｉについての位置ずれ量Ｄｂｍｉに従って移動させ、移動先に最も近い画素位置に、当該画素Ｄａｍｉの階調値を割り当てることにより、少なくとも一部の画素の階調値が定義された位置合わせ画像Ｄｃｍを生成する。
ここで各画素の階調値は例えば当該画素の輝度を表す値（輝度値）である。代わりに、各画素の階調値は、当該画素の赤、緑、青等の色成分の強度を表す値（色成分値）であっても良い。

合成部３０は、基準画像Ｄａ０と、Ｍ個の位置合わせ画像生成部２０−１〜２０−Ｍで生成されたＭ枚の位置合わせ画像Ｄｃ１〜ＤｃＭとの合成を行う。
合成部３０は、Ｍ枚の位置合わせ画像Ｄｃ１〜ＤｃＭの各々の各画素が、階調値が定義された画素であるか否かに応じた重みを付けて加重加算することによって、或いは階調値が定義されていない画素の階調値を補間した上で加重加算することによって上記の合成を行う。

以下、位置ずれ量検出部１０−１〜１０−Ｍ、位置合わせ画像生成部２０−１〜２０−Ｍ、及び合成部３０について詳しく説明する。

上記のように、位置ずれ量検出部１０−１〜１０−Ｍの各々（１０−ｍ）は、参照画像Ｄａｍの各画素Ｄａｍｉについて基準画像Ｄａ０との位置ずれ量Ｄｂｍｉを検出する。位置ずれ量Ｄｂｍｉは、各参照画像Ｄａｍの各画素Ｄａｍｉの位置に対する、基準画像Ｄａ０上の対応する部分の位置の相対値、即ち動きを表わす。

位置ずれ量Ｄｂｍｉの検出においては、例えば、参照画像Ｄａｍの各画素Ｄａｍｉを中心とするマッチング領域を設定し、基準画像Ｄａ０上に互いに異なる位置に複数の被マッチング領域を設定して、複数の被マッチング領域の各々と、マッチング領域との相関（類似度）を算出し、相関（類似度）が最も高い被マッチング領域を特定し、特定した被マッチング領域の、マッチング領域に対する相対的位置を位置ずれ量Ｄｂｍｉとして出力する。但し、いずれの被マッチング領域についても相関が予め定められた下限値よりも小さい場合には、「対応が取れない」、即ち「位置ずれ量が不明」として処理する。

各位置ずれ量検出部１０−ｍは、参照画像Ｄａｍの全ての画素を順に選択（走査）して、選択した画素について上記の処理を行うことにより、参照画像Ｄａｍの全ての画素の各々Ｄａｍｉについて基準画像Ｄａ０との位置ずれ量Ｄｂｍｉを得る。
なお、「順に選択する」とは、必ずしも一度に一つの画素を選択するとは限らず、複数の画素を同時に選択し、選択された複数の画素に対する上記の処理を平行して行うこととしても良い。後述の位置合わせ画像生成部２０−１〜２０−Ｍ及び合成部３０についても同様である。

位置合わせ画像生成部２０−１〜２０−Ｍの各々（２０−ｍ）は、入力された参照画像Ｄａｍの各画素Ｄａｍｉを、当該画素Ｄａｍｉについての位置ずれ量Ｄｂｍｉに従って移動させ、移動先に最も近い画素位置に当該画素（移動元の画素）Ｄａｍｉを対応付け、当該画素Ｄａｍｉの階調値を割り当てることにより、位置合わせ画像Ｄｃｍを生成する。移動元の画素を位置合わせ元の画素とも言う。
このようにして生成される、位置合わせ画像Ｄｃｍは基準画像Ｄａ０と同一視点の画像である。ここで、同一視点の画像とは、撮像部２と被写体とが相対的に移動していない場合に得られる画像である。

位置合わせ画像Ｄｃｍの画素の中には、参照画像Ｄａｍの２つ以上の画素が対応付けられるものがある。この場合は、対応付けられた複数の画素の階調値の平均値を位置合わせ画像の画素の階調値と定める。
また、位置合わせ画像Ｄｃｍの画素の中には、参照画像Ｄａｍ中に、位置合わせ画像Ｄｃｍの当該画素に対して、位置合わせ元となる画素、即ち、位置合わせ画像Ｄｃｍの当該画素に割り当てられる画素が参照画像Ｄａｍ中に存在しないことから参照画像Ｄａｍの画素の階調値が一つも割り当てられず、従って階調値が定められないものもある。
階調値が定められていない画素を未定義画素と呼ぶ。一方、階調値が定められた画素を定義画素と呼ぶ。

図３（ａ）〜（ｃ）を参照して、位置ずれ量と位置合わせ画像について説明する。図３（ａ）は参照画像Ｄａｍを示し、図３（ｂ）は参照画像Ｄａｍと基準画像Ｄａ０との位置ずれ量Ｄｂｍｉを示し、図３（ｃ）は位置合わせ画像Ｄｃｍを表している。

図３（ａ）では、参照画像Ｄａｍの各画素を白丸で示し、図３（ｂ）では、参照画像Ｄａｍ内の各画素Ｄａｍｉの位置が黒点で示され、基準画像Ｄａ０内の、上記の画素Ｄａｍｉに対応する部分の位置が白丸で示され、位置ずれ量Ｄｂｍｉが矢印で示されている。

図３（ｂ）の矢印で示すように、位置ずれ量Ｄｂｍｉは、参照画像Ｄａｍ内の各画素Ｄａｍｉの位置（黒点）から、基準画像Ｄａ０内の、上記の画素Ｄａｍｉに対応する部分の位置（白丸）へのベクトルとして表される。

図３（ｃ）は位置合わせ画像Ｄｃｍを示している。位置合わせ画像Ｄｃｍの画素位置は、基準画像Ｄａ０の画素位置と同じである。位置合わせ画像Ｄｃｍは、参照画像Ｄａｍの各画素Ｄａｍｉを、位置ずれ量Ｄｂｍｉに従って仮想的に移動させ、移動先に最も近い画素位置に、当該画素Ｄａｍｉの階調値を割り当てることによって生成される。図３（ｃ）において、参照画像Ｄａｍの画素Ｄａｍｉの移動先が白丸で示されている。位置合わせ画像Ｄｃｍの各画素位置は格子（矩形の領域）の中心に位置する。従って、各画素位置を中心とする格子内の任意の位置から最も近い画素位置は、当該格子の中心に位置する画素位置である。
図３（ｃ）において、位置合わせ画像Ｄｃｍの各画素の格子（各画素を中心とする矩形領域）の内部に白丸（の中心）が１つ以上存在する画素（ハッチングで示す）は、定義画素となり、白丸（の中心）が１つも存在しない画素（ハッチングなし）は、未定義画素となる。このように、位置合わせ画像Ｄｃｍの画素位置のうち、参照画像Ｄａｍ中に、位置合わせ元となる画素が存在せず、従って、参照画像Ｄａｍ中に、割り当てられる画素が存在せず、そのために、階調値が定義されなかった画素が未定義画素となる。

視点が異なる複数の画像を合成する際、アフィン変換、射影変換などの幾何学的な変形を行う必要がある。図３（ａ）〜（ｃ）の例に示すように、幾何学的な変形を行う場合、画素サンプリング密度の不均一性によって変形後の画像に未定義画素が生じる。

また、奥行きのある被写体を異なる視点から撮影した場合、基準画像Ｄａ０においては現れるが、参照画像では隠れる部分（隠蔽領域）ができる。隠蔽領域では、位置ずれ量の検出の際に対応が取れず、未定義画素が生ずる。

各位置合わせ画像生成部２０−ｍは、入力された参照画像Ｄａｍの全ての画素を順に選択して、選択した画素について上記の、階調値を割り当てる処理を行う。この処理を全ての画素について行うことで、少なくとも一部の画素について階調値が定義された位置合わせ画像Ｄｃｍを生成する。

合成部３０は、基準画像Ｄａ０とＭ枚の位置合わせ画像Ｄｃ１〜ＤｃＭとを合成することにより合成画像Ｄｇを生成する。合成部３０は、基準画像Ｄａ０の各画素を注目画素Ｄａ０ｉとし、注目画素Ｄａ０ｉの階調値と、位置合わせ画像Ｄｃ１〜ＤｃＭの、注目画素Ｄａ０ｉと同じ位置の画素Ｄｃ１ｉ〜ＤｃＭｉの階調値との加重加算を含む処理を行うことで、合成画像Ｄｇの、注目画素Ｄａ０ｉと同じ位置の画素Ｄｇｉの階調値を算出する。この加重加算は、未定義画素を除外して行っても良く、未定義画素を補間した上で行っても良い。

合成部３０は、基準画像Ｄａ０を構成する画素を順に注目画素Ｄａ０ｉとして選択し、注目画素Ｄａ０ｉについて、上記の加重加算を行うことで、全ての画素の階調値が定義された合成画像Ｄｇを生成する。

合成部３０としては、例えば図４に示す合成部３０ａ（第１の構成例）、図５に示す合成部３０ｂ（第２の構成例）、又は図６に示す合成部３０ｃ（第３の構成例）を用いることができる。

図４に示される合成部３０ａは、基準画像Ｄａ０の各画素を注目画素Ｄａ０ｉとし、注目画素Ｄａ０ｉの階調値と、位置合わせ画像Ｄｃ１〜ＤｃＭの、注目画素Ｄａ０ｉと同じ位置の画素Ｄｃ１ｉ〜ＤｃＭｉのうちの定義画素とを加重加算することで、注目画素Ｄａ０ｉについての時間方向加算値Ｄｄｉを算出する。

合成部３０ａは、それぞれ位置合わせ画像Ｄｃ１〜ＤｃＭの未定義画素をマスクするＭ個の未定義画素マスク部３１−１〜３１−Ｍと、注目画素Ｄａ０ｉと、位置合わせ画像Ｄｃ１〜ＤｃＭの、注目画素Ｄａ０ｉと同じ位置の画素Ｄｃ１ｉ〜ＤｃＭｉの階調値とを加重加算する時間方向加重加算部３２とを備えている。

未定義画素マスク部３１−１〜３１−Ｍは、位置合わせ画像（Ｄｃ１〜ＤｃＭ）の未定義画素をマスクする。未定義画素をマスクする処理は、後段の時間方向加重加算部３２が未定義画素を加算の対象としないようにする処理であり、例えば、未定義画素である位置合わせ画像Ｄｃ１〜ＤｃＭの階調値の出力を禁止することで行われる。代わりに各位置合わせ画像Ｄｃｍの各画素について当該画素が未定義画素であるか否かを識別する情報（未定義画素マスク情報）を出力することとしても良い。

時間方向加重加算部３２は、注目画素Ｄａ０ｉの階調値と、マスクされた位置合わせ画像Ｄｃ１〜ＤｃＭの、注目画素Ｄａ０ｉと同じ位置の画素Ｄｃ１ｉ〜ＤｃＭｉのうちの定義画素の階調値との加重加算（時間方向加重加算）を行って、注目画素Ｄａ０ｉについての時間方向加算値Ｄｄｉを算出する。ここで、未定義画素マスク部３１−１〜３１−Ｍの作用により、未定義画素は加算の対象とされない。この場合、未定義画素マスク情報により未定義画素を判別し、未定義画素に対する重みをゼロとして加算することとしても良い。重みをゼロとして加算するのは、加算の対象としないのと等価であるからである。

加重加算においては、注目画素Ｄａ０ｉと、加算の対象とされる位置合わせ画像の画素について等しい重みを用いても良いし、注目画素Ｄａ０ｉが最も大きく、位置合わせ画像の画素については、それぞれの位置合わせ画像に対応する参照画像の、基準画像Ｄａ０との撮影時刻の差が大きくなるにつれて小さくなる重みを用いても良い。また、バイラテラルフィルタを用いた処理のように基準画像Ｄａ０の画素と各位置合わせ画像Ｄｃｍの画素の階調値の差分又は類似度に応じて重みを画素毎に変更することとしても良い。

注目画素Ｄａ０ｉについての時間方向加算値Ｄｄｉは、合成画像Ｄｇの、注目画素Ｄａ０ｉと同じ位置の画素Ｄｇｉの階調値として合成部３０ａから出力される。全ての画素Ｄｇ１〜ＤｇＩの階調値により合成画像Ｄｇが構成される。合成部３０ａは、以上のようにして合成画像Ｄｇを生成する。

時間方向加重加算部３２における加重加算によって、Ｓ／Ｎを高めることができる。例えば、加算される画素同士の差分がゼロである場合、Ｌ個の画素の階調値を単純加算すれば、階調値のうちの信号成分はＬ倍となる。一方、ノイズ成分は√Ｌ倍となり、Ｓ／ＮはＬ／√Ｌ＝√Ｌ倍に改善する。加重加算における重みが異なる場合には、重み付け係数の総和に応じたＳ／Ｎの改善効果が得られる。

図５に示される合成部３０ｂは、図４の合成部３０ａと同様に、基準画像Ｄａ０の各画素を注目画素Ｄａ０ｉとし、注目画素Ｄａ０ｉの階調値と、位置合わせ画像Ｄｃ１〜ＤｃＭの、注目画素Ｄａ０ｉと同じ位置の画素Ｄｃ１ｉ〜ＤｃＭｉのうちの定義画素の階調値との加重加算を行い、この加重加算の結果を、合成画像Ｄｇの、注目画素Ｄａ０ｉと同じ位置の画素Ｄｇｉの階調値の算出に用いる。合成部３０ｂはさらに、注目画素Ｄａ０ｉの階調値と、基準画像Ｄａ０内の、注目画素Ｄａ０ｉの周辺の画素の階調値との加重加算を行い、この加重加算の結果をも、合成画像Ｄｇの、注目画素Ｄａ０ｉと同じ位置の画素Ｄｇｉの階調値の算出に用いる点で図４の合成部３０ａと異なる。

合成部３０ｂは、図４の合成部３０ａと同様に、Ｍ個の未定義画素マスク部３１−１〜３１−Ｍ、及び時間方向加重加算部３２を備え、さらに、空間方向加重加算部３３、加算画素数評価部３４、及び時空間統合部３５を備えている。

未定義画素マスク部３１−１〜３１−Ｍ及び時間方向加重加算部３２は、図４の合成部３０ａと同様のものであるので説明を省略し、以下では、空間方向加重加算部３３、加算画素数評価部３４及び時空間統合部３５についてより詳しく説明する。

空間方向加重加算部３３は、注目画素Ｄａ０ｉの階調値と、基準画像Ｄａ０内の、注目画素Ｄａ０ｉの周辺の画素の階調値との加重加算（空間方向加重加算）を行って、注目画素Ｄａ０ｉについての空間方向加算値Ｄｅｉを算出する。
加重加算は、注目画素Ｄａ０ｉと周辺の画素について等しい重みを用いても良いし、注目画素Ｄａ０ｉが最も大きく、周辺の画素については注目画素Ｄａ０ｉとの距離が大きくなるにつれて小さくなる重みを用いても良い。また、バイラテラルフィルタを用いた処理のように注目画素Ｄａ０ｉと周辺の画素の階調値の差分又は類似度に応じて重みを画素毎に変更することとしても良い。

加算画素数評価部３４は、位置合わせ画像Ｄｃ１〜ＤｃＭの、注目画素Ｄａ０ｉと同じ位置の画素Ｄｃ１ｉ〜ＤｃＭｉの各々が未定義画素であるか否かに基づいて、注目画素Ｄａ０ｉについての加算画素数評価値Ｎｄｉを算出する。
加算画素数評価値Ｎｄｉは、時間方向加重加算部３２における加重加算の対象とされる画素の数、又は当該加重加算で用いられる重みの合計を表す。

例えば、時間方向加重加算部３２で、注目画素Ｄａ０ｉと、位置合わせ画像Ｄｃ１〜ＤｃＭの、注目画素Ｄａ０ｉと同じ位置の画素Ｄｃ１ｉ〜ＤｃＭｉのうちの定義画素とを単純加算する場合には、位置合わせ画像Ｄｃ１〜ＤｃＭの、注目画素Ｄａ０ｉと同じ位置の画素Ｄｃ１ｉ〜ＤｃＭｉのうちの定義画素の数に「１」を加えた値を加算画素数評価値Ｎｄｉとして用いても良い。「１」を加えるのは、注目画素Ｄａ０ｉも加重加算の対象になるためである。

また、時間方向加重加算部３２で加重加算を行う場合には、注目画素Ｄａ０ｉについての時間方向加算値Ｄｄｉを算出するための加重加算で用いられる重みの合計（積算値）に対応する値を注目画素Ｄａ０ｉについての加算画素数評価値Ｎｄｉとして用いてもよい。この場合、注目画素Ｄａ０ｉに対する重みを「１」とし、位置合わせ画像Ｄｃ１〜ＤｃＭの画素については、注目画素Ｄａ０ｉに対する差分がゼロである場合に重みを「１」とし、該差分の増加に伴って重みを減少させる場合には、その重みの合計（積算値）を加算画素数評価値Ｎｄｉとして用いてもよい。このようにすることで、加算画素数評価値Ｎｄｉとして、時間方向加重加算部６２における実効的な加算画素数を表すものを生成することができる。

時空間統合部３５は、注目画素Ｄａ０ｉについての時間方向加算値Ｄｄｉ及び空間方向加算値Ｄｅｉに対し、注目画素Ｄａ０ｉについて算出された加算画素数評価値Ｎｄｉに応じた重みＷｄｉ、Ｗｅｉを付けて加重加算を行って注目画素Ｄａ０ｉについての三次元加算値Ｄｆｉを算出する。
重み付けに際しては、加算画素数評価値Ｎｄｉが大きい場合には、時間方向加算値Ｄｄｉに対する重みＷｄｉを大きくし、加算画素数評価値Ｎｄｉが小さい場合には、空間方向加算値Ｄｉｅｉに対する重みＷｅｉを大きくする。

注目画素Ｄａ０ｉについての三次元加算値Ｄｆｉは、合成画像Ｄｇの、注目画素Ｄａ０ｉと同じ位置の画素Ｄｇｉの階調値として合成部３０ｂから出力される。全ての画素Ｄｇ１〜ＤｇＩの階調値により合成画像Ｄｇが構成される。合成部３０ｂは、以上のようにして合成画像Ｄｇを生成する。

時間方向加重加算部３２における加重加算及び空間方向加重加算部３３における加重加算、及び時空間統合部３５における加重加算によって、Ｓ／Ｎを高めることができる。例えば、加算される画素同士の差分がゼロである場合、時間方向加重加算部３２において、Ｌ１個の画素の階調値を単純加算し、空間方向加重加算部３３においてＬ２個の画素の階調値を単純加算し、時空間統合部３５において、時間方向加算値Ｄｄｉと、空間方向加算値Ｄｅｉとを単純加算すれば、三次元加算値Ｄｆｉのうちの信号成分は（Ｌ１＋Ｌ２）倍となる。一方、ノイズ成分は√（Ｌ１＋Ｌ２）倍となり、Ｓ／Ｎは（Ｌ１＋Ｌ２）／√（Ｌ１＋Ｌ２）＝√（Ｌ１＋Ｌ２）倍に改善する。加重加算における重みが異なる場合には、重み付け係数の総和に応じたＳ／Ｎの改善効果が得られる。

図６に示される合成部３０ｃは、位置合わせ画像Ｄｃ１〜ＤｃＭの各々Ｄｃｍにおける未定義画素の階調値を、当該位置合わせ画像Ｄｃｍ内の周辺の画素の階調値を用いて補間し、基準画像Ｄａ０の各画素を注目画素Ｄａ０ｉとし、注目画素Ｄａ０ｉの階調値と、全ての位置合わせ画像Ｄｃ１〜ＤｃＭの、注目画素Ｄａ０ｉと同じ位置の画素Ｄｃ１ｉ〜ＤｃＭｉの階調値を加重加算することによって、注目画素Ｄａ０ｉについての時間方向加算値Ｄｄｉを算出する。

合成部３０ｃは、それぞれ位置合わせ画像Ｄｃ１〜ＤｃＭの未定義画素を補間するＭ個の未定義画素補間部３６−１〜３６−Ｍと、基準画像Ｄａ０と位置合わせ画像Ｄｃ１〜ＤｃＭの、注目画素Ｄａ０ｉと同じ位置の画素Ｄｃ１ｉ〜ＤｃＭｉの階調値を加重加算する時間方向加重加算部３２とを備えている。

未定義画素補間部３６−１〜３６−Ｍは、位置合わせ画像Ｄｃ１〜ＤｃＭの未定義画素を補間する。未定義画素の階調値の補間は、補間対象画素の周辺の画素の階調値からの予測によって行う。例えば、補間対象画素の近傍８画素の階調値の加重加算の結果を補間対象画素の値とすることができる。また、エッジの方向又は周辺の画素が未定義画素であるか否かに応じて加重加算における重みを適応的に変えて補間を行っても良い。

時間方向加重加算部３２は、注目画素Ｄａ０ｉの階調値と、全ての位置合わせ画像Ｄｃ１〜ＤｃＭの、注目画素Ｄａ０ｉと同じ位置の画素Ｄｃ１ｉ〜ＤｃＭｉの階調値との加重加算を行って、注目画素についての時間方向加算値Ｄｄｉを算出する。位置合わせ画像Ｄｃ１〜ＤｃＭの未定義画素の階調値が未定義画素補間部３６−１〜３６−Ｍにより補間されているので、全ての位置合わせ画像Ｄｃ１〜ＤｃＭの画素が、時間方向加重加算部３２における加重加算の対象となる。

加重加算においては、注目画素Ｄａ０ｉと、位置合わせ画像Ｄｃ１〜ＤｃＭの画素について等しい重みを付けても良いし、注目画素Ｄａ０ｉが最も大きく、位置合わせ画像Ｄｃ１〜ＤｃＭの画素については、それぞれの位置合わせ画像に対応する参照画像の、基準画像Ｄａ０との撮影時刻の差が大きくなるにつれて小さくなる重みを付けても良い。また、バイラテラルフィルタを用いた処理のように基準画像Ｄａ０と各位置合わせ画像Ｄｃｍの階調値の差分又は類似度に応じて重みを画素毎に変更することとしても良い。

さらに、未定義画素補間部３６−１〜３６−Ｍの各々（３６−ｍ）において未定義画素毎に補間結果の信頼性を評価し、補間結果の信頼性に応じて当該位置合わせ画像Ｄｃｍに対する重みを変更することとしても良い。例えば、周辺の画素が定義画素である場合、或いは画像パターンが複雑でない場合には、補間結果の信頼性が高いと判断することができる。補間結果の信頼性が高いと判断される場合には当該位置合わせ画像Ｄｃｍに対する重みを大きくする。また、周辺の画素がほとんど未定義画素である場合、或いは画像のパターンが複雑である場合には、信頼性が低いと判断することができる。補間結果の信頼性が低いと判断される場合には当該位置合わせ画像Ｄｃｍに対する重みを小さくする。

注目画素Ｄａ０ｉについての時間方向加算値Ｄｄｉは、合成画像Ｄｇの、注目画素Ｄａ０ｉと同じ位置の画素Ｄｇｉの階調値として合成部３０ｃから出力される。全ての画素Ｄｇ１〜ＤｇＩの階調値により合成画像Ｄｇが構成される。合成部３０ｃは、以上のようにして合成画像Ｄｇを生成する。

時間方向加重加算部３２における加重加算によって、Ｓ／Ｎを高めることができる。例えば、補間の精度が高く、また加算される画素同士の差分がゼロである場合、Ｌ個の画素の階調値を単純加算すれば、階調値のうちの信号成分はＬ倍となる。一方、ノイズ成分は√Ｌ倍となり、Ｓ／ＮはＬ／√Ｌ＝√Ｌ倍に改善する。
合成部３０ｃでは全ての位置合わせ画像について補間を行った上で加重加算を行うので、上記のＬはＮに等しい。
加重加算における重みが異なる場合には、重み付け係数の総和に応じたＳ／Ｎの改善効果が得られる。

次に、実施の形態１の画像処理装置による効果を説明する。
実施の形態１の画像処理装置では、複数の入力画像のうち、１つの入力画像を基準画像Ｄａ０とし、それ以外の画像を１又は２以上の参照画像Ｄａ１〜ＤａＭとする。そして、１又は２以上の位置ずれ量検出部１０−１〜１０−Ｍが、各々入力された参照画像Ｄａｍの各画素について、基準画像Ｄａ０との位置ずれ量Ｄｂｍｉを検出する。さらに、１又は２以上の位置合わせ画像生成部２０−１〜２０−Ｍが、各々入力された参照画像（Ｄａｍ）から位置合わせ画像を生成する。そして、合成部３０が、基準画像Ｄａ０と、上記の１又は２以上の位置合わせ画像生成部２０−１〜２０−Ｍで生成された１又は２以上の位置合わせ画像Ｄｃ１〜ＤｃＭとの合成を行う。さらに、位置合わせ画像生成部２０−１〜２０−Ｍの各々（２０−ｍ）が、入力された参照画像の各画素Ｄａｍｉを、当該画素Ｄａｍｉについての位置ずれ量Ｄｂｍｉに従って移動させ、移動先に最も近い画素位置に、当該画素Ｄａｍｉの階調値を割り当てることにより、少なくとも一部の画素の階調値が定義された位置合わせ画像Ｄｃｍを生成する。そして、合成部３０が、１又は２以上の位置合わせ画像Ｄｃ１〜ＤｃＭの各々の各画素が定義された画素であるか否かに応じた重みを付けて加重加算することによって、或いは定義されていない画素を補間した上で加重加算することによって上記の合成を行うことで、合成画像Ｄｇの、注目画素Ｄａ０ｉと同じ位置の画素Ｄｇｉの階調値を算出する。

これにより、撮像部２が高速に移動している場合など、撮影上の制約から複数の同一視点の画像を得ることが難しい場合であっても、異なる画像間で位置合わせがなされた複数の画素の階調値を加算することにより、ランダムノイズを平均化し、Ｓ／Ｎを向上することができる。

また、位置合わせ画像Ｄｃ１〜ＤｃＭの生成の際にリサンプリング処理を伴わず、参照画像の画素の階調値をそのまま合成に用いることができるため、リサンプリング時に用いるカーネルの周波数特性により高周波数成分が劣化する問題を回避し、折り返し歪みがなく鮮鋭度が高い合成画像Ｄｇを生成できる。

さらに、図４に示す合成部３０ａでは、基準画像Ｄａ０及び位置合わせ画像Ｄｃ１〜ＤｃＭの、同じ位置の画素Ｄａ０ｉ、Ｄｃ１ｉ〜ＤｃＭｉを用いて加重加算を行うこととした。基準画像Ｄａ０の画素は必ず階調値が定義されているので、合成画像Ｄｇの画素が欠落することはない。また、空間方向の加重加算を行わないので画像の鮮鋭度を低下させずに、位置合わせ画像Ｄｃ１〜ＤｃＭにおいて定義されている画素の数の分だけＳ／Ｎを向上することができる。

また、時間方向加重加算部３２において、基準画像Ｄａ０と各位置合わせ画像Ｄｃｍとの階調値の差分又は類似度に応じて重みを画素毎に変更する構成とする場合、基準画像Ｄａ０の注目画素Ｄａ０ｉとの相関が高い画素を各位置合わせ画像Ｄｃ１〜ＤｃＭの画素から優先的に選択して合成に用いるのと同様の効果が得られ、位置ずれ量が正確でない場合又は隠蔽領域などが存在する場合であっても、互いにずれた画像が重ねられた画像が生成されるのを避け、鮮明な画像を得ることができる。

図５に示す合成部３０ｂでは、基準画像Ｄａ０及び位置合わせ画像（Ｄｃ１〜ＤｃＭ）の同じ位置の画素Ｄｃ０ｉ、Ｄｃ１ｉ〜ＤｃＭｉを用いた加重加算（時間方向加重加算）と、基準画像Ｄａ０の各画素（注目画素）と、その周辺の画素とを用いた加重加算（空間方向加重加算）とを併用している。
そして、加算画素数評価部３４により、時間方向加重加算部３２における加重加算の対象とされる画素の数、又は当該加重加算で用いられる重みの合計を表す加算画素数評価値Ｎｄｉを求め、加算画素数評価値Ｎｄｉが大きい場合に時間方向加算値Ｄｄｉに対する重みを大きくし、加算画素数評価値Ｎｄｉが小さい場合に空間方向加算値Ｄｅｉに対する重みを大きくしている。
これにより、未定義画素が多くて時間方向に十分な定義画素の加算を行うことができない場合に、空間方向に加算した結果に対してより大きな重みを付けて合成画像Ｄｇを生成することによって、加算される画素の数（重みを考慮に入れた実効的な加算画素数）を画素間で一定にし、Ｓ／Ｎの向上効果を均一にすることができる。

また、時間方向加重加算部３２において、基準画像Ｄａ０と各位置合わせ画像Ｄｃｍの同じ位置の画素間の階調値の差分又は類似度に応じて重みを画素毎に変更する構成とした場合、加算画素数評価部３４が、その重みの合計を加算画素数評価値Ｎｄｉとして用いることとしている。このようにする場合、未定義画素が存在しなくても、位置ずれ量が正確でない場合又は隠蔽領域などが存在する場合に時間方向に十分に加算ができないときは、重みの合計が小さくなる。このような場合に空間方向に加算した結果に対する重みを大きくすることによって、加算される画素の数（重みを考慮に入れた実効的な加算画素数）を画素間で一定にし、Ｓ／Ｎの向上効果を均一にすることができる。

図６に示す合成部３０ｃでは、位置合わせ画像Ｄｃ１〜ＤｃＭの未定義画素の階調値を周辺の画素の階調値を用いて補間を行うこととした。これにより、基準画像Ｄａ０の画素と全ての位置合わせ画像Ｄｃ１〜ＤｃＭの画素とを加算することができる。従って、加算される画素の数を一定にし、Ｓ／Ｎの向上効果を均一にすることができる。

以上で説明したように、本発明の実施の形態１の画像処理装置によれば、入力画像の視点が異なっていても、画像の変形処理によって生じる問題を解決し、高画質の合成画像を生成することができる。

実施の形態２．
図７は本発明の実施の形態２の画像処理装置を示す。実施の形態２の画像処理装置は、実施の形態１と同様、Ｎ枚の入力画像を合成して１枚の合成画像を生成するものであり、例えば図２の画像処理装置６として用い得る。

実施の形態２の画像処理装置は、Ｍ個の位置ずれ量検出部１０−１〜１０−Ｍと、Ｍ個の位置合わせ画像生成部２０−１〜２０−Ｍと、合成部６０と、ゲイン設定部４０と、階調変換部５０とを備えている。
位置ずれ量検出部１０−１〜１０−Ｍ、及び位置合わせ画像生成部２０−１〜２０−Ｍは実施の形態１と同様のものである。

ゲイン設定部４０は、基準画像Ｄａ０の階調特性乃至階調値分布に基づいて、階調値毎のゲインＧｊ（ｊは０からＪまでのいずれかであり、Ｊは階調値の最大値である。）を設定し、さらに基準画像Ｄａ０の各画素が注目画素Ｄａ０ｉとして合成部６０及び階調変換部５０で処理される際に、注目画素Ｄａ０ｉの階調値に対して設定されたゲインＧｊを、注目画素Ｄａ０ｉについてのゲインＧｉとして決定して、出力する。

合成部６０は、各画素を注目画素Ｄａ０ｉとして処理を行う際に、ゲイン設定部４０から出力される、注目画素Ｄａ０ｉについてのゲインＧｉを用いて、基準画像Ｄａ０と位置合わせ画像Ｄｃ１〜ＤｃＭとを合成することにより合成画像Ｄｇを生成する。

階調変換部５０は、各画素を注目画素Ｄａ０ｉとして処理を行う際に、ゲイン設定部４０から出力される、注目画素Ｄａ０ｉについてのゲインＧｉを用いて合成画像Ｄｇの階調を変換することにより階調変換画像（出力画像）Ｄｈを生成する。

上記のように、ゲイン設定部４０は、基準画像Ｄａ０の階調特性に基づいて階調値毎のゲインＧｊを設定する。階調値毎のゲインＧｊは、該ゲインＧｊにより決定される階調変換特性が、基準画像Ｄａ０のダイナミックレンジを圧縮するものとなるように設定される。具体的には、暗部のゲインＧｊが大きく、明部のゲインＧｊが「１」に近い特性が好適である。特に、明部と暗部の階調差が大きいシーンを撮影することで得られた入力画像においては暗部のゲインＧｊがより大きくなるように設定する。

本実施の形態２では、ダイナミックレンジが広いシーンで、明るい被写体部分において階調値が飽和しないように撮像部２における露光時間を短くして撮影する場合を想定しており、その場合、入力画像の階調値分布（輝度分布）は図８（ａ）に示すように、低階調値部と高階調値部にピークＰａ、Ｐｂを持つものとなる。露光時間の制御は制御部８によって行われる。

入力画像の階調値分布が図８（ａ）に示すものである場合、総合的な階調変換特性として、図８（ｂ）に示すようなものとなるようにゲインＧｊが設定される。図８（ｂ）の階調変換特性においては、最も暗い部分においてゲインＧｊが最も大きく、階調値の上昇にともなって、ゲインＧｊが次第に小さくなって、階調値の最大値に近づくにともない、ゲインＧｊが「１」に近づく。

一方、図９（ａ）のように、階調値分布が中階調値部分Ｒｍに集中している場合、階調変換特性を図９（ｂ）のように、低階調値部分ではゲインＧｊが小さく、中階調値部分（階調値分布が集中している範囲）の下端（図で左端）付近でゲインＧｊが最も大きくなり（ゲインＧｊが最大となる点を符号Ｐｇｍで示す）、高階調値部分では最大値に近づくにつれゲインＧｊが「１」に近づく。
このように、ゲインＧｊは階調特性乃至階調値分布に応じて調整するのが好ましい。

合成部６０は、基準画像Ｄａ０とＭ枚の位置合わせ画像Ｄｃ１〜ＤｃＭとを合成することにより合成画像Ｄｇを生成する。合成部６０は、基準画像Ｄａ０の各画素を注目画素Ｄａ０ｉとし、注目画素Ｄａ０ｉの階調値と、位置合わせ画像Ｄｃ１〜ＤｃＭの、注目画素Ｄａ０ｉと同じ位置の画素Ｄｃ１ｉ〜ＤｃＭｉの階調値との加重加算を含む処理を行うことで、合成画像Ｄｇの、注目画素Ｄａ０ｉと同じ位置の画素Ｄｇｉの階調値を算出する。この加重加算は、未定義画素を除外して行っても良く、未定義画素を補間した上で行っても良い。以上の点で、合成部６０は、実施の形態１の合成部３０と同様である。

一方、合成部６０は、ゲイン設定部４０から出力される、注目画素Ｄａ０ｉについてのゲインＧｉに基づいて、加重加算される画素の数或いは加重加算における重みを画素毎に制御する点で実施の形態１の合成部３０とは異なる。即ち、合成部６０では、基準画像Ｄａ０の各画素Ｄａ０ｉに対する合成処理を行う際に、注目画素Ｄａ０ｉの階調値に応じてゲイン設定部４０から出力されるゲインＧｉを用いて、当該画素Ｄａ０ｉについて（当該画素Ｄａ０ｉに対応する合成画像Ｄｇの画素Ｄｇｉの階調値の算出のために）、加重加算される画素の数或いは加重加算における重みを定める。

合成部６０としては、例えば図１０に示す合成部６０ａ（第１の構成例）、図１１に示す合成部６０ｂ（第２の構成例）、又は図１２に示す合成部６０ｃ（第３の構成例）を用いることができる。

図１０に示される合成部６０ａは、図４の合成部３０ａと同様に、注目画素Ｄａ０ｉの階調値と、位置合わせ画像Ｄｃ１〜ＤｃＭの、注目画素Ｄａ０ｉと同じ位置の画素Ｄｃ１ｉ〜ＤｃＭｉのうちの定義画素とを加重加算することで、注目画素Ｄａ０ｉについての時間方向加算値Ｄｄｉを算出する。

合成部６０ａは、それぞれ位置合わせ画像Ｄｃ１〜ＤｃＭの未定義画素をマスクするＭ個の未定義画素マスク部３１−１〜３１−Ｍと、注目画素Ｄａ０ｉと、位置合わせ画像Ｄｃ１〜ＤｃＭの、注目画素Ｄａ０ｉと同じ位置の画素Ｄｃ１ｉ〜ＤｃＭｉのうちの定義画素の階調値とを加重加算する時間方向加重加算部６２とを備えている。

未定義画素マスク部３１−１〜３１−Ｍは、図４の合成部３０ａに関して説明したものと同じである。

時間方向加重加算部６２は、図４の合成部３０ａの時間方向加重加算部３２と同様に、注目画素Ｄａ０ｉの階調値と、位置合わせ画像Ｄｃ１〜ＤｃＭの、注目画素Ｄａ０ｉと同じ位置の画素Ｄｃ１ｉ〜ＤｃＭｉのうちの定義画素の階調値との加重加算（時間方向加重加算）を行って、注目画素Ｄａ０ｉについての時間方向加算値Ｄｄｉを算出する。
但し、加重加算に用いられる定義画素の数が、ゲイン設定部４０から出力される、注目画素Ｇａ０ｉについてのゲインＧｉに基づいて決定される。即ち、注目画素Ｄａ０ｉについてのゲインＧｉが大きければ、加算される画素の数を多くし、上記のゲインＧｉが小さければ、加算される画素の数を少なくする。

加算される画素の数を変えるに当たっては、例えば、撮影時刻の差、或いは階調値の差分又は類似度に基づいて優先順位を定め、優先順位の高いものから順に選択すれば良い。撮影時刻の差に基づいて優先順位を定める場合には、撮影時刻の差が小さいほど優先順位を高くする。階調値の差分又は類似度に基づいて優先順位を定める場合には、差分が小さいほど、或いは類似度が高いほど優先順位を高くする。

注目画素Ｄａ０ｉについての時間方向加算値Ｄｄｉは、合成画像Ｄｇの、注目画素Ｄａ０ｉと同じ位置の画素Ｄｇｉの階調値として合成部６０ａから出力される。全ての画素Ｄｇ１〜ＤｇＩの階調値により合成画像Ｄｇが構成される。合成部６０ａは、以上のようにして合成画像Ｄｇを生成する。

合成部６０ａを用いると、図４の合成部３０ａを用いた場合と同様の効果が得られる。さらに、各画素について、その階調値に応じて決定されるゲインＧｉに基づいて、当該画素についての時間方向加算値Ｄｄｉの算出のために用いられる画素の数を変えることで、画像の暗部でＳ／Ｎを向上させるとともに、画像の明部では、不必要な加重加算を避けて、ぼやけを減らすことができる。

図１１に示される合成部６０ｂは、図１０の合成部６０ａと同様に、基準画像Ｄａ０の各画素を注目画素Ｄａ０ｉとし、注目画素Ｄａ０ｉの階調値と、位置合わせ画像Ｄｃ１〜ＤｃＭの、注目画素Ｄａ０ｉと同じ位置の画素Ｄｃ１ｉ〜ＤｃＭｉのうちの定義画素の階調値との加重加算を行い、この加重加算の結果を合成画像Ｄｇの、注目画素Ｄａ０ｉと同じ位置の画素Ｄｇｉの階調値の算出に用いる。合成部６００ｂはさらに、注目画素Ｄａ０ｉの階調値と、基準画像Ｄａ０内の、注目画素Ｄａ０ｉの周辺の画素の階調値との加重加算を行い、この加重加算の結果をも、合成画像Ｄｇの、注目画素Ｄａ０ｉと同じ位置の画素Ｄｇｉの階調値の算出に用いる点で図１０の合成部６０ａと異なる。

合成部６０ｂは、図１０の合成部６０ａと同様に、Ｍ個の未定義画素マスク部３１−１〜３１−Ｍ、及び時間方向加重加算部６２を備え、さらに、空間方向加重加算部６３、加算画素数評価部３４、及び時空間統合部６５を備えている。

未定義画素マスク部３１−１〜３１−Ｍ、時間方向加重加算部６２、及び加算画素数評価部３４は、図１０の合成部６０ａの未定義画素マスク部３１−１〜３１−Ｍ及び加算画素数評価部３４と同様のものであるので説明を省略し、以下では、空間方向加重加算部６３及び時空間統合部６５についてより詳しく説明する。

空間方向加重加算部６３は、図５の合成部３０ｂの空間方向加重加算部３３と同様のものであり、注目画素Ｄａ０ｉの階調値と、基準画像Ｄａ０内の、注目画素Ｄａ０ｉの周辺の画素の階調値との加重加算（空間方向加重加算）を行って、注目画素Ｄａ０ｉについての空間方向加算値Ｄｅｉを算出する。
但し、加重加算に用いられる画素の数が、ゲイン設定部４０から出力される、注目画素Ｇａ０ｉについてのゲインＧｉに基づいて決定される。即ち、注目画素Ｄａ０ｉについてのゲインＧｉが大きければ、加算される画素の数を多くし、上記のゲインＧｉが小さければ、加算される画素の数を少なくする。

加算される画素の数を変えるに当たっては、例えば、注目画素Ｄａ０ｉからの距離、或いは注目画素Ｄａ０ｉに対する階調値の差分又は類似度に基づいて優先順位を定め、優先順位の高いものから順に選択すれば良い。注目画素Ｄａ０ｉからの距離に基づいて優先順位を定める場合には、注目画素Ｄａ０ｉからの距離が短いほど優先順位を高くする。注目画素Ｄａ０ｉに対する階調値の差分又は類似度に基づいて優先順位を定める場合には、差分が小さいほど、或いは類似度が高いほど優先順位を高くする。

時間方向加重加算部６２において加算される画素の数と、空間方向加重加算部６３において加算される画素の数とは互いに協調して変更される。
例えば、加算される画素の総数を増やす必要があるときは、時間方向加重加算部６２において加算される画素の数を優先して増やし、それでも足りないときに、空間方向加重加算部６３において加算される画素の数を増やすのが好ましい。逆に、加算される画素の総数を減らす必要があるときは、空間方向加重加算部６３において加算される画素の数を優先して減らし、それでも多過ぎるときに、時間方向加重加算部６２において加算される画素の数を増やすのが好ましい。

時空間統合部６５は、図５の合成部３０ｂの時空間統合部３５と同様に、注目画素Ｄａ０ｉについての時間方向加算値Ｄｄｉ及び空間方向加算値Ｄｅｉに対し、注目画素Ｄａ０ｉについて算出された加算画素数評価値Ｎｄｉに応じた重みＷｄｉ、Ｗｅｉを付けて加重加算を行って注目画素Ｄａ０ｉについての三次元加算値Ｄｆｉを算出する。

但し、各画素についての三次元加算値Ｄｆｉの算出のための、時空間統合部６５における加重加算で用いられる重みＷｄｉ、Ｗｅｉは、当該画素についての加算画素数評価値Ｎｄｉ及びゲインＧｉに基づいて定められる。即ち、各画素に対して決定されたゲインＧｉが大きく、空間方向加重加算部６３で加算される画素の数を増やすときは、これに応じて、空間方向加算値Ｄｅｉに対する重みＷｅｉを大きくする。逆に、上記のゲインＧｉが小さく、空間方向加重加算部６３で加算される画素の数を減らすときは、これに応じて、時間方向加算値Ｄｄｉに対する重みＷｄｉを大きくする。

より具体的には、空間方向加重加算で加算される画素の数がＮｅｉで表される場合、時空間統合部６５による加重加算における重み付け係数Ｗｄｉ、Ｗｅｉを、以下の関係を満たすように定めることとしても良い。
Ｗｄｉ：Ｗｅｉ＝Ｎｄｉ：Ｎｅｉ
上記の式でＮｄｉは加算画素数評価値Ｎｄｉである。

注目画素Ｄａ０ｉについての三次元加算値Ｄｆｉは、合成画像Ｄｇの、注目画素Ｄａ０ｉと同じ位置の画素Ｄｇｉの階調値として合成部６０ｂから出力される。全ての画素Ｄｇ１〜ＤｇＩの階調値により合成画像Ｄｇが構成される。合成部６０ｂは、以上のようにして合成画像Ｄｇを生成する。

以上のように、合成部６０ｂを用いると、図５の合成部３０ｂを用いた場合と同様の効果が得られる。さらに、各画素について、当該画素の階調値に応じて決定されるゲインＧｉに基づいて、当該画素についての時間方向加算値Ｄｄｉの算出のために加算される画素の数、及び当該画素についての空間方向加算値Ｄｅｉの算出のために加算される画素の数を変えることで、画像の暗部でＳ／Ｎを向上させるとともに、画像の明部では、不必要な加重加算を避けて、鮮鋭度の低下或いはぼやけを減らすことができる。
また、時間方向の加重加算を優先して行い、それでも足りないときに空間方向の加重加算を行うことで、鮮鋭度の低下を抑制することができる。

図１２に示される合成部６０ｃは、図６の合成部３０ｃと同様に、位置合わせ画像Ｄｃ１〜ＤｃＭの各々Ｄｃｍにおける未定義画素の階調値を、当該位置合わせ画像Ｄｃｍ内の周辺の画素の階調値を用いて補間し、基準画像Ｄａ０の各画素を注目画素Ｄａ０ｉとし、注目画素Ｄａ０ｉの階調値と、位置合わせ画像Ｄｃ１〜ＤｃＭの、注目画素Ｄａ０ｉと同じ位置の画素Ｄｃ１ｉ〜ＤｃＭｉのうちの全部又は一部の階調値を加重加算することによって、注目画素Ｄａ０ｉについての時間方向加算値Ｄｄｉを算出する。

合成部６０ｃは、それぞれ位置合わせ画像Ｄｃ１〜ＤｃＭの未定義画素を補間するＭ個の未定義画素補間部３６−１〜３６−Ｍと、注目画素Ｄａ０ｉと、位置合わせ画像Ｄｃ１〜ＤｃＭの、注目画素Ｄａ０ｉと同じ位置の画素Ｄｃ１ｉ〜ＤｃＭのうちの全部又は一部の階調値とを加重加算する時間方向加重加算部６２とを備えている。

未定義画素補間部３６−１〜３６−Ｍは、図６の合成部３０ｃの未定義画素補間部３６−１〜３６−Ｍと同様のものである。

時間方向加重加算部６２は、図６の合成部３０ｃの時間方向加重加算部３２と同様のものであるが、注目画素Ｄａ０ｉの階調値と、位置合わせ画像Ｄｃ１〜ＤｃＭの、注目画素Ｄａ０ｉと同じ位置の画素Ｄｃ１ｉ〜ＤｃＭｉのうちの全部又は一部の階調値との加重加算を行って、注目画素Ｄａ０ｉについての時間方向加算値Ｄｄｉを算出する。
加重加算において加算される画素の数は、ゲイン設定部４０から出力される、注目画素Ｇａ０ｉについてのゲインＧｉに基づいて決定される。即ち、注目画素Ｄａ０ｉについてのゲインＧｉが大きければ、加算される画素の数を多くし、上記のゲインＧｉが小さければ、加算される画素の数を少なくする。

加算される画素の数を変えるに当たっては、例えば、補間された画素であるか否かに基づいて、或いは撮影時刻の差、或いは階調値の差分又は類似度に基づいて優先順位を定め、優先順位の高いものから順に選択すれば良い。撮影時刻の差に基づいて優先順位を定める場合には、撮影時刻の差が小さいほど優先順位を高くする。階調値の差分又は類似度に基づいて優先順位を定める場合には、差分が小さいほど、或いは類似度が高いほど優先順位を高くする。

注目画素Ｄａ０ｉについての時間方向加算値Ｄｄｉは、合成画像Ｄｇの、注目画素Ｄａ０ｉと同じ位置の画素Ｄｇｉの階調値として合成部６０ｃから出力される。全ての画素Ｄｇ１〜ＤｇＩの階調値により合成画像Ｄｇが構成される。合成部６０ｃは、以上のようにして合成画像Ｄｇを生成する。

合成部６０ｃを用いると、図６の合成部３０ｃを用いた場合と同様の効果が得られる。さらに、各画素について、その階調値に応じて決定されるゲインＧｉに基づいて、当該画素についての時間方向加算値Ｄｄｉの算出のために用いられる画素の数を変えることで、画像の暗部でＳ／Ｎを向上させるとともに、画像の明部では、不必要な加重加算を避けて、ぼやけを減らすことができる。

以上のように、図１０に示す合成部６０ａ、又は図１２に示す合成部６０ｃを用いる場合には、各画素について、当該画素の階調値に応じて決定されるゲインＧｉに基づいて、当該画素についての時間方向加算値Ｄｄｉの算出のための時間方向加重加算で用いられる画素の数を制御する。具体的には、ゲインＧｉが大きければ時間方向に加算される画素の数を多くし、ゲインＧｉが小さければ時間方向に加算される画素の数を少なくする。

図１１の合成部６０ｂを用いる場合には、当該画素についての時間方向加算値Ｄｄｉの算出のための時間方向加重加算で用いられる画素の数を制御することに加え、ゲインＧｉが大きければ、当該画素についての空間方向加算値Ｄｅｉの算出のための空間方向加重加算で用いられる画素の数を多くし、時空間統合部６５では、空間方向加算値Ｄｅｉに対する重みを大きくして加重加算を行う。

このように、図１１の合成部６０ｂを用いる場合には、注目画素Ｄａ０ｉについてのゲインＧｉが大きければ時間方向だけでなく空間方向に加算される画素の数を多くするので、ゲインＧｉが大きくかつ時間方向に十分な数の画素を加算できない場合でも、空間方向の加算でＳ／Ｎ向上の効果を補うことができる。

階調変換部５０は、ゲイン設定部４０から出力される、注目画素Ｄａ０ｉについてのゲインＧｉに基づいて、合成画像Ｄｇの階調値を変換することにより、階調変換画像（出力画像）Ｄｈの、注目画素Ｄａ０ｉと同じ位置の画素Ｄｈｉの階調値を算出する。
階調変換は、合成画像Ｄｇの各画素Ｄｇｉの階調値に対して単純にゲインＧｉを掛けてもよいし、Ｒｅｔｉｎｅｘ理論に基づくダイナミックレンジ圧縮処理を適用しても良い。後者の場合、合成画像Ｄｇの階調値をベース成分（照明光成分）とディテール成分（反射光成分）に分離し、ベース成分にのみゲインＧｉに従った階調変換を施し、ディテール成分は強度調整を施した後に再合成する。

具体的には、以下の方法を用い得る。
強度調整は、例えば、階調値の高周波数成分或いは変化分（２次微分）を図１３に示される変換特性を用いて変換する。これにより、微小な振幅のディテール成分を強調することができる。
また、別の方法として、階調値を低周波数成分（ベース成分）と高周波数成分（ディテール成分）とに分け、ベース成分に応じてディテール成分の各画素に対するゲインを決定し、ディテール成分の画素毎に決定されたゲインをディテール成分に乗算することにより強度調整を行ってもよい。これにより、Ｓ／Ｎの低い暗部においてディテール成分の強調を抑え、ノイズ増幅を抑制することができる。

次に、実施の形態２の画像処理装置による効果を説明する。
暗部のＳ／Ｎが良好に保たれた画像を得るためには露光時間を長くして撮影する必要がある。しかし、ダイナミックレンジが広いシーンの場合、露光時間を長くして撮影すると、明るい被写体部分の階調値が飽和し、信号成分が失われてしまう。一方、明るい被写体部分の階調値が飽和しないように露光時間を短くして撮影すると、暗部のＳ／Ｎが保たれず、暗い被写体の信号成分がノイズ成分に埋もれてしまう。

この問題の解決法として、特許文献１に記載されているように、露光時間を長くして撮影することで得られた画像と露光時間を短くして撮影することで得られた画像を合成することによりダイナミックレンジを拡大する技術がある。しかし、撮像部が高速に移動している場合など、撮影上の制約から複数の同一視点の画像を得ることが難しい場合、上記の手法では適切に対処できない。

そこで、本実施の形態２では、明るい被写体部分において階調値が飽和しないように露光時間を短くして撮影した複数枚の画像を入力画像とし、異なる複数の画像間で位置合わせを行い、位置合わせによって得られた複数の位置合わせ画像において得られる複数の画素の階調値を加算することにより、実施の形態１と同様に、暗部のランダムノイズを平均化し、暗部のＳ／Ｎを向上することができる。

また、位置ずれ量検出部１０−１〜１０−Ｍ、位置合わせ画像生成部２０−１〜２０−Ｍ、及び合成部６０の構成は実施の形態１と同様であるので、同様の効果を得ることができる。

さらに、ゲイン設定部４０においてダイナミックレンジを圧縮する階調変換特性に基づいて階調値毎のゲインＧｊを設定し、各画素が注目画素Ｄａ０ｉとして処理される際に、注目画素Ｄａ０ｉの階調値に応じて、注目画素Ｄａ０ｉについてゲインＧｉを出力し、合成部６０はゲインＧｉに応じて加重加算される画素の数或いは加重加算における重みを制御し、階調変換部５０はゲインＧｉに応じて合成画像Ｄｇの、注目画素Ｄａ０ｉと同じ位置の画素Ｄｇｉの階調値を変換している。具体的には、階調変換部５０において大きなゲインＧｊが適用される暗部に対しては、合成部６０において加重加算される画素の数を多くし、或いは加重加算における、注目画素Ｄａ０ｉ以外の画素に対する重みを大きくすることによりＳ／Ｎの向上効果を高めることができる。これにより、明るい被写体部分の階調値が飽和しないように維持しつつ、暗部のＳ／Ｎが向上することにより、ダイナミックレンジを拡大することができる。

以上本発明を画像処理装置として説明したが、上記の画像処理装置で実施される画像処理方法もまた本発明の一部を成す。

上記の画像処理装置の構成の一部又は全部で行われる処理、或いは上記の画像処理方法で行われる処理の一部又は全部はプロセッサを備えたコンピュータに実行させることができる。従って、コンピュータに上記の画像処理装置の構成の一部又は全部で行われる処理、上記の画像処理方法で行われる処理の一部又は全部を実行させるためのプログラム、及び該プログラムを記録した、コンピュータで読み取り可能な記録媒体もまた本発明の一部を成す。

上記のコンピュータの一例を図１４に示す。図１４のコンピュータは、プロセッサ１０１と、プログラムメモリ１０２と、データメモリ１０３と、入力インターフェース１０４と、出力インターフェース１０５とを備え、これらはデータバス１０６で接続されている。
入力インターフェース１０４には、例えば撮像部２からの撮像画像を蓄積する画像メモリ４からの複数の画像が供給される。これらの複数の画像は基準画像及び参照画像を構成するものである。

プロセッサ１０１は、プログラムメモリ１０２に記憶されたプログラムに従って動作し、入力インターフェース１０４を介して入力された複数の画像に対して、実施の形態１又は２の画像処理装置の各部の処理を行って、処理の結果得られた合成画像Ｄｇ（実施の形態１の場合）又は階調変換画像Ｄｈ（実施の形態２の場合）を出力インターフェース１０５から出力する。

プロセッサ１０１による処理の内容は、実施の形態１又は２で説明したのと同様である。処理の過程で生成されるデータはデータメモリ１０３に保持される。

なお、図１４に示されるコンピュータを複数台設け、それぞれに、画像処理装置の各部の処理を行わせることとしても良い。画像処理方法の処理の一部又は全部をコンピュータに実行させる場合も同様である。

なおまた、データメモリ１０３に、画像メモリ４の役割をも持たせても良い。その場合には、撮像部２から出力される撮像画像が、入力インターフェース１０４を介してデータメモリ１０３に供給される。

１０−１〜１０−Ｍ 位置ずれ量検出部、 ２０−１〜２０−Ｍ 位置合わせ画像生成部、 ３０、３０ａ、３０ｂ、３０ｃ 合成部、 ３１−１〜３１−Ｍ 未定義画素マスク部、 ３２ 時間方向加重加算部、 ３３ 空間方向加重加算部、 ３４ 加算画素数評価部、 ３５ 時空間統合部、 ３６−１〜３６−Ｍ 未定義画素補間部、 ４０ ゲイン設定部、 ５０ 階調変換部、 ６０、６０ａ、６０ｂ、６０ｃ 合成部、 ６２ 時間方向加重加算部、 ６３ 空間方向加重加算部、 ６５ 時空間統合部。

Claims (14)

1. 複数の入力画像のうちの１つの入力画像を基準画像とし、前記基準画像以外の１又は２以上の入力画像を参照画像としてこれらを合成して出力する画像処理装置であって、
   それぞれ前記１又は２以上の参照画像を入力として受け、各々入力された参照画像の各画素について、前記基準画像との位置ずれ量を検出する１又は２以上の位置ずれ量検出部と、
   それぞれ前記１又は２以上の参照画像を入力として受け、各々入力された参照画像から、少なくとも一部の画素の階調値が定義された位置合わせ画像を生成する１又は２以上の位置合わせ画像生成部と、
   前記基準画像と、前記１又は２以上の位置合わせ画像生成部で生成された前記位置合わせ画像との合成を行って合成画像を出力する合成部とを備え、
   前記位置合わせ画像生成部の各々は、入力された参照画像の各画素を、当該画素についての前記位置ずれ量に従って移動させ、移動先に最も近い画素位置に、当該画素の階調値を割り当てて定義し、前記位置合わせ画像の画素位置のうち、前記参照画像中に割り当てられる画素が存在しない画素位置に対しては階調値を定義しないことにより、前記位置合わせ画像を生成し、
   前記合成部は、前記基準画像の各画素を注目画素とし、前記注目画素の階調値と、前記位置合わせ画像の、前記注目画素と同じ位置の画素の階調値とを、前記位置合わせ画像の各々の各画素が、階調値が定義された画素であるか否かに応じた重みを付けて加重加算することによって、或いは階調値が定義されていない画素の階調値を補間した上で加重加算することによって前記合成画像の前記注目画素と同じ位置の画素の階調値を算出する
   ことを特徴とする画像処理装置。
2. 前記合成部は、
   前記位置合わせ画像の、階調値が定義されていない画素をマスクする未定義画素マスク部と、
   前記注目画素の階調値と、前記未定義画素マスク部でマスクされた前記１又は２以上の位置合わせ画像の、前記注目画素と同じ位置の画素の階調値との加重加算を行って、前記注目画素についての時間方向加算値を算出する時間方向加重加算部と
   を備えたことを特徴とする請求項１に記載の画像処理装置。
3. 前記時間方向加重加算部は、
   前記１又は２以上の位置合わせ画像の各々の、前記注目画素と同じ位置の画素について、前記注目画素との階調値の差分または類似度に応じて、前記時間方向加重加算部における前記加重加算で用いる重みを決定する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記合成部は、
   前記注目画素の階調値と、前記注目画素の周辺の画素の階調値との加重加算を行って、前記注目画素についての空間方向加算値を算出する空間方向加重加算部と、
   前記注目画素についての前記時間方向加算値の算出のための、前記時間方向加重加算部における加重加算の対象とされる画素の数、又は当該加重加算で用いられる重みの合計を前記注目画素についての加算画素数評価値として算出する加算画素数評価部と、
   前記注目画素についての前記加算画素数評価値に応じて、前記注目画素についての前記時間方向加算値と、前記注目画素についての前記空間方向加算値との加重加算を行って前記注目画素についての三次元加算値を算出し、前記合成画像の、前記注目画素と同じ位置の画素の階調値として出力する時空間統合部と
   をさらに備えたことを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記時空間統合部は、前記加算画素数評価値が大きいほど、前記時間方向加算値に対する重みを大きくし、前記空間方向加算値に対する重みを小さくして、前記加重加算を行う
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記合成部は、
   前記位置合わせ画像の、階調値が定義されていない画素の階調値を補間する未定義画素補間部と、
   前記注目画素の階調値と、前記未定義画素補間部で階調値が補間された前記１又は２以上の位置合わせ画像の、前記注目画素と同じ位置の画素の階調値との加重加算を行って、前記注目画素についての時間方向加算値を算出する時間方向加重加算部と
   を備えたことを特徴とする請求項１に記載の画像処理装置。
7. 前記基準画像の階調特性に基づいて階調値毎のゲインを設定し、前記注目画素の階調値に応じて前記注目画素についてのゲインを出力するゲイン設定部と、
   前記注目画素について前記ゲインに基づいて、前記合成画像の、前記注目画素と同じ位置の画素の階調値を変換することにより階調変換後画像の、前記注目画素と同じ位置の画素の階調値を算出する階調変換部と
   をさらに備えたことを特徴とする請求項１に記載の画像処理装置。
8. 前記合成部は、前記注目画素について前記ゲインに基づいて、前記注目画素についての前記加重加算において加算される画素の数を決定する
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記基準画像の階調特性に基づいて階調値毎のゲインを設定し、前記注目画素の階調値に応じて前記注目画素についてのゲインを出力するゲイン設定部と、
   前記注目画素についての前記ゲインに基づいて前記合成画像の、前記注目画素と同じ位置の画素の階調値を変換することにより階調変換後画像の、前記注目画素と同じ位置の画素の階調値を算出する階調変換部とをさらに備え、
   前記時間方向加重加算部は、前記注目画素についての前記ゲインに基づいて、前記注目画素についての前記時間方向加算値の算出のための、前記時間方向加重加算部における前記加重加算において加算される画素の数を決定し、
   前記空間方向加重加算部は、前記注目画素についての前記ゲインに基づいて、前記注目画素についての前記空間方向加算値の算出のための、前記空間方向加重加算部における前記加重加算において加算される画素の数を決定し、
   前記時空間統合部は、前記注目画素についての前記加算画素数評価値と、前記注目画素についての前記ゲインとに基づいて、前記時空間統合部における前記加重加算で用いられる、前記注目画素についての前記時間方向加算値に対する重み、及び前記注目画素についての前記空間方向加算値に対する重みを決定する
   ことを特徴とする請求項４に記載の画像処理装置。
10. 前記入力画像は、明るい被写体部分において階調値が飽和しないように露光時間を定めて撮影することで得られた画像である
    ことを特徴とする請求項７、８、又は９に記載の画像処理装置。
11. 前記入力画像は、１つの撮像部で、異なる時刻に撮影を行うことで得られた画像である
    ことを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
12. 複数の入力画像のうちの１つの入力画像を基準画像とし、前記基準画像以外の１又は２以上の入力画像を参照画像としてこれらを合成して出力する画像処理方法であって、
    それぞれ前記１又は２以上の参照画像を入力として受け、各々入力された参照画像の各画素について、前記基準画像との位置ずれ量を検出する１又は２以上の位置ずれ量検出ステップと、
    それぞれ前記１又は２以上の参照画像を入力として受け、各々入力された参照画像から、少なくとも一部の画素の階調値が定義された位置合わせ画像を生成する１又は２以上の位置合わせ画像生成ステップと、
    前記基準画像と、前記１又は２以上の位置合わせ画像生成ステップで生成された前記位置合わせ画像との合成を行って合成画像を出力する合成ステップとを備え、
    前記位置合わせ画像生成ステップの各々は、入力された参照画像の各画素を、当該画素についての前記位置ずれ量に従って移動させ、移動先に最も近い画素位置に、当該画素の階調値を割り当てて定義し、前記位置合わせ画像の画素位置のうち、前記参照画像中に割り当てられる画素が存在しない画素位置に対しては階調値を定義しないことにより、前記位置合わせ画像を生成し、
    前記合成ステップは、前記基準画像の各画素を注目画素とし、前記注目画素の階調値と、前記位置合わせ画像の、前記注目画素と同じ位置の画素の階調値とを、前記位置合わせ画像の各々の各画素が、階調値が定義された画素であるか否かに応じた重みを付けて加重加算することによって、或いは階調値が定義されていない画素の階調値を補間した上で加重加算することによって前記合成画像の前記注目画素と同じ位置の画素の階調値を算出する
    ことを特徴とする画像処理方法。
13. 請求項１２に記載の画像処理方法における処理をコンピュータに実行させるためのプログラム。
14. 請求項１３に記載のプログラムを記録した、コンピュータで読み取り可能な記録媒体。

Images