WO2014065055A1

WO2014065055A1 - 画像処理装置、および画像処理方法、並びにプログラム

Info

Publication number: WO2014065055A1
Application number: PCT/JP2013/075638
Authority: WO
Inventors: 正樹半田; 晴香浅井; 高橋　宏彰; 康宣人見; 智経増野; 光永　知生; 康史柴田; 真吉村
Original assignee: ソニー株式会社
Priority date: 2012-10-23
Filing date: 2013-09-24
Publication date: 2014-05-01

Abstract

異なる露光時間の連続撮影画像を適用して動き補償画像を生成し、生成した動き補償画像を適用した画像の合成処理により、ノイズ低減および高ダイナミックレンジ拡張処理を施した画像を生成する。異なる露光時間の入力画像と先行処理画像との位置合わせを実行し、位置合わせ処理後の入力画像と先行処理画像との合成処理を実行する。位置合わせ処理部は、入力画像と先行処理画像の露光比補正を実行し、露光比補正画像を適用して画像間の動きを検出し、入力画像または先行処理画像のいずれかの画像を他方の画像位置に合わせた動き補償画像を生成する。合成処理部は、動き補償画像を適用した合成処理により、ダイナミックレンジ拡張処理とノイズ低減処理を施した出力画像を生成する。

Description

画像処理装置、および画像処理方法、並びにプログラム

　本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、複数画像の合成処理により、画像のノイズ低減処理やダイナミックレンジ拡大処理等を行う画像処理装置、および画像処理方法、並びにプログラムに関する。

　画像のノイズ低減処理（ＮＲ：Ｎｏｉｓｅ　Ｒｅｄｕｃｔｉｏｎ）として、連続撮影された複数枚の画像を利用した合成処理が有効な方法であることが知られている。具体的には、連続撮影画像から同一被写体の撮影画素領域である対応画素領域を検出し、これらの複数の対応画素の画素値の加算平均などの合成処理を行なうことで、ノイズを低減した画素値を算出する。

　例えば、
　撮影時刻ｔ－１の先行撮影画像、
　撮影時刻ｔの後続撮影画像、
　これらの２枚の撮影画像を利用して、後続撮影画像のノイズ低減を行う場合、以下のような処理を実行する。

　まず、撮影時刻ｔ－１の先行撮影画像を、時刻ｔの後続撮影画像の位置に併せる位置合わせ処理を行なう。連続撮影された２つの画像は、手振れなどにより画像位置が移動している場合が多く、このずれを修正する位置合わせである。この処理は、動き補償（または位置補償）と呼ばれる。また、位置合わせのための移動を行った画像を動き補償（ＭＣ：Ｍｏｔｉｏｎ　Ｃｏｍｐｅｎｓａｔｉｏｎ）画像と呼ぶ。

　動き補償画像（ＭＣ画像）を生成するためには、まず、撮影時刻ｔ－１の先行撮影画像と、撮影時刻ｔの後続撮影画像との２つの画像間の動き量や方向を推定する動き推定を行う。具体的には動きベクトルを求める。この動きベクトルに基づいて、撮影時刻ｔ－１の先行撮影画像を、撮影時刻ｔの後続撮影画像の画像位置に併せる動き補償処理（ＭＣ）を行なう。

　撮影時刻ｔ－１の先行撮影画像に対する動き補償によって生成した動き補償画像（ＭＣ画像）は、撮影時刻ｔの後続撮影画像の対応画素位置に同一被写体が撮影された画像となる。これらの２つの画像の対応画素の２つの画素値を利用して補正画素値を算出する。例えば撮影時刻ｔの後続撮影画像の画素にノイズが含まれている場合、撮影時刻ｔ－１の先行撮影画像の画素値を利用することで、ノイズを軽減することができる。

　このような複数の連続撮影画像に基づく出力画像の生成処理は、上記のノイズ低減処理のみならず、異なる露光時間の連続撮影画像を用いたダイナミックレンジ拡大画像の生成処理等においても利用される。

　異なる露光時間の連続撮影画像を用いたダイナミックレンジ拡大画像の生成処理は、例えば以下のように実行される。短時間露光画像と長時間露光画像を連続撮影し、各画像に含まれる有効画素値を選択的に利用あるいはブレンドして、低輝度領域から高輝度領域まで有効画素値を設定したダイナミックレンジ拡大画像を生成する。

　長時間露光画像に含まれる飽和画素領域については短時間露光画素の画素値を優先的に利用し、短時間露光画像における黒つぶれ領域については、長時間露光画像の画素値を優先的に利用する。このように異なる露光時間の複数画像を合成することで、低輝度領域から高輝度領域まで精度の高い有効画素値を設定したダイナミックレンジ拡大画像が生成可能となる。

　このように、複数の連続撮影画像に基づく出力画像の生成処理は、
　（１）ノイズ除去処理、
　（２）ダイナミックレンジ拡大画像の生成処理、
　これらの異なる目的の画像生成処理に際して利用される処理である。

　これらのノイズ除去と、ダイナミックレンジ拡大処理の双方を実行する画像処理構成例として、例えば図１（ａ）、（ｂ）に示す構成がある。
　図１（ａ）は、先行処理としてダイナミックレンジ拡張処理を実行し、後続処理として、ダイナミックレンジ拡張画像に対するノイズ除去処理を行う構成である。
　一方、図１（ｂ）は、先行処理として、ノイズ除去処理を実行し、後続処理として、ノイズ除去画像を適用したダイナミックレンジ拡張処理を実行する構成である。

　図１（ａ）に示す構成を適用した処理について説明する。異なる露光時間に設定された入力画像１０が、順次、フレームメモリ１１に入力される。
　例えばＮ種類の露光時間の設定がある場合、Ｎ種類の露光時間のＮ枚の連続撮影画像が、順次、フレームメモリ１１に格納される。

　ダイナミックレンジ拡張処理実行部１２は、フレームメモリ１１に格納されたＮ種類の露光時間の連続撮影画像を取得し、各画像の対応画素の画素値合成（ブレンド）処理を実行してダイナミックレンジ拡張画像を生成する。

　例えば、高輝度領域については、長時間露光画像は飽和画素値となっている可能性が高いので、短時間露光画像の画素値を優先的に利用する。一方、低輝度領域については、長時間露光画像の画素値を優先的に利用する。
　ダイナミックレンジ拡張処理実行部１２は、このようにＮ枚の異なる露光時間の撮影画像を利用し、各画素単位で輝度に応じたブレンド処理を実行して、出力画素値の算出を実行し、Ｎ枚の撮影画像に基づく１枚のダイナミックレンジ拡張画像を生成する。

　ダイナミックレンジ拡張処理実行部１２の生成したダイナミックレンジ拡張画像は、ノイズ除去処理実行部１３に入力される。
　ノイズ除去処理実行部１３は、Ｎ枚単位の撮影画像に基づいて生成された１枚のダイナミックレンジ拡張画像を順次入力し、先行するＮ枚セットに基づく１枚のダイナミックレンジ拡張画像と、後続のＮ枚セットに基づく１枚のダイナミックレンジ拡張画像、これらの複数のダイナミックレンジ拡張画像の合成処理によって、ノイズ除去画像を生成する。例えば後続画像（ダイナミックレンジ拡張画像）の画素にノイズが含まれている場合、先行画像（ダイナミックレンジ拡張画像）の画素値を利用することで、ノイズを軽減したノイズ除去画像を生成して出力画像１５を出力する。
　フレームメモリ１４は、先行画像の格納部として利用される。

　なお、この図１（ａ）に示す構成を適用した処理については、例えば、特許文献１（特開２０１０－０４１２００号公報）に記載がある。この特許文献１の記載によれば、まず、２枚の異なる露光時間で撮像された画像信号に対して合成処理によるダイナミックレンジ拡張処理を行う。その後、動き判定結果と露光時間に応じたフレーム巡回量を用いて１フレーム前の合成画像信号と、最新入力画像であるカレントフレームの合成画像信号に対する合成・ブレンド処理によるノイズ除去処理を行う。これらの処理を順次実行することよりダイナミックレンジ拡張とノイズ除去処理を行うものである。

　しかし、この方法では、図１（ａ）に示す構成から理解されるように、ダイナミックレンジ拡張処理に適用する複数の異なる露光時間の画像を格納するフレームメモリ１１と、ノイズ除去処理に適用する画像を格納するフレームメモリ１４が必要となる。さらに、ダイナミックレンジ拡張処理実行部１２と、ノイズ除去処理実行部１３は、各々において、画像合成のために画像間の動き情報の算出や位置合わせを行う必要がある。これらの処理を各処理部において各々実行することが必要となるため、回路規模や消費電力が大きくなってしまうという問題がある。

　次に、図１（ｂ）に示す構成を適用した処理について説明する。図１（ｂ）に示す構成において、異なる露光時間に設定された入力画像２０は、順次、ノイズ除去処理実行部２１に入力される。
　この例では、入力画像２０として、Ｎ種類の露光時間に設定されたＮ枚の連続撮影画像が順次入力される。

　ノイズ除去処理実行部２１は、入力画像２０を入力し、入力画像と同じ露光時間の画像をフレームメモリ２２から取り出して、同じ露光時間の２枚の画像の位置合わせを実行し、位置合わせ後の画像の対応画素同士の合成処理によってノイズ除去処理を実行し、ノイズ除去画像を生成してフレームメモリ２２に再格納する。
　この処理によって、フレームメモリ２２には、Ｎ種類の露光時間のＮ枚のノイズ除去画像が格納される。

　ダイナミックレンジ拡張処理実行部２３は、フレームメモリ２２に格納されたＮ種類の露光時間のＮ枚のノイズ除去画像を利用して各画像の対応画素の画素値ブレンド処理を実行してダイナミックレンジ拡張画像を生成する。
　例えば、高輝度領域については、長時間露光画像は飽和画素値となっている可能性が高いので、短時間露光画像の画素値を優先的に利用する。一方、低輝度領域については、長時間露光画像の画素値を優先的に利用する。
　ダイナミックレンジ拡張処理実行部２３は、このようにＮ枚の異なる露光時間のノイズ除去画像を利用し、各画素単位で輝度に応じたブレンド処理を実行して、出力画素値の算出を実行し、Ｎ枚のノイズ除去画像に基づく１枚のダイナミックレンジ拡張画像を生成し、これを出力画像２５として出力する。

　なお、この図１（ｂ）に示す構成を適用した処理については、例えば、特許文献２（特開２００８－１６０８８１号公報）、特許文献３（特開２００７－０４９２２７号公報）、特許文献４（特開２００６－３１１２４０号公報）などに記載されている。
　これらの文献には、同一もしくは異なる露光時間で撮像された複数枚の画像信号に対して時間方向に連続な同一露光時間の画像信号を用いて、例えばＦＩＲフィルタを適用した処理によってノイズ除去を行い、その後、ノイズ除去を行った露光時間の異なる複数の画像信号を合成してダイナミックレンジ拡張画像を生成する構成を開示している。

　しかし、この図１（ｂ）に示す構成においても、図１（ａ）に示す構成と同様、フレームメモリ２２などの大容量メモリが必要となる。また、ノイズ除去処理実行部２１、およびダイナミックレンジ拡張処理実行部２３は、動き情報の算出や位置合わせ処理を各々実行することが必要となる。

　従って、図１（Ａ）の構成と同様、回路規模、消費電力の増加が問題となる。また、図１（Ｂ）に示す構成では、高速処理を実現するためには、ダイナミックレンジ拡張処理実行部２３が複数枚の画像を同時にフレームメモリ２２から読みだす必要があり、十分なバス帯域がない場合、バス帯域がひっ迫し、処理遅延を起してしまうという問題も発生する可能性がある。

特開２０１０－０４１２００号公報特開２００８－１６０８８１号公報特開２００７－０４９２２７号公報特開２００６－３１１２４０号公報

　本開示は、例えば上記問題点に鑑みてなされたものであり、簡易な構成で、ダイナミックレンジ拡張処理とノイズ除去処理を併せて実行する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

　本開示の第１の側面は、
　異なる露光時間に設定された連続撮影画像を入力画像として、順次入力し、該入力画像と先行処理画像との位置合わせを実行する位置合わせ処理部と、
　位置合わせ処理後の入力画像と先行処理画像との合成処理を実行して出力画像を生成する合成処理部を有し、
　前記位置合わせ処理部は、
　前記入力画像と先行処理画像を、共通の露光時間に設定した場合の画素値に補正する露光比補正処理を実行し、露光比補正画像を適用して対応画素領域を検出して画像間の動きを検出し、検出動き情報に基づいて、前記入力画像、または前記先行処理画像のいずれか一方の画像を他方の画像位置に合わせた動き補償画像を生成して、前記合成処理部に出力し、
　前記合成処理部は、
　前記動き補償画像を適用した合成処理により、ダイナミックレンジ拡張処理とノイズ低減処理を施した出力画像を生成する画像処理装置にある。

　さらに、本開示の画像処理装置の一実施態様において、前記先行処理画像は、前記合成処理部が先行入力画像に基づいて生成した先行合成画像であり、前記位置合わせ処理部は、前記先行合成画像と前記入力画像との位置合わせ処理を実行する。

　さらに、本開示の画像処理装置の一実施態様において、前記位置合わせ処理部は、位置合わせ処理対象となる各画像のローカル領域単位のローカル動きベクトルを算出し、算出したローカル動きベクトルに基づいて画像位置を変更したローカル動き補償画像を生成する。

　さらに、本開示の画像処理装置の一実施態様において、前記位置合わせ処理部は、位置合わせ処理対象となる各画像のローカル領域単位のローカル動きベクトルを算出し、算出したローカル動きベクトルに基づいて、さらに画像全体の動きを示すグローバル動きベクトルを算出し、算出したグローバル動きベクトルに基づいて画像位置を変更したグローバル動き補償画像を生成する。

　さらに、本開示の画像処理装置の一実施態様において、前記位置合わせ処理部は、位置合わせ処理対象となる各画像のローカル領域単位のローカル動きベクトルを算出し、算出したローカル動きベクトルに基づいて画像位置を変更したローカル動き補償画像を生成し、さらに、前記ローカル動きベクトルに基づいて、さらに画像全体の動きを示すグローバル動きベクトルを算出し、算出したグローバル動きベクトルに基づいて画像位置を変更したグローバル動き補償画像を生成する。

　さらに、本開示の画像処理装置の一実施態様において、前記合成処理部は、前記ローカル動き補償画像と、前記グローバル動き補償画像と、前記入力画像を適用した画素値ブレンド処理によりブレンド画像を生成し、前記ブレンド画像と前記入力画像との合成処理により出力画像を生成する。

　さらに、本開示の画像処理装置の一実施態様において、前記合成処理部は、前記ローカル動き補償画像と、前記グローバル動き補償画像と、前記入力画像を共通の露光時間に設定したと仮定した場合の画素値に設定する露光比補正を実行し、露光比補正後の入力画像とグローバル動き補償画像との対応画素の画素値差分絶対値を算出し、
　算出した画素値差分絶対値と予め規定したしきい値との比較結果に応じて、出力画素値の選択または算出処理を実行する。

　さらに、本開示の画像処理装置の一実施態様において、前記位置合わせ処理部は、連続する２つの入力画像間の動きに基づいて、ローカル動きベクトルを算出し、算出したローカル動きベクトルを、前記合成処理部の生成した先行合成画像に適用してローカル動き補償画像を生成し、前記連続する２つの入力画像間の動きに基づいて生成したローカル動きベクトルに基づいてグローバル動きベクトルを算出し、算出したグローバル動きベクトルを、前記合成処理部の生成した先行合成画像に適用してグローバル動き補償画像を生成する。

　さらに、本開示の画像処理装置の一実施態様において、前記位置合わせ処理部は、前記先行合成画像と入力画像を適用して、前記連続する２つの入力画像間の動きに基づいて算出したローカル動きベクトルの検証処理としての対応画素位置再探索処理を実行する再探索処理部を有し、前記再探索処理部における再探索処理によって修正されたローカル動きベクトルを前記先行合成画像に適用してローカル動き補償画像を生成する。

　さらに、本開示の画像処理装置の一実施態様において、前記再探索処理部は、前記連続する２つの入力画像を適用して生成したグローバル動きベクトルを入力して、前記先行合成画像と入力画像間の対応画像領域の探索範囲を決定する。

　さらに、本開示の画像処理装置の一実施態様において、前記入力画像は、静止画像出力のために連続撮影された異なる露光時間の撮影画像であり、前記位置合わせ処理部は、連続撮影された異なる露光時間の撮影画像に含まれる１つの画像の画像位置に他の画像の画像位置を合わせる位置合わせ処理を実行して動き補償画像生成処理を実行し、前記合成処理部は、前記動き補償画像を適用した合成画像の更新を実行して、ダイナミックレンジ拡張処理とノイズ低減処理を施した出力画像を生成する。

　さらに、本開示の画像処理装置の一実施態様において、前記入力画像は、動画像出力のために連続撮影された異なる露光時間の撮影画像であり、前記位置合わせ処理部は、連続撮影された異なる露光時間の撮影画像中の最新の入力画像の画像位置に先行画像の画像位置を合わせる位置合わせ処理を実行して動き補償画像生成処理を実行し、前記合成処理部は、前記動き補償画像を適用した合成画像の更新を実行して、ダイナミックレンジ拡張処理とノイズ低減処理を施した出力画像を生成する。

　さらに、本開示の第２の側面は、
　画像処理装置において実行する画像処理方法であり、
　位置合わせ処理部が、異なる露光時間に設定された連続撮影画像を入力画像として、順次入力し、該入力画像と先行処理画像との位置合わせを実行する位置合わせ処理ステップと、
　合成処理部が、位置合わせ処理後の入力画像と先行処理画像との合成処理を実行して出力画像を生成する合成処理ステップを実行し、
　前記位置合わせ処理ステップは、
　前記入力画像と先行処理画像を、共通の露光時間に設定した場合の画素値に補正する露光比補正処理を実行し、露光比補正画像を適用して対応画素領域を検出して画像間の動きを検出し、検出動き情報に基づいて、前記入力画像、または前記先行処理画像のいずれか一方の画像を他方の画像位置に合わせた動き補償画像を生成して、前記合成処理部に出力するステップであり、
　前記合成処理ステップは、
　前記動き補償画像を適用した合成処理により、ダイナミックレンジ拡張処理とノイズ低減処理を施した出力画像を生成するステップである画像処理方法にある。

　さらに、本開示の第３の側面は、
　画像処理装置において画像処理を実行させるプログラムであり、
　位置合わせ処理部に、異なる露光時間に設定された連続撮影画像を入力画像として、順次入力し、該入力画像と先行処理画像との位置合わせを実行させる位置合わせ処理ステップと、
　合成処理部に、位置合わせ処理後の入力画像と先行処理画像との合成処理を実行して出力画像を生成させる合成処理ステップを実行させ、
　前記位置合わせ処理ステップにおいては、
　前記入力画像と先行処理画像を、共通の露光時間に設定した場合の画素値に補正する露光比補正処理を実行し、露光比補正画像を適用して対応画素領域を検出して画像間の動きを検出し、検出動き情報に基づいて、前記入力画像、または前記先行処理画像のいずれか一方の画像を他方の画像位置に合わせた動き補償画像を生成して、前記合成処理部に出力させ、
　前記合成処理ステップにおいては、
　前記動き補償画像を適用した合成処理により、ダイナミックレンジ拡張処理とノイズ低減処理を施した出力画像を生成させるプログラムにある。

　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　本開示の一実施例の構成によれば、異なる露光時間の連続撮影画像を適用して動き補償画像を生成し、生成した動き補償画像を適用した画像の合成処理により、ノイズ低減および高ダイナミックレンジ拡張処理を施した画像を生成可能とした画像処理装置が実現される。
　具体的には、異なる露光時間の連続撮影画像を入力し、入力画像と先行処理画像との位置合わせを実行する位置合わせ処理部と、位置合わせ処理後の入力画像と先行処理画像との合成処理を実行する合成処理部を有する。位置合わせ処理部は、入力画像と先行処理画像を、共通露光時間の画素値に補正する露光比補正を実行し、露光比補正画像を適用して画像間の動きを検出し、入力画像または先行処理画像のいずれかの画像を他方の画像位置に合わせた動き補償画像を生成する。合成処理部は、動き補償画像を適用した合成処理により、ダイナミックレンジ拡張処理とノイズ低減処理を施した出力画像を生成する。
　これらの処理により、異なる露光時間の連続撮影画像を適用して動き補償画像を生成し、生成した動き補償画像を適用した画像の合成処理により、ノイズ低減および高ダイナミックレンジ拡張処理を施した画像を生成可能とした画像処理装置が実現される。

ダイナミックレンジ拡張処理と、ノイズ除去処理を併せて実行する装置の構成例について説明する図である。本開示の画像処理装置の入力画像の一例について説明する図である。本開示の画像処理装置の入力画像の一例について説明する図である。本開示の画像処理装置の主要部の一構成例について説明する図である。ダイナミックレンジ拡張処理における画素値の設定例について説明する図である。ノイズ低減処理の具体的処理例について説明する図である。本開示の一実施例に従った画像処理装置の合成処理部の構成と処理について説明する図である。本開示の一実施例に従った画像処理装置の合成処理部の処理シーケンスについて説明するフローチャートを示す図である。本開示の一実施例に従った画像処理装置の合成処理部の処理シーケンスについて説明するフローチャートを示す図である。本開示の一実施例に従った画像処理装置の合成処理部の実行する処理の具体例について説明する図である。本開示の一実施例に従った画像処理装置の合成処理部の実行する処理の具体例について説明する図である。本開示の一実施例に従った画像処理装置の合成処理部の実行する処理の具体例について説明する図である。本開示の一実施例に従った画像処理装置の位置合わせ処理部の構成と処理について説明する図である。本開示の一実施例に従った画像処理装置の位置合わせ処理部の構成と処理について説明する図である。本開示の一実施例に従った画像処理装置の位置合わせ処理部の構成と処理について説明する図である。本開示の一実施例に従った画像処理装置の位置合わせ処理部の処理シーケンスについて説明するフローチャートを示す図である。本開示の一実施例に従った画像処理装置の位置合わせ処理部の構成と処理について説明する図である。本開示の一実施例に従った画像処理装置の位置合わせ処理部の構成と処理について説明する図である。本開示の一実施例に従った画像処理装置の合成処理部の構成と処理について説明する図である。本開示の一実施例に従った画像処理装置の合成処理部の実行する処理シーケンスについて説明するフローチャートを示す図である。本開示の一実施例に従った画像処理装置の位置合わせ処理部の構成と処理について説明する図である。本開示の一実施例に従った画像処理装置の位置合わせ処理部内の露光比補正部の実行する処理シーケンスについて説明するフローチャートを示す図である。本開示の一実施例に従った画像処理装置の位置合わせ処理部の構成と処理について説明する図である。本開示の一実施例に従った画像処理装置の位置合わせ処理部の構成と処理について説明する図である。本開示の一実施例に従った画像処理装置の位置合わせ処理部の構成と処理について説明する図である。本開示の画像処理装置の構成例について説明する図である。

　以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
　１．本開示の画像処理の概要、および画像処理装置の全体構成例について
　２．合成処理部の構成と画像合成処理について
　３．位置合わせ処理部の構成と位置合わせ処理について
　４．位置合わせ処理部において実行する位置合わせ処理の詳細について
　４－１．ローカル位置合わせに基づくローカル動き補償画像の生成処理について
　４－２．グローバル位置合わせに基づくグローバル動き補償画像の生成処理について
　４－３．ローカル動きに基づくローカル動き補償画像と、グローバル動きに基づくグローバル動き補償画像の双方を生成するハイブリッド処理について
　５．ハイブリッド型位置合わせ処理部の生成する２つの動き補償画像を適用した合成処理について
　６．その他の位置合わせ処理部の実施例について
　６－１．グローバル動きベクトル算出を先行して実行する実施例について
　６－２．１フレーム前の入力画像を利用して動き推定を行う実施例について
　６－３．対応画素位置の再探索を行なう実施例について
　６－４．再探索範囲を指定可能とした実施例について
　７．画像処理装置の全体構成例について
　８．本開示の構成のまとめ

　　［１．本開示の画像処理の概要、および画像処理装置の全体構成例について］
　まず、本開示の画像処理の概要、および画像処理装置の全体構成例について説明する。
　本開示の画像処理装置は、複数の異なる露光時間に設定された連続撮影画像を順次、入力し、これらの撮影画像を利用した画像合成処理を行ない、ダイナミックレンジの拡張処理と、ノイズ除去処理を実行して出力画像を生成する。

　画像処理装置は、例えば図２に示すように複数の異なる露光時間で撮像された画像信号、すなわち、短時間露光画像Ｓ、長時間露光画像Ｌを周期的に入力して処理を実行する。すなわち、
　（１）短時間露光画像Ｓ、
　（２）長時間露光画像Ｌ、
　これらの２つの異なる露光時間の連続撮影画像を周期的に入力し、処理を実行する。
　露光時間は、以下の関係にある。
　Ｓ＜Ｌ
　画像処理装置は、例えば、上記のように異なる露光時間Ｓ，Ｌの画像を順次、入力して画像合成処理を実行し、出力画像を生成する。

　画像処理装置は、このように異なる露光時間の画像を合成してノイズ低減高ダイナミックレンジ（ＨＤＲ）画像を生成して出力する。
　なお、図２に示した画像設定例は、露光時間の種類を２とした例であるが、本開示の処理は、任意の露光時間の種類＝Ｎ、すなわちＮ＝２以上の任意数の露光時間の画像に対する処理として実行可能である。

　図３は、露光時間の種類Ｎ＝４とした例である。すなわち、
　（１）最短時間露光画像ＸＳ、
　（２）短時間露光画像ＭＳ、
　（３）長時間露光画像ＭＬ、
　（４）最長時間露光画像ＸＬ、
　これらの４つの異なる露光時間の連続撮影画像を周期的に入力し、処理を実行することも可能である。
　露光時間は、以下の関係にある。
　ＸＳ＜ＭＳ＜ＭＬ＜ＸＬ

　画像処理装置は、例えばこれらの４つの異なる露光時間の画像を合成してノイズ低減高ダイナミックレンジ（ＨＤＲ）画像を生成して出力する。
　なお、図２、図３では、画像信号の入力順序を、短時間露光画像信号から長時間露光画像信号の順で記載しているが、この順序は、様々な設定としてよい。

　次に、図４を参照して本開示の画像処理装置１００の主要部の構成例について説明する。図４は、本開示の画像処理装置１００の主要部構成、すなわち、本開示の処理に相当するダイナミックレンジ拡張処理と、ノイズ除去処理を実行する構成を示すブロック図である。

　図４に示すように画像処理装置１００は、位置合わせ処理部２００、合成処理部３００、画像を保持するフレームメモリ４００を有する。
　入力画像１１０は、例えば先に図２、図３を参照して説明した異なる露光時間に設定されて撮影された画像である。なお、以下に説明する実施例では、図２に示すように、
　（１）短時間露光画像、
　（２）長時間露光画像、
　これらの２つの異なる種類の露光時間に設定された画像を交互に入力して処理を行なう実施例について説明する。

　位置合わせ処理部２００は、新規の入力画像１１０と、前フレームまでの画像を適用した処理によって生成され、フレームメモリ４００に格納された合成画像１２０を入力し、これらの２つの画像の位置合わせ処理を行う。

　位置合わせ処理部２００において位置合わせのなされた、入力画像１１０と、合成画像１２０は、合成処理部３００に入力される。
　合成処理部３００は、位置合わせが行われた入力画像１１０と合成画像１２０を利用して、入力画像１１０に対応する新たな合成画像を生成する。この合成処理によって生成された合成画像は、出力画像１８０として出力されるとともに、次フレームの位置合わせに使うために、フレームメモリ４００に格納される。

　　［２．合成処理部の構成と画像合成処理について］
　次に、合成処理部３００の実行する画像合成処理の一例について説明する。
　２枚の異なる露光時間で撮影された画像の合成処理例について説明する。

　合成処理部３００の実行する画像合成処理は、
　（１）ダイナミックレンジ拡張処理
　（２）ノイズ除去処理
　これらの２つの処理を伴う合成処理である。
　以下、これらの２つの処理の概要について、順次説明する。

　　（２－１．ダイナミックレンジ拡張処理について）
　まず、図５を参照してダイナミックレンジ拡張処理の概要について説明する。
　図５（１）露光時間と信号レベル（画素値）は、異なる露光時間に設定された２つの画像、すなわち、
　短時間露光画像、
　長時間露光画像、
　これらの２つの画像のカメラ入力信号レベル（被写体輝度値）と、カメラ観測信号レベル（画素値）との対応関係を示した図である。

　図５（１）に示すように、同じカメラ入力信号レベル（被写体輝度値）でも、露光時間によって、観測される信号レベル（画素値）が異なる。
　例えば長時間露光画像は、カメラ入力信号レベル（被写体輝度値）がＰ以上のレベルでは、飽和画素値に設定されてしまう。すなわち、画素値が最大値となったいわゆる白とび画素となる。

　ダイナミックレンジ拡張処理は、例えばこれらの２つの画像、すなわち、
　短時間露光画像、
　長時間露光画像、
　これらの２つの画像の合成処理によって、被写体の低輝度～高輝度領域をより精度の高い画素値に設定して出力するものである。

　具体的には、例えば、図５（２）ダイナミックレンジ拡張処理に示すように、長時間露光画像では飽和レベルになってしまう信号部分（入力信号レベル＝Ｐ以上）の領域では、短時間露光画像をゲインアップ（露光比補正）した信号（＝露光比補正短時間露光画像）を出力画像の画素値として設定する。

　一方、入力信号レベル＝Ｐ以下の領域では、短時間露光画像の画素値レベルは低すぎてノイズが多く含まれることが予想されるので、長時間露光画像の画素値を出力画素値として選択する。
　なお、例えば入力信号レベル＝Ｐ近傍では、入力信号レベルに応じて長時間露光画像と短時間露光画像の対応位置の画素値ブレンド処理によって出力画素値を決定する処理などを行なう。

　このような処理によって、出力画像の画素値を設定することで、低輝度領域から高輝度領域まで、被写体の明るさを高精度に反映した画像を生成することが可能となる。
　なお、短時間露光画像のゲインアップに適用するゲインの値は、長時間露光画像と短時間露光画像の露光比である。例えば、長時間露光画像に対する短時間露光画像の露光時間が１／２である場合は、ゲインは２とする。

　　（２－２．ノイズ除去処理について）
　次に、図６を参照してノイズ除去処理の概要について説明する。
　ノイズ除去処理は、同じ露光時間の複数画像を利用し、これらの画像の対応画素位置の画素値を加算する等の処理、例えば平均化することで、時間方向にランダムに変化するノイズを抑圧する技術である。

　図６には、同一の露光時間の連続撮影画像として、
　（１）ｎ－１フレーム
　（２）ｎフレーム
　これらの２つの連続撮影画像についてのカメラ入力信号レベル（被写体輝度値）と、カメラ観測信号レベル（画素値）との対応関係を示している。
　ノイズの影響で、本来、直線に設定されるべきグラフが、乱れた線になっている。
　このノイズは、例えば外乱など様々な影響によって画素に蓄積される電荷に起因する。
　複数の画像の対応画素値を加算して平均化することで、多くのノイズが除去可能である。

　具体的には、たとえば、図６に示すように、
　（１）ｎ－１フレーム
　（２）ｎフレーム
　これらの２つの連続撮影画像の対応画素の画素値の加算平均処理を実行して、
　（３）ノイズ低減ｎフレーム
　を生成する。
　この処理によって、撮影画像に含まれるノイズ成分を効率的に除去（低減）することが可能となる。

　　（２－３．ダイナミックレンジ拡張処理とノイズ低減処理を併せて実行する合成処理部の構成例について）
　次に、上述したダイナミックレンジ拡張処理とノイズ低減処理を併せて実行する合成処理部の構成例について、図７を参照して説明する。

　図７は、上述したダイナミックレンジ拡張処理とノイズ低減処理を併せて実行する合成処理部３００の一構成例を示すブロック図である。図４に示す画像処理装置１００の合成処理部３００の詳細構成例に相当する。

　図７に示すように、合成処理部３００は、入力画像１１０と合成画像１２０を入力し、出力画像１８０を出力する。
　入力画像は、例えば動画撮影時であれば、動画を構成する各フレームの画像である。静止画撮影時であれば、静止画撮影時の連続撮影画像の１つの画像である。
　合成画像１２０は、入力画像１１０の入力前の先行入力画像を利用して合成処理部３００において、生成された合成画像である。
　なお、これらの入力画像１１０と合成画像１２０は、図４に示す位置合わせ処理部２００において位置合わせの行われた後に合成処理部３００に入力される。

　図７に示すように、合成処理部３００は、以下の構成を有する。
　入力画像１１０の露光比補正を実行する露光比補正部３１１、
　露光比補正部３１１の生成した露光比補正入力画像に対する平滑化処理を実行する平滑化処理部３１２、
　入力画像１１０以前の先行入力画像に対する合成処理によって生成した合成画像１２０に対する平滑化処理を実行する平滑化処理部３１３、
　平滑化処理部３１２の生成した入力画像に基づく平滑化画像と、平滑化処理部３１３の生成した合成画像１２０に基づく平滑化画像を利用して対応画素単位の合成係数（α）を算出する合成係数算出部３１４、
　合成係数算出部３１４の算出した合成係数（α）を適用して、入力画像１１０と、合成画像１２０との対応画素の合成処理（αブレンド）を実行して出力画像１８０の構成各画素の画素値を決定する合成処理実行部３１５、
　合成処理部３００は、これらの構成を有する。

　合成処理実行部３１５は、入力画像１１０と合成画像１２０の画素毎の画素値合成（αブレンド）によって出力画像１８０の各画素値を算出する。αブレンド処理による出力画像の画素値（Ｏｔ）の算出式を、以下の（式１）に示す。
　　Ｏ（ｔ）＝（α×Ｉ（ｔ））＋（（１－α）×Ｏ（ｔ－１））　・・・（式１）
　　ただし、
　αは、０≦α≦１の合成係数（ブレンド係数）、
　Ｏ（ｔ）は出力画像としての合成画像の画素値、
　Ｉ（ｔ）は入力画像の画素値、
　Ｏ（ｔ－１）は前フレーム対応の合成画像、
　である。
　なお、合成係数（α）の算出シーケンスについては、後段で図８、図９に示すフローチャートを参照して説明する。

　露光比補正３１１では、入力画像１１０に対して、長時間露光画像との露光比だけゲインアップをする露光比補正処理を行う。例えば図５を参照して説明したように、長時間露光画像と短時間露光画像との露光時間比が２：１である場合、入力画像１１０が短時間露光画像のときはゲインを２として、各画素値を２倍に設定するゲインアップ処理を行なう。
　一方、入力画像１１０が長時間露光画像のときは、ゲイン＝１、つまり入力画像の画素値の変更を行なうことなく出力する。

　露光比補正された入力画像と合成画像は、それぞれ平滑化処理部３１２，３１３に入力され、平滑化処理が実行される。この平滑化処理は合成係数算出部３１４における合成係数算出処理におけるノイズの影響を抑制するための処理である。

　合成係数算出部３１４では、平滑化された入力画像と合成画像を入力し、これらの画像に基づいて各対応画素単位で合成係数αを算出する。なお、合成係数αの算出手順については、図８、図９に示す合成係数算出フローを参照して後段で説明する。

　最後に、合成処理実行部３１５が、合成係数算出部３１４から出力される合成係数αを適用して、入力画像１１０と、合成画像１２０との対応画素の合成処理（αブレンド）を実行して出力画像１８０の構成各画素の画素値を決定する。この処理は、αブレンド処理、あるいはαブレンディングと呼ばれる。

　図７に示す合成処理部３００では、異なる露光時間に設定された入力画像を順次、入力し、先行入力画像に基づいて生成した先行処理画像、例えば先行合成画像との合成処理によって出力画像を生成する。
　すなわち異なる露光時間の画像間の合成処理を行なう構成であり、この処理により、ダイナミックレンジ拡張処理とノイズ低減処理が併せて実行される。
　出力画像は、例えば各露光時間の１セット単位で、１枚の出力画像を生成して出力することになる。なお、複数セット単位で１枚の出力画像を生成する構成としてもよい。

　合成係数算出部３１４の実行する合成係数αの算出手順について、図８、図９に示すフローチャートを参照して説明する。なお、合成係数αは局所領域、例えば画素毎に算出する。
　図８、図９に示すフローチャートの各ステップの処理について説明する。

　まず、ステップＳ１０１で入力画像を入力する。なお、画像は露光比補正され平滑化処理のなされた画像とする。例えば長時間露光画像と短時間露光画像の露光時間比が２：１である場合、露光比補正により、短時間露光画像の画素値は２倍に設定する露光比補正（ゲインアップ）が行われる。
　このステップＳ１０１の画像入力処理は、図７に示す構成において、平滑化処理部３１２から合成係数算出部３１４に対する画像入力に対応する。

　次に、ステップＳ１０２において、入力画像が１フレーム目かどうか判定し、１フレーム目の場合は、Ｓ１２１に進み、ステップＳ１２１～Ｓ１２３の処理を実行してステップＳ１８１に進む。ステップＳ１２１～Ｓ１２３では以下の処理を実行する。
　ステップＳ１２１では、短時間露光画像用更新回数ＭをＭ＝１にリセット、
　ステップＳ１２２では、長時間露光画像用更新回数ＮをＮ＝０にリセット、
　ステップＳ１２３では、合成係数α＝１とする。
　これらのパラメータ更新処理を実行してステップＳ１８１に進む。

　なお、この実施例において、合成係数αは、新たに生成する更新合成画像に対する入力画像の画素値の重みに相当する。
　合成係数α＝１の場合、更新後の合成画像の画素値は、入力画像の画素値と同じ画素値に設定する。
　一方、合成係数α＝０の場合は、更新後の合成画像の画素値は、更新前の合成画像の画素値のままとして、入力画像の画素値の反映は行わないことを意味する。
　また、例えば、合成係数α＝０．５の場合は、更新合成画像の画素値を、更新前の合成画像の画素値と、入力画像の画素値の平均値とする処理を行なうことに相当する。

　図８のフローの説明に戻る。
　ステップＳ１０２において、入力画像が２フレーム目以降だった場合は、ステップＳ１０３に進む。
　ステップＳ１０３では、直前の処理において生成した最新の合成画像を取得する。
　この合成画像の取得は、図７に示す構成において、平滑化処理部３１３から合成係数算出部３１４に対する画像入力に対応する。すなわち、平滑化処理の施された合成画像１２０を入力する。

　次に、ステップＳ１０４において、入力画像の露光時間情報を取得する。例えば長時間露光画像であるか短時間露光画像であるかの情報である。
　次に、ステップＳ１０５において、入力画像の露光情報から入力画像が短時間露光画像か長時間露光画像か判定する。

　入力画像が長時間露光画像である場合、ステップＳ１０６に進む。
　ステップＳ１０６では、ステップＳ１０３で取得した直前の処理で生成した最新の合成画像の処理対象画素の画素値と飽和レベルを比較する。
　なお、この実施例において、例えば合成画像の飽和レベルは長時間露光画像の飽和レベルと同じ設定とする。例えば画素値が０～２５５の範囲で設定される場合、画素値２５５の設定画素は飽和レベル（飽和画素）であると判定する。

　合成画像の処理対象画素の画素値が飽和レベル未満である（ステップＳ１０６の判定＝Ｙｅｓ）場合は、ステップＳ１０８に進み、飽和レベル未満でない（ステップＳ１０６の判定＝Ｎｏ）場合は、ステップＳ１１０に進む。

　合成画像の処理対象画素の画素値が飽和レベル未満（ステップＳ１０６の判定＝Ｙｅｓ）であり、ステップＳ１０８に進んだ場合は、ステップＳ１０８において、入力画像と合成画像の処理対象画素同士の画素値差分を算出し、ステップＳ１５１に進む。

　一方、合成画像の処理対象画素の画素値が飽和レベル（ステップＳ１０６の判定＝Ｎｏ）であり、ステップＳ１１０に進んだ場合は、ステップＳ１１０において、入力画像と直前生成合成画像の処理対象画素の合成処理に適用する合成係数αを、α＝０として、ステップＳ１８１に進む。
　なお、前述したように合成係数αは、入力画像と合成画像の対応画素の合成に適用する重み係数であり、各画素単位で設定する値である。本実施例において、合成係数αは、新たに生成する更新合成画像に対する入力画像の画素値の重みに相当する。

　次に、ステップＳ１０５において、入力画像が短時間露光画像であると判定された場合の処理について説明する。
　ステップＳ１０５において、入力画像が短時間露光画像であると判定した場合、ステップＳ１０７に進む。
　ステップＳ１０７では、ステップＳ１０３で取得した直前の処理で生成した最新の合成画像の処理対象画素の画素値と飽和レベルを比較する。
　合成画像の処理対象画素の画素値が飽和レベル未満である（ステップＳ１０７の判定＝Ｙｅｓ）場合は、ステップＳ１１０に進み、飽和レベル未満でない（ステップＳ１０６の判定＝Ｎｏ）場合は、ステップＳ１０９に進む。

　合成画像の処理対象画素の画素値が飽和レベル未満（ステップＳ１０７の判定＝Ｙｅｓ）であり、ステップＳ１１０に進んだ場合は、ステップＳ１１０において、入力画像と直前生成合成画像の処理対象画素の合成処理に適用する合成係数αを、α＝０として、ステップＳ１８１に進む。
　なお、前述したように、合成係数αは、入力画像と合成画像の対応画素の合成に適用する重み係数であり、各画素単位で設定する値である。本実施例において、合成係数αは、新たに生成する更新合成画像に対する入力画像の画素値の重みに相当する。

　一方、合成画像の処理対象画素の画素値が飽和レベル（ステップＳ１０７の判定＝Ｎｏ）であり、ステップＳ１０９に進んだ場合は、ステップＳ１０９において、入力画像と直前生成合成画像の処理対象画素同士の画素値差分を算出し、ステップＳ１６１に進む。

　次に、図９を参照して、ステップＳ１０８以下の処理について説明する。
　ステップＳ１０８の処理の後は、図９に示すステップＳ１５１以下の処理を実行する。なお、この処理は、以下の判定や処理が実行された場合に行われる処理である。
　（Ｓ１０５）入力画像が長時間露光画像であり、
　（Ｓ１０６）処理対象画素となる合成画像の画素値が飽和レベル未満であり、
　（Ｓ１０８）入力画像と合成画像の処理対象画素の画素値差分の算出、
　これらの判定および処理が実行された後の処理として実行される。

　ステップＳ１５１において、ステップＳ１０８で算出した画素値差分、すなわち、入力画像と合成画像の処理対象画素の画素値差分と、予め設定したしきい値とを比較する。画素値差分がしきい値未満（ステップＳ１５１の判定＝Ｙｅｓ）である場合は、ステップＳ１５２に進む。
　一方、画素値差分がしきい値以上（ステップＳ１５１の判定＝Ｎｏ）である場合は、ステップＳ１５４に進み、更新回数Ｎをリセットし、Ｎ＝０としてステップＳ１５５に進む。

　ステップＳ１５１において、画素値差分がしきい値未満（ステップＳ１５１の判定＝Ｙｅｓ）と判定し、ステップＳ１５２に進むと、ステップＳ１５２において、長時間露光画像用更新回数Ｎを１つ増加させるインクリメント処理を実行する。
　さらに、ステップＳ１５３において、更新回数Ｎを、予め設定した上限値でクリップして、Ｓ１５５で合成係数αを、α＝１／Ｎに設定する。
　最後に、ステップＳ１８１に進み、ステップＳ１５５で設定した合成係数α＝１／Ｎを出力する。

　次に、図９を参照して、ステップＳ１０９以下の処理について説明する。
　ステップＳ１０９の処理の後は、図９に示すステップＳ１６１以下の処理を実行する。なお、この処理は、以下の判定や処理が実行された場合に行われる処理である。
　（Ｓ１０５）入力画像が短時間露光画像であり、
　（Ｓ１０７）処理対象画素となる合成画像の画素値が飽和レベルであり、
　（Ｓ１０９）入力画像と合成画像の処理対象画素の画素値差分を算出した後の処理として実行される。

　ステップＳ１６１において、ステップＳ１０９で算出した画素値差分、すなわち、入力画像と合成画像の処理対象画素の画素値差分と、予め設定したしきい値とを比較する。画素値差分がしきい値未満（ステップＳ１６１の判定＝Ｙｅｓ）である場合は、ステップＳ１６２に進む。
　一方、画素値差分がしきい値以上（ステップＳ１６１の判定＝Ｎｏ）である場合は、ステップＳ１６４に進み、更新回数Ｎをリセットし、Ｎ＝０としてステップＳ１６５に進む。

　ステップＳ１６１において、画素値差分がしきい値未満（ステップＳ１６１の判定＝Ｙｅｓ）と判定し、ステップＳ１６２に進むと、ステップＳ１６２において、短時間露光画像用更新回数Ｍを１つ増加させるインクリメント処理を実行する。
　さらに、ステップＳ１６３において、更新回数Ｍを、予め設定した上限値でクリップして、Ｓ１６５で合成係数αを、α＝１／Ｍに設定する。
　最後に、ステップＳ１８１に進み、ステップＳ１６５で設定した合成係数α＝１／Ｍを出力する。

　次に、図９を参照して、ステップＳ１１０以下の処理について説明する。
　ステップＳ１１０の処理の後は、図９に示すステップＳ１８１の処理を実行する。なお、この処理は、図８に示す、
　ステップＳ１０６の判定処理においてＮｏと判定された場合、または、
　ステップＳ１０７の判定処理においてＹｅｓと判定された場合、
　上記いずれかの場合に実行する処理である。

　すなわち、
　（Ｓ１０５）入力画像が長時間露光画像であり、
　（Ｓ１０６）処理対象画素となる合成画像の画素値が飽和レベル未満であると判定した場合、
　または、
　（Ｓ１０５）入力画像が短時間露光画像であり、
　（Ｓ１０７）処理対象画素となる合成画像の画素値が飽和レベルであると判定した場合、
　これらのいずれかの条件を満足する場合に、
　ステップＳ１１０において、合成係数αをα＝０に設定し、ステップＳ１８１において、その合成係数αとして、α＝０を出力する。

　次に、図９を参照して、ステップＳ１２３以下の処理について説明する。
　ステップＳ１２３の処理の後は、図９に示すステップＳ１８１の処理を実行する。なお、この処理は、図８に示すステップＳ１０２の判定処理において入力画像が１フレーム目と判定された場合の処理である。
　すなわち、
　図８に示すステップＳ１０２の判定処理において入力画像が１フレーム目と判定され、その後、
　ステップＳ１２１において、短時間露光画像用更新回数ＭをＭ＝１にリセット、
　ステップＳ１２２において、長時間露光画像用更新回数ＮをＮ＝０にリセット、
　ステップＳ１２３において、合成係数α＝１とする処理を実行し、
　これらのパラメータ更新処理を実行してステップＳ１８１に進み、ステップＳ１２３で設定した合成係数αとして、α＝１を出力する。

　各入力画像に対する合成処理の具体例について、図１０～図１２を参照して説明する。
　図１０～図１２に示す例は、入力画像として、
　短時間露光画像、
　長時間露光画像、
　これらの２種類の露光時間の画像を順次、入力し、
　総計フレーム数＝２ｎフレームを用いて、合成画像を順次、更新して出力合成画像を生成する場合の処理例を説明する図である。

　入力画像としての撮影画像には、山と空があり、長時間露光画像では、空が飽和してしまう場合を示している。最初の入力画像であるフレーム１は、短時間露光画像Ｓである。この最初の入力画像を入力した際の処理は、１フレーム目なので合成係数α＝１とする。すなわち、図８、図９に示すフローの以下の処理に従って合成係数α＝１とする。
　ステップＳ１０２の判定＝Ｙｅｓ、
　ステップＳ１２１，Ｓ１２２，Ｓ１２３，Ｓ１８１の各処理を実行、
　これらの処理を実行して、合成係数αを、α＝１とする。

　前述したように、合成係数αは、新たに生成する更新合成画像に対する入力画像の画素値の重みに相当する。
　合成係数α＝１の場合、更新合成画像の画素値を入力画像の画素値に設定する処理を行なうことに相当する。
　従って、図１０のフレーム１のエントリに示す合成画像の画素値は、すべて入力画像から得られる画素値に設定される。
　ただし、合成画像の画素値は、短時間露光画像の画素値そのものではなく、短時間露光画像の露光比補正後の画素値である。すなわち、短時間露光画像の露光時間を長時間露光画像の露光時間と同様の時間とした場合の露光補正後の画素値である。図１０の合成画像中の（Ｓｆ１）は、この露光補正後の画素値を示している。

　なお、図においては、短時間露光画像をＳ、長時間露光画像をＬと表記し、フレーム先頭からｆ１，ｆ２，ｆ３・・として示している。図１０に示すフレーム１のエントリ中に示す合成画像の空領域の矩形領域と、山領域の矩形領域におけるＳｆ１は、最初のフレーム１として入力される短時間露光画像の露光補正後の画素値であることを示している。
　なお、ここに示す例では、空領域は、長時間露光画像では飽和レベルであり、山領域は飽和レベル未満の画素値である。
　合成画像における空領域の画素値Ｓｆ１は、長時間露光画像の飽和レベル以上の画素値になる。

　図１０～図１２に示す例では、
　（ａ）合成画像における飽和レベル領域に相当する空領域、
　（ｂ）合成画像における飽和レベル未満領域に相当する山領域、
　これらの２つの画素領域が各入力画像に応じてどのように更新されるかを示している。
　なお、前述したように、この実施例において、合成画像の飽和レベルは長時間露光画像の飽和レベルと同じ設定とする。例えば画素値が０～２５５の範囲で設定される場合、画素値２５５の設定画素は飽和レベル（飽和画素）であると判定する。

　図１０に示すフレーム１の入力時、すなわち短時間露光画像Ｓの入力時は、
　合成係数α＝１に設定され、
　合成画像は、すべて入力画像の画素値（Ｓｆ１）となる。すなわち、
　明るい空領域＝Ｓｆ１、
　暗い山領域＝Ｓｆ１、
　これらの画素値設定のなされた合成画像を生成する。

　図１０に示すフレーム２の入力時、すなわち長時間露光画像Ｌの入力時は、
　直前に生成した合成画像、すなわちフレーム１対応の合成画像において、飽和レベルより小さい画素値を持つ画素領域（山領域）は、合成係数α＝１とし、長時間露光画像の画素値（Ｌｆ２）に置き換えて出力する。飽和レベルより大きい画素領域（空領域）は、合成係数α＝０として、前フレームの合成画像の画素値（Ｓｆ１）をそのまま更新合成画像の画素値として設定（素通し）する。
　すなわち、
　明るい空領域＝Ｓｆ１、
　暗い山領域＝Ｌｆ２、
　これらの画素値設定のなされた合成画像を生成する。

　図１０に示すフレーム３の入力時、すなわち短時間露光画像Ｓの入力時は、
　直前に生成した合成画像、すなわちフレーム２対応の合成画像において、飽和レベルより小さい画素値を持つ画素領域（山領域）は、合成係数α＝０とし、前フレームの合成画像の画素値（Ｌｆ２）をそのまま更新合成画像の画素値として設定（素通し）する。
　一方、飽和レベルより大きい画素領域（空領域）は、短時間露光画像として２回目の更新となるので、合成係数α＝１／２とし、αブレンディングした（Ｓｆ１＋Ｓｆ３）／２で更新する。
　なお、Ｓｆ１，Ｓｆ３とも短時間露光画像のも画素値に対する露光補正（ゲインアップ）処理後の画素値である。
　また、上記の合成係数α＝１／２とする処理は、図９に示すフローのステップＳ１６５の処理に相当する。

　この処理によって、図１０のフレーム３の合成画像の欄に示すように、
　明るい空領域＝（Ｓｆ１＋Ｓｆ３）／２、
　暗い山領域＝Ｌｆ２、
　これらの画素値設定のなされた合成画像が生成される。

　次に、図１１に示すフレーム４の入力時、すなわち長時間露光画像Ｌの入力時は、
　直前に生成した合成画像、すなわちフレーム３対応の合成画像において、飽和レベルより小さい画素値を持つ画素領域（山領域）は、長時間露光画像として２回目の更新となるので、合成係数α＝１／２とし、αブレンディングした（Ｌｆ２＋Ｌｆ４）／２で更新する。
　一方、飽和レベルより大きい画素領域（空領域）は、合成係数α＝０とし、前フレームの合成画像の画素値（Ｓｆ１＋Ｓｆ３）／２をそのまま更新合成画像の画素値として設定（素通し）する。
　なお、上記の合成係数α＝１／２とする処理は、図９に示すフローのステップＳ１５５の処理に相当する。

　この処理によって、図１１のフレーム４の合成画像の欄に示すように、
　明るい空領域＝（Ｓｆ１＋Ｓｆ３）／２、
　暗い山領域＝（Ｌｆ２＋Ｌｆ４）／２、
　これらの画素値設定のなされた合成画像が生成される。

　次に、図１１に示すフレーム５の入力時、すなわち短時間露光画像Ｓの入力時は、
　直前に生成した合成画像、すなわちフレーム４対応の合成画像において、飽和レベルより小さい画素値を持つ画素領域（山領域）は、合成係数α＝０とし、前フレームの合成画像の画素値（Ｌｆ２＋Ｌｆ４）／２をそのまま更新合成画像の画素値として設定（素通し）する。
　一方、飽和レベルより大きい画素領域（空領域）は、短時間露光画像として３回目の更新となるので、合成係数α＝１／３とし、αブレンディングした（Ｓｆ１＋Ｓｆ３＋Ｓｆ５）／３で更新する。
　なお、Ｓｆ１，Ｓｆ３，Ｓｆ５とも短時間露光画像のも画素値に対する露光補正（ゲインアップ）処理後の画素値である。
　また、上記の合成係数α＝１／３とする処理は、図９に示すフローのステップＳ１６５の処理に相当する。

　この処理によって、図１１のフレーム５の合成画像の欄に示すように、
　明るい空領域＝（Ｓｆ１＋Ｓｆ３＋Ｓｆ５）／３、
　暗い山領域＝（Ｌｆ２＋Ｌｆ４）／２、
　これらの画素値設定のなされた合成画像が生成される。

　次に、図１１に示すフレーム６の入力時、すなわち長時間露光画像Ｌの入力時は、
　直前に生成した合成画像、すなわちフレーム５対応の合成画像において、飽和レベルより小さい画素値を持つ画素領域（山領域）は、長時間露光画像として３回目の更新となるので、合成係数α＝１／３とし、αブレンディングした（Ｌｆ２＋Ｌｆ４＋Ｌｆ６）／３で更新する。
　一方、飽和レベルより大きい画素領域（空領域）は、合成係数α＝０とし、前フレームの合成画像の画素値（Ｓｆ１＋Ｓｆ３＋Ｓｆ５）／３をそのまま更新合成画像の画素値として設定（素通し）する。
　なお、上記の合成係数α＝１／３とする処理は、図９に示すフローのステップＳ１５５の処理に相当する。

　この処理によって、図１１のフレーム６の合成画像の欄に示すように、
　明るい空領域＝（Ｓｆ１＋Ｓｆ３＋Ｓｆ５）／３、
　暗い山領域＝（Ｌｆ２＋Ｌｆ４＋Ｌｆ６）／３、
　これらの画素値設定のなされた合成画像が生成される。

　これらの処理を繰り返すと、図１２に示すように、フレーム（２ｎ－１）の入力時、すなわち短時間露光画像Ｓの入力時には、新たな入力短時間露光画像の露光比補正画素の画素値（Ｓｆ２ｎ－１）を適用して、明るい空領域のみが更新される。
　その結果、
　明るい空領域＝（Ｓｆ１＋…＋Ｓｆ２ｎ－１）／ｎ、
　暗い山領域＝（Ｌｆ２＋…＋Ｌｆ２ｎ－２）／（ｎ－１）
　これらの画素値設定のなされた合成画像が生成される。

　さらに、図１２に示すように、フレーム（２ｎ）の入力時、すなわち長時間露光画像Ｌの入力時には、新たな入力長時間露光画像の画素値（Ｌｆ２ｎ）を適用して、暗い山領域のみが更新される。
　その結果、
　明るい空領域＝（Ｓｆ１＋…＋Ｓｆ２ｎ－１）／ｎ、
　暗い山領域＝（Ｌｆ２＋…＋Ｌｆ２ｎ）／ｎ、
　これらの画素値設定のなされた合成画像が生成される。
　合成処理部３００では、このように連続撮影される異なる露光時間の画像に基づいて、画素値に応じた合成処理を実行して最終的な合成画像を生成して出力する。

　なお、図１０～図１２に示す例は、フレーム数＝２ｎを１つの出力画像を生成するために適用する入力画像のセットとして設定した例である。
　例えば、ｎ＝２とした場合は、１つの短時間露光画像と１つの長時間露光画像のみから１つの出力画像を生成することになる。この場合は、図１０のフレーム２において生成した合成画像が出力される。

　また、図１０～図１２に示す例は、短時間露光画像と長時間露光画像の２種類の露光時間のみの設定としているが、３以上の露光時間とした場合も同様に処理が可能である。
　例えば、
　フレーム１＝短時間露光画像、
　フレーム２＝中時間露光画像、
　フレーム３＝長時間露光画像、
　以下、これらの繰り返しとして設定し、入力画像３フレームから１つの出力フレームを出力するといった設定、すなわちｎ＝３の設定とすることが可能である。
　なお、このような場合、最終的な出力画像となる合成画像は、低輝度領域は、長時間露光画素の画素値、高輝度領域は、低時間露光画素の画素値、その間の中輝度領域は中時間露光画像の画素値を優先的に選択して画素値設定が行われる。

　　［３．位置合わせ処理部の構成と位置合わせ処理について］
　次に、図４に示す画像処理装置１００の位置合わせ処理部２００の詳細構成と処理について説明する。

　本開示の画像処理装置では、処理対象とする入力画像が動画である場合と、入力画像が静止画である場合で、位置合わせ処理部２００の実行する処理が異なる。
　図１３に示す画像処理装置１００の位置合わせ処理部２００の構成が、入力画像が動画である場合の位置合わせ処理を実行する処理構成である。
　図１４に示す画像処理装置１００の位置合わせ処理部２００の構成が、入力画像が静止画である場合の位置合わせ処理を実行する処理構成である。

　なお、画像処理装置が動画のみの処理を実行する構成であれば、図１３に示す構成を持つ位置合わせ処理部２００のみを有する構成としてよい。
　また、画像処理装置が静止画のみの処理を実行する構成であれば、図１４に示す構成を持つ位置合わせ処理部２００のみを有する構成としてよい。
　また、画像処理装置が静止画と動画の両者の処理を実行する構成であれば、図１３に示す構成と、図１４に示す構成を切り換えて利用可能な位置合わせ処理部２００を有する構成とする。

　まず、図１３を参照して処理対象画像が動画である場合の位置合わせ処理部２００の構成と処理について説明する。
　動画処理では、入力画像１１０は、順次入力される複数の異なる露光時間の動画像である。例えば、以下のようなシーケンスで画像が入力される。
　フレーム１：短時間露光画像
　フレーム２：長時間露光画像
　フレーム３：短時間露光画像
　フレーム４：長時間露光画像
　　：　　　　　　　：
　フレーム（２ｎ－１）：短時間露光画像
　フレーム２ｎ：長時間露光画像

　このようなシーケンスで画像が入力され、各フレーム対応の出力画像を合成画像として生成して出力する。最終的な出力画像は、ダイナミックレンジ拡張処理とノイズ除去処理の施された動画像となる。

　図１３に示す画像処理装置１００に構成された位置合わせ処理部２００の動き推定部２０１は、動画像を構成するフレーム画像である最新の入力画像１１０と、合成処理部３００が前フレームまでの処理によって生成し、フレームメモリ４００に格納した合成画像１２０を入力する。

　動き推定部２０１は、これら入力画像１１０と合成画像１２０の２つの画像間の動きベクトル２０５を推定する。合成処理部３００で合成画像１２０を更新するため、それまでに生成した合成画像１２０を、最新の入力画像１１０の画像位置に位置合わせを行なう必要がある。

　動き推定部２０１は、この位置合わせ処理に適用するため、入力画像１１０と合成画像１２０の２つの画像間の動きベクトル２０５を算出して動き補償画像生成部２０２に出力する。
　なお、動き推定方法としては、様々な手法が適用可能である。例えば、ブロックマッチング法、勾配法、位相相関法などが使用可能である。

　動き補償画像生成部２０２は、動き推定部２０１から供給された動きベクトル２０５を適用して、フレームメモリ４００から取得した合成画像１２０の画像位置を最新の入力画像１１０の画像位置に一致させる処理（動き補償処理）を実行する。この動き補償処理によって生成した動き補償合成画像１３０を合成処理部３００に出力する。

　合成処理部３００は、入力画像１１０と、動き補償合成画像１３０を適用して合成画像の更新を実行し、新たな合成画像を生成して出力画像１８０として出力するとともに、フレームメモリ４００に格納する。
　なお、合成処理部３００の実行する画像合成処理は、例えば先に図７～図１２を参照して説明した処理と同様の処理である。
　フレームメモリ４００に格納された新たな合成画像は、次の入力画像に対応する合成画像の生成に利用される。
　この処理を、順次、入力する動画フレームに対して実行し、入力画像１１０対応の出力画像１８０を生成して出力する。

　次に、図１４を参照して処理対象画像が静止画である場合の位置合わせ処理部２００の構成と処理について説明する。
　静止画処理では、入力画像１１０は、複数の異なる露光時間の静止画像となる。
　ただし、撮影画像は異なる露光時間に設定され連続撮影された画像である。この連続撮影画像を利用して１枚の静止画としての出力画像を生成する。
　静止画撮影においても、例えば、以下のようなシーケンスで画像が入力される。
　フレーム１：短時間露光画像
　フレーム２：長時間露光画像
　フレーム３：短時間露光画像
　フレーム４：長時間露光画像
　　：　　　　　　　：
　フレーム（２ｎ－１）：短時間露光画像
　フレーム２ｎ：長時間露光画像
　例えば、これらの２ｎ枚の画像を利用して１枚の静止画を生成して出力する。最終的な出力画像は、ダイナミックレンジ拡張処理とノイズ除去処理の施された静止画像となる。

　なお、連続撮影された複数の画像は、撮影実行中の手振れ等によって各画像の画像位置はずれてしまう。位置合わせ処理部２００は、例えばこのような手振れ等に起因する画像ずれを修正する位置合わせを行なう。

　図１４に示す画像処理装置１００に構成された位置合わせ処理部２００の動き推定部２１１は、最終的な出力画像としての静止画を生成するために連続撮影された複数の画像を構成する１つの最新の入力画像１１０と、合成処理部３００が前フレームまでの処理によって生成し、フレームメモリ４００に格納した合成画像１２０を入力する。

　静止画処理においても、動き推定部２１１は、先に図１３を参照して説明した動画処理における動き推定部２０１と同様、入力画像１１０と合成画像１２０の２つの画像間の動きベクトル２０５を推定する。ただし、静止画処理では、連続撮影された画像中のいずれかの画像を基準画像として、連続撮影画像のすべてをこの１つの基準画像の画像位置に合わせる処理を行なう。具体的には、例えば、連続影続画像中の最初の画像、すなわち一枚目の入力画像に位置合わせを行なう。
　合成画像１２０は、一枚目の入力画像に位置合わせを行なって生成された合成画像であり、新たな入力画像１１０についても、生成済みの合成画像１２０の画像位置に合わせることが必要となる。

　動き推定部２１１は、このように入力画像１１０を合成画像１２０の画像位置に位置合わせするため、入力画像１１０と合成画像１２０の２つの画像間の動きベクトル２１５を算出して動き補償画像生成部２１２に出力する。

　動き補償画像生成部２１２は、動き推定部２１１から供給された動きベクトル２０５を適用して、入力画像１１０の画像位置を、フレームメモリ４００から取得した合成画像１２０の画像位置に一致させる処理（動き補償処理）を実行する。この動き補償処理によって生成した動き補償入力画像１４０を合成処理部３００に出力する。

　合成処理部３００は、動き補償入力画像１４０と、合成画像１２０を適用して合成画像の更新を実行し、新たな合成画像を生成してフレームメモリ４００に格納する。フレームメモリ４００に格納された新たな合成画像は、次の入力画像に対応する合成画像の生成に利用される。
　静止画撮影のために実行した連続撮影処理において撮影された前画像フレームの処理が終了し、最終的な合成画像が生成された場合、その合成画像を出力画像１８０として出力する。
　なお、合成処理部３００の実行する画像合成処理は、例えば先に図７～図１２を参照して説明した処理と同様の処理である。

　　［４．位置合わせ処理部において実行する位置合わせ処理の詳細について］
　次に、位置合わせ処理部２００において実行する位置合わせ処理の詳細について説明する。
　図１３、図１４を参照して説明したように、動画処理と静止画処理では、以下のような動き補償画像の生成を実行する。
　図１３を参照して説明した動画処理においては、入力画像を基準画像として、前フレームまでの処理で生成した合成画像の画像位置を入力画像の画像位置に一致させるように合成画像の動き補償を実行して動き補償合成画像を生成する。
　図１４を参照して説明した静止画処理においては、合成画像を基準画像として、入力画像の画像位置を合成画像の画像位置に一致させるように入力画像の動き補償を実行して動き補償入力画像を生成する。

　このように、動画と静止画では、位置合わせの基準となる画像が異なる。
　しかし、
　（ａ）入力画像と合成画像の２つの画像間の移動量を示す動きベクトルを算出する処理、
　（ｂ）算出した動きベクトルに基づいて、一方の画像を移動して他方のがぞに位置合わせする処理、
　これら（ａ），（ｂ）の処理は、動画、静止画において共通に実行する処理である。

　このように、動画処理と静止画処理では、基準となる画像と、動き補償対象となる画像が、入れ替わる点のみが異なり、その他の処理は共通の処理となる。
　以下では、この共通の処理の詳細、すなわち位置合わせ処理部の実行する処理の詳細について説明する。以下では、処理対象を動画とした場合の処理例について説明するが、以下で説明する処理は、静止画の場合にも適用可能である。

　位置合わせ処理部２００の実行する位置合わせ処理の態様としては、例えば以下の処理態様がある。
　（１）画像の区分領域を単位とした動きであるローカル動きを推定し、推定したローカル動きに基づいたローカル動き補償画像を生成する処理
　（２）画像全体を単位とした動きであるグローバル動きを推定し、推定したグローバル動きに基づいたグローバル動き補償画像を生成する処理
　（３）ローカル動きに基づくローカル動き補償画像と、グローバル動きに基づくグローバル動き補償画像の双方を生成するハイブリッド処理、
　以下、これらの各処理について、順次、説明する。

　　［４－１．ローカル位置合わせに基づくローカル動き補償画像の生成処理について］
　まず、図１５を参照して、位置合わせ処理部２００の実行する位置合わせ処理の一例として、画像の区分領域を単位とした動きであるローカル動きを推定し、推定したローカル動きに基づいたローカル動き補償画像を生成する処理について説明する。

　ローカル位置合わせは、画像内の局所領域ごとに動き推定を行い、その動きベクトルを使って処理を行う例である。
　図１５に示す画像処理装置１００の位置合わせ処理部２００は、ローカル動き推定部２２１、ローカル動き補償画像生成部２２２、露光比補正部２２３を有する。
　入力画像１１０は、順次入力される複数の異なる露光時間の動画像である。

　ローカル動き推定部２２１は、入力画像１１０を入力し、さらに、露光比補正部２２３を介して、露光比補正のなされた合成画像、すなわち、図に示す露光比補正合成画像１２１を入力する。

　露光比補正部２２３は、合成処理部３００が前フレームまでの処理によって生成し、フレームメモリ４００に格納した合成画像１２０を取得して、取得した合成画像の露光比補正を実行する。すなわち、合成画像１２０の画素値を、入力画像１１０の露光時間と一致させたと仮定した場合の画素値に補正する処理を実行し、この画素値補正を行った画像を露光比補正合成画像１２１としてローカル動き推定部２２１に出力する。

　露光比補正部２２３の実行する合成画像１２０に対する露光比補正処理の詳細シーケンスについて、図１６に示すフローチャートを参照して説明する。
　まず、ステップＳ３０１において、フレームメモリ４００から合成画像１２０を取得する。
　次に、ステップＳ３０２において、入力画像１１０の露光時間情報を取得する。なお、入力画像１１０は、例えば短時間露光画像と長時間露光画像とが交互に入力される設定であり、最新の入力画像の露光時間情報を取得する。

　ステップＳ３０３において、入力画像が短時間露光画像か長時間露光画像かを判定する。入力画像が長時間露光画像である場合は、ステップＳ３０４に進む。入力画像が短時間露光画像である場合は、ステップＳ３０５に進む。

　入力画像が長時間露光画像であり、ステップＳ３０４に進むと、ステップＳ３０４において、合成画像を飽和画素値レベルでクリップする。例えば、出力画像の画素値を０～２５５の範囲としている設定では、飽和画素レベルは２５５となる。この場合、合成画像に含まれる画素値が２５５以上の画素領域については、すべて飽和画素レベル（２５５）に設定するクリップ処理を行なう。
　その後、ステップＳ３０７において、このクリップ後の合成画像を露光比補正画像として出力する。

　一方、ステップＳ３０３の判定処理において、入力画像が短時間露光画像であり、ステップＳ３０５に進むと、ステップＳ３０５において、合成画像を入力画像である短時間露光画像に対応する画素値レベルにゲインダウンする。この処理例では、合成画像は、長時間露光画像と同様の露光時間設定画像として出力する。例えば短時間露光画像と長時間露光画像の露光時間比が１：２である場合、合成画像のゲインダウンによって、合成画像の画素値は１／２に設定することになる。
　その後、ステップ３０６において、ゲインダウン後の合成画像を飽和画素値レベルでクリップする。
　さらに、ステップＳ３０７において、このクリップ後の合成画像を露光比補正画像として出力する。

　なお、合成画像は、先に、図５（２）を参照して説明したように、飽和レベルまでは長時間露光画像、それより大きいところは短時間露光画像をゲインアップした画像によって構成されている。
　図１６に示すフローの手順で合成画像に対して露光比補正を行うことで、入力画像が短時間露光画像である場合は、ステップＳ３０５～Ｓ３０７のシーケンスに従った処理が実行され、合成画像の画素値が短時間露光画像と同様の露光時間の設定とした画素値に設定される。
　また、入力画像が長時間露光画像である場合は、ステップＳ３０４、Ｓ３０７の処理が実行され、合成画像の画素値が長時間露光画像と同様の露光時間の設定とした画素値に設定される。

　図１５に示す位置合わせ処理部２００の露光比補正部２２３は、この図１６に示すフローに従った処理により、露光比補正合成画像１２１を生成してローカル動き推定部２２１に出力する。

　ローカル動き推定部２２１は、入力画像１１０と、露光比補正合成画像１２１を入力し、これらの２つの画像について、画像内の区分領域、例えば画素単位、あるいは複数画素領域単位等、ローカル領域（局所領域）ごとに動き推定を行い、ローカル領域単位のローカル動きベクトル２２５を算出して、ローカル動き補償画像生成部２２２に出力する。

　ローカル動き補償画像生成部２２２は、ローカル動き推定部２２１から入力する局所領域単位のローカル動きベクトル２２５を利用して、局所領域単位で入力画像１１０と、合成画像１２０との位置合わせを行なう。すなわち、ローカル動きベクトル２２５を利用して、入力画像１１０と、合成画像１２０との位置合わせを局所領域単位で実行し、合成画像１２０の画像位置を入力画像１１０の画像位置に合わせた動き補償合成画像を生成して合成処理部３００に出力する。
　この構成においては、局所領域ごとに動き推定、動き補償を行うことで、画像内の動被写体のような局所動きに対して位置合わせを行うことができる。

　合成処理部３００は、ローカル動き補償画像生成部２２２から入力する動き補償合成画像と、入力画像１１０を利用して、新たな合成画像を生成して出力画像１８０として出力するとともに、フレームメモリ４００に格納する。

　なお、本処理例は、入力画像を動画とした場合の処理例であり、位置合わせ処理部２００は、合成画像１２０に対する動き補償を実行して、合成画像１２０の画像位置を入力画像１１０の画像位置に合わせる処理を実行する。
　静止画処理の場合は、入力画像１１０に対する動き補償を実行して、入力画像１１０の画像位置を、合成画像１２０の画像位置に合わせる処理を実行する。

　　［４－２．グローバル位置合わせに基づくグローバル動き補償画像の生成処理について］
　次に、図１７を参照して、位置合わせ処理部２００の実行する位置合わせ処理の一例として、画像全体単位とした動きであるグローバル動きを推定し、推定したグローバル動きに基づいたグローバル動き補償画像を生成する処理について説明する。

　グローバル位置合わせは、画像内の局所領域ごとに動き推定を行い、局所領域のベクトルから画面全体のグローバルな動きを推定して、その動きベクトルを使って処理を行う位置合わせ処理である。

　図１７に示す画像処理装置１００の位置合わせ処理部２００は、ローカル動き推定部２３１、グローバル動き推定部２３２、グローバル動き補償画像生成部２３３、露光比補正部２３４を有する。
　入力画像１１０は、順次入力される複数の異なる露光時間の動画像である。

　図１７に示す位置合わせ処理部２００の構成において、露光比補正部２３４、ローカル動き推定部２３１の処理は、先に図１５を参照して説明した図１５に示す露光比補正部２２３、ローカル動き推定部２２１の実行する処理と同様の処理である。

　すなわち、露光比補正部２３４は、合成処理部３００が前フレームまでの処理によって生成し、フレームメモリ４００に格納された合成画像１２０を取得して、取得した合成画像の露光比補正を実行する。すなわち、合成画像１２０の画素値を、入力画像１１０の露光時間と一致させたと仮定した場合の画素値に補正する処理を実行し、この画素値補正を行った画像を露光比補正合成画像２３５としてローカル動き推定部２３１に出力する。

　ローカル動き推定部２３１は、入力画像１１０と、露光比補正合成画像２３５を入力し、これらの２つの画像について、画像内の区分領域、例えば画素単位、あるいは複数画素領域単位等、ローカル領域（局所領域）ごとに動き推定を行い、ローカル領域単位のローカル動きベクトル２３６を算出して、グローバル動き推定部２３２に出力する。

　グローバル動き推定部２３２は、ローカル動き推定部２２１から入力する局所領域単位のローカル動きベクトル２３６を利用して、入力画像１１０と、露光比補正合成画像２３５の２つの画像間の画像全体の動き（グローバル動き）を推定し、この画像全体の動きを示すグローバル動きベクトル２３７を生成してグローバル動き補償画像生成部２３３に出力する。

　グローバル動き補償画像生成部２３３は、グローバル動き推定部２３２から入力するグローバル動きベクトル２３７を利用して、入力画像１１０と、合成画像１２０との位置合わせを実行し、合成画像１２０の画像位置を入力画像１１０の画像位置に合わせた動き補償合成画像を生成して合成処理部３００に出力する。

　合成処理部３００は、グローバル動き補償画像生成部２３３から入力する動き補償合成画像と、入力画像１１０を利用して、新たな合成画像を生成して出力画像１８０として出力するとともに、フレームメモリ４００に格納する。

　　［４－３．ローカル動きに基づくローカル動き補償画像と、グローバル動きに基づくグローバル動き補償画像の双方を生成するハイブリッド処理について］
　次に、図１８を参照して、ローカル動きに基づくローカル動き補償画像と、グローバル動きに基づくグローバル動き補償画像の双方を生成するハイブリッド処理について説明する。

　ハイブリッド位置合わせにおいては、画像内の局所領域ごとに動き推定を行い、局所領域のベクトルから画面全体のグローバルな動きを推定する。
　この処理によって、
　（１）局所領域の動きベクトルであるローカル動きベクトル、
　（２）画像全体の動きベクトルであるグローバル動きベクトル、
　これら２つの動きベクトルを算出し、これら２つの動きベクトル適用して位置合わせを行なう。

　図１８に示す画像処理装置１００の位置合わせ処理部２００は、ローカル動き推定部２４１、グローバル動き推定部２４２、グローバル動き補償画像生成部２４３、露光比補正部２４４、ローカル動き補償画像生成部２４５を有する。
　入力画像１１０は、順次入力される複数の異なる露光時間の動画像である。

　図１８に示す位置合わせ処理部２００の構成において、露光比補正部２４４、ローカル動き推定部２４１、グローバル動き推定部２４２、グローバル動き補償画像生成部２４３の処理は、先に図１７を参照して説明した図１７に示す露光比補正部２３４、ローカル動き推定部２３１、グローバル動き推定部２３２、グローバル動き補償画像生成部２３３の実行する処理と同様の処理である。

　すなわち、露光比補正部２４４は、合成処理部３００が前フレームまでの処理によって生成し、フレームメモリ４００に格納された合成画像１２０を取得して、取得した合成画像の露光比補正を実行する。すなわち、合成画像１２０の画素値を、入力画像１１０の露光時間と一致させたと仮定した場合の画素値に補正する処理を実行し、この画素値補正を行った画像を露光比補正合成画像２４７としてローカル動き推定部２４１に出力する。

　ローカル動き推定部２４１は、入力画像１１０と、露光比補正合成画像２４７を入力し、これらの２つの画像について、画像内の区分領域、例えば画素単位、あるいは複数画素領域単位等、ローカル領域（局所領域）ごとに動き推定を行い、ローカル領域単位のローカル動きベクトル２４８を算出して、グローバル動き推定部２４２に出力する。

　グローバル動き推定部２４２は、ローカル動き推定部２４１から入力する局所領域単位のローカル動きベクトル２４８を利用して、入力画像１１０と、露光比補正合成画像２４７の２つの画像間の画像全体の動き（グローバル動き）を推定し、この画像全体の動きを示すグローバル動きベクトル２４９をグローバル動き補償画像生成部２４３に出力する。

　グローバル動き補償画像生成部２４３は、グローバル動き推定部２４２から入力するグローバル動きベクトル２４９を利用して、入力画像１１０と、合成画像１２０との位置合わせを実行し、合成画像１２０の画像位置を入力画像１１０の画像位置に合わせた動き補償合成画像を生成して合成処理部３００に出力する。

　一方、ローカル動き補償画像生成部２４５は、先に図１５を参照して説明したローカル動き補償画像生成部２２２の実行する処理と同様の処理を実行する。
　すなわち、ローカル動き補償画像生成部２４５は、ローカル動き推定部２４１から入力する局所領域単位のローカル動きベクトル２４８を利用して、局所領域単位で入力画像１１０と、合成画像１２０との位置合わせを行なう。すなわち、ローカル動きベクトル２４８を利用して、入力画像１１０と、合成画像１２０との位置合わせを局所領域単位で実行し、合成画像１２０の画像位置を入力画像１１０の画像位置に合わせた動き補償合成画像を生成して合成処理部３００に出力する。

　このハイブリッド位置合わせを実行する構成では、合成処理部３００は、以下の２つの動き補償合成画像を入力することになる。
　（Ａ）ローカル動き補償画像生成部２４５がローカル動きベクトル２４８に基づいて生成したローカル動き補償合成画像、
　（Ｂ）グローバル動き補償画像生成部２４３がグローバル動きベクトル２４９に基づいて生成したグローバル動き補償合成画像、
　合成処理部３００は、これら２つの動き補償合成画像と、入力画像１１０を適用して新たな合成画像を生成する。
　この合成処理については、後段で説明する。

　なお、本処理例も、入力画像を動画とした場合の処理例であり、位置合わせ処理部２００は、合成画像１２０に対する動き補償を実行して、合成画像１２０の画像位置を入力画像１１０の画像位置に合わせる処理を実行する。
　静止画処理の場合は、入力画像１１０に対する動き補償を実行して、入力画像１１０の画像位置を、合成画像１２０の画像位置に合わせる処理を実行する。

　このハイブリッド位置合わせでは、画像内の動被写体のような局所動きに対しても位置合わせを行うことができ、かつ、カメラ動きがあるような画像に対しても、精度良く位置合わせを行うことができる。

　　［５．ハイブリッド型位置合わせ処理部の生成する２つの動き補償画像を適用した合成処理について］
　次に、図１８を参照して説明した上記のハイブリッド型の位置合わせ処理部２００の生成する２つの動き補償画像を適用した画像合成を実行する合成処理部３００の構成と処理について図１９を参照して説明する。

　図１８を参照して説明したハイブリッド位置合わせを実行する位置合わせ処理部２００は、以下の２つの動き補償画像を生成する。
　（Ａ）ローカル動き補償画像生成部２４５がローカル動きベクトル２４８に基づいて生成したローカル動き補償合成画像
　（Ｂ）グローバル動き補償画像生成部２４３がグローバル動きベクトル２４９に基づいて生成したグローバル動き補償合成画像

　図１８に示すように、合成処理部３００は、これら２つの動き補償画像と、入力画像１１０を入力して、新たな合成画像の生成、すなわち合成画像更新処理を実行して、更新した合成画像を入力画像に対応する出力画像として出力する。
　図１９は、この合成処理を実行する合成処理部３００の詳細構成を示す図である。
　図１９に示す合成処理部３００の構成と処理について説明する。

　図１９に示すローカル動き補償合成画像４０１は、図１８に示すローカル動き補償画像生成部２４５の生成した動き補償画像である。すなわち、上記の（Ａ）ローカル動き補償画像生成部２４５がローカル動きベクトル２４８に基づいて生成したローカル動き補償合成画像に相当する。

　また、図１９に示すグローバル動き補償合成画像４０２は、図１８に示すグローバル動き補償画像生成部２４３の生成した動き補償画像である。すなわち、上記の（Ｂ）グローバル動き補償画像生成部２４３がグローバル動きベクトル２４９に基づいて生成したグローバル動き補償合成画像に相当する。

　図１９に示す合成処理部３００は、これら２つの動き補償合成画像の他、入力画像１１０を入力する。

　露光比補正部３２１は、ローカル動き補償合成画像４０１の画素値を、入力画像１１０の露光時間に一致する露光時間に設定した場合の画素値に設定する露光比補正を行なう。
　同様に、露光比補正部３２２は、グローバル動き補償合成画像４０２の画素値を、入力画像１１０の露光時間に一致する露光時間に設定した場合の画素値に設定する露光比補正を行なう。

　ブレンド処理部３２３は、以下の３つの画像を入力する。
　（１）入力画像１１０
　（２）露光比補正のなされたローカル動き補償合成画像４０１
　（３）露光比補正のなされたグローバル動き補償合成画像４０２

　ブレンド処理部３２３は、これらの３つの画像の画素値ブレンド処理（合成処理）を実行し、ブレンド画像３２９を生成する。
　ブレンド処理部３２３の実行する画素値ブレンド処理（合成処理）の詳細シーケンスについて図２０に示すフローチャートを参照して後段で説明する。

　ブレンド処理部３２３の生成したブレンド画像３２９は、合成処理実行部３２８と、平滑化処理部３２５に出力される。
　この後の処理は、先に図７を参照して説明した処理と同様の処理となる。

　すなわち、ブレンド処理部３２３の生成したブレンド画像３２９は、平滑化処理部３２５において平滑化処理が実行される。また、入力画像１１０も、平滑化処理部３２６に入力され、平滑化処理が実行される。この平滑化処理は合成係数算出部３２７における合成係数算出処理におけるノイズの影響を抑制するための処理である。

　合成係数算出部３２７では、平滑化された入力画像とブレンド画像を入力し、これらの画像に基づいて各対応画素単位で合成係数αを算出する。なお、合成係数αの算出手順については、先に図８、図９に示す合成係数算出フローを参照して説明した通りである。

　最後に、合成処理実行部３２８が、合成係数算出部３２７から出力される合成係数αを適用して、入力画像１１０と、ブレンド画像３２９との対応画素の合成処理（αブレンド）を実行して出力画像１８０の構成各画素の画素値を決定する。すなわち先に説明したαブレンド処理を実行して、出力画像１８０の構成画素値を算出する。

　次に、ブレンド処理部３２３の実行する画素値ブレンド処理（合成処理）の詳細シーケンスについて図２０に示すフローチャートを参照して説明する。

　まず、ステップＳ５０１において、グローバル動き補償画像を取得する。なお、このグローバル動き補償画像は、画素値を入力画像と同一露光時間の設定とした場合の画素値に補正した露光比補正画像である。
　次に、ステップＳ５０２において入力画像を取得する。なお、入力画像は、動画像を構成する長時間露光画像または短時間露光画像である。

　次に、ステップＳ５０３において、入力画像と、露光比補正後のグローバル動き補償画像の対応位置の画素値の差分絶対値（画素値差分絶対値）を算出する。
　なお、差分絶対値の算出対象とする領域は、例えば画素単位、複数の画素からなるブロック等、様々な設定が可能である。

　ステップＳ５０４において、ステップＳ５０３で算出した画素値差分絶対値と予め規定したしきい値Ａを比較する。
　画素値差分絶対値＞しきい値Ａ
　上記判定式が成立する場合は、ステップＳ５０６に進む。
　上記判定式が成立しない場合は、ステップＳ５０５に進む。

　ステップＳ５０４において、ステップＳ５０３で算出した画素値差分絶対値が、予め規定したしきい値Ａ以下である（ステップＳ５０４の判定＝Ｎｏ）と判定するとステップＳ５０５に進む。
　ステップＳ５０５では、その画素の画素値をグローバル動き補償画像の画素値とする。

　一方、ステップＳ５０４において、ステップＳ５０３で算出した画素値差分絶対値が、予め規定したしきい値Ａより大である（ステップＳ５０４の判定＝Ｙｅｓ）と判定するとステップＳ５０６に進み、ローカル動き補償画像を取得する。なお、このローカル動き補償画像も、画素値を入力画像と同一露光時間の設定とした場合の画素値に補正した露光比補正画像である。

　次に、ステップＳ５０７において、ステップＳ５０３で算出した画素値差分絶対値と予め規定したしきい値Ｂを比較する。

　すなわち、ステップＳ５０３において算出した入力画像と、露光比補正後のグローバル動き補償画像の対応位置の画素値の差分絶対値（画素値差分絶対値）と、予め規定したしきい値Ｂを比較する。
　画素値差分絶対値＞しきい値Ｂ

　上記判定式が成立する場合、すなわち、画素値差分絶対値がしきい値Ｂより大きい場合は、ステップＳ５０９に進み、その画素の画素値をローカル動き補償画像の画素値とする。
　一方、上記判定式が成立しない場合、すなわち、画素値差分絶対値がしきい値Ｂ以下である場合は、、ステップＳ５０８に進み、その画素の画素値をローカル動き補償画像の画素値とグローバル動き補償画像の画素値をブレンドした画素値とする。
　ブレンド率は、画素値差分絶対値としきい値Ｂとの差が大きいほどグローバル動き補償画像の画素値のブレンド率を大きくする設定とする。
　すなわち、画素値差分絶対値が０に近いほど、グローバル動き補償画像の画素値のブレンド率を大きくする設定とする。

　各画素について、ステップＳ５０５、またはステップＳ５０８、またはステップＳ５０９の処理によって画素値が決定され、最終的に全画素の画素値が設定されると、ステップＳ５１０においてブレンド画像を出力する。
　ブレンド画像は、図１９に示すように合成処理実行部３２８と、平滑化処理部３２５に出力される。

　図２０に示すフローを参照して説明したブレンド処理によって生成されるブレンド画像は、以下の各画素値によって構成される画像となる。
　（１）グローバル動き補償合成画像と入力画像との画素値差分絶対値がしきい値Ａ以下の画素は、グローバル動き補償合成画像の画素値、
　（２）グローバル動き補償合成画像と入力画像との画素値差分絶対値がしきい値Ａより大であり、かつ、しきい値Ｂより大である画素は、ローカル動き補償合成画像の画素値、
　（３）グローバル動き補償合成画像と入力画像との画素値差分絶対値がしきい値Ａより大であり、かつ、しきい値Ｂ以下である画素は、ローカル動き補償合成画像とグローバル動き補償合成画像の画素値をブレンドした画素値、
　ブレンド処理部３２３の生成するブレンド画像の構成画素値は、上記（１）～（３）のいずれかの画素値の設定された画像となる。

　これらの処理により、例えば、グローバル動きベクトルによる動き補償が妥当でない画素領域、具体的には例えば動被写体領域などの画素領域では、ローカル動き補償画像から優先的に画素値が選択される。従って、グローバル動きベクトルによる処理が有効となるカメラ動きに対応した処理と、ローカル動きベクトルによる処理が有効となる動被写体に対応した処理を、各画素の状況に応じて選択的用することが可能となり、精度の高い１枚の動き補償画像をブレンド画像として生成することが可能となる。

　　［６．その他の位置合わせ処理部の実施例について］
　図１５～図１８を参照して以下の３種類の位置合わせ処理について説明した。
　（１）図１５＝たローカル動きベクトルを適用したローカル位置合わせ
　（２）図１７＝グローバル動きベクトルを適用したグローバル位置合わせ
　（３）図１８＝ローカル動きベクトルを適用したローカル位置合わせと、グローバル動きベクトルを適用したグローバル位置合わせの双方を利用するハイブリッド位置合わせ
　次に、これらの基本的な各実施例に対して、変更を加えた実施例について説明する。

　　［６－１．グローバル動きベクトル算出を先行して実行する実施例について］
　上述した実施例において、グローバル動きベクトルに基づくグローバル動き補償画像を生成する場合、１画面分のローカル動きベクトルを算出し、その後、そのローカル動きベクトルからグローバル動きベクトルを算出し、その後、グローバル動きベクトルを適用してグローバル動き補償画像を生成することが必要となる。これらの一連の処理が完了するまでは、合成処理部３００における合成処理を開始することができない。

　例えば、入力画像が動画である場合、リアルタイムで処理を行うためには、現フレームの入力画像が入力されてから、次フレームの入力画像が入力されるまでに、ローカル動き推定、ローカル動き補償、グローバル動き推定、グローバル動き補償、合成処理を行わなければならない。このためには各処理の並列化、処理の高速化が必要となる。しかし、これでは回路規模、消費電力が大きくなってしまうという問題がある。

　このような問題を解決するためには、グローバル動きベクトルの算出処理を１つ前の入力画像とその時点で生成済みの最新の合成画像との間で実行するという手法が有効である。
　このような処理によって、グローバル動きベクトルの算出を先行して実行することが可能となり、回路規模、消費電力の増加を抑えてリアルタイム処理を行なうことが可能となる。

　　［６－２．１フレーム前の入力画像を利用して動き推定を行う実施例について］
　次に、図２１を参照して１フレーム前の入力画像を利用して動き推定を行う実施例について説明する。
　図２１に示す画像処理装置１００の位置合わせ処理部２００は、先に図１８を参照して説明した位置合わせ処理部と同様のハイブリッド型の位置合わせ処理を行なう。すなわち、
　（ａ）ローカル動きベクトルに基づくローカル動き補償画像、
　（ｂ）グローバル動きベクトルに基づくグローバル動き補償画像、
　これらの２つの動き補償画像を生成して合成処理部３００に提供する構成である。

　図２１に示す位置合わせ処理部２００は、先行する入力画像１１０をフレームメモリ２５１に格納し、後続する入力画像１１０との間で入力画像間の動き推定を実行する。

　露光比補正部２５２は、フレームメモリ２５１から取得した先行入力画像と、後続の入力画像１１０を入力して、これらの画像を同じ露光時間に設定した場合の画素値に設定するための露光比補正を行なう。

　露光比補正部２５２の実行する露光比補正処理のシーケンスについて、図２２に示すフローチャートを参照して説明する。

　まず、ステップＳ７０１で最新の入力画像を入力する。なお、画像は露光比補正された画像である。例えば長時間露光画像と短時間露光画像の露光時間比が２：１である場合、露光比補正により、短時間露光画像の画素値は２倍に設定する露光比補正（ゲインアップ）を行なう。

　次に、ステップＳ７０２において、先行入力画像であり、フレームメモリ２５１に格納されていた前フレーム画像を取得する。この画像も露光比補正された画像である。
　次に、ステップＳ７０３において、最新の入力画像、すなわち後続入力画像の露光時間情報を取得する。例えば長時間露光画像であるか短時間露光画像であるかの情報である。

　次に、ステップＳ７０４において、後続入力画像の露光情報から後続入力画像が短時間露光画像か長時間露光画像か判定する。
　入力画像が長時間露光画像であると判定した場合、ステップＳ７０５に進む。
　ステップＳ７０５では、ステップＳ７０２で取得した前フレーム入力画像のゲインアップ、すなわち露光比補正を実行する。これは、前フレーム入力画像の画素値を、後続入力画像である長時間露光画像と同様の露光時間に設定したと仮定した場合の画素値に変更する処理である。
　すなわち、先行入力画像も後続入力画像も長時間露光した場合の画素値に揃える処理を行なう。

　ステップＳ７０４において、入力画像が短時間露光画像であると判定した場合、ステップＳ７０６に進む。
　ステップＳ７０６では、ステップＳ７０１で取得した後続入力画像のゲインアップ、すなわち露光比補正を実行する。これは、後続入力画像の画素値を、先行入力画像である前フレームの長時間露光画像と同様の露光時間に設定したと仮定した場合の画素値に変更する処理である。
　すなわち、先行入力画像も後続入力画像も長時間露光した場合の画素値に揃える処理を行なう。

　ステップＳ７０５、またはステップＳ７０６の処理が終了するとステップＳ７０７に進む。ステップＳ７０７では、露光比補正画像を飽和レベルでクリップする。すなわち、飽和レベルを示す画素値、例えば画素値設定が０～２５５であるとすると２５５以上の画素の画素値を全て２５５に設定する処理を行なう。

　最後に、ステップＳ７０８において、生成した画像を露光比補正画像として出力する。
　図２１の構成では、先行入力画像、後続入力画像ともローカル動き推定部２５３に出力される。
　ローカル動き推定部２５３では、これらの２つの連続入力画像間の局所領域単位の動きを示すローカル動きベクトル２５８を算出する。その後の処理は、先に図１８を参照して説明した処理と同様の処理となる。

　ただし、図２１に示す構成では、ローカル動き推定部２５３は、連続する２つの入力画像に基づいて、順次、ローカル動きベクトル２５８を出力することが可能である。グローバル動き推定部２５５は、ローカル動き推定部２５３の出力するローカル動きベクトル２５８を利用して、順次、グローバル動きを算出することが可能となる。

　すなわち、例えば、以下のような処理が可能となる。
　入力画像をフレームｔ、フレームｔ＋１、フレームｔ＋２・・・とする。
　ローカル動き推定部２５３が、
　フレームｔ、フレームｔ＋１に基づいて生成するローカル動きベクトルをＬＶ（ｔ，ｔ＋１）
　フレームｔ＋１、フレームｔ＋２に基づいて生成するローカル動きベクトルをＬＶ（ｔ＋１，ｔ＋２）、
　フレームｔ、フレームｔ＋１に基づいて生成するグローバル動きベクトルをＧＶ（ｔ，ｔ＋１）
　フレームｔ＋１、フレームｔ＋２に基づいて生成するグローバル動きベクトルをＧＶ（ｔ＋１，ｔ＋２）、
　とする。

　このような設定において、
　（１）ローカル動き推定部２５３における、フレームｔ＋１、フレームｔ＋２に基づくローカル動きベクトルＬＶ（ｔ＋１，ｔ＋２）の生成処理、
　（２）グローバル動き推定部２５５における、先行入力画像であるフレームｔ、フレームｔ＋１に基づいて生成済みのローカル動きベクトルＬＶ（ｔ，ｔ＋１）を適用したグローバル動きベクトルＧＶ（ｔ，ｔ＋１）の生成処理、
　これらの処理を並列に実行することが可能となる。

　この並列実行処理によってローカル動き補償画像と、グローバル動き補償画像を、順次、生成して合成処理部３００に出力することで、処理遅れなく出力画像１８０を生成して出力することが可能となり、回路規模、消費電力の増加を抑えたリアルタイム処理が実現される。

　　［６－３．対応画素位置の再探索を行なう実施例について］
　上述した図２１に示す位置合わせ処理部２００の構成では、ローカル動き推定部２５３は、２つの入力画像の局所領域単位で、対応画素領域を探索して局所領域単位の動きベクトルであるローカル動きベクトルを算出する処理を実行している。
　この対応画素領域の探索処理には、例えば、ブロックマッチング法、勾配法、位相相関法などが使用可能である。

　しかし、処理対象とする入力画像は、複数枚の異なる露光時間で撮像された画像である。これらの画像は、画面内の一部分が飽和していたり、黒潰れしていたりする可能性もある。
　グローバル動き推定に関しては、１画面分の動きベクトルを使って動き推定を行うので、一部の飽和または黒潰れ領域でローカル動きベクトルが正しく推定できなかったとしても、グローバル動きベクトルの精度が大きく低下する可能性は低い。しかし、ローカル動きベクトルの算出においては、その局所領域が飽和または黒潰れしていると、ローカル動きベクトルの精度が著しく低下するおそれがある。

　このような問題を解消する実施例について図２３を参照して説明する。
　図２３に示す位置合わせ処理部２００は、図２１を参照して説明した位置合わせ処理部の構成に、再探索処理部２６４と、露光比補正部２６５を追加した構成である。

　図２３に示す構成において、ローカル動き推定部２６３におけるローカル動きベクトル２６９の算出処理は、先に図２１を参照して説明したと同様、２つの連続入力画像を適用して実行する。
　しかし、ローカル動き補償画像生成部２６６におけるローカル動き補償画像の生成処理を行なう前に、再探索処理部２６４において、前フレームまでの合成画像を適用して、ローカル動きベクトルの再探索を行い、その結果をローカル動き補償画像生成部２６６に提供する。

　この図２３に示す構成においても、先に図２１を参照して説明した構成と同様、ローカル動き推定部２６３に入力する２枚の画像は、入力画像１１０とフレームメモリ２６１に保持された前フレームの入力画像である。この２枚は露光比補正部２６２において同じ露出に補正される。

　露光の揃った入力画像と前フレームの入力画像を使って、ローカル動き推定部２６３で局所領域ごとに動き推定を行い、ローカル動きベクトル２６９を出力する。
　グローバル動き推定部２６７は、ローカル動きベクトル２６９を適用してグローバル動き推定を行いグローバル動きベクトル２７０を生成する。

　また、ローカル動き推定部２６３の生成したローカル動きベクトル２６９は、再探索処理部２６４にも入力される。
　再探索処理部２６４は、フレームメモリ４００に格納された合成画像１２０と、フレームメモリ２６１に格納された入力画像を利用して、ローカル動き推定部２６３の生成したローカル動きベクトル２６９の検証処理を行なう。
　なお、合成画像１２０は、露光比補正部２６５において、フレームメモリ２６１に格納された画像と同一の露光設定とした露光補正画像を利用する。

　再探索処理部２６４は、露光補正された合成画像１２０と、フレームメモリ２６１に格納された入力画像を用いてローカル動きベクトルを算出する。さらに、算出したベクトルと、ローカル動き推定部２６３から入力したローカル動きベクトル２６９との差分を判定し、差分が大きく、入力したローカル動きベクトル２６９が誤りであると判定される場合は、合成画像１２０と、フレームメモリ２６１に格納された入力画像を用いて算出されたローカル動きベクトルに置き換える処理を行なう。この置き換えたローカル動きベクトルをローカル動き補償画像生成部２６６に出力する。

　ローカル動き補償画像生成部２６６は、再探索処理部２６４の生成したローカル動きベクトルを適用して動き補償画像を生成する。
　これにより、入力画像の一部が飽和または黒潰れしており、入力画像間では正しくローカル動き推定ができないような場合でも、精度良く位置合わせを行うことができる。

　　［６－４．再探索範囲を指定可能とした実施例について］
　次に、図２３を参照して説明した再探索処理部２６４を持つ構成において、再探索範囲を指定可能とした実施例について説明する。
　この実施例の位置合わせ処理部２０００の詳細構成を図２４に示す。

　図２４に示す位置合わせ処理部２００は、図２３を参照して説明した構成とほぼ同様の構成である。
　ただし、グローバル動き推定部２６７から、再探索処理部２６４に対してグローバル動き推定結果としてのグローバル動きベクトル２７０を入力している点が異なる。

　再探索処理部２６４は、グローバル動き推定部２６７からグローバル動きベクトル２７０を入力し、入力したグローバル動きベクトル２７０を用いて、フレームメモリ２６１から取得した入力画像と、合成画像１２０との対応画素領域の探索範囲を限定する処理を行なう。

　具体的には、例えば図２５に示すように、
　（１）ローカル動きベクトルの指定先を中心にある範囲を再探索する方法、
　（２）０ベクトル、すなわち、注目領域と同じ位置を中心にある範囲を再探索する方法、
　（３）グローバル動きベクトル先を中心にある範囲を再探索する方法、
　これらの方法を利用可能である。
　例えば、入力画像が飽和または黒潰れしている領域は、上記の（２）０ベクトルや、（３）グローバル動きベクトルを適用した処理を実行する。また、ローカル動きベクトルが正しく算出できる可能性の高い領域は、上記の（１）ローカル動きベクトルを適用した処理を行なう。

　このように、画像の状態に応じて、探索範囲を決定することで、高精度に、かつ効率的に２つの画像間の対応画素領域を検出することが可能となり、ローカル動きベクトルをより正確にかつ効率的に算出することが可能となる。

　　［７．画像処理装置の全体構成例について］
　最後に、上述した各実施例に従った処理を実行する画像処理装置の全体構成例について説明する。
　図２６は、本開示の画像処理装置の一実施例としての撮像装置６００の構成例を示す図である。光学レンズ６０１を介して入射される光は撮像部、例えばＣＭＯＳイメージセンサなどによって構成される撮像デバイス６０２に入射し、光電変換による画像データを出力する。出力画像データは画像処理部６０３に入力される。

　画像処理部６０３は、上述した各実施例に従った処理、すなわち複数画像の合成処理を伴う出力画像の生成処理を実行する。さらに、画像処理部６０３は、撮像データに対する一般的なカメラ信号処理、例えば、ホワイトバランス（ＷＢ）調整、ガンマ補正等の信号処理も実行して、出力画像６２０を生成する。出力画像６２０は図示しない記憶部に格納される。あるいは表示部に出力される。

　制御部６０５は、例えばメモリ６０６に格納されたプログラムに従って各部に制御信号を出力し、各種の処理の制御を行う。

　本開示の画像処理を用いることで、ある露光時間で撮像された画像と前フレームまでの合成画像を位置合わせしながら逐次合成することが可能となる。
　また、ダイナミックレンジ拡張処理とノイズ除去処理を同時に行うことができるため、両処理に共通の位置合わせブロックとすることができる。
　これにより、ダイナミックレンジ拡張処理とノイズ除去処理を単純に繋ぎ合わせた場合よりも少ない回路規模、消費電力で実現可能となる。
　また、位置合わせを行うことで、画面内に動被写体がある場合やカメラ動きがある場合にも、位置ずれによる影響を抑えることができ、画像のダイナミックレンジを拡張しつつ、画像全体のＳ／Ｎを改善することが可能となる。

　　［８．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　異なる露光時間に設定された連続撮影画像を入力画像として、順次入力し、該入力画像と先行処理画像との位置合わせを実行する位置合わせ処理部と、
　位置合わせ処理後の入力画像と先行処理画像との合成処理を実行して出力画像を生成する合成処理部を有し、
　前記位置合わせ処理部は、
　前記入力画像と先行処理画像を、共通の露光時間に設定した場合の画素値に補正する露光比補正処理を実行し、露光比補正画像を適用して対応画素領域を検出して画像間の動きを検出し、検出動き情報に基づいて、前記入力画像、または前記先行処理画像のいずれか一方の画像を他方の画像位置に合わせた動き補償画像を生成して、前記合成処理部に出力し、
　前記合成処理部は、
　前記動き補償画像を適用した合成処理により、ダイナミックレンジ拡張処理とノイズ低減処理を施した出力画像を生成する画像処理装置。

　（２）前記先行処理画像は、前記合成処理部が先行入力画像に基づいて生成した先行合成画像であり、前記位置合わせ処理部は、前記先行合成画像と前記入力画像との位置合わせ処理を実行する前記（１）に記載の画像処理装置。

　（３）前記位置合わせ処理部は、位置合わせ処理対象となる各画像のローカル領域単位のローカル動きベクトルを算出し、算出したローカル動きベクトルに基づいて画像位置を変更したローカル動き補償画像を生成する前記（１）または（２）に記載の画像処理装置。

　（４）前記位置合わせ処理部は、位置合わせ処理対象となる各画像のローカル領域単位のローカル動きベクトルを算出し、算出したローカル動きベクトルに基づいて、さらに画像全体の動きを示すグローバル動きベクトルを算出し、算出したグローバル動きベクトルに基づいて画像位置を変更したグローバル動き補償画像を生成する前記（１）～（３）いずれかに記載の画像処理装置。

　（５）前記位置合わせ処理部は、位置合わせ処理対象となる各画像のローカル領域単位のローカル動きベクトルを算出し、算出したローカル動きベクトルに基づいて画像位置を変更したローカル動き補償画像を生成し、さらに、前記ローカル動きベクトルに基づいて、さらに画像全体の動きを示すグローバル動きベクトルを算出し、算出したグローバル動きベクトルに基づいて画像位置を変更したグローバル動き補償画像を生成する前記（１）～（４）いずれかに記載の画像処理装置。

　（６）前記合成処理部は、前記ローカル動き補償画像と、前記グローバル動き補償画像と、前記入力画像を適用した画素値ブレンド処理によりブレンド画像を生成し、
　前記ブレンド画像と前記入力画像との合成処理により出力画像を生成する前記（５）に記載の画像処理装置。

　（７）前記合成処理部は、前記ローカル動き補償画像と、前記グローバル動き補償画像と、前記入力画像を共通の露光時間に設定したと仮定した場合の画素値に設定する露光比補正を実行し、露光比補正後の入力画像とグローバル動き補償画像との対応画素の画素値差分絶対値を算出し、算出した画素値差分絶対値と予め規定したしきい値との比較結果に応じて、出力画素値の選択または算出処理を実行する前記（６）に記載の画像処理装置。

　（８）前記位置合わせ処理部は、連続する２つの入力画像間の動きに基づいて、ローカル動きベクトルを算出し、算出したローカル動きベクトルを、前記合成処理部の生成した先行合成画像に適用してローカル動き補償画像を生成し、前記連続する２つの入力画像間の動きに基づいて生成したローカル動きベクトルに基づいてグローバル動きベクトルを算出し、算出したグローバル動きベクトルを、前記合成処理部の生成した先行合成画像に適用してグローバル動き補償画像を生成する前記（５）に記載の画像処理装置。

　（９）前記位置合わせ処理部は、前記先行合成画像と入力画像を適用して、前記連続する２つの入力画像間の動きに基づいて算出したローカル動きベクトルの検証処理としての対応画素位置再探索処理を実行する再探索処理部を有し、前記再探索処理部における再探索処理によって修正されたローカル動きベクトルを前記先行合成画像に適用してローカル動き補償画像を生成する前記（８）に記載の画像処理装置。

　（１０）前記再探索処理部は、前記連続する２つの入力画像を適用して生成したグローバル動きベクトルを入力して、前記先行合成画像と入力画像間の対応画像領域の探索範囲を決定する前記（９）に記載の画像処理装置。

　（１１）前記入力画像は、静止画像出力のために連続撮影された異なる露光時間の撮影画像であり、前記位置合わせ処理部は、連続撮影された異なる露光時間の撮影画像に含まれる１つの画像の画像位置に他の画像の画像位置を合わせる位置合わせ処理を実行して動き補償画像生成処理を実行し、前記合成処理部は、前記動き補償画像を適用した合成画像の更新を実行して、ダイナミックレンジ拡張処理とノイズ低減処理を施した出力画像を生成する前記（１）～（１０）いずれかに記載の画像処理装置。

　（１２）前記入力画像は、動画像出力のために連続撮影された異なる露光時間の撮影画像であり、前記位置合わせ処理部は、連続撮影された異なる露光時間の撮影画像中の最新の入力画像の画像位置に先行画像の画像位置を合わせる位置合わせ処理を実行して動き補償画像生成処理を実行し、前記合成処理部は、前記動き補償画像を適用した合成画像の更新を実行して、ダイナミックレンジ拡張処理とノイズ低減処理を施した出力画像を生成する前記（１）～（１０）いずれかに記載の画像処理装置。

　（１３）画像処理装置において実行する画像処理方法であり、
　位置合わせ処理部が、異なる露光時間に設定された連続撮影画像を入力画像として、順次入力し、該入力画像と先行処理画像との位置合わせを実行する位置合わせ処理ステップと、
　合成処理部が、位置合わせ処理後の入力画像と先行処理画像との合成処理を実行して出力画像を生成する合成処理ステップを実行し、
　前記位置合わせ処理ステップは、
　前記入力画像と先行処理画像を、共通の露光時間に設定した場合の画素値に補正する露光比補正処理を実行し、露光比補正画像を適用して対応画素領域を検出して画像間の動きを検出し、検出動き情報に基づいて、前記入力画像、または前記先行処理画像のいずれか一方の画像を他方の画像位置に合わせた動き補償画像を生成して、前記合成処理部に出力するステップであり、
　前記合成処理ステップは、
　前記動き補償画像を適用した合成処理により、ダイナミックレンジ拡張処理とノイズ低減処理を施した出力画像を生成するステップである画像処理方法。

　（１４）画像処理装置において画像処理を実行させるプログラムであり、
　位置合わせ処理部に、異なる露光時間に設定された連続撮影画像を入力画像として、順次入力し、該入力画像と先行処理画像との位置合わせを実行させる位置合わせ処理ステップと、
　合成処理部に、位置合わせ処理後の入力画像と先行処理画像との合成処理を実行して出力画像を生成させる合成処理ステップを実行させ、
　前記位置合わせ処理ステップにおいては、
　前記入力画像と先行処理画像を、共通の露光時間に設定した場合の画素値に補正する露光比補正処理を実行し、露光比補正画像を適用して対応画素領域を検出して画像間の動きを検出し、検出動き情報に基づいて、前記入力画像、または前記先行処理画像のいずれか一方の画像を他方の画像位置に合わせた動き補償画像を生成して、前記合成処理部に出力させ、
　前記合成処理ステップにおいては、
　前記動き補償画像を適用した合成処理により、ダイナミックレンジ拡張処理とノイズ低減処理を施した出力画像を生成させるプログラム。

　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　以上、説明したように、本開示の一実施例の構成によれば、異なる露光時間の連続撮影画像を適用して動き補償画像を生成し、生成した動き補償画像を適用した画像の合成処理により、ノイズ低減および高ダイナミックレンジ拡張処理を施した画像を生成可能とした画像処理装置が実現される。
　具体的には、異なる露光時間の連続撮影画像を入力し、入力画像と先行処理画像との位置合わせを実行する位置合わせ処理部と、位置合わせ処理後の入力画像と先行処理画像との合成処理を実行する合成処理部を有する。位置合わせ処理部は、入力画像と先行処理画像を、共通露光時間の画素値に補正する露光比補正を実行し、露光比補正画像を適用して画像間の動きを検出し、入力画像または先行処理画像のいずれかの画像を他方の画像位置に合わせた動き補償画像を生成する。合成処理部は、動き補償画像を適用した合成処理により、ダイナミックレンジ拡張処理とノイズ低減処理を施した出力画像を生成する。
　これらの処理により、異なる露光時間の連続撮影画像を適用して動き補償画像を生成し、生成した動き補償画像を適用した画像の合成処理により、ノイズ低減および高ダイナミックレンジ拡張処理を施した画像を生成可能とした画像処理装置が実現される。

　　１０　入力画像
　　１１　フレームメモリ
　　１２　ダイナミックレンジ拡張処理実行部
　　１３　ノイズ除去処理実行部
　　１４　フレームメモリ
　　１５　出力画像
　　２０　入力画像
　　２１　ノイズ除去処理実行部
　　２２　フレームメモリ
　　２３　ダイナミックレンジ拡張処理実行部
　　２５　出力画像
　１１０　入力画像
　１２０　合成画像
　１８０　出力画像
　２００　位置合わせ処理部
　２０１　動き推定部
　２０２　動き補償画像生成部
　２１１　動き推定部
　２１２　動き補償画像生成部
　２２１　ローカル動き推定部
　２２２　ローカル動き補償画像生成部
　２２３　露光比補正部
　２３１　ローカル動き推定部
　２３２　グローバル動き推定部
　２３３　グローバル動き補償画像生成部
　２３４　露光比補正部
　２４１　ローカル動き推定部
　２４２　グローバル動き推定部
　２４３　グローバル動き補償画像生成部
　２４４　露光比補正部
　２４５　ローカル動き補償画像生成部
　２５１　フレームメモリ
　２５２　露光比補正部
　２５３　ローカル動き推定部
　２５４　ローカル動き補償画像生成部
　２５５　グローバル動き推定部
　２５６　グローバル動き補償画像生成部
　２６１　フレームメモリ
　２６２　露光比補正部
　２６３　ローカル動き推定部
　２６４　再探索処理部
　２６５　露光比補正部
　２６６　ローカル動き補償画像生成部
　２６７　グローバル動き推定部
　２６８　グローバル動き補償画像生成部
　３００　合成処理部
　３１１　露光比補正部
　３１２　，３１３，　平滑化処理部
　３１４　合成係数算出部
　３１５　合成処理実行部
　３２１，３２２　露光比補正部
　３２３　ブレンド処理部
　３２４　露光比補正部
　３２５，３２６　平滑化処理部
　３２７　合成係数算出部
　３２８　合成処理実行部
　４００　フレームメモリ
　６００　撮像装置
　６０１　光学レンズ
　６０２　撮像デバイス
　６０３　画像処理部
　６０５　制御部
　６０６　メモリ

Claims

　異なる露光時間に設定された連続撮影画像を入力画像として、順次入力し、該入力画像と先行処理画像との位置合わせを実行する位置合わせ処理部と、
　位置合わせ処理後の入力画像と先行処理画像との合成処理を実行して出力画像を生成する合成処理部を有し、
　前記位置合わせ処理部は、
　前記入力画像と先行処理画像を、共通の露光時間に設定した場合の画素値に補正する露光比補正処理を実行し、露光比補正画像を適用して対応画素領域を検出して画像間の動きを検出し、検出動き情報に基づいて、前記入力画像、または前記先行処理画像のいずれか一方の画像を他方の画像位置に合わせた動き補償画像を生成して、前記合成処理部に出力し、
　前記合成処理部は、
　前記動き補償画像を適用した合成処理により、ダイナミックレンジ拡張処理とノイズ低減処理を施した出力画像を生成する画像処理装置。
　前記先行処理画像は、前記合成処理部が先行入力画像に基づいて生成した先行合成画像であり、
　前記位置合わせ処理部は、前記先行合成画像と前記入力画像との位置合わせ処理を実行する請求項１に記載の画像処理装置。
　前記位置合わせ処理部は、
　位置合わせ処理対象となる各画像のローカル領域単位のローカル動きベクトルを算出し、算出したローカル動きベクトルに基づいて画像位置を変更したローカル動き補償画像を生成する請求項１に記載の画像処理装置。
　前記位置合わせ処理部は、
　位置合わせ処理対象となる各画像のローカル領域単位のローカル動きベクトルを算出し、算出したローカル動きベクトルに基づいて、さらに画像全体の動きを示すグローバル動きベクトルを算出し、算出したグローバル動きベクトルに基づいて画像位置を変更したグローバル動き補償画像を生成する請求項１に記載の画像処理装置。
　前記位置合わせ処理部は、
　位置合わせ処理対象となる各画像のローカル領域単位のローカル動きベクトルを算出し、算出したローカル動きベクトルに基づいて画像位置を変更したローカル動き補償画像を生成し、さらに、
　前記ローカル動きベクトルに基づいて、さらに画像全体の動きを示すグローバル動きベクトルを算出し、算出したグローバル動きベクトルに基づいて画像位置を変更したグローバル動き補償画像を生成する請求項１に記載の画像処理装置。
　前記合成処理部は、
　前記ローカル動き補償画像と、前記グローバル動き補償画像と、前記入力画像を適用した画素値ブレンド処理によりブレンド画像を生成し、
　前記ブレンド画像と前記入力画像との合成処理により出力画像を生成する請求項５に記載の画像処理装置。
　前記合成処理部は、
　前記ローカル動き補償画像と、前記グローバル動き補償画像と、前記入力画像を共通の露光時間に設定したと仮定した場合の画素値に設定する露光比補正を実行し、
　露光比補正後の入力画像とグローバル動き補償画像との対応画素の画素値差分絶対値を算出し、
　算出した画素値差分絶対値と予め規定したしきい値との比較結果に応じて、出力画素値の選択または算出処理を実行する請求項６に記載の画像処理装置。
　前記位置合わせ処理部は、
　連続する２つの入力画像間の動きに基づいて、ローカル動きベクトルを算出し、算出したローカル動きベクトルを、前記合成処理部の生成した先行合成画像に適用してローカル動き補償画像を生成し、
　前記連続する２つの入力画像間の動きに基づいて生成したローカル動きベクトルに基づいてグローバル動きベクトルを算出し、算出したグローバル動きベクトルを、前記合成処理部の生成した先行合成画像に適用してグローバル動き補償画像を生成する請求項５に記載の画像処理装置。
　前記位置合わせ処理部は、
　前記先行合成画像と入力画像を適用して、前記連続する２つの入力画像間の動きに基づいて算出したローカル動きベクトルの検証処理としての対応画素位置再探索処理を実行する再探索処理部を有し、
　前記再探索処理部における再探索処理によって修正されたローカル動きベクトルを前記先行合成画像に適用してローカル動き補償画像を生成する請求項８に記載の画像処理装置。
　前記再探索処理部は、
　前記連続する２つの入力画像を適用して生成したグローバル動きベクトルを入力して、前記先行合成画像と入力画像間の対応画像領域の探索範囲を決定する請求項９に記載の画像処理装置。
　前記入力画像は、静止画像出力のために連続撮影された異なる露光時間の撮影画像であり、
　前記位置合わせ処理部は、
　連続撮影された異なる露光時間の撮影画像に含まれる１つの画像の画像位置に他の画像の画像位置を合わせる位置合わせ処理を実行して動き補償画像生成処理を実行し、
　前記合成処理部は、
　前記動き補償画像を適用した合成画像の更新を実行して、ダイナミックレンジ拡張処理とノイズ低減処理を施した出力画像を生成する請求項１に記載の画像処理装置。
　前記入力画像は、動画像出力のために連続撮影された異なる露光時間の撮影画像であり、
　前記位置合わせ処理部は、
　連続撮影された異なる露光時間の撮影画像中の最新の入力画像の画像位置に先行画像の画像位置を合わせる位置合わせ処理を実行して動き補償画像生成処理を実行し、
　前記合成処理部は、
　前記動き補償画像を適用した合成画像の更新を実行して、ダイナミックレンジ拡張処理とノイズ低減処理を施した出力画像を生成する請求項１に記載の画像処理装置。
　画像処理装置において実行する画像処理方法であり、
　位置合わせ処理部が、異なる露光時間に設定された連続撮影画像を入力画像として、順次入力し、該入力画像と先行処理画像との位置合わせを実行する位置合わせ処理ステップと、
　合成処理部が、位置合わせ処理後の入力画像と先行処理画像との合成処理を実行して出力画像を生成する合成処理ステップを実行し、
　前記位置合わせ処理ステップは、
　前記入力画像と先行処理画像を、共通の露光時間に設定した場合の画素値に補正する露光比補正処理を実行し、露光比補正画像を適用して対応画素領域を検出して画像間の動きを検出し、検出動き情報に基づいて、前記入力画像、または前記先行処理画像のいずれか一方の画像を他方の画像位置に合わせた動き補償画像を生成して、前記合成処理部に出力するステップであり、
　前記合成処理ステップは、
　前記動き補償画像を適用した合成処理により、ダイナミックレンジ拡張処理とノイズ低減処理を施した出力画像を生成するステップである画像処理方法。
　画像処理装置において画像処理を実行させるプログラムであり、
　位置合わせ処理部に、異なる露光時間に設定された連続撮影画像を入力画像として、順次入力し、該入力画像と先行処理画像との位置合わせを実行させる位置合わせ処理ステップと、
　合成処理部に、位置合わせ処理後の入力画像と先行処理画像との合成処理を実行して出力画像を生成させる合成処理ステップを実行させ、
　前記位置合わせ処理ステップにおいては、
　前記入力画像と先行処理画像を、共通の露光時間に設定した場合の画素値に補正する露光比補正処理を実行し、露光比補正画像を適用して対応画素領域を検出して画像間の動きを検出し、検出動き情報に基づいて、前記入力画像、または前記先行処理画像のいずれか一方の画像を他方の画像位置に合わせた動き補償画像を生成して、前記合成処理部に出力させ、
　前記合成処理ステップにおいては、
　前記動き補償画像を適用した合成処理により、ダイナミックレンジ拡張処理とノイズ低減処理を施した出力画像を生成させるプログラム。