JP6603557B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像処理装置および画像処理方法に関する。

近年、短時間露光の画像（以下、単に「短露光画像」とも言う。）と長時間露光の画像（以下、単に「長露光画像」とも言う。）を連続して撮影して合成することで、センサが撮影可能なダイナミックレンジを超えたダイナミックレンジを捉えた画像を得るＷＤＲ（ワイドダイナミックレンジ）もしくはＨＤＲ（ハイダイナミックレンジ）という撮影機能が増えてきている。かかる撮影機能は、逆光の構図など明暗比が非常に大きいシーンでは特に大きな効果がある。

ＷＤＲ合成を行うためには、長時間露光設定（以下、「長露光設定」とも言う。）と短時間露光設定（以下、「短露光設定」とも言う。）とで撮影した画像が必要となるが、このような画像を撮影する方法には、空間分割型センサを用いる方法と時分割撮影による方法とがある。

空間分割型センサとは、例えば偶数ラインと奇数ラインとで異なる露光設定を適用することが可能なセンサであり、空間分割型センサを用いる方法では、上から順次撮影していけば、長露光と短露光との間の時間差が非常に小さくなるため、動きを含むシーンに対しても二重像アーティファクトの発生を抑えることができるメリットがある。しかし、垂直方向の解像度は半分になってしまうことに加えて、センサ自体の構成が複雑になりセンサ自体の解像度を高くすることが難しい。結果として、ＷＤＲ合成出力において高い解像度を確保することが難しいというデメリットがある。

時分割撮影による方法は、短露光設定で１画面を撮影してから、長露光設定に設定を変更して１画面を撮影し、これを繰り返すものである。時分割撮影による方法は、動きを含むシーンでは二重像アーティファクトが発生するものの、合成によって解像度が低下することはなく、一般的なセンサを使用できるために高解像度のＷＤＲ出力を得ることができるメリットがある。本発明は、時分割撮影によるＷＤＲ合成に向けた技術である。

時分割撮影した画像からＷＤＲ合成を行う場合には、画面全体が動くシーンにおいては二重像アーティファクトが顕著になる問題があり、これを解決するためにはグローバル動きベクトルを検出してグローバル動き補償を行うことによって短露光画像と長露光画像の位置ずれをなくしてからＷＤＲ合成することが必要である。グローバル動き補償の手法として、次のような技術が公開されている。

一つ目として、グローバル動き検出および動き補償を動画像符号化の際の予測画像生成に適用する内容が公開されている（特許文献１参照）。この文献には、グローバル動き補償によって画像情報が存在しなくなる画面端の領域に対して、画面の最外周画素を水平・垂直方向にコピーする方法が紹介されている。また、二つ目として、グローバル動き検出および動き補償を時間軸のノイズリダクションに適用する内容が公開されている（特許文献２参照）。

特開２００３−１２５４１１号公報 特開２０１３−０７４５７１号公報

特許文献１に記載された技術においては、予測画像を見れば、最外周画素をコピーした領域はテクスチャが引き延ばされた不自然な画像であるが、動画像符号化では予測誤差を別途符号化するので、復号画像では不自然な画像をそのまま見ることはない。該技術は符号化効率を高めることが目的であるから、その目的が達成されればよい。しかし、ＷＤＲ合成に該技術を適用すれば、短露光画像を選択する領域ではテクスチャが引き延ばされた不自然な画像がＷＤＲ合成画像にそのまま現れてしまうという問題が生じる。

また、特許文献２に記載された技術は、グローバル動き補償によって画像情報が存在しなくなる画面端の領域に対して何らかの処理を行うものではない。

そこで、本発明は、通常の動画像ではなく、輝度が大きく異なるＷＤＲ合成用の画像をより自然に合成することが可能な技術を提供する。

本発明のある実施形態によれば、グローバル動きベクトル検出部と、グローバル動き補償部と、合成部とを備える、画像処理装置が提供される。
グローバル動きベクトル検出部は、短露光画像と長露光画像とに基づいてグローバル動きベクトルを検出する。
グローバル動き補償部は、前記グローバル動きベクトルを用いて短露光画像に対して動き補償を行って動き補償後の短露光画像を得る。
合成部は、前記動き補償後の短露光画像と長露光画像とのいずれを合成に使用するかを画素ごとに示す使用画像選択情報のうち、
前記グローバル動きベクトルに応じた画面端の情報を長露光画像使用領域に変更し、
変更後の使用画像選択情報に基づいて、前記動き補償後の短露光画像と長露光画像とを合成する。

かかる構成によれば、使用画像選択情報のうちグローバル動きベクトルに応じた画面端の情報が長露光画像使用領域に変更される。そのため、変更後の使用画像選択情報に基づいて、動き補償後の短露光画像と長露光画像とが合成された結果は、グローバル動きベクトルに応じた画面端の領域が長露光画像となる。したがって、動き補償後の短露光画像と長露光画像とをより自然に合成することが可能となる。

前記グローバル動き補償部は、前記短露光画像を前記グローバル動きベクトルに従って移動させることによって前記動き補償を行い、
前記合成部は、前記使用画像選択情報のうち前記短露光画像の画像情報が存在しなくなった空き領域に対応する情報を長露光画像使用領域に変更してもよい。
かかる構成によれば、前記使用画像選択情報のうち前記動き補償後の短露光画像が存在しなくなった画面内の領域に対応する情報が長露光画像使用領域に変更される。

また、本発明の別の実施形態によれば、グローバル動きベクトル検出部と、グローバル動き補償部と、合成部とを備える、画像処理装置が提供される。
グローバル動きベクトル検出部は、短露光画像と長露光画像とに基づいてグローバル動きベクトルを検出する。
グローバル動き補償部は、前記グローバル動きベクトルを用いて短露光画像に対して動き補償を行って動き補償後の短露光画像を得るとともに、
前記動き補償後の短露光画像のうち前記グローバル動きベクトルに応じた画面端の領域の画素値として長露光画像の対応する座標の画素値を露光比で割った画素値を設定して画素値設定後の短露光画像を得る。
合成部は、使用画像選択情報に基づいて、前記画素値設定後の短露光画像と長露光画像とを合成する。

かかる構成によれば、動き補償後の短露光画像の画面のうち画像情報が存在しない空き領域の画素値は、長露光画像の画素値を露光比で割って得られた数値である。そのため、ＷＤＲ合成部によって露光比を乗じられると、長露光画像の画素値となる。結果的に、空き領域の使用画像として長露光画像が選択されて合成された場合に得られるＷＤＲ合成結果と同様の合成結果が得られる。そのため、一般的なＷＤＲ合成部に変更を加える必要がなくなる。

前記グローバル動き補償部は、前記短露光画像を前記グローバル動きベクトルに従って移動させることによって前記動き補償を行って動き補償後の短露光画像を得るとともに、
前記動き補償後の短露光画像のうち画像情報が存在しなくなった空き領域の画素値として長露光画像の対応する座標の画素値を露光比で割った画素値を設定し、
前記画素値設定後の短露光画像を得てもよい。
かかる構成によれば、前記画面のうち前記動き補償後の短露光画像が存在しなくなった空き領域の画素値として長露光画像の対応する座標の画素値を露光比で割った画素値が設定される。

前記画像処理装置は、長露光画像の所定の画素要素に対してクリップ処理を行ってクリップ処理後の長露光画像を得るクリップ処理部を備え、
前記グローバル動き補償部は、前記動き補償後の短露光画像のうち、
前記グローバル動きベクトルに応じた画面端の領域の画素値として前記クリップ処理後の長露光画像の対応する座標の画素値を露光比で割った画素値を設定し、
前記画素値変更後の短露光画像を得てもよい。
かかる構成によれば、長露光画像の飽和領域であってもホワイトバランスが取れていることになり、後段でホワイトバランス処理を行った時に偽色が発生することがなくなる。

本発明の別の実施形態によれば、短露光画像と長露光画像とに基づいてグローバル動きベクトルを検出することと、
前記グローバル動きベクトルを用いて短露光画像に対して動き補償を行って動き補償後の短露光画像を得ることと、
前記動き補償後の短露光画像と長露光画像とのいずれを合成に使用するかを画素ごとに示す使用画像選択情報のうち、
前記グローバル動きベクトルに応じた画面端の情報を長露光画像使用領域に変更し、
変更後の使用画像選択情報に基づいて、前記動き補償後の短露光画像と長露光画像とを合成することと、を含む、画像処理方法が提供される。

かかる方法によれば、使用画像選択情報のうちグローバル動きベクトルに応じた画面端の情報が長露光画像使用領域に変更される。そのため、変更後の使用画像選択情報に基づいて、動き補償後の短露光画像と長露光画像とが合成された結果は、グローバル動きベクトルに応じた画面端の領域が長露光画像となる。したがって、動き補償後の短露光画像と長露光画像とをより自然に合成することが可能となる。

本発明の別の実施形態によれば、短露光画像と長露光画像とに基づいてグローバル動きベクトルを検出することと、
前記グローバル動きベクトルを用いて短露光画像に対して動き補償を行って動き補償後の短露光画像を得るとともに、
前記動き補償後の短露光画像のうち前記グローバル動きベクトルに応じた画面端の領域の画素値として長露光画像の対応する座標の画素値を露光比で割った画素値を設定し、
画素値設定後の短露光画像を得ることと、
使用画像選択情報に基づいて、前記画素値設定後の短露光画像と長露光画像とを合成することと、を含む、画像処理方法が提供される。

かかる方法によれば、動き補償後の短露光画像の画面のうち画像情報が存在しない空き領域の画素値は、長露光画像の画素値を露光比で割って得られた数値である。そのため、ＷＤＲ合成部によって露光比を乗じられると、長露光画像の画素値となる。結果的に、空き領域の使用画像として長露光画像が選択されて合成された場合に得られるＷＤＲ合成結果と同様の合成結果が得られる。そのため、一般的なＷＤＲ合成部に変更を加える必要がなくなる。

以上説明したように、本発明によれば、通常の動画像ではなく、輝度が大きく異なるＷＤＲ合成用の画像をより自然に合成することが可能である。

短露光画像の例を示す図である。 長露光画像の例を示す図である。 ＷＤＲ合成画像の例を示す図である。 短露光画像の例を示す図である。 長露光画像の他の例を示す図である。 ＷＤＲ合成画像の他の例を示す図である。 動き補償後の短露光画像の第一の例を示す図である。 動き補償後の短露光画像の第二の例を示す図である。 動き補償後の短露光画像の第三の例を示す図である。 第１の実施形態に係る画像処理装置の機能構成例を示す図である。 ＷＤＲ合成に利用される使用画像選択情報の一例を示す図である。 ＷＤＲ合成画像の例を示す図である。 長露光画像に離散的に設定されたマクロブロックの例を示す図である。 第２の実施形態に係る画像処理装置の機能構成例を示す図である。 第２の実施形態の変形例に係る画像処理装置の機能構成例を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

（実施形態の概要）
本実施形態は、露出の異なる複数の画像信号を合成することによって広大なダイナミックレンジを持つ画像信号を生成するシステムを前提として、画面全体が動くシーンにおいて短露光画像と長露光画像との画面全体の動きを補償することを目的とする。

一般的なＷＤＲ合成処理について図１Ａ〜図１Ｃを用いて説明する。短時間露光で短露光画像９１を撮影してから長時間露光で長露光画像９２を撮影する場合を前提としている。図１Ａおよび図１Ｂは、晴れた日に室内から屋外を撮影して得られた画像を表しており、図１Ｂに示した長露光画像９２では、室内が適正露出で撮影されているが、窓の部分は輝度が高すぎて飽和している。一方、図１Ａに示した短露光画像９１では、窓の領域が適正露出で撮影され、窓の外にいる人物や雲が映っているが、室内は露出アンダーとなり暗く撮影されている。

図１Ａに示した短露光画像９１と図１Ｂに示した長露光画像９２とをＷＤＲ合成すると、長露光画像９２で適正露出となっている室内部分には長露光画像９２が使用され、長露光画像９２では飽和してしまう明部には短露光画像が使用され、短露光画像９１と長露光画像９２とが統合された結果が得られる（図１Ｃに示したＷＤＲ合成画像９３）。ただし、図１Ａ〜図１Ｃに示した各画像は、静止しているシーンを撮影したものである。

同じ被写体を、画面全体を動かして撮影したシーンの短露光画像（図２Ａ）と長露光画像（図２Ｂ）との合成結果を図２Ｃに示す。具体的には、カメラが水平左方向にパンしているとして、短露光画像９１に対して長露光画像９２♯の画角が少し右にずれている。

このような状況でＷＤＲ合成を行うと、合成結果は図２Ｃに示したＷＤＲ合成画像９３＃のようになる。長露光画像９２♯が飽和している領域では短露光画像９１を使用するが、このとき短露光画像９１は長露光画像９２♯から位置がずれているために二重像アーティファクトが発生する。同様の現象は、固定カメラにおいて動物体を撮影した時にも発生して、ゴーストと呼ばれる。しかし、カメラ自体が動く場合は、動物体が存在しなくても二重像が発生するし、短露光画像９１と長露光画像９２♯が切り替わる複数の境界領域において二重像が発生する。さらにカメラが動いている間ずっと発生し続けるため、アーティファクトとして非常に顕著になってしまう。

そこで、短露光画像９１と長露光画像９２＃との位置ずれ量Ｄｇ、つまりグローバル動きベクトルを検出し、グローバル動きベクトルに基づいて短露光画像９１に対してグローバル動き補償を行って得られた動き補償後の短露光画像９１’−１（図３）を生成し、短露光画像９１’−１と長露光画像９２＃とを合成すれば、位置ずれがないＷＤＲ合成画像が合成される（図１Ｃに示したＷＤＲ合成画像９３と同等の画像が得られる）。本実施形態は、高精度なグローバル動きベクトルが検出されたとして、そのグローバル動きベクトルを使った動き補償に関する技術である。

短露光画像９１に対してグローバル動き補償を行うと、画面端に画像情報が存在しない空き領域Ａｒが発生する（図３に示した動き補償後の短露光画像９１’−１）。この場合に、特許文献１に開示されているように、最外周画素を水平方向にコピーすると、左側の窓には格子のようなものが映るが、最外周画素が水平に引き延ばされて不自然なテクスチャになってしまう（図４Ａに示した動き補償後の短露光画像９１’−２）。このシーンでは、長露光画像９２♯の左側の窓は飽和しており、動き補償後の短露光画像９１’−２が採用されてしまうため、ＷＤＲ合成画像にもこの不自然なテクスチャが合成されてしまう。

また、一般的な方法として画面のうち画像情報が存在しない空き領域Ａｒに０を詰める方法があるが（図４Ｂに示した動き補償後の短露光画像９１’−３）、ＷＤＲ合成画像の端に真っ黒な領域が出現するのも不自然である。

そこで、第１の実施形態は図５に示した構成を取る。グローバル動きベクトル検出部３０は短露光画像９１と長露光画像９２＃からグローバル動きベクトルを検出する。そして、グローバル動きベクトルはグローバル動き補償部５０Ａによるグローバル動き補償に用いられるとともに、ＷＤＲ合成部６０Ａにも出力される。グローバル動き補償部５０Ａが、グローバル動きベクトルに基づいて短露光画像９１に対する動き補償を行うと、動き補償後の短露光画像９１’−１が得られる。

ＷＤＲ合成部６０Ａは、動き補償後の短露光画像９１’−１と長露光画像９２＃の画素値から使用画像選択情報を生成し、使用画像選択情報に基づいて動き補償後の短露光画像９１’−１と長露光画像９２＃のいずれを使用するか、またはその両者を使用するかを画素ごとに決定する。このとき、ＷＤＲ合成部６０Ａは、使用画像選択情報に対してグローバル動きベクトルを反映させる。具体的には、ＷＤＲ合成部６０Ａは、画面端のグローバル動きベクトルに応じた空き領域Ａｒに対して、長露光画像９２＃を選択させるように使用画像選択情報を変更する。

図６Ａは、ＷＤＲ合成に利用される使用画像選択情報の一例を示す図である。図６Ａに示した使用画像選択情報６１＃において、白い領域が動き補償後の短露光画像９１’−１を合成に利用する領域を表し、黒い領域が長露光画像９２＃を合成に利用する領域を表している。使用画像選択情報６１＃では、短露光画像９１’−１と長露光画像９２＃の境界を滑らかに接続するために、境界領域が少しぼやけている。本来は画面左の窓全体として短露光画像９１’−１（＝白）が選択されるところが、グローバル動きベクトルの幅だけ長露光画像９２＃（＝黒）が選択されるように使用画像選択情報が変更されている。

以上のようにして得られるＷＤＲ合成画像を図６Ｂに示す。ＷＤＲ合成画像２３においては、画面左端を除けば、グローバル動き補償によって短露光画像９１と長露光画像９２＃との位置ずれがなくなっているので、短露光画像９１と長露光画像９２＃との境界に発生していた二重像アーティファクトはなくなる。また、ＷＤＲ合成画像２３において、左側の窓では、長露光画像９２＃が飽和しているために本来は短露光画像が選択されるが、グローバル動きベクトル量に相当する幅を有する空き領域Ａｒだけは長露光画像９２＃が強制的に選択される。

空き領域Ａｒは、短露光画像９１における本来の画素値に比べると長露光画像９２＃の飽和画素値の方が低いため、ＷＤＲ合成画像２３においては薄い影のように見える。テクスチャが引き延ばされて見える短露光画像９１’−２（図４Ａ）や、真っ黒な帯が発生する短露光画像９１’−３（図４Ｂ）と比べると、この方法がより自然である。そして、図３に示した、画面のうち動き補償後の短露光画像９１’−１の中の空き領域Ａｒに対して詰められる画素値は限定されない。なぜなら、空き領域Ａｒの使用画像としては強制的に長露光画像９２＃が選択されるため、空き領域Ａｒに詰められた画素値がＷＤＲ合成結果に反映されることがないからである。

第１の実施形態に係る手法では、グローバル動きベクトルをＷＤＲ合成部６０Ａに伝達する必要があり、ＷＤＲ合成部６０Ａが使用画像選択情報を生成する際にグローバル動きベクトルを参照するため、一般的なＷＤＲ合成部を変更する必要が生じる。そこで、第２の実施形態には、第１の実施形態と等価な合成結果を得ながら、一般的なＷＤＲ合成部を変更する必要がなく、グローバル動き補償時に適用可能な手法について記す。

（第１の実施形態）
まず、第１の実施形態に係る画像処理装置の機能構成について説明する。図５は、第１の実施形態に係る画像処理装置の機能構成を示す図である。図３に示すように、画像処理装置１Ａは、センサ１０、フレームメモリ２０、グローバル動きベクトル検出部３０、グローバル動き補償部５０ＡおよびＷＤＲ合成部６０Ａを備える。以下、画像処理装置１Ａが備え各機能ブロックの機能について順次詳細に説明する。なお、適宜に、他の図も参照する。

画像処理装置１Ａは、センサ１０の露光設定を変えて２枚の画像を連続撮影するが、ここでは短露光撮影を先に行い、その次に長露光撮影を行うものとする。しかし、長露光撮影を先に行い、その次に短露光撮影を行ってもよい。このようにして撮影された短露光画像および長露光画像は、ペアとしてフレームメモリ２０に書き込まれる。長露光画像および短露光画像の撮影と撮影された長露光画像および短露光画像のフレームメモリ２０への書き込みは、連続的に行われる。

なお、本発明の実施形態においては、短露光画像および長露光画像という用語を使用するが、これらの用語は、撮影された２つの画像それぞれの絶対的な露光時間を限定するものではない。したがって、露光時間の異なる２つの画像が撮影された場合に、当該２つの画像のうち、相対的に露光時間が短い画像が短露光画像に相当し、相対的に露光時間が長い画像が長露光画像に相当する。

センサ１０は、外部からの光を撮像素子の受光平面に結像させ、結像された光を電荷量に光電変換し、当該電荷量を電気信号に変換するイメージセンサにより構成される。イメージセンサの種類は特に限定されず、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）であってもよいし、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）であってもよい。例えば、センサ１０は、所定の倍率（例えば、数倍から数十倍）の露光比をとって短露光画像および長露光画像を検出（撮影）する。

グローバル動きベクトル検出部３０は、短露光画像と長露光画像とに基づいてグローバル動きベクトルを検出する。例えば、短露光画像および長露光画像の対応する領域には複数のマクロブロックが設定されており、グローバル動きベクトル検出部３０は、短露光画像および長露光画像からマクロブロックごとにグローバル動きベクトルを検出する。

より具体的には、グローバル動きベクトル検出部３０は、短露光画像のマクロブロックとの間で対応する画素どうしの二乗誤差和が最小となるマクロブロックを長露光画像から検出する処理を、短露光画像の全てのマクロブロックについて行う。この処理によって、短露光画像のマクロブロックを始点とし、検出した短露光画像のマクロブロックを終点とするグローバル動きベクトルが、短露光画像のマクロブロックごとに検出される。

なお、マクロブロックのサイズは特に限定されない。したがって、「マクロブロック」という用語に含まれる「マクロ」はブロックのサイズを限定するものではない。また、本実施形態においては、マクロブロックの形状が矩形である場合を例として説明するが、マクロブロックの形状は特に限定されないため、矩形以外の形状であってもよい。

また、マクロブロックは、短露光画像および長露光画像それぞれに隙間なく敷き詰められていてもよいが、これらの画像の解像度が高い場合などには、マクロブロックが多くなりすぎてしまい、グローバル動きベクトル検出のための演算量が大きくなりすぎてしまう状況が起こり得る。かかる状況を回避したい場合には、図７の長露光画像２２に示された破線の矩形ブロックのように、マクロブロックが離散的に配置されてもよい。

グローバル動き補償部５０Ａは、グローバル動きベクトルを用いて短露光画像９１に対して動き補償を行って動き補償後の短露光画像９１’−１を得る。例えば、グローバル動き補償部５０Ａは、短露光画像９１をグローバル動きベクトルに従って移動させることによって動き補償を行う。グローバル動き補償部５０Ａは、動き補償後の短露光画像９１’−１のうち画像情報が存在しなくなった空き領域Ａｒの画素値としていかなる画素値を詰めても構わない。なお、グローバル動きベクトル量が小数点精度の場合は、ベクトル参照点の近傍の複数画素を用いた畳みこみ演算の結果を動き補償の結果として出力してもよい。

ＷＤＲ合成部６０Ａは、動き補償後の短露光画像９１’−１と長露光画像９２＃とを参照し、動き補償後の短露光画像９１’−１および長露光画像９２＃それぞれの飽和状態や動きなどを検出して、動き補償後の短露光画像９１’−１と長露光画像９２＃とのいずれか（または両者）を使用画像として画素ごとに選択するための使用画像選択情報を生成する。動き補償後の短露光画像９１’−１と長露光画像９２＃とのいずれかを選択するアルゴリズムとしては様々なアルゴリズムが想定される。

例えば、ＷＤＲ合成部６０Ａは、長露光画像９２＃において第１の飽和検出閾値を上回る画素値を有する画素の使用画像として動き補償後の短露光画像９１’−１を選択してもよい。あるいは、例えば、ＷＤＲ合成部６０Ａは、動き補償後の短露光画像９１’−１において第２の飽和検出閾値を下回る画素値を有する画素の使用画像として長露光画像９２＃を選択してもよい。

ＷＤＲ合成部６０Ａは、このようにして生成した使用画像選択情報のうちグローバル動きベクトルに応じた画面端の情報を長露光画像使用領域に変更し、変更後の使用画像選択情報を得る。例えば、ＷＤＲ合成部６０Ａは、使用画像選択情報のうち短露光画像９１の画像情報が存在しなくなった空き領域Ａｒに対応する情報を長露光画像使用領域に変更する。このようにして変更後の使用画像選択情報６１♯が得られる。

ここで、変更後の使用画像選択情報６１♯において、白く示した短露光画像使用領域に対しては２５６を割り当て、黒く示した長露光画像使用領域に対しては０を割り当て、短露光画像使用領域と長露光画像使用領域との境界領域に対しては０から２５６の中間の値を取らせて、使用画像選択情報を８ｂｉｔ精度で制御するようにしてもよい。この場合、動き補償後の短露光画像９１’−１が存在しなくなった画面内の空き領域Ａｒに対して長露光画像９２＃を選択させることは、使用画像選択情報における空き領域Ａｒの値を０にすることを意味する。

また、ＷＤＲ合成部６０Ａは、変更後の使用画像選択情報６１♯に基づいて、動き補償後の短露光画像９１’−１と長露光画像９２＃とを合成する。具体的には、ＷＤＲ合成部６０Ａは、変更後の使用画像選択情報６１♯を参照して、短露光画像使用領域には変更後の使用画像選択情報６１♯を使用し、長露光画像使用領域には長露光画像９２＃を使用してＷＤＲ合成画像２３を生成する。合成に際しては、いずれかの画像に対して露光比（短露光画像の露光時間に対する長露光画像の露光時間の割合）を乗じて正規化した上で合成されるのがよい。

ＷＤＲ合成部６０Ａは、変更後の使用画像選択情報６１♯に従って動き補償後の短露光画像９１’−１と長露光画像９２＃とを合成してよいが、このような処理だけでは、大きな動きがある領域では輪郭が二重になるなどといったアーティファクトが発生し得る。そのため、ＷＤＲ合成部６０Ａは、動きに基づいて輪郭が二重になる現象を低減する処理を行ってもよい。かかる処理を含む、動き補償後の短露光画像９１’−１と長露光画像９２＃とのいずれかを選択するアルゴリズムは特に限定されない。なお、センサ１０の分解能を１２ビットとしたとき、ＷＤＲ合成画像２３の各画素は１６ビット程度に拡張されてよい。

以上、第１の実施形態に係る画像処理装置１Ａの機能構成について説明した。第１の実施形態において説明したように、露出の異なる複数の画像を合成することによって広大なダイナミックレンジを持つ画像を生成するシステムを前提として、画面全体が動くシーンにおいて短露光画像と長露光画像との画面全体の動きを補償する際に、グローバル動き補償した短露光画像の画面端に画像情報が存在しない領域が発生する。この問題に対して、第１の実施形態によれば、グローバル動きベクトル量に応じて画面端を長露光画像選択領域に固定することによって、二重像アーティファクトの発生を抑え、かつ画面端の画像も自然に表現することができる。

（第２の実施形態）
続いて、第２の実施形態について説明する。第１の実施形態に係る手法では、グローバル動きベクトルをＷＤＲ合成部６０Ａに伝達する必要があり、ＷＤＲ合成部６０Ａが使用画像選択情報を生成する際にグローバル動きベクトルを参照するため、一般的なＷＤＲ合成部を変更する必要がある。そこで、第２の実施形態には、第１の実施形態と等価な合成結果を得ながら、一般的なＷＤＲ合成部を変更する必要がなく、グローバル動き補償時に適用可能な手法について記す。完成されたＷＤＲ合成部が既に存在している場合などには、第２の実施形態がより好適である。

第２の実施形態の構成を図８に示す。図８に示すように、第２の実施形態は、グローバル動きベクトル検出部３０が検出したグローバル動きベクトルをＷＤＲ合成部６０Ｂに伝達しない点において第１の実施形態と異なる。また、第２の実施形態は、グローバル動き補償部５０Ｂに対して短露光画像だけではなく長露光画像も入力されている点において第１の実施形態と異なる。

グローバル動き補償部５０Ｂは、第１の実施形態に係るグローバル動き補償部５０Ａと同様に、グローバル動きベクトルを用いて短露光画像９１に対して動き補償を行って動き補償後の短露光画像９１’−１を得る。また、グローバル動き補償部５０Ｂは、第１の実施形態に係るグローバル動き補償部５０Ａと異なり、動き補償後の短露光画像９１’−１のうちグローバル動きベクトルに応じた画面端の領域の画素値として長露光画像９２＃の対応する座標の画素値を露光比で割った画素値を設定して画素値設定後の短露光画像を得る。

より具体的には、グローバル動き補償部５０Ｂは、第１の実施形態に係るグローバル動き補償部５０Ａと同様に、短露光画像９１をグローバル動きベクトルに従って移動させることによって動き補償を行って動き補償後の短露光画像９１’−１を得る。また、グローバル動き補償部５０Ｂは、第１の実施形態に係るグローバル動き補償部５０Ａと異なり、動き補償後の短露光画像９１’−１のうち画像情報が存在しなくなった空き領域Ａｒの画素値として長露光画像９２＃の対応する座標の画素値を露光比で割った画素値を設定して画素値設定後の短露光画像を得る。

ＷＤＲ合成部６０Ｂは、長露光画像と短露光画像とが入力されるため（長露光画像９２＃と画素値設定後の短露光画像とが入力されるため）、ＷＤＲ合成部６０Ｂは、一般的なＷＤＲ合成部と同様に、入力された長露光画像と短露光画像とを合成する（長露光画像９２＃と画素値設定後の短露光画像とを合成する）。合成に際しては、短露光画像に対して露光比（短露光画像の露光時間に対する長露光画像の露光時間の割合）を乗じて正規化した上で合成される。

長露光画像９２＃では画面左の窓が飽和しているため、ＷＤＲ合成部６０Ｂによって動き補償後の短露光画像９１’−１が選択される。しかし、画面のうち画像情報が存在しない空き領域Ａｒの画素値は、長露光画像９２＃の画素値を露光比で割って得られた数値であるため、ＷＤＲ合成部６０Ｂによって露光比を乗じられると、長露光画像９２＃の画素値となる。結果的に、第２の実施形態においても、空き領域Ａｒの使用画像として長露光画像が選択されて合成された場合に得られるＷＤＲ合成画像２３（図６Ｂ）と同様の合成画像が得られる。

以上、第２の実施形態に係る画像処理装置１Ｂの機能構成について説明した。第２の実施形態において説明したように、グローバル動き補償部５０Ｂは、画面のうち動き補償後の短露光画像９１’−１の中の空き領域Ａｒに対して、長露光画像９２＃の画素値を露光比で割った画素値を詰めることによって、後段にある一般的なＷＤＲ合成部６０Ｂに変更を加えることなく、第１の実施形態と同等の効果を得ることができる。

（第２の実施形態の変形例）
ただし、長露光画像９２＃で飽和している画素値を第２の実施形態に係る手法によって処理すると問題が生じることがある。それは処理対象信号がＢａｙｅｒ信号かつホワイトバランス処理がされていない場合であり、飽和した長露光画像９２＃の画素値はホワイトバランスが崩れている状態であるため、その値を露光比で割って使用すると偽色が発生する。

一般にＲＧＢカラーセンサの場合、Ｇに対してＲとＢの感度が低いために、後段のホワイトバランス処理でＲとＢをゲインアップすることによって正常なホワイトバランスが取れる。逆に、飽和してＲＧＢのレベルが揃っている場合は、後段でＲとＢをゲインアップするとマゼンタ色になってしまう。一般の画像であれば飽和画素の偽色が見えることはないが、ＷＤＲ合成する場合には、長露光画像９２＃の飽和画素であっても動き補償後の短露光画像９１’−１と合成すれば中間輝度もしくはそれ以下の暗い領域になるため、偽色がはっきりと見えてしまう。

処理対象信号がＢａｙｅｒ信号の場合には、図９に示した画像処理装置１Ｃの構成が好適である。グローバル動き補償部５０Ｂに入力される長露光画像９２＃に対してクリップ処理を行う飽和クリップ処理部４０が追加されている点が、図８（第２の実施形態）との違いである。飽和クリップ処理部４０は、ＲＧＢ間のカラーバランスが把握できていることを前提に、長露光画像９２＃の所定の画素要素（例えば、ＲＧＢの画素値のいずれか）に対してクリップ処理を行ってクリップ処理後の長露光画像を得る。

例えば、飽和クリップ処理部４０は、Ｇ信号に対してＲ信号の感度が０．６倍だとすると、画像信号の上限値の０．６倍でＲ信号をクリップする。同様に、飽和クリップ処理部４０は、Ｇ信号に対してＢ信号の感度が０．４倍だとすると、画像信号の上限値の０．４倍でＢ信号をクリップする。このような処理を行えば、長露光画像９２＃の飽和領域であってもＲＧＢ画素値のホワイトバランスが取れていることになり、後段でホワイトバランス処理を行った時に偽色が発生することがない。

以上、本発明の第１の実施形態および第２の実施形態について説明した。本発明の第１の実施形態によれば、短露光画像と長露光画像とに基づいてグローバル動きベクトルを検出するグローバル動きベクトル検出部３０と、グローバル動きベクトルを用いて短露光画像に対して動き補償を行って動き補償後の短露光画像を得るグローバル動き補償部５０Ａと、使用画像選択情報のうちグローバル動きベクトルに応じた画面端の情報を長露光画像使用領域に変更し、変更後の使用画像選択情報に基づいて、動き補償後の短露光画像と長露光画像とを合成するＷＤＲ合成部６０Ａと、を備える、画像処理装置１Ａが提供される。

かかる構成によれば、使用画像選択情報のうちグローバル動きベクトルに応じた画面端の情報が長露光画像使用領域に変更されるため、変更後の使用画像選択情報に基づいて、動き補償後の短露光画像と長露光画像とが合成された結果は、グローバル動きベクトルに応じた画面端の領域が長露光画像となる。したがって、動き補償後の短露光画像と長露光画像とをより自然に合成することが可能となる。

また、本発明の第２の実施形態によれば、短露光画像と長露光画像とに基づいてグローバル動きベクトルを検出するグローバル動きベクトル検出部３０と、グローバル動きベクトルを用いて短露光画像に対して動き補償を行って動き補償後の短露光画像を得るとともに、前記動き補償後の短露光画像のうちグローバル動きベクトルに応じた画面端の領域の画素値として長露光画像の対応する座標の画素値を露光比で割った画素値を設定して画素値設定後の短露光画像を得るグローバル動き補償部５０Ｂと、使用画像選択情報に基づいて、画素値設定後の短露光画像と長露光画像とを合成するＷＤＲ合成部６０Ｂと、を備える、画像処理装置１Ｂが提供される。

かかる構成によれば、画面のうち画像情報が存在しない空き領域の画素値は、長露光画像の画素値を露光比で割って得られた数値であるため、ＷＤＲ合成部６０Ｂによって露光比を乗じられると、長露光画像の画素値となる。結果的に、第２の実施形態においても、空き領域の使用画像として長露光画像が選択されて合成された場合に得られるＷＤＲ合成結果と同様の合成結果が得られるため、一般的なＷＤＲ合成部６０Ｂに変更を加えることなく、第１の実施形態と同等の効果を得ることができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

ＷＤＲ合成技術は重要視されている。しかし、高解像度のＷＤＲ出力を得ようとして短露光画像と長露光画像を時分割で撮影して合成しようとすれば、動きに対して二重像アーティファクトが発生するという点が弱点である。特にカメラ自体がパン・チルトの動きを含む場合、被写体に動物体がなくとも二重像が発生したり、短露光画像と長露光画像の境界に二重像が多く発生したり、動いている間ずっと二重像が発生したりすることから、顕著なアーティファクトとして問題となる。

この問題に対しては、グローバル動き補償を使って短露光画像と長露光画像の位置を合わせてから合成すれば解決できるが、グローバル動き補償適用後に発生する、画像情報が存在しない領域をどのように扱うのか、ＷＤＲ合成システムを前提とした先行技術は存在しなかった。本実施形態によって、パン・チルト動作をするタイプのカメラであっても高品質なＷＤＲ画像を出力することが可能となり、製品の差別化に大きく貢献すると思われる。

１（１Ａ、１Ｂ、１Ｃ） 画像処理装置
１０ センサ
２０ フレームメモリ
２２ 長露光画像
２３ ＷＤＲ合成画像
３０ グローバル動きベクトル検出部
４０ 飽和クリップ処理部
５０Ａ、５０Ｂ グローバル動き補償部
６０Ａ、６０Ｂ ＷＤＲ合成部
６１＃ 使用画像選択情報
９１ 短露光画像
９１’（９１’−１、９１’−２、９１’−３） 動き補償後の短露光画像
９２（９２＃） 長露光画像
９３（９３＃） ＷＤＲ合成画像
Ａｒ 空き領域

Claims (7)

1. 短露光画像と長露光画像とに基づいてグローバル動きベクトルを検出するグローバル動きベクトル検出部と、
   前記グローバル動きベクトルを用いて短露光画像に対して動き補償を行って動き補償後の短露光画像を得るグローバル動き補償部と、
   前記動き補償後の短露光画像と長露光画像とのいずれを合成に使用するかを画素ごとに示す使用画像選択情報のうち、
   前記グローバル動きベクトルに応じた画面端の情報を長露光画像使用領域に変更し、
   変更後の使用画像選択情報に基づいて、前記動き補償後の短露光画像と長露光画像とを合成する合成部と、
   を備える、画像処理装置。
2. 前記グローバル動き補償部は、前記短露光画像を前記グローバル動きベクトルに従って移動させることによって前記動き補償を行い、
   前記合成部は、前記使用画像選択情報のうち前記短露光画像の画像情報が存在しなくなった空き領域に対応する情報を長露光画像使用領域に変更する、
   請求項１に記載の画像処理装置。
3. 短露光画像と長露光画像とに基づいてグローバル動きベクトルを検出するグローバル動きベクトル検出部と、
   前記グローバル動きベクトルを用いて短露光画像に対して動き補償を行って動き補償後の短露光画像を得るとともに、
   前記動き補償後の短露光画像のうち前記グローバル動きベクトルに応じた画面端の領域の画素値として長露光画像の対応する座標の画素値を露光比で割った画素値を設定し、
   画素値設定後の短露光画像を得るグローバル動き補償部と、
   使用画像選択情報に基づいて、前記画素値設定後の短露光画像と長露光画像とを合成する合成部と、
   を備える、画像処理装置。
4. 前記グローバル動き補償部は、前記短露光画像を前記グローバル動きベクトルに従って移動させることによって前記動き補償を行って動き補償後の短露光画像を得るとともに、
   前記動き補償後の短露光画像のうち画像情報が存在しなくなった空き領域の画素値として長露光画像の対応する座標の画素値を露光比で割った画素値を設定し、
   前記画素値設定後の短露光画像を得る、
   請求項３に記載の画像処理装置。
5. 前記画像処理装置は、長露光画像の所定の画素要素に対してクリップ処理を行ってクリップ処理後の長露光画像を得るクリップ処理部を備え、
   前記グローバル動き補償部は、前記動き補償後の短露光画像のうち、
   前記グローバル動きベクトルに応じた画面端の領域の画素値として前記クリップ処理後の長露光画像の対応する座標の画素値を露光比で割った画素値を設定し、
   前記画素値変更後の短露光画像を得る、
   請求項４に記載の画像処理装置。
6. 短露光画像と長露光画像とに基づいてグローバル動きベクトルを検出することと、
   前記グローバル動きベクトルを用いて短露光画像に対して動き補償を行って動き補償後の短露光画像を得ることと、
   前記動き補償後の短露光画像と長露光画像とのいずれを合成に使用するかを画素ごとに示す使用画像選択情報のうち、
   前記グローバル動きベクトルに応じた画面端の情報を長露光画像使用領域に変更し、
   変更後の使用画像選択情報に基づいて、前記動き補償後の短露光画像と長露光画像とを合成することと、
   を含む、画像処理方法。
7. 短露光画像と長露光画像とに基づいてグローバル動きベクトルを検出することと、
   前記グローバル動きベクトルを用いて短露光画像に対して動き補償を行って動き補償後の短露光画像を得るとともに、
   前記動き補償後の短露光画像のうち前記グローバル動きベクトルに応じた画面端の領域の画素値として長露光画像の対応する座標の画素値を露光比で割った画素値を設定し、
   画素値設定後の短露光画像を得ることと、
   使用画像選択情報に基づいて、前記画素値設定後の短露光画像と長露光画像とを合成することと、
   を含む、画像処理方法。