JP4127411B1

JP4127411B1 - 画像処理装置及び方法

Info

Publication number: JP4127411B1
Application number: JP2007106121A
Authority: JP
Inventors: 勝久小川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-04-13
Filing date: 2007-04-13
Publication date: 2008-07-30
Anticipated expiration: 2027-04-13
Also published as: JP2008263522A; US20080252750A1; US20120212645A1; US8189069B2

Abstract

【課題】高速に補正ゲイン係数を決定して画像を合成することができる画像処理装置を提供することを課題とする。
【解決手段】長秒露光画像から第１の中間輝度画素値領域の画素値を持つ画素の画素位置を検出する長秒中輝度画素検出手段（８０１）と、短秒露光画像から第２の中間輝度画素値領域の画素値を持つ画素の画素位置を検出する短秒中輝度画素検出手段（８０３）と、前記長秒中輝度画素検出手段により検出された画素位置と前記短秒中輝度画素検出手段により検出された画素位置とが共通する画素位置である画素を共通画素とし、前記共通画素の画素位置における前記長秒露光画像の画素値及び前記短秒露光画像の画素値を基に補正ゲイン係数を演算する補正ゲイン係数演算手段（８０８）とを有する画像処理装置が提供される。
【選択図】図８

Description

本発明は、画像処理装置及び方法に関する。

近年、テレビカメラ、ビデオカメラ、デジタルカメラ等の画像入力装置の撮像デバイスとしてＣＣＤセンサ、ＣＭＯＳセンサ等の固体撮像素子が使用されている。ところが、固体撮像素子のダイナミックレンジは、銀塩カメラのフィルムのダイナミックレンジに比べると、狭く、撮像条件によっては画質が劣化する。

そこで、固体撮像素子のダイナミックレンジ拡大の方式として、同一シーンにおける露光量の異なる複数の画像を撮影し、この複数の画像を合成して、ダイナミックレンジを拡大した画像を得る多重露光方式によるワイドダイナミックレンジ画像合成手法がある。この画像合成処理の流れを下記に、順を追って説明する。

（１）被写体の低輝度側の画像信号が適切な値になるように、長い露光時間で蓄積した長秒露光画像を撮像する。ただし、この長秒露光画像は、被写体の高輝度側の撮像においては、露光量が多く、画像信号が飽和する「白潰れ」が発生している。

（２）被写体の高輝度側の画像信号が適切な値になるような短い時間で蓄積した短秒露光画像を撮像する。撮像された全画素において、画像信号が飽和する事なく、「白潰れ」の無い画像を獲得する。

（３）長秒露光画素の「白潰れ」が発生している画素信号を破棄し、破棄した画像信号の座標位置に当たる短秒露光画像の画素出力値を、新たな画像信号として置き換える。

（４）長秒露光画像と短秒露光画像の各画素出力値の比から補正ゲインＧを決定し、置き換えられた短秒露光画像に乗算し、双方の画像の輝度レベルのずれを補正する。

露光時間の比を、補正ゲインＧとすると、長秒露光画素出力値と短秒露光画素出力値の境界部にオフセットが残り、これが視覚上、擬似輪郭として観測される。擬似輪郭が発生する原因は、補正に必要な補正ゲイン量が、露光時間の比だけで決まるのではなく、他にセンサの出力非線形性、再生アナログ回路系の非線形ゲイン誤差等の影響を受ける為である。この理由により、上記（４）で説明したように、実際の画像情報を基に、補正ゲインＧを計算する。

長秒及び短秒露光画素出力値から補正ゲインＧを算出する手法が、下記の特許文献1に述べられている。特許文献１の補正ゲイン決定方式は、まず、撮像された長秒露光画像と短秒露光画像の各画素における輝度値の比を、計算する。これを、輝度レベル比とする。次に、長秒露光画像の輝度値（以下、長秒輝度値と略す。）を基準に、同じ長秒輝度値を持つ画素群の輝度レベル比の平均を算出し、それを長秒輝度値における輝度レベル比代表値とし、Ｘ軸に長秒輝度値、Ｙ軸に輝度レベル比代表値としたグラフを作成する。輝度レベル比代表値（Ｙ軸）は、長秒輝度値（Ｘ軸）が大きなところでは、長秒露光画素が白潰れをおこしており、長秒輝度値（Ｘ軸）が小さなところでは、短秒露光画素が黒沈みを起こしている。その為、この範囲での輝度レベル比代表値（Ｙ軸）は、長秒輝度値（Ｘ軸）の中心近傍の値に対して、大きな誤差を持っており、作成したグラフは、長秒輝度値（Ｘ軸）の中間レベルのところで、緩やかなピークを持つ曲線となる。このピーク位置に対応する長秒輝度値（Ｘ軸）を中心に、補正ゲインＧを計算する為に用いる長秒輝度値（Ｘ軸）の使用範囲を決定する。設定された範囲に存在する長秒輝度値（Ｘ軸）に対応する輝度レベル比代表値（Ｙ軸）を抽出し、抽出された輝度レベル比代表値（Ｙ軸）の平均値を算出し、補正ゲインＧを決定していた。

特許第３４２０３０３号公報

しなしながら、上記特許文献１における補正ゲインの決定方式においては、膨大な計算をしなければいけないという欠点があった。補正ゲインを算出する為には、全画素に対する輝度レベル比を求める為の除算演算、算出した輝度レベル比を長秒輝度値毎に集計して平均を求める為のソーティング処理及び積和演算等、大量の演算が必要である。この計算方式を、ソフトウエア又はハードウエアで実現しようとした場合、補正ゲイン決定までの計算に多くの時間を必要としていた。特に、ワイドダイナミックレンジ画像合成処理機能を搭載した動画用カメラ（監視カメラ）において、特許文献１の補正ゲイン決定方式では、動画カメラのフレームレートが６０ｆｐｓの場合、１／６０秒以内で、補正ゲインの計算を終了する必要がある。しかしながら、動画用カメラのハードウエアでは、１／６０秒以内で計算を終了させる事が実現出来ず、補正ゲインを、画像信号からは計算せず、予め定めた係数を用いて、ワイドダイナミックレンジ画像を合成していた。この為、最終的なワイドダイナミックレンジ画像には、補正ゲインの誤差によって生じる擬似輪郭が発生していた。

また、上記特許文献１においては、全画素に対する輝度レベル比の計算結果から補正ゲインを決定する方式を採用していた為、補正ゲインの計算に使用する画素数は、一義的に決まっていた。補正ゲインの計算精度を向上させて、擬似輪郭低減効果を強調した超高画質のワイドダイナミックレンジ画像を合成する為には、計算に使用する画素数は多い方が優位である。しかし、通常の画質で十分なアプリケーションにおいては、補正ゲインの計算精度向上による超高画質化は、オーバースペックであった。

上記特許文献１では、全画素に対する輝度レベル比の計算結果から補正ゲインを決定する方式を採用しており、計算に使用する画素を任意の数に設定する事が出来ない。そのため、補正ゲイン計算精度と計算速度を、各アプリケーションに合わせて、柔軟に設定する事ができない。

本発明の目的は、高速に補正ゲイン係数を決定して画像を合成することができる画像処理装置及び方法を提供することである。

本発明の画像処理装置は、同一シーンに対して撮像された露光量が多い長秒露光画像と露光量が少ない短秒露光画像とを合成する画像処理装置であって、前記長秒露光画像から第１の中間輝度画素値領域の画素値を持つ画素の画素位置を検出する長秒中輝度画素検出手段と、前記短秒露光画像から第２の中間輝度画素値領域の画素値を持つ画素の画素位置を検出する短秒中輝度画素検出手段と、前記長秒中輝度画素検出手段により検出された画素位置と前記短秒中輝度画素検出手段により検出された画素位置とが共通する画素位置である画素を共通画素とし、前記共通画素の画素位置における前記長秒露光画像の画素値及び前記短秒露光画像の画素値を基に補正ゲイン係数を演算する補正ゲイン係数演算手段と、前記短秒露光画像に前記補正ゲイン係数を乗算し、前記乗算された短秒露光画像及び前記長秒露光画像を合成する画像合成手段と、を有し、前記第１の中間輝度画素値領域及び前記第２の中間輝度画素値領域に含まれる画素数を動画モード及び静止画モードとで変更し、前記動画モードの際の画素数に比べて、前記静止画モードの際の画素数を大きくすることを特徴とする。

また、本発明の画像処理方法は、同一シーンに対して撮像された露光量が多い長秒露光画像と露光量が少ない短秒露光画像とを合成する画像処理方法であって、前記長秒露光画像から第１の中間輝度画素値領域の画素値を持つ画素の画素位置を検出する長秒中輝度画素検出ステップと、前記短秒露光画像から第２の中間輝度画素値領域の画素値を持つ画素の画素位置を検出する短秒中輝度画素検出ステップと、前記長秒中輝度画素検出ステップにより検出された画素位置と前記短秒中輝度画素検出ステップにより検出された画素位置とが共通する画素位置である画素を共通画素とし、前記共通画素の画素位置における前記長秒露光画像の画素値及び前記短秒露光画像の画素値を基に補正ゲイン係数を演算する補正ゲイン係数演算ステップと、前記短秒露光画像に前記補正ゲイン係数を乗算し、前記乗算された短秒露光画像及び前記長秒露光画像を合成する画像合成ステップと、を有し、前記第１の中間輝度画素値領域及び前記第２の中間輝度画素値領域の画素数を、動画モード及び静止画モードとで変更し、前記動画モードの際の画素数に比べて、前記静止画モードの際の画素数を大きくすることを特徴とする。

検出された画素のみを使用して補正ゲイン係数を演算する為、膨大な演算をする必要がなく、高速に補正ゲイン係数を演算する事が出来る。これによって、高速にワイドダイナミックレンジ画像を合成することができる。

また、第１及び第２の中間輝度画素値領域を変更する事により、補正ゲイン係数の演算に用いる画素数を可変する事が出来る。これにより、補正ゲイン係数の演算速度と演算精度の関係をコントロールする事が可能となり、高速処理が必要な動画アプリケーション、超高画質処理が必要な静止画アプリケーションの双方に対応出来る。

図８は本発明の実施形態による画像処理装置の構成例を示す図であり、図１はその画像処理装置の画像処理方法を示すフローチャートである。具体的には、図１は、長秒露光画像と短秒露光画像の２つの画像の輝度情報から、ワイドダイナミックレンジ画像を合成する時に使用するゲイン係数を計算する処理の流れを説明するフローチャートである。

イメージセンサ８００は、２次元配列されたフォトダイオードを有する固体撮像素子であり、光電変換により、長秒露光画像と短秒露光画像の２つの画像を生成する。具体的には、イメージセンサ８００は、同一シーンにおける露光量の異なる複数の画像を撮影する。まず、被写体の低輝度側の画像信号が適切な値になるように、長い露光時間で蓄積した長秒露光画像を撮像する。次に、被写体の高輝度側の画像信号が適切な値になるような短い時間で蓄積した短秒露光画像を撮像する。

長秒中輝度画素検出ステップＳ１では、長秒中輝度画素検出手段８０１は、長秒露光画像の全画素出力値から、「白潰れ」も「黒沈み」も生じていない中間輝度値を持つ画素を検出する。長秒露光画像を構成する全画素出力値Ｙｈに対して、画素出力値が閾値α１以上かつα２以下の画素を長秒中輝度画素と定義し、対応する画素位置の座標に、１を割り当てる。画素出力値がα１未満又はα２より大きい画素は、「白潰れ」「黒沈み」が発生している画素を含むと判断して、長秒中輝度画素とは定義せず、対応する画素位置の座標に、０を割り当てる。

長秒中輝度領域画像生成ステップＳ２では、長秒中輝度領域画像生成手段８０２は、ステップＳ１で検出された長秒中輝度画素の座標位置を基に、中輝度画素と、それ以外の画素を分離した２値画像である長秒中輝度領域画像Ｙｈ＿ｂを生成する。そして、長秒中輝度領域画像生成手段８０２は、中輝度画素には、アクティブなシンボルを割り当てる。本実施形態では、２値化処理を正論理で行う事とし、中輝度画素には、シンボル１を割り当てる。

短秒中輝度画素検出ステップＳ３では、短秒中輝度画素検出手段８０３は、短秒露光画像の全画素出力値から、「白潰れ」も「黒沈み」も生じていない中間輝度値を持つ画素を検出する。そして、短秒中輝度画素検出手段８０３は、短秒露光画像を構成する全画素出力値Ｙｌに対して、画素出力値がβ１以上かつβ２以下の画素を短秒中輝度画素と定義し、対応する画素位置の座標に、１を割り当てる。画素出力値がβ１未満又はβ２より大きい画素は、「白潰れ」「黒沈み」が発生している画素を含むと判断して、短秒中輝度画素とは定義せず、対応する画素位置の座標に、０を割り当てる。

短秒中輝度領域画像生成ステップＳ４では、短秒中輝度領域画像生成手段８０４は、ステップＳ３で検出された短秒中輝度画素の座標位置を基に、中輝度画素と、それ以外の画素を分離した２値画像である短秒中輝度領域画像Ｙｌ＿ｂを生成する。そして、中輝度画素には、１を割り当てる。

図１では、ステップＳ１及びステップＳ２を順次実行して長秒露光画像の中輝度画素を特定し、ステップＳ３及びステップＳ４を順次実行して短秒露光画像の中輝度画素を特定しているが、処理手順は、これに限るものではない。ステップＳ３及びステップＳ４を先に順次実行し、短秒露光画像の中輝度画素を特定し、ステップＳ１及びステップＳ２を後に順次実行し、長秒露光画像の中輝度画素を特定してもよい。また、ステップＳ１及びＳ２の処理とステップＳ３及びＳ４の処理を並列処理により、同時に実行してもよい。

共通中輝度画素検出ステップＳ５では、共通中輝度画素検出手段８０５は、ステップＳ２で生成された長秒中輝度領域画像Ｙｈ＿ｂとステップＳ４で生成された短秒中輝度領域画像Ｙｌ＿ｂの同一座標位置にある画素毎に、論理積（ＡＮＤ）演算を行う。前記長秒中輝度領域画像Ｙｈ＿ｂ及び前記短秒中輝度領域画像Ｙｌ＿ｂのそれぞれの中輝度画素には、１が割り当てられている。その為、各画素間において論理積をとった結果、１になった画素は、前記短秒中輝度領域画像Ｙｌ＿ｂと前記長秒中輝度領域画像Ｙｈ＿ｂの両画像において、共に、中輝度画素として検出された共通中輝度画素である。

共通中輝度領域画像生成ステップＳ６では、共通中輝度領域画像生成手段８０６は、ステップＳ５で検出された共通中輝度画素の座標位置を基に、共通中輝度画素と、それ以外の画素を分離した２値画像である共通中輝度領域画像Ｙｈｌ＿ｂを生成する。そして、共通中輝度画素には、１を割り当てる。

輝度レベル比演算ステップＳ７では、輝度レベル比演算手段８０７は、ステップＳ６で検出された共通中輝度画素の座標位置にある前記長秒露光画像Ｙｈの画素出力値と前記短秒露光画像Ｙｌの画素出力値の比より輝度レベル比Ｋ（ｚ）を演算する。

以下に輝度レベルＫ（ｚ）の演算の手順を説明する。輝度レベル比演算手段８０７は、共通中輝度画素を検出する為、共通中輝度領域画像Ｙｈｌ＿ｂを、画像の上部から順に、水平方向に走査する。画素値が０の場合は、計算対象から外し、無視する。画素値が１の場合、計算対象画素として、その座標にアドレスｚ＝１を割り当てる。次に走査を継続して実行し、画素値が０の場合は無視し、１を検出したら、アドレスをインクリメントし、ｚ＝２を、その座標のアドレスとして割り当てる。画素値が１の画素を検出したら、アドレスｚをインクリメントし、その画素の座標に割り当てる処理を全画素に対して行う。共通中輝度画素が、Ｎ個存在している場合、１〜Ｎのアドレスｚが、共通中輝度画素の座標位置に割り当てられる。次に、アドレスｚの座標位置にある前記長秒露光画像Ｙｈ（ｚ）の画素出力値と前記短秒露光画像Ｙｌ（ｚ）の画素出力値を抽出し、その画素出力値の比を取り、輝度レベル比Ｋ（ｚ）とする。この計算を、ｚ＝１〜Ｎまでアドレスが示す座標の画素に対して行い、Ｎ個の共通中輝度画素における輝度レベル比Ｋ（ｚ）を算出する。

式（１）に、輝度レベル比Ｋ（ｚ）の計算式を示す。

ここで、Ｙｈ（ｚ）は、アドレスｚにおける前記長秒露光画像Ｙｈの画素値である。Ｙｌ（ｚ）は、アドレスｚにおける前記短秒露光画像Ｙｌの画素値である。Ｋ（ｚ）は、アドレスｚにおける輝度レベル比である。アドレスｚは１〜Ｎである。Ｎは、共通中輝度画素の個数である。

補正ゲイン係数演算ステップＳ８では、補正ゲイン係数演算手段８０８は、Ｎ個の輝度レベル比Ｋ（ｚ）の平均値を求め、補正ゲイン係数Ｇを演算する。式（２）に、補正ゲイン係数Ｇの計算式を示す。

次に、画像合成手段８０９が、本実施形態により決定された補正ゲイン係数Ｇを用いて、ワイドダイナミック画像を合成する方法を手順を追って説明する。

図２（ａ）は、長秒露光画像におけるイメージセンサ８００の入射光量と画素出力値の関係を示すグラフである。入射光量の増加に従い、画素出力値も増加していくが、入射光量が、Ｄ０以上になると、イメージセンサ８００上のフォトダイオードが飽和してしまい、それ以上、入射光量が増加しても、画素出力値は一定となる「白潰れ」状態となる。Ｄ０以上の入射光量に対して、実際にフォトダイオードで受光した入射光が持つ階調を再現出来ず、画像信号のダイナミックレンジが、ここで制限される。

図２（ｂ）は、短秒露光画像におけるイメージセンサ８００の入射光量と画素出力値の関係を示すグラフである。長秒露光画像では、図２（ａ）のグラフに示す通り、Ｄ０の入射光量で飽和していたが、短秒露光画像は、露光時間が、長秒露光画像より短い為、Ｄ０では、画素出力値は飽和せず、図２（ｂ）のＤ１の入射光量まで、画素出力値は線形に出力される。但し、被写体の低輝度側の入射光量に対しては、十分な露光量がとれず、画素出力値が大幅に減少する。Ｄ２以下の入射光量に対しては、露光時間が足りず、フォトダイオードに蓄積される光電荷は、フォトダイオードのノイズレベル以下となり、画像信号として認識する事は不可能となる。入射光が、Ｄ２以下の場合、被写体が持つ階調を再現する事が出来ず、「黒沈み」状態となる。画像信号のダイナミックレンジが、ここで制限される。

図２（ａ）において、Ｄ０近傍の入射光量に対する画素出力値は、「白潰れ」が生じていると判断し、閾値Ｔｈ以上の画素出力値を、ゼロに置き換える。図３（ａ）は、図２（ａ）に対して、閾値Ｔｈ以上の画素出力値を、ゼロに置き換えた時の長秒露光画像の入射光量と画素出力値の関係を示すグラフである。前記閾値Ｔｈ未満の画素出力値は、非飽和状態であり、「白潰れ」が無い信号である。また、低輝度側でも十分な画素出力値を有し、「黒沈み」の無い信号である。次に、前記長秒露光画像Ｙｈで、ゼロに設定された前記閾値Ｔｈ以上の画素出力値を、前記短秒露光画像Ｙｌの画素出力値と置き換える為、前記短秒露光画像Ｙｌの前記閾値Ｔｈ以下の画素出力値をゼロにする。

図３（ｂ）は、図２（ｂ）に対して、前記閾値Ｔｈ以下の画素出力値を、ゼロに置き換えた時の短秒露光画像の入射光量と画素出力値の関係を示すグラフである。前記閾値ＴｈからＤ１まで入射光に対して、飽和のない画素出力値が得られる。次に、画像合成手段８０９は、図３（ａ）の前記閾値Ｔｈ以上の画素出力値をゼロにした前記長秒露光画像と、図３（ｂ）の前記閾値Ｔｈ以下の画素出力値を、ゼロにした短秒露光画像の２枚の画像を加算する。

この加算処理によって合成された画像の入射光量と画素出力値の関係を示すグラフが、図４である。前記閾値Ｔｈ未満が、長秒露光画像の画素出力であり、前記閾値Ｔｈ以上が、短秒露光画像の画素出力である。前記閾値Ｔｈの画素出力値の部分で、入射光量増加に対する画素出力値増加のカーブに、非連続点が発生し、大きな段差が発生している。これは、双方の画像の露光時間の違いによって生じるゲイン差によるものである。前記閾値Ｔｈ近傍での画素出力値増加のカーブを連続し、ダイナミックレンジを拡大した画像を合成する為には、本実施形態の手法で算出した補正ゲイン係数Ｇを、前記閾値Ｔｈ以上の画素出力値（前記短秒露光画像の画素出力値）に乗算する。

図５は、前記閾値Ｔｈ以上の画素出力値（前記短秒露光画像の画素出力値）に、補正ゲイン係数Ｇを乗算した時の合成画像の入射光量と画素出力値の関係を示すグラフである。前記閾値Ｔｈにおいて、画素出力値増加カーブに不連続性はなく、段差は発生していない。また、補正ゲイン係数Ｇを、前記閾値Ｔｈ以上の画素出力値（短秒露光画像の画素出力値）に乗算した事で、ダイナミックレンジが拡大する。補正ゲイン係数Ｇ乗算前では、入射光量Ｄ１に対応する画素出力値は、ＦＳであったが、補正ゲイン係数Ｇ乗算後では、ＦＳ×Ｇとなり、ダイナミックレンジがＧ倍拡大した画像を合成する事が出来る。補正ゲイン係数Ｇは、本実施形態の手法で、算出したものであり、画素出力値増加カーブに不連続性はなく、擬似輪郭の発生しない高画質ワイドダイナミックレンジ画像を合成する事が出来る。

次に、本実施形態にて補正ゲイン係数Ｇを計算する為に必要な長秒中輝度画素と短秒中輝度画素を決定する前記閾値α１、α２、β１、β２の決定方法に関して説明する。

長秒中輝度画素を決定する前記閾値α１、α２の設定値に関して、図６を用いて説明する。図６は、前記長秒露光画像Ｙｈの画素出力値の分布を示す輝度ヒストグラムである。図６で使用した画像は、８ビット２５６階調の画像であり、露光時間が長い為、白潰れを起こしており、画素出力値２４０以上の度数が非常に大きい輝度分布を持つ。画素出力最大値２５５を、１００％とした場合、長秒中輝度画素を、画素出力最大値の３０％以上かつ７０％以下と定義すると、α１＝７７、α２＝１７８となり、図６の領域４が長秒中輝度画素領域となる。補正ゲイン係数Ｇを精度よく高速に計算する為には、長秒中輝度画素のサンプル数は、所定の個数必要となり、前記長秒中輝度画素領域４は、高速性と高精度化の双方を両立させる最適な範囲である。

なお、本実施形態で、長秒中輝度画素の定義を画素出力最大値の３０％以上かつ７０％以下としたが、これに限るものではない。前記閾値α１の下限値としては、画素出力最大値の１０％にする事が望ましい。これは、前記閾値α１を画素出力最大値の１０％以下に設定すると、黒潰れ画素及ノイズの混入したＳＮ比が悪化した画素が、長秒中輝度画素として定義されてしまい、補正ゲイン係数Ｇの計算結果に誤差が生じてしまう為である。前記閾値α２の上限値としては、画素出力最大値の８０％に設定する事が望ましい。これは、白潰れ画素が長秒中輝度画素として定義されてしまい、補正ゲイン係数Ｇの計算結果に誤差が生じてしまう為である。

次に、短秒中輝度画素を決定する前記閾値β１、β２の設定値に関して、図７を用いて説明する。図７は、前記短秒露光画像Ｙｌの画素出力値の分布を示す輝度ヒストグラムである。図７で使用した画像は、８ビット２５６階調の画像であり、露光時間が短い為、黒沈みを起こしており、画素出力値０近傍の度数が非常に大きい輝度分布を持つ。また、高輝度側の画素出力値（約２００以上）に度数が急激に増加する傾向がない事から白潰れは発生していない事がわかる。画素出力最大値２５５を、１００％とした場合、短秒中輝度画素を、画素出力最大値の３０％以上かつ７０％以下と定義すると、β１＝７７、β２＝１７８となり、図７の領域５が短秒中輝度画素領域となる。補正ゲイン係数Ｇを精度よく高速に計算する為には、短秒中輝度画素のサンプル数は、所定の個数必要となり、前記短秒中輝度画素領域５は、高速性と高精度化の双方を両立させる最適な範囲である。

なお、本実施形態で、短秒中輝度画素の定義を画素出力最大値の３０％以上かつ７０％以下としたが、これに限るものではない。前記閾値β１の下限値としては、画素出力最大値の２０％にする事が望ましい。これは、前記閾値β１を画素出力最大値の２０％以下に設定すると、黒潰れ画素及ノイズの混入したＳＮ比が悪化した画素が、短秒中輝度画素とて定義されてしまい、前記補正ゲイン係数Ｇの計算結果に誤差が生じてしまう為である。特に短秒露光画像は、長秒露光画像に比べると露光時間が短い為、黒沈み画素の発生頻度が増加する。この為、長秒露光画像では、画素出力最大値の１０％（＝α１）、短秒露光画像では、画素出力最大値の２０％（＝β１）を、中間輝度画素領域を決定する閾値の下限値とする。

前記閾値β２の上限値としては、画素出力最大値の９０％に設定する事が望ましい。これは、白潰れ画素が短秒中輝度画素として定義されてしまい、補正ゲイン係数Ｇの計算結果に誤差が生じてしまう為である。短秒露光画像は、長秒露光画像に比べると露光時間が短い為、白潰れの発生頻度が減少する。この為、長秒露光画像では、画素出力最大値の８０％（＝α２）、短秒露光画像では、画素出力最大値の９０％（＝β２）を、中間輝度画素領域を決定する閾値の下限値とする。

また、前記閾値α１、α２、β１、β２の組合せにより、前記長秒中輝度画素領域４及び前記短秒中輝度画素領域５の大きさを可変する事が可能であり、補正ゲイン係数Ｇの計算時に使用する共通中輝度画素のサンプル数を変更する事が出来る。

前記閾値α１、β１を小さく, 前記閾値α２、β２を大きくする事で、前記長秒中輝度画素領域４及び前記短秒中輝度画素領域５の範囲は拡大し、共通中輝度画素及び輝度レベル比Ｋのサンプル数は増加する。その結果、サンプル数が増加した輝度レベル比Ｋの平均から補正ゲイン係数Ｇを求める事になり、ノイズ成分等によって発生していた誤差は減少し、補正ゲイン係数Ｇの精度が向上する。

この方式は、補正ゲイン係数Ｇ算出までの計算時間は増大するが、精度は向上する為、擬似輪郭低減効果の大きい超高画質ワイドダイナミックレンジ画像合成時に使用される。この方式は、補正ゲイン係数Ｇの計算にある程度の時間を割く事が許される超高画質対応静止画カメラ等のアプリケーションで利用する事が出来る。

前記閾値α１、β１を大きく、前記閾値α２、β２を小さくする事で、前記長秒中輝度画素領域４及び前記短秒中輝度画素領域５の範囲は縮小し、共通中輝度画素及び輝度レベル比Ｋのサンプル数は減少する。その結果、サンプル数が減少した輝度レベル比Ｋの平均値から補正ゲイン係数Ｇを求める事になり、補正ゲイン係数Ｇ算出までの計算時間が大幅に減少する。

この方式は、補正ゲイン係数Ｇの計算精度をある程度確保した上で、計算時間を大幅に短縮出来る為、高速処理が必要なワイドダイナミックレンジ画像合成時に使用される。この方式は、補正ゲイン係数Ｇの計算を所定の時間以内で終了しなければならない高速撮像対応動画カメラ等のアプリケーションで利用する事が出来る。

以上、説明した演算手順を実行する事により、長秒露光画像と短秒露光画像の両方の画像において、共に中間輝度値を持つ画素を高速に検出し、検出された画素のみを使用して、補正ゲインＧを算出する事で演算量を大幅に減らす事が可能となる。

以上述べたように本実施形態による画像処理装置は、閾値処理により検出した長秒露光画像の中輝度画素の位置情報と短秒露光画像の中輝度画素の位置情報から、論理積演算により、双方の画像で、中間輝度値を有する共通中輝度画素を検出する。そして、検出された共通中輝度画素の輝度値の比を基に、画像合成時の補正ゲインを決定する。

本実施形態によれば、閾値演算、論理積演算にて、補正ゲインを決定する画素を抽出した後、抽出された画素のみを使用して、長秒露光画素と短秒露光画素の輝度レベル比よりゲインを決定する。その為、上記特許文献１のような膨大な計算をする必要がなく、高速に補正ゲインを決定する事が出来る。これによって、高速なワイドダイナミックレンジ画像合成処理を実現できる。

また、補正ゲイン決定用画素の抽出を行う閾値処理の閾値レベルを変更する事により、補正ゲイン決定用画素の総画素数を可変する事が出来る。これにより、補正ゲインの演算速度と演算精度の関係をコントロールする事が可能となり、高速処理が必要な動画アプリケーション、超高画質処理が必要な静止画アプリケーションの双方に対応出来る柔軟なワイドダイナミックレンジ画像合成処理を実現できる。

本実施形態の画像処理装置及び画像処理方法において、イメージセンサ８００は、同一シーン（被写体）に対して露光量が多い長秒露光画像と露光量が少ない短秒露光画像とを撮像する。長秒中輝度画素検出手段８０１は、長秒中輝度画素検出ステップＳ１において、前記長秒露光画像から第１の中間輝度画素値領域４の画素値を持つ画素の画素位置を検出する。短秒中輝度画素検出手段８０３は、短秒中輝度画素検出ステップＳ３において、前記短秒露光画像から第２の中間輝度画素値領域５の画素値を持つ画素の画素位置を検出する。共通中輝度画素検出手段８０５は、共通中輝度画素検出ステップＳ５において、長秒中輝度画素検出手段８０１により検出された画素位置と短秒中輝度画素検出手段８０３により検出された画素位置とが共通する画素位置である画素を共通画素として検出する。補正ゲイン係数演算手段８０８は、補正ゲイン係数演算ステップＳ８において、前記共通画素の画素位置における前記長秒露光画像の画素値及び前記短秒露光画像の画素値を基に補正ゲイン係数Ｇを演算する。画像合成手段８０９は、画像合成ステップにおいて、前記短秒露光画像に前記補正ゲイン係数Ｇを乗算し、前記乗算された短秒露光画像及び前記長秒露光画像を合成する。

輝度レベル比演算手段８０７及び補正ゲイン係数演算手段８０８は、上式（１）及び（２）により、前記共通画素の画素位置における前記長秒露光画像の画素値及び前記短秒露光画像の画素値の比Ｋ（ｚ）の平均値を前記補正ゲイン係数Ｇとして演算する。

前記第１の中間輝度画素値領域は、最大輝度画素値の３０％以上かつ７０％以下の範囲の画素値であり、前記第２の中間輝度画素値領域は、最大輝度画素値の３０％以上かつ７０％以下の範囲の画素値であることが好ましい。

また、前記第１の中間輝度画素値領域は、最大輝度画素値の１０％以上かつ８０％以下の範囲の画素値であり、前記第２の中間輝度画素値領域は、最大輝度画素値の２０％以上かつ９０％以下の範囲の画素値であることが好ましい。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明の実施形態による画像処理方法の処理の流れを示すフローチャートである。長秒露光画像撮像時及び短秒露光画像撮像時のイメージセンサの入射光と画素出力値の関係を示す図である。閾値Ｔｈ以上を、ゼロに置き換えた時の長秒露光画像及び短秒露光画像の入射光量と画素出力値の関係を示す図である。加算処理によって合成された画像の入射光量と画素出力値の関係を示す図である。補正ゲイン係数Ｇを乗算した時の合成画像の入射光量と画素出力値の関係を示す図である。長秒露光画像の画素出力値の分布を示す輝度ヒストグラムを示す図である。短秒露光画像の画素出力値の分布を示す輝度ヒストグラムを示す図である。本発明の実施形態による画像処理装置の構成例を示す図である。

符号の説明

８００イメージセンサ
８０１長秒中輝度画素検出手段
８０２長秒中輝度領域画像生成手段
８０３短秒中輝度画素検出手段
８０４短秒中輝度領域画像生成手段
８０５共通中輝度画素検出手段
８０６共通中輝度領域画像生成手段
８０７輝度レベル比演算手段
８０８補正ゲイン係数演算手段
８０９画像合成手段

Claims

同一シーンに対して撮像された露光量が多い長秒露光画像と露光量が少ない短秒露光画像とを合成する画像処理装置であって、
前記長秒露光画像から第１の中間輝度画素値領域の画素値を持つ画素の画素位置を検出する長秒中輝度画素検出手段と、
前記短秒露光画像から第２の中間輝度画素値領域の画素値を持つ画素の画素位置を検出する短秒中輝度画素検出手段と、
前記長秒中輝度画素検出手段により検出された画素位置と前記短秒中輝度画素検出手段により検出された画素位置とが共通する画素位置である画素を共通画素とし、前記共通画素の画素位置における前記長秒露光画像の画素値及び前記短秒露光画像の画素値を基に補正ゲイン係数を演算する補正ゲイン係数演算手段と、
前記短秒露光画像に前記補正ゲイン係数を乗算し、前記乗算された短秒露光画像及び前記長秒露光画像を合成する画像合成手段と、を有し、
前記第１の中間輝度画素値領域及び前記第２の中間輝度画素値領域に含まれる画素数を動画モード及び静止画モードとで変更し、前記動画モードの際の画素数に比べて、前記静止画モードの際の画素数を大きくすること
を特徴とする画像処理装置。
前記補正ゲイン係数演算手段は、前記共通画素の画素位置における前記長秒露光画像の画素値及び前記短秒露光画像の画素値の比の平均値を前記補正ゲイン係数として演算することを特徴とする請求項１記載の画像処理装置。
前記第１の中間輝度画素値領域は、最大輝度画素値の３０％以上かつ７０％以下の範囲の画素値であり、
前記第２の中間輝度画素値領域は、最大輝度画素値の３０％以上かつ７０％以下の範囲の画素値であることを特徴とする請求項１又は２記載の画像処理装置。
前記第１の中間輝度画素値領域は、最大輝度画素値の１０％以上かつ８０％以下の範囲の画素値であり、
前記第２の中間輝度画素値領域は、最大輝度画素値の２０％以上かつ９０％以下の範囲の画素値であることを特徴とする請求項１又は２記載の画像処理装置。
同一シーンに対して撮像された露光量が多い長秒露光画像と露光量が少ない短秒露光画像とを合成する画像処理方法であって、
前記長秒露光画像から第１の中間輝度画素値領域の画素値を持つ画素の画素位置を検出する長秒中輝度画素検出ステップと、
前記短秒露光画像から第２の中間輝度画素値領域の画素値を持つ画素の画素位置を検出する短秒中輝度画素検出ステップと、
前記長秒中輝度画素検出ステップにより検出された画素位置と前記短秒中輝度画素検出ステップにより検出された画素位置とが共通する画素位置である画素を共通画素とし、前記共通画素の画素位置における前記長秒露光画像の画素値及び前記短秒露光画像の画素値を基に補正ゲイン係数を演算する補正ゲイン係数演算ステップと、
前記短秒露光画像に前記補正ゲイン係数を乗算し、前記乗算された短秒露光画像及び前記長秒露光画像を合成する画像合成ステップと、を有し、
前記第１の中間輝度画素値領域及び前記第２の中間輝度画素値領域の画素数を、動画モード及び静止画モードとで変更し、前記動画モードの際の画素数に比べて、前記静止画モードの際の画素数を大きくすること
を特徴とする画像処理方法。