JP5600163B2 - デジタル画像処理方法及び前記画像を明るくする装置 - Google Patents

Description

本発明は、デジタル画像の処理、特にデジタル画像を明るく(lightening)すること及びデジタルビデオを明るくすることに関する。

例えばデジタルカメラ等の機器を使用してデジタル画像又はデジタルビデオを撮像する場合、後者がある特定の元の細部を隠蔽する暗い領域を含む可能性があり、画像のこれらの領域は露出不足と言われる。これらの画像又はビデオが逆光照明でも撮像されるため、撮像された画像は非常に暗い領域及び非常に明るい領域を含む。

現在、画像の全体的な明るさを変更することに基づいてデジタル画像の暗い領域及び／又は明るい領域の隠蔽された細部を明らかにする方法がある。しかし、これらの処理は、画像の明るさの平均測定値に依存し、画像の局所的なコントラストを考慮しない。従って、これらの処理により、画像の全体的なコントラストが損失し、画像の非常に明るい領域又は非常に暗い領域の細部も損失する。

他の方法は、画素の明るさの関数として算出された乗算ゲインを使用し、同一のゲインは、画像中に同一の明るさを含む全ての画素に適用される。しかし、多くの場合、これらの方法により画像中で「ホワイトアウト」現象が発生する。すなわち、画像の全体的なコントラスト及び局所的なコントラストが損失する。実際には、このホワイトアウト現象は、明るくする場合には画像の使用可能なダイナミックレンジの高域又は暗くする場合には低域のいずれかに対して画素値を再分配すると現れる。また、明るい領域又は暗い領域の画像、すなわち画素値をこのように再分配するかあるいは圧縮することにより解像度が低下するため、これらの領域において有用な細部が損失する。

シーン、すなわち画像全体の一般的な明るさを高める物理的なフラッシュの使用を例に挙げることが可能である。この物理的なフラッシュは、細部及びコントラストの損失を招く画像の明るい領域を飽和する効果を有する。

シーンの暗い部分を可視にするが、シーンの明るい部分を飽和させるように、露出時間を長くし且つ他の露出パラメータを固定すること等により、画像が撮像される場合にそれを露出過度にすることが更に可能である。

逆に、露出時間を短くする等、画像が撮像される場合にそれを露出不足にすることにより、シーンの明るい領域が保持されるが、この方法は、後続の画像処理で更に増幅される暗い領域においてスプリアスノイズを生成する。

種々の露出時間で多数のデジタル画像を撮像し、マージすることにより隠蔽された細部を明らかにするのに十分な情報を取得することを伴うシーンの暗い部分及び明るい部分の双方のレンダリングを最適化する方法もあるが、これらの処理は複雑でコストが高い。

結論として、これらの全ての方法は、画像の局所的なコントラストを低下させることにより画素の明るさを変更するという欠点を有する。すなわち、暗い画素は、それが暗い領域又は明るい領域に位置するかに関係なく同一に明るくされる。明るい領域で暗い画素を明るくすることは、実際には領域のコントラストを直接低下させる。

また、ビデオが明るくされる場合、ビデオの種々の画像に対する不適当な処理により、ある画像から次の画像への色の全体的又は局所的な変動及び明るくすることによる全体的又は局所的な変動を招くため、ビデオのコンテンツが徐々に不安定になる。

一実現例及び一実施形態によると、特に画像の明るい領域において画像及びデジタルビデオのコントラストを保持しつつ、画像及びビデオを明るくする方法及び装置が提案される。

別の実現例及び実施形態によると、画像及びデジタルビデオの色を保持しつつ、画像及びビデオを明るくすることが提案される。

また、カメラにより撮像されたか、あるいはコンピュータに格納された画像及びビデオを編集する際にそれらを明るくできることが更に提案される。撮像前、例えば現在のデジタルカメラにより提供される画像プレビューモードの間にこの明るくする処理を実行することが更に提案される。カメラ内等に画像及びビデオを格納する前のカメラによる撮像時にそれらを明るくできることが更に提案される。

一態様によると、複数の画素を含むデジタル画像を処理する方法であって、画像の画素の輝度の関数である画像の画素数の分配のヒストグラムを算出する算出ステップを備える方法が提案される。

この方法は、低閾値と高閾値との間の輝度値を有する第１の画素の集合及び前記高閾値より大きい輝度値を有する第２の画素の集合への画像の画素の細分化と、第１の画素の集合の画素に対する第１の輝度処理と、第２の画素の集合の画素に対する第２の輝度処理とを含む前記ヒストグラムに基づいて画像を明るくするステップを更に備え、２つの輝度処理が異なり、第１の処理が画像の画素の輝度を上昇させることを含む。

換言すると、同一の処理が画像の全ての画素に適用される状態とは異なり、この場合、２つの異なる処理は画素の２つの別個の集合に適用される。第１の処理は、従来のフラッシュの効果を得るために第１の暗い画素の集合の輝度を上昇させるように適用される。第２の処理は、特に画像のコントラストを保持し且つ画像の明るい領域での「ホワイトアウト」現象を回避するために、第２の画素の集合のダイナミックレンジにわたりあまり暗くない画素の全ての値を再分配するように適用される。処理におけるこのような差異により、特に画像の明るい領域のコントラストを保持することが可能になる。

従って、デジタル画像の明るい領域の細部及びコントラストを保持しつつ、画像の暗い領域を明るくする簡単で安価な方法が提供される。この簡単な方法は単一の画像しか必要としないため、処理ステップを省くことが可能になる。更にこの方法は、限られたメモリ領域、エネルギー貯蔵及び計算機能を提供するデジタルカメラ、例えば移動電話機器に内蔵されたカメラ等に容易に組み込まれる。この方法は、例えばコンピュータ等の画像処理機能を含む機器に更に組み込まれてもよい。

一実現例によると、第１の輝度処理は、第１の画素の集合に適用された適応可能なガンマパラメータを有するガンマ型伝達関数処理を含む。

ガンマ型伝達関数を使用することにより、画像の暗い領域の輝度を十分に上昇させることが可能である。

別の実現例によると、第２の輝度処理は、第２の画素の集合に適用されたヒストグラムの等化、好ましくは平滑化された等化を含む。

これにより、画像のあまり暗くない領域のコントラストを保持することが可能になる。更にこれにより、コントラストの高い画像、すなわち非常に暗い領域及び非常に明るい領域を有する画像の暗いコンテンツの可視性を向上することが可能になる。

第２の集合の画素は高閾値と最大閾値との間の輝度値を有し、算出ステップは、初期ヒストグラムの算出と、それを上回り且つ下回ると初期ヒストグラムの値がゼロである輝度範囲の判定と、前記ヒストグラムを算出するための前記低閾値と前記最大閾値との間の範囲での輝度範囲の画素数の再分配とを含むのが有利である。

従って、画像の使用可能なダイナミックレンジ全体にわたり初期ヒストグラムを拡張することが可能である。

別の実現例によると、算出ステップは、輝度範囲の最小限と初期閾値との間の第１の領域の判定及び前記初期閾値と輝度範囲の最上限との間の第２の領域の判定と、前記ヒストグラムを算出するための前記低閾値と前記高閾値との間の範囲の第１の領域の画素数の第１の再分配及び前記高閾値と前記最大閾値との間の範囲の第２の領域の画素数の第２の再分配とを更に含む。

２つの輝度領域、すなわち非常に暗い領域及びあまり暗くない領域の識別を使用することにより、第２のあまり暗くない領域を拡張するより大幅にヒストグラムの非常に暗い領域を第１の再分配を介して拡張することが可能である。

更に別の実現例によると、方法は、画像の前記画素の明るくされた輝度と元の輝度との比に従って画像の各画素の色度を増幅することを含む画像の色のうちのいくつかを強調するステップを更に備える。

従って、画像の色を強調することが可能である。

別の実現例によると、方法は、ビデオシーケンスの複数の連続したデジタル画像の処理に適用され、各デジタル画像に対する処理が実行され、前記高閾値は、前記連続したデジタル画像に対する処理毎に定数値を有する。

従って、ビデオシーケンスの画像の輝度を変更する際にシーケンスの色を徐々に安定させる方法を提供することが可能である。また、画像を撮像する前又は撮像しない前に明るくされた画像をプレビューモードで表示する手段が提供される。

撮像された画像は、撮像カメラ又はコンピュータに組み込まれた画像処理ソフトウェアを使用して更に処理されてもよい。

別の態様によると、複数の画素を含むデジタル画像を処理する装置であって、画像の画素の輝度の関数である画像の画素数の分配のヒストグラムを算出する算出手段を備える装置が提案される。

この装置は、低閾値と高閾値との間の輝度値を有する第１の画素の集合及び前記高閾値より大きい輝度値を有する第２の画素の集合に画像の画素を細分化する細分化手段と、第１の画素の集合の画素に対して第１の輝度処理を実行する第１の輝度処理手段と、第２の画素の集合の画素に対して第２の輝度処理を実行する第２の輝度処理手段とを含む前記ヒストグラムに基づいて画像を明るくする明るくする手段を備え、２つの輝度処理が異なり、第１の処理が画像の画素の輝度を上昇させることを含む。

一実施形態によると、第１の輝度処理手段は、第１の画素の集合に適用された適応可能なガンマパラメータを有するガンマ型伝達関数処理を実行するように構成される。

別の実施形態によると、第２の輝度処理手段は、第２の画素の集合に適用されたヒストグラムの等化、好ましくは平滑化された等化を実行するように構成される。

第２の集合の画素は高閾値と最大閾値との間の輝度値を有し、前記算出手段は、初期ヒストグラムを算出し、それを上回り且つ下回ると初期ヒストグラムの値がゼロである輝度範囲を判定し、且つ前記ヒストグラムを算出するために前記低閾値と前記最大閾値との間の範囲での輝度範囲の画素数を再分配できるのが有利である。

別の実施形態によると、前記算出手段は、輝度範囲の最小限と初期閾値との間の第１の領域及び前記初期閾値と輝度範囲の最上限との間の第２の領域を判定し、且つ前記ヒストグラムを算出するために前記低閾値と前記高閾値との間の範囲の第１の領域の画素数及び前記高閾値と前記最大閾値との間の範囲の第２の領域の画素数を再分配できる。

更に別の実施形態によると、装置は、画像の各画素の明るくされた輝度と元の輝度との比に従って画像の前記画素の色度を増幅するように画像の色のうちのいくつかを強調する手段を備える。

別の実施形態によると、装置は、ビデオシーケンスの複数の連続したデジタル画像を処理でき、前記明るくする手段は、定数値を有する高閾値で連続したデジタル画像の各々を明るくできる。

別の態様によると、本明細書で先に規定されたようなデジタル画像処理装置を備える無線通信機器が更に提案される。

限定しない本発明の実現例及び実施形態の詳細な説明、並びに添付の図面を検討することにより、他の利点及び特徴が明らかとなるだろう。

図１は、デジタル画像処理方法の一実現例の主な段階を示す図である。 図２は、画像を明るくするステップの一実現例を示す図である。 図３は、特定の画像に適用される処理方法の例示的な一実現例を示す図である。 図４は、デジタル画像処理方法の別の実現例を示す図である。 図５は、デジタル画像処理方法の更に別の実現例を示す図である。 図６は、１つ以上のデジタル画像を処理する装置の一実施形態を示す図である。 図７は、１つ以上のデジタル画像を処理する装置を備える無線通信機器の一実施形態を示す図である。

図１は、デジタル画像処理方法の一実現例の主な段階を示す。

デジタル画像は複数の画素を含む。

多数のデジタル画像形式、例えば「ＲＧＢ」すなわち「赤、緑及び青」形式、「ＹＵＶ」すなわち「輝度、青色度び赤色度」形式、「Ｌａｂ」すなわち「鮮明度、赤−緑軸の範囲及び黄−青軸の範囲」形式、並びに「ＴＳＶ」すなわち「色相、彩度及び明度」形式等がある。

これらの全ての形式は、色空間を規定する３つの構成要素を使用してデジタル画像の各画素を規定するという共通の特徴を有する。

処理方法は、「ＹＵＶ」形式のデジタル画像に基づいて実行される。異なる形式を有する画像の場合には、「ＹＵＶ」形式に事前に変換することになる。

この処理方法は、算出ステップＳ１と、画像を明るくするステップＳ２とを備える。

算出ステップＳ１において、画像の画素の輝度の関数である画像の画素数の分配のヒストグラムＨ（Ｙ）を算出する。Ｙは、画像の画素の輝度を示すために使用される。

サンプリングピッチＮａに従って画像のサンプリングされたヒストグラム、すなわち画像の画素の判定されたサンプルを介したヒストグラムが算出されるのが有利である。従って、計算数及びメモリアクセスサイクル数を制限するために、画像の範囲に含まれる画素数を減らす。算出ステップＳ１の前にデジタル画像の解像度を低下させるステップを実行することが更に可能である。

画像を明るくするステップＳ２は、画像の画素の細分化Ｓ２０と、第１の輝度処理Ｓ２１と、第２の輝度処理Ｓ２２とを含む。この明るくするステップＳ２を次の図２を用いて説明する。

図２は、画像を明るくするステップＳ２の一実施形態を示す。

尚、画像の輝度ダイナミックレンジは、Ｄｙ＝［ＤｙＭｉｎ；ＤｙＭａｘ］の範囲に含まれる。

画像の画素を細分化するステップＳ２０において、サンプリングされたヒストグラムＨ（Ｙ）又はサンプリングされないヒストグラムＨ（Ｙ）は、低閾値ｂｉｎＭｉｎＯｕｔと高閾値ｂｉｎＭｉｄＯｕｔとの間の輝度値を有する第１の画素の集合Ｅ１、及び前記高閾値ｂｉｎＭｉｄＯｕｔと最大閾値ｂｉｎＭａｘＯｕｔとの間の輝度値を有する第２の画素の集合Ｅ２を判定するための基準として使用される。従って、［ｂｉｎＭｉｎＯｕｔ； ｂｉｎＭａｘＯｕｔ］の範囲は、画像Ｄｙの輝度ダイナミックレンジ内に含まれる。

写真、すなわち８ビット上で符号化された個々のデジタル画像の場合、画像の輝度ダイナミックレンジはＤｙ＝［０； ２５５］の範囲内に含まれる。この場合、画像の輝度ダイナミックレンジの最小値ＤｙＭｉｎは０であり、画像の輝度ダイナミックレンジの最大値ＤｙＭａｘは２５５である。８ビット上で符号化されたビデオの場合、ビデオのデジタル画像の輝度ダイナミックレンジはＤｙ＝［１６； ２３５］の範囲内に含まれる。この場合、ＤｙＭｉｎ＝１６及びＤｙＭａｘ＝２３５である。

低閾値ｂｉｎＭｉｎＯｕｔは、画像の輝度ダイナミックレンジの最小値ＤｙＭｉｎ以上である。

最大閾値ｂｉｎＭｉｘＯｕｔは、画像の輝度ダイナミックレンジの最大値ＤｙＭａｘ以下である。

高閾値ｂｉｎＭｉｄＯｕｔは、それを下回ると画像が非常に暗いと考えられる閾値である。この高閾値ｂｉｎＭｉｄＯｕｔは、画像の輝度ダイナミックレンジ、画像のヒストグラムの値、並びに第１の集合及び第２の集合の画素値に対する再分配率に従って変動する。この高閾値ｂｉｎＭｉｄＯｕｔは、画像の輝度ダイナミックレンジがより小さくなる時に全てより大きくなり、ヒストグラムがゼロ値の大部分を含む場合に全てより大きくなってもよい。高閾値ｂｉｎＭｉｄＯｕｔは、通常、［１０； １２０］∈Ｄｙの範囲の値をとる。

図２は、明るくするステップＳ２に対応し且つ画像の全ての画素、すなわち［ｂｉｎＭｉｎＯｕｔ； ｂｉｎＭａｘＯｕｔ］∈Ｄｙの範囲内の輝度を有する画素に適用される輝度処理の例示的な曲線Ｂ（Ｙ）を更に表す。

輝度処理Ｂ（Ｙ）は、画像の全ての画素に適用される伝達関数により表された全体的な処理である。この伝達関数Ｂ（Ｙ）は、第１の輝度処理Ｓ２１及び第２の輝度処理Ｓ２２に対応する。尚、伝達関数Ｂ（Ｙ）は、画像の全ての画素、すなわちＤｙの範囲に適用される従来の単純なガンマ伝達関数Ｔ_c（Ｙ）とは異なる。更にこの伝達関数Ｂ（Ｙ）は、画像の全ての画素に適用される画像のヒストグラムＨ（Ｙ）を等化する従来の単純な等化伝達関数Ｅ_c（Ｙ）とは異なる。

従って、この伝達関数Ｂ（Ｙ）は、画素の２つの集合Ｅ１、Ｅ２に適用された全く同一の処理ではなく、双方の画素の集合に適用された２つの異なる輝度処理Ｓ２１、Ｓ２２を含む全体的な輝度処理に対応する。

一般に、第１の輝度処理Ｓ２１において、第１の画素の集合Ｅ１の画素の輝度は上昇し、第２の輝度処理Ｓ２２において、異なる輝度処理は第２の画素の集合Ｅ２の画素に適用される。

第１の輝度処理Ｓ２１において、例えばガンマ型伝達関数Ｔ_t（Ｙ）を第１の画素の集合Ｅ１の画素値、すなわち［ｂｉｎＭｉｎＯｕｔ； ｂｉｎＭｉｄＯＵｔ］の範囲に含まれた値に適用することが可能である。このガンマ型伝達関数Ｔ_t（Ｙ）は、修正ガンマ伝達関数Ｔ_m（Ｙ）に対応し、低閾値ｂｉｎＭｉｎＯｕｔと高閾値ｂｉｎＭｉｄＯｕｔとの間のカットオフ閾値ＳＣからの、すなわち［ＳＣ； ｂｉｎＭｉｄＯｕｔ］の範囲に含まれた画素輝度に対する前記修正ガンマ伝達関数Ｔ_m（Ｙ）を適用するように優先的に変換される。ガンマ型伝達関数Ｔ_t（Ｙ）は適応可能なガンマパラメータγを有する。このガンマ型伝達関数Ｔ_t（Ｙ）は画像の輝度ダイナミックレンジＤｙに依存し、画素の輝度の上昇はガンマパラメータγに依存する。

更にこのガンマ型伝達関数Ｔ_t（Ｙ）は、画像を表示するために使用された画面の種類、特にそのような画面のコントラスト特性に依存する。

一般に、ガンマパラメータγの値は、［０．４； ０．７］の範囲に含まれる。

例えば適切なコントラストを有する画面の場合、移動電話の液晶ディスプレイＬＣＤ画面、ＣＲＴ、すなわち「ブラウン管」、画面、ガンマパラメータγの最新世代は、０．５５であるのが好ましい。

あまり適切でないコントラストを有する画面の場合、ガンマパラメータγは０．６５であるのが好ましい。

８ビット上で符号化された写真又はビデオに対する従来のガンマ伝達関数Ｔ_c（Ｙ）は、以下の式（１）により示される。

- Ｙ：元の画像の画素の輝度
- Ｙ’：処理後の前記画素の輝度
- Ｔ_c（Ｙ）：従来のガンマ伝達関数
- γ：適応可能なガンマパラメータ

図２は、パラメータγ＝０．５５である従来のガンマ伝達関数Ｔ_c（Ｙ）の一例を更に示す。

８ビット上で符号化された写真又はビデオの場合、修正ガンマ伝達関数Ｔ_m（Ｙ）は、例えば以下の式（２）により示される。

- Ｙ：元のビデオの画像の画素の輝度
- Ｙ’：処理後の前記画素の輝度
- ＤｙＭｉｎ：画像の輝度ダイナミックレンジの最小値
- ＤｙＭａｘ：画像の輝度ダイナミックレンジの最大値
- Ｔ_m（Ｙ）：修正ガンマ伝達関数
- γ：適応可能なガンマパラメータ

この図２は、パラメータγ＝０．４５である修正ガンマ伝達関数Ｔ_m（Ｙ）の一例を更に示す。式Ｙ’＝Ｙを有する恒等関数Ｉｄを図２に更に示す。

第２の輝度処理Ｓ２２は、第１の画素の集合Ｅ１に適用された第１の輝度処理Ｓ２１とは異なる第２の画素の集合Ｅ２の画素に対する輝度処理である。

例えばこの第２の処理Ｓ２２は、画像の残りのダイナミックレンジ、すなわち第２の画素の集合Ｅ２にわたり画素の輝度を再分配する一次関数であってもよい。

この第２の処理は、第２の画素の集合Ｅ２の画素に適用されたヒストグラムＨ（Ｙ）を等化する従来の等化伝達関数Ｅ_c（Ｙ）又はより適切には平滑等化伝達関数Ｅ_L（Ｙ）であってもよい。この平滑等化伝達関数Ｅ_L（Ｙ）により、等化後の写真のコントラストを保持するように画素の輝度の上昇を判別することが可能になる。

ヒストグラムの従来の非平滑等化の原理は、画素の輝度を均一に再分配するためのものである。平滑化されるか否かにかかわらず、以下の式（３）に従う画像の集合ヒストグラムＨｃ（Ｙ）に基づいて等化が実行されてもよい。

ヒストグラムＨ（Ｙ）を等化し且つ平滑化する平滑等化伝達関数Ｅ_L（Ｙ）は、式（４）を有する全体的な平滑等化伝達関数Ｅ_G（Ｙ）から判定されてもよい。

- ｎｏｒｍ： 正規化パラメータ、例えば、norm=BinMaxOut／Hc(Dymax)
- Ａ：平滑化パラメータ、例えばＡ＝５

従って、全体的な輝度処理Ｂ（Ｙ）により、デジタル画像の全ての画素を継続的に処理することが可能になる。

伝達関数Ｂ（Ｙ）は、以下の式（５〜８）により示される。

- ＳＣ：例えば２であるカットオフ閾値
- Ｔ_m（Ｙ）：修正ガンマ伝達関数
- Ｔ_t（Ｙ）：第１の輝度処理Ｓ２１に対応するガンマ伝達関数Ｔ_t（Ｙ）
- Ｅ_L（Ｙ）：第２の輝度処理Ｓ２２に対応する平滑等化伝達関数
- Ｐ１：Ｔ_t（ｂｉｎＭｉｄＯｕｔ）の値、すなわちＰ１＝Ｔ_m（ｂｉｎＭｉｄＯｕｔ−ＳＣ）
- Ｐ２：Ｅ_L（ｂｉｎＭａｘＯｕｔ）の値、すなわちＰ２＝Ｅ_G（ｂｉｎＭａｘＯｕｔ）−Ｅ_G（ｂｉｎＭｉｄＯｕｔ）＋Ｐ１

尚、全体的な輝度処理Ｂ（Ｙ）は、画像Ｄｙのダイナミックレンジにわたり継続的である。

また、全体的な輝度処理Ｂ（Ｙ）の結果得られる値が画像の輝度ダイナミックレンジの範囲Ｄｙ内に含まれたままであるように、全体的な輝度処理Ｂ（Ｙ）の限界値は切り捨てられてもよい。すなわち、
- Ｂ（Ｙ） ＞ ＤｙＭａｘの場合、Ｂ（Ｙ）＝ＤｙＭａｘ
- Ｂ（Ｙ） ＜ ＤｙＭｉｎの場合、Ｂ（Ｙ）＝ＤｙＭｉｎ
また、［ＤｙＭｉｎ；ｂｉｎＭｉｄＯｕｔ］の範囲内に含まれるカットオフ閾値ＳＣが判定され、それを下回ると画像がノイズの影響を受けると考えられる。この処理は、画像の非常に暗い領域においてノイズをフィルタリングするために使用される。

また、最大閾値ｂｉｎＭａｘＯｕｔ以上の輝度を有する画素の場合、線形処理は、画像の非常に明るい領域において使用される。特にサンプリングされたヒストグラムを使用する場合、この線形処理により、［ＢｉｎＭａｘＯｕｔ；ＤｙＭａｘ］の範囲内に含まれる画像の画素値を保持することが可能になる。

図３は、画像Ｉ_Bを取得するために特定のデジタル画像Ｉ_oの双方の画素の集合に適用されるような全体的な輝度処理Ｂ（Ｙ）の例示的な一実現例を示す。

この図３は、比較として、他の２つの画像Ｉ_E、Ｉ_G、すなわち元の画像Ｉ_oの全ての画素に適用された従来の非平滑等化伝達関数Ｅ_c（Ｙ）から取得された第１の画像Ｉ_E、及び元の画像Ｉ_oの全ての画素に適用された従来のガンマ伝達関数Ｔ_c（Ｙ）から取得された第２の画像Ｉ_Gを更に示す。

元のデジタル画像Ｉ_oは、画素の４つの領域Ｚ１〜Ｚ４及びそれらの輝度Ｙに従って前記画像Ｉ_oの画素数Ｎの分配を示す関連付けられたヒストグラムＨ_o（Ｙ）を含む。

この例において、第１の領域Ｚ１は２３５の輝度を有する３０個の画素を含み、第２の領域Ｚ２は０の輝度を有する１０個の画素を含み、第３の領域Ｚ３は２５５の輝度を有する３０個の画素を含み、第４の領域Ｚ４は２０の輝度を有する１０個の画素を含む。

元の画像Ｉ_oの輝度ダイナミックレンジＤｙ＝［０； ２５５］全体に適用された従来の非平滑等化伝達関数Ｅ_c（Ｙ）は、以下の式（９）により判定される。

- Ｙ：元の画像Ｉ_ｏの画素の輝度
- Ｙ’：処理後の前記画素の輝度
- Ｈ_o：元のデジタル画像と関連付けられたヒストグラム
- ＤｙＭｉｎ：画像の輝度ダイナミックレンジの最小値、すなわちＤｙＭｉｎ＝０
- ＤｙＭａｘ：画像の輝度ダイナミックレンジの最大値、すなわちＤｙＭａｘ＝２５５
- Ｎｐｉｘｅｌｓ：画像の合計画素数、すなわちＮｐｉｘｅｌｓ＝８０

元の画像Ｉ_oに適用されたこの伝達関数Ｅ_c（Ｙ）により、等化画像を示す第１の画像Ｉ_E及びその関連付けられたヒストグラムＨ_E（Ｙ）が得られる。この等化画像Ｉ_Eは、画素の４つの領域Ｚ_E１〜Ｚ_E４を含む。第１の領域Ｚ_E１は１４５の輝度を有する３０個の画素を含み、第２の領域Ｚ_E２は０の輝度を有する１０個の輝度を含み、第３の領域Ｚ_E３は２５５の輝度を有する３０個の画素を含み、第４の領域Ｚ_E４は３６の輝度を有する１０個の画素を含む。この方法により、元の画像Ｉ_oの明るい領域Ｚ１及びＺ３のコントラストは向上するが、暗い領域Ｚ２及びＺ４は十分に明るくならない。

g＝０．５５である従来のガンマ伝達関数Ｔ_c（Ｙ）は、元の画像の輝度ダイナミックレンジＤｙ＝［０；２５５］全体に適用される。この従来のガンマ伝達関数Ｔ_c（Ｙ）は、図２を用いて上述した式（１）により示される。元の画像Ｉ_oに適用されたこの従来のガンマ伝達関数Ｔ_c（Ｙ）により、増加画像と呼ばれる第２の画像Ｉ_G及びその関連付けられたヒストグラムＨ_G（Ｙ）が得られる。この増加画像Ｉ_Gは、画素の４つの領域Ｚ_G１〜Ｚ_G４を含む。第１の領域Ｚ_G１は２４３の輝度を有する３０個の画素を含み、第２の領域Ｚ_G２は０の輝度を有する１０個の輝度を含み、第３の領域Ｚ_G３は２５５の輝度を有する３０個の画素を含み、第４の領域Ｚ_G４は６２の輝度を有する１０個の画素を含む。この方法により、暗い領域の輝度は上昇するが、明るい領域のコントラストは低下する。すなわち、この方法により「ホワイトアウト」現象が発生する。

図２を用いて上述したような伝達関数Ｂ（Ｙ）は、元の画像の輝度ダイナミックレンジＤｙ＝［０；２５５］全体に更に適用される。ここで伝達関数Ｂ（Ｙ）は、以下のパラメータを含む前式（５〜８）により示される。

- ＤｙＭｉｎ＝０
- ＤｙＭａｘ＝２５５
- ＳＣ＝２
- ｂｉｎＭｉｎＯｕｔ＝０
- ｂｉｎＭｉｄＯｕｔ＝２０
- ｂｉｎＭａｘＯｕｔ＝２５０
- γ＝０．５５
- Ａ＝１

元の画像Ｉ_oに適用されたこの伝達関数Ｂ（Ｙ）により、明るくされた画像を示す第３の画像Ｉ_B及びその関連付けられたヒストグラムＨ_B（Ｙ）が得られる。この明るくされた画像Ｉ_Bは、画素の４つの領域Ｚ_B１〜Ｚ_B４を含む。

第１の領域Ｚ_B１の場合、元の画像の第１の領域Ｚ１の輝度は２３５であり、式（７）が適用され、Ｂ（２３５）＝Ｅ_L（２３５）＝Ｅ_G（２３５）−Ｅ_G（２０）＋Ｐ１＝１５６−６２＋５６＝１５０となる。

第２の領域Ｚ_B２の場合、元の画像の第２の領域Ｚ２の輝度は０であり、式（５）が適用され、Ｂ（０）＝ｂｉｎＭｉｎＯｕｔ＝０となる。

第３の領域Ｚ_B３の場合、元の画像の第３の領域Ｚ３の輝度は２５５である。式（８）が適用されて、
Ｂ（２５５）＝｛（２５５−Ｐ２）・２５５＋２５５・（Ｐ２−２５０）｝／（２５５−２５０）＝２５５となる。

第３の領域Ｚ_B４の場合、元の画像の第４の領域Ｚ４の輝度は２０である。式（６）が適用され、Ｂ（２０）＝Ｔ_m（１８）＝５６となる。

結論として、第１の領域Ｚ_B１は１５０の輝度を有する３０個の画素を含み、第２の領域Ｚ_B２は０の輝度を有する１０個の画素を含み、第３の領域Ｚ_B３は２５５の輝度を有する３０個の画素を含み、第４の領域Ｚ_B４は５６の輝度を有する１０個の画素を含む。従って、この伝達関数Ｂ（Ｙ）は、元の画像Ｉ_oのコントラストを保持しつつ画像の暗い領域の輝度を上昇させる。

従って、この結果、画像Ｉ_EとＩ_Gとを比較すると改善が見られる。

図４は、デジタル画像を処理する方法の別の実現例を示す。

算出ステップＳ１は、初期ヒストグラムＨｉ（Ｙ）を算出するステップＳ１０と、輝度範囲Ｌｉを判定するステップＳ１１と、画像の画素数を再分配するステップＳ１２とを含む。

図１を用いて説明したサンプリングされたヒストグラムを算出するために使用されたのと同一の方法で画像のサンプリングされた初期ヒストグラムを算出することが更に可能であるのが有利である。

算出ステップＳ１０において、画像の画素数Ｎの分配の初期ヒストグラムＨｉ（Ｙ）は、画像の輝度ダイナミックレンジＤｙ＝［ＤｙＭｉｎ；ＤｙＭａｘ］にわたるそれらの輝度Ｙに従って算出される。

次に、判定ステップＳ１１において、輝度範囲Ｌｉ＝［ｂｉｎＭｉｎＩｎ；ｂｉｎＭａｘＩｎ］が範囲Ｄｙ内で判定され、それを上回り且つ下回ると初期ヒストグラムＨｉ（Ｙ）がゼロである。

次に、前記ヒストグラムＨ（Ｙ）を算出するために、前記低閾値ｂｉｎＭｉｎＯｕｔと前記最大閾値ｂｉｎＭａｘＯｕｔとの間に含まれた範囲で輝度範囲Ｌｉの画素数を再分配するステップＳ１３を実行する。

例えば、以下の式（１０）に従って再分配伝達関数Ｒ（Ｙ）を使用することが可能である。

この伝達関数Ｒ（Ｙ）により、画像Ｄｙのダイナミックレンジのエクステント全体にわたり画素を均一に再分配することが可能になる。

この場合、前記高閾値ｂｉｎＭｉｄＯｕｔは、以下の式（１１）に従って算出されるのが好ましい。

画像のダイナミックレンジ全体を使用しないことを選択し、且つ第２のあまり暗くない領域Ｚｃに含まれた画素に対して第１の暗い領域Ｚｓに含まれた非常に暗い画素を異なる方法で再分配することが更に可能である。

次に輝度限界は、［１０； ８０］∈Ｄｙの範囲内に含まれる初期閾値ｂｉｎＭｉｄＩｎにより２つの領域ＺｓとＺｃとの間で判定される。前記初期閾値ｂｉｎＭｉｄＩｎは２０であるのが好ましい。

画像の領域Ｚｓに従って２つの異なる再分配を実行するために、輝度範囲Ｌｉを判定するステップＳ１１において、第１の領域Ｚｓ＝［ｂｉｎＭｉｎＩｎ； ｂｉｎＭｉｄＩｎ］が判定され（Ｓ１１１）、第２の領域Ｚｃ＝［ｂｉｎＭｉｄＩｎ； ｂｉｎＭａｘＩｎ］が判定される（Ｓ１１２）。

その後、画像の画素数を再分配するステップＳ１２において、前記低閾値ｂｉｎＭｉｎＯｕｔと前記高閾値ｂｉｎＭｉｄＯｕｔとの間に含まれた範囲内で第１の領域Ｚｓの画素数を再分配する第１のステップＳ１２１が実行され、前記高閾値ｂｉｎＭｉｄＯｕｔと前記最大閾値ｂｉｎＭａｘＯｕｔの間に含まれた範囲で第２の領域Ｚｃの画素数を再分配する第２のステップＳ１２２が実行され、前記ヒストグラムＨ（Ｙ）が算出される。

例えば、以下の式（１２）に従って第１の再分配伝達関数Ｒ１（Ｙ）を使用することが可能である。

- β：β＝(binMidOut-DyMin)／(binMidin-binMinIn)で表わされる、 第１の画素の集合Ｅ１の増幅率

例えば、以下の式（１３）に従って第２の再分配伝達関数Ｒ２（Ｙ）を使用することが可能である。

一変形例として、輝度範囲Ｌｉを判定するステップＳ１１は、前記輝度範囲Ｌｉ内に含まれた第３の領域Ｚｎを判定するステップを含んでもよい。この第３の領域Ｚｎは、初期ヒストグラムＨｉ（Ｙ）がゼロである領域に対応し、最小限ｂｉｎＺｅｒｏＭｉｎ及び最上限ｂｉｎＺｅｒｏＭａｘを含む。

次に、前記ヒストグラムＨ（Ｙ）を算出するために、前記低閾値ｂｉｎＭｉｎＯｕｔと前記高閾値ｂｉｎＭｉｄＯｕｔとの間の範囲の［ｂｉｎＭｉｎＩｎ、ｂｉｎＺｅｒｏＭｉｎ］の範囲内に含まれた画素数を再分配する第１のステップＳ１１１が実行され、前記高閾値ｂｉｎＭｉｄＯｕｔと前記最大閾値ｂｉｎＭａｘＯｕｔとの間の範囲の［ｂｉｎＺｅｒｏＭａｘ；ｂｉｎＭａｘＩｎ］の範囲内に含まれた画素数を再分配する第２のステップＳ１１２が実行される。

この変形例において、前記高閾値ｂｉｎＭｉｄＯｕｔは、以下の式（１４）に従って算出されるのが好ましい。

- α；定数パラメータで例えば０．５

最後に、使用される再分配ステップにかかわらず、画像を暗くするのを回避するため、第２の画素の集合Ｅ２の範囲の最上限ｂｉｎＭａｘＯｕｔは、初期ヒストグラムＨｉ（Ｙ）の輝度範囲Ｌｉの最上限ｂｉｎＭａｘＩｎ未満であってはならない。

図５は、デジタル画像を処理する方法の別の実現例を示す。図５は、先行する図面で説明されたある特定のステップを含む。

方法は、画像の露出不足を検出する検出ステップＳ３を備える。この検出ステップＳ３を使用することにより、画像を明るくする次のステップＳ２を実行するか否かを判断することが可能になる。

この検出ステップＳ３の間、２つのテストが実施される。

第１のテストは、算出されたヒストグラムＨ（Ｙ）に基づいて暗い輝度を有する画素の比率を推定するものである。この第１のテストは、以下の式（１５）に従って第１の暗くする基準Ｓｕｍ＿Ａを算出すること含む。

- Ｙｇｒｅｙ：ダイナミックレンジＤｙに含まれた輝度値であり、例えばＹｇｒｅｙ＝１００

第１の暗くする基準Ｓｕｍ＿Ａが、画像の大きさの割合、例えば画像の大きさの３／４に従って判定された閾値τより大きい場合、明るくするステップＳ２を実行する。

第２のテストは、算出されたヒストグラムＨ（Ｙ）に基づいて暗い輝度を有する画素の比率を推定するように更に実行されてもよい。この第２のテストは、以下の式（１６）及び（１７）に従って第２の暗くする基準Ｓｕｍ＿Ｂ及び第３の暗くする基準Ｓｕｍ＿Ｃを算出することを含む。

- Ｙｂｌａｃｋ：Ｙｂｌａｃｋ ＜ Ｙｇｒｅｙとなるように範囲Ｄｙに含まれた輝度値であり、例えばＹｂｌａｃｋ＝５０

更に第３の暗くする基準により、以下の式（１８）に従って第２の暗くする基準に従う直線Ｄ１の式を計算することが可能になる。

- θ：１．２１である定数パラメータ
- ρ：−１３８０である定数パラメータ

この例において、第１の暗くする基準Ｓｕｍ＿Ａが前記判定された閾値τ以上であり、且つ第３の暗くする基準Ｓｕｍ＿Ｃが直線Ｄ１以下である場合、すなわちＳｕｍ＿Ｃ ≦θ・Ｓｕｍ＿Ｂ＋ρである場合、次の明るくするステップＳ２を実行し、さもなければ方法を中断する。

画像処理方法は、画像の色のうちのいくつかを強調するステップＳ４を更に備えてもよい。この色強調ステップにおいて、画像の各画素の色度は、画像の前記画素の明るくされた輝度と元の輝度との比に従って上昇する。

例えば、以下の式（１９）及び（２０）に従って元の画像の画素の色度を変更することが可能である。

- Ｕ：元の画像の画素の青色度（blue chrominance)
- Ｕ’：変更後の画素の青色度
- Ｖ：元の画像の画素の赤色度(red chrominance)
- Ｖ’：変更後の画素の赤色度

先行する図面で説明されたデジタル画像を処理する方法は、ビデオシーケンスの複数の連続したデジタル画像に更に適用されてもよい。算出ステップＳ１及び明るくするステップＳ２は、各デジタル画像上で実行される。

この方法において、前記初期閾値ｂｉｎＭｉｄｉｎは、前記連続したデジタル画像に対する処理毎に２０であるのが好ましい定数値を有する。

時間フィルタＢ_v（Ｙ、ｔ）を前記ビデオシーケンスに適用することにより、ビデオシーケンスの処理を改善することが更に可能である。この時間フィルタＢ_v（Ｙ、ｔ）の目的は、時間ｔにおいてシーケンスの画像に適用された全体的な輝度処理Ｂ（Ｙ、ｔ）がシーケンスの先行する画像、すなわち先行する時間ｔ−１において適用された全体的な輝度処理Ｂ（Ｙ、ｔ−１）とそれほど異ならないように、全体的な輝度処理Ｂ（Ｙ）を平滑化することである。

例えば、以下の式（２１）により示される時間フィルタＢ_v（Ｙ、ｔ）を適用することが可能である。

- ｔ：現在時刻
- ｔ−１：先行する時間
- ＦＡＣ＿ＬＩＳＳ：平滑化率であり、例えば１６

図６は、先行する図面で説明した方法を実現できるデジタル画像処理装置１を示す。

このデジタル画像処理装置１は、画像の画素の輝度の関数である画像の画素数の分配のヒストグラムを算出する算出手段２と、前記ヒストグラムに基づいて画像を明るくする明るくする手段３とを備える。

この明るくする手段３は、低閾値と高閾値との間の輝度値を有する第１の画素の集合及び前記高閾値と最大閾値との間の輝度値を有する輝度の第２の画素の集合に画像の画素を細分化する細分化手段４を備える。

明るくする手段３は、第１の画素の集合の画素に対して第１の輝度処理を実行する第１の輝度処理手段５と、第２の画素の集合の画素に対して第２の輝度処理を実行する第２の輝度処理手段６とを更に備える。２つの輝度処理は異なり、第１の処理は画像の画素の輝度を上昇させることを含む。

この装置１は、画像の各画素の明るくされた輝度と元の輝度との比に従って画像の前記画素の色度を上昇させるように画像の色のうちのいくつかを強調する手段７を更に備えてもよい。

これらの全ての手段は、ソフトウェアとして又は論理回路の形態でも生成されてもよく、コンピュータ又はマイクロプロセッサに組み込まれてもよい。

図７は、デジタル撮像機器４１を含む無線通信機器４０を示す。

無線通信機器４０は、デジタルデータを送受信するケース４２と、アンテナ４３とを備える。そのような無線通信機器は、移動電話等であってもよい。

デジタル撮像機器４１は、画像Ｐｉ及び／又はビデオＶｉを撮像できる。

このデジタル撮像機器４１は、デジタル画像処理装置１を備える。

Claims (11)

1. 複数の画素を含むデジタル画像を処理する方法であり、前記画像の画素の輝度の関数である前記画像の画素数の分配のヒストグラムを算出する算出ステップ（Ｓ１）を備える方法であって、
   低閾値と高閾値との間の輝度値を有する第１の画素の集合及び前記高閾値より大きい輝度値を有する第２の画素の集合への前記画像の画素の細分化（Ｓ２０）と、前記第１の画素の集合の画素に対する第１の輝度処理（Ｓ２１）と、前記第２の画素の集合の画素に対する第２の輝度処理（Ｓ２２）とを含む前記ヒストグラムに基づいて前記画像を明るくするステップ（Ｓ２）を更に備え、
   前記２つの輝度処理（Ｓ２１、Ｓ２２）は異なり、
   前記第１の処理（Ｓ２１）は、前記画像の画素の輝度を上昇させるために、前記第１の画素の集合に適用された適応可能なガンマパラメータを有するガンマ型伝達関数処理を含み、
   前記第２の輝度処理（Ｓ２２）は、前記第２の画素の集合に適用された前記ヒストグラムの等化処理を含む
   ことを含むことを特徴とする方法。
2. 前記第２の集合の画素は前記高閾値と最大閾値との間の輝度値を有し、前記算出ステップ（Ｓ１）は、初期ヒストグラムの算出（Ｓ１０）と、それを上回り且つ下回ると前記初期ヒストグラムの値がゼロである輝度範囲の判定（Ｓ１１）と、前記ヒストグラムを算出するための前記低閾値と前記最大閾値との間の範囲での前記輝度範囲の画素数の再分配（Ｓ１２）とを含むことを特徴とする請求項１に記載の方法。
3. 前記算出ステップ（Ｓ１）は、前記輝度範囲の最小限と初期閾値との間の第１の領域の判定（Ｓ１１１）及び前記初期閾値と前記輝度範囲の最上限との間の第２の領域の判定（Ｓ１１２）と、前記ヒストグラムを算出するための前記低閾値と前記高閾値との間の範囲の前記第１の領域の画素数の第１の再分配（Ｓ１２１）及び前記高閾値と前記最大閾値との間の範囲の前記第２の領域の画素数の第２の再分配（Ｓ１２２）とを更に含むことを特徴とする請求項２に記載の方法。
4. 前記画像の前記画素の明るくされた輝度と元の輝度との比に従って前記画像の各画素の色度の増幅を含む、前記画像の色のうちのいくつかを強調するステップ（Ｓ４）を更に備えることを特徴とする請求項１乃至３のいずれか１項に記載の方法。
5. ビデオシーケンスの複数の連続したデジタル画像を処理する方法であって、請求項１乃至４のいずれか１項に従って各デジタル画像に対する処理が実行され、前記高閾値は、前記連続したデジタル画像に対する処理毎に定数値を有することを特徴とする方法。
6. 複数の画素を含むデジタル画像を処理する装置（１）であり、前記画像の画素の輝度の関数である前記画像の画素数の分配のヒストグラムを算出する算出手段（２）を備える装置であって、
   低閾値と高閾値との間の輝度値を有する第１の画素の集合及び前記高閾値より大きい輝度値を有する第２の画素の集合に前記画像の画素を細分化する細分化手段（４）と、前記第１の画素の集合の画素に対して第１の輝度処理を実行する第１の輝度処理手段（５）と、前記第２の画素の集合の画素に対して第２の輝度処理を実行する第２の輝度処理手段（６）とを含む前記ヒストグラムに基づいて前記画像を明るくする明るくする手段（３）を備え、
   前記２つの輝度処理は異なり、
   前記第１の輝度処理手段（Ｓ２１）は、前記画像の画素の輝度を上昇させるために、前記第１の画素の集合に適用された適応可能なガンマパラメータを有するガンマ型伝達関数処理を実行するように構成され、
   前記第２の輝度処理手段（Ｓ２２）は前記第２の画素の集合に適用された前記ヒストグラムの等化処理を実行するように構成される
   ことを特徴とする装置。
7. 前記第２の集合の画素は前記高閾値と最大閾値との間の輝度値を有し、前記算出手段（２）は、初期ヒストグラムを算出し、それを上回り且つ下回ると前記初期ヒストグラムの値がゼロである輝度範囲を判定し、且つ前記ヒストグラムを算出するために前記低閾値と前記最大閾値との間の範囲での前記輝度範囲の画素数を再分配できることを特徴とする請求項６に記載の装置。
8. 前記算出手段（２）は、前記輝度範囲の最小限と初期閾値との間の第１の領域及び前記初期閾値と前記輝度範囲の最上限との間の第２の領域を判定し、且つ前記ヒストグラムを算出するために前記低閾値と前記高閾値との間の範囲の前記第１の領域の画素数及び前記高閾値と前記最大閾値との間の範囲の前記第２の領域の画素数を再分配できることを特徴とする請求項７に記載の装置。
9. 前記画像の各画素の明るくされた輝度と元の輝度との比に従って前記画像の前記画素の色度を増幅するように前記画像の色のうちのいくつかを強調する手段（７）を備えることを特徴とする請求項６乃至８のいずれか１項に記載の装置。
10. 請求項６乃至９のいずれか１項に従ってビデオシーケンスの複数の連続したデジタル画像を処理する装置であって、前記明るくする手段（３）は、定数値を有する高閾値で連続したデジタル画像の各々を明るくできることを特徴とする装置。
11. 請求項６乃至１０のいずれか１項に記載のデジタル画像処理装置を備えることを特徴とする無線通信機器（４０）。

Images