JP4488024B2

JP4488024B2 - 画像処理装置および画像処理方法

Info

Publication number: JP4488024B2
Application number: JP2007104801A
Authority: JP
Inventors: 章夫小嶋; 俊晴黒沢; 辰巳渡辺; 康浩桑原; 祐亮物部; 博隆奥; 宏曄小寺
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2007-04-12
Filing date: 2007-04-12
Publication date: 2010-06-23
Anticipated expiration: 2022-05-10
Also published as: JP2007193844A

Description

本発明は、デジタルカメラ等で得られたデジタル画像の濃淡を自動的に調整して、所望のコントラスト得ることができる画像処理方法及び装置に関するものである。

デジタルカメラで撮影されたカラー画像は、撮像素子であるＣＣＤ素子で得られたアナログ値におけるノイズ割合を表すＳＮレベルやアナログ値をデジタル値に変換する際の変換精度等の影響で、実際に撮影された自然画像の持つ画素濃度のダイナミックレンジよりも狭いレンジに制限されるため、影がかかった細部での情報が損失する現象が発生する傾向がある。特に画像内に明るい領域と暗い領域が混在するようなサンプルを撮影しようとした場合にその傾向は大きい。

その改善として、デジタル画像の輝度等の範囲をより輝度の高い画像部分からより輝度の低い画像部分までに拡げるように、コントラスト強調を行う手法がまず考えられる。そのコントラスト強調の従来手法としては、原画像を構成する全画素の輝度値の分布状態を示すヒストグラムを作成し、ヒストグラムの累積曲線を輝度変換曲線として原画像中の画素の輝度値を新な輝度値に変換し、画像のコントラストを強調するヒストグラム均等化手法がある。この手法は、原画像全領域の画素の輝度を同一の輝度変換曲線で新たな輝度に変換するために、部分的にはかえってコントラストが低下してしまう部分が生じることがある。

また、人間の知覚特性を利用して暗部における明度表現を改善する手法（例えば、国際公開番号WO97/45809、日本では特表2000-511315公表特許公報）が提案されている。図１０にその構成を示す。なお、ここではグレースケール画像を例に説明するが、カラー画像に対しても拡張することができる。画像の(x,y)における画素値I(x,y)はプロセッサ３０１及びフィルタ３０２によって調整されフィルタリング処理が行われる。

画素ごとに、プロセッサ３０１は、（数１）のような調整画素値I'(x,y)を算出する。ここで、F(x,y)は周辺視野を表す周辺視野関数であり、「＊」は畳み込み演算処理を示す。

そして、F(x,y)が（数２）の条件を満足するように正規化係数Kが決定されており、これにより（数１）の第２項は、周辺視野における画素値の平均値に相当する。つまり、（数１）は大きな領域における画素値平均値に対する各画素の画素値の比率を対数変換したものに相当する。周辺視野関数F(x,y)は、人間の視覚モデルとの対応から対象画素に近づくほど寄与する割合が高いように設計されており、（数３）のようなガウス関数が適用される。ここでcは各画素値I(x,y)の調整画素値I'(x,y)をコントロールするための定数であり、＊は畳み込み積分（Convolution）を表す。

以上のように、この従来の発明では周辺視野での平均画素値に対する対象画素値を調整された画素値I'(x,y)として算出し、この値に対して、フィルタ３０２はディスプレイ３０３によって使用されるレティネックス出力R(x,y)を生成するフィルタ処理を行う。フィルタ３０２はI'(x,y)を対数領域からディスプレイ３０３で扱われるR(x,y)の画素値領域へ変換するものであり、処理の簡便化のために全ての画素に対して同一のオフセット及び利得変換関数を適用する処理が用いられる。
国際公開第９７／４５８０９号パンフレット（特表２０００−５１１３１５号公報）

しかしながら、撮像装置の入力特性が非線形歪みを持つ場合、明るさによって処理する調整効果が変化する。結果、撮影対象を選ぶという問題点がある。さらに、（数１）の対数演算は、画像内の明るさに対する依存性が強いといった問題がある。

この対数演算による明るさの依存性を改善する方法として、H.Koteraらは線形レティネックスモデルを用いた手法（例えば、Color Forum Japan p.151-153(2001)）を発表している。しかし、画像の濃淡値を自動で調整するには、撮像装置の入力特性、画像データのγ値を含めて、明るさによる画像依存性を小さくする必要がある。

本発明はかかる点に鑑みてなされたものであり、撮像画像対象に依存せず、自動的に画像の濃淡値を調整できる画像処理方法および装置を提供することを目的とする。

画像データを入力する画像処理装置において、上記課題を解決するために本発明の第１の画像処理装置は、入力した該画像データの非線形歪が小さくなるように補正する信号補正手段と、補正後の信号に対して、着目画素の画素値とその周辺分布領域の濃淡値との相対比を算出する相対比算出手段と、該相対比から着目画素に対応する処理対象画素の画素値を決定して出力する出力手段とを有する。

また、着目画素の画素値とその周辺分布領域の濃淡値との相対比を用いて、入力画像の濃淡値を調整する画像処理装置において、上記課題を解決するために本発明の第２の画像処理装置は、着目画素の画素値とその周辺分布領域の濃淡値との相対比を、対象となる周辺視野領域を異ならせて算出する相対比算出手段と、ゲイン係数を算出するゲイン係数算出手段と、該相対比に、所定の重み係数と該ゲイン係数をそれぞれ乗じ、合成値を算出する相対比合成手段と、該合成値から着目画素に対応する処理対象画素の画素値を決定して出力する出力手段とを有する。また、ゲイン係数は、対象とする該周辺分布領域の大きさに応じて算出する。

以上のように、本発明によれば、撮像画像対象に依存せず、自動的に画像の濃淡値を調整できる。

特に、本発明の第１の実施の形態である画像処理方法及び装置よれば、処理系にｌｏｇ変換を含まず、さらには、画像データの非線形歪みを小さくなるように補正することで、どの明るさのレベルでも同じような処理結果を得ることができる。結果、画像依存性の少ない、画像の暗部の画質調整を自動で行うことができる。さらには、入力画像データの一定の輝度値以上をクリップして丸め込むことで、ハイライト領域の輝度の低下を防止する。

また、本発明の第２の実施の形態である画像処理方法及び装置よれば、複数の視野関数複数の視野関数Fs(x,y)出力を算出し、異なる複数の視野関数Fs(x,y)出力から得られる明るさの相対比を合成するので、画像依存性の少ない相対比R(x,y）を算出できる。

また、相対比の算出には、カラー画像を一旦、単色化して、そのボケ画像を使用するので、Ｒ，Ｇ，Ｂを独立して別々に相対比を算出するよりカラーバランスを保持できる。結果、画像の暗部の見えを改善しながら、画像依存することなく、画像中の濃度値を自動で調整できる。

以下、本発明の実施の形態について図面を参照しながら説明する。

（第１の実施の形態）
まず、本発明の第１の実施の形態である画像処理装置について説明する。図１は本発明の第１の実施の形態である画像処理装置のブロック図である。また、図２(Ａ)は本発明の第１の実施の形態である画像処理装置の入力装置１００の説明図、図２(Ｂ)は本発明の第１の実施の形態である画像処理装置の歪み補正回路１の説明図、図３は本発明の第１の実施の形態である画像処理装置の出力変換回路３の説明図、図４は本発明の第１実施の形態である画像処理装置の周辺輝度算出回路４の説明図である。なお、構成図の各図において、同一部には同じ番号を付している。また、これ以降で、画素位置(x,y)の単位には全て画素単位が用いられることする。

図１において、画像入力装置１００として、例えば、デジタル・スチル・カメラ（以後、ＤＳＣと記す）を用いる。その出力G(x,y)の画像の明るさに対する信号歪みを、歪み補正回路１で補正を行い、その後、注視点I(x,y)とその周辺分布との明るさの相対比R(x,y)を計算する。周辺分布の明るさは、周辺輝度算出回路４により算出される。相対比R(x,y)は、出力変換回路３により最終の信号レベル（例えば、８ビットの０から２５５の信号レベル）に変換される。

ｓＲＧＢ準拠の画像データやＤＳＣ画像データには、ＣＲＴディスプレイの発光特性の非線形性を予め補償するためにガンマ補正が加えられている。図２（Ａ）に図示する曲線Ａのような非線形な画像データに対し濃度調整を行う場合、撮影画像の明るさに対して画像処理の処理効果が違ってくる。これは、入力（Ｘ１）付近での明るさに対する変化度（Δｙ１／ΔＸ）と、入力（Ｘ２）での明るさに対する変化度（Δｙ２／ΔＸ）が異なるためである。この変化度の違いにより、画像に対する依存性が大きくなってしまう。ＤＳＣ等の撮影画像に対し、自動的に濃度調整を行うには、画像に対する依存度が小さいほどよく、安定した画質が得られる。

そこで、図２（Ｂ）に図示するように、曲線Ａの歪みをキャンセルするように、曲線Ｂの歪み補正を行えば、よりリニアな出力が得られる。例えば、ｓＲＧＢ、ＤＳＣ等でγ＝１／２．２に設定されていれば、画像データに対し、出力＝（Ｖｉ^1/2.2）^2.2 ＝Ｖｉと逆γ＝２．２の補正を歪み補正回路１で行うことで、リニアなオリジナル画像信号Ｖｉが出力として得られる。ここでは、逆γ変換により、リニアな信号に変換したが、入力信号が持つ非線形歪みを小さくすれば良く、同様の効果が得られる。よって、変換される値がリニアに限定されない。

周辺輝度算出回路４は、歪み補正された出力I(x,y)から、（数４）（数５）（数６）により注視点の周辺分布の明るさB［x,y］を算出する。ここで、＊は畳み込み積分(Convolution)を表す。

画像処理回路２は、（数７）を用いて、線形レティネックス出力R(x,y)を算出する。

出力変換回路３は、図３に図示するようにR(x,y)の出力から所定の上限、下限の範囲を設定し、その範囲を所定の出力信号レベル（例えば、８ｂｉｔの０〜２５５の信号レベル）に正規化して、ディスプレイ、プリンタ等に出力する。

この線形レティネックスモデルでは、ｌｏｇ変換を含まないため、高速な処理が可能である。また、画像中の明るさに対する出力変化が、どの明るさでも一定のため、画像依存性が小さい。

なお、周辺視野関数F(x,y)は、人間の視覚モデルとの対応から対象画素に近づくほど寄与する割合が高いガウス関数を用いたが、もともとボケ画像の明るさを算出するので、特性がフラットな矩形フィルタで代用してもよい。矩形フィルタを使用することで、処理速度を向上できる。

また、線形モデルでは、基準輝度(Ａ値)付近に出力画像の輝度を収束させる効果があり、白色、あるいは、白色に近い色の領域では、輝度が下がり、灰色として、知覚され、不自然さを感じる。そこで、図４に図示するように、曲線５００の一定の輝度値ＳＬ以上をクリップして丸め込む（曲線５０１）ことで、ハイライト領域の輝度低下を防止する。結果、R(x,y)は（数８）ように改良される。

この輝度値の丸め処理プロセスをBAR（Blur After Round）プロセスと称する。なお、丸めのプロセスは（数９）のように、一旦、入力画像データＩ(x,y)とF(x,y)との畳み込み積分を行い、その出力に対してクリップ操作してもよい。この輝度値の丸め処理プロセスをBBR（Blur Before Round）プロセスと称する。

図８に本発明の第１の実施の形態である画像処理装置の処理のフローチャート図を示す。図８において、ステップＳ１０１では入力画像データの歪みを補正する。ＤＳＣの画像データ歪みとは、ｓＲＧＢ準拠によるディスプレイγ値の歪み、ＣＣＤ特性の歪み等である。ステップＳ１０３では歪み補正された画像データに対し、注視点（Center）とその周辺領域（Surround）との明るさの相対比を算出する。ステップＳ１０５では、算出し相対比を上限、下限で制限し、そのクリッピング範囲に対して最終の信号レベルを割り当てるように変換する。例えば、８ビットの０から２５５の信号レベルに割り振り、ディスプレイ、プリンタ等に出力する。ディスプレイの輝度特性を考慮する場合は、γ＝１／２．２値を乗じて出力する。これにより、視覚的に輝度リニアな特性が得られる。ステップＳ１０７では、すべての画像データの処理が完了したかを判断し、完了の場合は処理を終了する。完了していない場合は、ステップＳ１０１に戻り、繰り返し処理を実行する。

以上のように、本発明の第１の実施の形態である画像処理方法及び装置よれば、処理系にｌｏｇ変換を含まず、さらには、画像データの非線形歪みを小さくなるように補正することで、どの明るさのレベルでも同じような処理結果を得ることができる。結果、画像依存性が少なく、画像の暗部の画質調整を自動で調整できる。さらには、入力画像データの一定の輝度値以上をクリップして丸め込むことで、ハイライト領域の輝度の低下を防止する。

（第２の実施の形態）
次に、本発明の第２の実施の形態である画像処理装置について説明する。図５は本発明の第２の実施の形態である画像処理装置のブロック図である。また、図６は本発明の第２の実施の形態である画像処理装置の周辺輝度算出回路９の説明図、図７は本発明の第２の実施の形態である画像処理装置のゲイン係数算出回路７の説明図である。なお、構成図の各図において、同一部には同じ番号を付している。また、これ以降で、画素位置(x,y)の単位には全て画素単位が用いられることする。

図５において、画像入力装置１００として、例えば、デジタル・スチル・カメラ（以後、ＤＳＣと記す）を用いる。その出力G(x,y)の画像の明るさに対する信号歪みを、歪み補正回路１で補正を行い、その後、注視点I(x,y)とその周辺分布との明るさの相対比R(x,y)を計算する。カラーバランスを考慮して、単色化処理回路５でカラー信号を（数１０）のように単色化して、単色化信号Y(x,y）から周辺輝度算出回路９により周辺分布の明るさが算出される。第２画像処理回路では、Ii(x,y)/｛Fｓ(x,y)＊Y(x,y)｝に重み係数Wsとゲイン係数A(σs)を掛け合わせて合成した（数１１）の相対比R(x,y)を出力する。合成された相対比R(x,y)は出力変換回路３により最終の信号レベル（例えば、８ビットの０から２５５の信号レベル）に変換される。ここで、Ws＝1/M、σｓ＝２^m、A(σs)=σｓ/σ_M＝２^s-mである。

周辺輝度算出回路９では、複数の視野関数Fs(x,y)出力を算出し、第２画像処理回路８で、異なる複数の視野関数Fs(x,y)出力から明るさの相対比を合成することで、画像依存性の少ないR(x,y）を算出できる。

視野関数Fs(x,y)は人間の視覚モデルとの対応から対象画素に近づくほど寄与する割合が高いガウス関数を用いても良いし、もともとボケ画像の明るさを算出するので、特性がフラットな矩形フィルタで代用してもよい。矩形フィルタとして、図６に図示するように対象とする画像領域のサイズが異なるフィルタ２００〜フィルタ２０３を用いる。また、σ値の異なるガウス関数を用いても良い。図７に、σｓ値とゲイン係数Ａとの関係を示す。ゲイン係数算出回路７は、σｓ値に応じて、ゲイン係数Ａを算出する。

図９に本発明の第２の実施の形態である画像処理装置の処理のフローチャート図を示す。図９において、ステップＳ２０１〜ステップＳ２１１は、図８に本発明の第１の実施の形態である画像処理装置のフローチャート図のステップＳ１０３の明るさの相対比を算出する部分の改良である。また、カラーに拡張したものである。ステップＳ２０１では歪み補正されたカラー画像データに対し、カラーバランスを考慮して、単色化処理を行う。単色信号Y(x,y)は、Y(x,y)＝Kr×Ir（x,y）＋Kg×Ig(x,y)＋Kb×Ib(x,y)、Kr＝0.299、Kg=0.587、Kb＝0.114となる。

ステップＳ２０３では、単色信号Y(x,y)から、異なる複数の視野関数Fs(x,y)を計算する。

ステップＳ２０５では視野関数Fs(x,y)の領域の大きさに応じてゲイン係数Ａ(σs)を計算する。例えば、A(σs)=σｓ/σ_M＝２^s-mである。

ステップＳ２０７では視野関数Fs(x,y)の数Ｍによって均等分割された重み係数Ws値（Ws=1/M）を計算する。ステップＳ２０９ではIi(x,y)/｛Fｓ(x,y)＊Y(x,y)｝に重み係数Wsとゲイン係数A(σs)を掛け合わせた明るさの相対比を計算する。ステップＳ２１１では、（数１１）によって、明るさの相対比を合成した値を計算する。以上の処理が終了した時点で、図８に本発明の第１の実施の形態である画像処理装置のフローチャート図のステップＳ１０５に進み、合成された相対比を最終の信号レベルに変換する。例えば、８ビットの０から２５５の信号レベルでディスプレイ、プリンタ等に出力される。ディスプレイの輝度特性を考慮する場合は、γ＝１／２．２値を乗じて出力する。これにより、視覚的に輝度リニアな特性が得られる。ステップＳ１０７では、すべての画像データの処理が完了したかを判断し、完了の場合は処理を終了する。完了していない場合は、ステップＳ１０１に戻り、繰り返し処理を実行する。ステップＳ１０３を実行する段階で、ステップＳ２０１に移行する。

なお、ゲイン係数算出回路７は、σｓ値に応じたゲイン係数Ａ(σs)を、ボケ画像Ss(x,y,σｓ)=｛Fｓ(x,y)＊Y(x,y)｝とした時の画像中の最大値Smax(s)と最小値Smin(s)から算出しても良い。例えば、A(σｓ)=Smin(ｓ)/Smin(M)、A(σｓ)=１−0.5×｛Smin(ｓ)＋Smax(ｓ)｝、A(σｓ)=１−Smax(s)等である。ここで、Mは視野関数Fsの数である。

以上のように、本発明の第２の実施の形態である画像処理方法及び装置よれば、複数の視野関数複数の視野関数Fs(x,y)出力を算出し、異なる複数の視野関数Fs(x,y)出力から得られる明るさの相対比を合成するので、画像依存性の少ない相対比R(x,y）を算出できる。

なお、上記した実施の形態1および２においては、画像入力手段から入力された全ての画像データに対して、信号補正手段（歪み補正回路）により、非線形性が小さくなるように補正するように構成していたが、これに限定されるものではない。

すなわち、歪み補正は、非線形な歪み、明るさに対しカンマ値を有するデバイス、または画像ファイルに適用すれば良く、線形なデバイス、ガンマ補正の必要ない画像ファイルでは適用する必要はない。このため、予め、デバイスに非線形な歪みが存在するのか、あるいは画像ファイルにガンマ値が存在するのかを歪み判定手段により判定し、歪みを有する入力画像に対して、歪み補正回路により、歪み補正を選択的に適用するように構成することもできる。この判定情報として、例えば、カメラの画像ファイル規格に記載されているｓＲＢＧ等のカラースペース情報、ガンマ情報がある。これにより、自動的にデバイス歪み、画像ファイルのガンマ値を補正できる。

なお、本発明の処理は、画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）及びデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。

また、外部から通信回線を経由してソフトウェア媒体としてダウンロードを行い、ローカルなコンピュータの中でのソフトウェア処理でも同様に実現することができる。

本発明の第１の実施の形態である画像処理装置のブロック図（Ａ）は本発明の第１の実施の形態である画像処理装置の入力装置１００の説明図（Ｂ）は本発明の第１の実施の形態である画像処理装置の歪み補正回路１の説明図本発明の第１の実施の形態である画像処理装置の出力変換回路３の説明図本発明の第１の実施の形態である画像処理装置の周辺輝度算出回路４の説明図本発明の第２の実施の形態である画像処理装置のブロック図本発明の第２の実施の形態である画像処理装置の対象領域の説明図本発明の第２の実施の形態である画像処理装置のパラメータの説明図本発明の第１の実施の形態である画像処理装置の処理のフローチャート本発明の第２の実施の形態である画像処理装置の処理のフローチャート従来例における画像処理装置の構成を表すブロック図

符号の説明

１歪み補正回路
２画像処理回路
３出力変換回路
４周辺輝度算出回路
５単色化回路
６重み係数
７ゲイン係数算出回路
８第２画像処理回路
３００ディジタル撮像装置
３０１プロセッサ
３０２フィルタ
３０３ディスプレイ

Claims

画像処理プロセッサであって、
入力画像の非線形歪の有無を判定する判定回路と、
前記判定回路の判定に応じて入力画像値の非線形歪を補正する信号補正回路と、
前記信号補正回路からの補正輝度値をもとに、着目画素の周辺分布領域の画素の補正輝度値を平滑化する周辺輝度算出回路と、
前記平滑化された周辺分布領域の補正輝度値と着目画素の補正輝度値との相対比に
基づいて、所定のゲイン係数を乗じる第２画像処理回路と、
該周辺分布領域のサイズに応じて前記ゲイン係数を決定するゲイン係数算出回路と、
前記第２画像処理回路で得られた値を出力デバイスの信号レベルに正規化して出力する出力変換回路と、
を備える画像処理プロセッサ。
前記周辺輝度算出回路は周辺分布領域のサイズを変更し、各々相対比を１回づつ複数回算出するとともに、
前記ゲイン係数算出回路は、前記周辺分布領域のサイズが大きいほど、前記ゲイン係数の値を大きく決定する請求項１記載の画像処理のプロセッサ。
請求項１または２に記載の画像処理プロセッサを備えた表示装置。