JP6737108B2 - 画像補正装置、画像補正方法及び画像補正用コンピュータプログラム - Google Patents

Description

本発明は、例えば、画像に写っている被写体のコントラストを補正する画像補正装置、画像補正方法及び画像補正用コンピュータプログラムに関する。

被写体を撮影する際に、被写体の一部が照明され、被写体の他の一部に影がかかっていることがある。このような場合、得られた画像上では、被写体のうちの照明された部分の輝度と、影が掛かった部分の輝度の差が大き過ぎて、何れか一方の部分が識別し難くなることがある。そこで、Retinex理論に従って、ダイナミックレンジを圧縮することで、被写体のコントラストを改善できる技術が提案されている（例えば、非特許文献１を参照）。

Retinex理論では、人間の視覚系は、物体からの反射光の分布よりも、むしろ、その反射光の分布から、照明光の照度分布を除去した物体表面の反射率の分布に基づいて物体を知覚しているという仮定に基づいている。そのため、Retinex理論では、原画像の画素(x,y)の輝度値をI(x,y)、原画像の画素(x,y)に写っている被写体の反射率をR(x,y)、その画素(x,y)における照明光の照度をL(x,y)としたときに、次式が成立することが仮定される。
I(x,y)=R(x,y)L(x,y)

ここで、照明光の照度の分布Lとして、例えば、原画像に対してガウシアンフィルタなどのローパスフィルタを適用して得られる平滑化画像が用いられる。そして、例えば、R(x,y)=I(x,y)/L(x,y)の演算を行って各画素の反射率R(x,y)が求められ、各画素の反射率R(x,y)に定数k(ただし、k>1)を乗じることで、補正画像が得られる。

しかしながら、原画像に非常に低い輝度値を持つ背景領域が含まれていることがある。このような背景領域では、信号成分に対するノイズ成分の比率が相対的に大きいため、ノイズ成分による空間的な輝度値の揺らぎが含まれることがある。そのため、上記のようなコントラスト改善の処理を原画像に適用すると、背景領域内の各画素の輝度が相対的に高くなるとともに、背景領域内のノイズによる空間的な輝度値の揺らぎが強調されてしまうことがある。一方、画像に含まれるノイズを低減するために、複数の平滑化画像と入力画像との差分値を求め、しきい値との比較により、平滑化画素または入力画素の選択、もしくはさらに平滑度の低い画素の比較を行う技術が提案されている（例えば、特許文献１を参照）。

特開２００５−５１３７９号公報

D.J.Jobson他、「Properties and Performance of a Center/Surround Retinex」、IEEE Trans. On Image Processing、Vol.6、No.3、1997年3月

しかしながら、特許文献１に開示された技術では、コントラストが改善されるわけではないため、原画像のコントラストを改善するためには、上記のようなコントラスト改善の処理も原画像に適用されることになる。そのため、そのようなコントラスト改善の処理がなされた画像において特許文献１に開示された技術を適用しても、背景領域内のノイズによる揺らぎは低減されても、原画像と比較して、背景領域が明るくなってしまうことは避けられない。

一つの側面では、本発明は、背景領域の輝度及びノイズの強調を抑制しつつ、被写体のコントラストを強調可能な画像補正装置を提供することを目的とする。

一つの実施形態によれば、画像補正装置が提供される。この画像補正装置は、画像に対してコントラストを強調する処理を実行してコントラスト強調画像を生成するコントラスト強調画像生成部と、画像またはコントラスト強調画像における、輝度値と、エッジ強度と、色成分のうちの少なくとも一つの度数分布と画素ごとの輝度値と、エッジ強度と、色成分のうちのうちのその少なくとも一つの値との関係に基づいて、画素ごとにコントラスト強調画像に対する画像の合成比率を算出する合成比率算出部と、画素ごとの合成比率に基づいて、画像とコントラスト強調画像とを合成する合成部とを有する。

背景領域の輝度及びノイズの強調を抑制しつつ、被写体のコントラストを強調できる。

一つの実施形態による画像補正装置が組み込まれた撮像装置のハードウェア構成図である。 画像補正処理に関する制御部の機能ブロック図である。 輝度補正部の機能ブロック図である。 一例による、背景候補画素検出処理の動作フローチャートである。 （ａ）〜（ｃ）は、それぞれ、背景候補画素の集合に対する輝度のヒストグラム、エッジ強度のヒストグラム及び色差成分のヒストグラムと重み係数の関係の一例を示す図である。 輝度補正処理の動作フローチャートである。 画像補正処理の動作フローチャートである。 本実施形態による輝度補正の結果と比較例としてのRetinex処理による輝度補正の結果との比較図である。

以下、図を参照しつつ、画像補正装置について説明する。この画像補正装置は、画像上の被写体が写っている領域についてはコントラスト強調などの局所的な輝度補正の効果が得られるようにしつつ、画像上の背景領域については局所的な輝度補正の効果を抑制することで、背景領域のノイズ及び輝度の強調を抑制する。

ここで、発明者は、背景領域については、以下のような特徴があるという知見を得た。すなわち、（１）背景領域では、輝度値が低く、かつ、同程度の輝度値を持つ画素が多い。（２）背景領域では、近傍画素間でのエッジ強度が低く、かつ、同程度のエッジ強度となる画素が多い。（３）背景領域全体にわたって、色調があまり変化しない。そこで、この画像補正装置は、元の画像に対してコントラスト強調処理を適用してコントラスト強調画像を生成し、元の画像とコントラスト強調画像とを合成することで輝度補正画像を生成する。そしてこの画像補正装置は、元の画像とコントラスト強調画像とを合成する際の合成比率を画素ごとに算出するとともに、上記のような背景領域の特徴を持つ画素については、コントラスト強調画像に対する元の画像の合成比率が高くなるように合成比率を設定する。

図１は、一つの実施形態による画像補正装置が組み込まれた撮像装置のハードウェア構成図である。撮像装置１は、ユーザインターフェース部２と、撮像部３と、記憶媒体アクセス装置４と、記憶部５と、制御部６とを有する。ユーザインターフェース部２、撮像部３、記憶媒体アクセス装置４、記憶部５及び制御部６は、筐体７内に配置される。なお、撮像装置１は、例えば、携帯電話機、携帯情報端末、デジタルカメラまたはタブレット型コンピュータである。さらに撮像装置１は、撮像装置１を他の機器に接続するための通信インターフェース回路（図示せず）を有していてもよい。なお、図１は、撮像装置１が有する構成要素を説明するための図であり、撮像装置１の各構成要素の実際の配置を表した図ではないことに留意されたい。

ユーザインターフェース部２は、例えば、液晶ディスプレイ、あるいは有機エレクトロルミネッセンスディスプレイを有し、ユーザインターフェース部２の表示画面が、筐体７の正面に対向するユーザを向くように配置される。そしてユーザインターフェース部２は、撮像部３により生成された画像など、ユーザに対して様々な情報を表示する。またユーザインターフェース部２は、ユーザが撮像装置１に対する操作を行うための複数の操作ボタンを有していてもよい。あるいは、ユーザインターフェース部２は、タッチパネルディスプレイを有してもよい。この場合、ユーザインターフェース部２は、例えば、様々なアイコンまたは操作ボタンを、制御部６からの制御信号に応じて表示する。そしてユーザインターフェース部２は、表示されたアイコンまたは操作ボタンの位置にユーザが触れた場合に、その位置に応じた操作信号を生成し、その操作信号を制御部６へ出力する。

撮像部３は、例えば、２次元アレイ状に配置された固体撮像素子を有するイメージセンサと、そのイメージセンサ上に被写体の像を結像する撮像光学系とを有する。

撮像部３は、ユーザの操作に応じて被写体を撮影することで、その被写体が写った画像を生成する。本実施形態では、撮像部３は、RGB表色系で表されるカラー画像を生成する。そして撮像部３は、画像を生成する度に、生成した画像を制御部６へ出力する。

記憶媒体アクセス装置４は、例えば、半導体メモリカードといった記憶媒体８にアクセスする装置である。記憶媒体アクセス装置４は、例えば、記憶媒体８に記憶された、制御部６上で実行されるコンピュータプログラムを読み込み、制御部６に渡す。また、後述するように、制御部６が画像補正装置としての機能を実現するコンピュータプログラムを実行する場合には、記憶媒体アクセス装置４は、記憶媒体８から画像補正用コンピュータプログラムを読み込んで、制御部６に渡してもよい。

記憶部５は、例えば、読み書き可能な不揮発性の半導体メモリと、読み書き可能な揮発性の半導体メモリとを有する。そして記憶部５は、制御部６上で実行される各種のアプリケーションプログラム及び各種のデータを記憶する。また記憶部５は、画像補正処理の対象となる画像、画像補正処理の実行により生成された補正画像、及び、画像補正処理に利用される各種のデータあるいは画像補正処理の途中で生成される各種のデータを記憶する。

制御部６は、一つまたは複数のプロセッサ及びその周辺回路を有する。そして制御部６は、撮像装置１の各部と信号線を介して接続されており、撮像装置１全体を制御する。
また制御部６は、画像補正装置として動作し、撮像部３から受け取った画像に対して画像補正処理を実行する。

図２は、画像補正処理に関する制御部６の機能ブロック図である。制御部６は、色変換部１１と、輝度補正部１２と、彩度補正部１３と、逆色変換部１４とを有する。制御部６が有するこれらの各部は、例えば、制御部６上で実行されるコンピュータプログラムにより実現される。なお、制御部６が有するこれらの各部は、制御部６が有するプロセッサとは別個に、これらの各部の機能を実現する一つまたは複数の集積回路として、撮像装置１に実装されてもよい。
なお、以下の説明では、画像補正処理の対象となる画像を原画像と呼ぶ。

色変換部１１は、原画像の各画素について、RGB表色系で表された値からYUV表色系で表された値へ変換する。そして色変換部１１は、各画素が輝度成分(すなわち、Y成分)のみを持つ輝度画像を輝度補正部１２へ出力し、各画素が色差成分(すなわち、U成分及びV成分)のみを持つ色差画像を輝度補正部１２及び彩度補正部１３へ出力する。

輝度補正部１２は、輝度画像の各画素の輝度値を、被写体のコントラストが強調されるように補正して、輝度補正画像を生成する。そして輝度補正部１２は、輝度補正画像を逆色変換部１４へ出力する。さらに、輝度補正部１２は、輝度補正画像の各画素について、補正前の輝度画像の対応画素の輝度値に対する補正後の輝度値の比である輝度補正係数rを彩度補正部１３へ出力する。なお、輝度補正部１２の処理の詳細については後述する。

彩度補正部１３は、画像の各画素の色差成分を、同じ画素の輝度補正係数rに応じて補正する。例えば、彩度補正部１３は、次式に従って、画像の各画素の色差成分を補正する。

ここでU、Vは、それぞれ、補正前のU成分の値、V成分の値であり、U'、V'は、それぞれ、補正後のU成分、V成分の値である。βは定数であり、例えば、U成分、V成分が、0〜255で表される場合、128に設定される。そしてα(r)は、輝度補正係数rに応じて設定される補正係数であり、例えば、輝度補正係数rの増加に対して線形な単調増加関数、あるいは、シグモイド関数のように、輝度補正係数rが大きくなるほど増加率が緩やかになる単調増加関数とすることができる。

彩度補正部１３は、補正された色差画像の各画素の値を逆色変換部１４へ出力する。

逆色変換部１４は、輝度補正画像の各画素について、その画素の輝度値と、補正された色差画像の対応画素の色差成分とで表されるYUV表色系の値からRGB表色系で表される値へ変換する。これにより、補正画像が得られる。

以下、輝度補正部１２の詳細について説明する。
図３は、輝度補正部１２の機能ブロック図である。輝度補正部１２は、コントラスト強調画像生成部２１と、背景候補画素検出部２２と、重み係数算出部２３と、合成部２４とを有する。

コントラスト強調画像生成部２１は、輝度画像に対して、輝度画像上に写っている被写体のコントラストを強調するコントラスト強調処理を行ってコントラスト強調画像を生成する。例えば、コントラスト強調画像生成部２１は、コントラスト強調処理として、Retinex理論に基づく処理を適用できる。なお、コントラスト強調画像生成部２１は、被写体の構造に起因した輝度画像上のエッジが強調される他のコントラスト強調処理（例えば、ヒストグラム平坦化法）を輝度画像に対して適用してもよい。
コントラスト強調画像生成部２１は、生成したコントラスト強調画像を背景候補画素検出部２２及び合成部２４へ出力する。

背景候補画素検出部２２は、輝度画像上の背景領域に含まれる可能性の有る画素を背景候補画素として検出する。

コントラスト強調処理では、一般的に、相対的に輝度値が低い領域ほどコントラストが強調され易い。そこで、本実施形態では、背景候補画素検出部２２は、輝度画像及びコントラスト強調画像のそれぞれについて、画素ごとにエッジ強度を算出する。そして背景候補画素検出部２２は、コントラスト強調画像についてのエッジ強度と輝度画像についてのエッジ強度との差が閾値以上となる画素を背景候補画素として検出する。これにより、背景候補画素検出部２２は、背景領域に含まれる画素を背景候補画素として高精度で検出することができる。

図４は、一例による、背景候補画素検出処理の動作フローチャートである。
背景候補画素検出部２２は、輝度画像及びコントラスト強調画像のそれぞれについて、画素ごとにエッジ強度を算出する（ステップＳ１０１）。例えば、背景候補画素検出部２２は、ラプラシアンフィルタ処理を実行して得られた値の絶対値をエッジ強度として算出する。あるいは、背景候補画素検出部２２は、ラプラシアンフィルタ処理の代わりに、水平方向及び垂直方向の両方について、１次微分フィルタを適用して、水平方向のエッジ強度と垂直方向のエッジ強度を算出し、その二乗和をエッジ強度としてもよい。なお、背景候補画素検出部２２は、１次微分フィルタとして、例えば、sobelフィルタまたはprewittフィルタなどを用いることができる。

背景候補画素検出部２２は、輝度画像及びコントラスト強調画像のそれぞれについて、画素ごとに、得られたエッジ強度に対してローパスフィルタ処理を実行して平滑化する（ステップＳ１０２）。背景候補画素検出部２２は、例えば、ローパスフィルタ処理としてガウシアンフィルタを適用する。あるいは、背景候補画素検出部２２は、ガウシアンフィルタの代わりに、モルフォロジーの膨張収縮演算あるいは所定のウインドウサイズの単純平均化処理を実行してもよい。

背景候補画素検出部２２は、コントラスト強調画像の各画素について、その画素の平滑化されたエッジ強度から、輝度画像の対応画素の平滑化されたエッジ強度を減算してエッジ強度の差分値を算出する（ステップＳ１０３）。そして背景候補画素検出部２２は、コントラスト強調画像の各画素について、エッジ強度の差分値を所定の閾値（例えば、10〜20）と比較する。背景候補画素検出部２２は、原画像またはコントラスト強調画像の各画素のうち、エッジ強度の差分値が所定の閾値以上となる画素を、背景候補画素として検出する（ステップＳ１０４）。

背景候補画素検出部２２は、検出した背景候補画素を重み係数算出部２３へ通知する。

重み係数算出部２３は、合成比率算出部の一例であり、各画素について、コントラスト強調画像と輝度画像とを合成するための重み係数を算出する。

本実施形態では、重み係数算出部２３は、背景候補画素の集合について、輝度画像に基づいて輝度、エッジ強度及び色差成分のそれぞれについてヒストグラムを算出する。そして重み係数算出部２３は、それらヒストグラムと、背景候補画素ごとの輝度、エッジ強度及び色差成分との関係に基づいて、コントラスト強調画像に対する輝度画像の重み係数を算出する。その際、重み係数算出部２３は、輝度値と、エッジ強度と、色差成分とについて、原画像における背景領域の特徴に近い特徴を持つ画素ほど、コントラスト強調画像に対する輝度画像の合成比率が高くなるように各画素の重み係数を算出する。これにより、背景領域について、ノイズ及び輝度の強調が抑制される。

図５（ａ）〜図５（ｃ）は、それぞれ、背景候補画素の集合に対する輝度のヒストグラム、エッジ強度のヒストグラム及び色差成分のヒストグラムと重み係数の関係の一例を示す図である。例えば、重み係数算出部２３は、図５（ａ）〜図５（ｃ）に示される、輝度、エッジ強度及び色差成分のそれぞれについてのヒストグラムと輝度画像に対する重み係数との関係に従って、各背景候補画素の重み係数を算出する。

図５（ａ）において、横軸は、輝度のヒストグラムにおける、最大度数を１とした正規化度数を表し、縦軸は、輝度画像に対する輝度に基づく重み係数wbを表す。そしてグラフ５０１は、輝度値の正規化度数と重み係数wbの関係を表す。上記のように、背景領域では、輝度値が低く、かつ、同程度の輝度値を持つ画素が多い。そこで、正規化度数が高くなるほど、輝度値に基づく重み係数wbが大きくなるように、重み係数wbは設定される。この例では、グラフ５０１に示されるように、第１の度数閾値Thf1以下の正規化度数となる輝度値を持つ背景候補画素に対しては、重み係数wbは0となる。また、第１の度数閾値Thf1よりも高く、かつ、第２の度数閾値Thf2以下となる輝度値を持つ背景候補画素に対しては、重み係数wbは、正規化度数の増加に応じて線形的に増加する。そして第２の度数閾値Thf2よりも高い輝度値を持つ背景候補画素に対して、重み係数wbは1となる。これにより、重み係数算出部２３は、背景領域に含まれる画素について、コントラスト強調画像に対する輝度画像の合成比率が高くなるように重み係数wbを設定することができる。なお、一般に、背景領域内の画素の輝度値は低いことが多いため、重み係数算出部２３は、所定の輝度閾値（例えば、取り得る輝度の最大値の1/2）以上の輝度値については、正規化度数を0としてもよい。すなわち、重み係数算出部２３は、そのような輝度値を持つ画素に対して、重み係数wbを0としてもよい。

図５（ｂ）において、横軸は、エッジ強度を表し、縦軸は、輝度画像に対する重み係数weを表す。そしてグラフ５０２は、エッジ強度と重み係数の関係を表す。上記のように、背景領域では、近傍画素間でのエッジ強度が低く、かつ、同程度のエッジ強度となる画素が多い。そこで、最大度数となるエッジ強度Efmaxよりも低いエッジ強度を持つ画素についてのエッジ強度に基づく重み係数weが、そのエッジ強度Efmaxよりも高いエッジ強度を持つ画素についての重み係数weよりも大きくなるように、重み係数weは設定される。例えば、グラフ５０２に示されるように、エッジ強度のヒストグラムにおいて度数が最大となるエッジ強度Efmax以下のエッジ強度を持つ背景候補画素については、重み係数weは1となる。一方、エッジ強度Efmaxよりも高く、かつ、エッジ強度Efmaxに所定の係数（ただし、1より大）を乗じた値Efa以下のエッジ強度を持つ背景候補画素については、重み係数weは、エッジ強度の増加に応じて線形的に低下する。そしてその値Efaよりも高いエッジ強度を持つ背景候補画素に対して、重み係数weは0となる。これにより、重み係数算出部２３は、背景領域に含まれる画素について、コントラスト強調画像に対する輝度画像の合成比率が高くなるように重み係数weを設定することができる。

図５（ｃ）において、横軸は、色差成分(u,v)のヒストグラムにおける最大度数に相当する色差値(umax,vmax)からの差の二乗平均値uvdata2(=((u-umax)²+(v-vmax)²)^1/2を表し、縦軸は、輝度画像に対する重み係数wcを表す。そしてグラフ５０３は、色差成分と重み係数の関係を表す。上記のように、背景領域全体にわたって、色調があまり変化しない。そこで、色差成分のヒストグラムの最大度数に相当する色差値(umax,vmax)からの差の二乗平均値uvdata2が小さくなるほど、色差成分に基づく重み係数wcが大きくなるように、重み係数wcは設定される。例えば、グラフ５０３に示されるように、色差成分のヒストグラムにおいて度数が最大となる色差値(umax,vmax)からの差の二乗平均値uvdata2が所定の色差閾値Thc1以下となる色差値を持つ背景候補画素については、重み係数wcは1となる。一方、その差の二乗平均値uvdata2が色差閾値Thc1よりも大きく、かつ、色差閾値Thc2以下となる色差値を持つ背景候補画素については、重み係数wcは、その差の二乗平均値uvdata2の増加に応じて線形的に減少する。そしてその差の二乗平均値uvdata2が色差閾値Thc2よりも大きい色差値を持つ背景候補画素については、重み係数wcは0となる。これにより、重み係数算出部２３は、背景領域に含まれる画素について、コントラスト強調画像に対する輝度画像の合成比率が高くなるように重み係数wcを設定することができる。

重み係数算出部２３は、背景候補画素ごとに、輝度値についての重み係数wb、エッジ強度についての重み係数we、色差成分についての重み係数wcを乗算することで、その背景候補画素についての重み係数w(=wb*we*wc)を算出する。一方、背景候補画素でない画素については、重み係数算出部２３は、重み係数w=0とする。なお、この重み係数wは、コントラスト強調画像に対する輝度画像の合成比率の一例である。

なお、上記の例では、重み係数wb、we、wcは、それぞれ、0〜1で表される。しかし、重み係数wb、we、wcは、正の値の任意の範囲、例えば、0〜255で表されてもよい。この場合には、重み係数算出部２３は、それら重み係数の積(wb*we*wc)を重み係数wの取り得る値の範囲の最大値で正規化することで、重み係数wを算出してもよい。
重み係数算出部２３は、画素ごとの重み係数を合成部２４へ出力する。

合成部２４は、画素ごとに算出された重み係数を用いて、輝度画像とコントラスト強調画像とを合成する。例えば、合成部２４は、画素ごとに、次式に従って輝度画像とコントラスト強調画像とを合成することで、輝度補正画像を算出する。

ここで、Poは、輝度画像の着目する画素の輝度値であり、Plcは、コントラスト強調画像の着目する画素の輝度値である。wは、着目する画素についての重み係数算出部２３により算出された重み係数である。そしてPbcは、輝度補正画像の着目する画素の輝度値である。なお、着目する画素が背景候補画素でない場合、合成部２４は、重み係数w=0としてもよい。すなわち、合成部２４は、コントラスト強調画像の着目する画素の輝度値をそのまま輝度補正画像の着目する画素の輝度値としてもよい。

なお、本実施形態では、画素ごとに重み係数が算出されるので、画素ごとの重み係数のバラつきが大きくなることがある。そこで重み係数のバラつきによる輝度補正画像への影響を軽減するために、合成部２４は、輝度画像、コントラスト強調画像、輝度画像に対する重み係数wの分布、及び、コントラスト強調画像に対する重み係数(1-w)の分布のそれぞれを周波数分解してもよい。そして合成部２４は、周波数ごとに、輝度画像のその周波数成分に対して輝度画像に対する重み係数のその周波数成分を乗じる。同様に、合成部２４は、周波数ごとに、コントラスト強調画像のその周波数成分に対してコントラスト強調画像に対する重み係数のその周波数成分を乗じる。そして合成部２４は、周波数ごとに、輝度画像の重み付けされたその周波数成分とコントラスト強調画像の重み付けされたその周波数成分との平均値を算出した後、各周波数の周波数成分に対して周波数分解の逆処理を実行することで、輝度補正画像を算出する。

なお、合成部２４は、周波数分解として、フーリエ変換あるいはウェーブレット変換を適用することができる。あるいは、合成部２４は、周波数分解として、輝度画像に対する重み係数の分布及びコントラスト強調画像に対する重み係数の分布に対してガウシアンピラミッドを適用し、輝度画像及びコントラスト強調画像に対してラプラシアンピラミッドを適用してもよい。この場合、合成部２４は、周波数ごとの輝度画像の重み付けされたその周波数成分とコントラスト強調画像の重み付けされたその周波数成分との平均値に対してラプラシアンピラミッドに従った再構成処理を実行することで、輝度補正画像を算出すればよい。

さらに、合成部２４は、輝度補正画像の各画素について、輝度補正係数rを算出する。
合成部２４は、得られた輝度補正画像を逆色変換部１４へ出力し、各画素の輝度補正係数rを彩度補正部１３へ出力する。

図６は、輝度補正部１２により実行される輝度補正処理の動作フローチャートである。

コントラスト強調画像生成部２１は、輝度画像に対してコントラスト強調処理を行ってコントラスト強調画像を生成する。（ステップＳ２０１）。コントラスト強調画像が算出されると、背景候補画素検出部２２は、輝度画像上の背景領域に含まれる可能性の有る画素を背景候補画素として検出する（ステップＳ２０２）。

重み係数算出部２３は、背景候補画素のそれぞれについて、重み係数を、輝度値、エッジ強度及び色差成分のそれぞれの度数分布とその背景候補画素の輝度値、エッジ強度及び色差成分との関係に基づいて算出する（ステップＳ２０３）。すなわち、重み係数算出部２３は、輝度値の正規化度数が高くなるほど、輝度値に基づく重み係数wbが大きくなるように、重み係数wbを算出する。また、重み係数算出部２３は、エッジ強度の最大度数に対応するエッジ強度よりも低いエッジ強度を持つ画素に対する重み係数weが、最大度数に対応するエッジ強度よりも高いエッジ強度を持つ画素に対する重み係数weより大きくなるように、重み係数weを設定する。さらに、重み係数算出部２３は、色差成分のヒストグラムの最大度数に相当する色差値(umax,vmax)からの差の二乗平均値uvdata2が小さくなるほど、色差成分に基づく重み係数wcが大きくなるように、重み係数wcを設定する。そして重み係数算出部２３は、重み係数wb、we、wcの積に基づいて、重み係数wを算出する。さらに、重み係数算出部２３は、背景候補画素以外の各画素について、重み係数wを0とする。

合成部２４は、画素ごとに算出された重み係数を用いて、輝度画像とコントラスト強調画像とを合成して、輝度補正画像を生成する（ステップＳ２０４）。そして輝度補正部１２は、輝度補正処理を終了する。

図７は、制御部６により実行される、画像補正処理の動作フローチャートである。
色変換部１１は、輝度画像の各画素について、RGB表色系の値からYUV表色系の値に変換する（ステップＳ３０１）。そして色変換部１１は、輝度画像の各画素の輝度成分を表す輝度画像を輝度補正部１２へ出力し、輝度画像の各画素の色差成分を表す色差画像を輝度補正部１２及び彩度補正部１３へ出力する。

輝度補正部１２は、輝度画像に基づいて、被写体のコントラストが強調される輝度補正画像を生成する（ステップＳ３０２）。また、彩度補正部１３は、色差画像の各画素の色差成分を、輝度補正画像における輝度補正の程度に応じて補正する（ステップＳ３０３）。

逆色変換部１４は、輝度補正画像の画素ごとに、その画素の輝度値と、補正された色差画像の対応画素の色差成分とで表されるYUV表色系の値からRGB表色系の値に変換して、補正画像を生成する（ステップＳ３０４）。そして制御部６は、画像補正処理を終了する。

図８は、本実施形態による輝度補正の結果と比較例としてのRetinex処理による輝度補正の結果との比較図である。図８において、横軸は画像上のある画素列の位置を表し、縦軸は輝度値を表す。そしてプロファイル８０１は、輝度画像での、その画素列における輝度値のプロファイルを表す。またプロファイル８０２は、輝度画像に対してRetinex処理を実行して得られたコントラスト強調画像での、その画素列における輝度値のプロファイルを表す。そしてプロファイル８０３は、輝度画像に対して本実施形態による画像補正処理を実行して得られた輝度補正画像での、その画素列における輝度値のプロファイルを表す。また、領域８１１は、背景領域であり、領域８１２は、画像上で被写体が写っている被写体領域である。

プロファイル８０１〜８０３に示されるように、背景領域８１１では、コントラスト強調画像と比較して、本実施形態により得られた輝度補正画像では、輝度値及び近傍画素間のエッジがあまり強調されずに低く抑えられている。一方、被写体領域８１２では、コントラスト強調画像ほどではないものの、本実施形態により得られた輝度補正画像でも、エッジが強調され、その結果として、被写体のコントラストが強調されることが分かる。

以上に説明してきたように、この画像補正装置は、輝度画像から得られたコントラスト強調画像と輝度画像とを合成することで輝度補正画像を生成する。その際、この画像補正装置は、輝度値、エッジ強度及び色差成分のそれぞれの度数分布について、背景領域に似た特徴を持つ画素ほど、コントラスト強調画像に対する輝度画像の合成比率を表す重み係数を大きくする。これにより、この画像補正装置は、背景領域の輝度及びノイズの強調を抑制しつつ、被写体のコントラストを強調することができる。またこの画像補正装置は、上記のように各画素の重み係数を算出するので、輝度画像上で被写体が写っている被写体領域の輝度が低い場合でも、被写体領域に含まれる各画素の重み係数を、コントラスト強調画像の合成比率が高くなるように算出できる。そのため、この画像補正装置は、被写体領域の輝度が低い場合でも、背景領域の輝度及びノイズの強調を抑制しつつ、被写体のコントラストを強調することができる。

なお、変形例によれば、背景候補画素検出部２２において、輝度画像及びコントラスト強調画像のそれぞれについて算出した画素ごとのエッジ強度に対するローパスフィルタ処理は省略されてもよい。すなわち、背景候補画素検出部２２は、コントラスト強調画像の画素ごとに、その画素のエッジ強度から輝度補正画像の対応画素のエッジ強度を減じてエッジ強度の差分値を算出すればよい。

また、重み係数算出部２３において、背景領域の特徴に基づいて重み係数が設定されるので、背景候補画素の検出精度はそれほど高くなくてもよい。そこで、背景候補画素検出部２２は、画素ごとに、コントラスト強調画像のその画素の輝度値と原画像の対応画素の輝度値の差の絶対値を算出してもよい。そして背景候補画素検出部２２は、輝度値の差の絶対値が所定の閾値以上となる画素を背景候補画素として検出してもよい。あるいはまた、背景候補画素検出部２２そのものが省略されてもよい。そして重み係数算出部２３は、原画像の全ての画素を対象として上記の実施形態と同様の処理を実行することにより、各画素の重み係数を算出してもよい。これにより、背景候補画素を検出する際の演算量が削減される。

また他の変形例によれば、重み係数算出部２３は、輝度値、エッジ強度及び色差成分のうちの何れか一つまたは二つについて、上記のように重み係数を算出してもよい。例えば、重み係数算出部２３は、各背景候補画素について、輝度値に基づく重み係数wbと、エッジ強度に基づく重み係数weのみを算出し、重み係数wbと重み係数weの積をその背景候補画素についての重み係数wとしてもよい。

さらに他の変形例によれば、被写体における特定の色について、コントラストが強調されることを抑制したい場合がある。例えば、原画像上で黒色のスーツが、輝度補正の結果、グレーとなることは好ましくない。あるいは、原画像上で茶色の髪の毛の色が、輝度補正の結果、より明るい色となることは好ましくない。

このような場合、重み係数算出部２３は、予め設定される所定の色の範囲に含まれる画素についての重み係数wが、その色の範囲に含まれない画素についての重み係数wよりも高くなるように、各画素の重み係数wを設定する。例えば、重み係数算出部２３は、背景候補画素ごと、あるいは、全ての画素について、所定の色に対応する色差成分の基準値から原画像その画素の色差成分の差の二乗平均値uvdata2を算出する。例えば、コントラスト強調を抑制したい色が黒色である場合、基準値は(0,0)に設定される。そして重み係数算出部２３は、色差成分の差の二乗平均値uvdata2が小さくなる画素ほど、重み係数のオフセット値woが大きくなるように、各画素の重み係数のオフセット値woを設定する。例えば、重み係数算出部２３は、色差成分の差の二乗平均値uvdata2が所定の閾値以下となる画素についてオフセット値woを1に設定し、色差成分の差の二乗平均値uvdata2が所定の閾値よりも大きい画素についてオフセット値woを1未満に設定する。その際、重み係数算出部２３は、色差成分の差の二乗平均値uvdata2と所定の閾値との差が大きくなるほど重み係数のオフセット値woが線形に減少し、その差が所定値以上となると重み係数のオフセット値woを0としてもよい。

この場合、重み係数算出部２３は、画素ごとに、輝度値に基づく重み係数wbと、エッジ強度に基づく重み係数weと、色成分に基づく重み係数wcとの積により得られた値にオフセット値woを加算した値wt(=wb*we*wc+wo)を算出する。ただし、重み係数算出部２３は、背景候補画素以外の画素については、wt=woとする。そして重み係数算出部２３は、画素ごとに、その値wtを、wtが取り得る値の最大値wtmaxで正規化して得られる値を重み係数w(=wt/wtmax)とする。
この変形例によれば、輝度補正部１２は、原画像において特定の色を持つ画素については、コントラスト強調の効果を抑制することができる。

なお、重み係数算出部２３は、重み係数のオフセット値woを、色差成分だけでなく、輝度値またはエッジ強度との組み合わせにより求めてもよい。例えば、重み係数算出部２３は、輝度値が所定値以下となる画素についてのみ、上記のようにオフセット値woを算出し、輝度値が所定値よりも高い画素についてはオフセット値woを0としてもよい。また、重み係数算出部２３は、エッジ強度が所定値以下となる画素についてのみ、上記のようにオフセット値woを算出し、エッジ強度が所定値よりも高い画素についてはオフセット値woを0としてもよい。

さらに他の変形例によれば、重み係数算出部２３は、原画像の各画素の輝度値及びエッジ強度を利用する代わりに、コントラスト強調画像の各画素の輝度値及びエッジ強度に基づいて、輝度値のヒストグラム及びエッジ強度のヒストグラムを求めてもよい。そして重み係数算出部２３は、コントラスト強調画像に基づいて求められた輝度値のヒストグラム及びエッジ強度のヒストグラムから、上記の実施形態のように、輝度値についての重み係数wb及びエッジ強度についての重み係数weを算出してもよい。さらに、重み係数算出部２３は、コントラスト強調画像から各画素の輝度補正係数rを算出することで彩度補正画像を一旦生成し、その彩度補正画像の色差成分に基づいて、色差成分のヒストグラムを算出してもよい。そして重み係数算出部２３は、そのヒストグラムに基づいて、各背景候補画素の色差成分に基づく重み係数wcを算出してもよい。

あるいは、重み係数算出部２３は、各画素の重み係数wに対して、ガウシアンフィルタ処理などの平滑化処理を実行してもよい。これにより、隣接画素間での重み係数の差による輝度補正画像への影響が軽減される。

さらに他の変形例によれば、制御部６は、入力された画像の赤色成分、青色成分、緑色成分のそれぞれごとに、輝度補正部１２の処理を実行してもよい。あるいはまた、制御部６に入力される画像は、輝度成分のみを持つモノクロ画像であってもよい。これらの場合には、色変換部１１、彩度補正部１３及び逆色変換部１４は省略されてもよい。あるいは、色変換部１１は、原画像の各画素について、その画素値を、YUV表色系以外の表色系、例えば、L*a*b*表色系で表された値に変換してもよい。この場合、逆色変換部１４も、各画素の値を、色変換部１１により変換された表色系の値から、RGB表色系の値に変換すればよい。あるいはまた、補正画像の各画素の値がRGB表色系以外で表されてもよい場合には、逆色変換部１４は省略されてもよい。

上記の実施形態またはその変形例による画像補正装置の各部の機能は、プロセッサ上で実行されるコンピュータプログラムにより実現されてもよい。そのようなコンピュータプログラムは、磁気記録媒体、光記録媒体といったコンピュータ読み取り可能な記録媒体に記録された形で提供されてもよい。ただし、その記録媒体には、搬送波は含まれない。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

１ 撮像装置
２ ユーザインターフェース部
３ 撮像部
４ 記憶媒体アクセス装置
５ 記憶部
６ 制御部
７ 筐体
８ 記憶媒体
１１ 色変換部
１２ 輝度補正部
１３ 彩度補正部
１４ 逆色変換部
２１ コントラスト強調画像生成部
２２ 背景候補画素検出部
２３ 重み係数算出部
２４ 合成部

Claims (8)

1. 画像に対してコントラストを強調する処理を実行してコントラスト強調画像を生成するコントラスト強調画像生成部と、
   前記画像または前記コントラスト強調画像における、輝度値と、エッジ強度と、色成分のうちの少なくとも一つの度数分布と画素ごとの当該少なくとも一つの値との関係に基づいて、画素ごとに前記コントラスト強調画像に対する前記画像の合成比率を算出する合成比率算出部と、
   画素ごとの前記合成比率に基づいて、前記画像と前記コントラスト強調画像とを合成する合成部と、
   を有する画像補正装置であって、
   前記画像と前記コントラスト強調画像間の画素ごとの輝度値の差またはエッジ強度の差に基づいて、前記画像における背景領域に含まれる可能性がある背景候補画素を検出する背景候補画素検出部を有し、
   前記合成比率算出部は、前記背景候補画素の集合から、輝度値と、エッジ強度と、色成分のうちの前記少なくとも一つの度数分布を算出する、画像補正装置。
2. 前記合成比率算出部は、輝度値と、エッジ強度と、色成分のうちの前記少なくとも一つについて、前記画像における背景領域の特徴に近い特徴を持つ画素ほど、前記コントラスト強調画像に対する前記画像の前記合成比率が高くなるように各画素の前記合成比率を算出する、請求項１に記載の画像補正装置。
3. 前記合成比率算出部は、前記画像または前記コントラスト強調画像における輝度値の度数分布を表すヒストグラムを算出し、当該ヒストグラムにおいて度数が高い輝度値ほど、当該輝度値を持つ画素についての前記コントラスト強調画像に対する前記画像の前記合成比率が高くなるように各画素の前記合成比率を算出する、請求項２に記載の画像補正装置。
4. 前記合成比率算出部は、前記画像または前記コントラスト強調画像におけるエッジ強度の度数分布を表すヒストグラムを算出し、当該ヒストグラムにおいて最大度数となるエッジ強度よりも低いエッジ強度を持つ画素についての前記コントラスト強調画像に対する前記画像の前記合成比率が前記最大度数となるエッジ強度よりも高いエッジ強度を持つ画素についての前記コントラスト強調画像に対する前記画像の前記合成比率よりも高くなるように、各画素の前記合成比率を算出する、請求項２または３に記載の画像補正装置。
5. 前記合成比率算出部は、前記画像または前記コントラスト強調画像における色成分の度数分布を表すヒストグラムを算出し、当該ヒストグラムにおいて最大度数となる色成分との距離が近い色成分ほど、当該色成分を持つ画素についての前記コントラスト強調画像に対する前記画像の前記合成比率が高くなるように各画素の前記合成比率を算出する、請求項２〜４の何れか一項に記載の画像補正装置。
6. 前記合成比率算出部は、予め設定された所定の色の範囲に含まれる色成分を持つ画素についての前記コントラスト強調画像に対する前記画像の前記合成比率が、当該範囲に含まれない色成分を持つ画素についての前記コントラスト強調画像に対する前記画像の前記合成比率よりも高くなるように、各画素の前記合成比率を算出する、請求項１〜５の何れか一項に記載の画像補正装置。
7. 画像に対してコントラストを強調する処理を実行してコントラスト強調画像を生成し、
   前記画像または前記コントラスト強調画像における、輝度値と、エッジ強度と、色成分のうちの少なくとも一つの度数分布と画素ごとの当該少なくとも一つの値との関係に基づいて、画素ごとに前記コントラスト強調画像に対する前記画像の合成比率を算出し、
   画素ごとの前記合成比率に基づいて、前記画像と前記コントラスト強調画像とを合成する、ことを含む画像補正方法であって、
   前記画像と前記コントラスト強調画像間の画素ごとの輝度値の差またはエッジ強度の差に基づいて、前記画像における背景領域に含まれる可能性がある背景候補画素を検出し、
   前記画像の合成比率を算出することは、前記背景候補画素の集合から、輝度値と、エッジ強度と、色成分のうちの前記少なくとも一つの度数分布を算出することを含む画像補正方法。
8. 画像に対してコントラストを強調する処理を実行してコントラスト強調画像を生成し、
   前記画像または前記コントラスト強調画像における、輝度値と、エッジ強度と、色成分のうちの少なくとも一つの度数分布と画素ごとの当該少なくとも一つの値との関係に基づいて、画素ごとに前記コントラスト強調画像に対する前記画像の合成比率を算出し、
   画素ごとの前記合成比率に基づいて、前記画像と前記コントラスト強調画像とを合成する、
   ことをコンピュータに実行させるための画像補正用コンピュータプログラムであって、
   前記画像と前記コントラスト強調画像間の画素ごとの輝度値の差またはエッジ強度の差に基づいて、前記画像における背景領域に含まれる可能性がある背景候補画素を検出することをコンピュータに実行させ、
   前記画像の合成比率を算出することは、前記背景候補画素の集合から、輝度値と、エッジ強度と、色成分のうちの前記少なくとも一つの度数分布を算出することを含む、画像補正用コンピュータプログラム。

Images