JP6583008B2 - 画像補正装置、画像補正方法及び画像補正用コンピュータプログラム - Google Patents

Description

本発明は、例えば、画像に写っている被写体のコントラストを補正する画像補正装置、画像補正方法及び画像補正用コンピュータプログラムに関する。

被写体を撮影する際に、被写体の一部が照明され、被写体の他の一部に影がかかっていることがある。このような場合、得られた画像上では、被写体のうちの照明された部分の輝度と、影が掛かった部分の輝度の差が大き過ぎて、何れか一方の部分が識別し難くなることがある。そこで、Retinex理論に従って、ダイナミックレンジを圧縮することで、被写体のコントラストを改善できる技術が提案されている（例えば、非特許文献１を参照）。

Retinex理論では、人間の視覚系は、物体からの反射光の分布よりも、むしろ、その反射光の分布から、照明光の照度分布を除去した物体表面の反射率の分布に基づいて物体を知覚しているという仮定に基づいている。そのため、Retinex理論では、原画像の画素(x,y)の輝度値をI(x,y)、原画像の画素(x,y)に写っている被写体の反射率をR(x,y)、その画素(x,y)における照明光の照度をL(x,y)としたときに、次式が成立することが仮定される。
I(x,y)=R(x,y)L(x,y)

ここで、照明光の照度の分布Lとして、例えば、原画像に対してガウシアンフィルタなどのローパスフィルタを適用して得られる平滑化画像が用いられる。そして、例えば、R(x,y)=I(x,y)/L(x,y)の演算を行って各画素の反射率R(x,y)が求められ、各画素の反射率R(x,y)に定数k(ただし、k>1)を乗じることで、補正画像が得られる。

画像において、照明光の照度が急激に変化するエッジ部分が含まれる場合、照明光の照度の分布Lを正確に推定するためには、そのエッジ部分が維持されるように画像に対して平滑化処理が行われることが好ましい。エッジ部分が維持されなければ、そのエッジ部分における、実際の照明光の照度の分布Lと平滑化画像間に乖離が生じ、その結果として、補正画像においてアーティファクトが生じるおそれがある。

また近年、イメージセンサの高精細化の進展により、非常に画素数が多い画像が利用されている。動画像においても、いわゆる4kといった、1フレームあたりの画素数が多い動画像が利用されるようになってきている。そのため、画像補正する際の演算量を削減できることが好ましい。

そこで、少ない演算量で、階調補正結果にアーティファクトが発生しない照明光成分画像を得る技術が提案されている（例えば、特許文献１を参照）。特許文献１に開示された画像処理装置は、入力画像を縮小して得られる縮小画像にエッジを保存した状態で平滑化処理を施することで得られた画像を、エッジを保存した状態で拡大する。この画像処理装置は、その拡大の際に、画素を補間するフィルタ処理を行い、各参照画素の画素値の重み付け加算に基づいてフィルタ処理の対象となる注目画素の画素値を決定する。そしてこの画像処理装置は、各参照画素の画素値に対する重み付け係数を、注目画素に対応する入力画像の画素値と各参照画素の画素値との差、及び、拡大後の注目画素と各参照画素の距離に基づいて設定する。

特開２０１２−８５１８２号公報

D.J.Jobson他、「Properties and Performance of a Center/Surround Retinex」、IEEE Trans. On Image Processing、Vol.6、No.3、1997年3月

特許文献１に開示された技術は、縮小画像を利用して平滑化画像を得ることで、演算量を削減している。しかし、この技術では、平滑化画像において、照明光の照度変化によるエッジだけでなく、画像に写っている被写体の比較的微細なエッジもある程度保存されてしまう。そのため、被写体に関して、原画像と平滑化画像間での差が小さくなり、その結果として、被写体の反射率に関して十分なコントラストが得られなくなり、補正による被写体のコントラストの改善が不十分となることがある。

一つの側面では、本発明は、照明光の照度分布のエッジでのアーティファクトの発生を抑制しつつ、被写体のコントラストを強調できる画像補正装置を提供することを目的とする。

一つの実施形態によれば、画像補正装置が提供される。この画像補正装置は、入力された画像よりも画素数が少ない縮小画像を生成する縮小画像生成部と、縮小画像の各画素について、その画素を含むフィルタ領域を設定し、フィルタ領域内に含まれる複数の参照画素のうち、参照画素の輝度値からその画素の輝度値を減じた差が第１の所定値以上となる参照画素を参照せず、複数の参照画素のうちの他の参照画素のそれぞれの輝度値を用いて平滑化することで第１の平滑化画像を生成する正側制限平滑化部と、縮小画像の各画素についてフィルタ領域を設定し、フィルタ領域内に含まれる複数の参照画素のうち、その画素の輝度値から参照画素の輝度値を減じた差が第２の所定値以上となる参照画素を参照せず、複数の参照画素のうちの他の参照画素のそれぞれの輝度値を用いて平滑化することで第２の平滑化画像を生成する負側制限平滑化部と、入力された画像の各画素について、その画素の周囲に位置する第１の平滑化画像の少なくとも一つの第１の画素のそれぞれについて、その画素の輝度値と第１の画素の輝度値のうちの高い方の重みを他方の重みよりも大きくしてその画素の輝度値と第１の画素の輝度値とを重み付け加算して第１の参照値を算出し、かつ、第１の画素に対応する第２の平滑化画像の第２の画素の輝度値と入力された画像のその画素の輝度値のうちの低い方の重みを他方の重みよりも大きくしてその画素の輝度値と第２の画素の輝度値とを重み付け加算して第２の参照値を算出し、第１の参照値と第２の参照値との平均値を合成参照値として算出し、少なくとも一つの第１の画素のそれぞれにおける合成参照値を用いた補間により得られる輝度値を、入力された画像のその画素に対応する平滑化画像の画素の輝度値とすることで平滑化画像を生成する拡大平滑化部と、補正画像の画素のそれぞれについて、その画素の輝度値を平滑化画像の対応画素の輝度値に対する前記入力された画像の対応画素の輝度値の比に応じた値として算出することで補正画像を生成する補正部とを有する。

照明光の照度分布のエッジでのアーティファクトの発生を抑制しつつ、被写体のコントラストを強調できる。

一つの実施形態による画像補正装置が組み込まれた撮像装置のハードウェア構成図である。 画像補正処理に関する制御部の機能ブロック図である。 正側制限平滑化処理及び負側制限平滑化処理が行われるフィルタ領域の一例を示す図である。 （ａ）は、正側制限平滑化処理における、参照画素の輝度値と着目画素の輝度値の差と重み係数の関係の一例を示す図である。（ｂ）は、負側制限平滑化処理における、参照画素の輝度値と着目画素の輝度値の差と重み係数の関係の一例を示す図である。 （ａ）は、元の縮小画像と、正側制限平滑化処理が行われた縮小画像及び負側制限平滑化処理が行われた縮小画像の関係の一例を示す図である。（ｂ）は、（ａ）に示された縮小画像に対応する輝度画像と、（ａ）に示された正側制限平滑化処理が行われた縮小画像及び負側制限平滑化処理が行われた縮小画像をバイリニア補間して得られた補間画像の関係の一例を示す図である。 輝度画像の着目画素と、着目画素の拡大平滑化に利用される正側制限平滑化画像及び負側制限平滑化画像の画素の位置関係の一例を示す図である。 （ａ）は、正側制限平滑化画像の輝度値と輝度画像の着目画素の輝度値の差と重み係数の関係の一例を示す図である。（ｂ）は、負側制限平滑化画像の輝度値と輝度画像の着目画素の輝度値の差と重み係数の関係の一例を示す図である。 拡大平滑化部による処理の概念図である。 輝度補正処理の動作フローチャートである。 画像補正処理の動作フローチャートである。 （ａ）は、輝度画像の一例を示す図である。（ｂ）は、比較例として、縮小画像を単純に拡大して平滑化した画像を照明光の照度分布を表す平滑化画像として用いた場合の輝度補正画像の一例を示す図である。（ｃ）は、他の比較例として、特許文献１に記載された技術により生成した平滑化画像を用いた場合の輝度補正画像の一例を示す図である。（ｄ）は、本実施形態による、輝度補正画像の一例を示す図である。 （ａ）は、変形例による、正側制限平滑化画像の輝度値と輝度画像の着目画素の輝度値の差と重み係数の関係の一例を示す図である。（ｂ）は、変形例による、負側制限平滑化画像の輝度値と輝度画像の着目画素の輝度値の差と重み係数の関係の一例を示す図である。 （ａ）は、正側制限平滑化画像と負側制限平滑化画像をバイリニア補間して得られた補間画像と輝度画像との関係の一例を示す図である。（ｂ）は、負側制限平滑化画像と正側制限平滑化画像をバイリニア補間して得られた補間画像の対応画素間の輝度値の差分絶対値の一例を示す図である。 輝度の差分絶対値とブレンド比との対応関係の一例を示す図である。

以下、図を参照しつつ、画像補正装置について説明する。この画像補正装置は、Retinex理論における照明光の照度分布を表す平滑化画像を生成する際に、原画像を縮小した縮小画像を生成する。この画像補正装置は、縮小画像において、着目画素についてのフィルタ領域内の各参照画素のうち、参照画素の輝度値から着目画素の輝度値を減じた差が所定値以上となる参照画素を参照せずに平滑化した正側制限平滑化画像を生成する。またこの画像補正装置は、フィルタ領域内の各参照画素のうち、着目画素の輝度値から参照画素の輝度値を減じた差が所定値以上となる参照画素を参照せずに平滑化した負側制限平滑化画像を生成する。これにより、照明光の照度分布のエッジに相当する画素では、正側制限平滑化画像の輝度値と負側制限平滑化画像の輝度値との差が比較的大きくなる。そこでこの画像補正装置は、原画像の着目画素とその周囲の正側制限平滑化画像上の画素のうち、輝度値が高い方の重みを大きくし、他方の重みを小さくして重み付け加算した第１の参照値を求める。同様に、この画像補正装置は、原画像の着目画素の輝度値とその周囲の負側制限平滑化画像上の画素のうち、輝度値が低い方の重みを大きくし、他方の重みを小さくして重み付け加算した第２の参照値を求める。そしてこの画像補正装置は、第１の参照値と第２の参照値の平均値に基づいて、平滑化画像における対応画素の輝度値を算出することで、照明光の照度分布のエッジを保存しつつ、被写体の微細構造を劣化させた平滑化画像を得る。

図１は、一つの実施形態による画像補正装置が組み込まれた撮像装置のハードウェア構成図である。撮像装置１は、ユーザインターフェース部２と、撮像部３と、記憶媒体アクセス装置４と、記憶部５と、制御部６とを有する。ユーザインターフェース部２、撮像部３、記憶媒体アクセス装置４、記憶部５及び制御部６は、筐体７内に配置される。なお、撮像装置１は、例えば、携帯電話機、携帯情報端末、デジタルカメラまたはタブレット型コンピュータである。さらに撮像装置１は、撮像装置１を他の機器に接続するための通信インターフェース回路（図示せず）を有していてもよい。なお、図１は、撮像装置１が有する構成要素を説明するための図であり、撮像装置１の各構成要素の実際の配置を表した図ではないことに留意されたい。

ユーザインターフェース部２は、例えば、液晶ディスプレイ、あるいは有機エレクトロルミネッセンスディスプレイを有し、ユーザインターフェース部２の表示画面が、筐体７の正面に対向するユーザを向くように配置される。そしてユーザインターフェース部２は、撮像部３により生成された画像など、ユーザに対して様々な情報を表示する。またユーザインターフェース部２は、ユーザが撮像装置１に対する操作を行うための複数の操作ボタンを有していてもよい。あるいは、ユーザインターフェース部２は、タッチパネルディスプレイを有してもよい。この場合、ユーザインターフェース部２は、例えば、様々なアイコンまたは操作ボタンを、制御部６からの制御信号に応じて表示する。そしてユーザインターフェース部２は、表示されたアイコンまたは操作ボタンの位置にユーザが触れた場合に、その位置に応じた操作信号を生成し、その操作信号を制御部６へ出力する。

撮像部３は、例えば、２次元アレイ状に配置された固体撮像素子を有するイメージセンサと、そのイメージセンサ上に被写体の像を結像する撮像光学系とを有する。

撮像部３は、ユーザの操作に応じて被写体を撮影することで、その被写体が写った画像を生成する。本実施形態では、撮像部３は、RGB表色系で表されるカラー画像を生成する。そして撮像部３は、画像を生成する度に、生成した画像を制御部６へ出力する。

記憶媒体アクセス装置４は、例えば、半導体メモリカードといった記憶媒体８にアクセスする装置である。記憶媒体アクセス装置４は、例えば、記憶媒体８に記憶された、制御部６上で実行されるコンピュータプログラムを読み込み、制御部６に渡す。また、後述するように、制御部６が画像補正装置としての機能を実現するコンピュータプログラムを実行する場合には、記憶媒体アクセス装置４は、記憶媒体８から画像補正用コンピュータプログラムを読み込んで、制御部６に渡してもよい。

記憶部５は、例えば、読み書き可能な不揮発性の半導体メモリと、読み書き可能な揮発性の半導体メモリとを有する。そして記憶部５は、制御部６上で実行される各種のアプリケーションプログラム及び各種のデータを記憶する。また記憶部５は、画像補正処理の対象となる画像、画像補正処理の実行により生成された補正画像、及び、画像補正処理に利用される各種のデータあるいは画像補正処理の途中で生成される各種のデータを記憶する。

制御部６は、一つまたは複数のプロセッサ及びその周辺回路を有する。そして制御部６は、撮像装置１の各部と信号線を介して接続されており、撮像装置１全体を制御する。
また制御部６は、画像補正装置として動作し、撮像部３から受け取った画像に対して画像補正処理を実行する。

図２は、画像補正処理に関する制御部６の機能ブロック図である。制御部６は、色変換部１１と、輝度補正部１２と、彩度補正部１３と、逆色変換部１４とを有する。さらに、輝度補正部１２は、縮小画像生成部２１と、正側制限平滑化部２２と、負側制限平滑化部２３と、拡大平滑化部２４と、補正部２５とを有する。制御部６が有するこれらの各部は、例えば、制御部６上で実行されるコンピュータプログラムにより実現される。なお、制御部６が有するこれらの各部は、制御部６が有するプロセッサとは別個に、これらの各部の機能を実現する一つまたは複数の集積回路として、撮像装置１に実装されてもよい。
なお、以下の説明では、画像補正処理の対象となる画像を原画像と呼ぶ。

色変換部１１は、原画像の各画素について、RGB表色系で表された値からYUV表色系で表された値へ変換する。そして色変換部１１は、各画素が輝度成分(すなわち、Y成分)のみを持つ輝度画像を輝度補正部１２へ出力し、各画素が色差成分(すなわち、U成分及びV成分)のみを持つ色差画像を彩度補正部１３へ出力する。

輝度補正部１２は、輝度画像の各画素の輝度値を、例えば、Retinex理論に従って補正して、輝度補正画像を生成する。これにより、輝度補正画像上での被写体のコントラストが強調される。そして輝度補正部１２は、輝度補正画像を逆色変換部１４へ出力する。さらに、輝度補正部１２は、輝度補正画像の各画素について、補正前の輝度画像の対応画素の輝度値に対する補正後の輝度値の比である輝度補正係数rを彩度補正部１３へ出力する。なお、輝度補正部１２の処理の詳細については後述する。

彩度補正部１３は、画像の各画素の色差成分を、同じ画素の輝度補正係数rに応じて補正する。例えば、彩度補正部１３は、次式に従って、画像の各画素の色差成分を補正する。
U'=α(r)(U-β)+β
V'=α(r)(V-β)+β
ここでU、Vは、それぞれ、補正前のU成分の値、V成分の値であり、U'、V'は、それぞれ、補正後のU成分、V成分の値である。βは定数であり、例えば、U成分、V成分が、0〜255で表される場合、128に設定される。そしてα(r)は、輝度補正係数rに応じて設定される補正係数であり、例えば、輝度補正係数rの増加に対して線形な単調増加関数、あるいは、シグモイド関数のように、輝度補正係数rが大きくなるほど増加率が緩やかになる単調増加関数とすることができる。

彩度補正部１３は、補正された色差画像の各画素の値を逆色変換部１４へ出力する。

逆色変換部１４は、輝度補正画像の各画素について、その画素の輝度値と、補正された色差画像の対応画素の色差成分とで表されるYUV表色系の値からRGB表色系で表される値へ変換する。これにより、補正画像が得られる。

以下、輝度補正部１２の詳細について説明する。

縮小画像生成部２１は、輝度画像が持つ画素数よりも少ない画素数を持つ縮小画像を生成する。例えば、縮小画像生成部２１は、輝度画像において、隣接する縦２×横２画素の組ごとに、輝度値の平均値を算出し、その平均値をその組に対応する、一つの画素の輝度値とする。これにより、縦方向及び横方向について、元の輝度画像に対して画素数が1/2となる中間縮小画像が得られる。縮小画像生成部２１は、同様の処理を得られた中間縮小画像に対して、所定の縮小率に応じた回数（例えば、１〜５回）繰り返すことにより、縮小画像を生成する。

あるいは、縮小画像生成部２１は、縦方向及び横方向のそれぞれについて、所定の縮小率に応じた間引き率で輝度画像から画素を間引くことにより、縮小画像を生成してもよい。なお、縮小率は、例えば、原画像の画素数と、制御部６の演算能力とに基づいて予め設定され、例えば、1/4〜1/16である。
縮小画像生成部２１は、得られた縮小画像を正側制限平滑化部２２及び負側制限平滑化部２３へ出力する。

正側制限平滑化部２２は、縮小画像の各画素について、その画素を含むフィルタ領域内の参照画素の輝度値とその画素の輝度値の差に応じた重みで、その差を重み付け加算することで平滑化処理を行う。ただし、正側制限平滑化部２２は、参照画素の輝度値から着目する画素の輝度値を減じた差が所定値以上になると、その参照画素に対する重み係数を小さくする。すなわち、参照画素の輝度値から着目する画素の輝度値を減じた差が所定値以上になる参照画素の参照が制限される。正側制限平滑化部２２は、例えば、次式に従って正側制限平滑化処理を実行する。
ここで、p_x,yは、補正前の画素(x,y)の輝度値であり、p'_x,yは、補正後の画素(x,y)の輝度値である。そしてp_x+i,y+jは、フィルタ領域[-K,K]内の参照画素(x+i,y+j)の輝度値である。またw(p_x+i,y+j-p_x,y)は、(p_x+i,y+j-p_x,y)に応じて設定される重み係数である。そしてNは、フィルタ領域に含まれる画素数である。

同様に、負側制限平滑化部２３は、縮小画像の各画素について、その画素を含むフィルタ領域内の参照画素の輝度値とその画素の輝度値の差に応じた重みで、その差を重み付け加算することで平滑化処理を行う。ただし、負側制限平滑化部２３は、着目する画素の輝度値から参照画素の輝度値を減じた差が所定値以上になると、その参照画素に対する重み係数を小さくする。すなわち、着目する画素の輝度値から参照画素の輝度値を減じた差が所定値以上になる参照画素の参照が制限される。負側制限平滑化部２３は、例えば、正側制限平滑化処理と同様に、（１）式に従って負側制限平滑化処理を実行する。なお、負側制限平滑化処理で設定されるフィルタ領域も、正側制限平滑化処理で設定されるフィルタ領域と同様である。

図３は、正側制限平滑化処理及び負側制限平滑化処理が行われるフィルタ領域の一例を示す図である。この例では、縮小画像の着目画素３０１を正側制限平滑化または負側制限平滑化する際に、着目画素３０１を中心とする、縦５画素×横５画素のフィルタ領域３００が設定される。そしてフィルタ領域３００内の２５個の参照画素（着目画素３０１そのものも含む）の輝度値が参照される。

図４（ａ）は、正側制限平滑化処理における、参照画素の輝度値と着目画素の輝度値の差と重み係数の関係の一例を示す図である。図４（ａ）において、横軸は参照画素の輝度値と着目画素の輝度値の差を表し、縦軸は重み係数を表す。そしてグラフ４００は、参照画素の輝度値と着目画素の輝度値の差Δp(=p_x+i,y+j-p_x,y)と重み係数wの関係を表す。グラフ４００に示されるように、差Δpが重み上限W_UL(ただし、W_UL>0)の1/2以下である場合、重み係数wは、差Δpの増加に応じて、傾きが1で線形に単調増加する。したがって、w=Δpとなる。一方、差Δpが重み上限W_ULの1/2より大きく、かつ、重み上限W_UL以下である場合、重み係数wは、差Δpの増加に応じて、傾きが-1で線形に単調減少する。したがって、w=(W_UL-Δp)となる。そして差Δpが重み上限W_ULより大きくなると、重み係数w=0となる。なお、重み上限W_ULは、輝度値が0〜255で表される場合、例えば、10〜20に設定される。

図４（ｂ）は、負側制限平滑化処理における、参照画素の輝度値と着目画素の輝度値の差と重み係数の関係の一例を示す図である。図４（ｂ）において、横軸は参照画素の輝度値と着目画素の輝度値の差を表し、縦軸は重み係数を表す。そしてグラフ４１０は、参照画素の輝度値と着目画素の輝度値の差Δp(=p_x+i,y+j-p_x,y)と重み係数wの関係を表す。グラフ４１０に示されるように、差Δpが重み下限W_LL(ただし、W_LL<0)の1/2以上である場合、重み係数wは、差Δpの増加に応じて、傾きが1で線形に単調増加する。したがって、w=Δpとなる。一方、差Δpが重み下限W_LLの1/2より小さく、かつ、重み下限W_LL以上である場合、重み係数wは、差Δpの増加に応じて、傾きが-1で線形に単調減少する。したがって、w=(W_LL-Δp)となる。そして差Δpが重み下限W_LLより小さくなると、重み係数w=0となる。なお、重み下限W_LLは、輝度値が0〜255で表される場合、例えば、-10〜-20に設定される。

図５（ａ）は、元の縮小画像と、正側制限平滑化処理が行われた縮小画像（以下では、便宜上、正側制限平滑化画像と呼ぶ）及び負側制限平滑化処理が行われた縮小画像（以下では、便宜上、負側制限平滑化画像と呼ぶ）の関係の一例を示す図である。また図５（ｂ）は、図５（ａ）に示された縮小画像に対応する輝度画像と、図５（ａ）に示された正側制限平滑化画像及び負側制限平滑化画像をバイリニア補間して得られた補間画像の関係の一例を示す図である。図５（ａ）及び図５（ｂ）において、横軸は、縮小画像または輝度画像の横方向の位置を表す。また縦軸は、輝度値を表す。そして図５（ａ）におけるプロファイル５００は、元の縮小画像における、横方向の一つの画素列の輝度値のプロファイルを表す。またプロファイル５１０は、正側制限平滑化画像における、プロファイル５００で表される画素列と同じ画素列についての輝度値のプロファイルを表す。そしてプロファイル５２０は、負側制限平滑化画像における、プロファイル５００で表される画素列と同じ画素列についての輝度値のプロファイルを表す。さらに、図５（ｂ）におけるプロファイル５５０は、輝度画像における、プロファイル５００で示された縮小画像の画素列に対応する横方向の一つの画素列の輝度値のプロファイルを表す。同様に、プロファイル５６０は、プロファイル５１０で表された正側制限平滑化画像の画素列に対応する、正側制限平滑化画像の補間画像の横方向の一つの画素列の輝度値のプロファイルを表す。さらに、プロファイル５７０は、プロファイル５２０で表された負側制限平滑化画像の画素列に対応する、負側制限平滑化画像の補間画像の横方向の一つの画素列の輝度値のプロファイルを表す。

上記のように、正側制限平滑化処理では、参照画素の輝度値から着目する画素の輝度値を減じた差が所定値以上となる参照画素の参照が制限される。したがって、着目画素の輝度値よりも低い輝度値を持つ参照画素の方が、着目画素の輝度値よりも高い輝度値を持つ参照画素よりも、正側制限平滑化において参照され易い。そのため、フィルタ領域に、照明光の照度分布のエッジ部分が含まれ、かつ、着目画素がそのエッジ部分よりも高輝度側に位置していると、正側制限平滑化処理によって平滑化された着目画素の輝度値は、元の輝度値よりも低くなる傾向にある。そのため、プロファイル５１０及びプロファイル５６０に示されるように、プロファイル５００のエッジ部分５０１の近傍で、かつ、エッジ部分５０１よりも高輝度側では、正側制限平滑化画像の画素の輝度値の方が、元の縮小画像の同じ位置の画素の輝度値よりも低くなる。一方、それ以外の位置では、正側制限平滑化画像の画素の輝度値と、元の縮小画像の同じ位置の画素の輝度値とは、ほぼ等しくなる。これは、差Δpが重み上限以上となり、正側制限平滑化処理において参照されない画素が少なくなるためである。

逆に、負側制限平滑化処理では、着目する画素の輝度値から参照画素の輝度値を減じた差が所定値以上となる参照画素の参照が制限される。したがって、着目画素の輝度値よりも高い輝度値を持つ参照画素の方が、着目画素の輝度値よりも低い輝度値を持つ参照画素よりも、負側制限平滑化において参照され易い。そのため、フィルタ領域に、照明光の照度分布のエッジ部分が含まれ、かつ、着目画素がそのエッジ部分よりも低輝度側に位置していると、負側制限平滑化処理によって平滑化された着目画素の輝度値は、元の輝度値よりも高くなる傾向にある。そのため、プロファイル５２０及びプロファイル５７０に示されるように、エッジ部分５０１の近傍で、かつ、エッジ部分５０１よりも低輝度側では、負側制限平滑化画像の画素の輝度値の方が、元の縮小画像の同じ位置の画素の輝度値よりも高くなる。一方、それ以外の位置では、負側制限平滑化画像の画素の輝度値と、元の縮小画像の同じ位置の画素の輝度値とは、ほぼ等しくなる。これは、差Δpが重み下限以下となり、負側制限平滑化処理において参照されない画素が少なくなるためである。

したがって、元の縮小画像における、照明光の照度分布のエッジ部分よりも高輝度側は、正側制限平滑化画像よりも負側制限平滑化画像において比較的正確に表される。逆に、元の縮小画像におけるそのエッジ部分よりも低輝度側は、負側制限平滑化画像よりも正側制限平滑化画像において比較的正確に表される。言い換えれば、エッジ部分は、負側制限平滑化画像の方が正側制限平滑化画像よりも輝度値が高くなる範囲に含まれる。

正側制限平滑化部２２は、正側制限平滑化画像を拡大平滑化部２４へ出力する。また、負側制限平滑化部２３は、負側制限平滑化画像を拡大平滑化部２４へ出力する。

拡大平滑化部２４は、正側制限平滑化画像、負側制限平滑化画像、及び、元の輝度画像に基づいて、輝度画像と同じサイズを持つ拡大平滑化画像を生成する。

本実施形態では、拡大平滑化部２４は、正側制限平滑化画像及び負側制限平滑化画像の各画素について、元の輝度画像における対応画素を特定する。例えば、正側制限平滑化画像及び負側制限平滑化画像が、縦方向及び横方向のそれぞれについて、元の輝度画像に対して1/m（ただしmは2以上の整数）に縮小されているとする。この場合、拡大平滑化部２４は、例えば、正側制限平滑化画像及び負側制限平滑化画像の座標(xs,ys)の画素を、元の輝度画像の座標(xs*m+offsetx,ys*m+offsety)の画素に対応付ける。なお、offsetx、offsetyは、それぞれ、横方向、縦方向のオフセット値であり、例えば、0またはm/2に設定される。そして拡大平滑化部２４は、元の輝度画像の各画素を順次着目画素とし、着目画素の周囲４点の正側制限平滑化画像及び負側制限平滑化画像の画素を特定する。

図６は、輝度画像の着目画素と、着目画素の拡大平滑化に利用される正側制限平滑化画像及び負側制限平滑化画像の画素の位置関係の一例を示す図である。なお、この例では、縮小画像の縮小率は1/4とする。

正側制限平滑化画像及び負側制限平滑化画像のサイズは、縮小画像のサイズと同じであるため、正側制限平滑化画像及び負側制限平滑化画像の画素数は、輝度画像の画素数よりも少ない。そのため、輝度画像６００に対して、正側制限平滑化画像及び負側制限平滑化画像の各画素は、離散的に対応付けられ、この例では、ハッチングで表される。そして着目画素６０１の上下左右それぞれの方向について、着目画素６０１に最も近い正側制限平滑化画像及び負側制限平滑化画像の画素６０２〜６０５が、着目画素の周囲４点の画素として利用される。

拡大平滑化部２４は、周囲４点のそれぞれについて、その点の正側制限平滑化画像の画素の輝度値と元の輝度画像の着目画素の輝度値を合成した第１の参照値と、その点の負側制限平滑化画像の画素の輝度値と元の輝度画像の着目画素の輝度値を合成した第２の参照値を算出する。そして拡大平滑化部２４は、周囲４点のそれぞれについて、第１の参照値と第２の参照値を平均して求めた合成参照値に基づいて、バイリニア補間を行うことにより、拡大平滑化画像の対応画素の輝度値を算出する。

上述したように、元の縮小画像における照明光の照度分布のエッジよりも高輝度側は、正側制限平滑化画像よりも負側制限平滑化画像において比較的正確に表される。逆に、元の縮小画像におけるそのエッジよりも低輝度側は、負側制限平滑化画像よりも正側制限平滑化画像において比較的正確に表される。そこで、拡大平滑化部２４は、輝度画像の着目画素の周囲４点のそれぞれについて、正側制限平滑化画像の画素の輝度値と着目画素の輝度値のうち、高い方に対する重みを他方に対する重みよりも大きくして、その二つの輝度値を重み付け加算する。

また、拡大平滑化部２４は、輝度画像の着目画素の周囲４点のそれぞれについて、負側制限平滑化画像の画素の輝度値と着目画素の輝度値のうち、低い方に対する重みを他方に対する重みよりも大きくして、その二つの輝度値を重み付け加算する。

例えば、拡大平滑化部２４は、輝度画像の着目画素の周囲４点のそれぞれについて、次式に従って第１の参照値E_R1及び第２の参照値E_R2を算出する。
ここで、Yは、着目画素の輝度値であり、E_pl、E_miは、それぞれ、周囲４点のうちの着目する点の正側制限平滑化画像の輝度値及び負側制限平滑化画像の輝度値である。また、w_pl(E_pl-Y)は、(E_pl-Y)に応じて定められる重み係数である。同様に、w_mi(E_mi-Y)は、(E_mi-Y)に応じて定められる重み係数である。

図７（ａ）は、正側制限平滑化画像の輝度値と輝度画像の着目画素の輝度値の差(E_pl-Y)と重み係数w_pl(E_pl-Y)の関係の一例を示す図である。また図７（ｂ）は、負側制限平滑化画像の輝度値と輝度画像の着目画素の輝度値の差(E_mi-Y)と重み係数w_mi(E_mi-Y)の関係の一例を示す図である。

図７（ａ）において、横軸は、正側制限平滑化画像の輝度値と輝度画像の着目画素の輝度値の差(E_pl-Y)を表し、縦軸は重み係数w_pl(E_pl-Y)を表す。そしてグラフ７００は、差(E_pl-Y)と重み係数w_pl(E_pl-Y)の関係を表す。グラフ７００に示されるように、差(E_pl-Y)が0以下の場合、重み係数w_pl(E_pl-Y)=0となる。したがって、差(E_pl-Y)が0以下の場合、すなわち、Y≧E_plとなる場合、第１の参照値E_R1はYとなる。一方、差(E_pl-Y)が0よりも大きい場合、すなわち、E_pl>Yとなる場合、その差(E_pl-Y)に対する重み係数w_pl(E_pl-Y)の傾きは1であるので、第１の参照値E_R1はE_plとなる。すなわち、第１の参照値E_R1は、下限をYとしてE_plをクリップした値となる。

図７（ｂ）において、横軸は、負側制限平滑化画像の輝度値と輝度画像の着目画素の輝度値の差(E_mi-Y)を表し、縦軸は重み係数w_mi(E_mi-Y)を表す。そしてグラフ７１０は、差(E_mi-Y)と重み係数w_mi(E_mi-Y)の関係を表す。グラフ７１０に示されるように、差(E_mi-Y)が0以上の場合、重み係数w_mi(E_mi-Y)=0となる。したがって、差(E_mi-Y)が0以上の場合、すなわち、E_mi≧Yとなる場合、第２の参照値E_R2はYとなる。一方、差(E_mi-Y)が0よりも小さい場合、すなわち、Y>E_miとなる場合、その差(E_mi-Y)に対する重み係数w_mi(E_mi-Y)の傾きは1であるので、第２の参照値E_R2はE_miとなる。すなわち、第２の参照値E_R2は、上限をYとしてE_miをクリップした値となる。

図８は、拡大平滑化部２４による処理の概念図である。各グラフにおいて、横軸は輝度画像上の位置を表し、縦軸は輝度値を表す。左側のグラフにおいて、プロファイル８００は、輝度画像の横方向のある画素列のプロファイルを表す。またプロファイル８１０、８２０は、それぞれ、同じ画素列における、正側制限平滑化画像のプロファイル及び負側制限平滑化画像のプロファイルを表す。上記のように、負側制限平滑化画像の輝度値が正側制限平滑化画像の輝度値よりも大きくなる範囲に、元の輝度画像におけるエッジ部分８０１が含まれる。

図８の中央の上側のグラフにおいて、プロファイル８３０は、プロファイル８００及びプロファイル８１０と同じ画素列における、第１の参照値のプロファイルを表す。一方、図８の中央の下側のグラフにおいて、プロファイル８４０は、プロファイル８００及びプロファイル８２０と同じ画素列における、第２の参照値のプロファイルを表す。第１の参照値のプロファイル８３０及び第２の参照値のプロファイル８４０の両方において、エッジ部分７０１が維持されていることが分かる。

図８の右側のグラフにおいて、プロファイル８５０は、プロファイル８００、プロファイル８３０及びプロファイル８４０と同じ画素列における、最終的に得られる拡大平滑化画像における輝度値のプロファイルを表す。プロファイル８５０に示されるように、拡大平滑化画像においても、元の輝度画像におけるエッジ部分８０１が維持されていることが分かる。また、エッジ部分８０１以外では、拡大平滑化画像は、元の輝度画像よりも平滑化されていることが分かる。

拡大平滑化部２４は、拡大平滑化画像を補正部２５へ出力する。

補正部２５は、輝度画像と拡大平滑化画像とに基づいて、補正輝度画像を生成する。拡大平滑化画像は、照明光の照度分布を表すと考えられるので、本実施形態では、補正部２５は、Retinex理論に基づく次式に従って、輝度補正画像の各画素の輝度値R(x,y)を算出する。
ここでI(x,y)は、輝度画像の画素(x,y)の輝度値を表し、L(x,y)は、拡大平滑化画像の画素(x,y)の輝度値を表す。またkは強調係数であり、1よりも大きな値、例えば、2〜5に設定される。なお、kは、定数でなくてもよい。例えば、I(x,y)が小さいほどkが大きな値となるように、kはI(x,y)の関数として定義されてもよい。

なお、補正部２５は、（３）式において、I(x,y)/L(x,y)の代わりに、log(I(x,y)/L(x,y))=logI(x,y)-logL(x,y)を算出してもよい。

さらに、補正部２５は、輝度補正画像の各画素について、補正係数rを算出する。
補正部２５は、得られた輝度補正画像を逆色変換部１４へ出力し、各画素の補正係数rを彩度補正部１３へ出力する。

図９は、輝度補正部１２により実行される輝度補正処理の動作フローチャートである。

縮小画像生成部２１は、輝度画像から縮小画像を生成する（ステップＳ１０１）。

正側制限平滑化部２２は、縮小画像の各画素について、フィルタ領域内の各参照画素のうち、参照画素の輝度値からその画素の輝度値を減じた差が所定値以上となる参照画素を除く。そして正側制限平滑化部２２は、縮小画像の各画素について、除かれていない各参照画素の輝度値を用いて平滑化することで正側制限平滑化画像を算出する（ステップＳ１０２）。また、負側制限平滑化部２３は、縮小画像の各画素について、フィルタ領域内の各参照画素のうち、その画素の輝度値から参照画素の輝度値を減じた差が所定値以上となる参照画素を除く。そして負側制限平滑化部２３は、縮小画像の各画素について、除かれていない各参照画素の輝度値を用いて平滑化することで負側制限平滑化画像を算出する（ステップＳ１０３）。

拡大平滑化部２４は、元の輝度画像の各画素について、その周囲４点における正側制限平滑化画像の画素及び負側制限平滑化画像の画素を特定する。そして拡大平滑化部２４は、周囲４点のそれぞれについて、元の輝度画像の画素の輝度値と正側制限平滑化画像の対応画素の輝度値のうちの高い方が占める割合を他方よりも大きくして重み付け加算することで第１の参照値を算出する（ステップＳ１０４）。また、拡大平滑化部２４は、周囲４点のそれぞれについて、元の輝度画像の画素の輝度値と負側制限平滑化画像の対応画素の輝度値のうちの低い方が占める割合を他方よりも大きくして重み付け加算することで第２の参照値を算出する（ステップＳ１０５）。

拡大平滑化部２４は、元の輝度画像の各画素について、その周囲４点のそれぞれについて第１の参照値と第２の参照値の平均値を合成参照値として算出する（ステップＳ１０６）。そして拡大平滑化部２４は、元の輝度画像の各画素について、その周囲４点のそれぞれの合成参照値を用いて補間処理を行って得た値を、拡大平滑化画像の対応画素の輝度値とすることで、拡大平滑化画像を生成する（ステップＳ１０７）。

補正部２５は、元の輝度画像の各画素について、その画素の輝度値I(x,y)と拡大平滑化画像の対応画素の輝度値L(x,y)の比(I(x,y)/L(x,y))を求め、その比を強調することで、輝度補正画像を生成する（ステップＳ１０８）。そして輝度補正部１２は、輝度補正処理を終了する。

図１０は、制御部６により実行される、画像補正処理の動作フローチャートである。
色変換部１１は、原画像の各画素について、RGB表色系の値からYUV表色系の値に変換する（ステップＳ２０１）。そして色変換部１１は、原画像の各画素の輝度成分を表す輝度画像を輝度補正部１２へ出力し、原画像の各画素の色差成分を表す色差画像を彩度補正部１３へ出力する。

輝度補正部１２は、輝度画像に基づいて、被写体のコントラストが強調される輝度補正画像を生成する（ステップＳ２０２）。また、彩度補正部１３は、色差画像の各画素の色差成分を、輝度補正画像における輝度補正の程度に応じて補正する（ステップＳ２０３）。

逆色変換部１４は、輝度補正画像の画素ごとに、その画素の輝度値と、補正された色差画像の対応画素の色差成分とで表されるYUV表色系の値からRGB表色系の値に変換して、補正画像を生成する（ステップＳ２０４）。そして制御部６は、画像補正処理を終了する。

図１１（ａ）は、輝度画像の一例を示す図である。図１１（ｂ）は、比較例として、縮小画像を単純に拡大して平滑化した画像を照明光の照度分布を表す平滑化画像として用いた場合の輝度補正画像の一例を示す図である。また図１１（ｃ）は、他の比較例として、特許文献１に記載された技術により生成した平滑化画像を用いた場合の輝度補正画像の一例を示す図である。そして図１１（ｄ）は、本実施形態による、輝度補正画像の一例を示す図である。

図１１（ｂ）に示される、比較例としての輝度補正画像１１１０では、図１１（ａ）に示される輝度画像１１００と比較して、影になっている部分と他の部分との境界が過度に強調されており、アーティファクトが生じている。一方、図１１（ｃ）に示される、他の比較例としての輝度補正画像１１２０では、元の輝度画像１１００と比較して、被写体（この例では、岩石群）のコントラストがあまり改善していない。これに対して、図１１（ｄ）に示される、本実施形態による輝度補正画像１１３０では、影になっている部分と他の部分との境界でのアーティファクトが抑制され、かつ、被写体のコントラストが向上していることが分かる。

以上に説明してきたように、この画像補正装置は、照明光の照度分布のエッジよりも高輝度側において縮小画像よりも輝度値が低くなる正側制限平滑化画像と、そのエッジよりも低輝度側において縮小画像よりも輝度値が高くなる負側制限平滑化画像とを算出する。そしてこの画像補正装置は、輝度画像の各画素について、補間に利用するその周囲の各点について、正側制限平滑化画像の対応画素の輝度値と輝度画像のその画素の輝度値の高い方を主成分とする第１の参照値を算出する。同様に、この画像補正装置は、負側制限平滑化画像の対応画素の輝度値と輝度画像のその画素の輝度値の低い方を主成分とする第２の参照値を算出する。そしてこの画像補正装置は、その周囲の各点について、第１の参照値と第２の参照値との平均値を補間に利用することで、照明光の照度分布によるエッジを維持しつつ、被写体の微細構造を平滑化させた拡大平滑化画像を求めることができる。そのため、この画像補正装置は、その拡大平滑化画像を利用して輝度補正画像を生成することで、照明光の照度分布によるエッジ近傍におけるアーティファクトの発生を抑制しつつ、被写体のコントラストを強調することができる。

変形例によれば、拡大平滑化部２４は、第１の参照値E_R1を算出する際に、正側制限平滑化画像の輝度値E_plよりも輝度画像の着目画素の輝度値Yの方が高い場合にも、輝度値E_plが輝度値Yよりも少ない割合で第１の参照値E_R1に含まれるようにしてもよい。同様に、拡大平滑化部２４は、第２の参照値E_R2を算出する際に、負側制限平滑化画像の輝度値E_miよりも輝度画像の着目画素の輝度値Yの方が低い場合にも、輝度値E_miが輝度値Yよりも少ない割合で第２の参照値E_miに含まれるようにしてもよい。

図１２（ａ）は、この変形例による、正側制限平滑化画像の輝度値と輝度画像の着目画素の輝度値の差(E_pl-Y)と重み係数w_pl(E_pl-Y)の関係の一例を示す図である。また図１２（ｂ）は、この変形例による、負側制限平滑化画像の輝度値と輝度画像の着目画素の輝度値の差(E_mi-Y)と重み係数w_mi(E_mi-Y)の関係の一例を示す図である。

図１２（ａ）において、横軸は、正側制限平滑化画像の輝度値と輝度画像の着目画素の輝度値の差(E_pl-Y)を表し、縦軸は重み係数w_pl(E_pl-Y)を表す。そしてグラフ１２００は、差(E_pl-Y)と重み係数w_pl(E_pl-Y)の関係を表す。グラフ１２００に示されるように、差(E_pl-Y)が0以下の場合でも、重み係数w_pl(E_pl-Y)は0とならず、その差の絶対値が大きいほど、重み係数w_pl(E_pl-Y)の絶対値も大きくなる。ただし、差(E_pl-Y)が0以下の場合、その差(E_pl-Y)に対する重み係数w_pl(E_pl-Y)の傾きの絶対値は1未満であるので、第１の参照値E_R1に占める、E_plの割合は、Yが占める割合よりも小さくなる。一方、差(E_pl-Y)が0よりも大きい場合、その差(E_pl-Y)に対する重み係数w_pl(E_pl-Y)の傾きは1であるので、第１の参照値E_R1はE_plとなる。

図１２（ｂ）において、横軸は、負側制限平滑化画像の輝度値と輝度画像の着目画素の輝度値の差(E_mi-Y)を表し、縦軸は重み係数w_mi(E_mi-Y)を表す。そしてグラフ１２１０は、差(E_mi-Y)と重み係数w_mi(E_mi-Y)の関係を表す。グラフ１２１０に示されるように、差(E_mi-Y)が0以上の場合でも、重み係数w_mi(E_mi-Y)は0とならず、その差の絶対値が大きいほど、重み係数w_mi(E_mi-Y)の絶対値も大きくなる。ただし、差(E_mi-Y)が0以上の場合、その差(E_mi-Y)に対する重み係数w_mi(E_mi-Y)の傾きの絶対値は1未満であるので、第２の参照値E_R2に占める、E_miの割合は、Yが占める割合よりも小さくなる。一方、差(E_mi-Y)が0よりも小さい場合、その差(E_mi-Y)に対する重み係数w_mi(E_mi-Y)の傾きは1であるので、第２の参照値E_R2はE_miとなる。これにより、第１の参照値に占める正側制限平滑化画像の成分の割合、及び、第２の参照値に占める、負側制限平滑化画像の成分の割合が、上記の実施形態よりも大きくなるので、拡大平滑化画像もより平滑化される。したがって、輝度補正画像において、被写体のコントラストがより強調される。

なお、差(E_pl-Y)が0以下の場合における、その差(E_pl-Y)に対する重み係数w_pl(E_pl-Y)の傾きの絶対値よりも、差(E_mi-Y)が0以上の場合における、その差(E_mi-Y)に対する重み係数w_mi(E_mi-Y)の傾きの絶対値が小さいことが好ましい。これにより、相対的にアーティファクトが目立ち易い、照明の照度分布のエッジよりも低輝度側では、拡大平滑化画像において、負側制限平滑化画像の占める割合が低くなる。そのため、この変形例によれば、画像補正装置は、照明の照度分布のエッジよりも低輝度側においてはアーティファクトの発生をより抑制しつつ、照明の照度分布のエッジよりも高い輝度側においては、被写体のコントラストをより強調できる。

上記のように、照明光の照度分布のエッジ部分は、負側制限平滑化画像の方が正側制限平滑化画像よりも輝度値が高くなる範囲に含まれる。したがって、画像補正装置は、負側制限平滑化画像と正側制限平滑化画像との対応画素間の輝度の差分絶対値に基づいて、照明光の照度分布のエッジ部分を推定することができる。

図１３（ａ）は、正側制限平滑化画像と負側制限平滑化画像をバイリニア補間して得られた補間画像と輝度画像との関係の一例を示す図であり、図１３（ｂ）は、負側制限平滑化画像と正側制限平滑化画像をバイリニア補間して得られた補間画像の対応画素間の輝度値の差分絶対値の一例を示す図である。図１３（ａ）において、横軸は、各画像の横方向の位置を表し、縦軸は、輝度値を表す。また図１３（ｂ）において、横軸は、差分画像における横方向の位置を表し、縦軸は、差分絶対値を表す。

図１３（ａ）において、プロファイル１３００は、輝度画像における、横方向の一つの画素列の輝度値のプロファイルを表す。またプロファイル１３１０は、正側制限平滑化画像をバイリニア補間して得られる補間画像における、プロファイル１３００で表される画素列と同じ画素列についての輝度値のプロファイルを表す。そしてプロファイル１３２０は、負側制限平滑化画像をバイリニア補間して得られる補間画像における、プロファイル１３００で表される画素列と同じ画素列についての輝度値のプロファイルを表す。また図１３（ｂ）において、プロファイル１３３０は、プロファイル１３００で表される画素列と同じ画素列についての、負側制限平滑化画像と正側制限平滑化画像をバイリニア補間して得られる補間画像の対応画素間の輝度値の差分絶対値のプロファイルを表す。

図１３（ａ）に示されるように、照明光の照度分布のエッジ部分１３０１は、負側制限平滑化画像の方が正側制限平滑化画像よりも輝度値が高くなる範囲に含まれる。そしてその範囲は、図１３（ｂ）に示されるように、差分絶対値が比較的大きくなる範囲と一致する。

そこで他の変形例によれば、拡大平滑化部２４は、輝度画像の着目画素の周囲の各点について、負側制限平滑化画像と正側制限平滑化画像との対応画素間の輝度の差分絶対値を算出する。そして拡大平滑化部２４は、その差分絶対値が大きくなるほど、第１の参照値及び第２の参照値に占める、着目画素の輝度値の割合を高くする。

拡大平滑化部２４は、輝度画像の各画素について、その周囲の４点のそれぞれについて、負側制限平滑化画像と正側制限平滑化画像との対応画素を特定する。そして拡大平滑化部２４は、その周囲の４点のそれぞれについて、負側制限平滑化画像と正側制限平滑化画像の対応画素間の輝度の差分絶対値を算出する。そして拡大平滑化部２４は、その周囲の４点のそれぞれについて、差分絶対値に基づいて、第１の参照値E_R1と正側制限平滑化画像の対応画素の輝度値間、及び、第２の参照値E_R2と負側制限平滑化画像の対応画素の輝度値間のブレンド比を求める。

図１４は、輝度の差分絶対値とブレンド比との対応関係の一例示す図である。図１４において、横軸は輝度の差分絶対値を表し、縦軸は、正側制限平滑化画像に対する第１の参照値E_R1のブレンド比、または負側制限平滑化画像の画素の輝度値に対する第２の参照値E_R2のブレンド比を表す。そしてグラフ１４００は、輝度の差分絶対値とブレンド比との関係を表す。グラフ１４００に示されるように、輝度の差分絶対値が下限閾値以上、かつ、上限閾値以下であれば、輝度の差分絶対値が大きくなるほど、ブレンド比も高くなる。すなわち、元の輝度画像の輝度値が合成参照値に反映され易くなる。一方、輝度の差分絶対値が小さくなるほど、ブレンド比も低くなる。すなわち、正側制限平滑化画像または負側制限平滑化画像の輝度値が合成参照値に反映され易くなる。そして輝度の差分絶対値が下限閾値未満となると、ブレンド比はその下限値となる。また、輝度の差分絶対値が上限閾値を超えると、ブレンド比はその上限値となる。なお、下限閾値は、例えば、4であり、上限閾値は、例えば、48である。また、下限閾値に対応するブレンド比の下限値は、例えば、0.5であり、上限閾値に対応するブレンド比の上限値は、例えば、1.0である。

拡大平滑化部２４は、ブレンド比を決定すると、次式に従って、第１の参照値E_R1と正側制限平滑化画像の対応画素の輝度値、及び、第２の参照値E_R2と負側制限平滑化画像の対応画素の輝度値をブレンドする。
ここでBはブレンド比である。そしてE'_R1、E'_R2は、それぞれ、ブレンド後の第１の参照値及び第２の参照値である。

拡大平滑化部２４は、輝度画像の各画素について、その周囲の４点のそれぞれについて、ブレンド後の第１の参照値とブレンド後の第２の参照値の平均値を合成参照値とする。そして拡大平滑化部２４は、輝度画像の各画素について、その周囲の４点のそれぞれにおける合成参照値を用いてバイリニア補間することにより、拡大平滑化画像の対応画素の輝度値を算出する。

この変形例によれば、拡大平滑化部２４は、照明の照度分布のエッジに相当する部分では、元の輝度画像の輝度値がより保存され、エッジ以外の部分では、より平滑化される。その結果として、輝度補正部１２は、照明光のエッジ近傍でのアーティファクトの発生を抑制しつつ、エッジ以外の部分について、被写体のコントラストをより強調できる。

さらに他の変形例によれば、拡大平滑化部２４は、輝度画像の各画素について、他の補間方法、例えば、最近傍補間あるいはバイキュービック補間により、輝度の補正値を算出してもよい。この場合には、拡大平滑化部２４は、輝度画像の各画素について、４点よりも多い点で、第１の参照値及び第２の参照値を算出してもよい。

さらに他の変形例によれば、制御部６は、入力された画像の赤色成分、青色成分、緑色成分のそれぞれごとに、輝度補正部１２の処理を実行してもよい。あるいはまた、制御部６に入力される画像は、輝度成分のみを持つモノクロ画像であってもよい。これらの場合には、色変換部１１、彩度補正部１３及び逆色変換部１４は省略されてもよい。あるいは、色変換部１１は、原画像の各画素について、その画素値を、YUV表色系以外の表色系、例えば、L*a*b*表色系で表された値に変換してもよい。この場合、逆色変換部１４も、各画素の値を、色変換部１１により変換された表色系の値から、RGB表色系の値に変換すればよい。あるいはまた、補正画像の各画素の値がRGB表色系以外で表されてもよい場合には、逆色変換部１４は省略されてもよい。

上記の実施形態またはその変形例による画像補正装置の各部の機能は、プロセッサ上で実行されるコンピュータプログラムにより実現されてもよい。そのようなコンピュータプログラムは、磁気記録媒体、光記録媒体といったコンピュータ読み取り可能な記録媒体に記録された形で提供されてもよい。ただし、その記録媒体には、搬送波は含まれない。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

１ 撮像装置
２ ユーザインターフェース部
３ 撮像部
４ 記憶媒体アクセス装置
５ 記憶部
６ 制御部
７ 筐体
８ 記憶媒体
１１ 色変換部
１２ 輝度補正部
１３ 彩度補正部
１４ 逆色変換部
２１ 縮小画像生成部
２２ 正側制限平滑化部
２３ 負側制限平滑化部
２４ 拡大平滑化部
２５ 補正部

Claims (7)

1. 入力された画像よりも画素数が少ない縮小画像を生成する縮小画像生成部と、
   前記縮小画像の各画素について、当該画素を含むフィルタ領域を設定し、当該フィルタ領域内に含まれる複数の参照画素のうち、参照画素の輝度値から当該画素の輝度値を減じた差が第１の所定値以上となる参照画素を参照せず、前記複数の参照画素のうちの他の参照画素のそれぞれの輝度値を用いて平滑化することで第１の平滑化画像を生成する正側制限平滑化部と、
   前記縮小画像の各画素について前記フィルタ領域を設定し、前記フィルタ領域内に含まれる前記複数の参照画素のうち、当該画素の輝度値から参照画素の輝度値を減じた差が第２の所定値以上となる参照画素を参照せず、前記複数の参照画素のうちの他の参照画素のそれぞれの輝度値を用いて平滑化することで第２の平滑化画像を生成する負側制限平滑化部と、
   前記入力された画像の各画素について、当該画素の周囲に位置する前記第１の平滑化画像の少なくとも一つの第１の画素のそれぞれについて、当該画素の輝度値と前記第１の画素の輝度値のうちの高い方の重みを他方の重みよりも大きくして当該画素の輝度値と前記第１の画素の輝度値とを重み付け加算して第１の参照値を算出し、かつ、前記第１の画素に対応する前記第２の平滑化画像の第２の画素の輝度値と当該画素の輝度値のうちの低い方の重みを他方の重みよりも大きくして当該画素の輝度値と前記第２の画素の輝度値とを重み付け加算して第２の参照値を算出し、前記第１の参照値と前記第２の参照値との平均値を合成参照値として算出し、前記少なくとも一つの第１の画素のそれぞれにおける前記合成参照値を用いた補間により得られる輝度値を、前記入力された画像の前記画素に対応する平滑化画像の画素の輝度値とすることで前記平滑化画像を生成する拡大平滑化部と、
   補正画像の画素のそれぞれについて、当該画素の輝度値を前記平滑化画像の対応画素の輝度値に対する前記入力された画像の対応画素の輝度値の比に応じた値として算出することで前記補正画像を生成する補正部と、
   を有する画像補正装置。
2. 前記拡大平滑化部は、前記入力された画像の各画素について、前記少なくとも一つの第１の画素のそれぞれについて、当該画素の輝度値が前記第１の画素の輝度値よりも高い場合に当該画素の輝度値を前記第１の参照値とし、かつ、当該画素の輝度値が前記第１の画素に対応する前記第２の画素の輝度値よりも低い場合に当該画素の輝度値を前記第２の参照値とする、請求項１に記載の画像補正装置。
3. 前記拡大平滑化部は、前記入力された画像の各画素について、前記少なくとも一つの第１の画素のそれぞれについて、当該画素の輝度値が前記第１の画素の輝度値よりも高い場合に、当該画素の輝度値が前記第１の参照値に占める第１の割合が、前記第１の画素の輝度値が前記第１の参照値に占める割合よりも高くなるように前記第１の参照値を算出し、かつ、当該画素の輝度値が前記第１の画素に対応する前記第２の画素の輝度値よりも低い場合に、当該画素の輝度値が前記第２の参照値に占める第２の割合が、前記第２の画素の輝度値が前記第２の参照値に占める割合よりも高くなるように前記第２の参照値を算出する、請求項１に記載の画像補正装置。
4. 前記拡大平滑化部は、前記第１の割合を前記第２の割合よりも高くする、請求項３に記載の画像補正装置。
5. 前記拡大平滑化部は、前記入力された画像の各画素について、前記少なくとも一つの第１の画素のそれぞれについて、前記第１の画素の輝度値と対応する前記第２の画素の輝度値間の差分絶対値を算出し、前記差分絶対値が大きくなるほど、前記第１の参照値に占める当該画素の輝度値の割合を高くし、かつ、前記第２の参照値に占める当該画素の輝度値の割合を高くする、請求項１〜４の何れか一項に記載の画像補正装置。
6. 入力された画像よりも画素数が少ない縮小画像を生成し、
   前記縮小画像の各画素について、当該画素を含むフィルタ領域を設定し、当該フィルタ領域内に含まれる複数の参照画素のうち、参照画素の輝度値から当該画素の輝度値を減じた差が第１の所定値以上となる参照画素を参照せず、前記複数の参照画素のうちの他の参照画素のそれぞれの輝度値を用いて平滑化することで第１の平滑化画像を生成し、
   前記縮小画像の各画素について前記フィルタ領域を設定し、前記フィルタ領域内に含まれる前記複数の参照画素のうち、当該画素の輝度値から参照画素の輝度値を減じた差が第２の所定値以上となる参照画素を参照せず、前記複数の参照画素のうちの他の参照画素のそれぞれの輝度値を用いて平滑化することで第２の平滑化画像を生成し、
   前記入力された画像の各画素について、当該画素の周囲に位置する前記第１の平滑化画像の少なくとも一つの第１の画素のそれぞれについて、当該画素の輝度値と前記第１の画素の輝度値のうちの高い方の重みを他方の重みよりも大きくして当該画素の輝度値と前記第１の画素の輝度値とを重み付け加算して第１の参照値を算出し、かつ、前記第１の画素に対応する前記第２の平滑化画像の第２の画素の輝度値と当該画素の輝度値のうちの低い方の重みを他方の重みよりも大きくして当該画素の輝度値と前記第２の画素の輝度値とを重み付け加算して第２の参照値を算出し、前記第１の参照値と前記第２の参照値との平均値を合成参照値として算出し、前記少なくとも一つの第１の画素のそれぞれにおける前記合成参照値を用いた補間により得られる輝度値を、前記入力された画像の前記画素に対応する平滑化画像の画素の輝度値とすることで前記平滑化画像を生成し、
   補正画像の画素のそれぞれについて、当該画素の輝度値を前記平滑化画像の対応画素の輝度値に対する前記入力された画像の対応画素の輝度値の比に応じた値として算出することで前記補正画像を生成する、
   ことを含む画像補正方法。
7. 入力された画像よりも画素数が少ない縮小画像を生成し、
   前記縮小画像の各画素について、当該画素を含むフィルタ領域を設定し、当該フィルタ領域内に含まれる複数の参照画素のうち、参照画素の輝度値から当該画素の輝度値を減じた差が第１の所定値以上となる参照画素を参照せず、前記複数の参照画素のうちの他の参照画素のそれぞれの輝度値を用いて平滑化することで第１の平滑化画像を生成し、
   前記縮小画像の各画素について前記フィルタ領域を設定し、前記フィルタ領域内に含まれる前記複数の参照画素のうち、当該画素の輝度値から参照画素の輝度値を減じた差が第２の所定値以上となる参照画素を参照せず、前記複数の参照画素のうちの他の参照画素のそれぞれの輝度値を用いて平滑化することで第２の平滑化画像を生成し、
   前記入力された画像の各画素について、当該画素の周囲に位置する前記第１の平滑化画像の少なくとも一つの第１の画素のそれぞれについて、当該画素の輝度値と前記第１の画素の輝度値のうちの高い方の重みを他方の重みよりも大きくして当該画素の輝度値と前記第１の画素の輝度値とを重み付け加算して第１の参照値を算出し、かつ、前記第１の画素に対応する前記第２の平滑化画像の第２の画素の輝度値と当該画素の輝度値のうちの低い方の重みを他方の重みよりも大きくして当該画素の輝度値と前記第２の画素の輝度値とを重み付け加算して第２の参照値を算出し、前記第１の参照値と前記第２の参照値との平均値を合成参照値として算出し、前記少なくとも一つの第１の画素のそれぞれにおける前記合成参照値を用いた補間により得られる輝度値を、前記入力された画像の前記画素に対応する平滑化画像の画素の輝度値とすることで前記平滑化画像を生成し、
   補正画像の画素のそれぞれについて、当該画素の輝度値を前記平滑化画像の対応画素の輝度値に対する前記入力された画像の対応画素の輝度値の比に応じた値として算出することで前記補正画像を生成する、
   ことをコンピュータに実行させるための画像補正用コンピュータプログラム。