JP4550090B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、入力画像のダイナミックレンジを適切に改善する画像処理装置及び画像処理方法に関するものである。

従来、画像の階調特性を改善する方法として、１画面の入力画像から同一輝度の画素の画素数を累積することによって得られる累積頻度（ヒストグラム）が、均等に分布するように階調変換を行う、ヒストグラムイコライゼーションが提案されている（例えば、特許文献１参照）。

また、入力画像から空間的な輝度変化の加重平均を求め、求められた加重平均の対数変換値と、入力画像の対数変換値とから、改善された輝度信号を算出することで、画像のダイナミックレンジを改善させるＲＥＴＩＮＥＸと呼ばれる方法が提案されている（例えば、非特許文献１及び特許文献２参照）。

特開２００２−２７２８５号公報（段落００２９−００４１、図１） 特開２００５−３８１１９号公報（段落００２８−００３１、図１） Ｚ．Ｒａｈｍａｎ ｅｔ ａｌ．， "Ａ Ｍｕｌｔｉｓｃａｌｅ Ｒｅｔｉｎｅｘ Ｆｏｒ Ｃｏｌｏｒ Ｒｅｎｄｉｔｉｏｎ ａｎｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｃｏｍｐｒｅｓｓｉｏｎ"， ＸＩＸ Ｐｒｏｃ． ＳＰＩＥ Ｖｏｌ．２８４７， ｐｐ．１８３−１９１， Ｎｏｖ．１９９６

しかしながら、前述のヒストグラムイコライゼーションでは、少なくとも１画面分の画像のヒストグラムデータを記録し、記録されたヒストグラムデータからヒストグラムの偏りを解析し、この解析結果をもとに階調特性を決める。このため、解析に使用した画像と解析結果を反映する画像との間には、１画面以上のタイミングずれが生じるので、入力画像のダイナミックレンジが適切に改善されない場合があった。例えば、動画像において、上記のような１画面以上のタイミングずれがある場合は、解析に使用した画像と解析結果を反映する画像との違いによって、解析結果を反映する画像に対して最適な階調特性を決めることができないという問題があった。

また、ＲＥＴＩＮＥＸを用いる方法では、加重平均を用いるための畳み込み積分及び加重平均と入力信号の対数計算などの計算処理が複雑であるので、ハードウェア（例えば、ＡＳＩＣ（特定用途向け集積回路）やＦＰＧＡ（フィールド プログラマブル ゲート アレイ））や組込みマイコンによってＲＥＴＩＮＥＸを実行する場合に、処理時間が長くなる、実装容量（ゲート規模、メモリ容量）が大きくなるという問題があった。

そこで、本発明は、上記従来技術の課題を解決するためになされたものであり、その目的は、簡単な構成で、入力画像のダイナミックレンジを適切に改善することができる画像処理装置及び画像処理方法を提供することにある。

本発明の画像処理装置は、
入力画像信号を画素ごとに補正して、補正後の画像信号を生成する画像処理装置において、
前記入力画像の第１の走査方向に並んだ画素の輝度を前記第１の走査方向に加重平均することにより得られる第１の加重平均値を表す第１の輝度分布値を求める第１の輝度分布検出手段と、
前記第１の輝度分布値を、前記第１の走査方向と直交する第２の走査方向に加重平均することにより得られる第２の加重平均値を表す第２の輝度分布値を求める第２の輝度分布検出手段と、
前記第２の輝度分布値と、補正利得の最大値とを用いて、前記補正を行う画素の補正利得を求める補正利得検出手段と、
前記補正利得検出手段によって求められた前記補正利得と、前記入力画像信号又は該入力画像信号からオフセットを減算した値との乗算を含む演算により、前記入力画像信号に対し画素ごとに利得補正演算を施す演算手段と
を有し、
前記補正利得検出手段は、前記第２の輝度分布値が増加するにつれて前記補正利得が減少するように、前記補正利得を求めることを特徴としている。

本発明によれば、補正を行う画素の周辺画素の輝度を用いて求められた輝度分布値に基づいて画素ごとに補正利得を求めるので、入力画像の階調特性を適切に改善することができる。

また、複雑な演算を行う必要が無く、計算や処理を簡素化することができるので、構成の簡素化、その結果、コスト低減を図ることができる。

実施の形態１．
図１は、本発明の実施の形態１に係る画像処理装置（実施の形態１に係る画像処理方法を実施する装置）５の構成を概略的に示すブロック図である。図１に示されるように、実施の形態１に係る画像処理装置５は、輝度検出手段１と、フィルタ手段２と、補正利得検出手段３と、演算手段４とを有する。なお、本出願において「…手段」と呼ばれる構成は、電気回路などのハードウェア、プログラムにより動作するソフトウェア、又はハードウェアとソフトウェアの組み合わせのいずれで構成してもよい。例えば、輝度検出手段１と、フィルタ手段２と、補正利得検出手段３と、演算手段４は、マイコン（図示せず）を用いたソフトウェアによって実現することができる。

実施の形態１に係る画像処理装置５は、入力画像信号Ｘｉｎに基づいて画素ごとに補正利得Ｇｋ（ｍ，ｎ）を算出し、算出された補正利得Ｇｋ（ｍ，ｎ）を用いて入力画像信号Ｘｉｎに画素ごとに補正処理を施して、補正後の画像信号Ｘｏｕｔを生成する。画像処理装置５の補正処理では、例えば、固体撮像素子を用いて撮像された撮像画像のダイナミックレンジを改善する。この補正処理により、従来、黒つぶれしやすかった撮像画面内の低輝度領域のコントラストを改善し、認識性能・撮像性能を向上させることができる。

入力画像信号Ｘｉｎは、例えば、８ビット階調で、水平６４０×垂直４８０画素に２次元配列された赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色の画像信号（以下「ＲＧＢ信号」と言う）である。入力画像信号ＸｉｎのＲ信号レベルをＲ（ｍ，ｎ）、入力画像信号ＸｉｎのＧ信号レベルをＧ（ｍ，ｎ）、入力画像信号ＸｉｎのＢ信号レベルをＢ（ｍ，ｎ）と表記する。ここで、ｍは水平画素位置、ｎは垂直画素位置（水平ライン位置）を示す。

各フレーム内の画素は、図２に示すように、フレームＦ内に（フレームを構成する画面上に）マトリクス状に配列され、水平方向（主走査方向）及び垂直方向（副走査方向）に互いに整列している。フレームＦ内の各画素の位置を水平方向の水平画素位置（座標値）ｍと垂直方向の垂直方向位置（座標値）ｎとにより、（ｍ，ｎ）で表すものとする。座標の原点はフレームの最も左でかつ最も上の位置にあり、水平方向の座標値ｍは右向きに画素間隔一つにつき値が１ずつ大きくなり、垂直方向の座標値ｎは下向きに、画素間隔一つにつき値が１ずつ大きくなるものとする。互いに水平方向に並んだ画素により水平ラインが構成される。
入力画像信号Ｘｉｎは、各フレーム内のラインを上から下へと言う走査順、かつ各ライン内の画素を、左から右へと言う走査順に供給される、それぞれの画素の信号の列から成る。

入力画像信号Ｘｉｎは、ＲＧＢ信号に限らず、ＹＣｂＣｒ信号、Ｌ＊ａ＊ｂ＊信号、又はＨＳＶ（Ｈｕｅ、Ｓａｔｕｒａｔｉｏｎ、Ｖａｌｕｅ）信号などであってもよい。画像処理装置５は、入力画像信号ＸｉｎとしてＹＣｂＣｒ信号、Ｌ＊ａ＊ｂ＊信号、又はＨＳＶ信号を用いる場合には、各色空間の信号をＲＧＢ信号に色変換処理する色変換手段（図示せず）を備える。また、入力画像信号Ｘｉｎの階調数は、上記８ビットに限定されず、静止画ファイルで用いられる１０ビット又は１２ビットなどの他の階調数であってもよい。さらに、入力画像信号Ｘｉｎの画素数は、上記値に限定されず、水平１０２４×垂直９６０画素などの他の画素数であってもよい。

輝度検出手段１は、入力画像信号Ｘｉｎから輝度信号成分を求めて出力する。ＩＴＵ−Ｒ ＢＴ．７０９規定の場合、輝度信号Ｙは、ＲＧＢ信号から、次式（１）で表される演算を行なうことにより求めることができる。
Ｙ（ｍ，ｎ）
＝０．２９９×Ｒ（ｍ，ｎ）＋０．５８７×Ｇ（ｍ，ｎ）＋０．１１４×Ｂ（ｍ，ｎ）
…（１）

なお、ＲＧＢ信号から輝度信号Ｙを求めるための変換式は、上記式（１）に限定されず、画像処理を行うシステムが採用する色空間の規格によって規定される。
また、入力画像信号Ｘｉｎに輝度信号Ｙが含まれる場合は、輝度検出手段１は、輝度信号Ｙを求めるための計算を行わずに、入力画像信号Ｘｉｎの輝度信号Ｙを抽出して、フィルタ手段２に出力する。

フィルタ手段２は、例えば図３に示されるように、垂直輝度分布検出手段（第１の輝度分布検出手段）２３と、水平輝度分布検出手段（第２の輝度分布検出手段）２４を有する。

垂直輝度分布検出手段２３は、入力画像の垂直方向と第１の走査方向）に並んだ画素の輝度値を用いて、垂直方向の輝度の予測値Ｙｐを検出して垂直方向の輝度分布値として出力する。
垂直輝度分布検出手段２３は、入力画像を受けて、各画素（利得補正の対象になっている画素）に対し、垂直方向（副走査方向）に並び、該各画素の上に位置する（当該画素よりも前に入力され、処理された）画素の輝度値に基づいて、垂直方向の輝度分布値を求める。
図３の例では、各画素に対し、垂直方向に並び、該各画素の上に位置する画素（（図２において、座標値（ｍ，ｎ−５）の画素、座標値（ｍ，ｎ−４）の画素、座標値（ｍ，ｎ−３）の画素、座標値（ｍ，ｎ−２）の画素、座標値（ｍ，ｎ−１）の画素）の輝度値に対して指数平滑化を行って、予測値を求め、該予測値を当該画素の輝度分布値として出力する。

指数平滑化は、元来時系列データに対応して将来値を予測するための手法であり、一般的には、下記の式（２）
Ｐ（ｎ）＝α×Ｒ（ｎ−１）＋（１−α）×Ｐ（ｎ−１） …（２）
により予測値を求める。
上記の式（２）で、Ｐ（ｎ）は、今回予測値、Ｐ（ｎ−１）は前回予測値、Ｒ（ｎ−１）は前回実績値、αは平滑定数（実績値の寄与率）であり、０＜α＜１の範囲に設定される。
αが１に近いほど、前回の実績値を重視し、αが０に近いほど過去の経過を重視する。
式（２）は、下記の式（３）のように書換えることも可能である。
Ｐ（ｎ）＝α×｛Ｒ（ｎ−１）
＋（１−α）×Ｒ（ｎ−２）
＋（１−α） ^２ ×Ｒ（ｎ−３）
＋（１−α） ^３ ×Ｒ（ｎ−４）
＋（１−α） ^４ ×Ｒ（ｎ−５）
＋…｝
…（３）
式（３）からより古いデータほど、より小さい係数（１−α）^ｊ（但し、ｊ＝１、２、３、…）が掛けられたて加算されることが分る。
本発明では、順次入力される画素の輝度値のうち、垂直方向に整列した画素の輝度値を、時系列データとして扱い、各画素よりも上に位置し、従って各画素よりも前に入力された画素の輝度値に基づいて、各画素の輝度値の予測値を求め、これを輝度分布値として利用する。このようにして求められた輝度分布値は、当該画素の輝度値のみならず、それに垂直方向に整列し、それよりも上に位置する画素の輝度値をも考慮に入れた加重平均値である。

水平輝度分布検出手段２４は、垂直輝度分布検出手段２３で検出された、垂直方向の輝度分布値（予測値）Ｙｐを用いて水平方向の輝度分布値（フィルタリングの結果）Ｙａｖｇ（ｍ，ｎ）を求める。

図３に示される垂直輝度分布検出手段２３は、輝度値記憶手段２０、予測値記憶手段２１、及び予測値算出手段２２を有する。

輝度値記憶手段２０は、ラインメモリを備え、輝度検出手段１から出力される輝度信号により表される各画素の輝度値Ｙを保持し、１ライン期間経過後に、１ライン前の画素の輝度値Ｙとして、予測値算出手段２２へ出力する。
する。

予測値算出手段２２は、輝度値記憶手段２０から出力される１ライン前の画素の輝度値Ｙに対して、後述の演算を行なって、現ラインの画素（利得補正の対象となっている画素、以下「現画素」と言うことがある）の輝度予測値Ｙｐを求める。
予測値記憶手段２１は、ラインメモリを備え、予測値算出手段２２で算出された各画素の輝度予測値Ｙｐを保持し、１ライン期間経過後に、１ライン前の画素の輝度予測値Ｙｐとして出力する。

予測値算出手段２２は、輝度値記憶手段２０から出力される1ライン前の画素の輝度値Ｙと、予測値記憶手段２２から出力される1ライン前の画素の輝度の予測値（Ｙｐ）を入力とし、下記の式（４）により、現画素の輝度予測値Ｙｐ（ｍ，ｎ）を求める。
Ｙｐ（ｍ，ｎ）＝α×Ｙ（ｍ，ｎ−１）＋（１−α）×Ｙｐ（ｍ，ｎ−１）
…（４）

式（４）において、
Ｙｐ（ｍ，ｎ）は、現画素の画素（座標値（ｍ，ｎ）の画素）の輝度予測値、
Ｙ（ｍ，ｎ−１）は、現画素の１ライン前の画素（以下単に「１ライン前の画素」と言うことがある）の輝度値、
Ｙｐ（ｍ，ｎ−１）は、１ライン前の画素の輝度予測値、
αは、１ライン前の画素の輝度値（実績値）Ｙ（ｍ，ｎ−１）の寄与率であり、１以下の数値に設定される。

上記の式（４）の演算により、各画素の輝度予測値は、当該画素の上に位置し、当該画素に垂直方向に整列した画素の輝度の値を考慮に入れたものととなり、αを調整することで、上に位置する画素の影響も変わり、考慮に入れる程度を調整することができる。即ち、αの値を小さくすることで、１ライン前の画素の輝度値（実績値）Ｙの影響を小さくし、１ライン前の画素の輝度予測値Ｙｐの影響を大きくすることができる。

さらに、式（４）のαを、
α＝２＾β（βは−２以下の負の整数）
と設定する（αを２のべき乗とする）ことにより、式（４）における、αを掛ける演算を、ビットシフトで実現することができ、式（４）の演算をビットシフトと加減算とで実現することができる。この結果、演算回路を構成するハードウエアロジックで構成する場合、ロジック実装面積の削減およびコスト削減と、処理時間の短縮効果が得られる。

βは、画像パターンから得たい輝度信号の変化量をもとに経験的、実験的、検証結果から得られる値である。なお、画像から照明などによる、低周波数の輝度変化を検出する場合は、水平方向と、垂直方向の輝度変化の周波数特性は、同一であることが多い。この場合は、後述の水平輝度分布検出手段２４を構成するフィルタのタップ数ｎｔと同程度の値を用いると良い。同程度の値を用いることで、水平輝度分布検出手段２４を構成するフィルタの通過周波数帯域と垂直輝度分布検出手段２３の予測値検出手段における指数平滑化による通過周波数帯域とを同等にすることができる。
また、本実施の形態では、βに−２以下の値を用いることで、前ラインの期間の予測値の影響を多く含むことで、輝度の領域的な変化を検出する。

このように、指数平滑法を用いることで、フレームメモリを用いることなく、前ライン以前の複数のラインの影響を考慮に入れた予測値を求めることができる。その結果、メモリ量を削減し、コスト、実装面積を小さくすることができる。

予測値算出手段２２で求めた輝度の予測値Ｙｐは、予測値記憶手段２１へ出力され、記憶されて、次のラインの処理の際、前ラインの輝度予測値Ｙｐとして予測値算出手段２２に供給される。
垂直輝度分布検出手段２３で求められる輝度予測値Ｙｐは、加重平均値でもあり、垂直方向の輝度分布値として、水平輝度分布検出手段２４へ供給される。

水平輝度分布検出手段２４は、垂直輝度分布手段２３から出力される垂直方向の輝度分布値を用いて、水平方向の輝度分布値を求めるものであり、１次元ｎｔタップの非巡回型デジタルフィルタであり、遅延回路６と、係数手段７と、加算手段８とを有する。
遅延回路６は、輝度予測値Ｙｐを遅延させる遅延素子ＤＬ（−１）、遅延素子ＤＬ（−１）の出力を遅延させる遅延素子ＤＬ（０）、及び遅延素子ＤＬ（０）の出力を遅延させる遅延素子ＤＬ（１）を有する。
係数手段７は、遅延素子ＤＬ（−１）の出力に係数ａ_ｋ（−１）を乗算する乗算器７ａ、遅延素子ＤＬ（０）の出力に係数ａ_ｋ（０）を乗算する乗算器７ｂ、及び遅延素子ＤＬ（１）の出力に係数ａ_ｋ（１）を乗算する乗算器７ｃを有する。
加算手段８は、乗算器７ａ、７ｂ及び７ｃの出力を加算し、その総和を求める。
図３の例では、タップ数ｎｔは、３タップであるが、一般にタップ数ｎｔは、ｎｔ＝２×ｋ＋１（ｋは正の整数）を満たす。

水平輝度分布検出手段２４は、垂直輝度分布検出手段２３から出力される垂直輝度分布値としての輝度予測値Ｙｐをもとに、水平方向にフィルタ処理を施して、次式（５）で与えられるフィルタ信号Ｙａｖｇ（ｍ，ｎ）を出力する。

式（５）において、
Ｙｐ（ｍ，ｎ）は、利得補正処理の対象となっている画素（現画素）の輝度予測値、
Ｙｐ（ｍ−１，ｎ）は、現画素の１画素前に入力された画素（１画素前の画素、即ち１画素左に画素）の輝度予測値、
Ｙｐ（ｍ＋１，ｎ）は、現画素の１画素後に入力された画素（１画素後の画素、即ち１画素右の画素）の画素の輝度予測値である。
このように、式（５）で表されるフィルタリング演算は、利得補正の対象となっている画素（現画素）と、それに水平方向に並びその周辺に位置する画素（本例では、隣接する画素）との、平均（単純平均又は加重平均）を求める演算であり、フィルタ信号は平均値を表す信号であるとも言うことができる。
ここで、係数ａ_ｋ（−１）＝ａ_ｋ（０）＝ａ_ｋ（１）＝１とすると、式（５）の分母は、次式のようになり、式（５）は、単純平均を求める演算となる。

式（５）により、補正処理対象画素と、その周辺の画素の、輝度予測値の平均を求めることができる。なお、「補正処理対象画素の周辺の画素」とは、一般的に言えば、ｉを所定の整数としたときに、補正処理対象画素のｉ画素前から１画素前のまでの画素、及び補正処理対象画素の１画素後からｉ画素後までの画素である。上記の例のように、整数ｉが１であるときには、「補正処理対象画素の周辺の画素」は、補正処理対象画素の１画素前の画素、及び補正処理対象画素の１画素後の画素である。

上記の例のように、水平輝度分布検出手段２４として、１次元の非巡回型デジタルフィルタの構成を用いることで、垂直輝度分布検出手段２３から出力される輝度予測値Ｙｐの水平方向のフィルタ出力（Ｙａｖｇ（ｍ，ｎ））を求めることができる。

水平輝度分布検出手段２４を、各画素の輝度予測値Ｙｐと補正処理対象画素の周辺の画素の輝度予測値の加重平均値を求めるように構成することで、フィルタ出力Ｙａｖｇ（ｍ，ｎ）は、補正処理の対象となっている画素のみならず、その周辺の（左右の）画素をも考慮に入れたものとなるので、該フィルタ出力Ｙａｖｇ（ｍ，ｎ）を用いて補正利得を求めることで、画像のコントラストを改善することができる。
また、デジタル信号処理回路としては、一般的な構成であり、回路規模の簡素化が図れ、ゲート規模削減、コスト低下の効果がある。

水平輝度分布検出手段２４を構成するデジタルフィルタのタップ数ｎｔは、３タップに限らず、任意のタップ数とすることができる。タップ数を増やすことで、カットオフ周波数の特性を細かく設定することができ、また、広い範囲に及ぶ緩やかな輝度変化を検出することができる。このように、タップ数ｎを切替えることで、入力画像内の異なる照明条件による輝度分布に応じた最適なフィルタ手段２を構成することができる。

また、水平輝度分布検出手段２４は、上記式（５）に基づく平均輝度Ｙａｖｇ（ｍ，ｎ）を算出する処理を行う構成に限定されず、明るさの分布に対応した値を求めることができる構成であれば良く、加重平均を出力する構成、ローパスフィルタを用いた構成、又はバンドパスフィルタを用いた構成等のような他の構成とすることができる。

補正利得検出手段３は、フィルタ手段２から出力されたフィルタ信号である平均輝度Ｙａｖｇ（ｍ，ｎ）に基づいて補正利得Ｇｋ（ｍ，ｎ）を算出して出力する。演算手段４は、補正利得検出手段３から出力された補正利得Ｇｋ（ｍ，ｎ）が入力され、入力画像信号Ｘｉｎに補正利得Ｇｋ（ｍ，ｎ）を乗算して出力する。

補正利得検出手段３は、例えば、次式（６）により補正利得Ｇｋ（ｍ，ｎ）を求める。

式（６）において、Ｙａｖｇ（ｍ，ｎ）は、フィルタ手段２から出力され補正利得検出手段３に入力される平均輝度を示し、Ｇｍａｘは、補正利得の最大値である最大利得を示し、Ｙｍａｘは、フィルタ手段２の最大出力（フィルタ手段２の出力が取り得る値の範囲の最大の値）である最大輝度を示す。即ち、最大輝度Ｙｍａｘは、画像信号のデジタル分解能（階調数）により一義的に決まる。例えば、８ビット階調の場合は、最大輝度Ｙｍａｘは２５５であり、１０ビット階調の場合は、最大輝度Ｙｍａｘは１０２３である。

最大利得Ｇｍａｘは、入力画像のダイナミックレンジを向上させ、コントラストが改善できるように、予め統計的、実験的に得られた補正利得である。
γ補正を行うことで、メリハリの無いコントラストの低い画像処理であったが、補正利得Ｇｋ（ｍ，ｎ）を用いることで、コントラスト感の高い画像となり、表示品位が向上する。
補正利得検出手段３は、最大利得Ｇｍａｘを入力画像のレベルによらず一定値とする構成とすることができ、又は入力画像の黒レベルと白レベルの頻度や、平均映像信号レベルなどの入力画像から得られる、画面全体や被写体の明るさ、コントラスト、輝度分布、輝度のヒストグラム、色の分布等の情報に応じて最大利得Ｇｍａｘを切替える構成とすることもできる。このように最大利得Ｇｍａｘが調整可能であることは、動画像に用いた場合に、動画像内の明るさの分布に応じた最適な補正利得を得られ、画質の最適化を図れる。

図４は、補正利得検出手段３から出力される補正利得Ｇｋを示すグラフであり、図５は、補正利得検出手段３から出力される補正利得Ｇｋを示す表である。図４において、横軸は、最大輝度で規格化された平均輝度Ｙａｖｇ／Ｙｍａｘを示し、縦軸は、補正利得Ｇｋを示す。

図４及び図５に示されるように、最大利得Ｇｍａｘが１より大きい場合には、最大輝度で規格化された平均輝度Ｙａｖｇ／Ｙｍａｘが増加するにつれて（すなわち、平均輝度Ｙａｖｇが増加するにつれて）、補正利得Ｇｋは最大利得Ｇｍａｘから減少し、平均輝度Ｙａｖｇが最大輝度Ｙｍａｘに等しくなると（すなわち、Ｙａｖｇ／Ｙｍａｘ＝１になると）、補正利得Ｇｋは１倍になる。また、最大利得Ｇｍａｘが１である場合には、補正利得Ｇｋは１倍になる。

なお、補正利得検出手段３として、式（６）による演算を実行して補正利得Ｇｋを得る構成を説明したが、予め平均輝度Ｙａｖｇに対応する補正利得Ｇｋをルックアップテーブル（ＬＵＴ）として保持しておくこともできる。このようなルックアップテーブルを用いた場合には、割り算処理を行う必要が無くなるので、補正利得検出手段３における計算処理の簡素化を図ることができる。

図６は、実施の形態１において用いる補正利得を、最大輝度で規格化した平均輝度に乗算した値を示すグラフである。図６において、横軸は、最大輝度で規格化された平均輝度Ｙａｖｇ／Ｙｍａｘを示し、縦軸は、最大輝度で規格化された平均輝度Ｙａｖｇ／Ｙｍａｘに補正利得Ｇｋを乗算した値Ｇｋ×Ｙａｖｇ／Ｙｍａｘを示す。

ここで、補正利得Ｇｋは、補正輝度Ｇｋ×Ｙａｖｇ／Ｙｍａｘが単調増加関数になるように求めた値である。図６には、最大利得Ｇｍａｘが１倍、３倍、５倍の場合の補正輝度Ｇｋ×Ｙａｖｇ／Ｙｍａｘを示している。補正輝度は、Ｇｋ×Ｙａｖｇ／Ｙｍａｘ以外の計算に基づく補正輝度を用いてもよい。図６から分かるように、最大利得Ｇｍａｘが１倍の場合は、入力画像信号Ｘｉｎがそのまま出力される。図６から分かるように、最大利得Ｇｍａｘが大きくなるにつれて、低輝度側の傾きが大きく、高輝度側の傾きが小さくなる。低輝度側の傾きを大きくすることで、黒つぶれしやすい低域の信号成分を増幅して出力することができ、低輝度部のコントラストが改善できる。また、高輝度側の傾きを低輝度側に比べて１．０倍程度に小さくすることで、高輝度側の輝度信号やコントラストの信号が維持される。これにより、高輝度側が白つぶれする問題を防ぐことができ、高輝度や低輝度の信号においてもコントラスの高い信号を取り出せ、視認性の向上が図れる。

図７は、実施の形態１に係る画像処理装置５による補正処理前の画像の一例を示す図であり、図８は、実施の形態１に係る画像処理装置５による補正処理後の画像の一例を示す図である。

図７は、明るい領域、すなわち窓の外の景色（符号ＤＳ１で示される部分）が鮮明に再現されているが、暗い領域、すなわち、室内の人物ＨＤ１などは、黒潰れに近い状態になっていることを示している。

図９（ａ）及び（ｂ）は、実施の形態１に係る画像処理装置において、撮像画像の明るい領域（すなわち、図７において窓を通して部屋の外が見える領域ＤＳ１）の処理に関し、図９（ａ）は、画素位置ｐ０から画素位置ｐ６までにおける規格化された輝度信号Ｘｉｎ／Ｙｍａｘと規格化された平均輝度Ｙａｖｇ／Ｙｍａｘを示す図であり、図９（ｂ）は、図９（ａ）と同じ画素位置ｐ０から画素位置ｐ６までにおける規格化された輝度信号Ｘｉｎ／Ｙｍａｘと規格化された出力信号Ｘｏｕｔ／Ｙｍａｘを示す図である。

図９（ａ）に破線で示されるように、入力画像信号の規格化された輝度信号Ｘｉｎ／Ｙｍａｘは、画素位置ｐ１において０．６、画素位置ｐ２において０．７、画素位置ｐ３において０．８、画素位置ｐ４において０．７、画素位置ｐ５において０．８、画素位置ｐ６において０．６である。

よって、図９（ａ）に実線で示されるように、タップ数ｎが３であるときには、規格化された平均輝度Ｙａｖｇ／Ｙｍａｘは、画素位置ｐ１において０．６６、画素位置ｐ２において０．７０、画素位置ｐ３において０．７３、画素位置ｐ４において０．７６、画素位置ｐ５において０．７０、画素位置ｐ６において０．７０となる。

最大利得Ｇｍａｘが３倍であるとき、求めた平均輝度Ｙａｖｇと式（６）より、補正利得Ｇｋは、画素位置ｐ１において１．２９倍、画素位置ｐ２において１．２５倍、画素位置ｐ３において１．２２倍、画素位置ｐ４において１．１９倍、画素位置ｐ５において１．２５倍、画素位置ｐ６において１．２５倍となる。このように、各画素の平均輝度Ｙａｖｇを求めることで、各画素の補正利得Ｇｋを求めることができる。

図９（ｂ）は、図９（ａ）と同じ画素位置ｐ０から画素位置Ｐ６までにおける規格化された輝度信号Ｘｉｎ／Ｙｍａｘと、規格化された出力信号Ｘｏｕｔ／Ｙｍａｘを示す図である。図９（ｂ）に破線で示されるように、入力画像信号の規格化された輝度信号Ｘｉｎ／Ｙｍａｘは、画素位置ｐ１において０．６、画素位置ｐ２において０．７、画素位置ｐ３において０．８、画素位置ｐ４において０．７、画素位置ｐ５において０．８、画素位置ｐ６において０．６である。

座標（ｍ，ｎ）の画素の利得補正した出力画像信号Ｘｏｕｔ（ｍ，ｎ）は、座標（ｍ，ｎ）の画素の入力画像信号Ｘｉｎ（ｍ，ｎ）と利得Ｇｋ（ｍ，ｎ）を用いて、次式（７）で求めることができる。
Ｘｏｕｔ（ｍ，ｎ）＝Ｇｋ（ｍ，ｎ）×Ｘｉｎ（ｍ，ｎ） …（７）

図９（ｂ）に実線で示されるように、利得補正後の規格化された出力画像信号Ｘｏｕｔ／Ｙｍａｘは、画素位置ｐ１において０．７７、画素位置ｐ２において０．８８、画素位置ｐ３において０．９８、画素位置ｐ４において０．８３、画素位置ｐ５において１．００、画素位置ｐ６において０．７５となる。

なお、一般に、入力画像がＲＧＢ信号の場合は、次式（８ａ）、（８ｂ）、（８ｃ）が成り立つ。
Ｒｏｕｔ（ｍ，ｎ）＝Ｇｋ（ｍ，ｎ）×Ｒｉｎ（ｍ，ｎ） …（８ａ）
Ｇｏｕｔ（ｍ，ｎ）＝Ｇｋ（ｍ，ｎ）×Ｇｉｎ（ｍ，ｎ） …（８ｂ）
Ｂｏｕｔ（ｍ，ｎ）＝Ｇｋ（ｍ，ｎ）×Ｂｉｎ（ｍ，ｎ） …（８ｃ）
ここで、Ｒｏｕｔ（ｍ，ｎ）は、座標（ｍ，ｎ）の画素の利得補正した出力Ｒ信号であり、Ｒｉｎ（ｍ，ｎ）は、座標（ｍ，ｎ）の画素の入力Ｒ信号であり、Ｇｏｕｔ（ｍ，ｎ）は、座標（ｍ，ｎ）の画素の利得補正した出力Ｇ信号であり、Ｇｉｎ（ｍ，ｎ）は、座標（ｍ，ｎ）の画素の入力Ｇ信号であり、Ｂｏｕｔ（ｍ，ｎ）は、座標（ｍ，ｎ）の画素の利得補正した出力Ｂ信号であり、Ｂｉｎ（ｍ，ｎ）は、座標（ｍ，ｎ）の画素の入力Ｂ信号である。

また、一般に、入力画像が、ＹＣｂＣｒ信号の場合は、次式（９ａ）、（９ｂ）、（９ｃ）が成り立つ。
Ｙｏｕｔ（ｍ，ｎ）＝Ｇｋ（ｍ，ｎ）×Ｙｉｎ（ｍ，ｎ） …（９ａ）
Ｃｂｏｕｔ（ｍ，ｎ）＝Ｇｋ（ｍ，ｎ）×（Ｃｂｉｎ（ｍ，ｎ）−Ｃｂｏｆ）＋Ｃｂｏｆ
…（９ｂ）
Ｃｒｏｕｔ（ｍ，ｎ）＝Ｇｋ（ｍ，ｎ）×（Ｃｒｉｎ（ｍ，ｎ）−Ｃｒｏｆ）＋Ｃｒｏｆ
…（９ｃ）
ここで、Ｙｏｕｔ（ｍ，ｎ）は、座標（ｍ，ｎ）の画素の利得補正した輝度信号であり、Ｙｉｎ（ｍ，ｎ）は、座標（ｍ，ｎ）の画素の入力輝度信号であり、Ｃｂｏｕｔ（ｍ，ｎ）及びＣｒｏｕｔ（ｍ，ｎ）は、座標（ｍ，ｎ）の画素の利得補正した色差信号であり、Ｃｂｉｎ（ｍ，ｎ）及びＣｒｉｎ（ｍ，ｎ）は、座標（ｍ，ｎ）の画素の入力色差信号であり、Ｃｂｏｆ及びＣｒｏｆは、色差信号を信号処理する際のオフセット量である。

また、式（８ａ）、（８ｂ）、（８ｃ）や、式（９ａ）、（９ｂ）、（９ｃ）に示すように、ＲＧＢ信号一律に同じ補正利得Ｇｋ（ｍ，ｎ）を乗算することにより、局所領域でのホワイトバランスが、ずれることなく、ダイナミックレンジを改善することができる。

図１０（ａ）及び（ｂ）は、実施の形態１に係る画像処理装置において、撮像画像の暗い領域（輝度が低い領域）ＨＤ１の処理に関し、図１０（ａ）は、画素位置ｑ０から画素位置ｑ６までにおける規格化された輝度信号Ｘｉｎ／Ｙｍａｘと規格化された平均輝度Ｙａｖｇ／Ｙｍａｘを示す図であり、図１０（ｂ）は、図１０（ａ）と同じ画素位置ｑ０から画素位置ｑ６までにおける規格化された輝度信号Ｘｉｎ／Ｙｍａｘと規格化された出力信号Ｘｏｕｔ／Ｙｍａｘを示す図である。

図１０（ａ）に破線で示されるように、入力画像の規格化された輝度信号Ｘｉｎ／Ｙｍａｘは、輝度が低い領域ＨＤ１内の画素位置ｑ１において０．１、画素位置ｑ２において０．２、画素位置ｑ３において０．３、画素位置ｑ４において０．２、画素位置ｑ５において０．３、画素位置ｑ６において０．１である。また、図１０（ａ）に実線で示されるように、規格化された平均輝度Ｙａｖｇ／Ｙｍａｘは、画素位置ｑ１において０．１６、画素位置ｑ２において０．２０、画素位置ｑ３において０．２３、画素位置ｑ４において０．２６、画素位置ｑ５において０．２０、画素位置ｑ６において０．２０となる。また、補正利得Ｇｋ（ｍ，ｎ）は、画素位置ｑ１において２．２５倍、画素位置ｑ２において２．１４倍、画素位置ｑ３において２．０５倍、画素位置ｑ４において１．９７倍、画素位置ｑ５において２．１４倍、画素位置ｑ６において２．１４倍である。

図１０（ｂ）に実線で示されるように、入力画像の信号は、輝度信号レベルに一致しているとすると、各画素の利得補正した出力画像信号Ｘｏｕｔは、画素位置ｑ１において０．２３、画素位置ｑ２において０．４３、画素位置ｑ３において０．６２、画素位置ｑ４において０．３９、画素位置ｑ５において０．６４、画素位置ｑ６において０．２１となる。

図９（ｂ）から分かるように、明るい領域ＤＳ１では、補正利得が約１．２倍と、ほぼ入力画像と同一の信号レベルの出力画像が出力される。これにより、明るい領域の画素単位のコントラストは、保持される。これに対し、図１０（ｂ）から分かるように、暗い領域ＨＤ１では、補正利得が約２倍となる。このことは、黒レベルで圧縮されていた信号レベルが、明るくなった上、暗い領域の画素単位のコントラストも増幅されていることを示している。

以上に説明したように、平均輝度Ｙａｖｇにより画素ごとに補正利得Ｇｋを求め、補正利得Ｇｋを画像信号に画素ごとに乗算する処理を施すことにより、暗い領域ＨＤ１は鮮明に（図８のＨＤ２）、明るい領域ＤＳ１は、そのままのコントラストを維持する（図８のＤＳ２）のように、ダイナミックレンジを改善できる。

図１１は、入力画像の各輝度レベルにおける発生頻度（度数）をヒストグラムにより示す図であり、図１２は、改善された画像の各輝度レベルにおける発生頻度（度数）をヒストグラムにより示す図である。図１１及び図１２は、図７、図８、図９（ａ）、（ｂ）、図１０（ａ）、（ｂ）のダイナミックレンジ改善の効果をヒストグラムにより示している。

図１１及び図１２に示されるように、入力画像の明るい領域（図１１のＤＳ１）は、高輝度領域であるため、撮像画像は、高い輝度レベルに分布する。また、入力画像の暗い領域ＨＤ１は、低輝度領域であるため、撮像画像は、低い輝度レベルに分布する。

図１１及び図１２に示されるように、入力画像の補正を行うと、明るい領域ＤＳ１では、補正利得が小さいため、領域ＤＳ２の高い輝度レベルに分布していた２点鎖線で示される信号は、領域ＤＳ２の実線で示される信号になるが、変化は小さい。これに対し、領域ＨＤ１の低輝度レベルに分布した２点鎖線で示される信号は、領域ＨＤ２の実線で示される信号になり、変化が大きい。

このことは、式（７）を用いた補正を行うことで、低輝度においても、高輝度においても、コントラストが改善され、低輝度側の黒つぶれが解消されること、及び、低輝度の信号が大きく高輝度側に移動することで、視認性のより、メリハリのあるダイナミックレンジが改善された画像が得られることを示している。さらに、補正を行うことで、平均輝度が中央付近に分布することになり、ダイナミックレンジの狭い表示装置（例えば、液晶ディスプレイ）においても、表示品位の向上が図れる。

また、実施の形態１に係る画像処理装置５によれば、補正の対象となっている画素の周辺画素の輝度分布に基づいて、補正を行う画素のダイナミックレンジを補正するので、解析結果の反映タイミングを極力短くするができ、入力画像のダイナミックレンジを適切に改善することができる。

また、上記の例では、補正の対象となっている画素の周辺の画素の輝度分布として、垂直輝度分布検出手段２３及び水平輝度分布検出手段２４で、垂直方向の輝度分布値（例えば予測値）、及び水平方向の輝度分布値（例えば加重平均値）の双方に基づいて、補正利得を定めているが、このようにすることで、水平方向のみの輝度分布値（加重平均値）を用いた場合との比較を行なう。

一例として、図１３に示される画像パターン(垂直方向に延びた帯状の明るい部分Ｒｂと、垂直方向に延びた帯状の暗い部分Ｒｄと有し、３番目のラインから９番目のラインまでの範囲では、水平方向に明るい部分Ｒｂと暗い部分Ｒｄとが規則正しく繰返されるパターン)を想定する。帯状の部分Ｒｂ、Ｒｄの幅（水平方向の寸法）それぞれ１画素分である。図示の例では、明るい部分Ｒｂの輝度の値が２００で表され、暗い部分Ｒｄの輝度の値が５０で表され、それ以外の部分の輝度の値が１２８で表されるものとする。
このような輝度の変化を有する画素の信号（３番目から９番目のラインの信号）の輝度値は、図１４（ａ）及び（ｂ）に点線で表されるものとなる。
図１４（ａ）に点線で示される信号を、タップ数ｎｔ＝５の非巡回形デジタルフィルタ（図３の水平輝度分布検出手段２４と同様で、但しタップ数ｎｔが５であるもの）に入力すると、その出力は、図１４（ａ）に実線で示す如くとなり、最大１４２ｄｉｇｉｔ、最小１１１ｄｉｇｉｔの平均輝度レベルになる。よって、補正利得は、１．５５倍から１．８２倍の値（Ｇｍａｘ＝５）になる。
図１４（ｂ）に点線で示される信号を、タップ数ｎｔ＝１５の非巡回形デジタルフィルタに入力すると、その出力は、図１４（ｂ）に実線で示す如くとなり、最大１３３ｄｉｇｉｔ、最小１２１ｄｉｇｉｔの平均輝度レベルになる。よって、補正利得は、１．６２倍から１．７３倍の値（Ｇｍａｘ＝５）になる。
画像パターン（被写体）の輝度分布の周波数特性を考慮してタップ数を選択することで、輝度平均値おばらつきが少なく、安定した補正利得を得ることができる。

次に、図１５の画像パターンに示される画像パターン(水平方向に延びた帯状の明るい部分Ｒｂと、水平方向に延びた帯状の暗い部分Ｒｄと有し、３番目の画素から１７番目の画素までの範囲では、垂直方向に明るい部分Ｒｂと暗い部分Ｒｄとが規則正しく繰返されるパターン)を想定する。帯状の部分Ｒｂ、Ｒｄの幅（垂直方向の寸法）それぞれ１画素分である。図示の例では、明るい部分Ｒｂの輝度の値が２００で表され、暗い部分Ｒｄの輝度の値が５０で表され、それ以外の部分の輝度の値が１２８で表されるものとする。
このような輝度の変化を有する画素の信号は、３番目の水平ラインにおいては、図１６（ａ）に点線で示す如くであり、５番目の水平ラインにおいては、図１６（ｂ）に点線で示す如くである。
このような信号を、タップ数ｎｔ＝５の非巡回形でジタルフィルタ（図３の水平輝度分布検出手段２４と同様で、但しタップ数ｎｔが５であるもの）に入力すると、その出力は、図１６（ａ）及び（ｂ）に実線で示す如くとなり、
図１６（ａ）に示されるように、３番目の水平ラインにおいては、中央部の信号レベルが２００ｄｉｇｉｔであり、平均輝度レベルは、最大２００ｄｉｇｉｔ、最小１４２ｄｉｇｉｔになる。この場合の補正利得は、１．２１倍から１．５５倍の値になる。
また、図１６（ｂ）に示されるように、５番目の水平ラインにおいては、中央部の信号レベルが５０ｄｉｇｉｔであり、平均輝度レベルは、最大１１２ｄｉｇｉｔ、最小５０ｄｉｇｉｔになる。この場合の補正利得は、１．８１倍から２．８０倍の値になる。

以上のように、図１３に示される画像パターンの場合、補正利得が水平ライン方向で一定であるため、水平方向の明暗の信号パターンのコントラストは維持される。

一方、図１５に示される画像パターンの場合、暗い部分Ｒｄの信号（５番目の水平ライン）では補正利得が大きくなり、一方明るい部分Ｒｂの信号（３番目の水平ライン）では、補正利得が小さくなり、垂直方向のコントラスト差を小さくする方向に補正がかかる。このため、垂直方向のコントラストが失われてしまうという問題があった。

このように、単一方向(例えば水平方向)のみのフィルタリングを行った場合、画像パターンによっては、利得補正により好ましくない結果が生じることがある。そこで、本発明では、垂直方向（第１の走査方向）にもフィルタリングを行う（輝度分布値を求める）こととしている。しかし、通常、水平方向及び垂直方向の双方について平均を求めるなどのフィルタリングを行うには、フレームメモリが必要となり、メモリ増に伴い、コストが増え、実装面積が増大し、さらに画像信号に対する処理のための時間が長くなるという問題が生じる。

以上のように、本発明では、垂直方向については、指数平滑法を用いることで、フレームメモリを用いることなく、垂直方向の輝度分布値を求める処理を行っているので、メモリ増を避けることができ、また処理時間の増加も防ぐことができる。

さらに、実施の形態１に係る画像処理装置５によれば、外付けフレームメモリを用いることなく画素単位でダイナミックレンジ拡大を実現でき、また、複雑な演算を行う必要が無く、計算や処理を簡素化することができるので、構成の簡素化、その結果、コスト低減を図ることができる。

図１７は、実施の形態１に係る画像処理装置５の動作（実施の形態１に係る画像処理方法）を概略的に示すフローチャートである。図１７に示されるように、実施の形態１に係る画像処理装置５は、輝度検出処理（ステップＳ１）、フィルタ処理（ステップＳ２）、画素ごとの補正利得の演算処理（画素利得演算処理）である補正利得検出処理（ステップＳ３）、及び補正利得を用いて入力画像信号を補正する処理である演算処理（ステップＳ４）を行う。輝度検出処理（ステップＳ１）において、輝度検出手段１は、入力画像信号Ｘｉｎの輝度信号を検出（算出乃至抽出する。フィルタ処理（ステップＳ２）において、フィルタ処理手段２は輝度信号Ｙにフィルタ処理を施し、フィルタ処理後の輝度信号Ｙａｖｇ（ｍ，ｎ）を出力する。次の補正利得検出処理（ステップＳ３）において、フィルタ処理手段２からの出力Ｙａｖｇ（ｍ，ｎ）に応じて画素ごとの補正利得Ｇｋ（ｍ，ｎ）を求める。次の補正利得演算処理（ステップＳ４）において、演算手段４は補正利得検出処理（ステップＳ２）によって得られた補正利得Ｇｋ（ｍ，ｎ）を用いて入力画像信号Ｘｉｎ（ｍ，ｎ）の演算を画素ごとに行い、補正後の画像信号Ｘｏｕｔ（ｍ，ｎ）を出力する。

実施の形態２．
本発明の実施の形態２に係る画像処理装置は、フィルタ手段２の垂直輝度分布検出手段２３として、図１８に示すものを用いる点で実施の形態１と異なる。
図１８に示す垂直輝度分布検出手段２３は、図３の輝度値記憶手段２０の代わりに、輝度値記憶手段２５を備え、さらに平均算出手段２６及び混合手段２７が付加されている点で異なる。

輝度値記憶手段２５は、入力画像信号の輝度値を保持し、１ライン期間後に、前記１ライン前の画素の輝度値（Ｙ（ｍ，ｎ−１）として出力するメモリ２５ａと、入力画像信号の輝度値を複数ライン（Ｇライン）期間保持し、前記利得補正の対象となっている画素の属するラインよりも後の複数のライン（Ｇライン）の画素の輝度値として出力する輝度値記憶手段２５ｂとを有する。
このうち、メモリ２５ａは、図３の輝度値記憶手段２０と同様のものであり、同様に動作する。予測値算出手段２２は、図３の予測値算出手段２２と同様に動作する。
メモリ２５ｂからは、補正の対象となっている画素よりも１ライン後に入力される画素（図２において、座標値（ｍ，ｎ＋１）の画素）、２ライン後に入力される画素（図２において、座標値（ｍ，ｎ＋２）の画素）、…Ｇライン後に入力される画素の輝度値（一般化して言えば、ｇライン後（ｇ＝１、２、…Ｇ）が同時に出力される。

輝度平均算出手段２６は、メモリ２５ｂの出力を受けて、次式（１０）により、補正の対象となっている画素のｇライン後（ｇ＝１、２、…Ｇ）に入力される画素の輝度値の平均（単純平均または加重平均）を算出する。
Ｙｂ（ｍ，ｎ）
＝ａ_ｔ（１）×Ｙ（ｍ，ｎ＋１）＋ａ_ｔ（２）×Ｙ（ｍ，ｎ＋２）＋
…＋ａ_ｔ（Ｇ）×Ｙ（ｍ，ｎ＋Ｇ）
…（１０）
但し、

混合手段２７は、予測値算出手段２２の出力Ｙｐ（ｍ，ｎ）と、平均算出手段２６で求めた平均Ｙｂ（ｍ，ｎ）とから、例えば、次式（１１）により、重み付け加算を行い、計算結果を、垂直方向の輝度の加重平均値として出力する。
Ｙｑ（ｍ，ｎ）＝δ×Ｙｐ（ｍ，ｎ）＋（１−δ）×Ｙｂ（ｍ，ｎ）
…（１１）
式（１１）において、δは、１以下の定数である。

混合手段２７で求めた加重平均値Ｙｑを（図３における輝度予測値Ｙｐの代わりに）垂直輝度分布値として、垂直輝度分布手段２３から水平輝度分布検出手段２４に出力する。水平輝度分布検出手段２４では、図３の例と同様にして、（但し、Ｙｐの代わりにＹｑを用いて）Ｙａｖｇ（ｍ，ｎ）を検出する。

輝度値記憶手段２５のメモリ２５ｂで記憶するラインの数、即ち、平均算出手段２６で平均を求める際に用いるラインの数は、画像パターンに応じて、経験的、実験的、統計的に得られる。一つの目安として、水平輝度分布値検出手段２４を構成するフィルタのタップ数ｎｔと同程度の値とすると、領域的な輝度の分布を求める際のフィルタの特性が同様になる。

実施の形態２において、上記以外の点は、上記実施の形態１と同じである。

実施の形態２の輝度値記憶手段２５ｂと、平均算出手段２６と、混合手段２７を付加することで、利得補正の対象となっている画素の上に位置する画素のみならず、下側に位置する画素の値をも考慮に入れて補正利得を決定することができるので、より適切に利得補正を行うことができる。

実施の形態３．
本発明の実施の形態３に係る画像処理装置は、フィルタ手段２として、図１９に示すものを用いる点で実施の形態１と異なる。
図１９に示すフィルタ手段２は、図３の輝度値記憶手段２０を備えておらず、図３の予測値算出手段２２の代わりに、予測値算出手段２８を備える点で異なる。

予測値記憶手段２１は、図３の予測値記憶手段２１と同様に、予測値算出手段２８から出力される輝度予測値を保持し、１ライン期間経過後に、１ライン前の画素の輝度予測値Ｙｐ（ｍ，ｎ−１）として出力する。

予測値算出手段２８は、入力画像信号の、補正の対象となっている画素（現画素）の輝度値Ｙ（ｍ，ｎ）と、予測値記憶手段２１から出力される、１ライン前の画素の輝度予測値Ｙｐ（ｍ，ｎ−１）とに基づいて、例えば次式（１２）により、現画素の輝度予測値Ｙｐ（ｍ，ｎ）を求める。
Ｙｐ（ｍ，ｎ）＝α×Ｙ（ｍ，ｎ）＋（１−α）×Ｙｐ（ｍ，ｎ−１）
…（１２）
式（１２）は、式（４）に対し、Ｙ（ｍ，ｎ−１）の代わりにＹ（ｍ，ｎ）を用いている点で異なる。これは、輝度の変化は局所的には緩やかであり、
Ｙ（ｍ，ｎ−１）≒Ｙ（ｍ，ｎ）
と考えても、補正利得の決定には大きな悪影響はないと考えられるためである。

実施の形態３において、上記以外の点は、上記実施の形態１と同じである。

このように構成することで、図３の輝度記憶手段２１を省略でき、従って、ラインメモリの数を減らすことができ、コスト削減が図れる。また、信号処理のタイミングを一水平ライン期間程度短縮することができ、画像信号の同時性が高まる。

実施の形態４．
図２０は、本発明の実施の形態４に係る画像処理装置（実施の形態４に係る画像処理方法を実施する装置）１２の構成を概略的に示すブロック図である。実施の形態４に係る画像処理装置１２は、輝度検出手段１、フィルタ手段２、補正利得検出手段３、乗算手段４、オフセット検出手段９、オフセット減算手段１０、及びオフセット加算手段１１を有する。図２０において、図１の構成と同一又は対応する構成には、同じ符号を付す。

実施の形態４に係る画像処理装置１２は、入力画像の信号レベルのオフセットを調整する手段を有している。
オフセットは、撮像装置（図示せず）による撮像が逆光状態で行なわれたり、撮像装置のレンズのフレアーが画像に影響を及ぼした場合など、被写体の撮像環境・条件による、信号レベルの黒浮きの程度を意味する。

以下に、オフセット調整を行った場合の詳細な補正の動作を説明する。オフセット検出手段９は、入力画像Ｘｉｎの最小信号を検出することで、入力画像の黒浮きの程度を示すオフセット量を求める。オフセット量Ｏｆｆｓｅｔは、次式（１３）で求めることができる。
Ｏｆｆｓｅｔ＝Ｐ×ＭＩＮ（Ｒ，Ｇ，Ｂ） …（１３）
ここで、ＭＩＮ（Ｒ，Ｇ，Ｂ）は、入力画像ＲＧＢ信号の最小値を示しており、Ｐは、０≦Ｐ≦１を満たす正の実数である。オフセット量Ｏｆｆｓｅｔは、１フレーム以上前の補正を行うために有効な１画面分の画像のＲ，Ｇ，Ｂ信号の最小値ＭＩＮ（Ｒ，Ｇ，Ｂ）を検出し、記憶することで、自動検出することができる。

図２０では、オフセット検出手段９によってオフセット量Ｏｆｆｓｅｔを入力画像Ｘｉｎから自動検出する場合の構成を示しているが、オフセット量Ｏｆｆｓｅｔを外部装置から入力する構成を採用することもできる。外部装置において、補正を行いたい対象の信号に対して、補正利得を向上することで、外部装置の性能改善が行える。具体的には、外部装置では、指紋、静脈、顔などのバイオメトリック認証や、形状認証、文字認識などの高度な画像処理を行い、被写体の特徴点（顔認証の場合は、顔）を検出し、特徴点の検出結果をもとに認証を行う機能を有している。外部装置においては、画像処理装置５の画像より、特徴点を有する領域と、領域内の信号レベルを検出した結果より、オフセット量Ｏｆｆｓｅｔを求め、設定することで、特徴点の信号を強調することが可能となる。また、特徴点の信号レベルが増大することで、外部装置の検出精度、認証率などの性能を向上させることができる。

オフセット減算手段１０は、オフセット検出手段９で求めたオフセット量Ｏｆｆｓｅｔを、座標（ｍ，ｎ）の入力Ｒ信号Ｒｉｎ（ｍ，ｎ）、座標（ｍ，ｎ）の入力Ｇ信号Ｇｉｎ（ｍ，ｎ）、座標（ｍ，ｎ）の入力Ｂ信号Ｂｉｎ（ｍ，ｎ）のそれぞれから減算して、
Ｒｉｎ（ｍ，ｎ）−Ｏｆｆｓｅｔと、
Ｇｉｎ（ｍ，ｎ）−Ｏｆｆｓｅｔと、
Ｂｉｎ（ｍ，ｎ）−Ｏｆｆｓｅｔと
を出力する。

演算手段４は、オフセット減算手段１０からのオフセット量Ｏｆｆｓｅｔを減算した信号に、補正利得検出手段３で得た補正利得Ｇｋ（ｍ，ｎ）を乗算して、
Ｇｋ（ｍ，ｎ）×（Ｒｉｎ（ｍ，ｎ）−Ｏｆｆｓｅｔ）と、
Ｇｋ（ｍ，ｎ）×（Ｇｉｎ（ｍ，ｎ）−Ｏｆｆｓｅｔ）と、
Ｇｋ（ｍ，ｎ）×（Ｂｉｎ（ｍ，ｎ）−Ｏｆｆｓｅｔ）と
を出力する。

オフセット加算手段１１は、乗算手段８からの乗算信号が入力され、オフセット減算手段１０と同じオフセット量Ｏｆｆｓｅｔを加算して、
Ｇｋ（ｍ，ｎ）×（Ｒｉｎ（ｍ，ｎ）−Ｏｆｆｓｅｔ）＋Ｏｆｆｓｅｔと、
Ｇｋ（ｍ，ｎ）×（Ｇｉｎ（ｍ，ｎ）−Ｏｆｆｓｅｔ）＋Ｏｆｆｓｅｔと、
Ｇｋ（ｍ，ｎ）×（Ｂｉｎ（ｍ，ｎ）−Ｏｆｆｓｅｔ）＋Ｏｆｆｓｅｔと
を出力する。

オフセット減算手段１０、演算手段４、及びオフセット加算手段１１の処理をまとめると、次式（１４ａ）、（１４ｂ）、（１４ｃ）のようになる。
Ｒｏｕｔ（ｍ，ｎ）
＝Ｇｋ（ｍ，ｎ）×（Ｒｉｎ（ｍ，ｎ）−Ｏｆｆｓｅｔ）＋Ｏｆｆｓｅｔ
…（１４ａ）
Ｇｏｕｔ（ｍ，ｎ）
＝Ｇｋ（ｍ，ｎ）×（Ｇｉｎ（ｍ，ｎ）−Ｏｆｆｓｅｔ）＋Ｏｆｆｓｅｔ
…（１４ｂ）
Ｂｏｕｔ（ｍ，ｎ）
＝Ｇｋ（ｍ，ｎ）×（Ｂｉｎ（ｍ，ｎ）−Ｏｆｆｓｅｔ）＋Ｏｆｆｓｅｔ
…（１４ｃ）

オフセット補正を行わない場合、補正利得Ｇｋ（ｍ，ｎ）がオフセット量Ｏｆｆｓｅｔを増幅してしまい、コントラストを向上させたい信号への補正利得が減少し、全体的にコントラストの無い信号へ変換してしまう。オフセット補正を行うことで、コントラストを向上させたい信号への補正利得を増大させることができ、コントラストの高い処理が実現できる。

なお、オフセット減算手段１０とオフセット加算手段１１のオフセット量は、０≦Ｐ≦１を満たす範囲で、異なる値になってもよい。特に、オフセット加算手段１１のオフセット補正量Ｏｆｆｓｅｔ１をオフセット減算手段１０のオフセット量Ｏｆｆｓｅｔに比べ小さくすることで、黒浮きが軽減される効果を有する。つまり、オフセット補正後の信号は、オフセット量Ｏｆｆｓｅｔ１により、画像の黒つぶれを防いだ上で、オフセット補正前の黒浮き分が補正され、メリハリの無い、黒信号のしまりのない画質を改善できる。つまり、黒レベルのしまった画像を得られる。オフセット加算手段１１のオフセット補正量Ｏｆｆｓｅｔ１をオフセット減算手段１０のオフセット量Ｏｆｆｓｅｔに比べ小さくする処理は、次式（１５ａ）、（１５ｂ）、（１５ｃ）、（１５ｄ）のようになる。
Ｒｏｕｔ（ｍ，ｎ）
＝Ｇｋ（ｍ，ｎ）×（Ｒｉｎ（ｍ，ｎ）−Ｏｆｆｓｅｔ）＋Ｏｆｆｓｅｔ１
…（１５ａ）
Ｇｏｕｔ（ｍ，ｎ）
＝Ｇｋ（ｍ，ｎ）×（Ｇｉｎ（ｍ，ｎ）−Ｏｆｆｓｅｔ）＋Ｏｆｆｓｅｔ０
…（１５ｂ）
Ｂｏｕｔ（ｍ，ｎ）
＝Ｇｋ（ｍ，ｎ）×（Ｂｉｎ（ｍ，ｎ）−Ｏｆｆｓｅｔ）＋Ｏｆｆｓｅｔ１
…（１５ｃ）
Ｏｆｆｓｅｔ＞Ｏｆｆｓｅｔ１ …（１５ｄ）

なお、実施の形態４において、上記以外の点は、上記実施の形態１の場合と同じである。

実施の形態４に係る画像処理装置１２によれば、画像のオフセット量を検出することができ、検出したオフセット量に基づいてオフセット補正することで、低い輝度に分布した信号のコントラストを改善することによる画質の向上を図れる。

また、実施の形態４に係る画像処理装置においては、補正利得処理前のオフセット量の減算量と補正利得処理後のオフセット量の加算量を切替えることが可能であり、オフセット補正後の黒信号のしまりを向上させることができ、画質の向上を図れる。

実施の形態５．
実施の形態５に係る画像処理装置は、補正利得検出手段３による補正利得算出の計算式が、上記実施の形態１において示した式（６）と異なる。具体的には、補正利得Ｇｋ（ｍ，ｎ）は、最大利得Ｇｍａｘと、最小利得Ｇｍｉｎ、平均輝度Ｙａｖｇ（ｍ，ｎ）と、最大輝度Ｙｍａｘを用いて、次式（１６）により得る。

ここで、Ｇｍｉｎは、入力画像の高輝度信号に乗算する最小利得を示している。

図２１は、式（１６）の演算を行う補正利得検出手段３から出力される補正利得Ｇｋを示すグラフであり、図２２は、実施の形態５において用いる補正利得を、最大輝度で規格化した平均輝度に乗算した値を示すグラフである。図２２において、横軸は、最大輝度で規格化された平均輝度Ｙａｖｇ／Ｙｍａｘを示し、縦軸は、最大輝度で規格化された平均輝度Ｙａｖｇ／Ｙｍａｘに補正利得Ｇｋを乗算した値Ｇｋ×Ｙａｖｇ／Ｙｍａｘを示す。

実施の形態５の補正利得は、Ｇｍｉｎは、実験的、統計的な処理で得られた補正利得の最小値であり、式（６）に比べ、Ｙａｖｇ／Ｙｍａｘが大きくなっても、補正利得Ｇｋは、１未満の値を持つ。平均輝度が高い領域では、平均輝度を中心に画素ごとの信号レベルはばらついている。この画素ごとの信号のバラツキに対して補正利得を式（６）に比べて、小さくすることができ、高輝度部の白つぶれを防止することができる。高輝度部のコントラスト信号を白つぶれにて無くすことを防ぎ、補正利得Ｇｍｉｎにより、圧縮してコントラスト信号を保存することができる。

なお、補正利得の特性は、図２２に示されるような特性に限らず、例えば、図２３又は図２４に示されるような特性を持つ補正利得を実現することもできる。このような補正利得を用いることによって、表示装置（図示せず）や撮像装置の階調特性を考慮した、表示装置や撮像装置に最適なダイナミックレンジ改良を行うことができる。

また、実施の形態５において、上記以外の点は、上記実施の形態１又は実施の形態４の場合と同じである。

実施の形態５の画像処理装置５、又は画像処理装置１２によれば、明るさが明るい分布の高輝度信号のコントラスト情報を維持することができ、白つぶれすることを防ぐことができる。

実施の形態４及び５では、実施の形態１に対する変形として説明されているが、実施の形態４及び５で説明した変形は、実施の形態２及び４に対して加えることもできる。

本発明の実施の形態１に係る画像処理装置（実施の形態１に係る画像処理方法を実施する装置）の構成を概略的に示すブロック図である。 画素の配列を示す図である。 本発明の実施の形態１に係る画像処理装置のフィルタ手段を用いる構成を示すブロック図である。 実施の形態１に係る画像処理装置において用いられる補正利得を示すグラフである。 実施の形態１に係る画像処理装置において用いられる補正利得を示す表である。 実施の形態１に係る画像処理装置において用いられる補正利得を、規格化した平均輝度に乗算した値を示すグラフである。 実施の形態１に係る画像処理装置による補正処理前の画像の一例を示す図である。 実施の形態１に係る画像処理装置による補正処理後の画像の一例を示す図である。 （ａ）は、図７に示される輝度の高い領域における規格化された輝度（破線）及び規格化された平均輝度（実線）を示し、（ｂ）は、図７に示される輝度の高い領域における規格化された輝度（破線）及び規格化された出力輝度（実線）を示す図である。 （ａ）は、図７に示される輝度の低い領域における規格化された輝度（破線）及び規格化された平均輝度（実線）を示し、（ｂ）は、図７に示される輝度の低い領域における規格化された輝度（破線）及び規格化された出力輝度（実線）を示す図である。 入力画像の各輝度の発生頻度（度数）をヒストグラムにより示す図である。 改善された画像の各輝度の発生頻度（度数）をヒストグラムにより示す図である。 本発明の実施の形態１の画像処理装置に入力される信号によって表される画像パターンの一例を示すである。 本発明の実施の形態１に係るフィルタ手段の、図１３の画像パターンを撮像した信号を処理するときの出力を示す図である。 本発明の実施の形態１の画像処理装置に入力される信号によって表される画像パターンの他の例を示すである。 （ａ）及び（ｂ）は、本発明の実施の形態１に係るフィルタ手段の、図１５の画像パターンを撮像した信号を処理するときの出力を示す図である。 実施の形態１に係る画像処理装置の動作（実施の形態１に係る画像処理方法）を概略的に示すフローチャートである。 本発明の実施の形態２に係る画像処理装置のフィルタ手段の垂直輝度分布値検出手段を示すブロック図である。 本発明の実施の形態３に係る画像処理装置のフィルタ手段の垂直輝度分布値検出手段を示すブロック図である。 本発明の実施の形態４に係る画像処理装置（実施の形態４に係る画像処理方法を実施する装置）の構成を概略的に示すブロック図である。 本発明の実施の形態５に係る画像処理装置において用いられる補正利得を示すグラフである。 実施の形態５に係る画像処理装置において用いる補正利得を、規格化した平均輝度に乗算した値を示すグラフである。 実施の形態５に係る他の画像処理装置において用いられる他の例の補正利得を、規格化した平均輝度に乗算した値を示すグラフである。 実施の形態５に係る他の画像処理装置において用いられるさらに他の例の補正利得を、規格化した平均輝度に乗算した値を示すグラフである。

符号の説明

１ 輝度検出手段、 ２ フィルタ手段、 ３ 補正利得検出手段、 ４ 演算手段、 ５，１２ 画像処理手段、 ６ 遅延回路、 ７ 係数手段、 ８ 加算手段、 ９ オフセット検出手段、 １０ オフセット減算手段、 １１ オフセット加算手段、 ２０ 輝度値記憶手段、 ２１ 予測値記憶手段、 ２２ 予測値算出手段、 ２３ 垂直輝度分布手段、 ２４ 水平輝度分布手段、 ２５ 輝度値記憶手段、 ２５ａ メモリ、 ２５ｂ メモリ、 ２６ 平均算出手段、 ２７ 混合手段、 ２８ 予測値算出手段。

Claims (11)

1. 入力画像信号を画素ごとに補正して、補正後の画像信号を生成する画像処理装置において、
   前記入力画像の第１の走査方向に並んだ画素の輝度を前記第１の走査方向に加重平均することにより得られる第１の加重平均値を表す第１の輝度分布値を求める第１の輝度分布検出手段と、
   前記第１の輝度分布値を、前記第１の走査方向と直交する第２の走査方向に加重平均することにより得られる第２の加重平均値を表す第２の輝度分布値を求める第２の輝度分布検出手段と、
   前記第２の輝度分布値と、補正利得の最大値とを用いて、前記補正を行う画素の補正利得を求める補正利得検出手段と、
   前記補正利得検出手段によって求められた前記補正利得と、前記入力画像信号又は該入力画像信号からオフセットを減算した値との乗算を含む演算により、前記入力画像信号に対し画素ごとに利得補正演算を施す演算手段と
   を有し、
   前記補正利得検出手段は、前記第２の輝度分布値が増加するにつれて前記補正利得が減少するように、前記補正利得を求める
   画像処理装置。
2. 前記第１の輝度分布検出手段は、
   各画素と前記第１の走査方向に整列し、前記各画素よりも先に入力される側に位置する画素の画像信号を指数平滑化することにより前記各画素の予測値を求める予測値検出手段を備え、前記予測値検出手段により求められた前記予測値を前記第１の輝度分布値として出力することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の輝度分布検出手段は、
   各画素と前記第１の走査方向に整列し、前記各画素よりも前に入力される側に位置する画素の画像信号を指数平滑化することにより前記各画素の予測値を求める予測値検出手段と、
   各画素と前記第１の走査方向に整列し、前記各画素よりも後に入力される側に位置する画素の画像信号の、第３の加重平均値を求める平均検出手段と、
   前記予測値と、前記第３の加重平均値とを重み付け加重することにより、前記第１の輝度分布値を求める混合手段と
   を有することを特徴とする請求項１に記載の画像処理装置。
4. 前記予測値検出手段は、利得補正の対象となっている画素の予測値を下記の式
   Ｙｐ（ｍ，ｎ）＝α×Ｙ（ｍ，ｎ−１）＋（１−α）×Ｙｐ（ｍ，ｎ−１）
   （ここで、Ｙｐ（ｍ，ｎ）は、前記利得補正の対象となっている画素（以下「現画素」と言う）の輝度予測値、
   Ｙ（ｍ，ｎ−１）は、前記現画素よりも１ライン前に入力された画素（以下「１ライン前の画素」と言う）の輝度値、
   Ｙｐ（ｍ，ｎ−１）は、前記１ライン前の画素の輝度予測値、
   αは１以下の定数である）
   により求めることを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記予測値検出手段は、
   入力画像信号の輝度値を保持し、１ライン期間後に、前記１ライン前の画素の輝度値として出力する輝度値記憶手段と、
   前記輝度値記憶手段から出力される前記１ライン前の画素の輝度値に基づいて、前記現画素の輝度予測値を求める予測値算出手段と、
   前記予測値算出手段から出力される輝度予測値を保持し、１ライン期間後に、前記１ライン前の画素の輝度予測値として出力する予測値記憶手段とを備え、
   前記予測値算出手段は、前記輝度記憶手段から出力される前記１ライン前の画素の輝度値のみならず、前記予測値記憶手段から出力される前記１ライン前の画素の輝度予測値にも基づいて、前記現画素の前記輝度予測値を求める
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記平均検出手段は、
   入力画像信号の輝度値を複数ライン期間保持し、前記利得補正の対象となっている画素の属するラインよりも後の複数のラインの画素の輝度値として出力する輝度値記憶手段と、
   前記輝度値記憶手段に保持された前記複数のラインの画素のうち、前記利得補正の対象となっている画素に対して、前記第１の走査方向に整列した複数の画素の輝度値の加重平均値を前記第３の加重平均値として求める平均算出手段と
   を有することを特徴とする請求項３に記載の画像処理装置。
7. 前記補正利得検出手段は、
   前記補正利得と、前記第２の輝度分布値の最大値に対する前記第２の輝度分布値の比との積が、前記第２の輝度分布値の最大値に対する前記第２の輝度分布値の比に対して単調増加関数となるように、前記補正利得を定める
   ことを特徴とする請求項１に記載の画像処理装置。
8. 前記予測値検出手段は、利得補正の対象となっている画素の予測値を下記の式
   Ｙｐ（ｍ，ｎ）＝α×Ｙ（ｍ，ｎ）＋（１−α）×Ｙｐ（ｍ，ｎ−１）
   …（１２）
   （ここで、Ｙｐ（ｍ，ｎ）は、前記利得補正の対象となっている画素（以下「現画素」と言う）の輝度予測値、
   Ｙ（ｍ，ｎ）は、前記現画素の輝度値、
   Ｙｐ（ｍ，ｎ−１）は、前記現画素よりも１ライン前に入力された画素（以下「１ライン前の画素」と言う）の輝度予測値、
   αは１以下の定数である）
   により求めることを特徴とする請求項２に記載の画像処理装置。
9. 前記予測値検出手段は、
   入力画像信号の、前記現画素の輝度値に基づいて、前記現画素の輝度予測値を求める予測値算出手段と、
   前記予測値算出手段から出力される輝度予測値を保持し、１ライン期間経過後に、前記１ライン前の画素の輝度予測値として出力する予測値記憶手段とを備え、
   前記予測値算出手段は、前記入力画像信号の、前記現画素の輝度値のみならず、前記予測値記憶手段から出力される、前記１ライン前の画素の前記輝度予測値にも基づいて、前記現画素の前記輝度予測値を求める
   ことを特徴とする請求項８に記載の画像処理装置。
10. α＝２＾β
    であり、かつβが−２以下の整数である
    ことを特徴とする請求項４又は８に記載の画像処理装置。
11. 入力画像信号を画素ごとに補正して、補正後の画像信号を生成する画像処理方法において、
    前記入力画像の第１の走査方向に並んだ画素の輝度を前記第１の走査方向に加重平均することにより得られる第１の加重平均値を表す第１の輝度分布値を求める第１の輝度分布検出ステップと、
    前記第１の輝度分布値を、前記第１の走査方向と直交する第２の走査方向に加重平均することにより得られる第２の加重平均値を表す第２の輝度分布値を求める第２の輝度分布検出ステップと、
    前記第２の輝度分布値と、補正利得の最大値とを用いて、前記補正を行う画素の補正利得を求める補正利得検出ステップと、
    前記補正利得検出ステップによって求められた前記補正利得と、前記入力画像信号又は該入力画像信号からオフセットを減算した値との乗算を含む演算により、前記入力画像信号に対し画素ごとに利得補正演算を施す演算ステップと
    を有し、
    前記補正利得検出ステップは、前記第２の輝度分布値が増加するにつれて前記補正利得が減少するように、前記補正利得を求める
    画像処理方法。

Images