JP4406443B2 - 画像補正装置 - Google Patents

Description

この発明は、画像データを補正する画像補正装置に関する。

周知のように、平滑化した輝度成分とエッジなどを抽出強調した強調画像を合成するシングルスケールのレチネックスを用いることで、ダイナミックレンジ圧縮による画像中の線分やエッジなどの特徴が小さくなることを防止していた（例えば、特許文献１参照）。

画像データの補正において、逆光補正などで輝度を照明成分とコントラスト成分に分離して、その照明成分のダイナミックレンジ圧縮を行い再度コントラスト成分と合成して暗部を明るく補正する方式の場合、ローカルのコントラストを維持するためには、広範囲な画素の並びを見てそれらから周辺の照明成分を求めて、ほぼ一定のゲインで補正する必要がある。

しかし、照明成分は通常ガウスフィルタで構成されるため、広範囲な画素の照明成分を求めるには、大きなカーネルサイズのフィルタを構成する必要がある。コントラストを維持するために十分な範囲を考えると、膨大な処理量となってしまうという問題があった。

これに対して、照明成分の検出を狭い範囲で行うと、物体境界などのエッジでの輝度の変化を照明成分の変化としてしまいエッジをつぶしてしまうため、コントラストのない画像になってしまい、結果的には分離が十分にできずコントラストの保存ができない。
特開２００５−１８２２３２公報。

従来の画像補正装置では、広範囲な画素の照明成分を求めてコントラストを維持するためには、大きなカーネルサイズのフィルタが必要であり、処理量が膨大になってしまうという問題があった。
この発明は上記の問題を解決すべくなされたもので、処理量を抑えて広範囲な照明成分を抽出し、コントラストを維持したダイナミックレンジ圧縮を実現する画像補正装置を提供することを目的とする。

上記の目的を達成するために、この発明は、入力画像信号に基づく画像の各画素について、その明度を求める明度検出手段と、入力画像信号に基づく画像を複数の領域に分割し、各領域に属する画素の明度に基づいて、各領域の平均明度を求める平均明度検出手段と、入力画像信号に基づく画像の各画素について、その画素が属する領域からの距離を重みとしたその領域の前記平均明度と、その画素が属する領域に接する領域からの距離を重みとしたその領域の前記平均明度とに基づいて、照明成分明度を求める照明成分明度検出手段と、この照明成分明度検出手段が求めた照明成分明度に基づいて、入力画像信号に基づく画像の各画素のゲインを補正する補正手段とを具備し、平均明度検出手段は、第１の平均明度検出手段と、第２の平均明度検出手段とを備え、第１の平均明度検出手段は、入力画像信号に基づく画像を第１のサイズで複数の領域に分割し、各領域に属する画素の明度に基づいて、各領域の第１平均明度を求め、第２の平均明度検出手段は、入力画像信号に基づく画像を前記第１のサイズと大きさが異なる第２のサイズで複数の領域に分割し、各領域に属する画素の明度に基づいて、各領域の第２平均明度を求め、照明成分明度検出手段は、第１の照明成分明度検出手段と、第２の照明成分明度検出手段と、合成手段とを備え、第１の照明成分明度検出手段は、入力画像信号に基づく画像の各画素について、その画素が属する領域からの距離を重みとしたその領域の第１平均明度と、その画素が属する領域に接する領域からの距離を重みとしたその領域の第１平均明度とに基づいて、第１照明成分明度を求め、第２の照明成分明度検出手段は、入力画像信号に基づく画像の各画素について、その画素が属する領域からの距離を重みとしたその領域の第２平均明度と、その画素が属する領域に接する領域からの距離を重みとしたその領域の第２平均明度とに基づいて、第２照明成分明度を求め、合成手段は、入力画像信号に基づく画像の各画素について、第１照明成分明度と第２照明成分明度とを合成して、照明成分明度として出力するように構成するようにした。

以上述べたように、この発明では、入力画像信号に基づく画像を２つの異なるサイズで、それぞれ複数の領域に分け、各サイズについて、領域毎に平均明度（第１平均明度、第２平均明度）を求める。そして、入力画像信号に基づく画像を構成する画素毎に、２つの異なるサイズの平均明度（第１平均明度、第２平均明度）に基づいて、各画素が属する領域からの距離とこれに接する領域からの距離に応じて各サイズの各領域の平均明度に重み付けして合成して照明成分明度を求め、これに基づいて各画素のゲインを補正するようにしている。

したがって、この発明によれば、従来の画素ごとのガウスフィルタで照明成分を求める方式に比べ、少ない演算量でコントラスト成分を含まない理想的な照明成分を求めることができ、入力画像のコントラスト成分を維持したままダイナミックレンジ圧縮などの画像補正が可能となるので、処理量を抑えて広範囲な照明成分を抽出し、コントラストを維持したダイナミックレンジ圧縮を実現する画像補正装置を提供できる。

以下、図面を参照して、この発明の一実施形態について説明する。
図１は、この発明の一実施形態に係わる画像補正装置の構成を示すものである。この画像補正装置は、入力画像バッファ部１０と、明度変換部２０と、低解像度明度画像生成部３０と、高解像度明度画像生成部４０と、補正ゲインルックアップテーブル部５０と、補正部６０と、出力画像バッファ部７０とを備えている。

入力画像バッファ部１０は、当該画像補正装置に入力される入力画像信号を、後段の各部で順次処理するために、一時的に記憶するバッファするものである。入力画像バッファ部１０で一時的にバッファされた入力画像信号は、明度変換部２０および補正部６０に出力される。

明度変換部２０は、入力画像信号に基づく画像の各画素について、その明度を求め、これを低解像度明度画像生成部３０に出力する。なお、明度とは、輝度値よりも人間が感じる明るさに近いとされており、いくつかの定義が可能であるが例えばRGBのうちの最大値である。

低解像度明度画像生成部３０は、入力画像信号に基づく画像を例えば格子状に複数の領域に分割し、各領域に属する画素の明度（明度変換部２０で求めた明度）に基づいて、各領域の平均明度を求める。これにより分割した領域の数を解像度とした低解像度の照明成分明度画像が得られることになる。

この低解像度の画像は、元の高解像度の画像のコントラスト成分を含まない照明成分の画像と言えるため、これをもとにゲイン補正を行えば、コントラストを維持したダイナミックレンジ圧縮が可能となる。ここで例えば、入力画像信号に基づく画像が、図２に例示するような画像であったとすると、低解像度明度画像生成部３０により、各領域の平均明度が求められるので、これを１つの画像にすると、図３に示すようなものとなる。

高解像度明度画像生成部４０は、入力画像信号に基づく画像の各画素について、その画素が属する領域の中心部からの距離を重みとしたその領域の平均明度（低解像度明度画像生成部３０で求めた平均明度）と、その画素が属する領域に接する領域の中心部からの距離を重みとしたその領域の平均明度（低解像度明度画像生成部３０で求めた平均明度）とに基づいて、照明成分明度を求める。

ここで例えば、入力画像信号に基づく画像が、図２に例示するような画像であり、低解像度明度画像生成部３０により、図３に示すような平均明度が求められたとすると、高解像度明度画像生成部４０により、各画素の照明成分明度が求められるので、これを１つの画像にすると、図４に示すようなものとなる。

図４を参照して、高解像度明度画像生成部４０で求める照明成分明度について説明する。ここで、説明を簡明にするために、入力画像信号に基づく画像を１２個に分割しているものとする。照明成分明度を求める対象となる画素をP1とすると、画素P1は、領域F1に属し、領域F1は、領域F2, F5, F6に接している。

ここで、画素P1と、領域F1, F2, F5, F6の各中心からの距離の逆数をそれぞれr1, r2, r5, r6（重み）とし、領域F1, F2, F5, F6の各平均明度をb1, b2, b5, b6とすると、画素P1の照明成分明度B1は、B1＝(r1×b1＋r2×b2＋r5×b5＋r6×b6)/aとなる。なお、aは重みの合計a=r1+r2+r5+r6である。

補正ゲインルックアップテーブル部５０は、例えば図６に示すような特性を有する補正ゲイン対応テーブルに基づいて、高解像度明度画像生成部４０で求めた各画素の照明成分明度を、各画素の補正ゲインに変換する。図６に例示する特性は、明度の高い画素はゲインを抑えて、明度の低い画素ほどゲインを大きくするような特性であり、明部は維持して暗部を明るく補正するものである。また、ここで求める補正ゲインは、入力画像の色空間として通常はYCbCrまたはRGBであるため、YCbCrでは各画素の輝度と色差に適用し、一方、RGBではRGBに適用するものとする。

補正部６０は、補正ゲインルックアップテーブル部５０で求めた各画素の補正ゲインを用いて、入力画像信号の各画素をそれぞれ補正する。これにより、例えば、入力画像信号に基づく画像が、図２に例示するような画像であったとすると、この画像は補正部６０により、図７に示すような画像に補正される。すなわち、この例の絵柄ではリングの外側と内側にある背景との境界において照明成分明度の変化が緩やかであるため、図７の補正後の画像ように境界のコントラストが維持されたまま背景を明るく補正することができる。

出力画像バッファ部７０は、補正部６０にて補正された画像の信号を一時的に記憶するバッファであり、図示しない制御部からの指示に応じて、バッファしている画像信号を後段の信号処理部に出力する。

以上のように、上記構成の画像補正装置では、入力画像信号に基づく画像を複数の領域に分け、各領域毎に平均明度を求める。そして、入力画像信号に基づく画像を構成する画素毎に、各領域毎に求めた平均明度をその領域の中心部との距離で重み付けして、明度を求め、これに基づいて補正ゲインを決定し、入力画像信号を補正するようにしている。

すなわち、照明成分の補正ゲインを求めるために、照明成分とコントラスト成分の分離をせず、あらかじめ画素を明度に変換しこれから適当な矩形のブロックごと明度の平均値をもとめ、これをもとに緩やかな変化のゲイン画像をつくりを元画像に適用することで、元画像の持っているエッジやコントラストを維持したゲイン補正を行っている。

つまり、最初にブロックごとに明るさを求めてしまうため、従来のガウスフィルタのような移動平均にくらべ各画素を評価する回数がすくなくなり、少ない処理量で照明成分を求めることができる。さらに、コントラスト保存目的でコントラスト成分を抽出しておく必要もない。

したがって、上記構成の画像補正装置によれば、従来の画素ごとのガウスフィルタで照明成分を求める方式に比べ、少ない演算量でコントラスト成分を含まない理想的な照明成分を求めることができ、入力画像のコントラスト成分を維持したままダイナミックレンジ圧縮などの画像補正が可能となる。

なお、上記実施の形態では、図１に示したように、複数の機能ブロックで構成した場合の構成例を示したが、例えばDSP(Digital Signal Processor)を用いたソフトウェアによる処理でこれを実現することも可能である。図８にプロセッサを用いた場合のフローチャートを示す。

このフローチャートに示す処理では、まずステップ８ａにおいてプロセッサは、入力画像信号に基づく画像を複数の領域に分割し、ステップ８ｂに移行する。
ステップ８ｂにおいてプロセッサは、ある領域内の各画素の明度を求め、ステップ８ｃに移行する。
ステップ８ｃにおいてプロセッサは、ステップ８ｂで求めた各画素の明度に基づいて、これらの画素が属する領域の平均明度を求め、ステップ８ｄに移行する。

ステップ８ｄにおいてプロセッサは、すべての領域について平均明度を求めたかを確かめる。ここですべての領域について平均明度を求めていない場合には、ステップ８ｂに移行して、残る領域の平均明度を求め、一方、すべての領域について平均明度を求めた場合には、ステップ８ｅに移行する。
以上、ステップ８ａ〜８ｄにより、分割した領域の数を解像度とした低解像度の照明成分明度画像が得られることになる。

ステップ８ｅにおいてプロセッサは、照明成分明度を求める対象となる画素について、その画素が属する領域の中心部からの距離と、その画素が属する領域に接する領域の中心部からの距離を求め、ステップ８ｆに移行する。

ステップ８ｆにおいてプロセッサは、ステップ８ｅで距離を求めた各領域の平均明度に、求めた距離を重み付けして、ステップ８ｅの対象画素の照明成分明度を求め、ステップ８ｇに移行する。
ステップ８ｅおよび８ｆを繰り返すことにより、入力画像と同じ解像度で、低解像度の明度画像から重み付けによりさらにぼかされた明度画像が得られる。

ステップ８ｇにおいてプロセッサは、ステップ８ｆで求めた照明成分明度に基づいて、ステップ８ｅの対象画素の照明成分のダイナミックレンジを圧縮するための補正ゲインを求める。
ステップ８ｈにおいてプロセッサは、ステップ８ｇで求めた補正ゲインを、入力画像信号のうちステップ８ｅの対象画素に適用して、ゲイン補正を行い、ステップ８ｉに移行する。

ステップ８ｉにおいてプロセッサは、すべての画素についてゲイン補正を行ったかを確かめる。ここですべての画素についてゲイン補正を行っていない場合には、ステップ８ｅに移行して、残る画素の補正ゲインを求めて補正し、一方、すべての画素についてゲイン補正を行った場合には、当該処理を終了し、次のフレームの画像について、処理を開始する。
以上のように、プロセッサにより信号処理でも同様の効果を奏する。

また、上記実施の形態では、低解像度明度画像生成部３０により、入力画像信号に基づく画像を複数の領域に分割して、各領域の平均明度を求めるようにしたが、これに代わって例えば、入力画像信号に基づく画像の縮小画像を作成して、この縮小画像を構成する画素の明度をそれぞれ平均明度として求めたり、あるいは縮小画像の複数の画素を用いて平均明度を求め、このような平均明度を高解像度明度画像生成部４０で用いるようにしてもよい。この場合でも、演算量を少なくすることができ、コントラスト成分を維持したままダイナミックレンジ圧縮などの画像補正ができる。

また、上記実施の形態では、低解像度明度画像生成部３０による画像分割は、１通りの場合（図５の例では３×４の１通り）として説明したが、これに代わって例えば２通り（３×４、６×８）あるいは３通り（３×４、６×８、９×１２）など、複数のサイズの領域に分割して、それぞれ領域の平均明度を求めるようにし、これらを合成して、あるサイズの領域毎の平均明度を求め、この平均明度を高解像度明度画像生成部４０で用いるようにしてもよい。これによれば、大きなサイズの領域では抽出できない小さな陰影を抽出できるため、被写体の大きさによる精度変動が少ない照明成分を求めることができる。
すなわち、低解像度明度画像生成部３０に相当する平均明度検出手段が、第１の平均明度検出手段と、第２の平均明度検出手段と、合成手段とを備え、第１の平均明度検出手段は、入力画像信号に基づく画像を第１のサイズで複数の領域に分割し、各領域に属する画素の明度に基づいて、各領域の第１平均明度を求め、また第２の平均明度検出手段は、入力画像信号に基づく画像を上記第１のサイズと大きさが異なる第２のサイズで複数の領域に分割し、各領域に属する画素の明度に基づいて、各領域の第２平均明度を求める。そして、合成手段は、第１の平均明度検出手段で求めた第１平均明度と、第２の平均明度検出手段で求めた第２平均明度とを、対応するあるサイズの領域ごとに合成して、平均明度として出力する。

そして、上記実施の形態では、高解像度明度画像生成部４０が１通りのサイズの領域の平均明度に基づいて、各画素の照明成分明度を求めるようにしたが、これに代わって例えば、上述したように低解像度明度画像生成部３０が複数のサイズの領域の平均明度を求め、これら複数のサイズの領域の平均明度に基づいて、それぞれ各画素の照明成分明度を求め、これらの結果を各画素毎に平均化（合成）するようにしてもよい。このような構成でも、大きなサイズの領域では抽出できない小さな陰影を抽出できるため、被写体の大きさによる精度変動が少ない照明成分を求めることができる。
すなわち、低解像度明度画像生成部３０に相当する平均明度検出手段が、第１の平均明度検出手段と、第２の平均明度検出手段とを備え、第１の平均明度検出手段は、入力画像信号に基づく画像を第１のサイズで複数の領域に分割し、各領域に属する画素の明度に基づいて、各領域の第１平均明度を求め、また第２の平均明度検出手段は、入力画像信号に基づく画像を上記第１のサイズと大きさが異なる第２のサイズで複数の領域に分割し、各領域に属する画素の明度に基づいて、各領域の第２平均明度を求める。そして、高解像度明度画像生成部４０に相当する照明成分明度検出手段が、第１の照明成分明度検出手段と、第２の照明成分明度検出手段と、合成手段とを備え、第１の照明成分明度検出手段は、入力画像信号に基づく画像の各画素について、その画素が属する領域からの距離を重みとしたその領域の第１平均明度と、その画素が属する領域に接する領域からの距離を重みとしたその領域の第１平均明度とに基づいて、第１照明成分明度を求め、また第２の照明成分明度検出手段は、入力画像信号に基づく画像の各画素について、その画素が属する領域からの距離を重みとしたその領域の第２平均明度と、その画素が属する領域に接する領域からの距離を重みとしたその領域の第２平均明度とに基づいて、第２照明成分明度を求め、合成手段は、入力画像信号に基づく画像の各画素について、第１照明成分明度と第２照明成分明度とを合成して、照明成分明度として出力する。

そしてまた、高解像度明度画像生成部４０が求めた各画素の照明成分明度を、明度変換部２０で求めた明度を基準としてある範囲内に制限するようにしてもよい。具体的には、いくつか手法が考えられるが、例えば高解像度明度画像生成部４０が出力する各画素の照明成分明度を、明度変換部２０で求めた明度を基準としたある範囲に制限したり、補正ゲインルックアップテーブル部５０にて照明成分明度を補正ゲインに変換する際に、補正ゲインの範囲を明度変換部２０で求めた明度を基準としたある範囲に制限したり、あるいは明度変換部２０で求めた明度を予め設定した範囲に制限して出力するようにしてもよい。

これによれば、影の境界部分で、いわゆる「hallo」の発生を抑える調整ができる。また明度の上限だけでなく下限ももたせることで、黒の白浮きを抑える効果が期待できる。

この発明に係わる画像補正装置の一実施形態の構成を示す回路ブロック図。 図１に示した画像補正装置に入力される元画像の一例を示す図。 図１に示した低解像度明度画像生成部で求めた領域毎の平均明度を示す図。 図１に示した高解像度明度画像生成部で求めた画素毎の照明成分明度を示す図。 図１に示した高解像度明度画像生成部の処理を説明するための図。 図１に示した補正ゲインルックアップテーブル部の補正ゲイン対応テーブルの特性を示す図。 図２に示した元画像が補正された様子を示す図。 この発明に係わる画像補正装置をプロセッサで構成した場合の動作を説明するためのフローチャート。

符号の説明

１０…入力画像バッファ部、２０…明度変換部、３０…低解像度明度画像生成部、４０…高解像度明度画像生成部、５０…補正ゲインルックアップテーブル部、６０…補正部、７０…出力画像バッファ部。

Claims (4)

1. 入力画像信号に基づく画像の各画素について、その明度を求める明度検出手段と、
   前記入力画像信号に基づく画像を複数の領域に分割し、各領域に属する画素の明度に基づいて、各領域の平均明度を求める平均明度検出手段と、
   前記入力画像信号に基づく画像の各画素について、その画素が属する領域からの距離を重みとしたその領域の前記平均明度と、その画素が属する領域に接する領域からの距離を重みとしたその領域の前記平均明度とに基づいて、照明成分明度を求める照明成分明度検出手段と、
   この照明成分明度検出手段が求めた照明成分明度に基づいて、前記入力画像信号に基づく画像の各画素のゲインを補正する補正手段とを具備し、
   前記平均明度検出手段は、第１の平均明度検出手段と、第２の平均明度検出手段とを備え、
   前記第１の平均明度検出手段は、前記入力画像信号に基づく画像を第１のサイズで複数の領域に分割し、各領域に属する画素の明度に基づいて、各領域の第１平均明度を求め、
   前記第２の平均明度検出手段は、前記入力画像信号に基づく画像を前記第１のサイズと大きさが異なる第２のサイズで複数の領域に分割し、各領域に属する画素の明度に基づいて、各領域の第２平均明度を求め、
   照明成分明度検出手段は、第１の照明成分明度検出手段と、第２の照明成分明度検出手段と、合成手段とを備え、
   前記第１の照明成分明度検出手段は、前記入力画像信号に基づく画像の各画素について、その画素が属する領域からの距離を重みとしたその領域の前記第１平均明度と、その画素が属する領域に接する領域からの距離を重みとしたその領域の前記第１平均明度とに基づいて、第１照明成分明度を求め、
   第２の照明成分明度検出手段は、前記入力画像信号に基づく画像の各画素について、その画素が属する領域からの距離を重みとしたその領域の前記第２平均明度と、その画素が属する領域に接する領域からの距離を重みとしたその領域の前記第２平均明度とに基づいて、第２照明成分明度を求め、
   前記合成手段は、前記入力画像信号に基づく画像の各画素について、前記第１照明成分明度と前記第２照明成分明度とを合成して、前記照明成分明度として出力することを特徴とする画像補正装置。
2. 前記合成手段による前記第１照明成分明度と前記第２照明成分明度との合成は、画素毎に前記第１照明成分明度と前記第２照明成分明度との平均値を求めることによって行うことを特徴とする請求項１に記載の画像補正装置。
3. 前記照明成分明度検出手段は、前記入力画像信号に基づく画像の各画素について求めた照明成分明度を、前記明度検出手段が求めた各画素の明度に基づく範囲に制限する制限手段を備えることを特徴とする請求項１に記載の画像補正装置。
4. 前記明度検出手段は、前記入力画像信号に基づく画像の各画素について、その明度を求め、予め設定された範囲内を超える明度については、その範囲内に制限して出力することを特徴とする請求項１に記載の画像補正装置。

Images