JP4719200B2 - 画像補正装置 - Google Patents

Description

この発明は、画像データを補正する画像補正装置に関する。

周知のように、従来の画像補正装置で行われていた逆光補正処理などでは、輝度を照明成分とコントラスト成分に分離して、その照明成分のダイナミックレンジ圧縮を行い、再度コントラスト成分と合成して暗部を明るく補正する方式がある（例えば、特許文献１参照）。

この方式では、照明成分を広範囲な画素値の平均から求めるため、その範囲に急激な明暗差のある画像の場合、ほぼ中間値が照明成分となってしまう。このためその範囲に小領域の暗部が含まれていても補正ゲインに反映されない。したがって、上記方式では、照明成分を求める範囲に小領域の暗部が含まれている画像に対しては、コントラストは維持されるもののダイナミックレンジ圧縮の効果が少ないという問題があった。
特開２００５−１８２２３２公報。

従来の画像補正装置では、照明成分を求める範囲に小領域の暗部が含まれている場合、コントラストは維持されるもののダイナミックレンジ圧縮の効果が少ないという問題があった。
この発明は上記の問題を解決すべくなされたもので、コントラストを維持したダイナミックレンジ圧縮を実現する画像補正装置を提供することを目的とする。

上記の目的を達成するために、この発明は、画像を構成する第１の領域に含まれる各画素について、１つの画素の第１の照明成分をこの１つの画素の周辺の画素の照明成分に基づいて求める第１検出手段と、この第１検出手段が検出した第１の照明成分に基づいて、各画素の第１の補正ゲインを求める第１補正ゲイン決定手段と、画像を構成し、第２の領域に含まれる各画素の第２の照明成分を求める第２検出手段と、この第２検出手段が検出した第２の照明成分に基づいて、各画素の第２の補正ゲインを求める第２補正ゲイン決定手段と、第１の補正ゲインと第２の補正ゲインとに基づいて、これらの補正ゲインに対応する画素の画像のゲインを補正する補正手段とを具備して構成するようにした。

以上述べたように、この発明では、画素毎に周辺の画素の照明成分に基づいて求めた補正ゲインと、各画素の照明成分に基づいて求めた補正ゲインとに基づいて、入力信号のゲインを補正するようにしている。
したがって、この発明によれば、広狭、２つの範囲の照明成分に基づくゲイン補正が行えるので、コントラストを維持したダイナミックレンジ圧縮を実現することが可能な画像補正装置を提供できる。

以下、図面を参照して、この発明の一実施形態について説明する。
図１は、この発明の一実施形態に係わる画像補正装置の構成を示すものである。この画像補正装置は、入力画像バッファ部１０と、第１フィルタ部２０と、第１ルックアップテーブル部３０と、第２フィルタ部４０と、第２ルックアップテーブル部５０と、補正ゲイン計算部６０と、乗算部７０と、出力画像バッファ部８０とを備えている。
入力画像バッファ部１０は、後段の画像を補正する処理のために、入力された画像信号を一時的に記憶して蓄え、後段の処理の進捗に応じて、蓄えた画像信号を順次出力する。

第１フィルタ部２０は、入力画像バッファ部１０が出力する入力画像信号に基づく画像を小領域に分け、小領域毎に、その小領域を構成する画素の輝度の平均値を求める。このようにして求めた小領域毎の輝度の平均値を、輝度平均値と称する。続いて、第１フィルタ部２０は、各画素毎に、その画素が属する小領域およびその小領域の周辺の小領域の輝度平均値に、その小領域の中心画素からの距離に応じた重み付けを行い、このようにして重み付けを行った小領域の輝度の平均値から照明成分を求める。このようにして求めた各画素毎の照明成分を、広域照明成分と称する。

ここで、上記照明成分の求め方を、図２を参照して説明する。なお、説明を簡単にするために、入力された画像信号は１２個の小領域に分けられるものとしている。また、図２中のＰ１は照度成分を求める対象となる画素とし、この画素Ｐ１と領域Ｆ１、Ｆ２、Ｆ５、Ｆ６の各中心からの慮理の逆数をそれぞれｒ１、ｒ２、ｒ５、ｒ６（重み）、さらに領域Ｆ１、Ｆ２、Ｆ５、Ｆ６の各平均明度をｂ１、ｂ２、ｂ５、ｂ６とすると、画素Ｐ１の照明成分Ｌは、Ｌ＝Σ（ｒ１×ｂ１＋ｒ２×ｂ２＋ｒ５×ｂ５＋ｒ６×ｂ６）／ａから求められる。なお、ａは重み係数であって、ａ＝ｒ１＋ｒ２＋ｒ５＋ｒ６である。

第１ルックアップテーブル部３０は、広域照明成分とコントラスト補正ゲインを対応付けたテーブルを予め記憶しており、このテーブルに基づいて、第１フィルタ部２０で求めた各画素毎の広域照明成分に対応したコントラスト補正ゲインを決定して、これを補正ゲイン計算部６０に出力する。

第２フィルタ部４０は、上記入力画像信号の微小なテクスチャを後段のゲイン補正で消してしまわないようにするために、例えばガウスフィルタなどを用いて、微小なテクスチャを除去する処理を行い、上記小領域よりも小さい微小領域（例えば、画素単位）の照明成分を求める。このようにして求めた微小領域毎の照明成分を、微小域照明成分と称する。

第２ルックアップテーブル部５０は、微小域照明成分とダイナミックレンジ補正ゲインを対応付けたテーブルを予め記憶しており、このテーブルに基づいて、上記入力画像信号の各画素毎に、その画素が属する微小領域に対応付けられたダイナミックレンジ補正ゲインを決定して、これを補正ゲイン計算部６０に出力する。

補正ゲイン計算部６０は、第１ルックアップテーブル部３０で求めた各画素毎のコントラスト補正ゲインと、第２ルックアップテーブル部５０で求めた各画素毎のダイナミックレンジ補正ゲインとを、対応する画素の補正ゲイン同士で所定の割合で合算する計算を行って、各画素毎の補正ゲインを求める。ここでいう合算とは、コントラスト補正ゲインをGc、ダイナミックレンジ補正ゲインをGd、合算後の補正ゲインをGとすると、
G=a×Gc+(1-a)×Gd (0<=a<=1)
で表され、aは合算する割合で、aを大きくするとコントラストが強調され、露出不足によりコントラストが低い画像を補正する場合に適しており、逆にaを小さくすることで逆光写真のように露出に偏りがある画像に対して、ダイナミックレンジ圧縮を行い明暗の差を補正する効果がある。例えば、暗部がつぶれ気味で視認性が低い逆光写真に対しては、aを0.5とすることで暗部の露出補正とコントラスト強調をすることができる。

乗算部７０は、補正ゲイン計算部６０で求めた画素毎の補正ゲインを用いて、上記入力画像信号の対応する画素の信号をゲイン補正する。
出力画像バッファ部８０は、乗算部７０でゲイン補正された画素の信号を、一時的に記憶して蓄え、後段の処理の進捗に応じて、蓄えた画像信号を順次出力する。

次に、図３を参照して、上記構成の画像補正装置の動作について説明する。図３に示すフローチャートは、１つの入力画像の補正が完了するまでの処理を示したもので、この図に示す処理は、新たな入力画像が与えられて、入力画像バッファ部１０に蓄積される度に繰り返し実行される。

まず、ステップ３ａでは、第１フィルタ部２０が、入力画像バッファ部１０が出力する入力画像信号に基づく画像（以下、入力画像と称する）を小領域に分け、ステップ３ｂに移行する。
ステップ３ｂでは、第１フィルタ部２０が、ステップ３ａで分けた小領域毎に、その小領域を構成する画素の輝度の平均値（輝度平均値）を求め、ステップ３ｃに移行する。

ステップ３ｃでは、第１フィルタ部２０が、すべての小領域について、輝度平均値を求めたか否かを判定する。ここで、すべての小領域について、輝度平均値を求めた場合には、ステップ３ｄに移行し、一方、すべての小領域について、輝度平均値を求めていない場合には、ステップ３ｂに移行して、引き続き、輝度平均値を求める。

ステップ３ｄでは、第１フィルタ部２０が、入力画像を構成する各画素について、その画素が属する小領域に隣接する小領域の中心画素からの距離を求め、ステップ３ｅに移行する。なお、予め画素毎に上記距離をテーブルに記憶しておき、それを読み出すようにしてもよい。

ステップ３ｅでは、第１フィルタ部２０が、入力画像を構成する各画素について、ステップ３ｂで求めた、その画素が属する小領域およびその小領域の周辺の小領域の輝度平均値に、ステップ３ｄで求めた各小領域の中心画素からの距離に応じた重み付けを行う。そして、第１フィルタ部２０は、このようにして重み付けを行った各小領域の輝度の平均値から照明成分（広域照明成分）を求め、ステップ３ｆに移行する。

ステップ３ｆでは、第１フィルタ部２０が、すべての画素について、広域照明成分を求めたか否かを判定する。ここで、すべての画素について、広域照明成分を求めた場合には、ステップ３ｇに移行し、一方、すべての画素について、広域照明成分を求めていない場合には、ステップ３ｄに移行して、引き続き、広域照明成分を求める。

ステップ３ｇでは、第２フィルタ部４０が、入力画像の微小なテクスチャを後段のゲイン補正で消してしまわないようにするために、ガウスフィルタなどを用いて、入力画像バッファ部１０が出力する入力画像信号に、微小なテクスチャを除去する処理を行い、上記小領域よりも小さい微小領域の照明成分（微小域照明成分）を求め、ステップ３ｈに移行する。

ステップ３ｈでは、第２フィルタ部４０が、すべての画素について、微小域照明成分を求めたか否かを判定する。ここで、すべての画素について、微小域照明成分を求めた場合には、ステップ３ｉに移行し、一方、すべての画素について、微小域照明成分を求めていない場合には、ステップ３ｇに移行して、引き続き、微小域照明成分を求める。

ステップ３ｉでは、第１ルックアップテーブル部３０が、予め記憶したテーブを参照し、ステップ３ｅで第１フィルタ部２０が求めた各画素毎の広域照明成分に対応したコントラスト補正ゲインを読み出し、ステップ３ｊに移行する。
ステップ３ｊでは、第２ルックアップテーブル部５０が、予め記憶したテーブルを参照し、ステップ３ｇで第２フィルタ部４０が求めた各画素毎の微小域照明成分に対応するダイナミックレンジ補正ゲインを読み出し、ステップ３ｋに移行する。

ステップ３ｋでは、補正ゲイン計算部６０が、ステップ３ｉで第１ルックアップテーブル部３０が求めた各画素毎のコントラスト補正ゲインと、ステップ３ｊで第２ルックアップテーブル部５０が求めた各画素毎のダイナミックレンジ補正ゲインとを、対応する画素の補正ゲイン同士で所定の割合で合算する計算を行って、各画素毎の補正ゲインを求め、ステップ３ｌに移行する。

ステップ３ｌでは、乗算部７０が、ステップ３ｋで補正ゲイン計算部６０が求めた画素毎の補正ゲインを用いて、入力画像バッファ部１０が出力する入力画像信号の対応する画素の信号をゲイン補正し、補正した信号を出力画像バッファ部８０に出力し、ステップ３ｍに移行する。

ステップ３ｍでは、補正ゲイン計算部６０が、すべての画素について、ゲイン補正を行ったか否かを判定する。ここで、すべての画素について、ゲイン補正を行った場合には、当該処理を終了し、一方、すべての画素について、ゲイン補正を行っていない場合には、ステップ３ｉに移行して、引き続き、ゲイン補正のための処理を行う。

以上のように、上記構成の画像補正装置では、第１フィルタ部２０と、第１ルックアップテーブル部３０とにより、広域な照明成分に基づいて小領域にほぼ一定のゲインを適用することでコントラストを伸張するコントラスト補正ゲインを求め、一方、第２フィルタ部４０と、第２ルックアップテーブル部５０とにより、上記小領域よりも小さい微小領域の照明成分に基づいて、ダイナミックレンジを圧縮するダイナミックレンジ補正ゲインを求め、上記コントラスト補正ゲインと上記ダイナミックレンジ補正ゲインを用いて、画素毎にゲイン補正を行うようにしている。

したがって、上記構成の画像補正装置によれば、画素毎に、上記コントラスト補正ゲインと上記ダイナミックレンジ補正ゲインに基づくゲイン補正が行われるので、図４に示すように、コントラストを維持したダイナミックレンジ圧縮を実現することができる。

不必要な階調圧縮でコントラストが失われることを防止できるので、例えば、照明の明暗と黒い物体との区別を周辺の画素値の輝度から判断できるので、明部の黒い物体が白く浮いてしまうようなゲイン補正を防止でき、暗部に対しては明るくなるように補正できる。

これに対して、例えば広域な照明成分に基づいて小領域にほぼ一定のゲインを適用するゲイン補正のみを行った場合、図５に示すように、平均的には暗部が持ち上げられ暗部の視認性が改善するが、大きな明暗の差がある領域は暗部が持ち上がらず明暗の差がより広がることになり暗部の視認性改善にならない。つまり小領域で見た場合にダイナミックレンジ圧縮効果が出ない場合がある。

また、例えば微小領域の照明成分に基づいてダイナミックレンジを圧縮するゲイン補正のみを行った場合、図６に示すように、ダイナミックレンジ圧縮効果は確実に得られるがコントラストも圧縮されてしまう。
しかし、上記構成の画像補正装置では、これら異なる特性を持つゲイン補正を併用することでそれぞれのデメリットを相殺して、良好なコントラスト補正画像を得ることができる。

なお、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。

その一例として例えば、第１ルックアップテーブル部３０と、第２ルックアップテーブル部５０は、互いに異なる入出力特性であってもよい。例えば、第1ルックアップテーブル部3０は、低輝度を持ち上げない特性とすることで、夜景のように広域の照明成分が極端に低い画像において白浮きを防止する、などが考えられる。

このように、第１ルックアップテーブル部３０と、第２ルックアップテーブル部５０の入出力特性を異ならせることで、第２フィルタ部４０と、第２ルックアップテーブル部５０とにより、暗部のゲインを抑え、夜景などの暗い画像でもコントラストを維持したまま暗部の視認性を改善する補正を行うことができる。
その他、この発明の要旨を逸脱しない範囲で種々の変形を施しても同様に実施可能であることはいうまでもない。

この発明に係わる画像補正装置の一実施形態の構成を示す回路ブロック図。 図１に示した画像補正装置の照明成分の求め方を説明するための図。 図１に示した画像補正装置の動作を説明するフローチャート。 図１に示した画像補正装置のゲイン補正による階調の変化を示す図。 一方のゲイン補正による階調の変化を示す図。 一方のゲイン補正による階調の変化を示す図。

符号の説明

１０…入力画像バッファ部、２０…第１フィルタ部、３０…第１ルックアップテーブル部、４０…第２フィルタ部、５０…第２ルックアップテーブル部、６０…補正ゲイン計算部、７０…乗算部、８０…出力画像バッファ部。

Claims (5)

1. 画像を構成する第１の領域に含まれる各画素について、１つの画素の第１の照明成分をこの１つの画素の周辺の画素の照明成分に基づいて求める第１検出手段と、
   この第１検出手段が検出した第１の照明成分に基づいて、各画素の第１の補正ゲインを求める第１補正ゲイン決定手段と、
   画像を構成し、第２の領域に含まれる各画素の第２の照明成分を求める第２検出手段と、
   この第２検出手段が検出した第２の照明成分に基づいて、各画素の第２の補正ゲインを求める第２補正ゲイン決定手段と、
   前記第１の補正ゲインと前記第２の補正ゲインとに基づいて、これらの補正ゲインに対応する画素の前記画像のゲインを補正する補正手段とを具備することを特徴とする画像補正装置。
2. 画像を構成する第１の領域に含まれる各画素について、１つの画素の第１の照明成分をこの１つの画素の周辺の画素の照明成分に基づいて求める第１検出手段と、
   この第１検出手段が検出した第１の照明成分に基づいて、各画素の第１の補正ゲインを求める第１補正ゲイン決定手段と、
   画像を構成し、前記第１の領域よりも小さい第２の領域に含まれる各画素の第２の照明成分を求める第２検出手段と、
   この第２検出手段が検出した第２の照明成分に基づいて、各画素の第２の補正ゲインを求める第２補正ゲイン決定手段と、
   前記第１の補正ゲインと前記第２の補正ゲインとに基づいて、これらの補正ゲインに対応する画素の前記画像のゲインを補正する補正手段とを具備することを特徴とする画像補正装置。
3. 前記第１検出手段は、
   前記１つの画素を含む第１の領域に含まれる複数の画素について求めた前記第１の照明成分に基づいて第１の平均照明成分を求めるとともに、この前記第１の領域の中心から距離を重みとして前記第１の平均照明成分を補正する第１の平均照明成分検出手段と、
   前記１つの画素が属する第１の領域に隣接する第３の領域の中心からの距離を重みとし、この第３の領域に含まれる複数の画素について求めた前記第３の照明成分の第２の平均照明成分を検出する第２の平均照明成分検出手段と、
   前記第１の平均照明成分と第２の平均照明成分とに基づいて前記１つの画素の照明成分を求める照明成分検出手段と
   を備えることを特徴とする請求項１または請求項２に記載の画像補正装置。
4. 前記第２検出手段は、ガウスフィルタを用いて、前記画像を構成する各画素について、前記第２の領域に含まれる画素の照明成分を求めることを特徴とする請求項２に記載の画像補正装置。
5. 前記第１補正ゲイン決定手段はコントラスト補正を行うことで補正ゲインを求め、前記第２補正ゲイン決定手段はダイナミックレンジ補正を行うことで補正ゲインを求めることを特徴とする請求項１または請求項２に記載の画像補正装置。

Images