JP6031993B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は画像のコントラストを補正する画像処理装置及び画像処理方法に関するものである。

従来から、低コントラストの画像を補正して鮮明な画像を生成する技術として、種々のコントラストの改善手法が提案されている。

例えば、特許文献１に記載された画像処理装置は、入力画像データから画素値の変化が急峻なエッジを保存したまま平準化した平滑化画像データを生成し、入力画像データと平滑化画像データの差分値を増幅して平滑化画像データに加算することにより、画像の高域成分のコントラスト強調を行っている。

特開２００１−２９８６２１（段落０００８から００４１）

しかしながら、特許文献１に記載された画像処理装置では、画像の高域成分のコントラスト強調は行われているが、平滑化画像データに対する階調変換処理が行われていない。このため、平滑化画像データのコントラストが高くない場合には、平滑化画像データに高域成分のみが増幅された画像が重畳されるだけであり、画像全体のコントラストが十分に高くならないという問題があった。また、平滑化画像データのコントラストが高い場合には、画像信号が飽和レベルに達しないように、画像の高域成分を増幅する必要がある。このため、画像の高域成分のコントラスト強調が十分に出来ないという問題があった。

そこで、本発明は、上記従来技術の課題を解決するためになされたものであり、コントラストが低い画像全体のコントラストを改善するとともに、高域成分の強調により画像の局所領域のコントラストを改善する。これにより、画像の視認性を適切に改善し、画像の全体として高コントラストな画像を得ることができる画像処理装置及び画像処理方法を提供するものである。

本発明に係る画像処理装置は、入力信号の画面毎の平均値を算出する平均値算出部と、前記入力信号から前記平均値を減算して平均値減算信号を生成する平均値減算部と、前記平均値減算信号を周波数に応じて分割し、分割された周波数領域ごとの成分信号を生成する周波数分割部と、前記周波数領域ごとの成分信号を基に前記周波数領域に対応したゲイン値を設定するとともに、前記平均値が閾値を超える場合には、前記閾値でクリップした値を目標値として設定し、前記平均値が前記閾値を超えない場合には、前記平均値を前記目標値として設定するパラメータ決定部と、前記周波数領域ごとの成分信号に対して、前記ゲイン値を乗算して前記周波数領域に対応したゲイン乗算信号を算出するゲイン乗算部と、前記ゲイン乗算信号を基に設定された信号と前記目標値とを加算する合成部とを備え、前記閾値は、前記合成部の出力信号の階調の中間値を基に決定される。

本願発明は、画像の局所領域の特性に応じたコントラストの強調を行うことで、画像全体のコントラストを強調出来る。

本発明の実施の形態１に係る画像処理装置の構成を示す図である。 補正対象画素を中心とした画素空間配置を示す図である。 図１の遅延部の一例を示すブロック構成図である。 図１のノイズ除去部における入出力の関係の一例を示す図である。 本発明の実施の形態１に係る画像処理装置の動作を示すフローチャートである。 本発明の実施の形態２に係る画像処理装置の構成を示す図である。

実施の形態１．
図１は、本発明の実施の形態１に係る画像処理装置１００（実施の形態１に係る画像処理方法を実施する装置）の構成を示すブロック図である。図１に示すように、画像処理装置１００は、入力画像の各画素を順に補正対象画素とする。画像処理装置１００は、入力信号Ｙｉを入力し、補正した後に出力信号Ｙｏを出力する。ここで、入力信号Ｙｉは、補正対象画素の信号である。また、出力信号Ｙｏは、補正された補正対象画素の信号である。

入力画像Ｙｉは、可視カメラで撮影した画像の場合には、輝度信号、色差信号または３原色信号Ｒ，Ｇ，Ｂなどのコンポーネント信号である。赤外カメラの場合、画素信号そのものである。

図１に示すように、実施の形態１に係る画像処理装置１００は、平均値算出部１、平均値減算部２、遅延部３、周波数分割部４０、ゲイン乗算部７、合成部１０及びパラメータ決定部１１を有する。周波数分割部４０は、信号生成部４及び信号減算部５を有する。また、画像処理装置１００は、絶対最大値算出部６、ノイズ除去部８及び非線形処理部９をさらに有することができる。以下、図１を参照して、画像処理装置１００の動作を説明する。

平均値算出部１は、入力信号Ｙｉの１画面の平均値Ｙａｖｇを算出する。平均値減算部２は、平均値算出部１から出力される平均値Ｙａｖｇ及び入力信号Ｙｉを入力する。平均値減算部２は、入力信号Ｙｉから平均値Ｙａｖｇを減算し、平均値減算信号Ｙｓを算出する。平均値減算部２は、平均値減算信号Ｙｓを遅延部３に出力する。

遅延部３は、平均値算出部２から出力される平均値減算信号Ｙｓを入力する。遅延部３は、平均値減算信号Ｙｓに対して画素遅延処理を行う。遅延部３の行う画素遅延処理は、ライン遅延処理である。そして、遅延部３は、複数の画素の平均値減算信号Ｙｓを同時に出力する。

図２は、補正対象画素を中心とした画素空間配置を示す図である。図２では、補正対象画素の平均値減算信号は信号Ｐ７７である。例えば、図２に示すように、遅延部３は、信号Ｐ７７を中心とした垂直方向に１５画素で水平方向に１５画素の領域に含まれる平均減算信号Ｐ００〜ＰＥＥを同時に出力する。つまり、２２５画素の平均減算信号Ｐ００〜ＰＥＥが同時に出力される。信号Ｐ６６は、補正対象画素の平均減算信号Ｐ７７を１ラインと１画素だけ遅延させた信号である。補正対象画素の平均減算信号Ｐ７７は、信号Ｐ８８を１ラインと１画素だけ遅延させた信号である。

例えば、図３に示すように、遅延部３は、１画素分の遅延処理を行う画素遅延部ＰＤ及び１ライン分の遅延処理を行うライン遅延部ＬＤの組み合わせにより構成される。

信号生成部４及び信号減算部５は、例えば、入力信号である平均値減算信号Ｙｓを４つの周波数成分に分ける。信号生成部４は、第一信号生成回路４１、第二信号生成回路４２及び第三信号生成回路４３を有する。第一信号生成回路４１は、第一の周波数以下の信号を生成する。第二信号生成回路４２は、第二の周波数以下の信号を生成する。第三信号生成回路４３は、第三の周波数以下の信号を生成する。平均値減算信号Ｙｓを４つの周波数成分に分ける場合には、３つの周波数を決める必要がある。第一の周波数は、それらの３つの周波数の内の一番高い周波数である。第二の周波数は、それらの３つの周波数の内の真ん中の周波数である。第三の周波数は、それらの３つの周波数の内の一番低い周波数である。なお、実施の形態１では、平均値減算信号Ｙｓを４つの周波数成分に分けているが、４つの周波数成分に限るものではない。必要に応じて、２つ又は３つの周波数成分に分けることもできる。また５つ以上の周波数成分に分けることもできる。

第一信号生成回路４１は、遅延部３が出力する信号Ｐ６６から信号Ｐ８８までを入力する。つまり、第一信号生成回路４１は、信号Ｐ７７に対して１ラインと１画素分だけ前に入力した信号Ｐ６６から信号Ｐ７７に対して１ラインと１画素分だけ後に入力した信号Ｐ８８までの信号を入力する。第二信号生成回路４２は、遅延部３が出力する信号Ｐ４４から信号ＰＡＡまでを入力する。つまり、第二信号生成回路４２は、信号Ｐ７７に対して３ラインと３画素分だけ前に入力した信号Ｐ４４から信号Ｐ７７に対して３ラインと３画素分だけ後に入力した信号ＰＡＡまでの信号を入力する。第三信号生成回路４３は、遅延部３が出力する信号Ｐ００から信号ＰＥＥまでを入力する。つまり、第三信号生成回路４３は、信号Ｐ７７に対して７ラインと７画素分だけ前に入力した信号Ｐ００から信号Ｐ７７に対して７ラインと７画素分だけ後に入力した信号ＰＥＥまでの信号を入力する。第一信号生成回路４１は、補正対象画素の信号Ｐ７７に対する第一信号Ｙ２１を算出する。第二信号生成回路４２は、補正対象画素の信号Ｐ７７に対する第二信号Ｙ２２を算出する。第三信号生成回路４３は、補正対象画素の信号Ｐ７７に対する第三信号Ｙ２３を算出する。

第一信号生成回路４１は、非線形ＬＰＦ部４１１を備えている。非線形ＬＰＦ回路４１１は、補正対象画素の信号Ｐ７７と周辺画素の信号Ｐ６６から信号Ｐ８８までの各信号との差分値を求める。非線形ＬＰＦ部４１１は、それらの差分値に応じて、信号Ｐ６６から信号Ｐ８８までの周辺画素の信号を非線形変換した値を求める。例えば、差分値が小さい場合には、信号Ｐ６６から信号Ｐ８８までの各信号を非線形変換した値とする。また、差分値が大きい場合には、補正対象画素の信号Ｐ７７を非線形変換した値とする。非線形ＬＰＦ部４１１は、これらの信号Ｐ６６から信号Ｐ８８までの周辺画素の信号に対応した非線形変換した値を用いて補正対象画素の信号Ｐ６６から信号Ｐ８８までの周辺領域を平滑化する。

第二信号生成回路４２は、第一信号生成回路４１と同様に、非線形ＬＰＦ部４２１を備えている。非線形ＬＰＦ回路４２１は、補正対象画素の信号Ｐ７７と周辺画素の信号Ｐ４４から信号ＰＡＡまでの各信号との差分値を求める。非線形ＬＰＦ部４２１は、それらの差分値に応じて、信号Ｐ４４から信号ＰＡＡまでの周辺画素の信号を非線形変換した値を求める。例えば、差分値が小さい場合には、信号Ｐ４４から信号ＰＡＡまでの各信号を非線形変換した値とする。また、差分値が大きい場合には、補正対象画素の信号Ｐ７７を非線形変換した値とする。非線形ＬＰＦ部４２１は、これらの信号Ｐ４４から信号ＰＡＡまでの周辺画素の信号に対応した非線形変換した値を用いて補正対象画素の信号Ｐ４４から信号ＰＡＡまでの周辺領域を平滑化する。

第三信号生成回路４３は、第一信号生成回路４１及び第二信号生成回路４２と同様に、非線形ＬＰＦ部４３１を備えている。非線形ＬＰＦ部４３１は、補正対象画素の信号Ｐ７７と周辺画素の信号Ｐ００から信号ＰＥＥまでの各信号との差分値を求める。非線形ＬＰＦ部４３１は、それらの差分値に応じて、信号Ｐ００から信号ＰＥＥまでの周辺画素の信号を非線形変換した値を求める。例えば、差分値が小さい場合には、信号Ｐ００から信号ＰＦＦまでの各信号を非線形変換した値とする。また、差分値が大きい場合には、補正対象画素の信号Ｐ７７を非線形変換した値とする。非線形ＬＰＦ部４３１は、これらの信号Ｐ００から信号ＰＥＥまでの周辺画素の信号に対応した非線形変換した値を用いて補正対象画素の信号Ｐ００から信号ＰＥＥまでの周辺領域を平滑化する。第二信号生成回路４３が出力する第三信号Ｙ２３は、補正対象画素の信号Ｐ７７に対する低周波成分信号ＹＬとなる。

例えば、非線形ＬＰＦ部４１１，４２１，４３１は、補正対象画素を中心とするＮ×Ｎ画素のウィンドウを設定する。そして、非線形ＬＰＦ部４１１，４２１，４３１は、そのＮ×Ｎ画素のウィンドウ内の画素値の平均値を算出する。例えば、値ＤｓをＮ×Ｎ画素のウィンドウ内の周辺画素の値とする。また、値Ｄｃを補正対象画素の値とする。値Ｄｓと値Ｄｃとの差の絶対値が閾値ＴＨより小さい場合には、その周辺画素の値Ｄｓを用いてＮ×Ｎ画素のウィンドウ内の平均値を算出する。一方、値Ｄｓと値Ｄｃとの差の絶対値が閾値ＴＨ以上である場合には、その周辺画素の値Ｄｓを補正対象画素の値Ｄｃとみなして、Ｎ×Ｎ画素のウィンドウ内の平均値を算出する。つまり、その周辺画素の値Ｄｓを値Ｄｃに入れ替えて平均値を求める。

ここで、閾値ＴＨは予め設定しておいた値である。閾値ＴＨは、画像の急峻な変化を保持する際の変化量を調整するためのパラメータある。パラメータは、ユーザによる画質設定に応じて外部から変更できるようにしても良い。

第一信号生成回路４１、第二信号生成回路４２及び第三信号生成回路４３は、補正対象画素の信号Ｐ７７と周辺画素の信号との差分値を基に、周辺画素の信号を非線形に変換している。そして、この非線形に変換した値を用いて補正対象画素の周辺領域を平滑化している。このため、第一信号Ｙ２１、第二信号Ｙ２２及び第三信号Ｙ２３は、遅延部３が出力する平均値減算信号Ｙｓの急峻な変化を保持した平滑化サイズの異なる信号となる。ここで、「平滑化サイズ」とは、平滑化処理の対処とする領域の大きさである。ウィンドウサイズ又はカーネルサイズなどと呼ばれる。

信号減算部５は、第一信号減算回路５１、第二信号減算回路５２及び第三信号減算回路５３を備える。第一信号減算回路５１は、補正対象画素の信号Ｐ７７及び第一信号Ｙ２１を入力する。補正対象画素の信号Ｐ７７は、遅延部３が出力する信号である。第一信号Ｙ２１は、第一信号生成回路４１が出力する信号である。そして、第一信号減算回路５１は、信号Ｐ７７から第一信号Ｙ２１を減算する。これにより、第一信号減算回路５１は、高周波成分信号ＹＨを算出する。高周波成分信号ＹＨは、補正対象画素の信号Ｐ７７に対する高周波成分の信号である。

第二信号減算回路５２は、第一信号Ｙ２１及び第二信号Ｙ２２を入力する。第一信号Ｙ２１は、第一信号生成回路４１が出力する信号である。第二信号Ｙ２２は、第二信号生成回路４２が出力する信号である。そして、第二信号減算回路５２は、第一信号Ｙ２１から第二信号Ｙ２２を減算する。これにより、第二信号減算回路５２は、中高周波成分信号ＹＭＨを算出する。中高周波成分信号ＹＭＨは、補正対象画素の信号Ｐ７７に対する中高周波成分の信号である。

第三信号減算回路５３は、第二信号Ｙ２２及び第三信号Ｙ２３を入力する。第二信号Ｙ２２は、第二信号生成回路４２が出力する信号である。第二信号Ｙ２３は、第三信号生成回路４３が出力する信号である。そして、第三信号減算回路５３は、第二信号Ｙ２２から第三信号Ｙ２３を減算する。これにより、第三信号減算回路５３は、中低周波成分信号ＹＭＬを算出する。中低周波成分信号ＹＭＬは、補正対象画素の信号Ｐ７７に対する中低周波成分の信号である。

第二信号Ｙ２３は、低周波成分信号ＹＬとなる。第二信号Ｙ２３は、第三信号生成回路４３が出力する信号である。

中高周波成分信号ＹＭＨは、第一信号Ｙ２１から第二信号Ｙ２２を減算した信号である。中高周波成分信号ＹＭＨは、第一信号Ｙ２１から第二信号Ｙ２２を減算することにより、平均値減算信号Ｙｓに含まれた急峻な変化が相殺された信号となる。これにより、中高周波成分信号ＹＭＨは、急峻な変化のない平滑化された信号となる。中低周波成分信号ＹＭＬは、第二信号Ｙ２２から第三信号Ｙ２３を減算した信号である。中低周波成分信号ＹＭＬは、第二信号Ｙ２２から第三信号Ｙ２３を減算することにより、平均値減算信号Ｙｓに含まれた急峻な変化が相殺された信号となる。これにより、中低周波成分信号ＹＭＬは、急峻な変化のない平滑化された信号となる。つまり、中高周波成分信号ＹＭＨ及び中低周波成分信号ＹＭＬは、急峻な変化のない平滑化サイズの異なる信号となる。平均値減算信号Ｙｓは、遅延部３が出力する信号である。以上に示したように、信号生成部４及び信号減算部５は、入力信号である平均値減算信号Ｙｓを４つの周波数成分に分けることができる。

絶対最大値算出部６は、高周波成分信号ＹＨに対して入力画像の１画面内の絶対最大値ＹＨａｍａｘを検出する。高周波成分信号ＹＨは、補正対象画素の信号Ｐ７７の高周波成分の信号である。また、絶対最大値算出部６は、中高周波成分信号ＹＭＨに対して入力画像の１画面内の絶対最大値ＹＭＨａｍａｘを検出する。中高周波成分信号ＹＭＨは、補正対象画素の信号Ｐ７７の中高周波成分の信号である。また、絶対最大値算出部６は、中低周波成分信号ＹＭＬに対して入力画像の１画面内の絶対最大値ＹＭＬａｍａｘを検出する。中低周波成分信号ＹＭＬは、補正対象画素の信号Ｐ７７の中低周波成分の信号である。また、絶対最大値算出部６は、低周波成分信号ＹＬに対して入力画像の１画面内の絶対最大値ＹＬａｍａｘを検出する。低周波成分信号ＹＬは、補正対象画素の信号Ｐ７７の低周波成分の信号である。絶対最大値算出部６では、入力画像の１画面内の絶対最大値を検出する構成とした。この構成は簡易な構成なので、絶対最大値算出部６は、小さな回路規模で実現できる。

ゲイン乗算部７は、乗算器７１，７２，７３，７４を備える。乗算器７１は、高周波成分信号ＹＨに対して、ゲイン値ＧａＨを乗算する。そして、乗算器７１は、ゲイン乗算信号ＹｇＨを算出する。乗算器７２は、中高周波成分信号ＹＭＨに対して、ゲイン値ＧａＭＨを乗算する。そして、乗算器７２は、ゲイン乗算信号ＹｇＭＨを算出する。乗算器７３は、中低周波成分信号ＹＭＬに対して、ゲイン値ＧａＭＬを乗算する。そして、乗算器７３は、ゲイン乗算信号ＹｇＭＬを算出する。乗算器７４は、低周波成分信号ＹＬに対して、ゲイン値ＧａＬを乗算する。そして、乗算器７４は、ゲイン乗算信号ＹｇＬを算出する。

つまり、ゲイン乗算部７は、高周波成分信号ＹＨにゲイン値ＧａＨを乗算し、ゲイン乗算信号ＹｇＨを生成する。また、ゲイン乗算部７は、中高周波成分信号ＹＭＨにゲイン値ＧａＭＨを乗算し、ゲイン乗算信号ＹｇＭＨを生成する。また、ゲイン乗算部７は、中低周波成分信号ＹＭＬにゲイン値ＧａＭＬを乗算し、ゲイン乗算信号ＹｇＭＬを生成する。また、ゲイン乗算部７は、低周波成分信号ＹＬにゲイン値ＧａＬを乗算し、ゲイン乗算信号ＹｇＬを生成する。ゲイン値ＧａＨ、ゲイン値ＧａＭＨ、ゲイン値ＧａＭＬ及びゲイン値ＧａＬは、互いに異なるゲイン値である。

このような構成としたので、ゲイン乗算部７は、画像データ中の大きさの異なる小さい信号レベルの差を個別に増幅できる。例えば、画像データに壁面が含まれている場合には、可視カメラであれば壁面の先鋭な傷（高周波成分）、壁面の大きさの異なる輝度（中高周波成分又は中低周波成分）及び壁面の大きさの異なる色のムラ（中高周波成分又は中低周波成分）をそれぞれ個別に増幅して視認できる。

ノイズ除去部８は、ノイズ除去回路８１，８２，８３，８４を備えている。ノイズ除去回路８１は、ゲイン乗算信号ＹｇＨに対してノイズ除去を行う。そして、ノイズ除去回路８１は、ノイズ除去信号ＹｎＨを算出する。ノイズ除去回路８２は、ゲイン乗算信号ＹｇＭＨに対してノイズ除去を行う。そして、ノイズ除去回路８２は、ノイズ除去信号ＹｎＭＨを算出する。ノイズ除去回路８３は、ゲイン乗算信号ＹｇＭＬに対してノイズ除去を行う。そして、ノイズ除去回路８３は、ノイズ除去信号ＹｎＭＬを算出する。ノイズ除去回路８４は、ゲイン乗算信号ＹｇＬに対してノイズ除去を行う。そして、ノイズ除去回路８４は、ノイズ除去信号ＹｎＬを算出する。

図３は、遅延部３の一例を示すブロック構成図である。遅延部３は、ライン遅延回路ＬＤ及び画素遅延回路ＰＤを有する。図３のライン遅延回路ＬＤは、ライン遅延回路ＬＤへの入力信号を１ライン遅延して出力する。画素遅延回路ＰＤは、画素遅延回路ＰＤへの入力信号を１画素遅延して出力する。例えば、遅延部３への入力信号を信号Ｐ００とすると、信号Ｐ００は、画素遅延回路ＰＤとライン遅延回路ＬＤとへ入力される。画素遅延回路ＰＤへ入力された信号Ｐ００は、１画素遅延して信号Ｐ０１となり、次の画素遅延回路ＰＤに入力される。ライン遅延回路ＬＤへ入力された信号Ｐ００は、１ライン遅延して信号Ｐ１０となり、画素遅延回路ＰＤとライン遅延回路ＬＤとへ入力される。図３のブロック構成では、信号Ｐ００は、最大で（１５ライン＋１５画素）の遅延をして、信号ＰＥＥとなって出力される。

図４は、ノイズ除去回路８１，８２，８３，８４の具体的な処理の一例を説明するための特性図である。ノイズ除去部８は、ノイズ除去回路８１，８２，８３，８４を有する。図４の横軸は、ノイズ除去回路８１，８２，８３，８４の入力信号ＹｇＸである。ここで、符号ＸはＬ、ＭＬ、ＭＨ又はＨである。図４の縦軸は、ノイズ除去回路８１，８２，８３，８４の出力信号ＹｎＸである。ここで、符号ＸはＬ、ＭＬ、ＭＨ又はＨである。ノイズ除去回路８１，８２，８３，８４は、クリップ処理部を備える。クリップ処理部は、入力信号ＹｇＸの絶対値がノイズ除去閾値ＮｃＸ未満の値の場合には、出力信号ＹｎＸとして０（ゼロ）を出力する。ここで、入力信号ＹｇＸの符号Ｘ、ノイズ除去閾値ＮｃＸの符号Ｘ及び出力信号ＹｎＸの符号Ｘは、Ｈ、ＭＨ、ＭＬ又はＬである。

ノイズ除去回路８１，８２，８３，８４は、ゲイン乗算信号ＹｇＨ，ＹｇＭＨ，ＹｇＭＬ，ＹｇＬのそれぞれに対して、ノイズ除去を行う構成とした。このため、ノイズ除去回路８１，８２，８３，８４は、画像データに含まれる大きさの異なるノイズを除去することができる。

非線形処理部９は、非線形処理回路９１，９２，９３，９４を備える。非線形処理回路９１は、ノイズ除去信号ＹｎＨに対して階調圧縮を行う。そして、非線形処理回路９１は、非線形処理信号ＹｃＨを算出する。非線形処理回路９２は、ノイズ除去信号ＹｎＭＨに対して階調圧縮を行う。そして、非線形処理回路９２は、非線形処理信号ＹｃＭＨを算出する。非線形処理回路９３は、ノイズ除去信号ＹｎＭＬに対して階調圧縮を行う。そして、非線形処理回路９３は、非線形処理信号ＹｃＭＬを算出する。非線形処理回路９４は、ノイズ除去信号ＹｎＬに対して階調圧縮を行う。そして、非線形処理回路９３は、非線形処理信号ＹｃＬを算出する。ノイズ除去信号ＹｎＨ，ＹｎＭＨ，ＹｎＭＬ，ＹｎＬは、ノイズ除去部８の出力信号である。

非線形処理部９は、階調圧縮を行う非線形処理回路９１，９２，９３，９４を備える構成とした。非線形処理回路９１，９２，９３，９４は、ゲイン乗算部７によって増幅された信号階調を越える信号を、階調圧縮処理により完全には潰さない。このため、非線形処理回路９１，９２，９３，９４は、非線形処理信号ＹｃＨ，ＹｃＭＨ，ＹｃＭＬ，ＹｃＬの信号階調を残すことが可能となる。

合成部１０は、非線形処理信号ＹｃＨ，ＹｃＭＨ，ＹｃＭＬ，ＹｃＬ及び平均値Ｙａｖｇを入力する。非線形処理信号ＹｃＨ，ＹｃＭＨ，ＹｃＭＬ，ＹｃＬは、非線形処理部９が出力する信号である。平均値Ｙａｖｇは、平均値算出部１が出力する信号である。合成部１０は、非線形処理信号ＹｃＨ，ＹｃＭＨ，ＹｃＭＬ，ＹｃＬ及び平均値Ｙａｖｇを合成して出力信号Ｙｏを生成する。例えば、合成部１０は、非線形処理信号ＹｃＨ，ＹｃＭＨ，ＹｃＭＬ，ＹｃＬに平均値Ｙａｖｇを加算して出力信号Ｙｏを生成する。合成部１０は、出力信号Ｙｏを算出する。

パラメータ決定部１１は、絶対最大値ＹＨａｍａｘ，ＹＭＨａｍａｘ，ＹＭＬａｍａｘ，ＹＬａｍａｘを入力する。絶対最大値ＹＨａｍａｘ，ＹＭＨａｍａｘ，ＹＭＬａｍａｘ，ＹＬａｍａｘは、絶対最大値算出部６が出力する高周波成分信号ＹＨ、中高周波成分ＹＭＨ、中低周波成分ＹＭＬ、低周波成分ＹＬの入力画像の１画面内の絶対最大値である。つまり、絶対最大値ＹＨａｍａｘは、絶対最大値算出部６が出力する高周波成分信号ＹＨの入力画像の１画面内の絶対最大値である。絶対最大値ＹＭＨａｍａｘは、絶対最大値算出部６が出力する中高周波成分ＹＭＨの入力画像の１画面内の絶対最大値である。絶対最大値ＹＭＬａｍａｘは、絶対最大値算出部６が出力する中低周波成分ＹＭＬの入力画像の１画面内の絶対最大値である。絶対最大値ＹＬａｍａｘは、絶対最大値算出部６が出力する低周波成分ＹＬの入力画像の１画面内の絶対最大値である。パラメータ決定部１１は、ゲイン乗算値ＧａＨ，ＧａＭＨ，ＧａＭＬ，ＧａＬ及びノイズ除去閾値ＮｃＨ，ＮｃＭＨ，ＮｃＭＬ，ＮｃＬを算出する。

パラメータ決定部１１は、高周波成分信号ＹＨの絶対最大値ＹＨａｍａｘ、中高周波成分信号ＹＭＨの絶対最大値ＹＭＨａｍａｘ、中低周波成分信号ＹＭＬの絶対最大値ＹＭＬａｍａｘ及び低周波成分信号ＹＬの絶対最大値ＹＬａｍａｘを入力する。そして、パラメータ決定部１１は、ゲイン乗算値ＧａＨ，ＧａＭＨ，ＧａＭＬ，ＧａＬを算出する。例えば、ゲイン乗算値ＧａＨ，ＧａＭＨ，ＧａＭＬ，ＧａＬは、階調の最大値を超えないように設定される。また、パラメータ決定部１１は、ノイズ除去閾値ＮｃＨ，ＮｃＭＨ，ＮｃＭＬ，ＮｃＬを算出する。絶対最大値ＹＨａｍａｘ，ＹＭＨａｍａｘ，ＹＭＬａｍａｘ，ＹＬａｍａｘは、絶対最大値算出部６が出力する。入力画像の全体のコントラストが高い場合には、ゲイン乗算値ＧａＬを１未満とし、ゲイン乗算信号ＹｇＨ，ＹｇＭＨ，ＹｇＭＬの値を十分に大きくする。これにより、画像の中の局所領域のコントラストの改善を重視した処理を行うこともできる。そして、入力画像全体のコントラストが低い場合には、ゲイン乗算値ＧａＬを１以上とし、ゲイン乗算信号ＹｇＨ，ＹｇＭＨ，ＹｇＭＬの値は適度に大きくする。これにより、画像全体のコントラストと画像の中の局所領域のコントラストとを改善できる。以上の構成により、パラメータ決定部１１は、入力画像の全体のコントラストに関わりなく、画像データに含まれる高周波成分信号ＹＨ、中高周波成分信号ＹＭＨ及び中低周波成分信号ＹＭＬのゲイン乗算値ＧａＨ，ＧａＭＨ，ＧａＭＬを個別に増幅できる。また、パラメータ決定部１１は、画像の高周波成分信号ＹＨ、中高周波成分信号ＹＭＨ、中低周波成分信号ＹＭＬ及び低周波成分信号ＹＬの振幅比率に応じて、４つの成分信号に対するノイズ除去閾値ＮｃＨ，ＮｃＭＨ，ＮｃＭＬ，ＮｃＬを決定することができる。

実施の形態１では、周波数分割部４０が、高周波成分信号ＹＨ、中高周波成分信号ＹＭＨ、中低周波成分信号ＹＭＬ、低周波成分信号ＹＬの４つ信号を生成するように構成した。しかし、周波数分割部４０が、４つ以上の信号を生成するように構成してもよい。この場合、画像の局所領域の特性をより多く分解して扱うことが可能となる。

実施の形態１では、ノイズ除去部８は、ノイズ除去回路８４を備える構成とした。ノイズ除去回路８４は、低周波成分信号ＹＬのゲイン乗算信号ＹｇＬに対してもノイズ除去を行う。しかし、低周波成分信号ＹＬに低周波ノイズが含まれない場合には、ノイズ除去回路８４を備えない構成としてもよい。この場合、回路規模を小さくすることができる。低周波成分信号ＹＬは、第３信号生成回路において生成される信号である。なお、ノイズ除去部８は、不必要と判断される場合には、省くことができる。

実施の形態１では、非線形処理部９は、階調圧縮を行う非線形処理回路９１，９２，９３，９４を備える構成とした。しかし、上限値及び下限値でクリップする処理部を備える構成としてもよい。この場合、回路規模を小さくすることができる。なお、非線形処理部９は、不必要と判断される場合には、省くことができる。

次に、本発明の実施の形態１に係る画像処理装置１００の動作を説明する。図５は、本発明の実施の形態１に係る画像処理装置１００の動作を示すフローチャートである。

まず、平均値算出部１が、入力信号Ｙｉの平均値Ｙａｖｇを算出する（Ｓ１）。次に、平均値減算部２が、平均値Ｙａｖｇを入力信号Ｙｉから減算して平均値減算信号Ｙｓを生成する（Ｓ２）。

次に、遅延部３が、タイミングを揃えて補正対象画素及び補正対象画素の周辺画素の平均値減算信号Ｙｓを出力する。つまり、遅延部３は、複数の画素の平均値減算信号Ｙｓを同時に出力する。次に、信号生成部４が、第一信号Ｙ２１、第二信号Ｙ２２及び第三信号Ｙ２３を生成する（Ｓ３）。具体的には、非線形ＬＰＦ部が、入力信号Ｙｉの補正対象画素毎に、補正対象画素の周辺画素の値を非線形変換して補正対象画素の周辺領域の平滑化する。

次に、信号減算部５が、平均値減算信号Ｙｓ及び第一信号Ｙ２１から高周波成分信号ＹＨを生成し、第一信号Ｙ２１及び第二信号Ｙ２２から中高周波成分信号ＹＭＨを生成し、第二信号Ｙ２２及び第三信号Ｙ２３から、中低周波成分信号ＹＭＬを生成する。（Ｓ４）。

次に、絶対最大値算出部６が、高周波成分信号ＹＨ、中高周波成分信号ＹＭＨ、中低周波成分信号ＹＭＬ及び低周波成分信号ＹＬの各々の信号に対する１画面内の絶対最大値を算出する（Ｓ５）。低周波成分信号ＹＬは、第三信号Ｙ２３である。

次に、パラメータ決定部１１が、絶対最大値算出部６が出力する４つの絶対最大値ＹＨａｍａｘ，ＹＭＨａｍａｘ，ＹＭＬａｍａｘ，ＹＬａｍａｘの情報から、４つのゲイン乗算値ＧａＨ，ＧａＭＨ，ＧａＭＬ，ＧａＬ及び４つのノイズ除去閾値ＮｃＨ，ＮｃＭＨ，ＮｃＭＬ，ＮｃＬを決定する（Ｓ６）。ゲイン乗算値ＧａＨ，ＧａＭＨ，ＧａＭＬ，ＧａＬは、ゲイン乗算部７で使用される。ノイズ除去閾値ＮｃＨ，ＮｃＭＨ，ＮｃＭＬ，ＮｃＬは、ノイズ除去部８で使用される。

次に、ゲイン乗算部７が、高周波成分信号ＹＨにゲイン値ＧａＨを乗算してゲイン乗算信号ＹｇＨを算出し、中高周波成分信号ＹＭＨにゲイン値ＧａＭＨを乗算してゲイン乗算信号ＹｇＭＨを算出し、中低周波成分信号ＹＭＬにゲイン値ＧａＭＬを乗算してゲイン乗算信号ＹｇＭＬを算出し、低周波成分信号ＹＬにゲイン値ＧａＬを乗算してゲイン乗算信号ＹｇＬを算出する（Ｓ７）。

次に、ノイズ除去部８が、ゲイン乗算信号ＹｇＨについてのノイズ除去信号ＹｎＨを算出し、ゲイン乗算信号ＹｇＭＨについてのノイズ除去信号ＹｎＭＨを算出し、ゲイン乗算信号ＹｇＭＬについてのノイズ除去信号ＹｎＭＬを算出し、ゲイン乗算信号ＹｇＬについてのノイズ除去信号ＹｎＬを算出する（Ｓ８）。具体的には、図４に示すように、入力信号ＹｇＸの絶対値がノイズ除去閾値ＮｃＸ未満の値の場合には、出力信号ＹｎＸとして０（ゼロ）を出力する。ここで、入力信号ＹｇＸの符号Ｘ、ノイズ除去閾値ＮｃＸの符号Ｘ及び出力信号ＹｎＸの符号Ｘは、Ｈ、ＭＨ、ＭＬ又はＬである。

次に、非線形処理部９がノイズ除去信号ＹｎＬに対して非線形処理の階調圧縮を行って非線形処理信号ＹｃＬを算出し、ノイズ除去信号ＹｎＭＬに対して非線形処理の階調圧縮を行って非線形処理信号ＹｃＭＬを算出し、ノイズ除去信号ＹｎＭＨに対して非線形処理の階調圧縮を行って非線形処理信号ＹｃＭＨを算出し、ノイズ除去信号ＹｎＨに対して非線形処理の階調圧縮を行って非線形処理信号ＹｃＨを算出する（Ｓ９）。

次に、合成部１０が、非線形処理信号ＹｃＨ，ＹｃＭＨ，ＹｃＭＬ，ＹｃＬ及びＹａｖｇを合成して出力信号Ｙｏを算出する（Ｓ１０）。平均値Ｙａｖｇは、平均値算出部１が出力する値である。

実施の形態２．
図６は、本発明の実施の形態２に係る画像処理装置１１０の構成を示すブロック図である。本実施の形態２に係る画像処理装置１１０は、下記の２点において実施の形態１と相違する。第１の相違点は、平均値算出部１の出力である平均値Ｙａｖｇをパラメータ決定部１１の入力信号としている点である。第２の相違点は、合成部１０において平均値算出部１の出力である平均値Ｙａｖｇの代わりに、パラメータ決定部１１の出力である目標値Ｙｔｇｔを入力信号としている点である。パラメータ決定部１１及び合成部１０以外の各部の内部構成は実施の形態１と同様であるのでその詳細な説明は省略する。実施の形態１と同様の構成要素は、平均値減算部２、遅延部３、信号生成部４、信号減算部５、絶対最大値算出部６、ゲイン乗算部７、ノイズ除去部８、非線形処理部９及び周波数分割部４０である。

パラメータ決定部１１は、平均値算出部１が出力する平均値Ｙａｖｇを入力する。平均値Ｙａｖｇが出力信号Ｙｏの階調の中間値を基に決定した閾値を超える場合には、パラメータ決定部１１は、閾値でクリップした値を目標値Ｙｔｇｔとして出力する。平均値Ｙａｖｇが出力信号Ｙｏの階調の中間値を基に決定した閾値を越えない場合には、パラメータ決定部１１は、平均値Ｙａｖｇを目標値Ｙｔｇｔとして出力する。なお、「超える」とは、平均値Ｙａｖｇが閾値と等しい場合を含まない。また、「超えない」とは、平均値Ｙａｖｇが閾値と等しい場合を含む。

合成部１０は、非線形処理部９が出力する非線形処理信号ＹｃＨ，ＹｃＭＨ，ＹｃＭＬ，ＹｃＬ及び目標値Ｙｔｇｔを合成して出力信号Ｙｏを算出する。目標値Ｙｔｇｔは、パラメータ決定部１１が出力する値である。

合成部１０は、平均値Ｙａｖｇではなく、目標値Ｙｔｇｔを非線形処理信号ＹｃＨ，ＹｃＭＨ，ＹｃＭＬ，ＹｃＬと合成するように構成した。平均値Ｙａｖｇは、平均値算出部１が出力する入力信号Ｙｉの平均値である。目標値Ｙｔｇｔは、パラメータ決定部１１が出力する値である。このため、平均値Ｙａｖｇが出力信号Ｙｏの階調の中間値と離れている場合には、目標値Ｙｔｇｔを階調の中間値とする。これにより、入力信号Ｙｉの平均値に関わりなく、出力信号Ｙｏの階調全体を使って、出力信号Ｙｏを生成することができる。

実施の形態１および２では、外付けフレームメモリを用いることなく画素単位で、入力信号Ｙｉに対してコントラスト補正信号を生成することができる。また、複雑な演算を行う必要が無いので、構成の簡素化を実現できる。また、その結果、コスト低減を図ることができる。

また、上述の画像処理装置１００,１１０は、特に、赤外線カメラなどで撮影したコントラストの低い画像の全体或いは画像の局所領域の視認性を向上させるために画像のコントラスト、鮮鋭度を改善する処理、及びそれに伴って強調されるノイズを低減する処理に適している。

なお、以上のように本発明の実施の形態について説明したが、本発明はこれらの実施の形態に限るものではない。

１ 平均値算出部、 ２ 平均値減算部、 ３ 遅延部、 ４ 信号生成部、 ４１ 第一信号生成回路、 ４２ 第二信号生成回路、 ４３ 第三信号生成回路、 ４１１，４２１，４３１ 非線形ＬＰＦ部、 ５ 信号減算部、 ５１ 第一信号減算回路、 ５２ 第二信号減算回路、 ５３ 第三信号減算回路、 ４０ 周波数分割部、 ６ 絶対最大値算出部、 ７ ゲイン乗算部、 ７１、７２、７３、７４ 乗算部、 ８ ノイズ除去部、 ８１、８２、８３、８４ ノイズ除去回路、 ９ 非線形処理部、 ９１、９２、９３、９４ 非線形処理回路、 １０ 合成部、 １１ パラメータ決定部、 １００，１１０ 画像処理装置、 Ｙｉ 入力信号、 Ｙｏ 出力信号、 Ｙａｖｇ 平均値、 Ｙｔｇｔ 目標値、 Ｙｓ 平均値減算信号、 ＹＬ 低周波成分信号、 ＹＨ 高周波成分信号、 ＹＭＨ 中高周波成分信号、 ＹＭＬ 中低周波成分信号、 Ｄｓ，Ｄｃ 画素の値、 ＴＨ 閾値、 ＰＤ 画素遅延部、 ＬＤ ライン遅延部、 Ｙ２１ 第一信号、 Ｙ２２ 第二信号、 Ｙ２３ 第三信号、 ＹｎＨ、ＹｎＭＨ、ＹｎＭＬ、ＹｎＬ ノイズ除去信号、 ＹｃＨ，ＹｃＭＨ，ＹｃＭＬ，ＹｃＬ 非線形処理信号、 ＧａＨ，ＧａＭＨ，ＧａＭＬ，ＧａＬ ゲイン乗算値、 ＹｇＨ，ＹｇＭＨ，ＹｇＭＬ，ＹｇＬ ゲイン乗算信号、 ＹＨａｍａｘ，ＹＭＨａｍａｘ，ＹＭＬａｍａｘ，ＹＬａｍａｘ 絶対最大値、 ＮｃＨ，ＮｃＭＨ，ＮｃＭＬ，ＮｃＬ ノイズ除去閾値。

Claims (10)

1. 入力信号の画面毎の平均値を算出する平均値算出部と、
   前記入力信号から前記平均値を減算して平均値減算信号を生成する平均値減算部と、
   前記平均値減算信号を周波数に応じて分割し、分割された周波数領域ごとの成分信号を生成する周波数分割部と、
   前記周波数領域ごとの成分信号を基に前記周波数領域に対応したゲイン値を設定するとともに、前記平均値が閾値を超える場合には、前記閾値でクリップした値を目標値として設定し、前記平均値が前記閾値を超えない場合には、前記平均値を前記目標値として設定するパラメータ決定部と、
   前記周波数領域ごとの成分信号に対して、前記ゲイン値を乗算して前記周波数領域に対応したゲイン乗算信号を算出するゲイン乗算部と、
   前記ゲイン乗算信号を基に設定された信号と前記目標値とを加算する合成部と
   を備え、
   前記閾値は、前記合成部の出力信号の階調の中間値を基に決定される
   画像処理装置。
2. 前記周波数領域ごとの成分信号のそれぞれについて、１画面内の絶対最大値を算出する絶対最大値算出部をさらに備え、
   前記パラメータ決定部は、前記１画面内の絶対最大値を基に前記ゲイン値を設定する
   請求項１に記載の画像処理装置。
3. 前記ゲイン乗算信号に対して、それぞれ異なる閾値によりノイズ除去を行い、ノイズ除去信号を生成するノイズ除去部をさらに備え、
   前記合成部は、前記ノイズ除去信号を基に設定された信号と前記目標値とを加算する請求項1又は２に記載の画像処理装置。
4. 前記ノイズ除去信号に対して、それぞれ異なる非線形な入出力変換を行い、非線形処理信号を生成する非線形処理部をさらに備え、
   前記合成部は、前記非線形処理信号と前記目標値とを加算する請求項３に記載の画像処理装置。
5. 前記周波数分割部は、前記平均値減算信号を入力して周波数成分の分割に用いる周波数に対応した信号を生成する信号生成部及び前記周波数に対応した信号及び前記平均値減算信号を用いて減算処理により前記成分信号を生成する信号減算部を備える請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記信号生成部は、前記平均値減算信号から画像の急峻な変化を保持した平滑化サイズの異なる複数の信号を生成する信号生成回路を有する請求項５に記載の画像処理装置。
7. 前記周波数分割部が出力する最も低い周波数領域の前記分割された周波数領域ごとの成分信号を最も低い成分信号とすると、
   前記パラメータ決定部は、前記絶対最大値算出部が出力する前記最も低い成分信号の絶対最大値が閾値よりも大きい場合に、前記ゲイン乗算部における前記最も低い成分信号に対するゲイン値を１未満とし、前記最も低い成分信号以外の成分信号に対するゲイン値を１以上とする請求項２に記載の画像処理装置。
8. 前記周波数分割部が出力する最も低い周波数領域の前記分割された周波数領域ごとの成分信号を最も低い成分信号とすると、
   前記パラメータ決定部は、前記絶対最大値算出部が出力する前記最も低い成分信号の絶対最大値が閾値よりも小さい場合に、前記ゲイン乗算部における前記最も低い成分信号に対するゲイン値を１以上とし、前記最も低い成分信号以外の成分信号に対するゲイン値を１以上とする請求項２に記載の画像処理装置。
9. 前記信号生成部は、前記平均値減算信号の補正対象画素の値と周辺画素の値との差分に応じて周辺画素の値を非線形変換した値を用いて画素毎に周辺領域の平滑化を行う非線形ＬＰＦを有する特徴とする請求項５に記載の画像処理装置。
10. 入力信号の画面毎の平均値を算出する平均値算出ステップと、
    前記入力信号から、前記平均値算出ステップが出力する平均値を減算する平均値減算ステップと、
    前記平均値減算ステップが出力する平均値減算画像信号から、画像の急峻な変化を保持した平滑化サイズの小さい信号である第一信号を生成する第一信号生成ステップと
    前記平均値減算ステップが出力する平均値減算画像から、画像の急峻な変化を保持した平滑化サイズが中程度の信号である第二信号を生成する第二信号生成ステップと
    前記平均値減算ステップが出力する平均値減算画像から、画像の急峻な変化を保持した平滑化サイズが大きい信号である第三信号を生成する第三信号生成ステップと
    前記平均値減算画像から、前記第一信号を減算して高周波成分信号を生成する第一信号減算ステップと
    前記第一信号から、前記第二信号を減算して中高周波成分信号を生成する第二信号減算ステップと
    前記第二信号から、前記第三信号を減算して中低周波成分信号を生成する第三信号減算ステップと
    前記高周波成分信号、前記中高周波成分信号、前記中低周波成分信号、及び低周波成分信号である前記第三信号の、４つの成分信号のそれぞれについて、１画面内の絶対最大値を算出する絶対最大値算出ステップと、
    前記４つの成分信号に対して、それぞれ異なるゲイン値を乗算するゲイン乗算ステップと、
    前記ゲイン乗算ステップが出力するゲイン値を乗算した４つの成分信号に対して、それぞれ異なるノイズ除去閾値によりノイズを除去した４つの成分信号を出力するノイズ除去ステップと、
    前記ノイズを除去した４つの成分信号に対して、それぞれ異なる非線形な入出力変換を行い非線形処理した４つの成分信号を出力する第一非線形処理ステップと、
    前記非線形処理した４つの成分信号と、目標値とを加算する信号合成ステップと、
    前記絶対最大値を入力し、前記ゲイン乗算ステップの入力パラメータとなるゲイン値、前記ノイズ除去ステップの入力パラメータとなる前記ノイズ除去閾値、前記目標値を設定するパラメータ決定ステップと
    を備え、
    前記目標値は、前記高周波成分信号、前記中高周波成分信号、前記中低周波成分信号、及び前記第三信号の４つの成分信号のひとつに対応した前記平均値が同じ成分信号に対応した前記ノイズ除去閾値を超える場合には、前記ノイズ除去閾値でクリップした値であり、前記高周波成分信号、前記中高周波成分信号、前記中低周波成分信号、及び前記第三信号の４つの成分信号のひとつに対応した前記平均値が同じ成分信号に対応した前記ノイズ除去閾値を超えない場合には、前記平均値である
    画像処理方法。

Images