JP4125191B2

JP4125191B2 - Image processing apparatus and method

Info

Publication number: JP4125191B2
Application number: JP2003199123A
Authority: JP
Inventors: 光太郎矢野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-07-18
Filing date: 2003-07-18
Publication date: 2008-07-30
Anticipated expiration: 2023-07-18
Also published as: JP2005039458A

Description

【０００１】
【発明の属する技術分野】
本発明はデジタル画像の明るさの分布を改善するものに関する。
【０００２】
【従来の技術】
従来、適正な明るさの写真を撮影する方法として、撮影するシーンの平均的な輝度を測定し、カメラのシャッター速度、絞り値などを制御する方式が知られている。また、シーンを所定の領域に分割して領域ごとに測定した輝度に重み付けして平均的な輝度を求めて適正露出を得ようとするいわゆる評価測光方式による露出制御方式が知られている。
【０００３】
しかしながら、撮影する主被写体の明るさが背景の明るさに比べて著しく暗いような、いわゆる逆光シーンにおいては、撮影した画像においてどうしても主被写体部分が暗くなってしまう。このような逆光シーンにおいて適切な明るさの写真を撮影するには、撮影時にあらかじめ平均的な写真よりも明るめに撮影されるようにカメラの露出を設定しておく必要があった。しかし、このような露出補正の操作はわずらわしいばかりでなく、カメラの設定を適正に行うための熟練を要する。また、逆光シーンを撮影した画像をデジタル画像処理において、露出補正と同等の処理を行うこともできる。しかしながら、いずれの場合にも、主被写体に対して適切に露出補正を行ったとしても、逆に背景部分が明るくなりすぎてしまう。
【０００４】
本発明の目的は、このような適切に画像の明るさを決定するのが困難な逆光等のシーンにおいても、適切な明るさの画像を得ることである。
【０００５】
本発明の目的を達成するために、アナログ写真技術においては、暗室内でいわゆる覆い焼き処理を行うことで適切な明るさのプリントを得ることができる。このような覆い焼き処理を容易に実現するためには、デジタル画像処理において、覆い焼き処理を実現することが望ましい。
【０００６】
このような処理を実現する方法として、例えば、IEEE TRANSACTIONS ON IMAGE PROCESSING,VOL.6,NO.7,JULY 1997に“A Multiscale Retinex for Bridging the Gap Between Color Images and the Human Observation of Scenes”と題するＪｏｂｓｏｎらの報告（従来技術１とする）がある。これは、デジタル画像を対数変換した成分とその対数変換成分の低周波成分との差分処理を行うことによって、デジタル画像の低周波領域における明るい成分を暗く、低周波領域における暗い成分を明るく処理することにより、画像の改善を行おうとするものである。
【０００７】
また、acm Transactions on Graphics,JULY 2002,Vol.21,No.3に“Photographic Tone Reproduction for Digital Images”と題するＲｅｉｎｈａｒｄらの報告（従来技術２とする）、IS&T/SID Eighth Color Imaging Conferenceに“Local Color Correction Using Non-Linear Masking”と題するＭｏｒｏｎｅｙの報告（従来技術３とする）においても、デジタル画像の輝度成分とその低周波成分とを用いることにより、デジタル画像処理において覆い焼きのような効果を得る方法が提案されている。
【０００８】
【非特許文献１】
“A Multiscale Retinex for Bridging the Gap Between Color Images and the Human Observation of Scenes” IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL.6, NO.7, JULY 1997
【非特許文献２】
“Photographic Tone Reproduction for Digital Images”acm Transactions on Graphics,JULY 2002,Vol.21，No.3
【非特許文献３】
“Local Color Correction Using Non-Linear Masking”IS&T/SID Eighth Color Imaging Conference
【０００９】
【発明が解決しようとする課題】
しかしながら、上記従来例においては、処理するデジタル画像の明るさに対して改善処理を施した画像データにおいて、低周波領域における黒レベルや白レベルが変化することによって、画像の低周波領域におけるコントラストが低下し、画像にしまりがなくなってしまうといった不具合があった。
【００１０】
本発明の目的は、デジタル画像の明るさの分布を改善する処理により生じる画像の低周波領域におけるコントラストの低下を抑制することにある。
【００１１】
【課題を解決するための手段】
上記目的を達成するために本発明は以下の構成を有する。
【００１２】
本願請求項１に記載の発明は、画像データから輝度成分を抽出する輝度抽出手段と、前記輝度成分の所定の尺度での分布を求めるスケール変換手段と、前記画像データの輝度分布を改善するために、前記スケール変換手段の出力を用いて前記輝度成分を処理する輝度改善手段と、前記輝度改善手段によって処理される前の画像の輝度分布における第１の輝度特徴量および前記輝度改善手段によって処理された画像の輝度分布における第２の輝度特徴量を算出する特徴量算出手段と、前記第１の輝度特徴量および前記第２の輝度特徴量に基づき、前記輝度改善手段によって処理された輝度成分を補正する輝度補正手段とを有し、前記第１の輝度特徴量は前記輝度改善手段によって処理される前の画像の輝度成分のヒストグラムから求められる白レベルと黒レベルであり、前記第２の輝度特徴量は前記輝度改善手段によって処理された画像の輝度成分のヒストグラムから求められる白レベルと黒レベルであり、前記第１の輝度特徴量の黒レベルと前記第２の輝度特徴量の黒レベルとを比較し、該第２の輝度特徴量の黒レベルが該第１の輝度特徴量の黒レベルより大きい場合に、前記改善手段による輝度特徴量の変化を低減するように、前記輝度補正手段は前記輝度改善手段によって処理された輝度成分を補正し、前記第１の輝度特徴量の白レベルと前記第２の輝度特徴量の白レベルとを比較し、該第２の輝度特徴量の白レベルが該第１の輝度特徴量の白レベルより小さい場合に、前記改善手段による輝度特徴量の変化を低減するように、前記輝度補正手段は前記輝度改善手段によって処理された輝度成分を補正することを特徴とする。
【００１３】
本願請求項５に記載の発明は、画像データから明るさ成分を抽出する抽出工程と、前記明るさ成分の低周波数成分を求める低周波成分算出工程と、前記明るさ成分の低周波数成分を用いて、前記明るさ成分を補正する補正工程と、前記補正工程前の画像における明るさ成分の特徴量と、前記補正工程後の画像における明るさ成分の特徴量とから求められる調整条件を用いて、前記補正された明るさ成分を調整する調整工程とを有することを特徴とする。
【００１４】
【発明の実施の形態】
（実施形態）
図１に本実施形態にかかる画像処理システムの構成を示す。
【００１５】
図中、１は、画像入力手段であり、画像処理システムにデジタル画像データ（以後、画像データと称す）を入力する。例えば、デジタルカメラ、スキャナなどで構成される。
【００１６】
２は、輝度抽出手段であり、画像入力手段１で入力した画像データから輝度成分と色成分を抽出する。３は、スケール変換手段であり、輝度抽出手段２から出力された画像データの輝度成分の比較的大きな尺度での分布を求める。４は、輝度改善手段であり、輝度抽出手段２から出力された画像データの輝度成分とスケール変換手段３から出力された比較的大きな尺度での輝度成分の分布を用いて画像データの輝度成分の分布を改善する。６は、パラメータ調整手段であり、輝度抽出手段２から出力された画像データの輝度成分から輝度改善手段４で処理する改善の度合いを画像データに応じて最適にするようにパラメータの調整を行う。
【００１７】
７は、特徴量算出手段であり、輝度抽出手段２から出力された画像データの輝度成分および輝度改善手段４で処理された輝度成分をそれぞれ解析し、特徴量を抽出する。８は、輝度補正手段であり、特徴量算出手段７で抽出された輝度特徴量を用いて、処理前後の輝度特徴量の変化を低減するように輝度改善手段４の出力である輝度分布を補正する。５は、画像再生手段であり、輝度補正手段８から出力された輝度成分と輝度抽出手段２から出力された色成分とを合成し、画像データを再構成する。
【００１８】
以上のような構成の画像処理システムは、また、アプリケーションプログラムによって汎用の計算機おいても実行可能である。以後、主にアプリケーションプログラムにおいて実行される画像処理システムについて説明する。
【００１９】
図２に本実施形態における画像処理システムの動作を汎用の計算機で実行するアプリケーションプログラムのアルゴリズムを示す。
【００２０】
まず、アプリケーションプログラムが起動するとユーザは画像データのファイル名を入力し、画像データ入力手段１は画像データを計算機の記憶部に読み込む。（Ｓ１０１）
ここで読み込まれた画像データは、例えば８ビットの画素により構成されるＭ×Ｎの２次元配列（但し、Ｍは水平画素数、Ｎは垂直画素数）であり、Ｒ、Ｇ、Ｂ、３つの面により構成される。この画像データをＲ、Ｇ、Ｂ、それぞれＲ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ）とする（但し、（ｘ，ｙ）は画素位置を表す整数、１≦ｘ≦Ｍ、１≦ｙ≦Ｎ）。このとき、画像データがＪＰＥＧ等の方式により圧縮されている場合は、画像データを所定の伸長方式にしたがって伸長し、ＲＧＢ各画素により構成される画像データとする。
【００２１】
次に、輝度抽出手段２は画像データを構成するＲＧＢ各画素をもとに輝度成分を抽出する（Ｓ１０２）。
【００２２】
輝度成分の抽出は、例えば、ＲＧＢの画素成分がＩＥＣ６１９６６−２−１に記載されているｓＲＧＢ色空間におけるデータと想定し、ＩＥＣ６１９６６−２−１に記載されている方法に従い、ガンマ変換と３行３列のマトリクス演算により、ＣＩＥ１９３１ＸＹＺに変換する。ここで、変換後のＸＹＺのデータをそれぞれＸ（ｘ，ｙ）、Ｙ（ｘ，ｙ）、Ｚ（ｘ，ｙ）とすると、Ｙ（ｘ，ｙ）が抽出する輝度成分である。
【００２３】
なお、輝度成分を抽出する方法としては、前述の処理を簡略化し、マトリクス演算のみで抽出するようにしてもよい。また、ＲＧＢからＹＣｂＣｒへの変換を用いても構わない。さらには、ＲＧＢからＬ^＊ａ^＊ｂ^＊への変換、ＲＧＢからＨＳＶへの変換など明るさ成分を用いる他の変換を用いても構わない。
【００２４】
次に、スケール変換手段３はＳ１０２で抽出した輝度成分から比較的大きな尺度での輝度成分の分布を求める。（Ｓ１０３）ここで、大きな尺度での輝度成分は、輝度成分の低周波成分に相当する。
【００２５】
大きな尺度での輝度成分の分布を求めるには、例えば、従来技術１にあるように抽出した輝度成分とガウシアン関数との積和演算を行い、出力とする。（但し、従来技術１では画像データの輝度成分ではなく直接画像データのＲＧＢ各画素に対して積和演算を行うようにしている）ここで、改善された画像データの画質を向上するために、標準偏差の異なる複数のガウシアン関数との積和演算を行い、複数の尺度での輝度成分の分布（輝度成分の複数の周波数成分）を求めるようにすると、より好ましい。なお、以上説明したような大きな尺度での輝度成分の分布を求める処理を以後、スケール変換と称することとする。
【００２６】
次に、パラメータ調整手段６は抽出した輝度成分から改善すべき輝度分布の度合いを決めるパラメータを調整する。（Ｓ１０４）なお、パラメータ調整は輝度分布を改善する処理と関連するので、詳細は後述する。
【００２７】
次に、輝度改善手段４はＳ１０２で抽出した画像データの輝度成分とＳ１０３でスケール変換した輝度成分の分布を用いて画像データの輝度成分の分布を改善する（Ｓ１０５）。
【００２８】
処理の一例として従来技術１に基づく方法によれば、輝度成分とスケール変換した輝度成分の分布それぞれを対数変換し、その差分を出力する。さらに、異なる尺度での差分出力の重み付き平均を改善された輝度成分とする。しかしながら、この方法では、画像に応じて改善の度合いを調整できないので、スケール変換した輝度成分の対数変換出力に係数を乗ずるようにする。この係数が改善の度合いを調整するパラメータである。以上説明した処理に基づく改善された輝度成分の出力は以下に示す（式１）のようになる。
【外１】

【００２９】
但し、Ｙ’（ｘ，ｙ）、Ｆ_ｎ（ｘ，ｙ）、ｗ_ｎ、ｎ、γはそれぞれ改善された輝度成分の出力、ガウシアン関数、尺度間の重み、尺度を表すパラメータ、改善の度合いを表すパラメータである。また、＊は積和演算を表す。
【００３０】
なお、尺度間の重みは尺度の標準偏差を調整することで省略可能（単純な平均に置き換わる）であること、また、（式１）のように対数変換された値を出力するよりも、逆変換（ｅｘｐ演算）により元の輝度単位に戻した方が、改善された画像データの画質として好ましいことが分かっている。従って、以下の（式２）に示した出力を改善された輝度成分とすることがより好ましい。
【外２】

【００３１】
但し、Ａｖｇは平均値演算を表す。
【００３２】
（式２）の代わりに、以下に示す（式３）としてもよい。
【外３】

【００３３】
なお、複数尺度でのスケール変換出力の平均値演算をＳ１０３のスケール変換の処理で行い、複数尺度でのスケール変換出力の平均値をスケール変換された輝度成分の分布としてもよい。
【００３４】
しかしながら、例えば（式３）によって改善処理を施された輝度成分は、低周波領域における黒レベルや白レベルが変化してしまい、画像の低周波領域におけるコントラストが低下し、画像にしまりがなくなってしまう。そこで、特徴量算出手段７、輝度補正手段８の処理をとおして輝度成分の補正を行う。その詳細を図３に示す。
【００３５】
まず、特徴量算出手段７は輝度抽出手段２の出力である輝度改善処理前の輝度分布の白レベル、黒レベルを推定する（Ｓ５１）。
【００３６】
例えば、画像データの輝度成分を所定の輝度値の範囲に分けて輝度ヒストグラムを作成する。そして、明るい方から積算したヒストグラムの頻度の全サンプリングに対する割合が所定の割合になる輝度値を白レベル、暗い方から積算したヒストグラムの頻度の全サンプリングに対する割合が所定の割合になる輝度値を黒レベルとして推定する。例えば、明るい方から積算したヒストグラムの頻度の全サンプリングに対する割合が０．５％になる輝度値を白レベル、暗い方から積算したヒストグラムの頻度の全サンプリングに対する割合が０．５％になる輝度値を黒レベルとして推定する。ここで推定した白レベル、黒レベルをそれぞれＹ_Ｗ、Ｙ_Ｂとする。
【００３７】
同様に、特徴量算出手段７は輝度改善手段４の出力である輝度改善処理後の輝度分布の白レベル、黒レベルを推定する。（Ｓ５２）ここで推定した白レベル、黒レベルをそれぞれＹ'_Ｗ、Ｙ'_Ｂとする。
【００３８】
次に、輝度補正手段８は特徴量算出手段７で推定された処理前後の白レベルを比較し、大きい方の白レベルを白レベルの目標値とする。（Ｓ５３）この目標値をＹ_ＷＴとする。
【００３９】
同様に、輝度補正手段８は特徴量算出手段７で推定された処理前後の黒レベルを比較し、小さい方の黒レベルを黒レベルの目標値とする。（Ｓ５４）この目標値をＹ_ＢＴとする。
【００４０】
そして、輝度補正手段８は特徴量算出手段７で推定された処理後の白レベルおよび黒レベルがそれぞれＳ５３で求めた白レベルの目標値およびＳ５４で求めた黒レベルの目標値となるよう輝度を補正する（Ｓ５５）。
【００４１】
例えば、補正特性が輝度改善後の黒レベルと黒レベルの目標値、輝度改善後の白レベルと白レベルの目標値を通るような部分的な線形変換による補正を行う。
【００４２】
すなわち、輝度改善後の輝度レベルがＳ５２で推定した黒レベル以下の場合には、以下の式４により輝度を補正する。
【外４】

【００４３】
但し、Ｙ'’（ｘ，ｙ）はそれぞれ補正された輝度成分の出力を表す。
また、輝度改善後の輝度レベルがＳ５２で推定した黒レベルと白レベルの間の場合には、以下の式５により輝度を補正する。
【外５】

【００４４】
また、輝度改善後の輝度レベルがＳ５２で推定した白レベル以上の場合には、以下の式６により輝度を補正する。
【外６】

【００４５】
なお、輝度改善後の輝度レベルが１を越える場合は補正処理を行う前にあらかじめ輝度レベルを１に変換しておく。その他に、輝度レベルの最大値が１になるように線形圧縮などによる正規化を行ってもよい。
【００４６】
なお、以上の輝度補正変換処理を一旦、輝度変換のテーブルとして作成しておき、輝度補正処理はテーブル参照によって行ってもよい。また、作成したテーブルを平滑化し、平滑化したテーブルを用いて輝度補正処理をテーブル参照によって行ってもよい。平滑化したテーブルを用いてテーブル参照を行った場合はテーブル参照処理による擬似階調の発生を抑えることができる。
【００４７】
以上の補正処理において、Ｓ５３、Ｓ５４で処理前後の白レベル、黒レベルを比較し、白レベル、黒レベルの目標値を決定したが、そのまま処理前の白レベル、黒レベルを白レベル、黒レベルの目標値としてもよい。この場合、輝度改善手段４によって改善処理前後の輝度特徴量の変化は低減し、改善前の輝度成分のコントラストになるように補正される。本実施形態で白レベル、黒レベルを比較して白レベル、黒レベルの目標値としたのは、白レベルはより大きく、黒レベルはより小さくすることにより、輝度補正後のコントラストが高く補正されることを狙ったためである。すなわち、本実施形態では、処理前後の黒レベルを比較し、処理後の黒レベルが処理前の黒レベルより大きい場合に、処理前後の輝度特徴量の変化を低減するように輝度分布を補正するようにしている。また、同様に処理前後の白レベルを比較し、処理後の白レベルが処理前の白レベルより小さい場合に、処理前後の輝度特徴量の変化を低減するように輝度分布を補正するようにしている。
【００４８】
また、本実施形態では画像の輝度成分の特徴量として、輝度ヒストグラムを作成し、作成した輝度ヒストグラムから推定した白レベル、黒レベルを用いたが、例えば、画像のコントラストを表現できる輝度成分の平均値、分散値などの特徴量を用いても良い。
【００４９】
次に、Ｓ１０４におけるパラメータ調整方法の一例をＳ１０５における（式３）で輝度変換を行う場合について説明する。
【００５０】
まず、Ｓ１０５のＳ５１で説明したのと同様に、画像データの輝度成分を所定の輝度値の範囲に分けて輝度ヒストグラムを作成する。そして、暗い方から積算したヒストグラムの頻度の全サンプリングに対する割合が所定の割合になる輝度値（この輝度値をＹ_０とする）を求める。このとき、求めた輝度値Ｙ_０が所定の輝度値（この輝度値をＹ_１とする。但し、Ｙ_０≦Ｙ_１）になるようなγを改善の度合いを表すパラメータとする。なお、このγは、（式３）の分母の［］内をＹ（ｘ，ｙ）とほぼ等しいと仮定すると、以下に示す（式７）により求めることができる。
【外７】

【００５１】
なお、本実施形態では、画像データの輝度成分をもとにパラメータを自動的に調整するようにしたが、画像データのＲＧＢの画素値をもとにパラメータを自動的に調整するようにしてもよい。また、パラメータを入力インターフェースによって変更可能とし、変更したパラメータの値にしたがって輝度分布を変換し、画像データを再構成し、改善後の画像データをディスプレイに表示するようにして、対話的に調整するようにしてもよい。
【００５２】
次に、画像再生手段５でＳ１０５で処理された輝度成分とＳ１０２で変換された色成分Ｘ（ｘ，ｙ）、Ｚ（ｘ，ｙ）とを合成し、画像データを再構成する（Ｓ１０６）。
【００５３】
ここで、まず、再構成後の画像データの色ができるだけ変化しないように、色成分を輝度成分の変更にしたがって修正する。例えば、色成分Ｘ（ｘ，ｙ）、Ｚ（ｘ，ｙ）にそれぞれ輝度成分の変更前後の比Ｙ’（ｘ，ｙ）／Ｙ（ｘ，ｙ）を乗算する。そして、Ｘ、Ｙ、ＺのデータからＲＧＢのデータを求める。ここでの処理はＳ１０２における処理の逆変換である。したがって、３行３列のマトリクス演算および逆ガンマ変換の処理を行い、ＲＧＢ各８ビット出力とする。
【００５４】
なお、Ｓ１０２で輝度成分を抽出する方法としてＲＧＢからＹＣｂＣｒ変換など別方式を用いた場合には、本処理において対応する逆変換の処理を行うべきであることは言うまでもない。
【００５５】
以上の例では、従来技術１をもとに処理する画像データに応じて最適に明るさの分布の改善が行う方法について説明したが、デジタル画像の輝度成分とその低周波成分とを用いる従来技術２や従来技術３にも本実施形態を応用できることは言うまでもない。
【００５６】
また、Ｓ１０５の処理において、（式３）の分母の［］内の値として、輝度成分に対してacm Transactions on Graphics, JULY 2002, Vol.21, No.3 中の“Fast Bilateral Filtering for the Display of High-Dynamic-Range Images”と題するＤｕｒａｎｄらの報告にあるようなＢｉｌａｔｅｒａｌＦｉｌｔｅｒｉｎｇを適用してもよい。この場合、Ｓ１０３のスケール変換処理であらかじめ輝度成分にＢｉｌａｔｅｒａｌＦｉｌｔｅｒｉｎｇ処理を行う。
【００５７】
また、以上説明した例においては、処理する画像データとしてＲＧＢ各８ビットのデータを想定して説明したが、ＲＧＢ各１６ビットの画像データから最適なＲＧＢ各８ビットの画像データを再生する場合においても適用できる。
【００５８】
【発明の効果】
以上説明したように、本発明によれば、処理するデジタル画像の明るさの分布を改善する処理を施すことにより生じる画像の低周波領域におけるコントラストの低下を抑制し、適切な明るさ成分分布を有する画像を生成することができる。
【図面の簡単な説明】
【図１】実施形態の画像処理システムの構成を示す図。
【図２】実施形態におけるアプリケーションプログラムのアルゴリズムを示す図。
【図３】実施形態における輝度補正のアルゴリズムを示す図。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an improvement in the brightness distribution of a digital image.
[0002]
[Prior art]
Conventionally, as a method of taking a photograph with appropriate brightness, a method of measuring the average brightness of a scene to be taken and controlling the shutter speed, aperture value, etc. of the camera is known. There is also known an exposure control method based on a so-called evaluation photometry method that divides a scene into predetermined regions and weights the luminance measured for each region to obtain an average exposure by obtaining an average luminance.
[0003]
However, in a so-called backlight scene where the brightness of the main subject to be photographed is significantly darker than the brightness of the background, the main subject portion is inevitably dark in the photographed image. In order to take a photograph with appropriate brightness in such a backlight scene, it is necessary to set the exposure of the camera in advance so that the photograph is taken brighter than the average photograph. However, such an exposure correction operation is not only cumbersome but also requires skill to properly set the camera. Further, an image obtained by photographing a backlight scene can be subjected to processing equivalent to exposure correction in digital image processing. However, in any case, even if exposure correction is appropriately performed on the main subject, the background portion becomes too bright.
[0004]
An object of the present invention is to obtain an image with appropriate brightness even in a scene such as backlight where it is difficult to appropriately determine the brightness of the image.
[0005]
In order to achieve the object of the present invention, in the analog photographic technique, a print with appropriate brightness can be obtained by performing a so-called dodging process in a dark room. In order to easily realize such a dodging process, it is desirable to realize the dodging process in digital image processing.
[0006]
As a method for realizing such processing, for example, “Joson” entitled “A Multiscale Retinex for Bridging the Gap Between Color Images and the Human Observation of Scenes” in IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL.6, NO.7, JULY 1997. There is a report (referred to as Prior Art 1). This is to process the difference between the logarithmically transformed component of the digital image and the low frequency component of the logarithmically transformed component, thereby darkening the bright component in the low frequency region of the digital image and brightening the dark component in the low frequency region. Thus, the image is to be improved.
[0007]
Also, a report by Reinhard et al. Entitled “Photographic Tone Reproduction for Digital Images” in acm Transactions on Graphics, JULY 2002, Vol.21, No.3 (conventional technology 2), “Local” in IS & T / SID Eighth Color Imaging Conference. In Moroney's report entitled “Color Correction Using Non-Linear Masking” (referred to as Prior Art 3), by using the luminance component of the digital image and its low-frequency component, an effect like dodging is achieved in digital image processing. A method of obtaining has been proposed.
[0008]
[Non-Patent Document 1]
“A Multiscale Retinex for Bridging the Gap Between Color Images and the Human Observation of Scenes” IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL.6, NO.7, JULY 1997
[Non-Patent Document 2]
“Photographic Tone Reproduction for Digital Images” acm Transactions on Graphics, JULY 2002, Vol.21, No.3
[Non-Patent Document 3]
“Local Color Correction Using Non-Linear Masking” IS & T / SID Eighth Color Imaging Conference
[0009]
[Problems to be solved by the invention]
However, in the above conventional example, in the image data obtained by improving the brightness of the digital image to be processed, the contrast in the low frequency region of the image is changed by changing the black level or white level in the low frequency region. There is a problem that the image is reduced and the image is not tight.
[0010]
An object of the present invention is to suppress a decrease in contrast in a low-frequency region of an image caused by processing for improving the brightness distribution of a digital image.
[0011]
[Means for Solving the Problems]
In order to achieve the above object, the present invention has the following configuration.
[0012]
According to the first aspect of the present invention, there is provided a luminance extracting means for extracting a luminance component from image data, a scale converting means for obtaining a distribution of the luminance component on a predetermined scale, and a method for improving the luminance distribution of the image data. In addition, a luminance improvement unit that processes the luminance component using the output of the scale conversion unit, a first luminance feature amount in the luminance distribution of the image before being processed by the luminance improvement unit, and the luminance improvement unit A luminance component processed by the luminance improvement unit based on the first luminance feature amount and the second luminance feature amount, and a feature amount calculating unit that calculates a second luminance feature amount in the luminance distribution of the image obtained Brightness correction means for correcting the whiteness, and the first brightness feature quantity is white obtained from a histogram of brightness components of the image before being processed by the brightness improvement means. The second luminance feature amount is a white level and a black level obtained from a histogram of luminance components of the image processed by the luminance improving means, and the black level of the first luminance feature amount. Is compared with the black level of the second luminance feature amount, and when the black level of the second luminance feature amount is larger than the black level of the first luminance feature amount, The luminance correction unit corrects the luminance component processed by the luminance improvement unit so as to reduce the change, and compares the white level of the first luminance feature amount with the white level of the second luminance feature amount. When the white level of the second luminance feature amount is smaller than the white level of the first luminance feature amount, the luminance correction unit is configured to reduce the luminance feature amount change by the improvement unit. Take corrective action And correcting the luminance component.
[0013]
The invention according to claim 5 uses an extraction step of extracting a brightness component from image data, a low frequency component calculation step of obtaining a low frequency component of the brightness component, and a low frequency component of the brightness component. Then, using a correction process for correcting the brightness component, a feature value of the brightness component in the image before the correction process, and an adjustment condition obtained from the feature value of the brightness component in the image after the correction process And an adjusting step for adjusting the corrected brightness component.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
(Embodiment)
FIG. 1 shows a configuration of an image processing system according to the present embodiment.
[0015]
In the figure, reference numeral 1 denotes image input means for inputting digital image data (hereinafter referred to as image data) to the image processing system. For example, it is composed of a digital camera, a scanner and the like.
[0016]
Reference numeral 2 denotes a luminance extraction unit that extracts a luminance component and a color component from the image data input by the image input unit 1. Reference numeral 3 denotes a scale conversion unit that obtains a distribution on a relatively large scale of the luminance component of the image data output from the luminance extraction unit 2. Reference numeral 4 denotes luminance improvement means, which uses the luminance component distribution of the image data output from the luminance extraction means 2 and the luminance component distribution on a relatively large scale output from the scale conversion means 3 to calculate the luminance component of the image data. Improve distribution. Reference numeral 6 denotes a parameter adjusting unit that adjusts parameters so as to optimize the degree of improvement processed by the luminance improving unit 4 from the luminance component of the image data output from the luminance extracting unit 2 in accordance with the image data.
[0017]
Reference numeral 7 denotes a feature amount calculation unit that analyzes the luminance component of the image data output from the luminance extraction unit 2 and the luminance component processed by the luminance improvement unit 4 and extracts the feature amount. A luminance correction unit 8 corrects the luminance distribution that is the output of the luminance improvement unit 4 so as to reduce the change in the luminance feature amount before and after the processing, using the luminance feature amount extracted by the feature amount calculation unit 7. To do. Reference numeral 5 denotes an image reproduction unit that synthesizes the luminance component output from the luminance correction unit 8 and the color component output from the luminance extraction unit 2 to reconstruct the image data.
[0018]
The image processing system configured as described above can also be executed on a general-purpose computer by an application program. Hereinafter, an image processing system executed mainly in an application program will be described.
[0019]
FIG. 2 shows an algorithm of an application program for executing the operation of the image processing system in this embodiment by a general-purpose computer.
[0020]
First, when the application program is activated, the user inputs the file name of the image data, and the image data input means 1 reads the image data into the storage unit of the computer. (S101)
The image data read here is, for example, an M × N two-dimensional array composed of 8-bit pixels (where M is the number of horizontal pixels and N is the number of vertical pixels), and R, G, B, 3 Consists of two faces. The image data is R, G, B, R (x, y), G (x, y), and B (x, y) (where (x, y) is an integer representing a pixel position, 1 ≦ x ≦ M, 1 ≦ y ≦ N). At this time, if the image data is compressed by a method such as JPEG, the image data is expanded according to a predetermined expansion method to obtain image data composed of RGB pixels.
[0021]
Next, the luminance extraction unit 2 extracts luminance components based on the RGB pixels constituting the image data (S102).
[0022]
For example, the luminance component is extracted by assuming that the pixel component of RGB is data in the sRGB color space described in IEC 61966-2-1, and performing gamma conversion according to the method described in IEC 61966-2-1. Conversion into CIE1931XYZ is performed by a matrix operation of 3 rows and 3 columns. Here, if the converted XYZ data is X (x, y), Y (x, y), and Z (x, y), Y (x, y) is a luminance component to be extracted.
[0023]
Note that as a method of extracting the luminance component, the above-described processing may be simplified and extraction may be performed only by matrix calculation. Also, conversion from RGB to YCbCr may be used. Furthermore, other conversion using a brightness component such as conversion from RGB to L ^* a ^* b ^* , or conversion from RGB to HSV may be used.
[0024]
Next, the scale conversion means 3 obtains a luminance component distribution on a relatively large scale from the luminance components extracted in S102. (S103) Here, the luminance component on a large scale corresponds to the low frequency component of the luminance component.
[0025]
In order to obtain a luminance component distribution on a large scale, for example, as in the prior art 1, a product-sum operation of the extracted luminance component and a Gaussian function is performed and output. (However, in the prior art 1, the product-sum operation is performed directly on each RGB pixel of the image data instead of the luminance component of the image data.) Here, in order to improve the image quality of the improved image data, It is more preferable to perform a product-sum operation with a plurality of Gaussian functions having different standard deviations to obtain a luminance component distribution (a plurality of frequency components of the luminance component) on a plurality of scales. The process for obtaining the luminance component distribution on a large scale as described above is hereinafter referred to as scale conversion.
[0026]
Next, the parameter adjusting means 6 adjusts a parameter that determines the degree of the luminance distribution to be improved from the extracted luminance component. (S104) The parameter adjustment is related to the process of improving the luminance distribution, and will be described in detail later.
[0027]
Next, the luminance improving means 4 improves the distribution of the luminance component of the image data using the distribution of the luminance component of the image data extracted in S102 and the luminance component scale-converted in S103 (S105).
[0028]
As an example of processing, according to the method based on the prior art 1, each distribution of the luminance component and the scaled luminance component is logarithmically converted and the difference is output. Furthermore, the weighted average of the differential outputs at different scales is taken as an improved luminance component. However, in this method, since the degree of improvement cannot be adjusted according to the image, the logarithm conversion output of the scaled luminance component is multiplied by a coefficient. This coefficient is a parameter for adjusting the degree of improvement. The output of the improved luminance component based on the processing described above is as shown in (Equation 1) below.
[Outside 1]

[0029]
However, Y ′ (x, y), F _n (x, y), w _n , n, and γ are the output of the improved luminance component, the Gaussian function, the weight between the scales, the parameter representing the scale, and the degree of improvement, respectively. Is a parameter that represents * Represents a product-sum operation.
[0030]
Note that the weights between scales can be omitted by replacing the standard deviation of the scales (replaced with a simple average), and the inverse of the output of logarithmically transformed values as in (Equation 1). It has been found that returning to the original luminance unit by conversion (exp calculation) is preferable as improved image data image quality. Therefore, it is more preferable that the output shown in the following (Formula 2) is an improved luminance component.
[Outside 2]

[0031]
However, Avg represents average value calculation.
[0032]
Instead of (Formula 2), the following (Formula 3) may be used.
[Outside 3]

[0033]
Note that the average value calculation of the scale conversion output at a plurality of scales may be performed by the scale conversion processing of S103, and the average value of the scale conversion output at the plurality of scales may be used as the distribution of the luminance component after the scale conversion.
[0034]
However, for example, the luminance component that has been improved by (Equation 3) changes the black level and white level in the low frequency region, the contrast in the low frequency region of the image is reduced, and the image is not constrained. End up. Therefore, the luminance component is corrected through the processing of the feature amount calculating means 7 and the luminance correcting means 8. The details are shown in FIG.
[0035]
First, the feature amount calculating means 7 estimates the white level and black level of the luminance distribution before the luminance improvement processing, which is the output of the luminance extracting means 2 (S51).
[0036]
For example, a luminance histogram is created by dividing the luminance component of the image data into a predetermined luminance value range. Then, the brightness value at which the ratio of the histogram frequency accumulated from the brighter side to the total sampling is a predetermined ratio is the white level, and the luminance value at which the ratio of the histogram frequency accumulated from the darker side to the total sampling is the predetermined ratio is black. Estimate as a level. For example, the brightness value at which the ratio of the histogram frequency accumulated from the brighter side to 0.5% is 0.5% is the white level, and the luminance value at 0.5% of the histogram frequency accumulated from the darker side is 0.5%. Is estimated as the black level. The white level and the black level estimated here are Y _W and Y _B , respectively.
[0037]
Similarly, the feature amount calculation unit 7 estimates the white level and black level of the luminance distribution after the luminance improvement process, which is the output of the luminance improvement unit 4. (S52) The white level and the black level estimated here are Y ′ _W and Y ′ _B , respectively.
[0038]
Next, the luminance correction unit 8 compares the white level before and after the processing estimated by the feature amount calculation unit 7 and sets the larger white level as the target value of the white level. (S53) This target value is set to _YWT .
[0039]
Similarly, the luminance correction unit 8 compares the black level before and after the processing estimated by the feature amount calculation unit 7, and sets the smaller black level as the target value of the black level. (S54) This target value is set to _YBT .
[0040]
Then, the luminance correction unit 8 adjusts the luminance so that the processed white level and black level estimated by the feature amount calculation unit 7 become the white level target value obtained in S53 and the black level target value obtained in S54, respectively. Correction is performed (S55).
[0041]
For example, correction is performed by partial linear conversion so that the correction characteristic passes through the black level after the luminance improvement and the target value of the black level, and the white level after the luminance improvement and the target value of the white level.
[0042]
That is, when the luminance level after the luminance improvement is equal to or lower than the black level estimated in S52, the luminance is corrected by the following expression 4.
[Outside 4]

[0043]
However, Y ″ (x, y) represents the output of each corrected luminance component.
Further, when the luminance level after the luminance improvement is between the black level and the white level estimated in S52, the luminance is corrected by the following equation (5).
[Outside 5]

[0044]
If the luminance level after the luminance improvement is equal to or higher than the white level estimated in S52, the luminance is corrected by the following expression 6.
[Outside 6]

[0045]
If the luminance level after the luminance improvement exceeds 1, the luminance level is converted to 1 in advance before performing the correction process. In addition, normalization by linear compression or the like may be performed so that the maximum value of the luminance level becomes 1.
[0046]
The above luminance correction conversion processing may be once created as a luminance conversion table, and the luminance correction processing may be performed by referring to the table. Further, the created table may be smoothed, and brightness correction processing may be performed by referring to the table using the smoothed table. When table reference is performed using a smoothed table, generation of pseudo gradation due to table reference processing can be suppressed.
[0047]
In the above correction processing, the white level and the black level before and after the processing are compared in S53 and S54, and the target values of the white level and the black level are determined. It is good also as a target value. In this case, the luminance improvement unit 4 reduces the change in the luminance feature amount before and after the improvement process, and corrects the luminance component before the improvement to have the contrast. In this embodiment, the white level and the black level are compared and set as the target values of the white level and the black level. By making the white level larger and the black level smaller, the contrast after luminance correction is corrected to be high. It is because it aimed at. That is, in this embodiment, the black levels before and after processing are compared, and when the black level after processing is larger than the black level before processing, the luminance distribution is corrected so as to reduce the change in luminance feature amount before and after processing. I am doing so. Similarly, the white level before and after the processing is compared, and when the white level after the processing is smaller than the white level before the processing, the luminance distribution is corrected so as to reduce the change in the luminance feature amount before and after the processing. Yes.
[0048]
In this embodiment, a brightness histogram is created as the feature quantity of the brightness component of the image, and the white level and the black level estimated from the created brightness histogram are used. For example, the average brightness component that can express the contrast of the image is used. A feature amount such as a value or a variance value may be used.
[0049]
Next, an example of the parameter adjustment method in S104 will be described for performing luminance conversion in (Equation 3) in S105.
[0050]
First, as described in S51 of S105, a luminance histogram is created by dividing the luminance component of the image data into a range of predetermined luminance values. Then, a luminance value (this luminance value is set to Y ₀ ) is obtained in which the ratio of the histogram frequency accumulated from the darker side to the total sampling is a predetermined ratio. At this time, γ such that the obtained luminance value Y ₀ is a predetermined luminance value (this luminance value is Y ₁ , where Y ₀ ≦ Y ₁ ) is a parameter representing the degree of improvement. Assuming that the value in [] of the denominator of (Expression 3) is substantially equal to Y (x, y), γ can be obtained by (Expression 7) shown below.
[Outside 7]

[0051]
In this embodiment, the parameters are automatically adjusted based on the luminance component of the image data. However, the parameters may be automatically adjusted based on the RGB pixel values of the image data. Good. In addition, the parameters can be changed by the input interface, the luminance distribution is converted according to the changed parameter value, the image data is reconstructed, and the improved image data is displayed on the display and adjusted interactively. You may do it.
[0052]
Next, the luminance component processed in S105 by the image reproducing means 5 and the color components X (x, y) and Z (x, y) converted in S102 are combined to reconstruct the image data (S106). .
[0053]
Here, first, the color component is corrected in accordance with the change of the luminance component so that the color of the reconstructed image data does not change as much as possible. For example, the color components X (x, y) and Z (x, y) are multiplied by the ratio Y ′ (x, y) / Y (x, y) before and after the change of the luminance component, respectively. Then, RGB data is obtained from the X, Y, and Z data. The process here is an inverse transformation of the process in S102. Therefore, the matrix operation of 3 rows and 3 columns and the inverse gamma conversion process are performed to obtain 8-bit RGB output.
[0054]
Needless to say, if another method such as RGB to YCbCr conversion is used as the method of extracting the luminance component in S102, the corresponding inverse conversion process should be performed in this process.
[0055]
In the above example, the method for optimally improving the brightness distribution according to the image data processed based on the prior art 1 has been described. However, the prior art using the luminance component of the digital image and its low frequency component is described. Needless to say, the present embodiment can also be applied to 2 and the prior art 3.
[0056]
In the process of S105, “Fast Bilateral Filtering for the Display” in acm Transactions on Graphics, JULY 2002, Vol.21, No.3 is used for the luminance component as the value in [] of the denominator of (Equation 3). Bilatal Filtering as reported by Durand et al. entitled “of High-Dynamic-Range Images” may be applied. In this case, the Bilatal Filtering process is performed on the luminance component in advance in the scale conversion process of S103.
[0057]
Further, in the example described above, description has been made assuming that 8-bit RGB data is processed as image data to be processed. However, in the case of reproducing optimum 8-bit RGB image data from 16-bit RGB image data, Is also applicable.
[0058]
【The invention's effect】
As described above, according to the present invention, it is possible to suppress a decrease in contrast in a low frequency region of an image caused by performing processing for improving the brightness distribution of a digital image to be processed, and to obtain an appropriate brightness component distribution. An image can be generated.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration of an image processing system according to an embodiment.
FIG. 2 is a view showing an algorithm of an application program in the embodiment.
FIG. 3 is a diagram showing a luminance correction algorithm in the embodiment.

Claims

Luminance extraction means for extracting luminance components from the image data;
Scale conversion means for obtaining a distribution of the luminance component on a predetermined scale;
In order to improve the luminance distribution of the image data, luminance improving means for processing the luminance component using the output of the scale converting means;
Feature quantity calculating means for calculating a first brightness feature quantity in the brightness distribution of the image before being processed by the brightness improving means and a second brightness feature quantity in the brightness distribution of the image processed by the brightness improving means;
Based on the first luminance feature amount and the second luminance feature amount, it has a luminance correcting means for correcting the luminance component processed by the luminance improvement means,
The first luminance feature amount is a white level and a black level obtained from a histogram of luminance components of an image before being processed by the luminance improving unit, and the second luminance feature amount is processed by the luminance improving unit. White level and black level obtained from the histogram of the luminance component of the image,
When the black level of the first luminance feature amount is compared with the black level of the second luminance feature amount, and the black level of the second luminance feature amount is greater than the black level of the first luminance feature amount In addition, the luminance correction unit corrects the luminance component processed by the luminance improvement unit so as to reduce a change in luminance feature amount by the improvement unit,
When the white level of the first luminance feature quantity is compared with the white level of the second luminance feature quantity, and the white level of the second luminance feature quantity is smaller than the white level of the first luminance feature quantity In addition, the luminance correction unit corrects the luminance component processed by the luminance improvement unit so as to reduce a change in luminance feature amount by the improvement unit .

An extraction process for extracting brightness components from the image data;
A low frequency component calculating step for obtaining a low frequency component of the brightness component;
A correction step of correcting the brightness component using a low-frequency component of the brightness component;
A feature amount calculating step of calculating a feature amount of the first brightness component in the image before the correction step and a feature amount of the second brightness component in the image after the correction;
The corrected brightness component using an adjustment condition obtained from the calculated feature value of the brightness component in the image before the correction process and the calculated feature value of the brightness component in the image after the correction process It possesses an adjustment step of adjusting the,
The feature amount of the first brightness component is a white level and a black level obtained from a histogram of the brightness component of the image before being corrected by the correction step, and the feature amount of the second brightness component is the above-described feature amount. The white level and the black level obtained from the histogram of the brightness component of the image corrected by the correction process,
The black level of the feature quantity of the first brightness component is compared with the black level of the feature quantity of the second brightness component, and the black level of the feature quantity of the second brightness component is the first brightness component. When the feature value of the brightness component is larger than the black level, the adjustment step corrects the brightness component corrected by the correction step so as to reduce the change in the brightness component feature amount due to the correction step,
The white level of the feature amount of the first brightness component is compared with the white level of the collection amount of the second brightness component, and the white level of the feature amount of the second brightness component is the first level. When the brightness component feature amount is smaller than the white level, the adjustment step corrects the brightness component corrected by the correction step so as to reduce the change in the brightness component feature amount due to the correction step. A featured image processing method.

The low frequency component calculation step obtains low frequency components of a plurality of different bands,
The image processing method according to claim 2 , wherein the correcting step corrects the brightness component using low frequency components of the plurality of different bands.

Feature quantity of the luminance component, according to claim 2 or 3 image processing method wherein a is the brightness component value in the black and white levels of the image.

Wherein the correction step further, according to claim 2 to 4, characterized by using a parameter obtained from the luminance value feature quantity obtained from the histogram of the brightness component of the image that is previously set according to any one Image processing method.

The program for implement | achieving the image processing method in any one of the said Claim 2 thru | or 5 using a computer.