JP4147155B2

JP4147155B2 - 画像処理装置および方法

Info

Publication number: JP4147155B2
Application number: JP2003199119A
Authority: JP
Inventors: 光太郎矢野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-07-18
Filing date: 2003-07-18
Publication date: 2008-09-10
Anticipated expiration: 2023-07-18
Also published as: JP2005038119A

Description

【０００１】
【発明の属する技術分野】
本発明は、明るさ成分を補正するものに関する。
【０００２】
【従来の技術】
従来、適正な明るさの写真を撮影する方法として、撮影するシーンの平均的な輝度を測定し、カメラのシャッター速度、絞り値などを制御する方式が知られている。また、シーンを所定の領域に分割して領域ごとに測定した輝度に重み付けして平均的な輝度を求めて適正露出を得ようとするいわゆる評価測光方式による露出制御方式が知られている。
【０００３】
しかしながら、撮影する主被写体の明るさが背景の明るさに比べて著しく暗いような、いわゆる逆光シーンにおいては、撮影した画像においてどうしても主被写体部分が暗くなってしまう。このような逆光シーンにおいて適切な明るさの写真を撮影するには、撮影時にあらかじめ平均的な写真よりも明るめに撮影されるようにカメラの露出を設定しておく必要があった。しかし、このような露出補正の操作はわずらわしいばかりでなく、カメラの設定を適正に行うための熟練を要する。また、主被写体に対して適切に露出補正を行ったとしても、逆に背景部分が明るくなりすぎてしまう。
【０００４】
本発明は、このような適切に画像の明るさを決定するのが困難な逆光等のシーンにおいても、適切な明るさの画像を得ることを目的とする。
【０００５】
従来から、アナログ写真技術においては、暗室内でいわゆる覆い焼き処理を行うことで適切な明るさのプリントを得ることができる。このような覆い焼き処理を容易に実現するためには、デジタル画像処理において、覆い焼き処理を実現することが望ましい。
【０００６】
このような処理を実現する方法として、例えば、
・IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL.6, NO.7, JULY 1997に”A Multiscale Retinex for Bridging the Gap Between Color Images and the Human Observation of Scenes”
と題するＪｏｂｓｏｎらの報告（従来技術１とする）がある。これは、デジタル画像を対数変換した成分とその対数変換成分の低周波成分との差分処理を行うことによって、デジタル画像の低周波領域における明るい成分を暗く、低周波領域における暗い成分を明るく処理することにより、画像の改善を行おうとするものである。
【０００７】
また、
・acm Transactions on Graphics, JULY 2002, Vol.21, No.3 に”Photographic Tone Reproduction for Digital Images”
と題するＲｅｉｎｈａｒｄらの報告（従来技術２とする）においても、デジタル画像の輝度成分とその低周波成分とを用いることにより、デジタル画像処理において覆い焼きのような効果を得る方法が提案されている。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記従来例においては、処理するデジタル画像の主被写体の明るさに対して大きな改善が必要とされる場合においても、処理するデジタル画像の主被写体の明るさに対して微小な改善が必要とされる場合においても、改善度合いが同一であるので、処理する画像データに適切な輝度分布の改善を行えないといった不具合があった。この原因は主に処理する画像データの輝度分布をどの程度改善すべきかの目標が明確になっていないためである。
【０００９】
本発明は、画像データの明るさ成分の低周波成分を用いて画像データを補正する度合いを主被写体の明るさに応じて調整することができ、画像に応じて補正の度合いを調整できるようにすることを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、本発明は以下の構成を有する。
【００１１】
本願請求項１記載の画像処理装置は、画像データから明るさ成分を抽出する明るさ成分抽出手段と、前記明るさ成分の低周波成分を抽出するためにスケール変換を行うスケール変換手段と、入力画像における顔領域の画像データの明るさ成分に基づき改善の度合いを調整するためのパラメータを設定する設定手段と、前記明るさ成分の低周波成分と前記パラメータを用いて、前記画像データの明るさ成分を補正する補正手段とを有し、前記補正手段は、前記明るさ成分の低周波成分を前記パラメータを用いて変換することにより得られる変換された明るさ成分の低周波成分に基づき前記画像データの明るさ成分を補正することを特徴とする。
【００１４】
【発明の実施の形態】
図１に本実施形態の画像処理システムの構成を示す。
【００１５】
図中、１は、画像入力手段であり、画像処理システムにデジタル画像データ（以後、画像データと称す）を入力する。例えば、デジタルカメラ、スキャナなどで構成される。
【００１６】
２は、輝度抽出手段であり、画像入力手段１で入力した画像データから輝度成分と色成分を抽出する。
【００１７】
３は、スケール変換手段であり、輝度抽出手段２から出力された画像データの輝度成分の比較的大きな尺度での分布を求める。
【００１８】
４は、輝度改善手段であり、輝度抽出手段２から出力された画像データの輝度成分とスケール変換手段３から出力された比較的大きな尺度での輝度成分の分布を用いて画像データの輝度成分の分布を改善する。
【００１９】
５は、画像再生手段であり、輝度改善手段４から出力された改善された輝度成分と輝度抽出手段２から出力された色成分とを合成し、画像データを再構成する。
【００２０】
６は、パラメータ調整手段であり、輝度抽出手段２から出力された画像データの輝度成分から輝度改善手段４で処理する改善の度合いを画像データに応じて最適にするようにパラメータの調整を行う。
【００２１】
７は、顔検出手段であり、画像再生手段５から出力された画像データから人物の顔部分に相当する位置を顔領域として検出する。
【００２２】
以上のような構成の画像処理システムは、汎用の計算機におけるアプリケーションプログラムによって実行可能である。以後、本実施形態では、主にアプリケーションプログラムにおいて実行される画像処理システムについて説明する。
【００２３】
図２に本実施形態における画像処理システムの動作を汎用の計算機で実行するアプリケーションプログラムのアルゴリズムを示す。
【００２４】
まず、アプリケーションプログラムが起動するとユーザは画像データのファイル名を入力し、画像データを計算機の記憶部に読み込む。（Ｓ１０１）
ここで読み込まれた画像データは、例えば８ビットの画素により構成されるＭ×Ｎの２次元配列（但し、Ｍは水平画素数、Ｎは垂直画素数）であり、Ｒ、Ｇ、Ｂ、３つの面により構成される。この画像データをＲ、Ｇ、Ｂ、それぞれＲ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ）とする（但し、（ｘ，ｙ）は画素位置を表す整数、１≦ｘ≦Ｍ、１≦ｙ≦Ｎ）。このとき、画像データがＪＰＥＧ等の方式により圧縮されている場合は、画像データを所定の解凍方式にしたがって解凍し、ＲＧＢ各画素により構成される画像データを得る。
【００２５】
次に、画像データを構成するＲＧＢ各画素をもとに輝度成分を抽出する。（Ｓ１０２）
輝度成分の抽出は、例えば、ＲＧＢの画素成分がＩＥＣ６１９６６−２−１に記載されているｓＲＧＢ色空間におけるデータと想定し、ＩＥＣ６１９６６−２−１に記載されている方法に従い、ガンマ変換と３行３列のマトリクス演算により、ＣＩＥ１９３１ＸＹＺに変換する。ここで、変換後のＸＹＺのデータをそれぞれＸ（ｘ，ｙ）、Ｙ（ｘ，ｙ）、Ｚ（ｘ，ｙ）とすると、Ｙ（ｘ，ｙ）が抽出する輝度成分である。この輝度抽出をハードウェアで構成する場合には、例えば、ルックアップテーブルによるテーブル参照回路（ガンマ変換の部分）、マトリクス演算回路によって構成できる。
【００２６】
なお、輝度成分を抽出する方法としては、前述の処理を簡略化し、マトリクス演算のみで抽出するようにしてもよい。また、ＲＧＢからＹＣｂＣｒへの変換やＲＧＢからＬ^＊ａ^＊ｂ^＊への変換、ＲＧＢからＨＳＶへの変換を用いてもよい。
【００２７】
次に、抽出した輝度成分から比較的大きな尺度での輝度成分の分布を求める。（Ｓ１０３）
大きな尺度での輝度成分の分布（輝度成分の低周波成分の分布）を求めるには、例えば、従来技術１にあるように抽出した輝度成分とガウシアン関数との積和演算を行い、出力とする。（但し、従来技術１では画像データの輝度成分ではなく直接画像データのＲＧＢ各画素に対して積和演算を行うようにしている）ここで、改善された画像データの画質を向上するために、標準偏差の異なる複数のガウシアン関数との積和演算を行い、複数の尺度での輝度成分の分布を求めるようにすると、より好ましい。なお、以上説明したような大きな尺度での輝度成分の分布を求める処理を以後、スケール変換と称することとする。このスケール変換をハードウェアで構成する場合には、例えば、積和演算回路によって構成できる。
【００２８】
次に、画像データの輝度成分とスケール変換した輝度成分の分布を用いて画像データの輝度成分の分布を改善する。（Ｓ１０４）
処理の一例として従来技術１に基づく方法によれば、輝度成分とスケール変換した輝度成分の分布それぞれを対数変換し、その差分を出力する。さらに、異なる尺度での差分出力の重み付き平均を改善された輝度成分とする。しかしながら、この方法では、画像に応じて改善の度合いを調整できないので、スケール変換した輝度成分の対数変換出力に係数を乗ずるようにする。この係数が改善の度合いを調整するパラメータである。以上説明した処理に基づく改善された輝度成分の出力は以下に示す（式１）のようになる。
【００２９】
【外１】

【００３０】
但し、Ｙ’（ｘ，ｙ）、Ｆ_ｎ（ｘ，ｙ）、ｗ_ｎ、ｎ、γはそれぞれ改善された輝度成分の出力、ガウシアン関数、尺度間の重み、尺度を表すパラメータ、改善の度合いを表すパラメータである。また、＊は積和演算を表す。
【００３１】
なお、尺度間の重みは尺度の標準偏差を調整することで省略可能（単純な平均に置き換わる）であること、また、（式１）のように対数変換された値を出力するよりも、逆変換（ｅｘｐ演算）により元の輝度単位に戻した方が、改善された画像データの画質として好ましいことが分かっている。従って、以下の（式２）に示した出力を改善された輝度成分とすることがより好ましい。
【００３２】
【外２】

【００３３】
但し、Ａｖｇは平均値演算を表す。
【００３４】
（式２）の代わりに、以下に示す（式３）としてもよい。
【００３５】
【外３】

【００３６】
なお、Ｓ１０４での輝度改善の処理は前処理であり、Ｓ１０６において顔領域を高精度に抽出するための処理である。よって、強めの輝度改善の処理を行う。本実施形態では、所定の値、γ＝１を用いる。
【００３７】
なお、複数尺度でのスケール変換出力の平均値演算をＳ１０３のスケール変換の処理で行い、複数尺度でのスケール変換出力の平均値をスケール変換された輝度成分の分布としてもよい。
【００３８】
この輝度変換をハードウェアで構成する場合には、例えば、平均値演算回路、ルックアップテーブルを作成する回路、テーブル記憶部、テーブル参照回路（ガンマ変換の部分）、除算回路によって構成できる。なお、平均値演算回路はスケール変換手段に設けてもよい。
【００３９】
次に、改善された輝度成分とＳ１０２で変換された色成分Ｘ（ｘ，ｙ）、Ｚ（ｘ，ｙ）とを合成し、画像データを再構成する。（Ｓ１０５）
ここで、まず、再構成後の画像データの色ができるだけ変化しないように、色成分を輝度成分の変更にしたがって修正する。例えば、色成分Ｘ（ｘ，ｙ）、Ｚ（ｘ，ｙ）にそれぞれ輝度成分の変更前後の比Ｙ’（ｘ，ｙ）／Ｙ（ｘ，ｙ）を乗算する。そして、Ｘ、Ｙ、ＺのデータからＲＧＢのデータを求める。ここでの処理はＳ１０２における処理の逆変換である。したがって、３行３列のマトリクス演算および逆ガンマ変換の処理を行い、ＲＧＢ各８ビット出力とする。この画像データの再構成をハードウェアで構成する場合には、例えば、乗算および除算回路、マトリクス演算回路、ルックアップテーブルによるテーブル参照回路（逆ガンマ変換の部分）によって構成できる。
【００４０】
なお、Ｓ１０２で輝度成分を抽出する方法としてＲＧＢからＹＣｂＣｒ変換など別方式を用いた場合には、本処理において対応する逆変換の処理を行うべきであることはいうまでもない。
【００４１】
次に、輝度分布が改善された画像データから人物の顔部分に相当する位置を顔領域として検出する。（Ｓ１０６）
画像データから顔領域を検出する処理内容例を図３に示す。まず、画像データを所定の画像サイズにローパスフィルタ処理を行うと同時に縮小する。そして縮小された画像データの画素値で局所的にＲＧＢ各成分が小さい領域を目の画像領域の候補として抽出する。さらに抽出された候補を２つずつ組にして領域の大きさの均等性、輝度の差、水平に対する角度などから組にした２つの領域が目かどうかを判定する。（図３（ａ））目と判定された組について、その２つの位置からあらかじめ設定された所定の位置関係のパラメータに基づき矩形領域を設定する。（図３（ｂ））そして矩形領域の境界付近のエッジおよび領域内の色情報から矩形領域の確定を行う。（図３（ｃ））詳しくはエッジについては境界付近の所定幅の領域に所定強度を超えるエッジ成分が所定比率以上占有するか、で判定する。色情報については矩形領域内の画素値の平均値を計算し、あらかじめ設定した肌色領域内に平均値が入っているかで判定する。そして、エッジ、色情報の条件が両立して満たされている場合、顔領域と判定する。そして、顔領域と判定された矩形領域の位置情報を顔領域として出力する。
【００４２】
なお、本発明において画像データから顔領域を検出する方式は以上説明した方式に限定されるものではなく、例えば、IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.24 , NO.1, JANUARY 2002に”Detecting Faces in Images: A Survey”と題するＹａｎｇらの報告に揚げられているような方式を用いてもよい。
【００４３】
次に、Ｓ１０２で抽出した輝度成分とＳ１０６で検出した顔領域から改善すべき輝度分布の度合いを決めるパラメータを調整する。（Ｓ１０７）
以下、パラメータ調整方法の一例をＳ１０４で説明した（式３）で輝度変換を行う場合について説明する。
【００４４】
まず、画像データの輝度成分の内、顔領域内の輝度値の平均値を算出する。但し、顔領域として検出された矩形領域内には目や髪の毛など肌でないものも存在するが、ここでは顔領域内の画素について明るい方から所定の割合以上の輝度値のみの平均値を算出することで肌に対応する部分の輝度の代表値（人肌代表輝度値とする）とする。一方、改善すべき画像の人肌における輝度値の好ましい値として所定の値（人肌目標輝度値とする）をあらかじめ設定しておき、人肌代表輝度値と人肌目標輝度値とを所定の重みで荷重平均したものを目標輝度値として設定する。ここで、人肌代表輝度値をＹ_０、荷重平均後の目標輝度値をＹ_１とするとき、輝度値Ｙ_０が所定の輝度値（但し、Ｙ_０≦Ｙ_１）になるようなγを改善の度合いを表すパラメータとする。なお、このγは、（式３）の分母の［］内をＹ（ｘ，ｙ）とほぼ等しいと仮定すると、以下に示す（式４）により求めることができる。
【００４５】
【外４】

【００４６】
次に、画像データの輝度成分とスケール変換した輝度成分の分布、求まったパラメータγを用いて画像データの輝度成分の分布を改善する。処理内容はＳ１０４の処理に準じる。（Ｓ１０８）
次に、改善された輝度成分とＳ１０２で変換された色成分Ｘ（ｘ，ｙ）、Ｚ（ｘ，ｙ）とを合成し、画像データを再構成する。処理内容はＳ１０５の処理に準じる。（Ｓ１０９）
以上の例では、従来技術１をもとに処理する画像データに応じて最適に明るさの分布の改善が行う方法について説明したが、以下の例では、従来技術２をもとに処理する画像データに応じて最適に明るさの分布の改善が行う方法について説明する。なお、上記実施形態との差異は主にＳ１０５での画像データの輝度成分の分布を改善する処理であるので、この部分を中心に説明する。
【００４７】
従来技術２によれば、異なる尺度の輝度成分を用いて輝度変換後のハロの発生度合いを評価し、ハロ発生による画質の不具合がないように最適な尺度を決定し、輝度変換を行うようにしている。これに本発明を適用した場合の例を以下の（式５）に示す。
【００４８】
【外５】

【００４９】
但し、Ｖ（ｘ，ｙ）は複数のスケール変換した輝度成分から選択された輝度成分、ａは輝度成分の強度を調整するパラメータ、ｅは輝度成分の改善の度合いを表すパラメータである。なお、輝度成分改善処理における調整方法の変更に伴い、Ｓ１０７での改善パラメータの調整方法も変更すべきであることはいうまでもない。
【００５０】
また、従来技術２にもとづいて説明した例において、輝度成分の改善の度合いとともに画像の輝度成分そのものを調整するようにしたが、このように本発明と画像の輝度成分そのものを調整する処理と組み合わせてもよいことはいうまでもない。
【００５１】
また、Ｓ１０４、Ｓ１０８の処理において、（式３）の分母の［］内の値として、輝度成分に対してacm Transactions on Graphics, JULY 2002, Vol.21, No.3 中の”Fast Bilateral Filtering for the Display of High-Dynamic-Range Images”と題するＤｕｒａｎｄらの報告にあるようなＢｉｌａｔｅｒａｌＦｉｌｔｅｒｉｎｇを適用してもよい。この場合、Ｓ１０３のスケール変換処理であらかじめ輝度成分にＢｉｌａｔｅｒａｌＦｉｌｔｅｒｉｎｇ処理を行う。
【００５２】
また、Ｓ１０７以前のＳ１０４〜Ｓ１０６の処理はＳ１０７でパラメータの値を求めるための前処理であるので、元の画像データに対してあらかじめ縮小した画像データに対して行ってＳ１０４〜Ｓ１０６の処理を行い、Ｓ１０７でパラメータの値を決定後、元の画像データに対してＳ１０８以降の処理を行うようにしてもよい。元の画像データのサイズが著しく大きい場合には、処理時間が短縮できる。
【００５３】
また、以上説明した例においては、処理する画像データとしてＲＧＢ各８ビットのデータを想定して説明したが、ＲＧＢ各１６ビットの画像データから最適なＲＧＢ各８ビットの画像データを再生する場合においても適用できる。
本実施形態によれば、特に人物を逆光状態で撮影した画像データに対して、輝度分布の改善度合いの調整を自動的に行い、処理する画像データに応じて最適に明るさの分布を改善することができる。
【００５４】
【発明の効果】
本発明によれば、画像データの明るさ成分の低周波成分を用いて画像データを補正する度合いを主被写体の明るさに応じて調整することができ、画像に応じて補正の度合いを調整することができる。
【図面の簡単な説明】
【図１】画像処理システムにおける実施形態の構成を示す図。
【図２】画像処理システムにおけるアプリケーションプログラムのアルゴリズムを示す図。
【図３】実施形態における顔検出の処理内容を説明する図。

Claims

画像データから明るさ成分を抽出する明るさ成分抽出手段と、
前記明るさ成分の低周波成分を抽出するためにスケール変換を行うスケール変換手段と、
入力画像における顔領域の画像データの明るさ成分に基づき改善の度合いを調整するためのパラメータを設定する設定手段と、
前記明るさ成分の低周波成分と前記パラメータを用いて、前記画像データの明るさ成分を補正する補正手段とを有し、
前記補正手段は、前記明るさ成分の低周波成分を前記パラメータを用いて変換することにより得られる変換された明るさ成分の低周波成分に基づき前記画像データの明るさ成分を補正することを特徴とする画像処理装置。
前記設定手段は、前記顔領域の画像データの明るさ成分分布の代表値が所定の値に近づくようにパラメータを設定することを特徴とする請求項１記載の画像処理装置。
さらに、前記低周波明るさ成分と所定のパラメータを用いて、前記画像データの明るさ成分を補正し、前記補正された画像データを解析し、前記顔領域を検出する顔領域検出手段を有することを特徴とする請求項１または２記載の画像処理装置。
請求項１乃至３のいずれかに記載の画像処理装置をコンピュータを用いて実現するためのプログラム。
画像データから明るさ成分を抽出する明るさ成分抽出工程と、
前記明るさ成分の低周波成分を抽出するためにスケール変換を行うスケール変換工程と、
入力画像における顔領域の画像データの明るさ成分に基づき改善の度合いを調整するためのパラメータを設定する設定工程と、
前記明るさ成分の低周波成分と前記パラメータを用いて、前記画像データの明るさ成分を補正する補正工程とを有し、
前記補正工程は、前記明るさ成分の低周波成分を前記パラメータを用いて変換することにより得られる変換された明るさ成分の低周波成分に基づき前記画像データの明るさ成分を補正することを特徴とする画像処理方法。