JP4323791B2

JP4323791B2 - デジタルカラー画像処理方法

Info

Publication number: JP4323791B2
Application number: JP2002358087A
Authority: JP
Inventors: ルオ・ジェボ; アンドリュー・シー・ギャラガー; アミット・シンガル; ロバート・テリー・グレイ
Original assignee: イーストマンコダックカンパニー
Priority date: 2001-12-04
Filing date: 2002-12-10
Publication date: 2009-09-02
Anticipated expiration: 2022-12-10
Also published as: JP2003198850A; US6564851B1; US20030102091A1

Description

【０００１】
【発明の属する技術分野】
本発明は一般にデジタル画像処理の分野に属し、特に画像の主題に基づいて画像に適用されるエンハンスメントの量を決定する方法に関する。
【０００２】
【従来の技術】
一般に、画像のエンハンスメントには、少なくとも一つの画像に対する画質改善操作が含まれ、例えば、尖鋭化は画像の細部を改善し、ノイズリダクションは画像のノイズを除去し、デブロッキングは、例えばＪＰＥＧ画像圧縮によって発生するブロッキングアーティファクトを除去し、シーンバランスアジャストメントは画像のコントラストおよび描写(rendering)を改善する。
【０００３】
実際にこれらの方法によりエンハンス画像(enhanced image)を生成する場合、結果得られる画像の質はしばしば画像の内容によって変化する。例えば、建物の画像には、ぼけマスクアルゴリズム(unsharp mask algorithm)を使用することで満足のいく結果が得られるかもしれない。しかしながら、人面の画像に同一のアルゴリズムを使用すると、好ましくないほどに過度に鮮明な見栄えに映るかもしれない（例えば、しわ、染みが不愉快なほどに「エンハンス」され、つまり、よりよく見えるようになる。）。別の例として、平滑化アルゴリズムは、ノイズおよび／またはブロッキングアーティファクトの量を取り除くのに役立ち、人面または晴天の画像を感じの良いものに仕上げる。しかし、同一の操作を同じ量だけ行っても、芝生、布地のきめ、または獣毛の細部を期せずして除去してしまう。従来、尖鋭化する量、またはその他の種類のエンハンスメントの量は、オペレータが各画像ごとに個別に調整する必要があり、費用の嵩む処理である。従来の取り扱いでは、同一画像における領域ごとでの尖鋭化の量の調整が容易ではなく、その結果として、画像内の異なる主題または対象から要求される異なるエンハンスメント量と相殺関係を持つエンハンスメント量を適用しなければならなくなってしまう。
【０００４】
先行技術においては、画素の色に基づいて画像エンハンスメント操作を修正する技術例が存在する。例えば、グーチらは画素ごとにぼけマスクに関するパラメータを修正する方法を記している（特許文献１参照）。ぼけマスクによる画像の尖鋭化は以下の式によって記述される。
【数１】

ここで、
【数２】

である。
【０００５】
通常、不鮮明(unsharp)な画像は、ローパスフィルタとのコンボリューション（、つまり不鮮明画像はi(x,y)**b(x,y)で得られる。）によって生成される。次に、ハイパス、またはフリンジデータはオリジナル画像から不鮮明画像を差し引くことで生成される（ハイパスデータは、i(x,y)-i(x,y)**b(x,y)で得られる。）。そして、ハイパスデータはスケール係数(scale factor)βもしくはフリンジ関数f()またはその両方によって修正される。最終的には尖鋭化画像を生成するために、修正ハイパスデータをオリジナル画像または不鮮明画像と足し合わせる。
【０００６】
グーチら(Gouch et al.)の言によれば、フリンジ関数は画素i(x,y)の色に従属的であってよい。この特徴により、例えば、肌の色と似ている画素のために前もって尖鋭化(sharpening)を仕立てておくことが可能である。しかしこの方法は、ある特定の画素が人肌を表していることの信頼度または確率に基づいてはおらず、その為に、レンガまたは木といった人肌に似た色を有する領域の画像をおそらくいたずらに控えめな尖鋭化を行う。グーチらの方法では、専ら画像の色のみを使用し、研究により画像領域を効率的にに分類することが示されている、質感(texture)または形状の特徴といった他の特徴を使用することはできない。特許文献２において、シュバルツ(Schwartz)は、パターン認識技術を用いた自動画像補正の概念を開示しており、そこではパターン認識サブシステムが色に特徴のある物体(color significant object)の存在および位置を検出している。にて、カナタら(Cannata et al.)は、類似した別の画像データの選択的エンハンスメントの方法について記している。ある実施形態においては、空間的処理変換(spatial processing transformations)によって悪影響を及ぼすことが知られている範囲に含まれる色コード値を有する画素に対し、尖鋭化のような空間的処理変換を減縮またはバイパスしている。別の実施形態においては、中間色の範囲にある色コード値を有する画素に対しては、色補正処理変換(color correction processing transformations)をバイパスさせている。明らかだが、選択的エンハンスメントを実行するために用いている特性が色のみなので、類似した色を有する他の主題が望ましくない効果を受けるおそれがある。
【０００７】
【特許文献１】
米国特許第５６８２４４３号明細書
【特許文献２】
欧州特許出願公開第６８１２６８号明細書
【特許文献３】
米国特許出願公開第０９／７２８３６５号明細書
【０００８】
【発明が解決しようとする課題】
従って、画像内に含まれる異なる対象または主題を検出し、それにより画像の各部分の品質（例えば、シャープネスおよび色）が改善され得るような、特定の画像に対するエンハンスメントの種類および量の決定に関するニーズが存在する。
【０００９】
【課題を解決するための手段】
上記ニーズは本発明により満足される。本発明は標的(target)および背景(background)主題(subject matter)を識別する主題検出器の提供を含むデジタルカラー画像を処理する方法を提供し、該主題検出器を画像に適用することで、画素が標的主題に属しているとする信頼度を示すビリーフマップを作成し、画像へのエンハンスメントの度合いを制御する制御信号に応答できる画像エンハンスメント操作(image enhancement operation)を供し、またエンハンス画像を生成するため、ビリーフマップに従って制御信号を変化させながら画像エンハンスメントをデジタル画像に適用する。
【００１０】
本発明は画像内において検出された主題物に従って画像に施す画像エンハンスメント操作の量を場所ごとに変化させることができるという利点を有する。幾つかの画像または画像における幾つかの領域においてエンハンスメントアーティファクトが生成されることを恐れて、あらゆる画像または画像全体に控えめな(conservative)レベルで画像エンハンスメントを施すようにシステムを調整するよりむしろ、本発明は各領域における主題内容に基づく画像エンハンスメント量の決定を各領域について自動的に行っている。さらに、画像における特定の領域に対し、その領域には特定の標的主題が存在するという強い信念に基づいてエンハンスメント操作を全く行わない（つまりエンハンスメント量はゼロである。）。
【００１１】
【発明の実施の形態】
以下の記述においては本発明をソフトウェアプログラムにて実行される方法として記す。当然ながら、当業者ならばこのようなソフトウェアの均等物はまた、ハードウェアとして構成することも可能である。画像エンハンスメントアルゴリズムおよび方法は周知なので、本記述では特に本発明による方法の一部であるかまたはより直接的に協同するアルゴリズムおよび方法について記す。本明細書では特に図示または記述していないアルゴリズムおよび方法の別の部分、ならびに、画像信号を生成、さもなくば処理をするための、ハードウェアおよび／もしくはソフトウェアは、当業者が知るところの主題、構成(component)および要素(element)から選択してよい。以下に示す記述により、全てのソフトウェアの実施自体は従来的で、当該技術分野の通常の技術範囲に属する。
【００１２】
図１は、エンハンス出力画像(enhanced output image)を得るための、特定の画像処理経路による画像処理に用いる本発明の好ましい実施形態を示している。一般に、本発明は画像に対してエンハンスメント操作を行い、そのエンハンスメントの量は画像内の主題または対象によって決定される。つまり、個々の画像または特定の画像における個々の領域に適用されるエンハンスメントの量は画像の内容によって変化する。いかなる特定の画像または画像内の特定の領域においてもエンハンスメントの量は、特定の画像の内容にとって適切となる様に選択される。
【００１３】
本発明の好ましい実施形態においては、ｘ_０行ｙ_０列を有する画像i(x,y)は、先ず、興味を引く主題および対応する画像エンハンスメントの制御信号を検出する本発明が必要とする時間を短縮するため、その低解像度バージョンが作成される。好ましくは、画像i(x,y)は高解像度で、例えばｘ_０＝１０２４行の画素とｙ_０＝１５３６列の画素である。低解像度画像は、ｍ_０行およびｎ_０列を有し、好ましくはｍ_０＝２５６およびｎ_０＝３８４画素である。大きな画像から小さな画像を生成するための多くの方法が、画像処理の分野において知られており、それらを利用することができる（テキストを参照：ゴンザレスら、デジタルイメージプロセッシング、アジソン−ウェスレイ、１９９２(Gonzalez et al., Digital Image Processing, Addison-Wesley, 1992)）。あるいは、このステップを省いてもよい。
【００１４】
図１を参照すると、本発明のブロック図が示されている。デジタル画像を獲得する１０。次に、主題検出器２２の集合体から主題が選択され２０、そしてデジタル画像に適用される２４。結果は主題ビリーフマップとなり３０、それは与えられた標的主題に特定の画素または画素領域が属しているかどうかに関する信頼性を示している。標的主題とは、特定の画像エンハンスメント操作に対して敏感に反応する(sensitive)主題である。標的主題群は、所定の(pre-determined)ものでもよい。ステップ２０において選択された主題検出器は主題ビリーフマップＭ（ｍ，ｎ）を出力し３０、該マップは主題検出器に入力された画像と行数および列数において同一の寸法を有することが望ましい。もし、入力デジタル画像がサイズを減縮され、オリジナル入力画像の大きさとビリーフマップの大きさが一致しないならば、それ相応にビリーフマップを補間することもできる。ビリーフマップは特定の画素が標的主題を表していることに関する信頼性を示している。信頼性は確率で表されることが望ましい。例えば、各画素値Ｍ（ｍ，ｎ）は１００×Ｐ（低解像度画像の画素（ｍ，ｎ）が標的主題を表していること）に等しく、ここでＰ（Ａ）とは事象Ａの起こる確率である。各画素値Ｍ（ｍ，ｎ）は、（予め決定されている閾値で信頼値を分けた後、）信頼性を示す二値分類(binary classification)で表してもよい。例えば、ビリーフマップにおいて、１なる画素値は、高確率で該画素が標的主題を表している信頼性を示しており、０なる画素値は、高確率で該画素が標的主題を表していないことに対する信頼性を示している。また、信頼性を距離で、例えば一般に長距離が低信頼値に、および短距離が高信頼値に対応している特性空間(feature space)における距離で示してもよい。
【００１５】
好ましい実施形態においては、標的主題の一つは人肌である。デュピンらによる米国特許出願公開第０９／９０４３６６号明細書は肌についての標的主題に関する信頼性を示すビリーフマップを作成する方法を開示している。
【００１６】
図９を参照すれば、主題検出器２２を実施するために本発明で使用することができる方法が示されている。先ず、入力デジタル画像獲得ステップ９５１により、入力されたデジタル画像を獲得する。この入力デジタル画像は、従来式のシーンバランスアルゴリズムを用いて画像の適切なカラーバランスの推定値を得るために、シーンバランス適用ステップ９５２を用いて処理される。次に、初期シーンバランスデジタル画像(initial scene balanced digital images)生成ステップ９５２を用いてあらゆる必要な補正を入力デジタル画像に対して適用する。それから肌色画素確率値取得ステップ９５４により、シーンバランスデジタル画像は処理される。規定閾値適用ステップ９５５が確率値に適用され、続いて肌色領域取得ステップ９５６に進む。
【００１７】
肌色画素領域取得ステップ９５４に利用できる一つの方法については以下に、より完全な記述を設ける。画素のＲＧＢ値は以下の式を用いて「Ｌｓｔ」系に変換される。
【数３】

【００１８】
入力カラーデジタル画像の各画素に関し、肌色画素である確率が計算される。規定の肌色確率関数に基づいて、Ｌｓｔ空間における座標から確率が得られる。これらの確率関数は、シーンバランス画像の膨大なコレクションにおける肌色領域および非肌色領域の色空間分布に関するデータのコレクションに基づいて構成されている。与えられたＬｓｔ座標における画素が肌色画素である条件付確率は、
【数４】

であり、ここでの条件付分布Ｐｒ（Ｓｋｉｎ｜Ｌ）、Ｐｒ（Ｓｋｉｎ｜ｓ）、およびＰｒ（Ｓｋｉｎ｜ｔ）のそれぞれは、肌色および非肌色画素に関する原始トレーニング分布(original training distribution)にベイズ理論を適用して構成する。相対的に、他の従来的肌色画素の検出方法では、Ｐ（ｃｏｌｏｒ｜Ｓｋｉｎ）の尤度確率を用いている（タカハシら(Takahashi et al.)による米国特許第４２０３６７１号およびザーンら(Zahn et al.)による米国特許第５７８１２７６号参照。）。従来的な尤度確率を用いる一つの欠点は非肌色画素の確率分布を明らかにしていない点である。結果、誤った検出の尤度が高い。
【００１９】
全ての画素に対する確率の収集で入力画像に対する肌色確率分布を形成している。肌色確率分布は、閾値で分類され(thresholded)、各画素が肌色または非肌色かを指定されている二値マップが作成される。代わりに、入力カラー画像における人面領域を検出するために顔検出アルゴリズム(face detection algorithm)を使用することも可能である。そして検出された顔領域から肌色領域が抽出される。顔検出方法に関しては、モハダムら(Moghaddam et al.)による米国特許第５７１０８３３号を参照されたい。
【００２０】
加えて、人肌を標的主題とするビリーフマップの作成方法について以下の論文が記されている。チョウら(Cho et al.)による、Adaptive Skin-Color Filter, Pattern Recognition, 34 (2001) 第１０６７−１０７３頁、およびフレックら(Fleck et al.)による、Finding Naked People, Proceedings of the European Conference on Computer Vision, Vol. 2, 1996、第５９２−６０２頁である。
【００２１】
また、標的主題は人面、空、芝生、雪、水、または自動的に画像から主題であることの信頼性を決定する方法が存在するあらゆる主題であってもよい。人面の検出については多くの論文がある。例えば、ヘイセルら(Heisele et al.)による、Face Detection in Still Gray Images, MIT Artificial Intelligence Lab, A. I. Memo 1687, C.B.C.L. Paper １８７号２０００年５月。ルオら(Luo et al.)による米国特許出願公開第０９／４５０１９０号は標的主題が青空である場合にビリーフマップの作成に関し記述している。
【００２２】
主題検出の従来技術の主な欠点は、主題に固有の特性を考慮していないので、主な主題を確実に識別できない点にある。例えば、セーバーら(Saber et al.)による、Automatic Image Annotation Using Adaptive Color Classification, Graphical Models and Image Processing、５８巻、５号では、空を検出するために色の類別のみを用いている。結果としてしばしば、衣類、人工物の表面、および水のような多くの種類の空色の主題が空と間違われる。さらには、これらの技術のいくつかは画像の指向性(image orientation)に関する演繹的知識(a priori knowledge)を頼みとしなければならないのである。主要な主題の存在を確実に検出するすることに失敗すれば、特に誤って積極的な(positive)検出をすれば、後のアプリケーション(downstream application)において失敗を導く（例えば、誤った空領域の検出により不正確な画像指向性の推定を導く。）。従い、より強固な主要主題検出方法を必要としている。
【００２３】
この必要性を満足させるために、値（赤、緑、青）を有する画素からなるデジタルカラー画像の主題領域検出方法を提供する。この方法は、色およびテクスチャの特徴から、各画素が主題に含まれているかについての信頼値を与えるステップ、信頼値を閾値で分類することで空間的に隣接候補主題を形成するステップ、領域が主題に含まれている確率を決定するために、空間的に隣接する領域を一つまたはそれよりも多くの固有の主題特性に基づいて分析するステップ、ならびに検出された主題領域および対応した、領域が主題に含まれる確率のマップを作成するステップで達成される。
【００２４】
図１０は、晴天または芝生のような主題を検出するための本発明による方法を示している。先ず、入力カラーデジタル画像を取得する１０１１。次に、色およびテクスチャによって画素を分類するステップにおいて、色とテクスチャの特徴に基づき、適度に学習された(suitably trained)多層ニューラルネットワークによって各画素に主題信頼値が割り当てられる。次に、数多くの候補主題領域を作成するため、領域抽出ステップ１０２３が用いられる。同時に入力画像は開空間検出ステップ１０２２により処理され、開空間マップが生成される１０２４（ワーニックら(Warnick)による米国特許第５９０１２４５号に記載の内容。本明細書に参照として収録。）。開空間マップにおける領域との顕著なオーバーラップ（例えば８０％以上）を有する候補領域のみが「滑らか(smooth)」であり、さらなる処理に向けて選択される１０２６。これら選択された候補領域は、その固有の特性について分析される１０２８。青空の場合、これの固有の特性とは彩度減少効果、つまりは水平線に向かって徐々に青味の程度が減少していくことである。この青空の固有の特性を用いて真の青空領域と他の青色主題とを区別する。特に、二次の多項式を用い、赤、緑、および青のチャンネルのそれぞれにおいて、得られた滑らかな空色の候補領域を近似する。多項式の係数は学習後のニューラルネットワークにより分類され、候補領域が青空固有の特性と一致しているのかが決定される。これらの固有の特性を示している候補領域のみが滑らかな青空領域と呼ばれる。芝生の場合、その固有の特性とは光および当方的テクスチャ、特定の位置（画像の底辺近傍であり、画像境界に接している。）である。このような固有の特性を示す候補領域のみが滑らかな芝生領域と呼ばれる。分析の結果、検出された主題領域に関連した信頼値、それと同様に、位置および量が示された、主題ビリーフマップが作成される１０３０。他の一般的主題（例えば雪や水）の検出は同様のアプローチで可能である。
【００２５】
図１に戻ると、複数主題検出器が選択され２０、並列的にまたは連続的に、一組のビリーフマップＭ_ｉ（ｘ，ｙ）を作成し、ここでｉは１からＮまでの範囲である。別の場合、主題検出器の一つがビリーフマップＭ_０（ｘ、ｙ）を作成するのに用いられ、このＭ_０（ｘ，ｙ）は、与えられている画素が、選択されているどの主題検出器もが、いかなる標的主題とも判断しないことに関する信頼性を示している。このようなビリーフマップが高い値（例えば１．０に近い確率）を有するのは、全てのビリーフマップＭ_ｉ（ｘ，ｙ）が低い値（例えば０．０に近い確率）である画素においてのみである。実質的にＭ_０（ｘ，ｙ）は、与えられた画素位置が全ての選択されている主題検出器に背景であるとみなす信頼性を示している。
【００２６】
図１にて、規定の画像エンハンスメント操作の集合体４４から画像エンハンスメント操作が選択される。選択されている画像エンハンスメント操作に基づき、適切な量の選択されているエンハンスメントが標的主題および背景主題になされるようにエンハンスメント制御信号５０が生成される。選択されている画像エンハンスメントが制御信号に従い、入力画像１０に適用され６０、エンハンス画像７０が作成される。
【００２７】
本発明によって様々な種類の標的主題を検出可能であり、また様々な画像操作が可能である。例えば本発明では、人肌が検出されている画像領域を控えめに尖鋭化して人肌が検出されていない画像領域を積極的に尖鋭化したり、晴天が検出されている画像領域を控えめに尖鋭化して晴天が検出されていない画像領域を積極的に尖鋭化することができる。複数の標的主題を選択的画像エンハンスメントの規準に用いることができる。例えば本発明では、人肌または晴天が検出されている画像領域を控えめに尖鋭化して人肌および晴天が検出されていない画像領域を積極的に尖鋭化することができる。
【００２８】
代わりに、または、それに加えて本発明では、芝生が検出されている画像領域に控えめにノイズ除去を行い、芝生が検出されていない画像領域には積極的なノイズ除去を行うことや、人肌が検出されている画像領域に積極的なノイズ除去を行い、人肌が検出されていない画像領域には控えめなノイズ除去を行うこと、また水(bodies of water)が検出されている画像領域に控えめなノイズ除去を行い、水が検出されていない画像領域には積極的なノイズ除去を行うことができる。
【００２９】
代わりに、または、さらに加えて本発明では、人肌が検出されている画像領域に積極的にデブロッキングを行い、人肌が検出されていない画像領域には控えめにデブロッキングを行うことや、晴天が検出されている画像領域に積極的なデブロッキングを行い、晴天が検出されていない画像領域には控えめにデブロッキングを行うことができる。
【００３０】
代わりに、または、さらに加えて本発明では、特定の標的主題の色を選択的に修正（色再配置(color re-mapping)）できる。例えば画像内の空の領域の色を所定の「好ましい(preferred)」または「記憶の(memory)」空の色に修正したり、画像内の草の領域の色を所定の「好ましい」または「記憶の」芝生の色に（例えばゴルフコースの色に）修正したり、また画像内の肌領域の色を所定の「好ましい」または「記憶の」肌の色（例えば日焼けした肌の色）へ向かう方向性で修正できる。色再配置には、色相、明度、および彩度の修正が挙げられる。主題の彩度を増加させることは、色再配置の一例である。
【００３１】
代わりに、または、さらに加えて本発明では、特定の標的主題の色および輝度に基準を置いてシーンバランス（輝度およびカラーバランス）を選択的に調整できる。例えば、複数の光源が存在するのならば雪の領域の色および輝度を用いて全体または部分のシーンバランスを決められ、また、複数の光源が存在するのならば肌（顔）の領域の色および輝度を用いても全体または部分のシーンバランスを決めることができる。
【００３２】
代わりに、または、さらに加えて本発明では、特定の標的主題の色調を選択的に調整できる。例えば、画像内の空領域の色の階調度(color gradient)を所定の「好ましい」または「記憶の」空の色調（色の階調度）に修正でき、また画像内の顔領域のコントラストおよび色調を所定の「好ましい」または「記憶の」顔の色調（例えば、スタジオ肖像写真）へ向かう方向性で修正できる。
【００３３】
代わりに、または、さらに加えて本発明では、標的主題に基づいて画像を補間(interpolate)できる。画像の補間とは、存在する画像の大きな、拡大バージョンを作成することである。標準では、双線形インターポレーションまたは三次スプラインを基にしたインターポレーションを用いる。異なる主題範囲に対して異なるインターポレーション技術を適用するのが望ましい。一般に、例えば青空といった画像の平面的な領域には、周知の双線形インターポレーションのような平面モデルを扱うインターポレーションアルゴリズムが首尾よく機能する。例えば、芝生、群葉(foliage)、および波立つ水(bodies of rippled water)といった別の標的主題には、平面モデルでは上手く働かず、キュビロら(Cubillo et al.)らによる米国特許第６１４１０１７号によって開示されているフラクタルを基にした、より複雑なモデルを必要とするかもしれない。
【００３４】
デジタル画像処理において、尖鋭化アルゴリズムで画像を尖鋭化し、細部を際立たせることはよく知られている。標準として、コンボリューション処理でこの尖鋭化を行う。その例としては、ジェーンの教科書(Jain's textbook)、Fundamentals of Digital Image Processing、１９８９年、プレンタイス−ホール(Prentice-Hall)、第２４９−２５０頁を参照されたい。ぼけマスク処理は、コンボリューションを基にした尖鋭化処理の例である。
【００３５】
例えば、ぼけマスクを用いる画像の尖鋭化は以下の式で表される。
【数５】

ここで、
【数６】

である。
【００３６】
標準として、ぼけた画像(unsharp image)は画像とローパスフィルタとのコンボリューションによって、（つまり、ぼけた画像はi(x,y)**b(m,n)によって、）生成される。次に、オリジナル画像からぼけた画像を引いて、ハイパス信号を生成する（つまり、ハイパス信号はi(x,y)-i(x,y)**b(m,n)で与えられる。）。そして、このハイパス信号がフリンジ関数f(x,y)およびぼけマスクスケール係数として機能する制御信号関数で修正される。注意すべきは、f()は好ましくは一致演算(identity operation)である（つまりは、何も行わない。）という点である。最後に、修正されたハイパス信号が、オリジナル画像またはぼけた画像に加算されて、尖鋭化画像を生成する。本発明の好ましい実施形態においては、ぼけマスクスケール係数β(x,y)のコレクションで制御信号を表している。いかなる特定の場所(x,y)においても制御信号β(x,y)の値は、対応する画像の位置における様々なビリーフマップの値Ｍ（ｘ、ｙ）と関係がある。（行および列に関し）ビリーフマップのサイズが画像サイズと同一であると仮定すれば、制御信号β(x,y)およびビリーフマップの値Ｍ（ｘ、ｙ）の関係性は以下の式で表され、
【数７】

ここで、ｉは主題検出器を指す。例えば、Ｍ_１（ｘ、ｙ）は人肌に関する信頼性を示すビリーフマップで、Ｍ_２（ｘ、ｙ）は青空に関する信頼性を示すビリーフマップ、Ｍ_３（ｘ，ｙ）は草に関する信頼性を示すビリーフマップ、等々、でよい。
【００３７】
Ｔｉは、対応する標的主題に関して高い信頼性を有する画素に対する制御信号を示す。上記の例を継続するなら、人肌には、Ｔ_１＝１．５、青空には、Ｔ_２＝１．５、緑の草にはＴ_３＝６．０、等々、でよい。
【００３８】
Ｔ_０は、全ての主題検出器に関し背景（「純」背景）と一般にみなされる画素に対する制御信号を示している。
【００３９】
本実施形態では、主題検出器は互いに排反するものとは想定されていない。換言すれば、幾つかの画素位置（ｘ、ｙ）においては、Σ_ｉ（Ｍ_ｉ（ｘ，ｙ））は１．０よりも大きくなるかもしれないということである。
【００４０】
別の実施形態においては、
【数８】

としている。
【００４１】
この例においては、主題検出器は互いに排反するものと想定されてる。換言すれば、Σ_ｉ（Ｍ_ｉ（ｘ，ｙ））はいかなる画素位置（ｘ,ｙ）においても１．０よりも大きいことはない。
【００４２】
ビリーフマップＭ_ｉ（ｘ，ｙ）の集積体に対する制御信号には多くの別の式が利用できることは、画像処理に関する技術分野の技能を有する者であれば理解するところである。例えば、さらに別の場合において、Ｍ_０（ｘ，ｙ）がいかなる選択されている主題検出器が標的主題であるとみなさない画素であることの信頼性を示すのであれば、以下の関係式が成立する。
【数９】

【００４３】
デジタル信号処理の技術分野において周知である、周波数領域（例えば、ＦＦＴ領域）における画像の修正によって同様の尖鋭化効果は可能であるが、一般に周波数領域において空間的に変化する尖鋭化を行うことはさらに困難である。換言すれば、周波数領域を用いる技術は一般的に本発明での利用には適さないのである。
【００４４】
先の例においては、特定の位置における制御信号の値は、対応する少なくとも一つのビリーフマップの値Ｍ_ｉ（ｘ，ｙ）の値にのみ従属することが示されている。その代わりに、図８に示されているように、制御信号は、ビリーフマップ解析器３２による解析から得られる別の特性に従属している。ビリーフマップ解析器３２はビリーフマップを入力とし、ビリーフマップに関連した様々な信号を出力可能である。ビリーフマップ解析器から出力される信号はビリーフマップの平均値、最小値、最大値、または分散値といったスカラー量であってよい。代わりに、または、加えて、ビリーフマップ解析器の出力信号は、別のマップも可能であり、そのマップは一または複数のビリーフマップと同一の寸法を有することが好ましい。例えば、ビリーフマップ解析器３２はロケーションマップＬ_ｉ（ｘ，ｙ）を生成してもよく、そのロケーションマップは、各画素の画像の中心からの距離、またはその他の適当な距離を示している。加えて、上記マップ解析器３２がサイズマップＳ_ｉ（ｘ，ｙ）を生成してもよく、該サイズマップの各画素の値はその画素に対応する領域のサイズを示すものである。画像処理の技術分野において周知の連結構成要素アルゴリズム(connected component algorithm)を用いて、非ゼロの信頼性を有する信頼性領域のサイズをビリーフマップから抽出できる。そのサイズは各信頼性領域に属する画素数（または総画素に占めるパーセンテージ）を計数して求めてよい。ビリーフマップ解析器からの出力信号は、ビリーフマップに加えてエンハンスメント制御信号生成器３４に入力される。そしてエンハンスメント制御信号生成器３４はエンハンスメント制御信号を生成し、それは、対応するビリーフマップ値Ｍ_ｉ（ｘ，ｙ）、ロケーションマップＬ_ｉ（ｘ，ｙ）、およびサイズマップＳ_ｉ（ｘ，ｙ）に従属する、各位置に関する制御値である。
【００４５】
ビリーフマップ解析器３２により、標的主題に対する選択した画像エンハンスメント操作の調整に柔軟性を与えている。例として、再度画像の尖鋭化について考察する。一般に、人肌を表している画素には僅かな尖鋭化が理想的である。しかしながら、小さな人肌領域（例えば画像に含まれる小さな顔）は大きな人肌領域よりも、視覚的に望ましくない染みや皺の顕在化なしで高レベルの尖鋭化に耐え得るという認識で、さらなる尖鋭化を行ってもよい。サイズマップＳ_ｉ（ｘ，ｙ）は、エンハンスメント制御信号生成器３４を、信頼値およびそれのサイズマップにおける値に基づいた制御信号に適応可能にしている。従って小さな顔は大きな顔よりも控えめに尖鋭化され、両顔は顔ではない領域よりも控えめに尖鋭化される。
【００４６】
例えば、以下の関係式は、エンハンスメント制御信号生成器３４によって制御信号を生成するために実施されるものであり、
【数１０】

ここで、k()は尖鋭化のパラメータへ及ぶ領域サイズの影響を制御する関数である。k()の値は、Ｓ_ｉ（ｘ，ｙ）の小さな値に対する０から、Ｓ_ｉ（ｘ，ｙ）の大きな値に対する１．０まで単調に変化する。
【００４７】
図２を参照すると、典型的なスナップショット画像が示されており、そこには、（顔領域が肌領域１００としてマークされている）人、群葉１０１、曇天１０２、晴天１０３および芝生１０４がある。そのような画像には、雪の積もった地面（図示せず）および水（図示せず）があってもよい。図３ないし図８には、標的主題がそれぞれ人肌、空、芝生、雪の積もった地面、水とする場合の、それに対応するビリーフマップが示されている。ゼロ値のビリーフマップは、信頼値がゼロである画素のみからなり、それは対応する主題が画像に存在しないこと（例えば図７において水の領域は検出されていないこと）を示している。与えられている一つのビリーフマップは一種類の主題にのみ関連していることに注意すべきである。換言すれば、空領域が、人肌ビリーフマップにおいては背景領域とされており、その逆の場合も同様である。画像の「純」背景領域１１０はいかなる標的主題に対しても信頼性ゼロの画素から構成されている。画素または領域が一よりも多いビリーフマップにおいて非ゼロの信頼値を持つことは可能であり、それはその画素が一よりも多い種類の主題に属しているかもしれないことを示している（例えば、図２における領域１０１は草に属している確率が０．３であり緑色の群葉に属している確立が０．７である。）。図３は、標的主題を人肌とした場合における、主題検出器が生成するビリーフマップの例であり、画像内の異なる主題に信頼値が付されている。例えば、顔領域は、０から１００のスケールで人肌に対する信頼値９５が付され、木の幹には信頼値３０が、背景領域には信頼値０が付されている。図４には、標的主題を空とした場合の主題検出器が生成するビリーフマップの例が示されており、そこでは信頼値１００が付されている。図５には、標的主題を草とした場合の主題検出器が生成するビリーフマップの例が示されており、草には信頼値１００が付され、木の葉には信頼値３０が付されている。図６には、標的主題を雲および雪とした場合の主題検出器が生成するビリーフマップの例が示されており、雲には信頼値８０が付されている。図７には、標的主題を水とした場合の主題検出器が生成するビリーフマップの例が示されており、この光景には露に水は存在しない。
【００４８】
図１に戻り、上記の代わりにまたは上記に加え、画像エンハンスメント操作には、ノイズリダクション、デブロッキング、シーンバランスの調整、色調の調整、色の再配置、画像の補間、または少なくとも一つの画像の属性を強化することができるあらゆる他の操作を含めてもよい。
【００４９】
ＪＰＥＧデブロッキングとは、ＪＰＥＧ画像圧縮の結果生じる視覚的に好ましからざるブロック状の人工的な境界を称している（ルオらによる、アーティファクトリダクションインロウビットレートＤＣＴベースドイメージコンプレッション(Luo et al. Artifact Reduction in Low Bit Rate DCT-Based Image Compression)ＩＥＥＥトランザクションズオンイメージプロセッシング(Transactions on Image Processing)、５巻、９号、１９９６年９月、第１３６３−１３６８ページを参照。）。一般に、人面および晴天における滑らかな変化においては、積極的にブロッキングアーティファクトを除去することが望まれ、これらの場所はブロッキングアーティファクトが最も目に映りやすく、不快だからである。しかし、通常デブロッキングアルゴリズムは、ブロッキングアーティファクトが目立たない芝生、雪の積もった地面、および水のような領域の画像の細部を除去する傾向を有する。従って、異なる主題領域には異なる量のデブロッキングを適用することに利がある。なおその上に、高度なテクスチャ内容を有する主題領域には一切のデブロッキングの適用がないことが望まれる。なぜならば、そのような領域は自然とブロッキングアーティファクトを隠し、また細部の損失に対し許容性がないからである。
【００５０】
一般に、ＪＰＥＧ圧縮処理における量子化による失われた情報を回復することは不可能だが、いくつかのコーディングによるアーティファクトは、適当な先行する画像モデルを用い、画像平滑化の制約条件の合同で緩和させることができる。
【００５１】
画像平滑化の制約条件を実施するため、幾つかの凸ポテンシャル関数が存在する。しばしば凸関数が好まれるが、それは凸制約条件問題の収束性は、解が存在すれば保証されており、高速な集束によって効果的な最適化が可能だからである。さらに重要なことに、隣接画素の差分を変数とし、滑らかに推移する、つまり十分な連続性を有する凸ポテンシャル関数によって画像に望ましい連続性がもたらされる。
【００５２】
フーバー−マルコフのランダム場（ＨＭＲＦ）と呼ばれる、特定のギブスのランダム場が好ましい。そのポテンシャル関数Ｖ_ｃ，Ｔ（ｘ）は次の形式であり、
【数１１】

ここで、Ｔは閾値である。現下の画素Ｘ_ｍ，ｎとそれに隣接する画素Ｎ_ｍ，ｎとの階調の差分を次のように定義すれば、
【数１２】

これらの差分はフーバーのミニマックス関数の変数に代入することができる。フーバーのミニマックス関数の良い性質とは、稜線およびテクスチャ領域といった画像の細部を残しながら、ある種のアーティファクトを平滑化できる点である。局所的な変動が閾値Ｔよりも小さければ、関数の二次セグメントをアーティファクトの最小２乗平均による平滑化に用いる。他方、関数の線形セグメントが、画像内の大きな不連続性にはずっと軽いペナルティーにし、画像細部の保護を可能にしている。
【００５３】
性質を異にする不連続性を識別する上で、ＨＭＲＦモデルのスイッチング機能が非常に重要である。しかし、我々が画像の細部とアーティファクトを識別する必要がある場合には、このスイッチング特性ではまだ不十分である。意味論を持ちこまずに、単一の閾値Ｔでは、あらゆる不連続性を説明できず、真の画像稜線とアーティファクトとを識別するのに十分ではない。検出された主題に関する知識で、異なる主題それぞれに適切な閾値Ｔを選び出すことができる。例えば、肌および青空に関する領域の画素に対してアーティファクトを平滑化するために、ＨＭＲＦモデルの閾値Ｔ（Ｔ１＝１０）は大きな値が選ばれ、芝生および波立った水に関する領域には中間的な閾値Ｔ（Ｔ２＝５）が選ばれ、また群葉のように高度なテクスチャを有する領域には閾値Ｔをゼロ（Ｔ＝０）とする。
【００５４】
デノイジングとは、画像のノイズ低減を意味する。リー(Lee)によるDigital Image Smoothing and the Sigma Filter, Computer Vision, Graphics, Image Processing、２４巻、第１８９−１９８ページ、１９８３年４月に記載の非線形フィルタを参照されたい。現下の画素値との差がσ内である隣接する画素値の局所的平均を用いて現下の画素値の値を置き換えている。明らかなことだが、これにより、大きな値を有する稜線部は保護される一方、小さな値であるノイズ成分は除去される。
【００５５】
本発明の主題は、デジタル画像理解技術に関し、この技術はデジタル的にデジタル画像を認識し、それによって人間が理解できる対象、属性、または状態に有用な意味を与え、後続のデジタル画像処理によって得られる結果を利用する技術を意味すると解される。
【００５６】
本発明は、例えばコンピュータプログラム製品において実施されてもよい。コンピュータプログラム製品は少なくとも一つの記憶媒体に収録されてもよく、それら記憶媒体とは例えば、（フロッピィーディスクのような）磁気ディスクもしくは磁気テープといった磁気記憶媒体、光学ディスク、光学テープ、もしくは器械読み取り可能なバーコードといった光学記憶媒体、ランダムアクセスメモリ（ＲＡＭ）もしくはリードオンリメモリ（ＲＯＭ）といった固体電子記憶装置、または他のあらゆる物理装置もしくは少なくとも一つのコンピュータを制御して本発明による方法を実施するための命令を有するコンピュータプログラムを記憶するのに用いられる媒体、である。
【００５７】
【発明の効果】
本発明は画像内において検出された主題物に従って画像に施す画像エンハンスメント操作の量を場所ごとに変化させることができる。あらゆる画像または画像全体に控えめなレベルで画像エンハンスメントを施すようにシステムを調整するのではなくむしろ、本発明は各領域における主題内容に基づく画像エンハンスメント量の決定を各領域について自動的に行っている。
【図面の簡単な説明】
【図１】本発明を示す流れ図である。
【図２】無加工画像の例である。
【図３】標的主題を人肌とした場合の主題検出器４によって生成されたビリーフマップの例であり、画像内の異なる主題にも信頼値が付されている。
【図４】標的主題を空とした場合の主題検出器４によって生成されたビリーフマップの例であり、画像内の異なる主題にも信頼値が付されている。
【図５】標的主題を草とした場合の主題検出器４によって生成されたビリーフマップの例であり、画像内の異なる主題にも信頼値が付されている。
【図６】標的主題を雲および雪とした場合の主題検出器４によって生成されたビリーフマップの例であり、画像内の異なる主題にも信頼値が付されている。
【図７】標的主題を水とした場合の主題検出器４によって生成されたビリーフマップの例であり、画像内の異なる主題にも信頼値が付されている。
【図８】本発明によるエンハンスメント制御信号の生成を示すブロック図である。
【図９】肌の色調の領域を検出するための方法を示すブロック図である。
【図１０】空または草のような主題領域を検出するための方法を示すブロック図である。
【符号の説明】
１０・・・デジタルカラー画像
２２・・・主題検出器
３０・・・主題ビリーフマップ
３２・・・ビリーフマップ解析器
３４・・・エンハンスメント制御信号生成器
７０・・・エンハンス画像
１００・・・顔／肌領域
１０１・・・葉領域
１０２・・・曇天領域
１０３・・・晴天領域
１０４・・・芝領域
１１０・・・背景（非標的）領域

Claims

標的素材の領域および背景素材の領域を識別する素材検出器を供するステップであって、
前記標的素材の領域は、デジタル画像に含まれる所定の対象物を含む領域であり、
前記背景素材の領域は、前記標的素材の領域以外の、前記デジタル画像に含まれる領域である、
ステップ、
前記素材検出器を前記デジタル画像に適用することにより、
前記デジタル画像に含まれる画素のそれぞれについて、
色と、物体の視覚的表面特性であって物体の見映えを表すテクスチャと、に基づいて、
当該画素が前記標的素材の領域に含まれることの信頼度を確率で表した信頼値を割り当てたビリーフマップを生成するステップ、
前記信頼値に基づいて規定される複数の信頼性領域について、前記ビリーフマップにおける前記信頼性領域それぞれのサイズを求めるステップ、
ビリーフマップ解析器が、前記ビリーフマップを解析することにより、画像エンハンスメントの程度を制御する制御信号を生成するステップ、
前記制御信号に基づく画像エンハンスメント操作を供するステップ、および、
前記信頼度および前記信頼性領域それぞれのサイズに応じて変化する前記制御信号に基づいて、前記デジタル画像に画像エンハンスメント操作を適用し、エンハンス画像を生成するステップ、を有するデジタルカラー画像処理方法。
複数の素材検出器が供され、
さらに、前記複数の素材検出器から１つ以上の素材検出器を選択するステップを有する、請求項１に記載の方法。
複数の素材検出器が供され、
さらに、前記複数の素材検出器から複数の素材検出器を選択するステップを有する、請求項１に記載の方法。
前記標的素材は、晴天、芝生、雪の積もった地面、および、水、の少なくともいずれか１つを含む、請求項２に記載の方法。
複数の画像エンハンスメント操作が供され、
さらに、前記複数の画像エンハンスメント操作から１つ以上の画像エンハンスメント操作を選択するステップを有する、請求項１に記載の方法。
前記画像エンハンスメント操作は、鮮鋭化、ノイズ・リダクション、色調の調整、シーンバランスの調整、色の再配置、の少なくともいずれか１つを含む、請求項１に記載の方法。
前記ビリーフマップを解析し制御信号を生成するステップにおいて生成される制御信号は、スカラー量であり、
前記スカラー量は、前記ビリーフマップの平均値、最小値、最大値、および、分散値、ならびに、他のマップ、の少なくともいずれか１つを含み、
前記他のマップは、ロケーションマップおよびサイズマップの少なくともいずれか１つを含む、請求項１に記載の方法。