JP5007363B2 - 自動画像強調 - Google Patents

Description

本発明は、包括的には、画像解析及び画像処理の分野に関し、詳細には、自動画像強調の改良されたシステム及び方法に関する。

古い諺には、百聞は一見にしかず（a picture is worth a thousand words）ということが述べられている。
コンピュータ、カラープリンタ、及びデジタルカメラがますます普及すると共に、映像は、個人の通信及びプロの通信においてますます一般的な要素となっている。

フィルム及び写真の処理は、依然として、映像を提供する一般的な方法であるが、写真の編集及び引き伸ばしは、より一般的にはデジタルプロセスであり、このデジタルプロセスでは、オリジナル写真は、デジタル画像を提供するためにスキャンされるか、又は、デジタルカメラによってソースデジタル画像として生成されるかのいずれかである。
たとえば、インターネットスクリーンディスプレイ、メール広告、又は自然雑誌といった画像の異なる使用によって、結果の画像には、異なる期待が課せられる可能性があり、また課せられている。
加えて、デジタルカメラ及びデジタルスキャナは、たとえば、いくつか例を挙げると*.raw、*.tif、又は*.jpgといったさまざまな異なるフォーマットで画像を取り込むように設定されうる。これによって、画像データをどのように表すのかについて、異なるデータ構造が課せられる場合があり、その結果、写真を後にどのように編集することができるのかに対して異なる制限が課せられる場合がある。

また、デジタル画像は、ネットワークを通じてユーザによって頻繁に共有され、帯域幅、ストレージ、及び配信時刻の問題を調停するために、頻繁に、画像は、圧縮されるか、サイズ変更されるか、又は或るフォーマットから別のフォーマットへ変更される。
加えて、画像ユーザは、手動によって又は自動的に画像を処理して、画像を強調するか又は別の方法で変更することができる。
これらのすべてのアクティビティは、デジタル画像のその後の観察者及びユーザには未知の事象であり得る。
さらに、異なるカメラ又は他の取得デバイスは、異なる未知の画質を有する。

デジタル画像は、デジタルカメラから直接レンダリングされようと、コンピュータグラフィックスエンジンによって提供されようと、且つ／又は既存の画像をスキャンすることによって提供されようと、一般に、デジタル値の有限集合（set）としての２次元画像の表現である。
これらのデジタル値は、より一般的には、画素として知られており、さらに単純には、ピクセルとして知られている。

デジタル写真処理は、通常、画像解析及び画像処理の少なくとも２つのコアとなる行為を伴う。
画像解析は、画像をレビューして、定性的な画像属性又は定量的な画像属性を求めるプロセスである。
たとえば、画像解析は、画像の焦点が合っているのか又は合っていないのか、暗すぎるのか又は明るすぎるのか、自然画像であるのか又はグラフィック画像であるのか、及び画像をソフト化すべきか又はシャープ化すべきかを判断するのに使用することができる。

画像解析の結果として生じる画像の少なくともいくつかのアセスメントを用いて、その後、画像処理を行うことができる。
画像処理は、画像形成アプリケーション又は画像形成システムが入力画像データを変えるプロセスである。
画像処理は、特定の印刷デバイス用にデジタル画像の色空間を変更するように行うことができる。また、画像処理は、シャープネスのレベルを調整するように行うこともできる。

デジタル画像は、実際には、デジタル情報のデータストリームであるので、このデータストリームにおけるランダムな信号変動は、「雑音」として知られている。
たとえば、スキャンされた画像を取り扱うとき、雑音は、一般に、スキャンされたフィルム又は画像の粒度（granularity）に関連しているが、雑音の発生源は、多くの異なるソースである場合があり、通例、ほとんど重要ではない。
過度のレベルの雑音が、目的とする全体の画像を損なうとき、その雑音は、顧客には不愉快である。
あいにく、デジタル画像に対してシャープ化を行うとき、不注意に雑音要素も同様に増加及びシャープ化される場合がある。

写真処理は、依然として手動によって行われる技術であるが、多くの場合、ボリューム処理、さらには所望の最低限の処理量が必要であることによって、手動による調整は実際的ではない。
他の状況では、オペレータが、写真処理の技術に未熟な場合があり、それでも、画像を改善する必要がある。

シャープ化プロセス及び雑音除去プロセスを特定してそれらのプロセスを課すさまざまな試みが行われてきたが、単純な盲目的適用は、適切なものとは程遠い。
多くの場合、特に、線形フィルタリングプロセスを使用しようと試みるとき、シャープ化及び雑音除去は、互いの操作を取り消す。
非特徴（たとえば、背景、雑音）及び特徴（エッジ）に対応するピクセルの近傍のハード分類（hard classification）に基づく他の解決法が存在する。
雑音除去フィルタは、この場合、非特徴の近傍に適用され、別個のシャープ化フィルタは、特徴の近傍に適用される。
このようなシステムは効果的なものとなる可能性があるが、計算が複雑であり、したがって、広範囲にわたるコンピュータ資源を必要とする。
また、特に雑音の結果として、ピクセル近傍の分類ミスの合理的な可能性もある。

したがって、上記で特定した欠点の１つ又は複数を克服する自動画像強調方法及び自動画像強調システムが必要とされている。

本開示は、自動画像強調の方法及びシステムを提供することによって、当該技術を進歩させるものである。

詳細に、及び例としてのみ、本発明の一実施の形態によれば、自動化画像強調の方法であって、デジタル画像を受け取ること、複数の属性測定値をデジタル画像から抽出すること、抽出された属性測定値に基づいて、少なくとも雑音しきい値パラメータ、シャープネスパラメータ、及びラディカリティ（radicality）パラメータを生成すること、少なくとも１つの属性測定値に基づいて雑音しきい値パラメータを評価することであって、実行される雑音低減度を規定する、雑音しきい値パラメータを評価すること、少なくとも１つの属性測定値に基づいてシャープネスパラメータを評価することであって、実行されるシャープ化度を規定し、雑音低減度及びシャープ化度は、総合してデジタル画像の求められた強調を構成する、シャープネスパラメータを評価すること、少なくとも１つの属性測定値に基づいてラディカリティパラメータを評価することであって、実行される求められた強調のラディカリティを規定する、ラディカリティパラメータを評価すること、並びに求められた強調のラディカリティについて、求められた雑音低減度のパーセンテージ、及び、求められたシャープ化度のパーセンテージを受け取ったデジタル画像に対して実行することを含む。

一実施形態による自動画像強調システムの高レベルブロック図である。 一実施形態による自動画像強調システム及び自動画像強調方法のオペレーションを示すブロック図である。 一実施形態による図２に示すブロックオペレーションの一部のさらなる説明図である。 一実施形態による属性抽出で使用される高域通過フィルタ及び低域通過フィルタの周波数応答の大きさのグラフである。 一実施形態による、初期入力画像と公称値で強調された画像との間の加重平均を提供する公式で使用される非線形関数のグラフである。 少なくとも１つの実施形態による自動画像強調の方法のフロー図である。 １つ又は複数の実施形態によるコンピュータシステムのブロック図である。

詳細な説明を進める前に、本教示は限定ではなく例としてのものであることが認識されるべきである。
したがって、本明細書で説明する手段は、例示の実施形態について図示及び説明する解説の便宜のためのものであるが、本明細書の原理は、他のタイプの自動画像強調にも等しく適用することができることが認識されよう。

次に図を参照する。図１は、少なくとも１つの実施形態による自動画像強調システム「ＡＩＥＳ」１００の高レベルブロック図である。
さらに、ＡＩＥＳ１００は、少なくとも１つの実施形態による自動化画像強調の方法を実行するように動作可能である。

以下でさらに説明するように、ＡＩＥＳ１００は、デジタル画像を自動的に強調するように動作可能である。
この方法の設計は、以下の基本的テナント（basic tenant）に従って形成されている。すなわち、
Ａ−ぼやけた画像は、高い確率でシャープ化されるべきであるが、一方、すでにくっきりしている画像はシャープ化してはならず、（たとえ入力画像が非常にぼやけていても）過剰なシャープ化は、通例、過度なものとなる。
Ｂ−シャープ化によって、雑音が強調される。雑音を有する画像については、雑音除去を増加させるようにする。
Ｃ−強力な雑音除去を伴う強力なシャープ化は、自然に見える画像を生成しない。
Ｄ−グラフィックスをシャープ化してはならない。
Ｅ−画像がシャープ化されたとき、ＪＰＧアーティファクトが問題となる可能性があるので、ＪＰＧアーティファクトを意識するようにする。
Ｆ−画像が拡大されたとき、雑音要素はより目立つものとなる。

図示するように、ＡＩＥＳ１００は、デジタル画像属性抽出器１０２、強調オプションジェネレータ１０４、及び画像プロセッサ１０６を含む。
少なくとも１つの実施形態では、これらの要素は、たとえば、デジタル画像属性抽出器モジュール１０２、強調オプションジェネレータモジュール１０４、及び画像プロセッサモジュール１０６としても知られている強調アルゴリズムモジュールといったシステムのモジュールとみなすことができる。
さまざまな実施形態では、これらのコンポーネントのそれぞれは、再分割及び／又は結合することができ、システムは、カメラ等の入力デバイス１０８及びプリンタ等の出力デバイス１１２をさらに含むことができる。代替的に、入力画像は、手動によるか又は自動的のいずれかで、アナログシステムによるか又はコンピュータ１１０を使用するかのいずれかで、処理しておくこともできる。

少なくとも１つの実施形態では、ＡＩＥＳ１００は、ソフトウェア又はハードウェアとしてコンピュータシステム内に埋め込まれることがさらに理解及び認識される。
たとえば、モジュールとしての要素の識別について、モジュールは、ソフトウェアコードの一部、１つのハードウェアデバイス、又はハードウェアデバイスの一部とすることができる。
作動中、速度及び効率を高めるために、ＡＩＥＳ１００をアクティブなメモリに保持することができる。
加えて、ＡＩＥＳ１００は、コンピュータネットワーク内で動作され、分散資源を利用し得る。

デジタル画像属性抽出器１０２は、デジタル画像を受け取り、デジタル画像から属性測定値を抽出するように動作可能である。
抽出された画像測定値は、少なくとも雑音推定値及びシャープネス推定値を含む。
強調オプションジェネレータ１０４は、抽出された属性測定値を受け取るように動作可能であり、これらの測定値に基づいて、少なくとも雑音しきい値パラメータ、シャープネスパラメータ、及びラディカリティパラメータを生成する。
画像プロセッサ１０６は、本質的には、雑音しきい値パラメータ及びシャープネスパラメータに従ってシャープ化フィルタ及び雑音除去フィルタを適用することによって、提供された画像を強調するように動作する強調アルゴリズムである。
行われるシャープ化度及び雑音除去度は、ラディカリティパラメータによって決まる。

より具体的には、雑音しきい値Ｔｈは、画像において平滑化される局所偏差レベル（local deviation level）を決定し、強い雑音の場合に高い値となる。
シャープネスパラメータλは、有意なエッジに導入されるシャープネスの程度を決定する。
ラディカリティパラメータＲは、自動化画像強調システム及び自動化画像強調方法の真に一意且つ有利な要素である。
Ｒは、強調がどれくらいラディカル（radical）であるべきかを決定する。
少なくとも１つの実施形態では、Ｒ＝１の場合、シャープネスパラメータ及び雑音パラメータは、それらの公称値で適用される。
Ｒ＝０の場合、シャープネスパラメータ及び雑音パラメータは無視され、出力画像は入力画像に等しい。
０＜Ｒ＜１の場合、出力画像は、入力画像と公称値で強調された画像との間の加重平均となる。

図２は、少なくとも１つの実施形態による自動化画像強調を行う際のＡＩＥＳ１００のオペレーションのブロックフロー図を提供する。
図示するように、ＡＩＥＳ１００は、入力として初期デジタル画像２００を受け取る。
一実施形態では、入力初期画像は、ジョイントフォトグラフィックエキスパートグループ（ＪＰＥＧ）画像である。
タグ付き画像ファイルフォーマット（ＴＩＦＦ）、グラフィックス交換フォーマット（ＧＩＦ）、ビットマップ、及び／又は他の形態の画像データ等の任意の形態の画像データを使用することができることが認識されるべきである。

提供された初期画像２００は、属性抽出モジュール２０２によって受け取られる。属性抽出モジュール２０２は、その名称が示唆するように、複数の属性を抽出するように動作する。
少なくとも１つの実施形態では、抽出された属性測定値は、グラフィックス推定値、シャープネス推定値、雑音推定値、及びＪＰＧアーティファクト推定値を含む。

少なくとも１つの実施形態では、雑音推定値の属性測定値は、「System and Method for Estimating Image Noise」という発明の名称の米国特許出願第１０／８３５，９６９号に記載されているとおりのものである。この米国特許出願は、参照により本明細書に援用される。
少なくとも１つの代替的な実施形態では、雑音推定値の属性測定値は、参照により本明細書に援用される「Signal Noise Estimation」という発明の名称の米国特許出願第１１／３８８，１５２号に記載されているとおりのものである。
少なくとも１つの実施形態では、画像シャープネスの属性測定値は、参照により本明細書に援用される「System and Method for Estimating Image Sharpness」という発明の名称の米国特許出願第１０／８３５，９１０号に記載されているとおりのものである。
さらに、少なくとも１つの実施形態では、ＪＰＧ雑音の属性測定値は、参照により本明細書に援用される「System and Method for Estimating Compression Noise in Images」という発明の名称の米国特許出願第１０／８３５，８８８号に記載されているとおりのものである。
異なる実施形態では、上記で引用したものに加えて又はそれに代えて、属性測定値の他のシステム及び方法を用いることができることが理解及び認識される。
これらの追加及び／又は代用は、オペレータに指示され（operator directed）、本明細書で開示する自動画像強調システム（複数可）及び自動画像強調方法（複数可）の意図した範囲から逸脱するものではない。

上記参考文献は、完全な詳細を提供するが、図３は、属性抽出モジュールの一部のオペレーションの簡潔な概観を提供する。
効率性を考慮することが、ＡＩＥＳ１００にとって重要であると解される。
したがって、入力画像は、いくつかの特徴抽出目的で１回アクセスされる。
少なくとも１つの実施形態では、局所周波数解析を適用して、広範囲の計算を必要とする情報のほとんどを導出する。
一代替的な実施形態では、狭帯域フィルタを局所的に使用して周波数コンテンツを抽出することができる。
その上、少なくとも１つの実施形態では、行及び列のピクセル値がデータストリームとしてフィルタリングされる。

一実施形態では、行及び列がサンプリングされて（ブロック３００）、サンプリングされたピクセルについて、シーケンシャル差分３０４が求められる。
代替的な実施形態では、ルミナンス値に代えて又はルミナンス値に加えて、色値、ルミナンス値、又は他の画像値をサンプリングすることができることが理解及び認識される。
一実施形態では、Ｍ番目の行ごと且つＮ番目の列ごとのピクセルからの画像データがサンプリングされる。ここで、Ｍ及びＮは、正の整数である。
一実施形態では、Ｍ及びＮは等しい。
別の実施形態では、Ｎ及びＮは、１に等しい（たとえば、画像はまったくサンプリングされない）。
サンプリングされた画像データのシーケンスは、フィルタリングモジュール３０４によって１Ｄ入力ストリーム３０２として処理されて、シーケンシャル差分が提供される。

より具体的には、シーケンシャル差分処理では、１Ｄ入力ストリーム３０２のあらゆる数字が、その前の数字との差分に置き換えられ、ＳＤストリーム３０６が提供される。
結果のシーケンス（たとえば、ＳＤストリーム３０６）におけるゼロの量は、画像がグラフィックス画像であるか否かの強力なインジケータである。
加えて、シーケンシャル差分は、通常の周波数プロファイルを一様にし、異なる周波数帯域のより安定した比較を提供する。

図３によって示されるように、一実施形態では、低域通過フィルタ３０８及び高域通過フィルタ３１０が、ＳＤストリーム３０６をフィルタリングするのに利用される。
一実施形態では、高域通過フィルタ３０８及び低域通過フィルタ３１０は、６タップ有限インパルス応答（ＩＩＲ）フィルタであるが、他の適切なフィルタを用いることができることが理解及び認識される。
各ピクセルについて、少なくとも１つの実施形態における各フィルタの数式関数（equation function）は、式１：

として表される。

低域通過ＩＩＲフィルタ及び高域通過ＩＩＲフィルタをＳＤストリーム３０６に適用した結果、２つの局所周波数コンテンツディスクリプタＬＰ（ｐ）及びＨＰ（ｐ）が得られる。これらは、その後、他の属性推定値に使用される。
図４は、２つのフィルタが後続する導出結果の周波数応答の大きさを示している。
図４について、差分の低域通過フィルタとしてのＬＰ（ｐ）が実際には帯域通過フィルタであることが認識される。

グラフィックス推定値
一般的なルールとして、グラフィックス画像を強調することは望ましくない。ただし、グラデーション及びテクスチャを有するグラフィック画像の強調は、許容することができる場合がある。
一定色を有するグラフィック画像は、通常、劣化する。
シーケンシャル差分処理で上述したように、ＳＤストリーム３０６におけるゼロの量は、画像がグラフィック画像としてみなされるべきか否かの強力なインジケータである。
少なくとも１つの実施形態では、差分の６５パーセント（６５％）よりも多くがゼロである場合、画像は、グラフィック画像であると仮定され、強調されないことになる。

その上、属性測定値が、グラフィックス推定値を含む場合、高いグラフィックス推定値に応じて、ラディカリティパラメータがゼロに向けて調整される。
上記例のように、推定値が、たとえば６５％といったユーザ定義又はシステム定義のしきい値を超えているとき、ラディカリティパラメータはゼロに設定される。

雑音推定値
多くの自動化システムによると、雑音領域とテクスチャ領域とを区別することは、あまり適格なものではない。
少なくとも１つの実施形態では、ＡＩＥＳ１００、より具体的には、用いられた方法の一実施形態は、テクスチャのない可能性がある画像の領域を識別し、残余のテクスチャの干渉を最小にする手段を使用するように確立される。
その上、平滑なシーン領域Ｓは、一貫して低いＬＰ（ｐ）アクティビティを有する領域として定義され、具体的には、平滑な領域及びそのＶ近傍（V-vicinity）のＬＰ（ｐ）の値は、しきい値Ｔ_ｓｍよりも低い。
加えて、最も明るい部分及び影は、色調の飽和（tone saturation）が起こり得るために排除される。これによって、テクスチャがＳに導入される場合がある。これは、式２：

を通じて理解される。

次に、式３：

に示すように、雑音属性が、Ｓ上の平均絶対高域通過コンテンツとして推定される。

Ｓに紛れ込む残余のテクスチャは、ＨＰ（ｘ）の高い値によって特徴付けられるので、雑音推定値は、従来の手法であるありふれた平均二乗測度（mean square measure）よりも有利に弾力的である。

シャープネス推定値
シャープネスの知覚が、多くの場合、画像に存在する実際のシャープネスによる影響と同程度に、シーンの性質による影響を受けるので、シャープネス推定は、困難なものとなる可能性がある。
たとえば、明るく且つテクスチャを有する屋外のシーンに向かい合っている薄暗い写真又はポートレートにおけるシャープネスの相対比較は、困難な作業になる可能性がある。
しかしながら、画像のエッジ及びエッジプロファイルは、容易に識別することができ、シャープネス基準点としてかなりうまく機能する。

少なくとも１つの実施形態では、シャープネス推定は、上記式１から計算されるようなＬＰ（ｐ）値及びＨＰ（ｐ）値で行われる。
具体的には、シャープネス推定は、式４：

で実現される。

ここで、特徴領域は、式５：

で実現される局所低域通過特徴におけるしきい値Ｔ_ｓｈによって特徴付けられる。

ＪＰＧアーティファクト推定値
ＪＰＧフォーマットは、非常に一般的な非可逆圧縮方法である。
圧縮比は、通例、視認することができるアーティファクトができるだけ少なくなることをもたらすように調節される。
しかしながら、強調されると、視認しきい値未満であったＪＰＧアーティファクトが、非常に目立ち且つ不快になるように急に現れる傾向があり、この結果、一般に、不満足な画像となる。

少なくとも１つの実施形態では、ＪＰＧアーティファクト推定値Ｊは、まず圧縮比Ｃを計算することによって得られる。ここで、Ｃ＝（Ｗ_ｊｐｇ＊Ｈ_ｊｐｇ）／ＦＳ_ｊｐｇである。Ｗ_ｊｐｇはＪＰＧ画像の幅であり、Ｈ_ｊｐｇはＪＰＧ画像の高さであり、ＦＳ_ｊｐｇはＪＰＧファイルのサイズである。
画像アクティビティＡは、平均絶対低域通過応答Ａ＝Ｎ^Ωとして求められる。ここで、Ｎ^Ωは、上記式３にあるように、全体の画像領域Ｓ＝Ωの平均を有するＮ^Ｓとして定義される。
画像のｄｐｉは、Ｄとして表される。
推定値は、この場合、式６：

によって提供される。

図２に戻って、少なくとも雑音推定値Ｎ及びシャープネス推定値Ｓｈから成る測定値２０２と共に、プロセスは、強調ストラテジーモジュール１０４に移動する。
簡単に述べると、少なくとも１つの実施形態では、強調ストラテジーモジュール１０４は、上記で求めたような属性測定値を、雑音しきい値パラメータＴｈ、シャープネスパラメータλ、及びラディカリティパラメータＲの好ましい強調パラメータにマッピングする。

雑音について、シャープ化は、雑音も同様に強調する傾向がある。
したがって、かなり雑音があると推定される画像の場合、雑音除去フィルタの適用が役立つ可能性がある。
少なくとも１つの実施形態における雑音パラメータは、式７：

によって表される。

その上、少なくとも１つの実施形態では、雑音しきい値パラメータＴｈは、少なくとも１つの属性（たとえば、雑音推定値）に基づいて評価され、実行される雑音除去度を規定する。
換言すれば、少なくとも１つの実施形態では、雑音推定値は、雑音パラメータにマッピングされて、第１の強調値が求められる。

シャープネスについて、シャープ化しすぎないように同時に注意しながら、ぼやけた画像のシャープ化を可能にすることは、非常に有利である。
この概念は、少なくとも１つの実施形態では、式８：

によって表される。

その上、少なくとも１つの実施形態では、シャープネスパラメータλは、少なくとも１つの属性（たとえば、シャープネス推定値）に基づいて評価され、実行される雑音低減度が規定される。
雑音しきい値Ｔｈと同様に、少なくとも１つの実施形態では、シャープネス推定値は、シャープネスパラメータにマッピングされて、第２の強調値が求められる。
総合的には、雑音低減度及びシャープ化度が、初期デジタル画像の求められた強調である。

上述したように、画像を自動的に強調するが、損害を与えない原理に忠実に強調することは、本発明の有利な態様である。
確かに、このシステム及び方法は、ラディカリティＲについて求められた強調を有利に用いる。
さらに、ラディカリティＲは、出力画像における強調の相対的な重みを決定する。
Ｒ＝０の場合、出力画像は、入力画像に等しい（損害は与えられないが、強調も行われない）。Ｒ＝１の場合、出力画像は、公称値で強調された画像となる。

少なくとも１つの実施形態では、ラディカリティＲは、以下のように表される。第１のグラフは、グラフィックスを強調しないテナント（tenant）に対応し、第２のグラフは、強い平滑化を有する強いシャープ化を適用しないテナントに対応する。

雑音推定ルーチンが、十分に良好な統計値を得るほど十分な平滑領域を突き止めないときのような場合に、内部不確実性インジケータは、Ｒをさらに低減することができる。
いくつかの代表的な画像を調べた後に、たとえば、雑音推定値の特定の範囲について、別の範囲よりも多くの誤りが存在するといった、インジケータの一定の範囲が他の範囲よりも悪く動作することに気付いたとき、若しくは代替的に、推定値は正確であるが、たとえば雑音又はシャープネスのいくつかの範囲が、強調アルゴリズムの頻度の低い失敗を示すことに気付いたときのような場合に、外部不確実性インジケータは、Ｒをさらに低減することができる。
このようなオペレータが知覚する問題に適応するために、少なくとも１つの実施形態では、Ｒは、Ｒを調節するように調整され得るオペレータ調節可能要素をさらに含む。
その上、少なくとも１つの実施形態では、Ｒを評価する際に、雑音しきい値パラメータ及びシャープネスパラメータの信頼度評価が行われる。
評価の信頼度が低い場合、Ｒは、ゼロの値に向けて調整される。評価の信頼度が高い場合には、Ｒは、変更しないで維持され得る。
加えて、ＪＰＧアーティファクト推定値は、Ｎ^Ｓを変えることによって、具体的には、式９：

によって、Ｒ及びＴｈの双方に影響を与える。

図２について、たとえば、雑音しきい値パラメータ及びシャープネスパラメータといった強調パラメータ２０４は、強調アルゴリズムモジュール２０６に渡されることが認識される。
強調アルゴリズムモジュール２０６では、可変雑音除去フィルタ及び可変シャープ化フィルタが、雑音しきい値パラメータ及びシャープネスパラメータに従って調整される。
少なくとも１つの実施形態では、フィルタリングは、バイラテラル（bilateral）フィルタリング及び一般化されたアンシャープ（unsharp）マスキングに基づいて、非線形平滑化／シャープ化アルゴリズムで達成される。
少なくとも１つの実施形態では、このフィルタリングは、参照により本明細書に援用される「Polynomial Approximation Based Image Filter Methods, System and Machine-Readable Media」という発明の名称の米国特許出願第１０／８３３，４３５号に記載されているとおりのものである。

雑音しきい値パラメータ及びシャープネスパラメータ、より具体的には、確立済みの求められた強調値によって、入力画像２００はフィルタリングされて、公称値で強調された画像２０８が提供される。
上述したように、この公称値で強調された画像２０８は、たとえば、過剰なシャープ化及び過剰な雑音除去を含む画像、又はシャープ化が適用されたグラフィック画像である等、実際には、人間の観察者によって許容することができない場合がある。
本発明は、したがって、加重平均モジュール２１０に移動することによって、このような場合を訂正するように有利に動作する。

加重平均モジュール２１０では、ラディカリティパラメータＲ２１２が正確に認識される。
具体的には、ここでの動作は、ラディカリティパラメータＲについて実行されて、初期デジタル画像２００と公称値で強調された画像２０８との間の加重平均を選択する。
少なくとも１つの実施形態では、Ｒが約１である場合、実行される求められた強調のうち受け付けられるパーセンテージは約１００パーセントであり、強調された出力画像２１４は、公称値で強調された画像２００とほぼ同じである。
Ｒが約０である場合、実行される求められた強調のうち受け付けられるパーセンテージは約０であり、強調された出力画像２１４は、初期入力画像２００とほぼ同じである。

図２を図１に関連させるのに役立つように、画像プロセッサ２１６の破線が、強調アルゴリズムモジュール２０６及び加重平均モジュール２１０を取り囲むように示されている。
実際には、異なる構成では、これらの要素は、別の方法で結合することもできるか、又はさらに分離することもできることが理解及び認識される。

少なくとも１つの実施形態では、公称値で強調された画像２０８及び初期画像２００は、提供された初期画像２００の可能な強調の範囲を規定するものとしてみなすことができる。
もちろん、初期画像２００と公称値で強調された画像２０８との間の範囲に沿ってありとあらゆる可能な強調の変動を計算することは必要でないことが理解及び認識される。
範囲とみなすとき、Ｒは、初期入力画像２００であるものから、公称値で強調された画像２０８であるものまで変動する、結果の強調画像２１４について実行される、求められた雑音除去度のパーセンテージ及び求められたシャープ化度のパーセンテージを決定する。

その上、一意のｘ座標及びｙ座標を有する各ピクセルについて、少なくとも１つの実施形態では、画像強調は、式１０：

のバイラテラルフィルタに従って達成されることが理解及び認識される。

ラディカリティは、式１１：

に従って定義されるようなΨ（ｐ）について明らかである。

図５は、非線形関数Ψ（ｐ）のグラフを提供する。

ＡＩＥＳ１００及び画像強調の方法の上記説明について、画像強調６００の方法を要約する図６が提供される。
方法６００は、本明細書で説明される正確な順序で提供される必要はなく、説明及び説明図のこのフローは、単なる一実施形態の例示であることが理解及び認識される。

図６に示すように、少なくとも１つの方法では、自動画像強調の方法６００は、初期デジタル画像の受け取りで開始する（ブロック６０２）。
次に、複数の測定値が、初期デジタル画像から抽出される（ブロック６０４）。
少なくとも１つの実施形態では、これらの抽出された測定値は、雑音の推定値及びシャープネスの推定値を含む。
少なくとも１つのさらに別の実施形態では、これらの測定値は、ＪＰＧ雑音のアセスメント及び／又はグラフィックスであるものとしての画像のアセスメントをさらに含む。
それらの列挙したものに加えて他の測定値も同様に抽出及び／又は推定することができることが理解並びに認識される。

少なくとも取得された雑音推定値及びシャープネス推定値について、この方法は、雑音しきい値パラメータ（Ｔｈ）（ブロック６０６）、シャープネスパラメータ（λ）（ブロック６０８）、及びラディカリティパラメータ（Ｒ）（ブロック６１０）という重要なパラメータの生成に進む。
次に、雑音しきい値パラメータが、少なくとも１つの属性測定値に基づいて評価される（ブロック６１２）。この属性は、少なくとも１つの実施形態では、雑音推定値である。
シャープネスパラメータも、同様に、少なくとも１つの属性測定値に基づいて評価される（ブロック６１４）。この属性は、少なくとも１つの実施形態では、シャープネス推定値である。
ラディカリティパラメータも評価され（ブロック６１６）、少なくとも１つの実施形態では、これは、雑音パラメータ及び／又はシャープネスパラメータの信頼度評価である。
確かに、シーケンシャルストリームの処理について上述したように、高いパーセンテージのゼロは、初期画像がグラフィックであることを示す可能性があり、したがって、Ｒの評価は、０の値に向かう。

求められた雑音しきい値パラメータに基づいて、規定された雑音低減度（ＤＮＲ）が確立される（ブロック６１８）。
同様に、規定されたシャープ化度も確立され（ブロック６２０）、規定された強調のラディカリティ度も同様である（ブロック６２２）。
少なくとも１つの実施形態では、規定されたラディカリティ度は、その後、初期デジタル画像と公称値で強調された画像との間の加重平均を求めるのに使用される重み加重係数（weighting factor）である。
濃い平行線６２４によって示されるように、パラメータの生成及び度合いの規定は、少なくとも１つの実施形態では、ほぼ同時に実行される動作である。

雑音低減度及びシャープ化度が求められると、少なくとも１つの実施形態では、可変雑音フィルタ及び可変シャープ化フィルタが、それに対応して調整される。
フィルタがそのように調整されると、その度合いの雑音フィルタリングが、初期画像に対して実行される（ブロック６２６）。
同様に、その度合いのシャープ化も、初期画像に対して実行される（ブロック６２８）。
ブロック６２６及びブロック６２８のシャープ化オペレーション及び雑音除去オペレーションは、別々の動作として示されているが、少なくとも１つの実施形態では、結合した動作として実行される。
少なくとも１つの代替的な実施形態では、これらの動作は、別々に実行される。
いずれの場合も、結果は、ブロック６３０のように、公称値で強調された画像を提供することになる。

次に、強調のラディカリティ度Ｒについて、初期画像と公称値で強調された画像との間の加重平均が選択され（ブロック６３２）、出力画像が提供される（ブロック６３４）。
Ｒが約１の値を有する場合、提供される出力画像は、ほぼ公称値で強調された画像となる。
Ｒが約０の値を有する場合、提供される出力画像は、ほぼ初期デジタル画像となる。

上述したように、少なくとも１つの実施形態では、ＡＩＥＳ１００は、画像を自動的に強調するためのコンピュータシステムとして実施される。
図７は、一例示のコンピュータシステム７００の高レベルブロック図である。
コンピュータシステム７００は、メインボード７０４を取り囲むケース７０２を有する。
このメインボードは、システムバス７０６、接続ポート７０８、中央処理装置（ＣＰＵ）７１０等の処理ユニット、及びメインメモリ７１２、ハードドライブ７１４、及びＣＤ／ＤＶＤ ＲＯＭドライブ７１６等のメモリ記憶デバイスを有する。

メモリバス７１８は、メインメモリ７１２をＣＰＵ７１０に連結する。
システムバス７０６は、ハードドライブ７１４、ＣＤ／ＤＶＤ ＲＯＭドライブ７１６、及び接続ポート７０８をＣＰＵ７１０に連結する。
たとえばマウス７２０及びキーボード７２２等の複数の入力デバイスを設けることができる。
たとえばビデオモニタ７２４及びプリンタ（図示せず）等の複数の出力デバイスも設けることができる。

コンピュータシステム７００は、ＨＰ又は他のコンピュータシステムプロバイダによって提供されるデスクトップワークステーションユニット等の市販のシステムとすることができる。
コンピュータシステム７００は、ネットワーク接続コンピュータシステムとすることもでき、ハードドライブ７１４等のメモリ記憶コンポーネント、追加のＣＰＵ７１０、及びプリンタ等の出力デバイスは、ネットワークにおいて互いに共通結合された物理的には別個のコンピュータシステムによって提供される。
当業者は、コンポーネントの物理的な構造及びコンポーネントの相互接続がコンピュータシステム７００を形作ることを理解及び認識し、確立されて保持されるスケジュールに適したコンピュータシステム７００を選択する。

コンピュータシステム７００がアクティブ化されると、好ましくはオペレーティングシステム７２６が、ブートストラップスタートアップシーケンスの一部としてメインメモリ７１２にロードされ、コンピュータシステム７００にオペレーションの用意をする。
最も単純なレベルで、且つ、最も一般的な意味で、オペレーティングシステムのタスクは、プロセス管理、デバイス管理（アプリケーション及びユーザインターフェースの管理を含む）、並びにメモリ管理といった特定のカテゴリーに分類される。

このようなコンピュータシステム７００では、ＣＰＵ７１０は、上述したスケジューリングの実施形態の１つ又は複数を実行するように動作可能である。
当業者は、スケジュールにアクティビティを追加するためのコンピュータプログラム７３０が存在するコンピュータ可読媒体７２８をコンピュータシステム７００に提供することができることを理解する。
媒体７２８の形態及びプログラム７３０の言語は、コンピュータシステム７００に適切であると解される。
動作可能なＣＰＵ７０２は、たとえば１つ又は複数のハードドライブ７１４及びメインシステムメモリ７１２等のメモリストアを利用して、コンピュータプログラム７３０によって提供される命令を読み出し、上述したような自動画像強調システム及び／又は自動画像強調方法を実行するように動作する。

上記の方法、システム、及び構造の範囲から逸脱することなく、上記の方法、システム、及び構造に変更を行うことができる。したがって、上記説明に含まれ且つ／又は添付図面に示された事項は、例示として解釈されるべきであり、限定の意味に解釈されるべきでないことに留意すべきである。以下の特許請求の範囲は、本明細書で説明したすべての一般的な特徴及び具体的な特徴を扱い、加えて、言葉上の問題から、特許請求の範囲に含まれないと言われるおそれがある本方法、本システム、及び本構造の範囲のすべての記述も扱う。

１００ ＡＩＥＳ
１０２ デジタル画像属性抽出器
１０４ 強調オプションジェネレータ
１０６ 画像プロセッサ
１０８ 入力デバイス
１１０ コンピュータ
１１２ 出力デバイス
２０６ 強調アルゴリズム
２１０ 加重平均
３００ 行／列をサンプリングする
３０２ １Ｄ入力ストリーム
３０４ シーケンシャル差分
３０６ ＳＤストリーム
３０８ 低域通過フィルタ
３１０ 高域通過フィルタ
７００ コンピュータシステム
７０２ ケース
７０４ メインボード
７０６ システムバス
７０８ 接続ポート
７１０ 中央処理装置（ＣＰＵ）
７１２ メインメモリ
７１４ ハードドライブ
７２０ マウス
７２２ キーボード
７２４ ビデオ
７２６ オペレーティングシステム

Claims (10)

1. 自動化画像強調の方法であって、
   デジタル画像（２００）を受け取ることと、
   複数の属性測定値（２０２）を前記デジタル画像（２００）から抽出することと、
   前記抽出された属性測定値（２０２、６０４）に基づいて、少なくとも雑音しきい値パラメータ（６０６）、シャープネスパラメータ（６０８）、及びラディカリティパラメータ（６１０）を生成することと、
   少なくとも１つの属性測定値に基づいて前記雑音しきい値パラメータを評価すること（６１２）であって、実行される雑音低減度を規定する、前記雑音しきい値パラメータを評価すること（６１２）と、
   少なくとも１つの属性測定値に基づいて前記シャープネスパラメータを評価すること（６１４）であって、実行されるシャープ化度を規定し、前記雑音低減度及び前記シャープ化度は、総合して前記デジタル画像（２００）の求められた強調（２０４）を構成する、前記シャープネスパラメータを評価すること（６１４）と、
   前記雑音しきい値パラメータの信頼度評価及び前記シャープネスパラメータの信頼度評価またはこれらのいずれかの信頼度評価に基づいて前記ラディカリティパラメータを評価すること（６１６）であって、実行される前記求められた強調のラディカリティを規定する、前記ラディカリティパラメータを評価すること（６１６）と、
   前記求められた強調のラディカリティについて、前記求められた雑音低減度のパーセンテージ、及び、前記求められたシャープ化度のパーセンテージを前記受け取られたデジタル画像（２００）に対して実行すること（６３２）と
   を含む方法。
2. 前記属性測定値（２０２）は、グラフィックス推定値、シャープネス推定値、雑音推定値、及びＪＰＧアーティファクト推定値を含む
   請求項１に記載の自動化画像強調方法。
3. 前記雑音しきい値パラメータ（６０６）を評価することについて、前記関連付けられる属性は雑音推定値であり、
   前記シャープネスパラメータ（６０８）を評価することについて、前記関連付けられる属性はシャープネス推定値である
   請求項１に記載の自動化画像強調方法。
4. １のラディカリティ（６１０）パラメータについて、実行される、前記求められた強調のパーセンテージは１００である
   請求項１に記載の自動化画像強調方法。
5. ０のラディカリティ（６１０）パラメータについて、実行される、前記求められた強調のパーセンテージは０である
   請求項１に記載の自動化画像強調方法。
6. 前記シャープ化（６２８）及び前記雑音低減（６２６）は、実質的に同時に実行される
   請求項１に記載の自動化画像強調方法。
7. 前記属性測定値（２０２）は、グラフィックス推定値を含み、
   高いグラフィックス推定値に応じて、前記ラディカリティパラメータ（６１０）は、０に向けて調整される
   請求項１に記載の自動化画像強調方法。
8. 自動化画像強調システム（１００）であって、
   デジタル画像（２００）を受け取ると共に、属性測定値（２０２）を該デジタル画像（２００）から抽出するように動作可能なデジタル画像属性抽出器（１０２）であって、前記属性測定値（２０２）は、少なくとも雑音推定値及びシャープネス推定値を含む、デジタル画像属性抽出器（１０２）と、
   前記抽出された属性測定値（２０２）を受け取ると共に、該抽出された属性測定値（２０２）に基づいて、少なくとも、雑音低減度を規定する雑音しきい値パラメータ（６０６）、シャープネス低減度を規定するシャープネスパラメータ（６０８）、及びラディカリティパラメータ（２１２、６１０）を生成するように動作可能な強調オプションジェネレータ（１０４）であって、前記雑音低減度及び前記シャープ化度は、総合して、求められた強調（２０４）を構成する、強調オプションジェネレータ（１０４）と、
   前記デジタル画像（２００）、前記求められた強調（２０４）、及び前記ラディカリティパラメータ（２１２）を受け取るように動作可能な画像強調器（１０６）であって、前記初期デジタル画像（２００）と前記求められた強調（２０４）によって提供される公称値で（nominally）強調された画像（２０８，６３０）との間の加重平均に対応する出力画像（２１４）を提供する公式に従ってさらに動作可能な画像強調器（１０６）と
   を備え、
   前記画像強調器は、前記雑音しきい値パラメータの信頼度評価及び前記シャープネスパラメータの信頼度評価またはこれらのいずれかの信頼度評価に基づいて、前記ラディカリティパラメータを評価する
   自動化画像強調システム。
9. １のラディカリティパラメータの第１の場合について、前記ラディカリティの加重係数の結果、出力画像は、前記公称値で強調された画像となり、
   ０のラディカリティパラメータの第２の場合について、前記ラディカリティの加重係数の結果、出力画像は、前記初期デジタル画像になる
   請求項８に記載の自動化画像強調システム。
10. 低い信頼度評価について、前記ラディカリティパラメータ（２１２、６１６）は０に向けて調整される
    請求項８に記載の自動化画像強調システム。

Images