JP5593515B2 - イメージエンハンスメント方法、イメージエンハンサ、イメージレンダリングシステムおよびコンピュータプログラム - Google Patents

Description

本発明の態様は、カラー画像の知覚的な品質を改善することができるイメージエンハンスメントの方法に関する。
本発明の他の態様は、イメージエンハンサ、イメージレンダリングシステム及びプログラマブルプロセッサ向けコンピュータプログラムに関する。

色情報は、通常、輝度情報よりも低解像度で表現される。たとえば４：１：１又は４：２：２サブサンプリングスキームのような特定のスキームに従って、カラー画像に対してたとえば、いわゆるクロマチックサンプリングが適用される。互いに隣接する幾つかの画素は、同じ色成分を共有する一方、これらの画素のそれぞれは、固有の輝度成分を有する。このことは、一般に知覚される画像の品質に影響を及ぼさない。典型的な人間の観察者は、一般に、色情報が輝度情報よりも幾分に低い解像度を有する画像を、色情報が輝度情報と同じ解像度を有する類似の画像であるとみなす。

米国特許第5,982,926号は、知覚される明瞭さ、理解度及び／又は画質を改善するために様々なイメージエンハンスメントプロセスが開発されている。これらイメージエンハンスメントプロセスは、画像を、これらの画像が正確に再生されるか否かに関わらず、人間の目に心地よいものにする。しばしば、歪んだ画像は、原画像の完全に再現された複製よりも人間の目に心地よいことがある。たとえば、オーバシュート又はアンダーシュートが画像のエッジに組み込まれた場合、結果的に得られる画像は、典型的に、係るアンダーシュート又はオーバシュートのない画像よりも心地よいとして知覚される。

カラー画像の知覚による品質を改善する必要がある。以下の点は、この必要に良好に対処するために考慮される。

カラー画像は、比較的高い程度の色の彩度（color saturation）が生じる領域で僅かにぼやけて見える場合がある。カラー画像は、関連する領域が比較的多数の詳細を含む場合に特にぼやけて見える。さらに、関連する領域は、彩度が欠けているように見える場合がある。これらの現象は、輝度情報よりも低い解像度で色情報が表現される画像において特に生じる。係る外見的な解像度の局所的消失又は彩度の局所的消失、或いはその両者は、関連するカラー画像の知覚的な品質に影響を及ぼす。

本発明の態様によれば、カラー画像は、以下の方式で改善される。彩度検出器は、ある画像領域で生じる色の彩度の度合いを検出する。フィルタアレンジメントは、画像領域における少なくとも１つの空間的な詳細に対して、色の彩度の度合いに依存する程度にまでフィルタリングを施す。

したがって、空間的な詳細は、比較的高い度合いの彩度が生じる画像領域において、比較的大きな程度にまで強調される。逆に、空間的な詳細は、色の彩度が比較的低い画像領域において、比較的控えめな程度にまで強調されるか、変更されないままにする。係る彩度の関数としての詳細の強調は、関連する画像領域における外見的な解像度のなさ、外見的な彩度のなさ、或いはその両者を補償する。これにより、カラー画像は、良好な知覚による品質を有することができる。実験はこのことを確認している。様々な異なるカラー画像は、本発明に従って改善されている。様々な観察者は、これらカラー画像のそれぞれをその改善されたバージョンと比較する。改善されたバージョンは、良好であるとして明らかに知覚される。

フィルタアレンジメントは、好ましくは、ある画像領域における関心のある画素と隣接する画素との間の差を彩度の度合いが高いときに大きい度合いにまで増幅する。これにより、低コストの実現が可能となる。
増幅された値における差は、輝度値を含む。
増幅された値における差は、輝度値及び色度値を含む。これは、比較的高い知覚的な品質を達成することに寄与する。

色度値における差が増幅される度合いは、輝度値における差が増幅される度合いよりも大きい。これは、比較的高い知覚による品質を達成することに寄与する。
本発明の実現は、以下の更なる特徴の１以上を有利にも含んでおり、個々の従属の請求項に対応して個別のパラグラフで記載される。

検出される彩度の度合いは、好ましくは、関心のある画素の彩度の度合いである。これにより、低コストの実現が可能である。

彩度検出器は、好ましくは、関心のある画素に属する色度値と、有意でない彩度の度合いに対応する中央の値との間の絶対差を決定する。制御値は、絶対差に基づいて発生される場合があり、制御値は、関心のある画素と隣接する画素との間の値における差が増幅される度合いを決定する。これにより、低コストの実現を可能にする。

フィルタアレンジメントは、好ましくは、隣接する画素の典型的な値を決定する。典型的な値は、差分値を得るように、関心のある画素に属する値から差し引かれる。差分値は、乗算された差分値を得るように、彩度の度合いが高いときに大きなファクタにより乗算される。次いで、関心のある画素の修正された値を得るように、典型的な値が増幅された差分値に加算される。これにより、低コストの実現が可能になる。

シーケンサは、カラー画像におけるそれぞれの画素を、１つずつ、関心のある画素として連続的に指定する場合がある。

上述された値における差は、好ましくは、関心のある画素を含む、予め定義されたアパーチャに基づいて形成された画素のセットに基づいて確定される。

詳細な説明は、添付図面を参照して、更なる特徴と同様に、以上に概説された本発明を例示するものである。

イメージレンダリングシステムを例示するブロック図である。 イメージレンダリングシステムの一部を形成するイメージエンハンサを例示するブロック図である。 関心のある画素の指定、及び関心のある画素を含む画素のセットを定義するアパーチャを例示する図である。 イメージエンハンサの一部を形成する、彩度検出器を例示するブロック図である。 イメージエンハンサの一部を形成する、詳細な強調モジュールを例示するブロック図である。 イメージエンハンサのソフトウェアによる実現を例示するコンピュータコードダイアグラムである。

図１は、たとえばケーブルテレビジョンネットワーク又はインターネットである場合があるネットワークＮＷに結合されるイメージレンダリングシステムＩＲＳを例示する。ビジュアルデータサーバＳＶは、ネットワークＮＷに結合される。イメージレンダリングシステムＩＲＳは、データ処理装置ＤＰＲ、ディスプレイ装置ＤＰＬ、及びリモートコントロール装置ＲＣＤを有する。データ処理装置ＤＰＲは、たとえばパーソナルコンピュータ又はいわゆるセットトップボックスの形態である場合がある。データ処理装置ＤＰＲ及びディスプレイ装置ＤＰＬは、テレビジョンセットを連帯して形成する場合がある。データ処理装置ＤＰＲは、入力モジュールＩＮＭ、イメージエンハンサＥＮＨ、出力モジュールＯＵＭ及びコントローラＣＴＲＬを有する。

イメージレンダリングシステムＩＲＳは、基本的に、以下のように動作する。ユーザは、リモートコントロール装置ＲＣＤにより、ビジュアルデータサーバＳＶに存在する特定のビジュアルアイテムを選択する。データ処理装置ＤＰＲは、この選択されたビジュアルアイテムを示す要求をビジュアルデータサーバＳＶに出力する。これに応じて、ビジュアルデータサーバＳＶは、選択されたビジュアルアイテムを伝達するトランスポートストリームＴＳを提供する。選択されたビジュアルアイテムは、たとえばビデオタイトル又は静止画像である。トランスポートストリームＴＳは、たとえばＪＰＥＧ又はＭＰＥＧ符号化規格（ＪＰＥＧは、Joint Photographic Experts Groupの略記であり、ＭＰＥＧは、Moving Picture Experts Groupの略記である）に従う。データ処理装置ＤＰＲは、ネットワークＮＷを介してトランスポートストリームＴＳを受信する。

データ処理装置ＤＰＲの入力モジュールＩＮＭは、トランスポートストリームＴＳから、選択されたビジュアルアイテムを表すビジュアルデータＶＤを抽出する。上述されたように、選択されたビジュアルアイテムは、カラー画像の系列を含むビデオタイトルであるか、又は単一のカラー画像を含む静止画像である場合がある。何れの場合においても、イメージエンハンサＥＮＨは、改善されたビジュアルデータＶＥを取得するように、ビデオデータＶＤに含まれるカラー画像を改善する。出力モジュールＯＵＭは、改善されたビジュアルデータＶＥに基づいてディスプレイドライバ信号ＤＤを供給する。ディスプレイドライバ信号ＤＤにより、ディスプレイ装置ＤＰＬは、選択されたビジュアルアイテムを表示する。表示装置ＤＰＬにより表示されたとき、比較的良好な品質であるように、ユーザがカラー画像を知覚することが望まれる。イメージエンハンサＥＮＨは、イメージエンハンサＥＮＨがイメージレンダリングシステムＩＲＳに存在しない場合に取得される品質よりも、知覚される画質が良好であるようにする。

図２は、データ処理装置ＤＰＲの一部を形成するイメージエンハンサＥＮＨを例示する。イメージエンハンサＥＮＨは、各種の機能的なエンティティを有する。入力バッファＩＢ、ピクセルセレクタ及びルータＰＳＲ、彩度検出器ＳＤＴ、３つの詳細強調モジュールＤＥ１，ＤＥ２及びＤＥ３、並びに出力バッファＯＢ。上述された機能的なエンティティは、画像データ処理経路を構成する。３つの詳細強調モジュールＤＥ１，ＤＥ２及びＤＥ３は、カラー画像について広域通過フィルタのアレンジメントを構成する。イメージエンハンサＥＮＨは、シーケンサＳＱを更に有しており、このシーケンサは、画像データ処理経路にとって専用とされるコントローラと見なされる。

イメージエンハンサＥＮＨは、ソフトウェアプログラム、すなわち、プログラマブルプロセッサにロードされる命令のセットにより実現される場合がある。係るソフトウェアに基づいた実現では、ソフトウェアプログラムにより、プログラマブルプロセッサは、図２を参照して以下に記載される様々な動作を実行する。したがって、図２は、方法を表現するものと見なすことができ、機能的なエンティティ又は機能的なエンティティのグループは、この方法の処理ステップ又は一連の処理ステップとして見なすことができる。たとえば、彩度検出器ＳＤＴは、彩度検出ステップを表すことができる。

イメージエンハンサＥＮＨは、専用回路により実現される場合もあり、この専用回路は、図２を参照して以下に記載される動作を定義する特定のトポロジーを有する。係るソフトウェアによる実現では、図２で例示される機能的なエンティティは、サブ回路に対応する場合がある。したがって、図２は、ブロックレベルで回路ダイアグラムを表すのと同様に見なすことができる。イメージエンハンサＥＮＨの実現は、少なくとも１つの専用回路と適切な命令のセットをもつ少なくとも１つのプログラマブル回路とを有するという意味でハイブリッドである場合がある。

イメージエンハンサＥＮＨは、基本的に、以下のように動作する。入力バッファＩＢは、図１に例示される入力モジュールＩＮＭが供給するビジュアルデータＶＤを一時的に記憶する。これに応じて、所与の瞬間で、入力バッファＩＢは、ビジュアルデータＶＤに含まれるカラー画像を有する。カラー画像は、画素のマトリクスとして見なすことができる。カラー画像は、たとえば、いわゆるＹＵＶカラーフォーマットである場合がある。このフォーマットにおいて、ある画素は、関与する画素に固有に属する輝度成分を有する。画素は、第一の色度成分と第二の色度成分とを有する色度成分のペアを更に有する。幾つかの隣接する画素は、同じ色度成分のペアを共有する場合がある。その場合、色度成分は、輝度成分に関してサブサンプリングされている。これは、たとえば、いわゆる４：２：２サブサンプリングスキームの場合であって、色度成分が輝度成分の水平解像度の半分である水平解像度を有する場合である。

シーケンサＳＱは、カラー画像における特定の画素を指定する画素選択データＬＮ，ＰＮを供給する。画素選択データＬＮ，ＰＮは、たとえばライン番号ＬＮ及び画素番号ＰＮを有する場合がある。指定された特定の画素は、以後、関心のある画素ＰＩと呼ばれる。シーケンサＳＱは、画素選択データＬＮ，ＰＮを更新し、これにより、境界領域にある画素を除いてカラー画像における全ての画素は、関心のある画素ＰＩを連続的に構成する。すなわち、シーケンサＳＱは、言うなれば、境界領域に存在する画素を除いて、画素毎にカラー画像をスキャンする。

ピクセルセレクタ及びルータＰＳＲは、画素選択データＬＮ，ＰＮに基づいて入力バッファＩＢから画素のセットＳＰを読み出す。画素のセットＳＰは、関心のある画素ＰＩ及び様々な隣接する画素を含む。実際に、ピクセルセレクタ及びルータＰＳＲは、アパーチャを定義し、このアパーチャは、画素のセットＳＰの一部を形成する隣接する画素を決定する。アパーチャは、カラー画像を通してシーケンサＳＱをスライドさせるウィンドウと見なすことができる。関心のある画素ＰＩは、典型的にこのウィンドウの中央にあるが、必死ではない。ある意味では、ウィンドウは、カラー画像の境界にヒットするまで、カラー画像にわたりスライドする。画素が選択される必要がない上述された境界領域は、従ってアパーチャに依存する。アパーチャは、カラー画像の境界で適切に調節される。その場合、カラー画像の全ての画素は、連続的に選択される場合がある。

図３は、ピクセルセレクタ及びルータＰＳＲが定義する矩形のアパーチャＡＰＥの例を示す。画素は、比較的小さな円により表現される。画素は、水平軸ｘ及び垂直軸ｙのそれぞれに沿って列及び行で配置される。シーケンサＳＱからの画素選択データＬＮ，ＰＮは、ライン番号ＬＮ及び画素番号ＰＮを定義し、破線及び下方向及び右方向のそれぞれを示す比較的小さな矩形により表される。関心のある画素ＰＩを構成する画素は、黒で充填されている。矩形のアパーチャＡＰＥ内の他の画素は、グレイで充填されている。これらの画素は、関心のある画素ＰＩと同様に、画素選択データＬＮ，ＰＮに基づいてピクセルセレクタ及びルータＰＳＲが構成する画素のセットＳＰを構成する。

彩度検出器ＳＤＴは、ピクセルセレクタ及びルータＰＳＲからの色度成分のペアＶ−ＰＩ，Ｕ−ＰＩを受ける。色度成分のペアＶ−ＰＩ，Ｕ−ＰＩは、関心のある画素ＰＩに属する。彩度検出器ＳＤＴは、色度成分のペアＶ−ＰＩ，Ｕ−ＰＩに基づいて、輝度制御値ＬＣ及び色度制御値ＣＣを確定する。輝度制御値ＬＣは、空間の詳細の強調の度合いを決定し、これは関心のある画素ＰＩの輝度成分に適用される。同様に、色度制御値ＣＣは、空間の詳細の強調の度合いを決定し、これは関心のある画素ＰＩの色度成分のペアに適用される。好ましくは、空間の詳細の強調の度合いは、関心のある画素ＰＩが彩度の比較的高い度合いを示す場合に比較的高い。輝度制御値ＬＣ及び色度制御値ＣＣは、彩度の度合いを反映し、これは関心のある画素の色度成分のペアＶ−ＰＩ，Ｕ−ＰＩから導出される。これは、以下に更に詳細に記載される。

詳細強調モジュールＤＥ１は、ピクセルセレクタ及びルータＰＳＲからの輝度成分のセットＹ−ＳＰを受ける。輝度成分のセットＹ−ＳＰは、ピクセルセレクタ及びルータＰＳＲが形成した、画素のセットＳＰに属するそれぞれの輝度成分を含む。したがって、輝度成分Ｙ−ＳＰのセットは、関心のある画素ＰＩの輝度成分を有する。この輝度成分は、以後、関心のある輝度成分と呼ばれる。輝度成分のセットＹ−ＳＰは、ピクセルセレクタ及びルータＰＳＲが形成した画素のセットＳＲにおける、それぞれの隣接する画素のそれぞれの輝度成分を更に有する。これら後者の輝度成分は、以後、隣接する輝度成分と呼ばれる。詳細強調モジュールＤＥ１は、彩度検出器ＳＤＴが確定した輝度制御値ＬＣを更に受ける。

詳細強調モジュールＤＥ１は、出力バッファＯＢにおいて形成された、改善されたカラー画像の出力輝度成分Ｙｏを供給する。出力輝度成分Ｙｏは、改善されたカラー画像の特定の画素に割り当てられる。この特定の画素は、ライン番号ＬＮ及び画素番号ＰＮの観点で、カラー画像における関心のあるＰＩの画素に位置に類似した位置を有する。出力輝度成分Ｙｏは、関心のある輝度成分の修正されたバージョンと見なすことができる。より詳細には、関心のある輝度成分は、詳細強調モジュールＤＥ１により修正される所与の値を有する。この輝度値の修正は、それぞれの隣接する輝度成分のそれぞれの値に関して、関心のある輝度成分の値に依存する。重要なことには、輝度値の修正は、輝度制御値ＬＣに依存し、これは彩度の度合いを反映する。

たとえば、関心のある輝度成分が隣接する輝度成分の値に比較して比較的小さい値を有する。その場合、詳細強調モジュールＤＥ１は、関心のある輝度成分の値を更に減少する。逆に、関心のある輝度成分が比較的大きい値を有する場合、詳細強調モジュールＤＥ１は、関心のある輝度成分の値を更に増加させる。両方の場合、関心のある輝度成分と隣接する輝度成分との間の値における差が増幅される。

増幅された値における差は、様々な異なるやり方で表現される。たとえば、差は、関心のある輝度成分の値と隣接する輝度成分の平均値との間の差である。別の例として、差を表現するため、隣接する輝度成分の中間値が使用される場合がある。関心のある輝度成分は、平均値又は中間値を確定するために含まれる場合もある。重要なのは、差が、彩度の度合いを反映する輝度制御値ＬＣに依存する度合いにまで増幅された空間の詳細を表すことである。彩度の度合いが高くなると、差が受ける増幅の度合いが高くなる。

詳細強調モジュールＤＥ２，ＤＥ３は、類似のやり方で動作する。詳細強調モジュールＤＥ２，ＤＥ３は、第一の色度成分のセットＵ−ＳＰ及び第二の色度成分のセットＶ−ＳＰをピクセルセレクタ及びルータＰＳＲからそれぞれ受ける。第一の色度成分のセットＵ−ＳＰは、関心のある画素ＰＩの第一の色度成分である関心のある第一の色度成分、及び隣接する第一の色度成分を有する。同様に、第二の色度成分のセットＶ−ＳＰは、関心のある第二の色度成分、及び隣接する第二の色度成分を有する。それぞれの場合において、詳細強調モジュールＤＥ２，ＤＥ３が受ける色度成分は、ピクセルセレクタ及びルータＰＳＲが形成した画素のセットＳＰに属する色度成分である。

違いは、詳細強調モジュールＤＥ２，ＤＥ３が色度制御値ＣＣを受ける点である一方で、輝度制御値ＬＣは、詳細強調モジュールＤＥ１に印加された。この違いは好適なものであって、基本的なものではない。異なる制御値を印加することで、輝度及び色度について異なる詳細の増幅の程度が可能となり、これは、知覚による画質の向上に寄与する場合がある。何れの場合であっても、詳細強調モジュールＤＥ２は、関心のある第一の色度成分と隣接する第一の色度成分との間の値における差を、色度制御値ＣＣが反映する彩度の度合いに依存する程度にまで増幅する。詳細強調モジュールＤＥ３は、関心のある第二の色度成分と隣接する第二の色度成分との間の値における差を同様の程度にまで増幅する。

詳細強調モジュールＤＥ２，ＤＥ３は、出力バッファＯＢで形成される改善されたカラー画像のために、第一の出力色度成分Ｕｏ及び第二の出力色度成分Ｖｏをそれぞれ供給する。この出力色度成分のペアＵｏ，Ｖｏは、上述されたように、詳細強調モジュールＤＥ１が出力輝度成分Ｙｏを確定した同じ画素に割り当てられる。すなわち、第一の出力色度成分Ｕｏ及び第二の出力色度成分Ｖｏは、関心のある第一の色度成分と関心のある第二の色度成分の修正されたバージョンとそれぞれ見なすことができる。

シーケンサＳＱにより、境界領域における成分を除いて、上述されたように彩度に依存する、入力バッファＩＢにおけるカラー画像の全ての輝度成分及び全ての色度成分は、詳細の増幅を受ける。後者の成分は、言わば、出力バッファＯＢにおいて、カラー画像から改善されたカラー画像に単にマッピングされる。代替的に、これらの成分は、適合された詳細の増幅又は別のタイプの適切な処理を受ける場合がある。

なお、詳細強調モジュールＤＥ２及びＤＥ３は、詳細強調モジュールＤＥ１よりも低いビットレートで動作する。これは、入力バッファＩＢに存在するカラー画像が輝度成分よりも少ない色度成分のペアを含むからである。上述されたように、互いに隣接する幾つかの画素は、同じ色度成分のペアを共有する一方で、これらの画素のそれぞれは、固有の輝度成分を有する。結果的に、詳細強調モジュールＤＥ２及びＤＥ３は、これらの画素のうちの１つについて関連する色度成分のペアを処理する。これにより、これらの画素のそれぞれに適用される、出力色度成分のペアＵｏ，Ｖｏが生成される。対照的に、詳細強調モジュールＤＥ１は、関与するそれぞれの画素のそれぞれの輝度成分を個々に処理する必要がある。

ひとたび全ての関連する入力画像の成分が処理されると、出力バッファＯＢは、全体として改善されたカラー画像を出力する。改善されたカラー画像は、図１に例示されるように、イメージエンハンサＥＮＨが出力モジュールＯＵＭに適用する改善されたビジュアルデータＶＥに含まれる。

図４は、彩度検出器ＳＤＴを例示する。彩度検出器ＳＤＴは、関心のある第一の色度成分Ｖ−ＰＩと関心のある第二の色度成分Ｕ−ＰＩを含む色度成分ペアＶ−ＰＩ，Ｕ−ＰＩを受ける。彩度検出器ＳＤＴは、２つの中央偏差検出器ＣＤＤ１，ＣＤＤ２、加算器ＡＤ１及び２つの正規化器ＮＭ１，ＮＭ２といった様々なエンティティを有する。イメージエンハンサＥＮＨの様々な可能な実現に関して上述された見解は、ソフトウェアに基づくか又はハードウェアに基づいたものであり、彩度検出器ＳＤＴにも同様に適用される。図４は、方法を表すと考えることができ、機能エンティティ又は機能エンティティのグループは、この方法の処理ステップ又は一連の処理ステップと考えられる。

中央偏差検出器ＣＤＤ１は、関心のある第一の色度成分Ｖ−ＰＩの値と中央の値ＣＶとの間の絶対差を確定する。中央の値ＣＶは、彩度の有意でない度合いと対応し、すなわち中央の値ＣＶは、全然彩度と同じものではない。たとえば、色度成分は、８ビットにより表現される値である典型的な場合に、０と２５５との間の範囲に含まれる値を有するものとされる。その場合、中央の値ＣＶは、たとえば１２８である。中央偏差検出器ＣＤＤ１は、中央値ＣＶを関心のある第一の色度成分Ｖ−ＰＩの値から減算し、減算結果の絶対値をとり、上述された値間の絶対差を取得する。中央偏差検出器ＣＤＤ１は、この絶対差に対応する第一の色度偏差値ＤＶ−ＰＩを供給する。同様のやり方で、中央偏差検出器ＣＤＤ２は、関心のある第二の色度成分Ｕ−ＰＩと中央値ＣＶとの間の絶対差に対応する、第二の色度偏差値ＤＵ−ＰＩを供給する。

加算器ＡＤ１は、第一の色度偏差値ＤＶ−ＰＩを第二の色度偏差値ＤＵ−ＰＩと加算して、全体の色度偏差値ＤＵＶ−ＰＩを生成する。全体の色度偏差値ＤＵＶ−ＰＩは、関心のある画素の彩度の度合いを表す。全体の色度偏差値ＤＵＶ−ＰＩが高くなると、彩度の度合いが高くなる。逆に、関心のある画素ＰＩが彩度の比較的低い度合いを示す場合、全体の色度偏差値ＤＵＶ−ＰＩは、比較的ゼロに近くなる。

正規化器ＮＭ１は、全体の色度偏差値ＤＵＶ−ＰＩを中央値ＣＶで除算する。さらに、正規化器ＮＭ１は、１の値をこの除算結果に加算して、輝度制御値ＬＣを取得する。輝度制御値ＬＣは、したがって、１と２の間の範囲に含まれる。輝度制御値ＬＣは、関心のある画素ＰＩが彩度の比較的低い度合いを示す場合に、１に比較的近くなり、関心のある画素ＰＩが彩度の比較的高い度合いを示す場合に、２に比較的近くなる。

正規化器ＮＭ２は、全体の色度偏差値ＤＵＶ−ＰＩを中央値ＣＶの２分の１で除算する。さらに、正規化器ＮＭ２は、１に除算結果を加えて、輝度制御値ＬＣを取得する。色度制御値ＣＣは、したがって、１と３との間に含まれる。すなわち、色度制御値ＣＣは、輝度制御値ＬＣよりも広い範囲にわたり変化する。色度制御値ＣＣは、関心のある画素ＰＩが彩度の比較的高い度合いを示す場合に３に比較的に近くなる。結果として、詳細の増幅の度合いは、輝度成分についてよりも色度成分について高くなる。

図５は、詳細強調モジュールＤＥ１を例示する。詳細強調モジュールＤＥ１は、セレクタＳＥＬ、典型値計算機ＴＶＣ、減算器ＳＵ、乗算器ＭＵＬ、加算器ＡＤ２及びクリッパＣＬＰといった様々な機能的エンティティを有する。イメージエンハンサＥＮＨの様々な可能な実現に関して上述された説明は、ソフトウェアに基づくか又はハードウェアに基づくものであり、彩度検出器ＳＤＴにも同様に適用される。したがって、図５は、方法を表すものと考えられ、ある機能的エンティティ又は機能的エンティティのグループは、この方法の処理ステップ又は一連の処理ステップと考えられる。

セレクタＳＥＬは、輝度成分のセットＹ−ＳＰにおける関心のある輝度成分Ｙ−ＰＩを選択する。上述されたように、画素選択データＬＮ，ＰＮは、関心のある画素ＰＩを識別し、したがって関心のある輝度成分Ｙ−ＰＩを識別する。典型値計算機ＴＶＣは、輝度成分Ｙ−ＳＰのセットに基づいて典型的な輝度値Ｙ−ＴＶを計算する。典型的な輝度値Ｙ−ＴＶは、たとえばセットに含まれる隣接する輝度成分のそれぞれの値の平均である。別の例として、典型的な輝度値Ｙ−ＴＶは、中間値である。

減算器ＳＵは、関心のある輝度成分Ｙ−ＰＩの値から典型的な輝度値Ｙ−ＴＶを減算する。したがって、減算器ＳＵは、関心のある画素ＰＩについて輝度の差分値ｄＹ−ＰＩを供給し、この差分値は、関心のある輝度成分Ｙ−ＰＩと隣接する輝度成分との間の値における差を表す。

乗算器ＭＵＬは、図４で例示した彩度検出器ＳＤＴが供給した輝度差分値ｄＹ−ＰＩを輝度制御値ＬＣと乗算する。この乗算結果は、増幅された輝度差分値ＡｄＹ−ＰＩである。輝度制御値ＬＣは、増幅率、すなわち関心のある輝度成分Ｙ−ＰＩと隣接する輝度成分との間の値における差のゲイン値を構成する。加算器ＡＤ２は、典型的な輝度値Ｙ−ＴＶを増幅された輝度差分値ＡｄＹ−ＰＩに加算して、境界のない出力輝度値ＹＶを取得する。

クリッパＣＬＰは、境界のない出力輝度値に基づいて、ある値を出力輝度成分Ｙｏに割り当てる。境界のない出力輝度値ＹＶが所望の範囲にある場合、出力輝度成分Ｙｏの値は、境界のない出力輝度値ＹＶに等しい。所望の範囲は、たとえば下限と上限をそれぞれ表す０と２５５との間に含まれる。境界のない出力輝度値ＹＶが下限よりも下回る場合、出力輝度成分Ｙｏの値は、下限に等しい。逆に、境界のない出力輝度値ＹＶが上限を上回る場合、出力輝度成分Ｙｏの値は、上限に等しい。したがって、クリッパＣＬＰは、出力輝度成分Ｙｏの値が所望の範囲にあることを保証する。

関心のある画素ＰＩが彩度の有意でない度合いを示すと仮定する。結果として、輝度制御値ＬＣは１に等しいか、１よりも僅かに大きい。その場合、関心のある輝度成分Ｙ−ＰＩと隣接する輝度成分との間の値における差は増幅されないか、又は有意でない程度にまで増幅される。ゲイン値は、１であるか又は１よりも僅かに大きい。出力輝度成分Ｙｏは、関心のある輝度成分Ｙ−ＰＩに実質的に等しい。有意でない度合いの彩度が存在するため、詳細が強調されない。

逆に、関心のある画素ＰＩは比較的高い程度の彩度を示すことが想定される。結果として、輝度制御値ＬＣは、１よりも有意に大きくなる。その場合、関心のある輝度成分Ｙ−ＰＩと隣接する輝度成分との間の値における差は、彩度の度合いに依存する程度にまで増幅される。ゲイン値は、１よりも有意に大きい。関心のある輝度成分Ｙ−ＰＩの値が隣接する輝度成分の値に関して比較的低い場合、出力輝度成分Ｙｏの値は、関心のある輝度成分Ｙ−ＰＩの値よりも更に低い。逆に、関心のある輝度成分Ｙ−ＰＩの値が隣接する輝度成分の値に関して比較的高い場合、出力輝度成分Ｙｏの値は、関心のある輝度成分Ｙ−ＰＩの値よりも更に高い。彩度の度合いが高くなると、関心のある輝度成分Ｙ−ＰＩの値が効果的にそれぞれ減少又は増加する度合いが高くなる。したがって、彩度が高い領域において空間的な輝度の詳細が高められる。

詳細強調モジュールＤＥ２，ＤＥ３は、図５に例示される詳細強調モジュールＤＥ１に類似し、同様の方式で動作する。違いは、詳細強調モジュールＤＥ２は、図５に例示された乗算器ＭＵＬに匹敵する乗算器を有し、この乗算器は、輝度制御値ＬＣの代わりに色度制御値ＣＣを受ける。同じことが詳細強調モジュールＤＥ３にも当てはまる。色度制御値ＣＣは、２である輝度制御値ＬＣの上限値よりも高い上限値、すなわち３を有するので、空間的な色度の詳細は、彩度が高い領域における空間的な輝度の詳細よりも更に大きな範囲に高められる。

図６は、図２で例示されたイメージエンハンサＥＮＨのソフトウェアに基づく実現を説明する。図６は、ｃコードで書かれた命令のセットを例示するコンピュータコードダイアグラムである、この命令は、プロセッサに、図２に関して上述された動作及び図３〜５に関して上述された動作を実行させる。命令のセットは、上述された図面で例示されたそれぞれの機能的なエンティティに関連するそれぞれのコード部分ＣＰ１〜ＣＰ４を有する。図６は、参照符号によりこれらの関係を示し、図２〜図５で例示される機能的なエンティティに対応するコード部分は、関与する機能的なエンティティのコード部分に対応する参照符号が設けられる。

［結論］
添付図面を参照して上述された詳細な説明は、特許請求の範囲で定義される、本発明の単なる例示及び更なる特徴の例示である。本発明は、様々な異なるやり方で実現することができる。これを例示するため、幾つかの代替が簡単に示される。

本発明は、カラー画像に関わる様々なタイプの製品又は方法における利点に適用される場合がある。たとえば、本発明は、たとえばセルラフォン又はパーソナルデジタルアシスタント（ＰＤＡ）のようなカラーディスプレイが設けられた携帯用通信装置に適用される場合がある。改善されることとなるカラー画像は、様々な異なるやり方で受信される。図２は、ネットワークを介してサーバからカラー画像が受信される例である。他の応用では、カラー画像は、たとえば光ディスク、ハードディスク又は固体メモリのようなデータキャリアを読取る読取りモジュールから受信される場合がある。係る読取りモジュールは、本発明が適用されるイメージレンダリング装置の一部を形成する場合がある。本発明に従って改善されるカラー画像は、必ずしも特定のフォーマットである必要はない。詳細な説明は、カラー画像がいわゆるＹＵＶフォーマットである例を提供する。他の例として、いわゆるＹＣｒＣｂフォーマットのカラー画像又はＨＳＶフォーマットのカラー画像が本発明に従って改善される場合がある。

色の彩度の度合いに依存する程度にまで画像データにおける空間的な詳細をフィルタリングする様々な方式が存在する。詳細な説明は、ある画像領域における空間的な詳細が、彩度の度合いが高いときに高い程度にまで強調される例を提供する。空間的な詳細を強調することは、高域通過フィルタリングに等しい。別の例として、空間的な詳細は、彩度の度合いが高いときに高い程度にまで低域通過フィルタリングを受ける場合がある。すなわち、空間的な詳細は、彩度の度合いが高いときに高い程度にまで減衰される。係るフィルタリング技術は、たとえばＶＨＳタイプのビデオカセットを読取ることで得られるビデオ信号を処理するために有利な場合がある。係るビデオカセットについて、飽和されたカラープレーンで比較的強い雑音を生じさせる変調技術により、色情報が記憶される。この雑音は、関与されるプレーンにおける彩度の度合いが高いときに高い程度の低域通過フィルタリングを適用することで低減することができる。知覚的な画質が改善される。また、これは、関与されるプレーンにおける色の彩度の度合いが低いときに大きい程度の高域通過フィルタリングを適用することで得られる。係る応用において、彩度が比較的低い画像領域においてのみ詳細が強調され、知覚的な画質に悪影響を及ぼすカラーノイズの強調が回避される。

画像における空間的な詳細をフィルタリングする様々な方法が存在する。詳細な説明は、関心のある画素と隣接する画素との間の値における差が画素毎に増幅される例を提供する。別の例として、フィルタアレンジメントは、たとえば、あるオブジェクトの境界の周りの画素のセットのような、詳細を表す特定の画素のセットを検出する場合がある。次いで、フィルタアレンジメントは、係るがそのセットに存在する高周波成分を増幅する場合がある。たとえば、高域通過フィルタリングは、比較的多くの詳細を含む画像における領域であって、色が比較的高い程度にまで飽和されている領域に選択的に適用される場合がある。周波数分析技術は、比較的多くの詳細を有する領域を識別するために使用される場合がある。

色の彩度の度合いを検出する様々な方法が存在する。詳細な説明は、関心のある画素に属する色度値と中央値との間で絶対差が決定されるれを提供する。別の例として、特定の画像領域におけるそれぞれの画素のそれぞれの色度値は、色の彩度の度合いを決定するように分析される場合がある。色度値のペアは、所与の長さを有するベクトルの形式で表される。色の彩度の度合いは、係るベクトルの長さから導出される場合がある。１以上の色度値に基づいて、彩度の度合いを反映する制御値を発生する様々なやり方が存在する。第一に、制御値を発生する適切な方法は、カラー画像のカラーフォーマットに依存する。さらに、制御値は、非線形の方式で彩度の度合いと共に変化する場合がある。詳細の強調の度合いは、必ずしも、彩度の度合いと比例する必要はない。

用語「画像」は、広い意味で理解されるべきである。この用語は、たとえばピクチャ、フレーム又はフィールドのような視覚的にレンダリングされるエレメントを含む。用語「フィルタリング」は、広い意味で理解されるべきである。この用語は、関心のある画素の１つの特性、又は関心のある画素のグループの特性が、空間的、時間的又はその両者で、隣接する位置を有する他の画素に依存して変更されることによる任意のタイプの処理を含む。

広義語において、ハードウェア又はソフトウェア、或いはその両者の組み合わせにより機能的なエンティティを実現する様々なやり方が存在する。これに関して、図面は、非常に概略的である。図面は異なるブロックとして異なる機能的なエンティティを示すが、これは、１つのエンティティが幾つかの機能を実行する実現、又は幾つかのエンティティが１つの機能を実行する実現を決して排除するものではない。たとえば、図２を参照して、詳細強調モジュールＤＥ２，ＤＥ３は、１つのソフトウェアモジュールにより実現される場合がある。

本発明に従ってプログラマブル回路が動作するのを可能にするソフトウェアである、命令のセットを記憶及び配信する様々な方法が存在する。たとえば、ソフトウェアは、光ディスク又はメモリ回路のような適切な媒体に記憶される場合がある。記憶されるソフトウェアは個々の製品として供給されるか、又は別の製品と一緒に供給される場合がある。係る媒体は、ソフトウェアが実行されるのを可能にする製品の一部である場合がある。また、ソフトウェアは、有線、無線又はハイブリッドである場合がある通信ネットワークを介して配信される場合がある。たとえば、ソフトウェアは、インターネットを介して配信される場合がある。ソフトウェアは、サーバによるダウンロードのために利用可能にされる場合がある。ダウンロードは、支払いを条件とする場合がある。

上述された見解は、添付図面を参照した詳細な説明が本発明を限定するのではなく例示することを示す。特許請求の範囲に含まれる様々な代替が存在する。請求項における参照符号は、請求項を限定するものとして解釈されるべきではない。単語「備える」は、請求項に列挙された以外のエレメント又はステップを排除するものではない。エレメント又はステップに先行する単語“ａ”又は“ａｎ”は、複数の係るエレメント又はステップの存在を排除するものではない。それぞれの従属の請求がそれぞれの更なる特徴を定義する事実は、従属の請求項の組み合わせに対応する更なる特徴の組み合わせを排除するものではない。

Claims (7)

1. 画像領域におけるそれぞれの画素のそれぞれの色度値から決定される彩度を検出する彩度検出ステップと、
   前記画像領域における少なくとも１つの画素を、前記色度値から決定される彩度に依存してフィルタリングするフィルタリングステップと
   を含み、
   前記フィルタリングステップは、前記画像領域におけるそれぞれの画素を、関心のある複数の画素として順番に指定して、前記画像領域における前記関心のある複数の画素に関して、関心のある画素の値と、当該画素に隣接する画素の平均値との差を、前記色度値から決定される彩度が高いときにより大きく増幅し、増幅される前記値の差は、輝度値及び色度値を含み、色度値の差の増幅前後の差は、輝度値の差の増幅前後の差よりも大きい、
   イメージエンハンスメント方法。
2. 前記彩度検出ステップは、
   前記関心のある複数の画素に属する色度値と、色度値のとり得る値の中央の値との間で、絶対差を決定する中央偏差検出サブステップと、
   前記絶対差に基づいて、前記関心のある複数の画素と前記隣接する画素との間の値における差の増幅前後の差を決定する制御値を発生する制御値発生サブステップと、
   を含む請求項１記載のイメージエンハンスメント方法。
3. 前記フィルタリングステップは、
   前記隣接する画素の輝度の平均値を決定する典型値計算サブステップと、
   前記輝度の平均値を前記関心のある複数の画素に属する値から減算して、差分値を取得する減算サブステップと、
   前記差分値を前記色度値から決定される彩度が高いときに大きいファクタで乗算して、増幅された差分値を取得する乗算サブステップと、
   前記輝度の平均値を増幅された差分値に加算して、前記関心のある複数の画素の修正された値を取得する加算サブステップと、
   を含む請求項１または２記載のイメージエンハンスメント方法。
4. 予め決定された、関心のある複数の画像を含む画像領域に基づいて、前記関心のある複数の画素を含む画素の集合を形成する画素選択ステップを含み、
   前記画素の集合において、前記値の差を、前記色度値から決定される彩度が高いときにより大きく増幅し、増幅される前記値の差は、輝度値及び色度値を含み、色度値の差の増幅前後の差は、輝度値の差の増幅前後の差よりも大きい、
   請求項１から３のいずれか一項に記載のイメージエンハンスメント方法。
5. 画像領域におけるそれぞれの画素のそれぞれの色度値から決定される彩度を検出する彩度検出器と、
   前記色度値から決定される彩度に依存する程度にまで前記画像領域における少なくとも１つの画素をフィルタリングするフィルタアレンジメントと
   を有し、
   前記フィルタアレンジメントは、前記画像領域におけるそれぞれの画素を、関心のある複数の画素として順番に指定して、前記画像領域における前記関心のある複数の画素に関して、関心のある画素の値と、当該画素に隣接する画素の平均値との差を、前記色度値から決定される彩度が高いときにより大きく増幅し、増幅される前記値の差は、輝度値及び色度値を含み、色度値の差の増幅前後の差は、輝度値の差の増幅前後の差よりも大きい、
   イメージエンハンサ。
6. カラー画像を処理して改善されたカラー画像を得るための請求項５記載のイメージエンハンサと、前記改善されたカラー画像を表示する表示装置とを有するイメージレンダリングシステム。
7. プログラマブルプロセッサ用のコンピュータプログラムであって、
   前記プログラマブルプロセッサにロードされたとき、前記プログラマブルプロセッサに、請求項１に記載のイメージエンハンスメント方法を実行させる命令のセットを含む、
   ことを特徴とするコンピュータプログラム。

Images