JP5496556B2 - グラフィック画像用のカラーエンハンスメント - Google Patents

Description

本発明は、画像処理、及びコンピュータを利用したシステムで表示される画像の品質を改善する技術に関する。

ビデオの後処理パイプラインのタスクのうちの１つは、オートマチックカラーエンハンスメントである。色相、飽和度、輝度（ＨＳＬ）色空間では、カラーエンハンスメント、色相調整及び飽和度調整について変化する２つの異なる態様が存在する。典型的な色相調整の例は、クロミナンス信号の位相を対応するフェイシャルトーンの位相の近く移すことによる、フェイシャルトーンの補正である。フェイシャルトーンにおける位相誤差が低減される一方で、他の色成分の位相誤差が増加される。

また、飽和された色がユーザの目にとって注意を喚起するため、色飽和は重要である。より生き生きとした画像を得るため、ある画像の飽和を調節する基本的なアプローチは、画像のクロミナンスベクトルのゲインを増加することによる。この操作は、オリジナルのクロミナンスベクトルを飽和ベクトルで乗算することに等価である。慣習的に、カラーエンハンサは、入力画像の特性に係らず、プリセット及び固定された飽和のファクタを通常使用する。飽和されていないビデオ画像について、固定された飽和ファクタを適用することで、生き生きとした作用を得ることができる。

しかし、既に飽和されたビデオ画像について、オーバーサチュレーションの調整から、オーバーサチュレーション（over-saturation）及び画像の詳細の損失が生じる場合がある。

さらに、色飽和を直接的に増加するとき、カラーバンディング（color banding）が生じる場合がある。カラーバンディングは、ディスプレイが滑らかな色の勾配をレンダリングすることができないとき、代わりに、特に非常に明るい領域又は非常に暗い領域において色のストライプ又はバンドを与えるときに生じる。

本発明の１実施の形態の概念図である。 図１に示される実施の形態のフローチャートである。 １実施の形態のシステムのブロック図である。

図１を参照して、カラーエンハンスメントシステム１０は、色相、輝度、飽和（ＨＳＬ）色空間における飽和でのみ動作する。入力の輝度値及び入力の色相値は、システム１０により影響されない。代わりに、幾つかの実施の形態において、入力の飽和のみが変更される。幾つかの実施の形態では、飽和のエンハンスメントは、コントラストのエンハンスメントに類似する。

はじめに、ヒストグラムが初期化される。ヒストグラムは、ヒストグラム内の全てのエントリの同じ数を入力することで初期化される。可能性のある飽和値が０〜２５５である幾つかの実施の形態では、それぞれの値は、たとえば５００である最初のエントリで与えられる。幾つかの実施の形態では、飽和値がグループ化されるように、全ての２５６の値を使用する代わりに、６４の値のみが使用される。たとえば、飽和値０〜３、４〜７等は、個別のグループである。ヒストグラムは、０〜２５５の所与の値が入力画像における画素内で何回遭遇したかを基本的に記録する。したがって、ブロック２２においてヒストグラムを初期化した後、ブロック２４において局所的な変化が測定される。

局所的な変化を測定するため、それぞれの画素について、中央の画素とその隣接する画素との間の飽和の類似性が測定される。たとえば、１実施の形態では、中央の画素は、必要に応じて、４つの隣接する画素又は８つの隣接する画素に比較される。比較を行うため、中央の画素の飽和の値は、その隣接する画素の飽和の値の平均に比較される。例として、中央の画素の飽和値とその周囲の画素の飽和値との絶対差の合計が決定される。合計がたとえば５０である予め定義された閾値よりも高い場合、中央の画素は、色飽和の観点で、非一様の領域からの画素として扱われる。したがって、この画素値に対応するヒストグラムにおけるエントリは、たとえば１だけ増加される。合計が閾値よりも小さい場合、最も好ましくは、画素は、一様な飽和の領域からの画素である。この場合、１実施の形態では、この画素の飽和に対応するエントリの値は変わらない。

画像全体を画素毎にスキャニングした後、ヒストグラムは、たとえば０〜２５５であるそれぞれ潜在的な飽和値のカウントを記録する。ヒストグラムは、画像におけるどの位の数の画素が特定の飽和値を有するかを示す。しかし、局所的な色分散をもつ画素値は実際に増加するために、ヒストグラムは僅かに偏る。ブロック２０において示される、結果的に得られるヒストグラムは、履歴の飽和のルックアップテーブル（ＬＵＴ）１６で保持される履歴のヒストグラムと結合される。ブロック１８で、更新されたヒストグラム（ブロック２０）を履歴のヒストグラム（ブロック１６）とを合わせる（ブレンドする）ことで、幾つかの実施の形態では、飽和の変化のサイズが低減され、隣接するフレーム間のフリッカの作用が低減される。

１実施の形態では、新たなヒストグラム（ブロック２０）と履歴のヒストグラム（ブロック１６）との重み付けされた平均は、ブレンドのために使用される。たとえば、１実施の形態では、現在のヒストグラムは、９／１６として重み付けされる。次いで、新たなヒストグラムは、履歴の飽和のルックアップテーブル１６に記憶される。１実施の形態では、履歴のヒストグラムと現在のヒストグラムのブレンドは、重み付けされた平均を使用して、アルファブレンディングにより行われる。重みの正確な値又は重みの使用は、かなり変更される場合がある。

次いで、新たなデータ及び履歴データからブレンドされた新たなヒストグラムは、新たなルックアップテーブル１６として記憶され、次いで、ローカルコピーの飽和のルックアップテーブル１２における入力の飽和度を調整するために使用される。ルックアップテーブル１２は、新たなルックアップテーブル１６に記憶された履歴の飽和のルックアップテーブルのローカルコピーを記憶する。さらに、ローカルコピーは、２５５からのそれぞれ可能性のある飽和のレベルの値を提供するために変換される。したがって、飽和のルックアップテーブル１６は、０から３まで及び４から７まで等といった、それぞれの飽和値のグループについて値を有し、０から２５５の可能性のある値のそれぞれについてヒストグラムの値を作成するために補間が使用される。

ルックアップテーブル（ブロック１２）を使用して、入力の飽和値が調節される。更新されたローカルのヒストグラムに基づいて、入力画像についてヒストグラムのイコライゼーションが実行される。

次いで、幾つかの実施の形態では、ローカルコピーの飽和のルックアップテーブル１２の出力は、出力の飽和値として使用される。しかし、バンディング抑圧ブロック１４において、新たな値を入力の飽和値でブレンドすることにより、ローカルコピーの飽和のルックアップテーブル１２の出力値を変更することは、バンディングの抑制にとって有利である。幾つかの実施の形態では、入力の飽和値と、ローカルコピーの飽和のルックアップテーブル１２からの値との重み付け平均は、ブロック１４において使用される。結果として、カラーバンディングは、幾つかの実施の形態において抑圧される。

結果として、幾つかの実施の形態では、飽和が更に一様にされ、飽和のコントラストが改善され、幾つかのケースにおいて、ある画素とその隣接する画素との間の差は増加される。

図２におけるフローチャートは、図１に示された機能を実現する１つのシーケンス２６を示す。幾つかの実施の形態では、カラーエンハンスメントシステム１０は、実行されたときに、図１に示される機能を達成するコンピュータにより読み取り可能な命令を記憶する記憶装置を使用してソフトウェアで実現される。他の実施の形態では、この目的のためにハードウェアが使用される。

はじめに、ブロック２８で示されるように、ローカルコピーの飽和のルックアップテーブル（LUT: Look Up Table）１２が初期化及び定義される。さらに、ブロック３０で、履歴のヒストグラムを記憶する飽和のルックアップテーブル１６が定義され、初期化される。次いで、ブロック３２で示されるように、画像におけるそれぞれの画素について、局所的な変化（VL: Local Variation）が測定される。ブロック３４で判定されるように、局所的な変化が予め定義された閾値ＰＴよりも小さいか、又は予め定義された閾値に等しい場合、ブロック３６で示されるように、画素値ＰＶは、１だけ増加される。フローは、ブロック３８で示されるように、画像における最後の画素が処理されるまで繰り返される。

このとき、ブロック４０で示されるように、上述されたように、６４のような小数の値から２５６の補間された値を提供するため、情報が正規化される。次いで、ブロック４２で示されるように、新たなヒストグラムが履歴のヒストグラムとブレンドされる。ブロック４４において、出力の輝度（OL: Output Luminance）は、入力の輝度（IL: Input Luminance）に等しく設定される。ブロック４６において、出力の色相（OH: Output Hue）は、入力の色相（IH: Input Hue）に等しく設定される。ブロック４８において、出力の飽和（OS: Output Saturation）は、ローカルコピーの飽和のルックアップテーブル１２に記憶される履歴のルックアップテーブル（HLUT: Historical Look Up Table）の値に等しく設定される。次いで、ブロック５０において、ローカルコピーの飽和のルックアップテーブルの値及び入力の飽和値がブレンドされる。ブロック５２で判定されるように、最後の画素が終了されたとき、フローは終了する。

図３を参照して、１実施の形態において、グラフィックスプロセッサ１１２は、図１の機能ブロックを達成するビデオの後処理パイプラインを含む。グラフィックスプロセッサ１１２は、バス１０６によりフレームバッファ１１４に結合される。フレームバッファ１１４は、グラフィックスプロセッサ１１２により生成される画像を表示するため、ディスプレイスクリーン１１８に結合される。バス１０７及び１０８は、ディスプレイスクリーン１１８に結合され、このディスプレイスクリーンは、キーボード又はマウス１２０に結合される。

グラフィックスプロセッサ１１２は、１実施の形態では、バス１０５により、チップセットコアロジック１１０に結合され、このチップセットコアロジック１１０は、バス１０４によりメインプロセッサ１００とストレージ１３０を結合する。ストレージ１３０は、幾つかの実施の形態では、メインメモリ１３２、ハードドライブ１３４、及び取り外し可能な光又は磁気媒体１３６を含む。幾つかの実施の形態では、図２に示されるシーケンス２６は、ソフトウェアで実現され、メインメモリ１３２の領域１３９に記憶される。しかし、本発明は、ソフトウェアの実施の形態に限定されるものではない。また、メインメモリ１３２は、幾つかの実施の形態では、図１に示される様々なルックアップテーブルを記憶する。勿論、幾つかの実施の形態では、ストレージは、任意の他のストレージデバイスにあるか、或いは、メインプロセッサ１００又はグラフィックスプロセッサ１１２のようなコンポーネントにある。

本実施の形態で記載されるグラフィックス処理技術は、様々なハードウェアアーキテクチャで実現される。たとえば、グラフィックス機能は、チップセットに統合される。代替的に、ディスクリートなグラフィックスプロセッサが使用される場合がある。更に別の実施の形態として、グラフィックス機能は、マルチコアプロセッサを含む汎用プロセッサにより実現される。

この明細書を通して「１実施の形態」又は「実施の形態」に対する参照は、実施の形態と関連して記載される特定の特徴、構造又は特性が本発明に包含される少なくとも１つの実現に含まれることを意味する。したがって、フレーズ「１実施の形態では」又は「実施の形態では」の出現は、同じ実施の形態を必ずしも引用するものではない。さらに、特定の特徴、構造又は特徴は、例示される特定の実施の形態以外の他の適切な形態で設けられ、全ての係る形態は、本出願の特許請求の範囲に包含される。

本発明は、制限された数の実施の形態に関して記載されたが、当業者であれば、そこから様々な変更及び変形を理解されるであろう。特許請求の範囲は、本発明の真の精神及び範囲に含まれる全ての変更及び変形をカバーすることが意図される。

Claims (5)

1. 画像における特定の画素の飽和値と前記特定の画素に隣接する画素の飽和値との間の変化を測定するステップと、
   測定された変化に基づいて、前記画像においてどの位多くの画素が特定の飽和値を有しているかを示すヒストグラムを更新するステップと、
   更新される前のヒストグラムと更新された後のヒストグラムとを結合するステップと、
   入力された飽和値と結合されたヒストグラムの値とをブレンドすることで、前記入力された飽和値を調整するステップと、
   入力された飽和値と、調整された飽和値とを結合することで、カラーバンディングを抑圧するステップと、
   を含むことを特徴とする方法。
2. 前記抑圧するステップは、前記入力された飽和値と前記調整された飽和値との重み付け平均を計算するステップを含む、
   請求項１記載の方法。
3. 前記更新するステップは、前記測定された変化が予め決定された閾値未満であるか又は前記予め決定された閾値に等しいとき、前記更新される前のヒストグラムにおける前記特定の画素の値を１だけ増加させるステップを含む、
   請求項１記載の方法。
4. 前記結合するステップは、前記更新される前のヒストグラムと前記更新された後のヒストグラムの重み付け平均を計算するステップを含む、
   請求項１記載の方法。
5. 画像における特定の画素の飽和値と前記特定の画素に隣接する画素の飽和値との間の変化を測定する手段と、
   測定された変化に基づいて、前記画像においてどの位多くの画素が特定の飽和値を有しているかを示すヒストグラムを更新する手段と、
   更新される前のヒストグラムと更新された後のヒストグラムとを結合するステップと、
   入力された飽和値と結合されたヒストグラムの値とをブレンドすることで、前記入力された飽和値を調整する手段と、
   入力された飽和値と、調整された飽和値とを結合することで、カラーバンディングを抑圧する手段と、
   を備えることを特徴とするカラーエンハンスメントシステム。

Images