JP5539387B2 - スキン・カラー・エンハンスメントの画像処理方法およびシステム - Google Patents

Description

分野

本開示は、一般に、スキン・カラー・エンハンスメント(skin color enhancement) システムおよび方法に関する。

関連技術の説明

技術が進歩した結果、計算デバイスはさらに小型で、よりパワフルになった。たとえば、小型で軽量であってユーザにより容易に携帯されるポータブル(portable)無線電話、携帯情報端末(personal digital assistants：PDAs)およびページング・デバイスのような、無線計算デバイスを含む様々なポータブル・パーソナル(portable personal)計算デバイスが現在存在している。より具体的には、セルラー(cellular)電話およびインターネット・プロトコル(IP)電話のようなポータブル無線電話は、無線ネットワーク上で音声およびデータパケットを通信することができる。さらに、多くのそのような無線電話は、そこに組込まれている他の複数のタイプのデバイスを含む。たとえば、無線電話はまた、デジタル・スチル・カメラ(digital still camera)、デジタル・ビデオ・カメラ、デジタル・レコーダおよびオーディオ・ファイル・プレーヤを含むことができる。さらに、そのような無線電話は、インターネットにアクセスするために使用されることができる、ウェブ・ブラウザ・アプリケーションのような、ソフトウェア・アプリケーションを含む実行可能な複数の命令を処理することができる。したがって、これらの無線電話はかなりの計算能力を含むことができる。

デジタル信号プロセッサ(DSP)、画像プロセッサ、および他の処理デバイスは、デジタル・カメラを含む、あるいはデジタル・カメラによって捕獲された(captured)画像またはビデオ・データを表示するポータブル・パーソナル計算デバイスにおいて頻繁に使用される。そのような処理デバイスは、ビデオおよびオーディオ機能を提供し、画像データのような受取られたデータを処理し、あるいは他の複数の機能を行なうために使用されることができる。

特定の実施形態において、画像(an image)に対応する画像データを受け取ることを含む方法が開示されている。該画像は、スキン・トーン・カラー(a skin tone color)を有する画像領域を含む。該方法はまた、修正された色相値(a modified hue value)および修正された飽和値(a modified saturation value)を含む修正された画像データ(modified image data)を生成するために、該スキン・トーン・カラーを有する該画像領域中の色相値および飽和値を修正するように、該画像データを自動的に処理することを含む。該方法はメモリ中に該修正された画像データを格納することをさらに含む。

別の特定の実施形態においては、色空間中におけるピクセルの場所(location)を表わす色成分データを含む画像データを受け取ることを含む方法が開示されている。該方法は、場所が色空間のスキン・カラー領域内として識別されるときに該色空間中の該ピクセルの該場所の一次変換(linear transformation)を行なうことをさらに含む。該一次変換は、該スキン・カラー領域内の該ピクセルの位置(position)に基づいて、かつ該ピクセルの該位置と該スキン・カラー領域の境界との近さ(the proximity of the position of the pixel to a boundary of the skin color region)に基づいて、該スキン・カラー領域の第１の部分におけるピクセルの場所を、該スキン・カラー領域の第２の部分にマップすることにより行なわれる。該色空間は、該一次変換を適用した後、該スキン・カラー領域の該境界で実質的に連続したままである(remains substantially continuous)。

別の特定の実施形態において、画像におけるカラーを調節する(adjust color in an image)方法が開示されている。該方法は、色空間の指定された領域に及ぶ複数の三角形領域の第１のセットを定義することを含む。複数の三角形領域の該第１のセットの各三角形領域は、該指定された領域内の共通した点(point)における頂点(vertex)と、該指定された領域の境界に沿った第１の辺(edge)とを有する。該方法は、該色空間内の複数の三角形領域の第２のセットを定義することを含む。複数の三角形領域の該第２のセットの各三角形領域は第２の共通した点における頂点を有する。該第２の共通した点は、第１の共通した点に対して平行移動させられる(translated)。該方法は、該色空間中における複数のピクセルの場所を表わす色成分データを含む画像データを受け取ることを含む。該複数のピクセルのある部分は、該指定された領域内に色成分データを有する。該方法はまた、該指定された領域内に色成分データを有する各特定のピクセルに関して、該特定のピクセルを含む第１のセットの複数の三角形領域のうちの第１の三角形領域を決定することを含む。該方法は、各特定のピクセルの色空間場所を、複数の三角形領域の第２のセットの第２の三角形領域内の対応する場所にマップすることを含む。

別の特定の実施形態において、画像のカラーを調節するためにコンピュータ可読媒体上に格納されたコンピュータ・プログラムを含むシステムが開示されている。該コンピュータ・プログラムは、クロマ色空間(a chroma color space)中におけるピクセル値を表わす色成分データを含む画像データを受け取ることをコンピュータに行なわせるように実行可能である複数の命令を有する。該コンピュータ・プログラムは、ピクセルの場所が該クロマ色空間のスキン・カラー領域内として識別されるときに該ピクセル値に関連したピクセルの一次変換を行なうように実行可能である複数の命令をさらに含む。該一次変換は、該スキン・カラー領域内の該ピクセルの位置に基づいて、かつ該ピクセルの該位置と該スキン・カラー領域の境界との近さに基づいて、該スキン・カラー領域の第１の部分における該ピクセルの該場所を、該スキン・カラー領域の第２の部分にマップすることにより行なわれる。該クロマ色空間は、該一次変換を適用した後、該スキン・カラー領域の該境界で実質的に連続したままである。

別の特定の実施形態においては、クロマ色空間中におけるピクセルの場所を表わす色成分データを含む画像データを受け取る入力を含む装置が開示されている。該装置はまた、入力に結合された画像処理パスを含む。該画像処理パスは、黄色が少なく見えるように(to appear less yellow)画像の複数のスキン・トーンの色空間マッピング(color space mapping)を行なうことによって修正された画像データを生成するように構成されたスキン・カラー調節回路を含む。

開示されている複数の実施形態によって提供される１つの特定の利点は、無線デバイス上で行なわれることができる画像データの効率的なカラー再マッピング(remapping)である。

図１は、スキン・カラー調節モジュールを有する画像処理システムを含むシステムの特定の例示的な実施形態のブロック図である。 図２は、一次変換を示すブロック図であり、複数の三角形領域の第１のセットが色空間のスキン・トーン領域を定義している 図３は、図２に示された複数の三角形領域の該第１のセットの共通の頂点が、該色空間において変換頂点場所(transformed vertex location)へ変換される(is transformed)、一次変換を示す図である。 図４は、複数の明るいスキン・トーンを有するスキン・グループのスキン・サンプル分布を示す図である。 図５は、複数の中間のスキン・トーンを有するスキン・グループのスキン・サンプル分布を示す図である。 図６は、複数の暗いスキン・トーンを有するスキン・グループのスキン・サンプル分布を示す図である。 図７は、画像のカラーを調節して肌の黄色がかった色調 (yellowish tones of skin)を減少させるための、スキン・サンプル分布上の複数の変換三角形 (transformation triangles)の配置を示す図である。 図８は、カラー領域を回転させることによるカラー再マッピングの方法の特定の例示的な実施形態の図である。 図９は、画像におけるカラーを調節する方法の第１の例示的な実施形態のフローチャートである。 図１０は、画像におけるカラーを調節する方法の第２の例示的な実施形態のフローチャートである。 図１１は、画像におけるカラーを調節する方法の第３の例示的な実施形態のフローチャートである。 図１２は、スキン・カラー調節モジュールを有するプレイバック装置(playback apparatus)の特定の実施形態のブロック図である。 図１３は、スキン・カラー調節モジュールを有する画像処理ツールの特定の実施形態のブロック図である。 図１４は、カラー調節モジュールを含むポータブル通信デバイスのブロック図である。 図１５は、カラー調節モジュールを含む画像センサ・デバイスの特定の実施形態のブロック図である。

詳細な説明

図1を参照すると、カラー調節モジュールを有する画像処理システムを含むシステムの特定の例示的な実施形態が全体的に100で示されている。該システム100は、画像処理システム130に結合された画像捕獲デバイス101を含む。該画像処理システム130は画像記憶装置140に結合される。該画像処理システム130は、該画像捕獲デバイス101から画像データ109を受け取り、該画像データ109を介して受け取られた画像のスキン・トーン・カラーのようなカラーを調節するためにカラー調節動作を行なうように構成される。特定の実施形態では、該システム100は、比較的制限のある複数の処理リソースを使用して実時間画像処理を行なうように構成されたポータブル電子デバイス中においてインプリメント(implemented)される。

特定の実施形態においては、該画像捕獲デバイス101は、ビデオ・カメラまたはスチール・カメラのようなカメラである。該画像捕獲デバイス101は、焦点合せモジュール104と露出モジュール106とに応答するレンズ102を含む。センサ108は、レンズ102によって光を受け取り、該レンズ102によって受け取られた画像に応答して画像データ109を生成するために結合される。該焦点合せモジュール104は該センサ108に応答することができ、該レンズ102の焦点合せを自動的に制御するように構成されている。該露出モジュール106もまた該センサ108に応答することができ、該画像の露出を制御するように構成されている。特定の実施形態において、該センサ108は、隣接した複数の検出器が光の異なるカラーを検出するように配列されているマルチプルの(multiple)検出器を含む。たとえば、受取られた光は、各検出器が赤、緑あるいは青の入って来る光を受け取るように、ろ波される(filtered)ことができる。

該画像捕獲デバイス101は、該画像処理システム130の入力131へ該画像データ109を提供するように結合される。該画像処理システム130は該画像データ109に応答し、デモザイク（demosaicing）モジュール110を含む。該画像処理システム130はまた該デモザイク・モジュール110から受け取られるデータからガンマ補正されたデータを生成するためのガンマ・モジュール112を含む。色較正モジュール114は、該ガンマ補正されたデータに関して較正を行なうために結合される。色空間変換モジュール(a color space conversion module)116は、該色較正モジュール114の出力を色空間に変換するために結合される。スキン・カラー調節モジュール118は、該色空間中のスキン・カラーを調節するために結合される。該スキン・カラー調節モジュール118は、ルックアップ・テーブル(LUT)122とユーザ入力124とに応答することができる。圧縮及び格納モジュール120は、該スキン・カラー調節モジュール118の出力を受け取り、圧縮された出力データ121を該画像記憶装置140へ格納するために結合される。該画像処理システム130に応答する出力132は、該画像記憶装置140へ出力データ121を提供するように構成される。

該画像記憶装置140は該出力132結合され、該出力データ121を格納するように構成される。該画像記憶装置140は、１またはそれより多くのディスプレイ・バッファ、レジスタ、キャッシュ、フラッシュ・メモリ要素、ハードディスク(disks)、任意の他の記憶装置、あるいはその組合せのような、任意のタイプの記憶媒体を含むことができる。

動作中に、該スキン・カラー調節モジュール118は、該入力された画像データ109のカラー調節を効率的に行なうことができる。たとえば、図２−１１に関して記述されるように、該スキン・カラー調節モジュール118は色空間のスキン・カラー領域内で１またはそれより多くの一次変換を行なうことができる。特定の実施形態において、ユーザ入力124は、スキン・カラー・変換のユーザ・プリファランス(user preference)を示すために該システム100のディスプレイ・インターフェースあるいは他のユーザ・インターフェースを介して受け取られることができる。例示するために、該ユーザ入力124は該スキン・カラー領域のサイズまたは形、あるいはその後の(subsequent)複数の画像に関する該スキン・カラー領域の変換の量または方向を示すことができる。たとえば、該ユーザ入力124は、（結果として得られる）合成(resultant)ピクチャあるいはビデオを、より満足できるものにするスキン・カラーを修正するためにスキン・カラー領域の変換(a transform of a skin color region)を示すことができる。例示するために、該ユーザ入力124は、肌をより青白く(pale)見せる黄色の量を減らすようにスキン・カラー領域の変換を指定することができる。別の実施形態では、該スキン・カラー調節モジュール118はユーザ入力に応答することができず、その代りに、ユーザによって提供されない予め決められた(predetermined)あるいは固定された設定(settings)にしたがって動作するように構成されることができる。

該スキン・カラー調節モジュール118は、特定の色空間中におけるピクセルの場所を示すピクセル・カラー・データを受け取ることができ、該画像データ109の各ピクセルが１つのスキン・トーンに対応する該色空間の三角形領域内にあるかどうかを決定することができる。該スキン・カラー調節モジュール118は、複数の幾何学的な計算を使用して各ピクセルが三角形領域中にあるかどうかを決定するように構成されることができる。たとえば、該スキン・カラー調節モジュール118は、三角形領域の周囲の複数の線分(line segments)を横切る(traverse)アルゴリズムをインプリメントし、ピクセルが該複数の線分のそれぞれの同じ側にあるかどうかに基づいて、該ピクセルが該三角形領域内にあるかどうかを決定することができる。しかしながら、そのような複数の計算は計算上集中的であることができ、実時間画像処理システムにおいて迅速に計算するのは困難であり得る。該例示された実施形態では、ルックアップ・テーブル表120は、特定のピクセルが該スキン・トーン領域に対応するかどうかの効率的な実時間決定のために各三角形領域内にある複数の色空間座標を示すデータを格納する。該ルックアップ・テーブル120はまた、該スキン・トーン領域における各ピクセルに関する変換データを格納することができる。その代わりに、該スキン・カラー調節モジュール118は、該ピクセルが特定の三角形領域内にあるとの決定に基づいて、該スキン・トーン領域中における各ピクセルの該変換を計算することができる。したがって、該スキン・カラー調節は、ビデオ・データまたは画像データが該画像記憶装置140において記憶される前に、ビデオ・フレーム・レートでのビデオ・データまたは静止画像(still image)データの実時間処理中にこのように自動的に行なわれることができる。図１はルックアップ・テーブル120に結合されたスキン・カラー調節モジュール118を示しているが、他の複数の実施形態では、該画像処理システム130は該ルックアップ・テーブル120を含まないことができ、その代わりに、該スキン・カラー調節モジュール118は、各ピクセルが三角形領域内にあるか否かを決定するために複数の計算を行なう。

図２を参照すると、図１のスキン・カラー調節モジュール118によって行なわれ得る一次変換の特定の例示的な実施形態が全体的に200で示されている。複数の三角形領域T1 204、T2 206、T3 208、およびT4 210の第１のセットは、色空間202のスキン・トーン領域に及ぶ。特定の実施形態では、該色空間202は、赤の色差成分Ｃｒ(a red-difference chroma component Cr)と青の色差成分Ｃｂ(a blue-difference chroma component Cb)とを有するＣｒ−Ｃｂあるいはクロマ色空間である。三角形領域T1 204は、頂点P1 220、P4 226と共通の頂点228とによって定義される。三角形領域T2 206は、頂点P1 220、P2 222および共通の頂点228によって定義される。三角形領域T3 208は、頂点P2 222、P3 224および共通の頂点228によって定義される。三角形領域T4 210は、頂点P3 224、P4 226および共通の頂点228によって定義される。各三角形領域T1 204、T2 206、T3 208、およびT4 210は、該スキン・トーン領域内の共通の点における頂点228および該スキン・トーン領域の境界に沿った第１の辺を有する。たとえば、三角形領域T1 204の第１の辺236は頂点P1 220およびP4 226によって定義される。三角形領域T2 206の第１の辺230は頂点P1 220およびP2 222によって定義される。三角形領域T3 208の第１の辺232は頂点P2 222およびP3 224によって定義される。三角形領域T4 210の第１の辺234は頂点P3 224およびP4 226によって定義される。

動作中に、一次変換は、共通の頂点228を該色空間202中の変換頂点場所に平行移動させながら、頂点P1 220、P2 222、P3 224、およびP4 226を保持することにより、該複数の領域T1-T4 204-210の各々内の点に関して行なわれる。図２に示されている例示的な例において、共通の頂点228は該辺境界(edge boundary)236の方向に平行移動させられ、変換の量あるいは「アグレッシブネス("aggressiveness")」の範囲を例示するために平行移動の方向に沿ったマルチプルの場所で示されている。該クロマ色空間は、赤の色差成分Ｃｒおよび青の色差成分Ｃｂを使用して色情報を表わすので、共通の頂点228を平行移動することによるＣｒ−Ｃｂ色空間中における一次変換はまた該画像データの色相値および飽和値を修正する。該一次変換は自動的に行なわれることができ、色相変換パラメータ、飽和変換パラメータ、あるいは両方のような、少なくとも１つのユーザ指定変換パラメータ(user specified transformation parameter)を含むユーザ入力に基づいて行なわれることができる。

図３を参照すると、一次変換を例示する図が全体的に300で示されており、ここで、図２の複数の三角形領域の該第１のセットの該共通の頂点228は、該色空間202中における変換頂点場所328へ変換される。三角形領域T1' 304, T2' 306, T3' 308, およびT4' の第２のセットは、該色空間202の該変換を表わす該色空間302の該スキン・トーン領域に及ぶ。特定の実施形態において、該色空間202は、赤の色差成分Ｃｒおよび青の色差成分Ｃｂを有するクロマ色空間である。三角形領域T1' 304は、頂点P1 220、P4 226、および共通の頂点328によって定義される。三角形領域T2' 306は、頂点P1 220、P2 222、および共通の頂点328によって定義される。三角形領域T3' 308は、頂点P2 222、P3 224、および共通の頂点328によって定義される。三角形領域T4' 310は、頂点P3 224、P4 226および共通の頂点328によって定義される。各三角形領域T1' 304, T2' 306, T3' 308、および T4' 310は、該スキン・トーン領域内の共通の点における頂点328および該スキン・トーン領域の境界に沿った第１の辺を有する。たとえば、三角形領域T1' 304の第１の辺236は、頂点P1 220およびP4 226によって定義される。三角形領域T2' 306の第１の辺230は、頂点P1 220およびP2 222によって定義される。三角形領域T3' 308の第１の辺232は、頂点P2 222およびP3 224によって定義される。三角形領域T4' 310の第１の辺234は、頂点P3 224およびP4 226によって定義される。

図２に関して上述されているように、動作中に、一次変換は、該色空間202中における該共通の頂点328の変換頂点場所に該共通の頂点228を平行移動させながら、頂点P1 220、P2 222、P3 224、およびP4 226を静止に保持することにより行なわれる。図３に示されている例示的な例において、該共通の頂点228は該辺境界236に向かって平行移動させられる。画像データの色相値および飽和値は、該共通の頂点228を平行移動した結果として修正される。該一次変換は自動的に行なわれることができ、あるいは色相または飽和のような少なくとも１つのユーザ指定変換パラメータを含むユーザ入力に基づいて行なわれることができる。特定の実施形態において、該色相値および該飽和値は、該スキン・トーン・カラーを有する該画像領域に対応する該画像データの色空間変換(color space transformation)に基づいて修正される。

特定の実施形態において、該色空間202の該スキン・カラー領域内としてピクセルの場所が識別されるときに、該クロマ色空間202中における該ピクセルの該場所の一次変換が行なわれる。オリジナルのクロマ平面中における各ピクセルに関しては、該特定のピクセルが該４つの三角形のうちの任意のものによって定義された該色空間中に場所されているかどうかの決定がなされる。換言すると、該ピクセルの該場所が三角形領域T1 204, T2 206, T3, 208, あるいはT4 210の第１のセットのうちの１つのものの内にあるかどうかの決定がなされる。該ピクセルの該場所が該スキン・カラー領域に及ぶ複数の三角形の第１のセット内として識別される場合、該ピクセルの該場所は、該色空間内の該ピクセルの位置に基づいて、かつ該ピクセルの該位置と該辺境界230、232、234および236のうちの１つとの近さに基づいて、該色空間の第２の部分にマップされる。該変換は、
Ｘ’＝ａ*Ｘ＋ｂ*Ｙ＋ｃ
Ｙ’＝ｄ*Ｘ＋ｅ*Ｙ＋ｆ
にしたがって行なわれる。

ＸとＹは変換の前の、ある１つの点の第１および第２の座標値を表わし、Ｘ’およびＹ’は変換の後の該点の第１および第２の座標値を表わす。図３に示された実施形態において、ＸはＣｒ−Ｃｂ色空間中における赤の色差成分Ｃｒに対応することができ、ＹはＣｒ−Ｃｂ色空間中における青の色差成分Ｃｂに対応することができる。係数(coefficients)ａ、ｂ、ｃ、ｄ、ｅ、およびｆは、特定の三角形の該複数の頂点に関する座標データを入力し(entering)、そして６つの式の結果的に生じたシステムを６つの未知の係数について解くことによって、該特定の三角形によって取り囲まれたエリアに関して決定されることができる。

該スキン・カラー領域の外側、あるいは該複数の三角形202、204、206、および208の複数の境界の外側の複数の点は平行移動しない。該クロマ色空間202は、該一次変換を適用した後に各三角形領域T1-T4の辺に沿って、および複数の辺230、232、234、および236によって定義された該スキン・カラー領域の境界で実質的に連続したままである。示されているように、該スキン・カラー領域の該境界により近い複数のピクセルは、該共通の頂点228により近い複数のピクセルより少なく移動されるので、各三角形領域内の全体的な空間は、特定の点の変換の量が該領域の該第１の辺までの該点の近さに依存するように、変換されることができる。特定の実施形態では、該色空間の該スキン・カラー領域内にピクセルが場所されているかどうかの決定は、一次補間(linear interpolation)を使用する二次元ルックアップ・テーブル・アプローチ(approach)を備えた、ソフトウェア、ファームウェア、あるいはハードウェア中においてインプリメントされることができる。

図４は、複数の明るいスキン・トーンを有するスキン・グループのスキン・サンプル分布400を示す図である。図５は、複数の中間スキン・トーンを有するスキン・グループのスキン・サンプル分布500を示す図である。図６は、複数の暗いスキン・トーンを有するスキン・グループのスキン・サンプル分布600を示す図である。図４、５および６に示されているスキン・サンプル分布のそれぞれにおいて、「良いサンプル」、すなわち視覚的に満足され得るサンプルは該Cr-Cb色空間の特定の領域において集中する傾向があり、一方あまり満足されることのできない「悪いサンプル」は該色空間の全体にわたってより分散している傾向があることに注意すべきである。図４−６に示されているスキン・カラーのプレファレンスは主観的であり、該示されている「良いサンプル」および「悪いサンプル」は例示を目的としたものに過ぎない。該スキン・カラーをエンハンスする(enhance)１つの方法は、該悪いサンプルを含む色空間領域中の該複数のカラーを、該良いサンプルのまわりの該色空間の該領域へ移動させることである。

図７を参照すると、画像のカラーを調節して肌の黄色がかった色調を減少させるための、スキン・サンプル分布上の複数の変換三角形の配置を示す図が全体的に700で示されている。二次元線形マッピング(a two-dimensional linear mapping)方法を使用することによって、４つの頂点P1 720、P2 722、P3 724、およびP4 726は、該線形マッピングの前および後、固定されたままである(remain fixed)。該共通の頂点728の平行移動(translation)の方向、したがって各三角形領域T1 704、T2 706、T3 708、およびT4 710の内の該色空間の平行移動の方向に依存して、該スキン・カラーはより青白くなる(paler)か、あるいはより黄褐色(tanner)になり得る。たとえば、該共通の頂点728が、三角形T3 708から三角形T1 704に向かう方向に動かされる(moved)場合、該スキン・カラーはより青白くなる。移動の方向を逆にすることにより、該スキン・カラーはより黄褐色になる。該共通の頂点728を平行移動させる(translating)ことによって、肌の黄色がかった色調(yellow tone of skin)は減少されることができ、あるいは増加されることができる。

図８は、カラー領域を回転させることによるカラー再マッピングの特定の例示的な実施形態の図である。示されているように、第１のマッピング802は、色空間の第１の領域804を該色空間の第２の領域808へ変換する。共通の頂点806を共有する複数の三角形領域の第１のセットは該第１の領域804に及ぶ。共通の頂点810を共有する複数の三角形領域の第２のセットは第２の領域808に及ぶ。該マッピング802は、該第１の領域804から該第２の領域808へ各三角形領域をマップするために、該色空間の原点(origin)に関して第１のカラー領域804の各頂点へのほぼ-30度の回転を行なう。図８に示されているように、たとえば、該三角形領域807は、該三角形領域807の各頂点に該-30度の回転操作(rotation operation)を適用することにより、該三角形領域811へマップされる。

第２のマッピング812は、ほぼ90度の回転操作を行なうことによる、該色空間の第３の領域814への該色空間の第１の領域804の変換を示す。共通の頂点816を共有する複数の三角形領域の１つのセットは、第３の領域814に及ぶ。該マッピング812は、各三角形領域を該第１のカラー領域804から該第３のカラー領域814にマップするために、該色空間の原点に関する該第１のカラー領域804の各頂点へのほぼ90度の回転を行なう。図８に示されているように、たとえば、該三角形領域807は、該三角形領域807の各頂点への該90度の回転操作を適用することによって三角形領域817へマップされる。

複数の領域808および814のような他の複数の領域への該領域804内の該色空間の変換を可能にすることによって、該マッピング802および812は、該色空間内における複数の領域の変換の汎用性(versatility)を示すが、しかし図３に示されている該変換中には導入されていない複数の不連続を、該変換色空間中に導入し得る。さらに他の複数の実施形態においては、図８は該領域804の各頂点に回転操作を適用することによるマッピングを示すが、該複数の頂点はまた、該回転操作に加えて、あるいはその代わりに、互いと無関係に、あるいはグループとして、平行移動され、回転され、スケール変更され(scaled)、調節され、あるいはそれらの任意の組合せを行なわせられることができる。したがって、図８は、図１の該画像処理システム130のようなポータブル電子デバイスの画像処理パイプラインにおいて実時間で行なわれることができる一般的な色空間マッピング技術を示す。さらに特定の実施形態では、図８に示された該色空間マッピング802および812は該色空間の複数のスキン・カラー領域に適用される必要がなく、その代りに、一般的なカラー・マッピング・プロセスで任意のユーザ指定されたあるいは予め決められた領域(any user-designated or predetermined region)に適用されることができる。

図９は、画像におけるカラーを調節する方法の第１の特定の例示的な実施形態のフロー図である。一般に、該カラー調節方法900は、図１および１２−１５中に示されているシステム、他の画像処理システムまたはデバイスのうちの１または複数、あるいはその任意の組合せによって行なわれることができる。902において、画像に対応する画像データは受取られる。該画像は、スキン・トーン・カラーを有する画像領域を含む。904に進むと、該画像データは、修正された色相値および修正された飽和値を含む修正された画像データを生成するために該スキン・トーン・カラーを有する該画像領域中の色相値および飽和値を修正するように自動的に処理される。特定の実施形態では、906において、該色相値および該飽和値は、該スキン・トーン・カラーを有する該画像領域に対応した該画像データの色空間変換に基づいて修正される。たとえば、該修正された色相値および該修正された飽和値は、図３に示されているように、クロマ色平面において行なわれる一次変換に起因することができる。

908に進んで、クロマ色空間におけるピクセルの場所の一次変換は、該クロマ色空間のスキン・カラー領域内として該場所が識別されるときに行なわれることができる。該画像データは該クロマ色空間中における該ピクセルの該場所を表わす色成分データを含むことができ、該一次変換は該画像データ中のスキン・カラーを修正するために行なわれることができる。たとえば、該一次変換は、図３に関して記載されているように行なわれることができる。910に進んで、該クロマ色空間の該スキン・カラー領域の第１の部分における該ピクセルの該場所は、該スキン・カラー領域内の該ピクセルの位置に基づいて、かつ該ピクセルの該位置と該スキン・カラー領域の境界との近さとに基づいて、該クロマ色空間の該スキン・カラー領域の第２の部分にマップされることができる。たとえば、図３に関して説明されているように、複数の三角形領域のスパン(spanning)セットの中心頂点は結果的に、該領域の外側の辺の近くの複数のピクセルが該該中心頂点に近い該領域の中間における複数のピクセルより少ない量だけ平行移動させられる、各三角形領域中における該色空間の変換となる。該クロマ色空間は、図3に関して記述されているように、該一次変換を適用した後に、該スキン・カラー領域の境界で実質的に連続したままであることができ、ここで、境界上および該スキン・カラー領域の外側の複数の点は該変換に影響されない。特定の実施形態において、該方法900は、図３に示されているように、該クロマ色空間の該スキン・トーン領域内の該複数のピクセルを、指定された方向に変換するために該クロマ色空間の該スキン・トーン領域に及ぶ複数の三角形領域の１つのセットを使用することを含む。該方法900は、図１の画像記憶装置140のような、メモリに該修正された画像データを記憶することをさらに含む。

図１０は、全体的に1000で示された、画像におけるカラーを調節する方法の第２の特定の例示的な実施形態のフロー図である。一般に、該カラー調節方法1000は、図１および１２−１５に示されているシステム、他の画像処理システムあるいはデバイスのうちの１または複数のもの、あるいはその任意の組合せによって行なわれることができる。たとえば、カメラを有するポータブル電子デバイスは、該カラー調節方法1000を行なうように該ポータブル電子デバイスのプロセッサによって実行可能である複数の命令を格納する、メモリのような、プロセッサ可読媒体を含むことができる。1002において、色空間中のピクセルの場所を表わす色成分データを含む画像データが受け取られる。1004に進むと、該色空間の該スキン・カラー領域内として該場所が識別されるときに、該色空間中における該ピクセルの該場所の一次変換が行なわれる。該一次変換は、画像のスキン・カラーを変換するために行なわれることができる。

特定の実施形態において、オリジナルのクロマ(Cr-Cb)色平面中の各ピクセルに関して、該特定のピクセルが図２−３に示された複数の三角形領域のような、マルチプルの三角形領域によって定義された該色空間の該スキン・トーン領域中に場所されているかどうかの決定がなされる。該特定のピクセルが該色空間の該スキン・トーン領域中に場所されると決定される場合、一次変換が行なわれることができる。該スキン・カラー領域の外側の該複数のピクセルは平行移動されないが、該スキン・カラー領域内の(たとえば、三角形中の)全てのピクセルは、該一次変換を用いて移動することができる。

1006に進むと、該一次変換は、少なくとも部分的に、該スキン・カラー領域内の該ピクセルの位置に基づいて、かつ該ピクセルの該位置と該スキン・カラー領域の境界との近さとに基づいて、該スキン・カラー領域の第１の部分における該ピクセルの該場所を該スキン・カラー領域の第２の部分にマップすることにより行なわれる。該色空間は、該一次変換を適用した後に該スキン・カラー領域の該境界で実質的に連続したままであり得る。

特定の実施形態では、該方法1000は、該スキン・カラー領域内の該ピクセルを指定の方向に変換するために複数の三角形領域の１つのセットの第１の三角形領域を使用することを含み、ここで、複数の三角形領域の該セットは、該色空間の該スキン・カラー領域の一部(a portion)を取り囲む(encloses)。1008に進むと、該ピクセルの該場所は、第１の三角形領域の２つの頂点を固定された状態に保持し(holding two vertices of a first triangular region stationary)、そして該第１の三角形領域の第３の頂点を該色空間中のトランスファされる頂点場所(a transferred vertex location)に平行移動させることによってマップされる。たとえば、該第３の頂点は、図３の該共通の頂点228であることができる。特定の実施形態においては、該画像データの色相値および飽和値は、第３の頂点を平行移動させた結果修正される。該一次変換は、少なくとも１つのユーザ指定変換・パラメータを含むユーザ入力に基づいて行なわれることができる。たとえば、ユーザ・インターフェースは、該第３の頂点の変位(displacement)の量または方向のような、該少なくとも１つの変換・パラメータをユーザが指定することを可能にするために提供されることができる。該変換ピクセル場所を含む変換画像データは、画像捕獲デバイスのメモリに格納されることができる。

図１１は、全体的に1100で示されている画像におけるカラーを調節する方法の第３の特定の例示的な実施形態のフロー図である。一般に、該カラー調節方法は、図１および１２−１５に示されているシステム、他の画像処理システムあるいはデバイスのうちの１または複数のもの、あるいはその任意の組合せによって行なわれることができる。1102において、色空間の指定された領域に及ぶ複数の三角形領域の第１のセットが定義され、ここで、該第１のセットの各三角形領域は該指定された領域内の共通した点に頂点を有する。1104に進むと、該色空間内の複数の三角形領域の第２のセットが定義される。複数の三角形領域の該第２のセット内の各三角形領域は、第２の共通の点に頂点を有する。第２の共通の点は第１の共通の点に関して平行移動させられている。1106に進むと、該色空間中における複数のピクセルの１つの場所を表わす色成分データを含む画像データが受け取られる。該複数のピクセルのうちの一部は該指定された領域内に色成分データを有する。1108に進むと、該指定された領域内に該色成分データを有する各特定のピクセルに関して、該特定のピクセルを含む複数の三角形領域の第１のセットの第１の三角形領域が決定される。1110に進んで、各特定のピクセルの色空間場所は、複数の三角形領域の該第２のセットの第２の三角形領域内の対応する場所へマップされる。

特定の実施形態において、該指定された領域はスキン・トーン領域であり、複数の三角形領域の該第２のセットは該指定されたスキン・トーン領域に及び、該第２のセットの各三角形領域は、図３に示されているように、該スキン・トーン領域の該境界に沿った第１の辺を有する。別の実施形態では、図８に示されているように、該指定された領域はスキン・トーン領域である必要がなく、該指定された領域と同じ領域に及ぶ必要もない。

特定の実施形態では、該第２の三角形領域は該第１の三角形領域の変換を表わし、該マッピングは該第１の三角形領域の該変換にしたがって行なわれる。該変換は、色相値あるいは飽和値のような、少なくとも１つのユーザ指定変換・パラメータを含むユーザ入力に基づく一次変換を含むことができる。ユーザ・インターフェースは、該少なくとも１つのユーザ指定変換・パラメータをユーザが指定することを可能にするために提供されることができる。

図１２を参照すると、スキン・カラー調節モジュールを有するプレイバック(playback)装置を含むシステムの特定の例示的な実施形態が全体的に1200で示されている。該システム1200は、プレイバック装置1210に結合されたディスプレイ1220を含む。該プレイバック装置1210は、プロセッサ1218にアクセス可能なメモリ1212を含む。該メモリ1212は、スキン・カラー調節モジュール1216を含む画像検索およびプレイバック・ソフトウェア1214を含むものとして示されている。入力デバイス1222はプレイバック装置1210に結合される。

該プロセッサ1218は、メモリ1212に結合され、該メモリ1212内に示されている該スキン・カラー調節モジュール1216にも結合された、汎用プロセッサ、デジタル信号プロセッサ(DSP)あるいは画像処理プロセッサであることができる。例示的な一例において、該スキン・カラー調節モジュール1216は、プロセッサ1218によって実行可能であり、該メモリ1212中に格納されている複数のプログラム命令を使用して実行可能であることができる。たとえば、プレイバック装置1210は、コンピュータを含むことができ、該スキン・カラー調節モジュール1216は、該コンピュータに画像のカラーを調節させる複数の命令を有するコンピュータ可読媒体上に格納されたコンピュータ・プログラムであることができる。他の複数の実施形態では、該スキン・カラー調節モジュール1216はハードウェア、ファームウェア、あるいはその任意の組合せにおいてインプリメントされることができ、図２−１１に示された複数の実施形態のうちの１または複数にしたがって動作することができる。

たとえば、該スキン・カラー調節モジュール1216は、該プレイバック装置1210に、クロマ色空間中にピクセル値を表わす色成分データを含む画像データを受け取らせ、そして該クロマ色空間のスキン・カラー領域内としてピクセルの場所が識別されるときに該ピクセル値に関連した該ピクセルの一次変換を行なわせるために実行可能な複数の命令を含むことができる。該一次変換は、図３に関して記述されているように、該スキン・カラー領域内の該ピクセルの位置に基づいて、かつ該ピクセルの該位置と該スキン・カラー領域の境界との近さに基づいて、該スキン・カラー領域の第１の部分におけるピクセルの場所を、該スキン・カラー領域の第２の部分にマップすることによって行なわれることができる。

該スキン・カラー調節モジュール1216は、該ピクセルが該クロマ色空間の予め決められた領域内にあることを該プレイバック装置1210に決定させるために実行可能であることができる。該予め決められた領域は、該クロマ色空間の該スキン・カラー領域の一部を実質的に取り囲む複数の三角形領域の１つのセットの第１の三角形領域であることができる。たとえば、複数の三角形領域の該セットは、該クロマ色空間の該スキン・カラー領域に完全に及ぶことができる。該プレイバック装置1210は、該第１の三角形領域の２つの頂点を固定したままにさせ、該クロマ色空間の該スキン・カラー領域を識別するスキン・カラー飽和変換設定に基づいて、かつスキン・カラー色相変換設定に基づいて、該第３の頂点を平行移動させることができる。該変換ピクセル値を含む該変換画像データは、該メモリ1212に格納されることができる。

特定の実施形態において、入力デバイス1222、ディスプレイ1220、または両方は、システム1200のユーザが１またはそれより多くのユーザ指定変換・パラメータを入力することを可能にするユーザ・インターフェースを提供する。たとえば、該入力デバイス1222は、キーボード、マウス、ジョイスティック(joystick)あるいはトラックボール(trackball)のような指示デバイス(pointing device)、タッチスクリーン、マイクロホン、音声認識デバイス、遠隔制御デバイス、または該プレイバック装置1210へ変換・データを提供するための任意の他の装置、もしくはその任意の組合せのような、少なくとも１つの変換・パラメータを、ユーザが指定することを可能にするための手段を含むことができる。該ユーザによって提供される該変換・データは、該キン・トーン領域の境界の１またはそれより多くの点、該スキン・トーン領域に及ぶ複数の三角形領域の１つのセットの中心頂点、別の場所への該中心頂点のマッピングを示すベクトルあるいは変換場所、他の変換・データ、あるいはその任意の組合せの選択を含むことができる。たとえば、該少なくとも１つの変換・パラメータをユーザが指定することを可能にするための該手段は、ユーザが、該ディスプレイ装置1220において該色空間の表現で表示されたカーソルをナビゲートすること(navigating)によって該色空間の領域の該境界の複数の頂点を選択し、該中心頂点の始点を選択することを可能にし、新しい位置へ該中心頂点をドラッグすることを可能にし得る。特定の実施形態では、該変換の効果は、該ユーザ入力に応答して変換されるカラーを有する該ディスプレイ1220に画像を表示することによって該ユーザに提供されることができる。

図１３を参照すると、スキン・カラー調節モジュールを含む画像処理ツールを含むシステムの特定の例示的な実施形態が全体的に1300で示されている。該システム1300は、画像処理ツール1310に結合されたディスプレイ1320を含む。該画像処理ツール1310はメモリ1312を含む。該メモリ1312は画像編集ソフトウェア1314を含み、さらに、スキン・カラー調節モジュール1316を含むものとして示されている。入力デバイス1322は該画像処理ツール1310に結合されている。該画像処理ツール1310は、該メモリ1312および該スキン・カラー調節モジュール1316に結合された、汎用プロセッサ、デジタル信号プロセッサ(DSP)、あるいは画像プロセッサのような、プロセッサ1318を含む。例示的な一例において、該スキン・カラー調節モジュール1316は、該メモリ1312に格納されており、該プロセッサ1318によって実行可能である複数のプログラム命令を使用して実行可能である。

たとえば、画像処理ツール1310はコンピュータであることができ、該スキン・カラー調節モジュール1316は、該コンピュータに、画像のカラーを調節させる複数の命令を有するコンピュータ可読媒体上に格納されたコンピュータ・プログラムあることができる。他の複数の実施形態では、該スキン・カラー調節モジュール1316は、ハードウェア、ファームウェア、あるいはその任意の組合せでインプリメントされることができ、図２−１２に示されている実施形態のうちの１またはそれより多くのものにしたがって動作することができる。

特定の実施形態において、該入力デバイス1322、該ディスプレイ1320、あるいは両者の組合せは、該システム1300のユーザが１またはそれより多くのユーザ指定変換・パラメータを入力することを可能にするユーザ・インターフェースを提供する。たとえば、入力デバイス1322は、キーボード、マウス、ジョイスティックあるいはトラックボールのような指示デバイス、タッチスクリーン、マイクロホン、音声認識デバイス、遠隔制御デバイス、または該画像処理ツール1310へ変換・データを提供するための任意の他の装置、もしくはその任意の組合せのような、少なくとも１つの変換・パラメータを、ユーザが指定することを可能にするための手段を含むことができる。該ユーザによって提供される該変換・データは、該キン・トーン領域の境界の１またはそれより多くの点、該スキン・トーン領域に及ぶ複数の三角形領域の１つのセットの中心頂点、別の場所への該中心頂点のマッピングを示すベクトルあるいは変換場所、他の変換データ、あるいはその任意の組合せの選択を含むことができる。たとえば、該少なくとも１つの変換パラメータをユーザが指定することを可能にするための該手段は、ユーザが、該ディスプレイ装置1320において該色空間の表現で表示されたカーソルをナビゲートすることによって該色空間の領域の該境界の複数の頂点を選択し、該中心頂点の始点を選択することを可能にし、新しい位置へ該中心頂点をドラッグすることを可能にし得る。特定の実施形態では、該変換の効果は、該ユーザ入力に応答して変換されるカラーを有する該ディスプレイ1320に画像を表示することによって該ユーザに提供されることができる。

図１４を参照すると、スキン・カラー調節モジュールを含む無線通信デバイスの特定の例示的な実施形態が全体的に1400で示されている。該システム1400は、色空間1464中において複数の三角形変換(triangular transforms)を使用して、カラー調節モジュールにも結合され、およびメモリ1432にも結合された、汎用プロセッサ、デジタル信号プロセッサ(DSP)、あるいは画像プロセッサのような、プロセッサ1410を含む。例示的な一例において、該カラー調節モジュール1464は、該メモリ1432に格納されており、該プロセッサ1410によって実行可能である複数のプログラム命令1482を使用して実行可能である。他の複数の実施形態では、該スキン・カラー調節モジュール1464は、ハードウェア、ファームウェア、あるいはその任意の組合せでインプリメントされることができ、図２−１１に示されている実施形態のうちの１またはそれより多くのものにしたがって動作することができる。

カメラ1472は、カメラ・コントローラ1470によって該プロセッサ1410に結合される。該カメラ1472は、スチール・カメラ、ビデオ・カメラ、あるいはその任意の組合せを含むことができる該カメラ・コントローラ1470は、捕獲されて処理された画像データ1480を該メモリ1432に格納することを含む、該カメラ1472の動作を制御するように構成される。

図１４はまた、該プロセッサ1410とディスプレイ1428とに結合されているディスプレイ・コントローラ1426を示す。コーダ／復号器(CODEC)1434はまた該プロセッサ1410に結合されることができる。スピーカ1436およびマイクロホン1438は、該CODEC 1434に結合されることができる。

図１４はまた、無線トランシーバ1440が該プロセッサ1410と無線アンテナ1442とに結合されることができることを示す。特定の実施形態において、該プロセッサ1410、該ディスプレイ・コントローラ1426、該メモリ1432、該CODEC 1434、該無線トランシーバ1440、該カメラ・コントローラ1470、および該スキン・カラー調節モジュール1464は、システム・オン・チップ・パッケージあるいはシステム・オン・チップ・デバイス(system-in-package or system-on-chip device)1422に含まれている。特定の実施形態においては、入力デバイス1430および電源1444は該システム・オン・チップ・デバイス1422に結合される。さらに、特定の実施形態において、図１４に示されているように、該ディスプレイ1428、該入力デバイス1430、該スピーカ1436、該マイクロホン1438、該無線アンテナ1442、該カメラ1472、および該電源1444は、該システム・オン・チップ・デバイス1422の外側にある。しかしながら、該ディスプレイ1428、該入力デバイス1430、該スピーカ1436、該マイクロホン1438、該無線アンテナ1442、該カメラ1472、および該電源1444のそれぞれは、インターフェースまたはコントローラのような、該システム・オン・チップ・デバイス1422のコンポーネント(component)に結合されることができる。

該システム1400は、該ディスプレイ1428、該入力デバイス1430、あるいは両者のような、該スキン・カラー調節モジュール1464により使用される少なくとも１つのユーザ指定変換パラメータを、ユーザが指定することを可能にするための手段を含む。たとえば、該ディスプレイ・コントローラ1426は、該入力デバイス1430によってナビゲート可能で(navigable)、選択可能である複数のインターフェース要素を有する該ディスプレイ1428でグラフィカル・ユーザ・インターフェースを提供するように構成されることができる。該スキン・カラー調節モジュール1464により使用される少なくとも１つのユーザ指定変換パラメータを、ユーザが指定することを可能にするための該手段は、キーボード、１またはそれより多くの物理的なキー、ボタン、スイッチ等、該ディスプレイ1428におけるタッチ・スクリーン面、ジョイスティック、マウス、あるいは方向コントローラ(directional controller)を含むことができる。さらに、あるいはその代わりに、該スキン・カラー調節モジュール1464により使用される少なくとも１つのユーザ指定変換パラメータを、ユーザが指定することを可能にするための該手段は、いずれも該システム1400に物理的に接続された(attached)、あるいはアドホック短距離(ad-hoc short range)無線ネットワークによってのように、無線信号ネットワークによって該システム1400と通信している遠隔コントロール・デバイス(remote control device)におけるように、該システムに無線で結合されるインクリノメーター(inclinometer)、加速度計(accelerometer)、ローカルまたはグローバルな位置決めセンサ(positioning sensor)、あるいは他の物理的センサのような、該システム1400の物理的プロパティ(physical property)を検出するための１またはそれより多くのセンサ、あるいは他のナビゲーション(navigation)デバイスを含むことができる。

図１５は、色空間中で複数の三角形変換を使用するカラー調節モジュールを含むシステムの特定の実施形態のブロック図である。該システム1500は、複数のレンズ1568に結合され、およびポータブル・マルチメディア(multimedia)・デバイス1570のアプリケーション・プロセッサ・チップセットにも結合されている画像センサ・デバイス1522を含む。該画像センサ・デバイス1522は、図２−１１の該複数の実施形態のうちの任意のものあるいはそれらの任意の組合せしたがって動作させることによって、例えば、図１および１２−１５のシステムの１または複数のものをインプリメントすることにより、複数の三角形の１セットが及ぶ色空間の領域の複数の平行移動を行なうことにより、該アプリケーション・プロセッサ・チップセット1570に画像データを提供する前に該画像データ中のカラーを調節するために、色空間において複数の三角形変換を使用するカラー調節モジュール1564を含む。

該色空間において複数の三角形変換を使用するカラー調節モジュール1564は、画像アレイ1566から画像データを受け取るために、例えば、該画像アレイ1566の出力受け取るように、そして、色空間において複数の三角形変換を使用する該カラー調節モジュール1564に該画像データを提供するように結合されているアナログ・デジタル変換器1526を経由して、結合されている。

該色空間において複数の三角形変換を使用するカラー調節モジュール1564は、該画像データの各特定のピクセルが変換される色空間の三角形領域内にあるかどうかを決定するように構成されることができる。たとえば、該カラー調節モジュール1564は、輝度(luma)およびクロマ(YCrCb)のデータへの赤、緑および青(RGB)ピクセル・カラー・データの変換を行ない、CrCbデータがCr-Cb色平面の予め決められた三角形領域内にあるかどうかを決定するように構成されることができる。該カラー調節モジュール1564は、図３に関して記述されたように、該三角形領域の一次変換にしたがって該ピクセルの一次変換を行なうように構成されることができる。該カラー調節モジュール1564は、図８に示されているように、回転操作によってのように、一般的な変換を行なうように構成されることができる。

特定の実施形態においては、該カラー調節モジュール1564は、各ピクセルが三角形領域内にあるか否かを決定するための計算の量を減少させるためにピクセル情報を格納する１またはそれより多くのルックアップ・テーブル(示されていない)を含むことができる。該複数の三角形領域および複数の変換は、該CrCb色空間のスキン・トーン領域に基づいてのように、予め定められることができる。たとえば、該カラー調節モジュール1564は、人口(population)プリファランスに基づいてスキン・トーンをエンハンスするように設定されることができる。例示するために、該画像センサ・デバイス1522がアジア東部で売られるか、あるいは分配されているときには、該カラー調節モジュール1564は肌における黄色の量を減少させ、一方他の複数の地方では、該カラー調節モジュール1564は、結果的に生じる複数のピクチャ(pictures)を、該特定の地域の該人口にとってより満足できる(pleasing)ものにするように複数のスキン・カラーをエンハンスするように構成されることができる。特定の実施形態では、該変換は、ポータブル・マルチメディア・デバイスのユーザ・インターフェースによって提供されることができるように、１またはそれより多くのユーザ入力パラメータにしたがって行なわれることができる。

該画像センサ・デバイス1522はまたプロセッサ1510を含むことができる。特定の実施形態では、該プロセッサ1510は、該色空間において複数の三角形変換を使用するカラー調節モジュール1564をインプリメントするように構成される。別の実施形態では、該色空間において複数の三角形変換を使用するカラー調節モジュール1564は別個の(separate)画像処理回路としてインプリメントされる。

該プロセッサ1510はまた、図１のモジュール112-120によって行なわれた複数の動作の1またはそれより多くのもののような、追加の画像処理動作を行なうように構成されることができる。該プロセッサ1510は、さらなる処理、送信、格納、表示、あるいはその任意の組合せのために、該アプリケーション・プロセッサ・チップセット1570に処理された画像データを提供することができる。

当業者は、ここに開示された複数の実施形態に関連して記載された様々な例示的な論理ブロック、構成、モジュール、回路、およびアルゴリズム・ステップが電子ハードウェア、コンピュータ・ソフトウェア、あるいは両者の組合せとしてインプリメントされ得ることをさらに認識する。ハードウェアとソフトウェアのこの互換性を明瞭に例示するために、様々な例示的なコンポーネント、ブロック、構成、モジュール、回路、およびステップは、それらの機能性に関して一般的に上述されている。そのような機能性がハードウェアとしてインプリメントされるのか、あるいはソフトウェアとしてインプリメントされるのかは、該システム全体に課された複数の設計制約(constraints)および特定のアプリケーションに依存する。当業者は、特定の適用のそれぞれに関して様々なやり方で該記述された機能性をインプリメントすることができるが、しかしそのような複数のインプリメンテーション決定(implementation decisions)は、本開示の技術的範囲からの逸脱を引き起こすものと解釈されるべきではない。

ここに開示された複数の実施形態に関連して説明された方法あるいはアルゴリズムの複数のステップは、直接的にハードウェアにおいて、プロセッサによって実行されるソフトウェアモジュールにおいて、あるいは該２者の組合せで具現化されることができる。ソフトウェアモジュールは、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ(flash memory)、リードオンリメモリ（ＲＯＭ）、プログラマブルリードオンリメモリ（ＰＲＯＭ）、消去可能リードオンリメモリ（ＥＰＲＯＭ）、電気的消去可能リードオンリメモリ（ＥＥＰＲＯＭ）、複数のレジスタ、ハードディスク、取外し可能ディスク(disk)、コンパクトディスクリードオンリメモリ（ＣＤ−ＲＯＭ）、あるいは当技術において知られている任意の他の形態の記憶媒体に常駐してもよい。典型的な記憶媒体は、該プロセッサが該記憶媒体から情報を読取り、及び該記憶媒体に情報を書込むことができるように、該プロセッサに結合される。代替の方法においては、該記憶媒体は該プロセッサと一体化されてもよい。該プロセッサと該記憶媒体は特定用途向け集積回路（ＡＳＩＣ）中に常駐してもよい。該ＡＳＩＣはユーザ端末中に常駐することができる。代替の方法では、該プロセッサと該記憶媒体は、コンピューティングデバイスあるいはユーザ端末の中にディスクリートコンポーネント(discrete component)として常駐してもよい。

該開示の実施形態の以上の説明は、当業者が該開示された実施形態を作るあるいは使用することを可能にするために提供されている。これらの実施形態に対する様々な修正は、当業者に容易に明らかとなり、また、ここに定義されている原理は、該開示の範囲を逸脱することなく他の実施形態に適用されることができる。したがって、本開示は、ここに示されている実施形態に限定されるようには意図されておらず、添付の特許請求の範囲よって定義される原理及び新規な特徴と整合する可能な最も広い範囲が与えられるべきである。
以下に、本願発明の当初の［特許請求の範囲］に記載された発明を付記する。
［１］
画像におけるカラーを調節する方法であって、
画像に対応する画像データを受け取ることと、なお、前記画像はスキン・トーン・カラーを有する画像領域を備える；
修正された色相値および修正された飽和値を含む修正された画像データを生成するために、前記スキン・トーン・カラーを有する前記画像領域中の色相値および飽和値を修正するように前記画像データを自動的に処理することと；
メモリ中に前記修正された画像データを格納することと；
を備える方法。
［２］
前記色相値および前記飽和値は、前記スキン・トーン・カラーを有する前記画像領域に対応する前記画像データの色空間変換に基づいて修正される、［１］記載の方法。
［３］
場所がクロマ色空間のスキン・カラー領域内として識別されるときに、前記クロマ色空間中のピクセルの前記場所の一次変換を行なうこと、をさらに備え、前記画像データは、前記クロマ色空間中の前記ピクセルの前記場所を表わす色成分データを含んでおり、前記一次変換は、前記画像データにおけるスキン・カラーを修正するように行なわれる、［２］記載の方法。
［４］
前記スキン・カラー領域内の前記ピクセルの位置に基づいて、かつ、前記ピクセルの前記位置と前記スキン・カラー領域の境界との近さに基づいて、前記クロマ色空間の前記スキン・カラー領域の第１の部分におけるピクセルの前記場所を、前記クロマ色空間の前記スキン・カラー領域の第２の部分にマップすること、をさらに備え、前記クロマ色空間は、前記一次変換を適用した後、前記スキン・カラー領域の前記境界で実質的に連続したままである、［３］記載の方法。
［５］
指定された方向に前記クロマ色空間の前記スキン・トーン領域内で前記ピクセルを変換するために、前記クロマ色空間の前記スキン・トーン領域に及ぶ複数の三角形領域の１セットを使用すること、をさらに備える［４］記載の方法。
［６］
画像におけるカラーを調節する方法であって、
色空間中におけるピクセルの場所を表わす色成分データを含む画像データを受け取ることと；
前記場所が色空間のスキン・カラー領域内として識別されるときに前記色空間中の前記ピクセルの前記場所の一次変換を行なうことと、なお、前記一次変換は、前記スキン・カラー領域内の前記ピクセルの位置に基づいて、かつ前記ピクセルの前記位置と前記スキン・カラー領域の境界との近さに基づいて、前記スキン・カラー領域の第１の部分における前記ピクセルの前記場所を、前記スキン・カラー領域の第２の部分にマップすることにより行なわれ、前記色空間は、前記一次変換を適用した後、前記スキン・カラー領域の前記境界で実質的に連続したままである；
を備える方法。
［７］
指定された方向に前記スキン・カラー領域内で前記ピクセルを変換するために複数の三角形領域の１セットのうちの第１の三角形領域を使用すること、をさらに備え、前記複数の三角形領域の前記セットは、前記色空間の前記スキン・カラー領域の一部を取り囲む、［６］記載の方法。
［８］
前記第１の三角形領域の２つの頂点を固定された状態に保持し、前記第１の三角形領域の第３の頂点を、前記色空間中の変換頂点場所に平行移動させることによって、前記ピクセルの前記場所をマップすること、をさらに備える［７］記載の方法。
［９］
前記第３の頂点を平行移動させた結果として、前記画像データの色相値および飽和値を修正すること、をさらに備える［８］記載の方法。
［１０］
画像捕獲デバイスのメモリ中に、変換ピクセル場所を含む変換画像データを格納すること、をさらに備える［６］記載の方法。
［１１］
前記一次変換は、少なくとも１つのユーザ指定変換パラメータを含むユーザ入力に基づいて行なわれる、［６］記載の方法。
［１２］
ユーザが前記少なくとも1つの変換パラメータを指定することを可能にするために、ユーザ・インターフェースを提供すること、をさらに備える［１１］記載の方法。
［１３］
前記一次変換は、画像のスキン・カラーを変換するために行なわれる、［６］記載の方法。
［１４］
画像におけるカラーを調節する方法であって、
色空間の指定された領域に及ぶ複数の三角形領域の第１のセットを定義することと、なお、複数の三角形領域の前記第１のセットの各三角形領域は、前記指定された領域内の共通した点における頂点と、前記指定された領域の境界に沿った第１の辺とを有する；
前記色空間内の複数の三角形領域の第２のセットを定義することと、なお、複数の三角形領域の前記第２のセットの各三角形領域は、第２の共通した点における頂点を有し、前記第２の共通した点は、第１の共通した点に対して平行移動させられる；
前記色空間中における複数のピクセルの場所を表わす色成分データを含む画像データを受け取ることと、なお、前記複数のピクセルのいくつかの部分は、前記指定された領域内に色成分データを有する；
前記指定された領域内に色成分データを有する各特定のピクセルに関して、前記特定のピクセルを含む複数の三角形領域の前記第１のセットの第１の三角形領域を決定することと；
各特定のピクセルの色空間場所を、複数の三角形領域の第２のセットの第２の三角形領域内の対応する場所にマップすることと；
を備える方法。
［１５］
前記指定された領域はスキン・トーン領域であり、複数の三角形領域の前記第２のセットの各三角形領域は、前記スキン・トーン領域の前記境界に沿った第１の辺を有しており、前記第２の三角形領域は前記第１の三角形領域の変換を表わし、前記マップすることは、前記第１の三角形領域の前記変換にしたがって行なわれる、［１４］記載の方法。
［１６］
前記変換は、少なくとも1つのユーザ指定の変換パラメータを含んだユーザ入力に基づく一次変換を含む、［１５］記載の方法。
［１７］
画像のカラーを調節するためにコンピュータ可読媒体上に格納されたコンピュータ・プログラムであって、
前記コンピュータ・プログラムは、
前記コンピュータに、
クロマ色空間中におけるピクセル値を表わす色成分データを含む画像データを受け取らせ；そして
前記ピクセルの場所が前記クロマ色空間のスキン・カラー領域内として識別されるときに、前記ピクセル値に関連したピクセルの一次変換を行なわせる、なお、前記一次変換は、前記スキン・カラー領域内の前記ピクセルの位置に基づいて、かつ前記ピクセルの前記位置と前記スキン・カラー領域の境界との近さに基づいて、前記スキン・カラー領域の第１の部分における前記ピクセルの前記場所を、前記スキン・カラー領域の第２の部分にマップすることにより行なわれ、前記クロマ色空間は、前記一次変換を適用した後、前記スキン・カラー領域の前記境界で実質的に連続したままである；
ように実行可能である命令を有している、
コンピュータ・プログラム。
［１８］
前記ピクセルが前記クロマ色空間の予め決められた領域内にあるかどうかを決定するために前記コンピュータにより実行可能である複数の命令、をさらに備えており、前記予め決められた領域は、前記クロマ色空間の前記スキン・カラー領域の一部を実質的に取り囲む複数の三角形領域の１つのセットの第１の三角形領域である、［１７］記載のコンピュータ・プログラム。
［１９］
前記クロマ色空間の変換ピクセル場所に前記ピクセルをマップするために前記コンピュータにより実行可能である複数の命令を、さらに備えており、前記一次変換は、前記第１の三角形領域の少なくとも２つの頂点が固定された状態のままであることと、第３の頂点を前記クロマ色空間中の変換頂点場所に平行移動させることと、を含む、［１８］記載のコンピュータ・プログラム。
［２０］
スキン・カラー色相変換設定に基づいて、かつ前記クロマ色空間の前記スキン・カラー領域を識別するスキン・カラー飽和変換設定に基づいて、前記第３の頂点を平行移動させるように、なお、複数の三角形領域の前記セットは前記クロマ色空間の前記スキン・カラー領域に及ぶ；そして
前記変換ピクセル値を含む変換画像データを格納するように；
前記コンピュータによって実行可能である、複数の命令を、
さらに備える、［１９］記載のコンピュータ・プログラム。
［２１］
クロマ色空間中におけるピクセルの場所を表わす色成分データを含む画像データを受け取る入力と；
前記入力に結合された画像処理パスと、なお、前記画像処理パスは、黄色が少なく見えるように画像の複数のスキン・トーンの色空間マッピングを行なうことによって修正される画像データを生成するように構成されたスキン・カラー調節回路を含む；
装置。
［２２］
表示デバイスにおいて、前記修正された画像データを表示する前に、前記修正された画像データを格納するように構成されたメモリ、をさらに備える［２１］記載の装置。
［２３］
前記スキン・カラー調節回路は、前記ピクセルの前記場所が前記クロマ色空間のスキン・カラー領域内として識別されるときに前記ピクセルの一次変換を行なうようにさらに構成されており、前記一次変換は、前記スキン・カラー領域内の前記ピクセルの位置に基づいて、かつ前記ピクセルの前記位置と前記スキン・カラー領域の境界との近さに基づいて、前記スキン・カラー領域の第１の部分における前記ピクセルの前記場所を、前記スキン・カラー領域の第２の部分にマップすることにより行なわれる、［２１］記載の装置。
［２４］
前記入力に結合され、前記画像データを生成するように構成された画像捕獲デバイス、をさらに備える［２３］記載の装置。
［２５］
前記スキン・カラー調節回路は、少なくとも1つのユーザ指定変換パラメータを含むユーザ入力に基づいて、前記一次変換を行なうようにさらに構成されている、［２１］記載の装置。
［２６］
ユーザが前記少なくとも1つの変換パラメータを指定することを可能にするための手段、をさらに備える［２５］記載の装置。
［２７］
クロマ色空間中におけるピクセルの場所を表わす色成分データを含む画像データを受け取るための手段と、
黄色が少なく見えるように画像の複数のスキン・トーンの色空間マッピングを行なうことにより、修正された画像データを生成するための手段と、
を備える装置。
［２８］
前記クロマ色空間のスキン・カラー領域内として前記場所が識別されるときに前記クロマ色空間中における前記ピクセルの前記場所の一次変換を行なうための手段、をさらに備える［２７］記載の装置。
［２９］
前記スキン・カラー領域内の前記ピクセルの位置に基づいて、かつ前記ピクセルの前記位置と前記スキン・カラー領域の境界との近さに基づいて、前記スキン・カラー領域の第１の部分における前記ピクセルの前記場所を、前記スキン・カラー領域の第２の部分にマップするための手段、をさらに備え、前記クロマ色空間は、前記一次変換を適用した後、前記スキン・カラー領域の前記境界で実質的に連続したままである、［２８］記載の装置。

Claims (11)

1. 画像におけるカラーを調節する方法であって、
   色空間中におけるピクセルの場所を表わす色成分データを含む画像データを受け取ることと；
   前記場所が色空間のスキン・カラー領域内として識別されるときに前記色空間中の前記ピクセルの前記場所の一次変換を行なうことと、なお、前記一次変換は、前記スキン・カラー領域内の前記ピクセルの位置に基づいて、かつ前記ピクセルの前記位置と前記スキン・カラー領域の境界との近さに基づいて、前記スキン・カラー領域の第１の部分における前記ピクセルの前記場所を、前記スキン・カラー領域の第２の部分にマップすることにより行なわれ、前記色空間は、前記一次変換を適用した後、前記スキン・カラー領域の前記境界で連続したままである；
   指定された方向に前記スキン・カラー領域内の前記ピクセルを変換するために複数の三角形領域の１セットのうちの第１の三角形領域を使用することと、なお、前記複数の三角形領域の前記セットは前記色空間の前記スキン・カラー領域の一部を取り囲む；
   前記第１の三角形領域の２つの頂点を固定した状態に保持し、前記第１の三角形領域の第３の頂点を、前記色空間中の変換頂点場所に平行移動させることにより、前記ピクセルの前記位置をマップすることと；
   を備える方法。
2. 前記第３の頂点を平行移動させた結果として、前記画像データの色相値および飽和値を修正すること、をさらに備える請求項１記載の方法。
3. 画像捕獲デバイスのメモリ中に、変換ピクセル場所を含む変換画像データを格納すること、をさらに備える請求項１記載の方法。
4. 前記一次変換は、少なくとも１つのユーザ指定変換パラメータを含むユーザ入力に基づいて行なわれる、請求項１記載の方法。
5. ユーザが前記少なくとも1つの変換パラメータを指定することを可能にするために、ユーザ・インターフェースを提供すること、をさらに備える請求項４記載の方法。
6. 前記一次変換は、画像のスキン・カラーを変換するために行なわれる、請求項１記載の方法。
7. 画像におけるカラーを調節する方法であって、
   色空間の指定された領域に及ぶ複数の三角形領域の第１のセットを定義することと、なお、複数の三角形領域の前記第１のセットの各三角形領域は、前記指定された領域内の共通した点における頂点と、前記指定された領域の境界に沿った第１の辺とを有する；
   前記色空間内の複数の三角形領域の第２のセットを定義することと、なお、複数の三角形領域の前記第２のセットの各三角形領域は、第２の共通した点における頂点を有し、前記第２の共通した点は、第１の共通した点に対して平行移動させられる；
   前記色空間中における複数のピクセルの場所を表わす色成分データを含む画像データを受け取ることと、なお、前記複数のピクセルのいくつかの部分は、前記指定された領域内に色成分データを有する；
   前記指定された領域内に色成分データを有する各特定のピクセルに関して、前記特定のピクセルを含む複数の三角形領域の前記第１のセットの第１の三角形領域を決定することと；
   各特定のピクセルの色空間場所を、複数の三角形領域の前記第２のセットの第２の三角形領域内の対応する場所にマップすることと；
   を備える方法。
8. 前記指定された領域はスキン・トーン領域であり、複数の三角形領域の前記第２のセットの各三角形領域は、前記スキン・トーン領域の前記境界に沿った第１の辺を有しており、前記第２の三角形領域は前記第１の三角形領域の変換を表わし、前記マップすることは、前記第１の三角形領域の前記変換にしたがって行なわれる、請求項７記載の方法。
9. 前記変換は、少なくとも1つのユーザ指定の変換パラメータを含んだユーザ入力に基づく一次変換を含む、請求項８記載の方法。
10. 画像のカラーを調節するためにコンピュータ可読媒体上に格納されたコンピュータ・プログラムであって、
    前記コンピュータ・プログラムは、
    前記コンピュータに、
    クロマ色空間中におけるピクセル値を表わす色成分データを含む画像データを受け取らせ；そして
    ピクセルの場所が前記クロマ色空間のスキン・カラー領域内として識別されるときに、前記ピクセル値に関連したピクセルの一次変換を行なわせ、なお、前記一次変換は、前記スキン・カラー領域内の前記ピクセルの位置に基づいて、かつ前記ピクセルの前記位置と前記スキン・カラー領域の境界との近さに基づいて、前記スキン・カラー領域の第１の部分における前記ピクセルの前記場所を、前記スキン・カラー領域の第２の部分にマップすることにより行なわれ、前記クロマ色空間は、前記一次変換を適用した後、前記スキン・カラー領域の前記境界で連続したままである；
    前記ピクセルが前記クロマ色空間の予め決められた領域内にあるかどうかを決定させ、なお、前記予め決められた領域は、前記クロマ色空間の前記スキン・カラー領域の一部を取り囲む、複数の三角形領域の１つのセットの第１の三角形領域である；
    前記クロマ色空間の変換ピクセル場所に前記ピクセルをマップさせる、なお、前記一次変換は、前記第１の三角形領域の少なくとも２つの頂点が固定された状態のままであることと、第３の頂点を前記クロマ色空間中の変換頂点位置に平行移動させることとを含む；
    ように実行可能である命令を有している、
    コンピュータ・プログラム。
11. スキン・カラー色相変換設定に基づいて、かつ前記クロマ色空間の前記スキン・カラー領域を識別するスキン・カラー飽和変換設定に基づいて、前記第３の頂点を平行移動させるように、なお、複数の三角形領域の前記セットは前記クロマ色空間の前記スキン・カラー領域に及ぶ；そして
    前記変換ピクセル値を含む変換画像データを格納するように；
    前記コンピュータによって実行可能である、複数の命令を、
    さらに備える、請求項１０記載のコンピュータ・プログラム。

Images