JP5555221B2 - 着目物の適応的な色モデル・パラメータ推定に係る方法および装置 - Google Patents

Description

本発明の原理は、一般に、ビデオ・エンコーディングに関し、特に、着目物（ｆｅａｔｕｒｅ ｏｆ ｉｎｔｅｒｅｓｔ）の適応的な色モデル・パラメータ推定に係る方法および装置に関する。

人間の肌色の画素の色成分は、色空間の或る領域に限定される傾向があり、本明細書において肌色モデルと称する特定の統計的モデルにより近似することができる。堅牢で正確なこの肌色モデルは、ハンド・トラッキング、顔認識、画像およびビデオ・データのインデキシングおよび取り出し、画像およびビデオの圧縮、等のような、肌の検出および肌の分類が必要となるアプリケーションに対して不可欠である。画像およびビデオの圧縮アルゴリズムの場合、肌色の画素を最初に検出し、次に、高い符号化優先度レベルを割り当てて、より高い視覚品質を達成することができる。ハンド・トラッキングまたは顔認識の場合、肌色の画素が最初に検出され、さらなる改良検出および認識のための候補となりうる。

係る統計的な肌色モデルを用いる典型的なアプリケーションでは、肌色モデルのモデル・パラメータが時間的、空間的に不変であることを前提としていることが多い。この前提は、様々な理由のため実際のアプリケーションでは成り立たない。例えば、種々の画像およびビデオにおいては、対象の肌の多様性がとても高いことがあり、または、画像およびビデオの取得状況の多様性がとても高いことがある。係る例の１つは、画像またはビデオを捕捉する場合に、照明条件が異なる場合である。肌色モデル・パラメータにおける係る不整合は、非常に不正確なまたは誤った検出結果の原因となり、肌色の画素が肌色ではない画素として分類され、肌色ではない画素が肌色の画素として分類されるおそれがある。

人の肌色の色成分を、色空間内における特定の統計分布でモデル化することができる。多数の色空間をモデリングに用いることができるが、色空間の選択により、モデルの精度に及ぼす影響を限定することが分かっている。例示のため、以下の議論はＹＵＶの色空間に関する。典型的な肌色モデルでは、人の肌色の成分を二次元の正規分布と見なし、その分布を次のように色成分ＵおよびＶの平均および共分散行列により定義することができる。

色成分付きの画素（Ｘ＝ｕ，ｖ）が肌色である確率は次式で表される。

ここで、ｄ（ｘ）はマハラノビス距離と呼ばれ、次式で表すことができる。

肌モデルのパラメータμとΣは、一般に、肌データベースでのトレーニング後に推定される。次のパラメータは、上記の式１に対応し、ビデオ会議アプリケーションにおいて広く用いられている。

典型的なアプリケーションでは、モデル・パラメータμとΣが決まると、それらはすべての画像またはビデオに用いられる。しかし、真の肌色モデルのパラメータが動的に変化して静的パラメータと異なる場合は、係る静的パラメータは不整合となる可能性がある。係る不整合は、非常に不正確な、または誤った検出結果の原因となり、肌色の画素が肌色でない画素として分類され、肌色でない画素が肌色の画素として分類されるおそれがある。

結果的に、動的に変化するモデル・パラメータを有する画像およびビデオに適合する適応的な肌色モデル・パラメータの推定を提供するアプローチが強く求められる。より正確な肌色モデル・パラメータにより検出結果を大幅に改良することができ、したがって、係るモデルが用らいれるアプリケーションの性能を大幅に改良することができる。

図１を参照すると、従来技術による例示的な肌の検出方法が一般的に参照番号１００で示されている。

方法１００は、ループ・リミット・ブロック１１０に制御を渡す開始ブロック１０５を備える。ループ・リミット・ブロック１１０は、ｉが１から画像中の画素数までの値を有するとして、変数ｉを用いて画像中の各画素に対してループするループを開始し、機能ブロック１１５に制御を渡す。ループに関して画像を用いたが、本発明の原理の精神を保ちつつ、例えば画像領域のような他の単位を本発明の原理に従って用いてもよいことは理解されよう。

機能ブロック１１５は、肌色の確率ｐを肌色モデルで計算し、決定ブロック１２０に制御を渡す。決定ブロック１２０は、ｐが閾値より大きいかどうかを判定する。ｐが閾値より大きければ、次に制御は機能ブロック１２５に渡される。ｐが閾値以下であれば、制御は機能ブロック１５０に渡される。

機能ブロック１２５は、評価されている現画素を肌色の画素の候補として指定して、決定ブロック１３０に制御を渡す。決定ブロック１３０は、（現画素が実際に肌色の画素であるかどうかの判定に関する）追加の基準が在るかどうかを判定する。追加の基準が在る場合、制御は機能ブロック１３５に渡される。追加の基準がない場合、制御は機能ブロック１５５に渡される。

機能ブロック１３５は、上記の追加の基準をチェックして、決定ブロック１４０に制御を渡す。決定ブロック１４０は、現画素が実際に肌色の画素であるかどうかの判定に用いられる追加の基準に現画素が合格するかどうかを判定する。合格の場合は、制御は機能ブロック１４５に渡される。不合格の場合は、制御は機能ブロック１６０に渡される。

機能ブロック１４５は、現画素を肌色の画素として指定し、ループ・リミット・ブロック１７５に制御を渡す。ループ・リミット・ブロック１７５は、ループを終了し、終了ブロック１９９に制御を渡す。

機能ブロック１５０は、現画素を肌色でない画素として指定し、ループ・リミット・ブロック１７５に制御を渡す。

機能ブロック１５５は、現画素を肌色の画素として指定し、ループ・リミット・ブロック１７５に制御を渡す。

機能ブロック１６０は、現画素は肌色でない画素として指定し、ループ・リミット・ブロック１７５に制御を渡す。

方法１００は画素ドメインで実行される。画素ごとに、その対応する確率を、式（２）を用いて機能ブロック１１５により計算する。

従来技術のこれらおよび他の欠点および不都合は本発明の原理によって解決される。本発明の原理は、着目物の適応的な色モデル・パラメータ推定に係る方法および装置に関する。

本発明の原理の一態様によると、色を検出する装置が提供される。この装置は、着目物の色モデル・パラメータ推定器と着目物検出器とを含む。着目物の色モデル・パラメータ推定器は、少なくとも一組の画素を少なくとも１つの画像から抽出するものである。この少なくとも一組の画素は着目物に対応している。この少なくとも一組の画素ごとに、着目物の色モデル・パラメータ推定器は、その少なくとも一組の画素内の画素の色成分を統計的モデルでモデル化し、モデル化した色成分に基づいて着目物の色モデル・パラメータを推定して少なくとも１つの推定した着目物の色モデルを取得する。着目物検出器は、少なくとも１つの推定した着目物の色モデルを用いて少なくとも一組の画素から着目物の画素を検出するものである。

本発明の原理の別の態様によれば、色を検出する方法が提供される。この方法は、少なくとも一組の画素を少なくとも１つの画像から抽出することを含む。その少なくとも一組の画素は着目物に対応している。
少なくとも一組の画素ごとに、この方法は、さらに、少なくとも一組の画素内の画素の色成分を統計的モデルでモデル化すること、モデル化した色成分に基づいて着目物の色モデル・パラメータを推定して少なくとも１つの推定した着目物の色モデルを取得すること、および、少なくとも１つの推定した着目物の色モデルを用いて少なくとも一組の画素から着目物の画素を検出することを含む。

発明の原理のこれらおよび他の態様、特徴および利点は、以下の例示的な実施形態の詳細な説明から明らかになり、この詳細な説明は添付図面と関連させて読むべきである。

本発明の原理は、以下の例示的な図に従ってよりよく理解することができる。

従来技術に従う例示的な肌色検出方法に関するフロー図である。 本発明の原理の実施形態に従う、本発明の原理を適用できるレート制御向けの例示的な装置に関するブロック図である。 本発明の原理の実施形態に従う、本発明の原理を適用できる例示的な予測ビデオ・エンコーダに関するブロック図である。 本発明の原理の実施形態に従う、着目物の適応的な色モデル・パラメータ推定に関する例示的な方法のフロー図である。 本発明の原理の実施形態に従う、適応的な肌色モデル・パラメータ推定に関する例示的な方法のフロー図である。 本発明の原理の実施形態に従う、適応的な肌色モデル・パラメータ推定に関する別の例示的な方法に関するフロー図である。 本発明の原理の実施形態に従う、複数の推定方法を用いた共同型肌色モデル・パラメータ推定に関する例示的な方法のフロー図である。

本発明の原理は、着目物の適応的な色モデル・パラメータ推定に係る方法および装置に関する。

ここでの説明は本発明の原理を例示するものである。したがって、本明細書では明示的に記載または図示してはいないが、当業者が本発明の原理を具現化し、その趣旨および範囲に含まれる様々な構成を考案できることは理解されよう。

本明細書に記載した全ての例と条件付き言語（ｃｏｎｄｉｔｉｏｎａｌ ｌａｎｇｕａｇｅ）は、当分野を進展させるために発明者（複数可）が寄与した本発明の原理と概念を読者が理解するのを支援する教育的な目的のためであり、係る具体的に記載した例と条件に限定されないとして解釈すべきである。

さらに、本発明の原理の原理、態様、および実施形態、ならびにその具体的な例を述べる本明細書における全ての言及は、それらの構造的均等物および機能的均等物の両方を包含することを意図している。さらに、係る均等物には、現時点で公知な均等物だけでなく将来開発される均等物、すなわち、構造と無関係に同一の機能を実施する開発される任意の要素、の両方が含まれることを意図している。

したがって、例えば、本明細書で提示したブロック図が、本発明の原理を具現化する例示的な回路の概念的な図を表すことは当業者には理解されよう。同様に、任意のフローチャート、フロー図、状態遷移図、擬似コード、等が、実質的にコンピュータ可読媒体において表現でき、コンピュータまたはプロセッサが明示的に図示されているか否かに関わらず、それらによって実質的に実行できる、様々なプロセスを表すことは理解されよう。

図に示した様々な要素の機能を、専用ハードウェア、および適切なソフトウェアと関連してソフトウェアを実行できるハードウェアを用いて提供することができる。機能がプロセッサによって提供される場合、その機能を、単一の専用プロセッサ、単一の共用プロセッサ、または複数の独立プロセッサによって提供することができ、そのうちいくつかは共有されていてもよい。さらに、「プロセッサ」または「制御器」という用語を明示的に用いたことは、ソフトウェアを実行できるハードウェアを専ら指すとは解釈するべきではなく、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）ハードウェア、ソフトウェアを記憶するためのＲＯＭ（ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、および不揮発性記憶装置を暗に含んでもよいが、それに限定しない。

他の従来型および／またはカスタムのハードウェアを備えてもよい。同様に、図に示したいかなるスイッチも単に概念的なものである。これらの機能は、プログラム・ロジックの動作、専用ロジック、プログラム制御および専用ロジックの相互作用を通して、または手動であっても、文脈からより具体的に理解されるように実装者によって選択可能な特定の技術を通して、実行することができる。

特許請求の範囲において、指定された機能を実行する手段として示したいかなる要素も、その機能を実行する任意の方法を包含することを意図している。その方法には、例えば、ａ）その機能を実行する回路要素の組合せ、または、ｂ）任意の形態のソフトウェア、したがって、ファームウェア、マイクロコード等を含むソフトウェアが含まれ、これらは、上記の機能を実行するための当該ソフトウェアを実行するための適切な回路と結合される。係る特許請求の範囲によって定義される本発明の原理は、様々な記載した手段によって提供される機能が、特許請求の範囲が求めるように組み合わされているという事実に存する。したがって、これらの機能性を提供できる任意の手段が、本明細書に示した手段と等価であると見なされる。

本明細書における本発明の原理の「一実施形態」に対する言及は、その実施形態に関して説明した特定の機能、構造、または特徴等が本発明の原理の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書の種々の箇所で「一実施形態では」という語句が現れるが、これは必ずしも全て同じ実施形態を指すものではない。

「および／または」および「少なくとも１つの」という用語を用いることは、例えば、「Ａおよび／またはＢ」および、「ＡおよびＢのうちの少なくとも１つ」という場合は、最初に列挙した選択肢（Ａ）のみを選択すること、または２番目に列挙した選択肢（Ｂ）のみを選択すること、または両選択肢（ＡおよびＢ）を選択することを含むことを意図していることは理解されよう。さらなる例として、「Ａ、Ｂ、および／またはＣ」および「Ａ、Ｂ、およびＣのうちの少なくとも１つ」の場合、係る言い回しは、最初に列挙した選択肢（Ａ）のみを選択すること、または２番目に列挙した選択肢（Ｂ）のみを選択すること、または３番目に列挙した選択肢（Ｃ）のみを選択すること、または最初および２番目に列挙した選択肢（ＡおよびＢ）のみを選択すること、または最初および３番目に列挙した選択肢（ＡおよびＣ）のみを選択すること、または２番目および３番目に列挙した選択肢（ＢおよびＣ）のみを選択すること、または３つ全ての選択肢（ＡおよびＢおよびＣ）を選択することを含むことを意図している。これは、当業者には容易に明らかであるように、列挙しただけの数の項目に拡張することができる。

さらに、本発明の原理は、いかなる特定のビデオ・コーディング規格、勧告、および／またはその拡張にも限定されないことも理解されよう。したがって、例えば、本発明の原理を、ＩＳＯ／ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）のＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−４）Ｐａｒｔ １０ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）ｓｔａｎｄａｒｄ／ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ，Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ）Ｈ．２６４勧告（以降「ＭＰＥＧ−４ ＡＶＣ規格」と称する）、およびＳＭＰＴＥ（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）ＶＣ−１（Ｖｉｄｅｏ Ｃｏｄｅｃ−１）Ｓｔａｎｄａｒｄとともに用いてもよいが、これらに限定されない。

さらに、本発明の原理の１つまたは複数の実施形態を、主に肌色に関して説明したが、一般に、本発明の原理はモデル化できる特徴（以降、「着目物」と同じ意味で称する）に設定された任意の色の検出に適用できることは理解されよう。したがって、肌色は本発明の原理を適用できる特徴の一例にすぎない。例えば、本発明の原理の他の実施形態を、以下の例示的な特徴、すなわち、草、空、レンガ、様々な種類の建築材料、等に適用することができるが、これらに限定されない。本発明の原理の趣旨を保ちつつ、本発明の原理を適用できるこれらおよび他の特徴は、当業者には容易に想到される。

図２を参照すると、本発明の原理を適用できるレート制御のための例示的な装置が参照番号２００で概略的に示されている。装置２００は、本発明の原理の様々な実施形態に従って本明細書で説明する着目物（例えば、肌、草、空、等）の色モデル・パラメータ推定を適用するように構成される。

装置２００は、着目物の色モデル・パラメータ推定器２１０、着目物検出器２２０、レート制御器２４０、およびビデオ・エンコーダ２５０を備える。

着目物の色モデル・パラメータ推定器２１０の出力を、着目物検出器２２０の入力と信号通信するように接続される。着目物検出器２２０の出力は、レート制御器２４０の第１の入力と信号通信するように接続される。レート制御器２４０の出力は、ビデオ・エンコーダ２５０の第１の入力と信号通信するように接続される。

着目物の色モデル・パラメータ推定器２１０の入力とビデオ・エンコーダ２５０の第２の入力は、入力されたビデオおよび／または画像（複数可）を受信するために、装置２００の入力として利用可能である。レート制御器２４０の第２の入力は、レート条件を受信するために、装置の入力として利用可能である。

ビデオ・エンコーダ２５０の出力は、ビットストリームを出力するために、装置２００の出力として利用可能である。

図３を参照すると、本発明の原理を適用できる例示的な予測ビデオ・エンコーダが、参照番号３００として概略的に示されている。例えば、エンコーダ３００を、図２におけるエンコーダ２５０として用いることができる。係る場合には、エンコーダ３００は、図２の装置２００に対応する（レート制御器２４０による）レート制御を適用するように構成される。

ビデオ・エンコーダ３００は、結合器３８５の第１の入力と信号通信するための出力を有するフレーム順序バッファ（ｆｒａｍｅ ｏｒｄｅｒｉｎｇ ｂｕｆｆｅｒ）３１０を備える。結合器３８５の出力は、変換器および量子化器３２５の第１の入力と信号通信するように接続される。変換器および量子化器３２５の出力は、エントロピ符号化器３４５の第１の入力と逆変換器および逆量子化器３５０の入力とに信号通信するように接続される。エントロピ符号化器３４５の出力は結合器３９０の第１の入力と信号通信するように接続される。結合器３９０の出力は出力バッファ３３５の入力と信号通信するように接続される。出力バッファの第１の出力はエンコーダ制御器３０５の入力と信号通信するように接続される。

エンコーダ制御器３０５の出力は、画像タイプ決定モジュール３１５の入力と、マクロブロック・タイプ（ＭＢ−タイプ）決定モジュール３２０の第１の入力と、変換器および量子化器３２５の第２の入力と、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）およびＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）挿入器３４０の入力と、信号通信するように接続される。

画像タイプ決定モジュール３１５の第１の出力は、フレーム順序バッファ３１０の第２の入力と信号通信するように接続される。画像タイプ決定モジュール３１５の第２の出力は、マクロブロック・タイプ決定モジュール３２０の第２の入力と信号通信するように接続される。

ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）およびＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）挿入器３４０の出力は、結合器３９０の第３の入力と信号通信するように接続される。

逆量子化器および逆変換器３５０の出力は結合器３２７の第１の入力と信号通信するように接続される。結合器３２７の出力は、イントラ予測モジュール３６０の入力と、デブロッキング・フィルタ３６５の入力と信号通信するように接続される。デブロッキング・フィルタ３６５の出力は参照画像バッファ３８０の入力と信号通信するように接続される。参照画像バッファ３８０の出力は、動き推定器３７５の入力と、動き補償器３７０の第１の入力と信号通信するように接続される。動き推定器３７５の第１の出力は動き補償器３７０の第２の入力と信号通信するように接続される。動き推定器３７５の第２の出力はエントロピ符号化器３４５の第２の入力と信号通信するように接続される。

動き補償器３７０の出力はスイッチ３９７の第１の入力にと信号通信するように接続される。イントラ予測モジュール３６０の出力はスイッチ３９７の第２の入力と信号通信するように接続される。マクロブロック・タイプ決定モジュール３２０の出力はスイッチ３９７の第３の入力と信号通信するように接続される。スイッチ３９７の出力は結合器３２７の第２の入力と信号通信するように接続される。

フレーム順序バッファ３１０の入力は、入力画像を受信するために、エンコーダ３００の入力として利用可能である。さらに、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）挿入器３３０の入力は、メタデータを受信するために、エンコーダ３００の入力として利用可能である。出力バッファ３３５の第２の出力は、ビットストリームを出力するために、エンコーダ３００の出力として利用可能である。

図４を参照すると、着目物の適応的な色モデル・パラメータ推定に関する例示的な方法が、参照番号４００により概略的に示されている。

方法４００は、機能ブロック４１０に制御を渡す開始ブロック４０５を含む。機能ブロック４１０は、着目物に対応する少なくとも１つの一組の画素を、少なくとも１つの画像から抽出し、ループ・リミット・ブロック４１５に制御を渡す。ループ・リミット・ブロック４１５は、画素の組ごとにループを開始し、機能ブロック４２０に制御を渡す。機能ブロック４２０は、（現在の）（処理されている）組の中の画素の色成分を統計的モデルでモデル化し、機能ブロック４２５に制御を渡す。機能ブロック４２５は、モデル化した色成分に基づいて着目物の色モデル・パラメータを推定し、少なくとも１つの推定した着目物の色モデルを取得し、機能ブロック４３０に制御を渡す。機能ブロック４３０は、少なくとも１つの推定した着目物の色モデルを用いて一組の画素から着目物の画素を検出し、ループ・リミット・ブロック４３５に制御を渡す。ループ・リミット・ブロックは（現在の組に対する）ループを終了させ、決定ブロック４４０に制御を渡す。決定ブロック４４０は、画素の組がまだ存在するか否かを判定する。もし存在すれば、制御は機能ブロック４２０に戻る。存在しなければ、制御は終了ブロック４９９に渡される。

上述したように、本発明の原理は、着目物の適応的な色モデル・パラメータ推定に係る方法および装置に関する。上述したように、肌色は、本発明の原理を適用できる１つの例示的な着目物にすぎない。人間の肌の色成分は、一般的には色空間の或る領域に限定され、本明細書では肌色モデルと称する特定の統計的モデルで近似することができる。本発明の原理に従う実施形態では、肌色モデルのパラメータは、種々の画像およびビデオに対して変化しうるという事実を考慮している。

実施形態では、一組の画素の全てに対して、対応する肌色モデル・パラメータが推定される。別のアプリケーションでは、係る一組の画素を別々に定義することができる。例えば、係る一組の画素により、画像のサブセット、全体画像、一組の画像、等を定義することができる。肌色モデル・パラメータ推定方法を一組の画素それぞれに適用できる。種々の肌色モデル・パラメータ推定のアプローチが提示されている。これらの肌色モデル・パラメータ推定のアプローチには、画像およびビデオの肌色モデルの特徴を、より捕捉できるという利点がある。すなわち、本発明の原理による実施形態では、適応的に推定されたパラメータを用いて、より正確かつ堅牢に検出することを提供する。

本発明の原理による実施形態に関して提案する第１の方法は、本明細書において色範囲法（Ｃｏｌｏｒ Ｒａｎｇｅ ｍｅｔｈｏｄ）と称するものであり、肌色画素が正規分布としてモデル化され、肌画素が発生しそうな色空間の領域からモデル・パラメータを推定する。本発明の原理による実施形態に関して提案する第２の方法は、本明細書でカラー・クラスタリング法（Ｃｏｌｏｒ Ｃｌｕｓｔｅｒｉｎｇ ｍｅｔｈｏｄ）と称するものであり、すべての画素の色成分は混合正規モデルであると見なされる。カラー・クラスタリング法では、正規モデルごとにモデル・パラメータを推定し、次にそれらのうちの１つを肌色モデルとして選択する。本発明の原理による実施形態に関して提案する第３の方法は、推定性能をさらに向上させるために、複数の推定方法による推定結果を組み合わせるものである。

画素は、その対応する確率が所定の閾値より大きければ、肌色画素の候補として分類される。閾値以下であれば、画素は肌色でない画素として分類される。上記のモデリングでは画素の輝度成分を直接に用いてはいないが、画素の輝度成分は、肌の画素の分類においても有用でありうることに留意されたい。一実施形態では、画素の輝度成分を用いて、一組の画素の照明条件を決定することがきる。一実施形態では、照明条件が決まれば、照明補償手段を用いて、画素の色度成分の値を調整することができる。他の情報を考慮したさらに改良された基準を肌色画素の候補に適用して、誤検出（すなわち、肌色でない画素を誤って肌色画素として分類すること）を少なくすることができる。上記の他の情報には、サイズ情報、テクスチャ情報、輝度情報、動き情報、等が含まれるがこれらに限らない。係るアプリケーションの性能は、肌色モデル・パラメータに大きく依存している。真の肌色モデル・パラメータが静的なモデル・パラメータと異なる場合は、検出結果に対してペナルティを招くこととなる。

＜色範囲法＞
肌色モデルが抽出される一組の画素について、本明細書において提案する色範囲法は、先ず、予め選択した範囲ｕ_l≦ｕ≦ｕ_hおよびｖ_l≦ｖ≦ｖ_hにある色成分を有するすべての画素を収集する。閾値ｕ_l、ｕ_h、ｖ_l、およびｖ_hは、実際のアプリケーションにおいて肌色画素の大部分を含むことができるように選択される。係る閾値を理論的に導き出すか、または実証的にトレーニングすることができる。一実施形態では、係る閾値を、画像データベースまたはビデオ・データベース内の所定割合の肌色画素がこの範囲内に含まれるように選択することができる。この範囲に入る画素数をＮとする。Ｎ＝０の場合、色範囲法は、ＮＵＬＬのモデル・パラメータをリターンし、この一組の画素には肌色画素がないという結果を返す。Ｎ＞０の場合、色範囲法は、統計的推定方法を用いてこれらのＮ画素の平均および共分散行列を推定する。一実施形態では、以下の方程式を用いて係る平均および共分散行列を推定することができる。

ここで、ｉ＝１，．．．，Ｎである（ｕ_i，ｖ_i）は画素の色成分である。

図５を参照すると、適応可能な肌色モデル・パラメータ推定に関する例示的な方法が、参照番号４００として概略的に示されている。方法５００は本明細書で説明した色範囲法に対応していることが理解されよう。

方法５００は、機能ブロック５１０に制御を渡す開始ブロックを含む。機能ブロック５１０は、対象とする画像およびビデオを、複数の一組の画素に分割して、ループ・リミット・ブロック５１５に制御を渡す。ループ・リミット・ブロック５１５は、ｉが１から一組の数までの値を有するものとして変数ｉを用いて、一組の画素のそれぞれに対してループするループを開始し、機能ブロック５２０に制御を渡す。機能ブロック５２０は、予め選択した範囲内の色成分を有する画素を選択し、画素の総数をＮとして、決定ブロック５２５に制御を渡す。決定ブロック５２５は、Ｎがゼロより大きいか否かを判定する。ゼロより大きければ、制御は機能ブロック５３０に渡される。そうでなければ、制御は機能ブロック５４０に渡される。

機能ブロック５３０は、Ｎ個の選択された画素の平均および共分散行列を推定およびリターンし、ループ・リミット・ブロック５３５に制御を渡す。

ループ・リミット・ブロック５３５は、一組の画素のそれぞれに対するループを終了させ、終了ブロック５９９に制御を渡す。

機能ブロック５４０は、評価対象である現在の一組の画素において肌の画素がないことを指定し、ＮＵＬＬのモデル・パラメータをリターンし、ループ・リミット・ブロック５３５に制御を渡す。

＜カラー・クラスタリング法＞
カラー・クラスタリング法は、一組の画素における肌色画素の色成分を正規分布としてモデル化する。カラー・クラスタリング法はまた、一組の画素における肌色でない画素の色成分を正規分布の混合としてモデル化する。したがって、この一組の画素における色成分はＭ個の正規分布の混合である。カラー・クラスタリング法は先ず、この一組の画素内の画素ごとに色成分値を収集し、次に、統計的推定方法を用いて正規分布ごとに平均および共分散行列を計算する。Ｍの値は統計的推定方法を用いて推定することができ、または、実証的検討により予め選択することができる。具体的な実施形態として、Ｍが予め選択され、Ｎが当該一組における画素の全数を表すと仮定して、係る平均のおよび共分散行列を、以下のＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ−Ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムを用いて推定することができる。
１． 各分布を、任意の組のパラメータ

で初期化する。
２． ｉ＝１，．．．，Ｍについて当該パラメータを、

で更新する。
ここで、添字ｔはｔ回の更新の後のインデックスであり、ｐ（ｉ｜（ｕ_j，ｖ_j））は、画素の画素値（ｕ_j，ｖ_j）を所与として画素が混合正規分布中のｉ番目の分布に属する確率であり、π_iは画素が混合正規分布中のｉ番目の分布に属する割合である。
３． パラメータが収束するまでステップ２を継続してパラメータを更新するか、または、Ｋが予め選択されているとして、推定されたパラメータがＫ回の繰り返し後に収束しない場合に終了する。

各モデルのパラメータを推定した後、特定の条件に基づいて、モデルうちの１つがこの一組の画素に対する肌色モデルとして選択される。一実施形態では、係る条件は、ＶとＵの推定平均間の最大差、すなわち、

の最大値を用いてモデルを選択する条件であることができる。勿論、本発明の原理の趣旨を保ちつつ、本発明の原理は、前述の選択基準のみに限定されず、したがって、他の選択基準を用いて特定のモデルを選択してもよい。

図６を参照すると、適応可能な肌色モデル・パラメータ推定に関する他の例示的な方法が、参照番号６００として概略的に示されている。方法６００は本明細書において説明したカラー・クラスタリング法に対応していることは理解されよう。

方法６００は機能ブロック６１０に制御を渡す開始ブロックを含む。機能ブロック６１０は、対象とする画像およびビデオを複数の一組の画素に分割して、ループ・リミット・ブロック６１５に制御を渡す。ループ・リミット・ブロック６１５は、ｉが１から一組の数までの値を有するものとして、変数ｉを用いて一組の画素それぞれに対してループするループを開始し、機能ブロック６２０に制御を渡す。機能ブロック６２０は混合正規分布中の正規分布の番号（Ｍ）を選択し、機能ブロック６２５に制御を渡す。機能ブロック６２５は、混合正規分布中のＭ番目の正規分布の平均および共分散行列を推定し、機能ブロック６３０に制御を渡す。機能ブロック６３０は、所定の条件（複数可）に基づいてモデルのうちの１つを肌色モデルとして選択し、機能ブロック６３５に制御を渡す。機能ブロック６３５は、選択されたモデルの推定された平均および共分散行列を返し、ループ・リミット・ブロック６４０に制御を渡す。ループ・リミット・ブロック６４０は、一組の画素のそれぞれに対するループを終了させ、終了ブロック６９９に制御を渡す。

＜複数の推定方法による共同型推定＞
一実施形態では、複数の肌色モデル・パラメータ推定方法の結果を組み合わせる方法も提案する。Ｌ個の異なる肌色モデル・パラメータ推定方法に対して、ｉ＝１，．．．，Ｌとしてそれぞれがパラメータ推定結果

ここで、ｗ_oiおよびｗ_1iはそれぞれ平均および共分散行列に対する重み係数である。

図７を参照すると、複数の推定方法を用いた共同型の肌色モデル・パラメータ推定に関する例示的な方法が、参照番号６００として概略的に示されている。

方法７００は、機能ブロック７１０に制御を渡す開始ブロックを含む。機能ブロック７１０は、対象とする画像およびビデオを複数の一組の画素に分割して、ループ・リミット・ブロック７１５に制御を渡す。ループ・リミット・ブロック７１５は、ｉが１から一組の数までの値を有するものとして、変数ｉを用いて一組の画素のそれぞれに対してループする第１のループを開始し、機能ブロック７２０に制御を渡す。ループ・リミット・ブロック７２０は、ｊが１から使用される推定方法の数までの値を有するとして、変数ｊを用いて使用される各推定方法に対して第２のループを開始し、機能ブロック７２５に制御を渡す。機能ブロック７２５は、方法ｊで肌色モデル・パラメータを推定して返し、ループ・リミット・ブロック７３０に制御を渡す。ループ・リミット・ブロック７３０は、各推定方法に対する第２のループを終了させ、機能ブロック７３５に制御を渡す。機能ブロック７３５は、肌色パラメータの重み平均を計算して、ループ・リミット・ブロック７４０に制御を渡す。ループ・リミット・ブロック７４０は、一組の画素のそれぞれに対する第１のループを終了させ、終了ブロック７９９に制御を渡す。

ここで、本発明の多くの付随する利点または特徴のいくつかについて説明する。そのうちのいくつかは既に上述した。例えば、１つの利点または特徴は、着目物の色モデル・パラメータ推定器と着目物検出器とを有する、色検出のための装置である。着目物の色モデル・パラメータ推定器は、少なくとも一組の画素を少なくとも１つの画像から抽出するものである。少なくとも一組の画素は着目物に対応する。少なくとも一組の画素ごとに、着目物の色モデル・パラメータ推定器は、その少なくとも一組の画素における画素の色成分を統計的モデルでモデル化し、モデル化した色成分に基づいて着目物の色モデル・パラメータを推定して少なくとも１つの推定した着目物の色モデルを取得する。着目物検出器は、少なくとも１つの推定した着目物の色モデルを用いて少なくとも一組の画素から着目物の画素を検出するものである。

別の利点または特徴は、少なくとも一組の画素の各々がそれぞれ少なくとも１つの画像のうちの１つに対応する、上述した色検出のための装置である。

さらに別の利点または特徴は、少なくとも一組の画素の各々がそれぞれ幾つかの画像を含むビデオ・シーンに対応する、上述した色検出のための装置である。

さらに別の利点または特徴は、着目物の色モデル・パラメータ推定器が着目物の色モデル・パラメータを推定して少なくとも１つの非着目物の色モデルも取得する、上述した色検出のための装置である。この少なくとも１つの非着目物の色モデルは混合正規分布としてモデル化される。

さらなる利点または特徴は、少なくとも１つの推定された着目物の色モデルのうち少なくとも１つが正規分布としてモデル化される、上述した色検出のための装置である。

さらに、別の利点または特徴は、推定された着目物の色モデル・パラメータが、正規分布としてモデル化される少なくとも１つの推定された着目物の色モデルのうち少なくとも１つに対応し、予め選択された範囲内の画素でそのように推定される、上述した色検出のための装置である。

さらに、別の利点または特徴は、予め選択された範囲が着目物のデータベースにおける着目物の画素の所定の割合に基づく、上述した色検出のための装置である。

また、別の利点または特徴は、推定されたＶ色成分と推定されたＵ色成分の間の最小差に基づいて着目物の色モデル・パラメータが選択される、上述した色検出のための装置である。

さらに、別の利点または特徴は、着目物の色モデル・パラメータが混合正規モデルを用いて推定される、上述した色検出のための装置である。

さらに、別の利点または特徴は、着目物の色モデル・パラメータが複数のモデル・パラメータ推定方法を用いて推定される、上述した色検出のための装置である。

また、別の利点または特徴は、最終的な推定されたパラメータを取得するために、複数のモデル・パラメータ推定方法を用いて推定された着目物の色モデル・パラメータが共同的に推定される、上述した色検出のための装置である。

さらに、別の利点または特徴は、着目物の色モデル・パラメータ推定器が、演算重みを用いて最終的な推定されたパラメータの平均を重み付けする、上述した色検出のための装置である。

さらに、別の利点または特徴は、着目物の色モデル・パラメータ推定器が、幾何重みを用いて最終的な推定されたパラメータの平均を重み付けする、上述した色検出のための装置である。

さらに、別の利点または特徴は、ビデオ・エンコーダ内で利用される上述した色検出のための装置である。

また、別の利点または特徴は、ビデオ・エンコーダが複数の領域を、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｉｏｎ Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−４ Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｓｔａｎｄａｒｄ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ，Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ Ｈ．２６４勧告に準拠するビットストリームにエンコードする、上述した色検出のための装置である。

さらに、別の利点または特徴は、ビデオ・エンコーダが複数の領域を、Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ Ｖｉｄｅｏ Ｃｏｄｅｃ−１ Ｓｔａｎｄａｒｄに準拠するビットストリームにエンコードする、上述した色検出のための装置である。

さらには、別の利点または特徴は、着目物には肌、草、および空のうち少なくとも１つが含まれる、上述した色検出のための装置である。

本発明の原理のこれらおよび他の特徴および利点は、本明細書の教示に基づいて当業者により容易に確認することができる。本発明の原理が教示するものを、様々な形態のハードウェア、ソフトウェア、ファームウェア、特殊目的プロセッサ、またはそれらの組合せで実装できることは理解されよう。

本発明の原理が教示するものを、ハードウェアおよびソフトウェアの組合せで実装することが最も好ましい。さらに、このソフトウェアを、プログラム記憶装置上で明確に具現化したアプリケーション・プログラムとして実装してもよい。アプリケーション・プログラムを、任意の適切なアーキテクチャを含む機械へアップロードし、その機械によって実行することができる。その機械は、１つまたは複数のＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔｓ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、およびＩ／Ｏ（ｉｎｐｕｔ／ｏｕｔｐｕｔ）インタフェースのようなハードウェアを有するコンピュータ・プラットフォーム上で実装することが好ましい。コンピュータ・プラットフォームはまた、オペレーティング・システムとマイクロ命令コードを備えてもよい。本明細書に記載した様々なプロセスと機能は、マイクロ命令コードの一部もしくはアプリケーション・プロブラムの一部の何れか、またはそれらの任意の組合せであってもよく、それらをＣＰＵによって実行することができる。さらに、他の様々な周辺装置を、追加のデータ記憶装置や印刷装置のようなコンピュータ・プラットフォームに接続してもよい。

さらに、添付の図面に示した構成要素であるシステム・コンポーネントおよび方法のうち幾つかはソフトウェアで実装することが好ましいため、そのシステム・コンポーネントまたはプロセス機能ブロック間の実際の接続は、本発明の原理をプログラムする方法に応じて異なってもよいことは理解されよう。本明細書の教示が与えられれば、当業者は、本発明の原理のこれらのおよび同様な実装形態または構成を想到しうるであろう。

本明細書では例示的な実施形態を添付の図面を参照して説明したが、本発明の原理はこれらの明確な実施形態には限定されず、当業者によって、本発明の原理の範囲または精神から逸脱することなく、様々な変更および修正を加えてもよいことは理解されよう。係る変更と修正がすべて、添付の特許請求の範囲において説明する本発明の原理の範囲内に含まれることを意図している。
（付記１）
着目物に対応する一組の画素を画像から抽出し、前記一組の画素における画素の色成分を統計的モデルでモデル化し、前記モデル化された色成分に基づいてパラメータを推定して、推定された着目物の色モデルを取得するための推定器と、
前記推定された色モデルを用いて前記一組の画素から画素を検出するための検出器と
を備える色検出のための装置。
（付記２）
前記画像はビデオの一部である、付記１に記載の装置。
（付記３）
前記推定器は、前記パラメータを推定して非着目物の色モデルをさらに取得し、
前記非着目物の色モデルは、混合正規モデルとしてモデル化される、付記１に記載の装置。
（付記４）
前記推定された着目物の色モデルは正規分布としてモデル化される、付記１に記載の装置。
（付記５）
正規分布としてモデル化される前記推定された着目物の色モデルに対応する前記パラメータは、予め選択された範囲内にある画素で推定される、付記４に記載の装置。
（付記６）
前記予め選択された範囲は、着目物のデータベースにおける着目物の画素の所定の割合に基づく、付記５に記載の装置。
（付記７）
前記パラメータは、推定されたＶ色成分と推定されたＵ色成分との間の最小差に基づいて選択される、付記６に記載の装置。
（付記８）
前記パラメータは、混合正規モデルを用いて推定される、付記１に記載の装置。
（付記９）
前記パラメータは、複数のモデル・パラメータ推定方法を用いて推定される、付記１に記載の装置。
（付記１０）
前記複数のモデル・パラメータ推定方法を用いて推定された前記パラメータを共同的に推定して最終的な推定されたパラメータを取得する、付記１０に記載の装置。
（付記１１）
前記推定器は、演算重みを用いて前記最終的な推定されたパラメータの平均を重み付けする、付記１０に記載の装置。
（付記１２）
前記推定器は、幾何重みを用いて前記最終的な推定されたパラメータの平均を重み付けする、付記１０に記載の装置。
（付記１３）
前記装置は、ビデオ・エンコーダで利用される、付記１に記載の装置。
（付記１４）
前記ビデオ・エンコーダは、複数の領域を、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｉｏｎ Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−４ Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｓｔａｎｄａｒｄ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ，Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ Ｈ．２６４勧告に準拠するビットストリームにエンコードする、付記１３に記載の装置。
（付記１５）
前記ビデオ・エンコーダは、複数の領域を、Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ Ｖｉｄｅｏ Ｃｏｄｅｃ−１ Ｓｔａｎｄａｒｄに準拠するビットストリームにエンコードする、付記１３に記載の装置。
（付記１６）
前記着目物は、肌、草、および空のうち少なくとも１つを含む、付記１に記載の装置。
（付記１７）
画像から一組の画素を抽出するステップと、
前記一組の画素の色成分を統計的モデルでモデル化して、モデル化した色成分を生成するステップと、
前記モデル化した色成分に基づいてパラメータを推定して、第１の色モデルを取得するステップと、
前記第１の色モデルを用いて前記一組の画素から画素を検出するステップと
を含む、色検出の方法。
（付記１８）
前記推定ステップは、前記パラメータを推定して、混合正規モデルとしてモデル化される第２の色モデルを取得するステップをさらに含む、付記１７に記載の方法。
（付記１９）
第１の色モデルは、正規分布としてモデル化される、付記１７に記載の方法。
（付記２０）
パラメータは、予め選択した範囲内の画素で推定される、付記１９に記載の方法。
（付記２１）
前記予め選択された範囲は、着目物のデータベースにおける着目物の画素の所定の割合に基づく、付記２０に記載の方法。
（付記２２）
前記パラメータは、推定されたＶ色成分と推定されたＵ色成分との間の最小差に基づいて選択される、付記２１に記載の方法。
（付記２３）
前記着目物の色モデル・パラメータは、混合正規モデルを用いて推定される、付記１７に記載の方法。
（付記２４）
前記着目物の色モデル・パラメータは、複数のモデル・パラメータ推定方法を用いて推定される、付記１７に記載の方法。
（付記２５）
前記複数のモデル・パラメータ推定方法を用いて推定される前記着目物の色モデル・パラメータは、最終的な推定されたパラメータを取得するために共同して推定される、付記２４に記載の方法。
（付記２６）
前記最終的な推定されたパラメータの平均は、演算重みを用いて重み付けされる、付記２４に記載の方法。
（付記２７）
前記最終的な推定されたパラメータの平均は、幾何重みを用いて重み付けされる、付記２４に記載の方法。
（付記２８）
前記方法は、ビデオ・エンコーダに利用される、付記１７に記載の方法。
（付記２９）
前記ビデオ・エンコーダは、複数の領域を、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｉｏｎ Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−４ Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｓｔａｎｄａｒｄ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ，Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ Ｈ．２６４勧告に準拠するビットストリームにエンコードする、付記２８に記載の方法。
（付記３０）
前記ビデオ・エンコーダは、複数の領域を、Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ Ｖｉｄｅｏ Ｃｏｄｅｃ−１ Ｓｔａｎｄａｒｄに準拠するビットストリームにエンコードする、付記２８に記載の方法。
（付記３１）
前記画素は、肌、草、および空のうち少なくとも１つを含む、付記１７に記載の方法。

Claims (31)

1. 着目物に対応する一組の画素を画像から抽出し、前記一組の画素のＵ色成分及びＶ色成分を統計的モデルでモデル化してモデル化した色成分を生成し、前記一組の画素の輝度成分を利用して前記一組の画素の照明条件を決定し、前記照明条件に基づいて前記一組の画素の前記色成分を調整し、調整された前記モデル化した色成分に基づいて、平均及び共分散行列に関するパラメータを推定して、第１の色モデルを取得するための推定器と、
   前記推定された前記第１の色モデルを用いて前記一組の画素から画素を検出するための検出器と
   を備える色検出のための装置。
2. 前記画像はビデオの一部であることを特徴とする請求項１に記載の装置。
3. 前記推定器は、前記パラメータを推定して非着目物の色モデルをさらに取得し、
   前記非着目物の色モデルは、混合正規モデルとしてモデル化されることを特徴とする請求項１に記載の装置。
4. 前記推定された着目物の色モデルは正規分布としてモデル化されることを特徴とする請求項１に記載の装置。
5. 正規分布としてモデル化される前記推定された着目物の色モデルに対応する前記パラメータは、前記抽出される画素のうちの予め選択された範囲内にある画素で推定されることを特徴とする請求項４に記載の装置。
6. 前記予め選択された範囲は、着目物のデータベースにおける着目物の画素の所定の割合に基づくことを特徴とする請求項５に記載の装置。
7. 前記パラメータは、推定されたＶ色成分と推定されたＵ色成分との間の最大差に基づいて選択されることを特徴とする請求項６に記載の装置。
8. 前記パラメータは、混合正規モデルを用いて推定されることを特徴とする請求項１に記載の装置。
9. 前記パラメータは、複数のモデル・パラメータ推定方法を用いて推定されることを特徴とする請求項１に記載の装置。
10. 前記複数のモデル・パラメータ推定方法を用いて推定された前記パラメータを共同的に推定して最終的な推定されたパラメータを取得することを特徴とする請求項９に記載の装置。
11. 前記推定器は、演算重みを用いて前記最終的な推定されたパラメータの平均を重み付けすることを特徴とする請求項１０に記載の装置。
12. 前記推定器は、幾何重みを用いて前記最終的な推定されたパラメータの平均を重み付けすることを特徴とする請求項１０に記載の装置。
13. 前記装置は、ビデオ・エンコーダで利用されることを特徴とする請求項１に記載の装置。
14. 前記ビデオ・エンコーダは、複数の領域を、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−４ Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｓｔａｎｄａｒｄ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ，Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ Ｈ．２６４勧告に準拠するビットストリームにエンコードすることを特徴とする請求項１３に記載の装置。
15. 前記ビデオ・エンコーダは、複数の領域を、Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ Ｖｉｄｅｏ Ｃｏｄｅｃ−１ Ｓｔａｎｄａｒｄに準拠するビットストリームにエンコードすることを特徴とする請求項１３に記載の装置。
16. 前記着目物は、肌、草、および空のうち少なくとも１つを含むことを特徴とする請求項１に記載の装置。
17. 着目物に対応する一組の画素を画像から抽出するステップと、
    前記一組の画素のＵ色成分及びＶ色成分を統計的モデルでモデル化して、モデル化した色成分を生成するステップと、
    前記一組の画素の輝度成分を利用して前記一組の画素の照明条件を決定するステップと、
    前記照明条件に基づいて前記一組の画素の前記色成分を調整するステップと、
    調整された前記モデル化した色成分に基づいて、平均及び共分散行列に関するパラメータを推定して、第１の色モデルを取得するステップと、
    推定された前記第１の色モデルを用いて前記一組の画素から画素を検出するステップと
    を含むことを特徴とする色検出の方法。
18. 前記取得するステップは、前記パラメータを推定して、混合正規モデルとしてモデル化される第２の色モデルを取得するステップをさらに含むことを特徴とする請求項１７に記載の方法。
19. 第１の色モデルは、正規分布としてモデル化されることを特徴とする請求項１７に記載の方法。
20. パラメータは、前記抽出される画素のうちの予め選択した範囲内の画素で推定されることを特徴とする請求項１９に記載の方法。
21. 前記予め選択された範囲は、着目物のデータベースにおける着目物の画素の所定の割合に基づくことを特徴とする請求項２０に記載の方法。
22. 前記パラメータは、推定されたＶ色成分と推定されたＵ色成分との間の最大差に基づいて選択されることを特徴とする請求項２１に記載の方法。
23. 前記着目物の色モデル・パラメータは、混合正規モデルを用いて推定されることを特徴とする請求項１７に記載の方法。
24. 前記着目物の色モデル・パラメータは、複数のモデル・パラメータ推定方法を用いて推定されることを特徴とする請求項１７に記載の方法。
25. 前記複数のモデル・パラメータ推定方法を用いて推定される前記着目物の色モデル・パラメータは、最終的な推定されたパラメータを取得するために共同して推定されることを特徴とする請求項２４に記載の方法。
26. 前記最終的な推定されたパラメータの平均は、演算重みを用いて重み付けされることを特徴とする請求項２５に記載の方法。
27. 前記最終的な推定されたパラメータの平均は、幾何重みを用いて重み付けされることを特徴とする請求項２５に記載の方法。
28. 前記方法は、ビデオ・エンコーダに利用されることを特徴とする請求項１７に記載の方法。
29. 前記ビデオ・エンコーダは、複数の領域を、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−４ Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｓｔａｎｄａｒｄ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ，Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ Ｈ．２６４勧告に準拠するビットストリームにエンコードすることを特徴とする請求項２８に記載の方法。
30. 前記ビデオ・エンコーダは、複数の領域を、Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ Ｖｉｄｅｏ Ｃｏｄｅｃ−１ Ｓｔａｎｄａｒｄに準拠するビットストリームにエンコードすることを特徴とする請求項２８に記載の方法。
31. 前記画素は、肌、草、および空のうち少なくとも１つを含むことを特徴とする請求項１７に記載の方法。

Images