JP4946035B2 - 画像処理方法、その装置およびそのプログラム - Google Patents

Description

本発明は、処理対象の画像データから、所定の特徴を持つセグメントを抽出するために用いられる画像処理方法、その装置およびそのプログラムに関する。

例えば、画像データ内で肌領域と非肌領域とを区分するスキンセグメンテイション処理が知られている。このようなスキンセグメンテイション処理は、画像データから人間の手や顔の画像を抽出して、人間の動きを認識・追跡する場合などに用いられる。
セグメンテイションの精度を高めるために、例えば、下記引用文献１に開示された技術では、セグメンテイションにおけるエネルギを定義し、そのエネルギを最小にするようにグラフカット法などを用いてセグメンテイションを行っている。

米国公開特許２００２／００４８４０１号

しかしながら、従来のスキンセグメンテイション処理は、各画素データが示す色が、所定の色であるか否かを基に肌領域であるかを判断しており、明度障害や肌色差異などに対しての検出精度および耐性が低いという問題がある。

本発明は上述した従来技術の問題点を解決するために、画像データ内の色情報を基に所定の特徴部分をセグメンテイションする場合に、その精度および耐性を高めることができる画像処理方法、その装置およびそのプログラムを提供することを目的とする。

上述した従来技術の問題点を解決し、上述した目的を達成するため、第１の発明の画像処理方法は、所定の色が所定の特徴を持つセグメント内の色である確率を示す確率データを参照して、処理対象の画像データを構成する所定の画素データに応じた色が前記セグメント内の色である確率を示す確率データを生成する第１の工程と、前記第１の工程で生成した前記確率データを基に、前記所定の画素データが前記セグメント内の画素データであることに応じた第１のエネルギを計算する第２の工程と、前記所定の画素データと、それに隣接する画素データとの差異に応じた第３のエネルギを計算する第３の工程と、前記処理対象の画像データを構成する画素データの各々について、当該画素データに対して時間的に前あるいは後の対応する画素データとの差異を検出する第４の工程と、前記第４の工程で検出した前記差異にさらに基づいて、当該画素データが前記セグメント内の画素データであることに対する第４のエネルギを少なくとも計算する第５の工程と、前記第２の工程で計算した前記第１のエネルギと、前記画素データが前記セグメント外の画素データであることに対する、前記第１のエネルギに対応して予め決められた第２のエネルギとを基に、第６のエネルギを更に算出し、前記第３の工程で計算した前記第３のエネルギを基に、第７のエネルギを更に算出し、前記第５の工程で計算した前記第４のエネルギと、前記画素データが前記セグメント外の画素データであることに対する、前記第４のエネルギに対応して予め決められた第５のエネルギとを基に、第８のエネルギを更に算出し、前記第６のエネルギと、前記第７のエネルギと、前記第８のエネルギとの総和を最小にするように、前記所定の画素データを前記セグメント内外のいずれか一方に割り当てる第６の工程と、を有する。

第２の発明の画像処理装置は、所定の色が所定の特徴を持つセグメント内の色である確率を示す確率データを参照して、処理対象の画像データを構成する所定の画素データに応じた色が前記セグメント内の色である確率を示す確率データを生成し、当該確率データを基に、前記所定の画素データが前記セグメント内の画素データであることに応じた第１のエネルギを計算する第１のエネルギ計算手段と、前記所定の画素データと、それに隣接する画素データとの差異に応じた第３のエネルギを計算する第２のエネルギ計算手段と、前記処理対象の画像データを構成する画素データの各々について、当該画素データに対して時間的に前あるいは後の対応する画素データとの差異を検出し、当該差異にさらに基づいて、当該画素データが前記セグメント内の画素データであることに対する第４のエネルギを少なくとも計算する第３のエネルギ計算手段と、前記第１のエネルギ計算手段が計算した前記第１のエネルギと、前記画素データが前記セグメント外の画素データであることに対する、前記第１のエネルギに対応して予め決められた第２のエネルギとを基に、第６のエネルギを更に算出し、前記２のエネルギ計算手段が計算した前記第３のエネルギを基に、第７のエネルギを更に算出し、前記３のエネルギ計算手段が計算した前記第４のエネルギと、前記画素データが前記セグメント外の画素データであることに対する、前記第４のエネルギに対応して予め決められた第５のエネルギとを基に、第８のエネルギを更に算出し、前記第６のエネルギと、前記第７のエネルギと、前記第８のエネルギとの総和を最小にするように、前記所定の画素データを前記セグメント内外のいずれか一方に割り当てる割り当て手段と、を有する。

第３の発明のプログラムは、コンピュータが実行するプログラムであって、所定の色が所定の特徴を持つセグメント内の色である確率を示す確率データを参照して、処理対象の画像データを構成する所定の画素データに応じた色が前記セグメント内の色である確率を示す確率データを生成する第１の手順と、前記第１の手順で生成した前記確率データを基に、前記所定の画素データが前記セグメント内の画素データであることに応じた第１のエネルギを計算する第２の手順と、前記所定の画素データと、それに隣接する画素データとの差異に応じた第３のエネルギを計算する第３の手順と、前記処理対象の画像データを構成する画素データの各々について、当該画素データに対して時間的に前あるいは後の対応する画素データとの差異を検出する第４の手順と、前記第４の手順で検出した前記差異にさらに基づいて、当該画素データが前記セグメント内の画素データであることに対する第４のエネルギを少なくとも計算する第５の手順と、前記第２の手順で計算した前記第１のエネルギと、前記画素データが前記セグメント外の画素データであることに対する、前記第１のエネルギに対応して予め決められた第２のエネルギとを基に、第６のエネルギを更に算出し、前記第３の手順で計算した前記第３のエネルギを基に、第７のエネルギを更に算出し、前記第５の手順で計算した前記第４のエネルギと、前記画素データが前記セグメント外の画素データであることに対する、前記第４のエネルギに対応して予め決められた第５のエネルギとを基に、第８のエネルギを更に算出し、前記第６のエネルギと、前記第７のエネルギと、前記第８のエネルギとの総和を最小にするように、前記所定の画素データを前記セグメント内外のいずれか一方に割り当てる第６の手順と、を前記コンピュータに実行させる。

本発明によれば、画像データ内の色情報を基に所定の特徴部分をセグメンテイションする場合に、その精度および耐性を高めることができる画像処理方法、その装置およびそのプログラムを提供することができる。

以下、本発明の実施形態に係わる画像処理装置について説明する。
先ず、本実施形態の構成要素と、本発明の構成要素との対応関係を説明する。
本実施形態の肌確率Ｐ_ｓｋｉｎ（ｃ_ｕ）が本発明の確率データの一例である。また、本実施形態のエネルギＤ_ｓｋｉｎ（ｕ）が本発明の第１のエネルギの一例であり、本実施形態のエネルギＤ_{ｎｏｎ−ｓｋｉｎ}（ｕ）が本発明の第２のエネルギの一例である。また、本実施形態のエネルギＳ（ｕ，ｖ）が本発明の第３のエネルギの一例である。また、エネルギＭ_ｓｋｉｎ（ｕ）が本発明の第４のエネルギの一例であり、エネルギＭ_{ｎｏｎ−ｓｋｉｎ}（ｕ）が本発明の第５のエネルギの一例である。
また、本実施形態のステップＳＴ１２が本発明の第１の工程の一例であり、ステップＳＴ１３が本発明の第２の工程の一例であり、ステップＳＴ１８，ＳＴ１９が本発明の第３の工程の一例であり、ステップＳＴ２，ＳＴ３が本発明の第４の工程の一例である。
さらに、図９に示す処理回路４３が、ステップＳＴ１２を実行することで本発明の確率データ生成手段が実現され、処理回路４３がステップＳＴ１３を実行することで本発明のエネルギ計算手段が実現され、処理回路４３がステップＳＴ１３を実行することで本発明の第１のエネルギ計算手段が実現され、処理回路４３がステップＳＴ１８，ＳＴ１９を実行することで本発明の第２のエネルギ計算手段が実現され、処理回路４３がステップＳＴ２，ＳＴ３を実行することで本発明の割り当て手段が実現される。
また、図９に示すプログラムＰＲＧが本発明のプログラムの一例である。

図１は、本発明の実施形態に係わる画像処理装置１の全体構成図である。
図１に示すように、画像処理装置１は、例えば、カメラ１０、カラーエネルギ計算部１２、動きエネルギ計算部１４、関連エネルギ計算部１６、グラフ構築部１８、マックス・フロー最適化部２０およびスキン・セグメントマスク生成部２２を有する。
画像処理装置１は、カラーエネルギ計算部１２において、所定の色が所定の特徴を持つセグメント内の色である確率を示す確率データを参照して、処理対象の画像データを構成する画素データの各々について、当該画素データが示す色が前記セグメント内の色である確率を示す肌確率Ｐ_ｓｋｉｎ（ｃ_ｕ）を生成する。
そして、カラーエネルギ計算部１２において、肌確率Ｐ_ｓｋｉｎ（ｃ_ｕ）を基に、複数の画素データの各々について、当該画素データが肌領域内の画素データであることに対するエネルギＤ_ｓｋｉｎ（ｕ）等を生成する。
そして、グラフ構築部１８において、上記エネルギを基にグラフを構築し、マックス・フロー最適化部２０により、総エネルギを最小にするように、全画素データの各々を肌領域の内外のいずれか一方に割り当てる（セグメンテイションを行う）。

［カメラ１０］
カメラ１０は、撮像対象を撮像し、その撮像結果に応じた画像データＳ１０を、カラーエネルギ計算部１２、動きエネルギ計算部１４および関連エネルギ計算部１６に出力する。
画像データＳ１０は、例えば、各々がＲ，Ｇ，Ｂ値を示す複数の画素データで構成される。

［カラーエネルギ計算部１２］
カラーエネルギ計算部１２は、画像データＳ１０の画素データを、Ｒ，Ｇ，Ｂ値から色相値Ｈｕｅに変換する。
また、カラーエネルギ計算部１２は、図２に示すように、色相値Ｈｕｅと、肌確率Ｐｓｋｉｎとの関係を示すテーブルデータを備えている。
カラーエネルギ計算部１２は、画像データＳ１０の各画素データｕについて、その色相値ｃｕに対応する肌確率Ｐ_ｓｋｉｎ（ｃ_ｕ）を、上記テーブルデータを基に取得する。
カラーエネルギ計算部１２は、下記式（１）により、画素データｕが肌に対応することに対するエネルギ値を示すエネルギＤ_ｓｋｉｎ（ｕ）を計算する。すなわち、エネルギＤ_ｓｋｉｎ（ｕ）は、画素データｕの色相値ｃ_ｕの肌確率Ｐ_ｓｋｉｎ（ｃ_ｕ）が高くなるに従って小さくなるように規定されている。

また、カラーエネルギ計算部１２は、下記式（２）に示すように、画素データｕが肌に対応しないことに対するエネルギ値を示すエネルギＤ_{ｎｏｎ−ｓｋｉｎ}（ｕ）として、一定値Ｍを代入する。

マックス・フロー最適化部２０は、グラフカット法による最適化処理において、画像データＳ１０における肌領域と非肌領域との組み合わせパターンであるｆについて、下記式（３）により、カラーエネルギＥｃ（ｆ）を計算する。
下記式において、ｆ_ｕは、画素データｕが肌領域と仮定されているか否かを示し、ｕが肌領域と仮定された場合は「ｆ _ｕ ＝１」、非肌領域と仮定されている場合は「ｆ _ｕ ＝０」である。
また、Ｔ「．」は、「．」の条件が真の場合に「１」となり、偽の場合に「０」となる。

なお、カラーエネルギ計算部１２は、例えば、下記式（４）に示すようにエネルギＤ_ｓｋｉｎ（ｕ）を計算し、下記式（５）に示すようにエネルギＤ_{ｎｏｎ−ｓｋｉｎ}（ｕ）を計算してもよい。

なお、本実施形態では、カラーエネルギ計算部１２においてＲ，Ｇ，Ｂ値を色相値Ｈｕｅに変換してから、グラフ構築を行う場合を例示するが、Ｒ，Ｇ，Ｂ値を直接用いてグラフ構築してもよい。

［動きエネルギ計算部１４］
動きエネルギ計算部１４は、画像データＳ１０に動き抽出処理を施し、それをエネルギ換算する。これは、肌は、通常動きがある人間の一部であり、動き情報はスキンセグメンテーションの耐性（ロバストネス）および精度を高める上で役に立つためである。
動きエネルギ計算部１４は、カレントピクチャ（フレーム）の各画素データに対して、抽出した動き量を基に、画素データｕが肌に対応することに対するエネルギ値を示すエネルギＭ_ｓｋｉｎ（ｕ）を計算する。すなわち、動きエネルギ計算部１４は、下記式（６）に示すように、フレーム間の差分を検出することで簡単な計算でエネルギＭ_ｓｋｉｎ（ｕ）を算出する。
下記式（６）において、Iｔ（ｕ）は、時刻ｔのフレーム内での画素データｕ（画素位置ｕの画素データ）の画素値を示している。また、Ｃは固定値である。

また、動きエネルギ計算部１４は、下記式（７）に示すように、画素データｕが肌に対応しないことに対するエネルギ値を示すエネルギＭ_{ｎｏｎ−ｓｋｉｎ}（ｕ）として、一定値Ｃを代入する。

マックス・フロー最適化部２０は、グラフカット法による最適化処理において、画像データＳ１０における肌領域と非肌領域との組み合わせパターンであるｆについて、下記式（８）により、動きエネルギＥＭ（ｆ）を計算する。
下記式において、ｆ_ｕは、上述したように、画素データｕが肌領域と仮定されているか否かを示し、ｕが肌領域と仮定された場合は「ｆ _ｕ ＝１」、非肌領域と仮定されている場合は「ｆ _ｕ ＝０」である。

［関連エネルギ計算部１６］
関連エネルギ計算部１６は、所定の画素の画素データｕと、それに隣接する画素の画素データｖとの間の関係性を示すエネルギＳ（ｕ，ｖ）を下記式（９）に示すように設定する。
下記式（９）において、I（ｕ）は、処理対象のフレーム内での画素データｕ（画素位置ｕの画素データ）の画素値を示し、Ｉ（ｖ）は隣接画素データｖの画素値を示している。また、Ｔｈｒｄは、予め決められたしきい値を示している。また、λは、所定の固定値を示している。

本実施形態では、画素データｕの隣接画素データとして、図３に示す画素位置の隣接画素データｖ１，ｖ２，ｖ３，ｖ４を用いる。なお、画素データｕの隣接画素データとして、図３に示す画素位置の隣接画素データｖ１，ｖ２，ｖ３，ｖ４を含む４個の画素データを用いてもよい。

マックス・フロー最適化部２０は、グラフカット法による最適化処理において、画像データＳ１０における肌領域と非肌領域との組み合わせパターンであるｆについて、下記式（１０）により、関連エネルギＥ_Ｓ（ｆ）を計算する。

上記式（１０）において、ｆ_ｕは上述したように画素データｕが肌領域と仮定されているか否かを示し、ｆ_ｖは上述したように画素データｖが肌領域と仮定されているか否かを示す。本実施形態では、ｆ_ｕとｆ_ｖが異なる場合に、エネルギＳ（ｕ，ｖ）を累積する。これにより、隣接する画素データについては、肌領域内か否かを判断結果が同じになりやすくしている。すなわち、肌領域をスムーズに変化させている。
すなわち、関連エネルギ計算部１６は、画素データｕとｖとの間にエッジが存在する場合に、それらの間の関係が弱くするために、エッジが存在しない場合に比べてfu≠fvの時のエネルギを小さくする。

［グラフ構築部１８］
グラフ構築部１８は、例えば、図４に示すように、画像データＳ１０内の画素データの各々について、当該画素データとノードＮ（ｓｋｉｎ）との間のエッジＥ（ｓｋｉｎ）のエネルギとして上記式（１）に示すエネルギＤ_ｓｋｉｎ（ｕ）と上記式（６）に示すエネルギＭ_ｓｋｉｎ（ｕ）との加算値を割り当ててグラフデータを生成する（グラフ構築する）。
また、グラフ構築部１８は、各画素データとノードＮ（ｎｏｎ−ｓｋｉｎ）との間のエッジＥ（ｎｏｎ−ｓｋｉｎ）のエネルギとして上記式（２）に示すエネルギＤ_{ｎｏｎ−ｓｋｉｎ}（ｕ）と上記式（７）に示すエネルギＭ_{ｎｏｎ−ｓｋｉｎ}（ｕ）との加算値を割り当ててグラフデータを生成する。
また、グラフ構築部１８は、各画素データと、それに隣接する画素データとの間のエッジＥ（ｎｅｉ）として上記式（９）のエネルギＳ（ｕ，ｖ）を割り当ててグラフデータを生成する。

［マックス・フロー最適化部２０］
マックス・フロー最適化部２０は、グラフ構築部１８が生成した図４に示すグラフを基に、グラフカット法などにより、上記式（３），（８），（１０）を用いて、下記式（１１）に示すエネルギＥ_Ｓ（ｆ）を最小にする構造データｆを生成する。
ここで、構造データｆは、画像データＳ１０の各画素データに対して、肌領域であるか非肌領域であるかを示している。具体的には、マックス・フロー最適化部２０は、図５に示すように、下記式（１１）に示すエネルギＥ_Ｓ（ｆ）を最小にするようにグラフカット処理を行い、その結果として、各画素データに対応するデータとして、肌領域を示す「１」か非肌領域を示す「０」を割り当てた構造データｆを生成する。

なお、マックス・フロー最適化部２０が行うグラフカット法としては、例えば、Yuri Boykov etc.,“Fast Approximate Energy Minimization via Graph Cuts”, IEEE TRANSACTIONS ON PTTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.23, NO.11, NOV.2001に開示されたものが用いられる。

［スキン・セグメントマスク生成部２２］
スキン・セグメントマスク生成部２２は、例えば、マックス・フロー最適化部２０が生成した構造データｆを基に、画像データＳ１０から肌領域の画像を抽出するためのマスクデータを生成する。
その後、画像処理装置１は、上記マスクデータを基に、画像データＳ１０から肌領域の画像データのみを抽出し、人間の動作などの検出処理を行う。
本実施形態では、例えば、図６に示す画像データＳ１０に対して上記マスクデータを用いてマスク処理を行い高精度な画像データＳ２０を生成できる。従来では、図６に示すように、マスク処理により、精度が低い画像データＳ１２０にしか得られなかった。

以下、図１に示す画像処理装置１の動作例を説明する。
［全体動作例］
図７は、図１に示す画像処理装置１の全体動作例を説明するためのフローチャートである。
ステップＳＴ１：
カラーエネルギ計算部１２、動きエネルギ計算部１４および関連エネルギ計算部１６が、エネルギＤ_ｓｋｉｎ（ｕ），Ｄ_{ｎｏｎ−ｓｋｉｎ}（ｕ）、エネルギＭ_ｓｋｉｎ（ｕ），Ｍ_{ｎｏｎ−ｓｋｉｎ}（ｕ）、エネルギＳ（ｕ，ｖ）を生成し、それらをグラフ構築部１８に出力する。
当該処理については後に詳細に説明する。
グラフ構築部１８は、カラーエネルギ計算部１２、動きエネルギ計算部１４および関連エネルギ計算部１６から入力した上記エネルギを、図４に示すように各エッジＥ（ｓｋｉｎ），Ｅ（ｎｏｎ−ｓｋｉｎ），Ｅ（ｎｅｉ）に割り当て、その割り当て内容を示すグラフデータを生成する。

ステップＳＴ２：
マックス・フロー最適化部２０は、グラフ構築部１８がステップＳＴ１で生成した図４に示すグラフのグラフデータを基に、グラフカット法などにより、上記式（１１）に示すエネルギＥ_Ｓ（ｆ）を最小にする構造データｆを生成する。

ステップＳＴ３：
スキン・セグメントマスク生成部２２は、例えば、マックス・フロー最適化部２０が生成した構造データｆを基に、画像データＳ１０から肌領域の画像を抽出するためのマスクデータを生成する。その後、画像処理装置１は、上記マスクデータを基に、画像データＳ１０から肌領域の画像データのみを抽出し、人間の動作などの検出処理を行う。

［図７のステップＳＴ１の動作例］
図８は、図７のステップＳＴ１の動作例を詳細に説明するためのフローチャートである。
ステップＳＴ１１：
カラーエネルギ計算部１２は、画像データＳ１０の画素データを、Ｒ，Ｇ，Ｂ値から色相値Ｈｕｅに変換する。

ステップＳＴ１２：
カラーエネルギ計算部１２は、画像データＳ１０の各画素データｕについて、その色相値ｃｕに対応する肌確率Ｐ_ｓｋｉｎ（ｃ_ｕ）を、上記テーブルデータを基に取得する。

ステップＳＴ１３：
カラーエネルギ計算部１２は、上記式（１）により、画素データｕが肌に対応することに対するエネルギ値を示すエネルギＤ_ｓｋｉｎ（ｕ）を計算する。

ステップＳＴ１４：
カラーエネルギ計算部１２は、上記式（２）に示すように、画素データｕが肌に対応しないことに対するエネルギ値を示すエネルギＤ_{ｎｏｎ−ｓｋｉｎ}（ｕ）として、一定値Ｍを設定する。

ステップＳＴ１５：
動きエネルギ計算部１４は、カレントピクチャ（フレーム）の各画素データに対して動き量（＝｜Ｉ_ｔ（ｕ）−Ｉ_ｔ−１（ｕ）｜）を抽出する。

ステップＳＴ１６：
動きエネルギ計算部１４は、ステップＳＴ１５で抽出した動き量を基に、上記式（６）に従って、画素データｕが肌に対応しないことに対するエネルギ値を示すエネルギＭ_ｓｋｉｎ（ｕ）を計算する。

ステップＳＴ１７：
動きエネルギ計算部１４は、上記式（７）に示すように、画素データｕが肌に対応しないことに対するエネルギ値を示すエネルギＭ_{ｎｏｎ−ｓｋｉｎ}（ｕ）として、一定値Ｃを代入する。

ステップＳＴ１８：
関連エネルギ計算部１６は、所定の画素の画素データｕと、それに隣接する画素の画素データｖとの間の差分（＝｜Ｉ（ｕ）−Ｉ（ｖ）｜）を計算する。

ステップＳＴ１９：
関連エネルギ計算部１６は、ステップＳＴ１８で計算した差分を基に、エネルギＳ（ｕ，ｖ）を上記式（９）に示すように設定する。

ところで、図１に示す画像処理装置１は、例えば、図９に示すように、データ線４０を介して接続されたインターフェース４１、メモリ４２および処理回路４３によって実現できる。
この場合に、処理回路４３が、メモリ４２に記憶されたプログラムＰＲＧを読み出して、図７および図８に示す処理を実行する。
また、インターフェース４１は、図１に示すカメラ１０から画像データＳ１０を入力する。

本発明は上述した実施形態には限定されない。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
また、本明細書において、記録媒体により提供されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

例えば、上述した実施形態では、カラーエネルギ計算部１２の他に、動きエネルギ計算部１４および関連エネルギ計算部１６を用いる場合を例示したが、本発明は、これらの何れか一方あるいは双方を用いない場合にも適用される。
例えば、図１０に示すように、カラーコスト計算部１２と動きコスト計算部１４を用い、関連エネルギ計算部を用いなくてもよい。
また、上述した実施形態では、上記式（１１）のエネルギを最小にする構造データｆをグラフカット法を用いて決定する場合を例示したが、エネルギ最小の構造データｆを決定する手法であれば特に限定されない。

図１は、本発明の実施形態の画像処理装置の構成図である。 図２は、色相値Ｈｕｅと肌確率Ｐｓｋｉｎとの関係を示すテーブルデータを説明するための図である。 図３は、図１に示す関連エネルギ計算部の処理を説明するための図である。 図４は、図１に示すグラフ構築部の処理を説明するための図である。 図５は、図１に示すマックス・フロー最適化部の処理を説明するための図である。 図６は、図１に示すスキン・セグメントマスク生成部の結果を基に生成したマスクデータの効果を説明するための図である。 図７は、図１に示す画像処理装置の全体動作例を説明するためのフローチャートである。 図８は、図７に示すステップＳＴ１の処理を説明するための図である。 図９は、図１に示す画像処理装置のハードウェア構成の一例を説明するための図である。 図１０は、本発明のその他の実施形態の画像処理装置の構成図である。

符号の説明

１…画像処理装置、１０…カメラ、１２…カラーエネルギ計算部、１４…動きエネルギ計算部、１６…関連エネルギ計算部、１８…グラフ構築部、２０…マックス・フロー最適化部、２２…スキン・セグメントマスク生成部、４１…インターフェース、４２…メモリ、４３…処理回路

Claims (4)

1. 所定の色が所定の特徴を持つセグメント内の色である確率を示す確率データを参照して、処理対象の画像データを構成する所定の画素データに応じた色が前記セグメント内の色である確率を示す確率データを生成する第１の工程と、
   前記第１の工程で生成した前記確率データを基に、前記所定の画素データが前記セグメント内の画素データであることに応じた第１のエネルギを計算する第２の工程と、
   前記所定の画素データと、それに隣接する画素データとの差異に応じた第３のエネルギを計算する第３の工程と、
   前記処理対象の画像データを構成する画素データの各々について、当該画素データに対して時間的に前あるいは後の対応する画素データとの差異を検出する第４の工程と、
   前記第４の工程で検出した前記差異にさらに基づいて、当該画素データが前記セグメント内の画素データであることに対する第４のエネルギを少なくとも計算する第５の工程と、
   前記第２の工程で計算した前記第１のエネルギと、前記画素データが前記セグメント外の画素データであることに対する、前記第１のエネルギに対応して予め決められた第２のエネルギとを基に、第６のエネルギを更に算出し、
   前記第３の工程で計算した前記第３のエネルギを基に、第７のエネルギを更に算出し、
   前記第５の工程で計算した前記第４のエネルギと、前記画素データが前記セグメント外の画素データであることに対する、前記第４のエネルギに対応して予め決められた第５のエネルギとを基に、第８のエネルギを更に算出し、
   前記第６のエネルギと、前記第７のエネルギと、前記第８のエネルギとの総和を最小にするように、前記所定の画素データを前記セグメント内外のいずれか一方に割り当てる第６の工程と、
   を有する画像処理方法。
2. 前記第２の工程において、前記確率データが高くなるに従って小さくなるように前記第１のエネルギを計算する
   請求項１に記載の画像処理方法。
3. 所定の色が所定の特徴を持つセグメント内の色である確率を示す確率データを参照して、処理対象の画像データを構成する所定の画素データに応じた色が前記セグメント内の色である確率を示す確率データを生成し、当該確率データを基に、前記所定の画素データが前記セグメント内の画素データであることに応じた第１のエネルギを計算する第１のエネルギ計算手段と、
   前記所定の画素データと、それに隣接する画素データとの差異に応じた第３のエネルギを計算する第２のエネルギ計算手段と、
   前記処理対象の画像データを構成する画素データの各々について、当該画素データに対して時間的に前あるいは後の対応する画素データとの差異を検出し、当該差異にさらに基づいて、当該画素データが前記セグメント内の画素データであることに対する第４のエネルギを少なくとも計算する第３のエネルギ計算手段と、
   前記第１のエネルギ計算手段が計算した前記第１のエネルギと、前記画素データが前記セグメント外の画素データであることに対する、前記第１のエネルギに対応して予め決められた第２のエネルギとを基に、第６のエネルギを更に算出し、
   前記２のエネルギ計算手段が計算した前記第３のエネルギを基に、第７のエネルギを更に算出し、
   前記３のエネルギ計算手段が計算した前記第４のエネルギと、前記画素データが前記セグメント外の画素データであることに対する、前記第４のエネルギに対応して予め決められた第５のエネルギとを基に、第８のエネルギを更に算出し、
   前記第６のエネルギと、前記第７のエネルギと、前記第８のエネルギとの総和を最小にするように、前記所定の画素データを前記セグメント内外のいずれか一方に割り当てる割り当て手段と、
   を有する画像処理装置。
4. コンピュータが実行するプログラムであって、
   所定の色が所定の特徴を持つセグメント内の色である確率を示す確率データを参照して、処理対象の画像データを構成する所定の画素データに応じた色が前記セグメント内の色である確率を示す確率データを生成する第１の手順と、
   前記第１の手順で生成した前記確率データを基に、前記所定の画素データが前記セグメント内の画素データであることに応じた第１のエネルギを計算する第２の手順と、
   前記所定の画素データと、それに隣接する画素データとの差異に応じた第３のエネルギを計算する第３の手順と、
   前記処理対象の画像データを構成する画素データの各々について、当該画素データに対して時間的に前あるいは後の対応する画素データとの差異を検出する第４の手順と、
   前記第４の手順で検出した前記差異にさらに基づいて、当該画素データが前記セグメント内の画素データであることに対する第４のエネルギを少なくとも計算する第５の手順と、
   前記第２の手順で計算した前記第１のエネルギと、前記画素データが前記セグメント外の画素データであることに対する、前記第１のエネルギに対応して予め決められた第２のエネルギとを基に、第６のエネルギを更に算出し、
   前記第３の手順で計算した前記第３のエネルギを基に、第７のエネルギを更に算出し、
   前記第５の手順で計算した前記第４のエネルギと、前記画素データが前記セグメント外の画素データであることに対する、前記第４のエネルギに対応して予め決められた第５のエネルギとを基に、第８のエネルギを更に算出し、
   前記第６のエネルギと、前記第７のエネルギと、前記第８のエネルギとの総和を最小にするように、前記所定の画素データを前記セグメント内外のいずれか一方に割り当てる第６の手順と、
   を前記コンピュータに実行させるプログラム。