JP5194201B2 - グラフカットの初期値を設定する方法、端末装置、及びコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、グラフカット（ｇｒａｐｈ ｃｕｔ）の初期値を設定する方法、端末装置、及びコンピュータ読み取り可能な記録媒体に関する。より詳しくは、本発明は、既に格納されている複数の人物領域パターンを用いてグラフカットのための初期値を獲得することによって、グラフカットを用いたイメージの編集がより正確、かつ、効果的に実行され得るようにするための方法、端末装置及びコンピュータ読み取り可能な記録媒体に関する。

近年、相手の顔を見ながら通話できる携帯電話や画像チャットに用いられるウェブカメラ、人の顔を撮影できるデジタルカメラなどのデジタル機器が広く普及することにより、日常生活で人物のイメージを撮影及び編集しようとするユーザの数が大きく増加するようになった。

これと関連して、最近、人物イメージにおいて人物領域を除いた背景領域を他の興味深い背景に替えることで、ユーザの興味を誘発する人物イメージの編集方法が紹介されている。前記のような人物イメージ編集方法を実行するためには、人物イメージに含まれている人物領域と背景領域とを区分する技術が必須的に要求されるが、このような技術として、グラフカットを一例として挙げられる。グラフカットは、イメージの任意の領域に付与された初期値に基づいて該当イメージに含まれている互いに異なる客体を区分する技術であって、所定のイメージにおいて前景（ｆｏｒｅｇｒｏｕｎｄ）領域（即ち、人物領域）と背景（ｂａｃｋｇｒｏｕｎｄ）領域とを区分するのに有用に活用され得る。

一方、グラフカットの初期値を設定するための従来技術として、ユーザの手動的な入力に基づいてグラフカットの初期値を設定する技術があるが、これによれば、ユーザが自身の編集しようとする人物イメージ毎に人物領域に該当する部分を直接設定しなければならないため、ユーザの入力が過度に多く要求され、ユーザの便宜性が低下してしまうという問題がある。また、グラフカットの初期値を設定するための他の従来技術として、混合ガウス分布モデル（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）などの数値モデルを利用する技術が挙げられるが、これによれば、過度に多くの演算量が要求され、演算速度も遅いため、ＰＣのような高性能プロセッサが搭載され難い携帯用端末装置上で実行されるには不適切であるという問題がある。

そのため、携帯用端末装置上で人物イメージ編集サービスをリアルタイムで正確に提供できるようにグラフカットの初期値を効果的に設定する技術の必要性が浮上している。

本発明の目的は、前述した問題をすべて解決することにある。
また、本発明の他の目的は、既に格納されている複数の人物領域パターンを用いて入力イメージで初期顔領域及び初期背景領域を設定し、これらの領域に対してグラフカットのための初期値をそれぞれ付与することによって、グラフカットを用いたイメージの編集がより正確、かつ、効果的に実行され得るようにすることにある。

前記目的を達成するための本発明の代表的な構成は、以下の通りである。
本発明の一態様によれば、イメージにおいて人物領域と背景領域とを区分するために、グラフカットの初期値を設定する方法であって、（ａ）入力イメージから顔領域を検出するステップ、（ｂ）既に格納されている複数の人物領域パターンのうち、前記検出された顔領域との類似度が既に設定されている値以上である顔領域を含む基準人物領域パターンを決定するステップ、及び（ｃ）前記検出された顔領域を基準として入力イメージ上に前記基準人物領域パターンを整列させる場合、前記入力イメージの領域のうち、前記整列された基準人物領域パターンのうちのいずれか１つによってもカバーされない第１領域に背景用初期値を付与し、前記入力イメージの領域のうち、前記整列された基準人物領域パターンの全てによってカバーされる第２領域に人物用初期値を付与するステップを含む方法が提供される。

本発明の他の態様によれば、イメージにおいて人物領域と背景領域とを区分するために、グラフカットの初期値を設定する端末装置であって、入力イメージから顔領域を検出する顔領域検出部、及び既に格納されている複数の人物領域パターンのうち、前記検出された顔領域との類似度が既に設定されている値以上である顔領域を含む基準人物領域パターンを決定し、前記検出された顔領域を基準として入力イメージ上に前記基準人物領域パターンを整列させる場合、前記入力イメージの領域のうち、前記整列された基準人物領域パターンのうちのいずれか１つによってもカバーされない第１領域に背景用初期値を付与し、前記入力イメージの領域のうち、前記整列された基準人物領域パターンの全てによってカバーされる第２領域に人物用初期値を付与する初期値設定部を含む端末装置が提供される。

この他にも、本発明を実現するための他の方法、端末装置及び前記方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読み取り可能な記録媒体が更に提供される。

本発明によれば、既に格納されている複数の人物領域パターンを用いて入力イメージ上で初期顔領域及び初期背景領域を設定し、これらの領域に対してグラフカットのための初期値をそれぞれ付与してグラフカットを用いたイメージの編集がより正確、かつ、効果的に行われるようにすることができるので、携帯用端末装置上で人物イメージ編集サービスをリアルタイムで提供可能になるという効果を奏する。

本発明の一実施形態に係る端末装置１００の内部構成を例示的に示す図である。 本発明の一実施形態に係る人物領域パターンを例示的に示す図である。 本発明の一実施形態によって初期背景領域及び初期人物領域を設定する構成を例示的に示す図である。 本発明の一実施形態によって初期背景領域及び初期人物領域を設定する構成を例示的に示す図である。 本発明の一実施形態によって顔領域に外接する楕円を基準として初期人物領域を補完する構成を例示的に示す図である。 本発明の一実施形態によってグラフカットの初期値が設定される構成を例示的に示す図である。 本発明の一実施形態によってグラフカットを実行して入力イメージにおいて顔領域と背景領域とを区分させ、前記区分された顔領域を他の背景イメージと合成する構成を順次示す図である。

後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施形態を例として示す添付の図面を参照する。これらの実施形態は、当業者が本発明を実施できるのに十分なように詳細に説明される。本発明の多様な実施形態は互いに異なるが、相互排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施形態について本発明の精神及び範囲から逸脱することなく、他の実施形態で実現され得る。また、それぞれの開示された実施形態内の個別構成要素の位置又は配置は、本発明の精神及び範囲から逸脱することなく、変更され得ることが理解されるべきである。従って、後述する詳細な説明は限定的な意味として取ろうとするものではなく、本発明の範囲は、適切に説明されるのであれば、その請求項が主張するものと均等なあらゆる範囲と共に添付された請求項によってのみ限定される。図面において類似する参照符号は、多様な側面にわたって同一であるか、類似する機能を示す。

以下では、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の好適な実施形態について添付された図面を参照して詳細に説明する。
（端末装置の構成）
以下では、本発明の実現のために重要な機能を実行する端末装置１００の内部構成及び各構成要素の機能について説明する。

本発明の一実施形態によれば、個人用コンピュータ（例えば、デスクトップコンピュータ、ノートブックコンピュータなど）、ワークステーション、ＰＤＡ、ウェブパッド、移動電話機などのようにメモリ手段を備え、マイクロ・プロセッサを搭載して演算能力を備えたデジタル機器であれば、いくらでも本発明の端末装置１００として採択され得る。

図１は、本発明の一実施形態に係る端末装置１００の内部構成を例示的に示す図である。
図１を参照すれば、本発明の一実施形態に係る端末装置１００は、顔領域検出部１１０、初期値設定部１２０、グラフカット実行部１３０、イメージ合成部１４０、通信部１５０及び制御部１６０を含むことができる。本発明の一実施形態によれば、顔領域検出部１１０、初期値設定部１２０、グラフカット実行部１３０、イメージ合成部１４０、通信部１５０及び制御部１６０は、そのうちの少なくとも一部が外部システム（図示せず）と通信するプログラムモジュールであり得る。このようなプログラムモジュールは、オペレーティングシステム、応用プログラムモジュール及びその他プログラムモジュールの形態で端末装置１００に含まれ得、物理的には多様な公知となっている記憶装置上に格納され得る。また、このようなプログラムモジュールは、端末装置１００と通信可能な遠隔記憶装置に格納されることもできる。一方、このようなプログラムモジュールは、本発明によって後述する特定の業務を行ったり、特定の抽象データタイプを実行するルーチン、サブルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを包括するが、これに制限されるものではない。

まず、本発明の一実施形態によれば、顔領域検出部１１０は、所定の顔検出技術を利用して入力イメージに含まれている人物の顔領域を検出する機能を実行する。顔領域検出部１１０により検出された顔領域は、後述する初期値設定部１２０がグラフカットの初期値を設定する過程で活用され得る。

前述したように、顔領域検出部１１０が入力イメージに含まれている人物の顔領域を検出するためには、所定の顔検出技術を利用しなければならないが、このような顔検出技術として、Ｃｈａｎｇ ＨＵＡＮＧ外３人が共同で著述し、２００５年にＩＣＣＶ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ）で発表された“Ｖｅｃｔｏｒ Ｂｏｏｓｔｉｎｇ ｆｏｒ Ｒｏｔａｔｉｏｎ Ｉｎｖａｒｉａｎｔ Ｍｕｌｔｉ-Ｖｉｅｗ Ｆａｃｅ ｄｅｔｅｃｔｉｏｎ”という論文が参照できる（前記論文の内容は、その全体が本明細書に併合されているものと考慮されるべきである）。前記論文にはイメージに含まれている多様な客体の角度を区別できるｖｅｃｔｏｒ ｂｏｏｓｔｉｎｇアルゴリズムを用いてイメージに含まれている顔が特定角度でずれていても顔領域を正確に検出する方法について記載されている。もちろん、本発明に適用可能な顔検出技術が前記論文に記載された方法にのみ限定されるものではなく、多様な変形例を適用して本発明を実現できる。

次に、本発明の一実施形態によれば、初期値設定部１２０は、入力イメージにおいて人物領域と背景領域とを区分させるグラフカットが実行され得るようにするために、入力イメージの少なくとも一部を初期人物領域及び初期背景領域としてそれぞれ設定し、前記初期人物領域及び初期背景領域に対してそれぞれ初期値を付与する機能を実行する。

より具体的に、本発明の一実施形態に係る初期値設定部１２０は、入力イメージから検出された顔領域と既に格納されている複数の人物領域パターンに含まれている顔領域とを比較して、既に格納されている複数の人物領域パターンのうち、前記検出された顔領域との類似度が既に設定されている値以上である顔領域を含む少なくとも１つの人物領域パターンを基準人物領域パターンとして決定する機能を行える。

以下では、少なくとも２つの人物領域パターンを基準人物領域パターンとして決定する実施形態について主に叙述されているが、本発明の実施形態が必ずしもこれに限定されるものではなく、本発明がただ１つの人物パターン領域のみを基準人物パターン領域として決定する実施形態を排除しないものと理解されるべきである。

ここで、既に格納されている人物領域パターンは、ユーザがカメラ、携帯電話などの端末装置１００を用いて人物を撮影する場合に得られる多様なイメージに含まれている人物領域を予めパターン化したものであって、所定のメモリ手段（図示せず）又はデータベース（図示せず）に予め格納されていてもよい。そして、本発明の一実施形態によれば、各人物領域パターンは、該当人物領域パターンに含まれている顔領域に関する情報（顔領域の位置、大きさなど）と連係して格納されていてもよく、前記顔領域に関する情報は、入力イメージから検出された顔領域と複数の人物領域パターンに含まれている顔領域の類似度を算出するにおいて活用され得る。

図２は、本発明の一実施形態に係る人物領域パターンを例示的に示す図である。図２を参照すれば、人物領域パターン２１０、２２０、２３０は、多様な状況で撮影された人物イメージから抽出されて格納され得、前述したように、各人物領域パターンに含まれる顔領域２１５、２２５、２３５に関する情報が共に格納され得る。

一方、本発明の一実施形態によれば、入力イメージから検出された顔領域と複数の人物領域パターンに含まれている顔領域間の類似度は、両顔領域が互いに重なる領域の大きさ又は比率を基準に決定されることができる。即ち、本発明によれば、入力イメージに含まれている人物の顔領域と類似する顔領域を含んでいる少なくとも２つの人物領域パターンを後述するグラフカットの初期値設定の基準となる基準人物領域パターンとして選択することによって、入力イメージにおいて人物領域をより正確に区分できるようにする効果が達成される。

また、本発明の一実施形態によれば、初期値設定部１２０は、入力イメージの顔領域と基準人物領域パターンの顔領域が互いに重なるように、入力イメージ上に少なくとも２つの基準人物領域パターンを整列させた状態で、入力イメージのうち、少なくとも２つの基準人物領域パターンのうちのいずれか１つによってもカバーされない領域を初期背景領域として設定し、入力イメージのうち、少なくとも２つの基準人物領域パターンの全てによってカバーされる領域を初期人物領域として設定することができる。即ち、入力イメージのうち、ｎ個の基準人物領域パターンによってカバーされる領域をそれぞれＡ_１、Ａ_２、．．．、Ａ_ｎとするとき、初期背景領域は（Ａ_１∪ Ａ_２ ∪ ．．．∪ Ａ_ｎ）^Ｃに該当する領域として設定され得、初期人物領域は（Ａ_１∩ Ａ_２ ∩ ．．．∩ Ａ_ｎ）に該当する領域として設定されることができる。

更に、本発明の一実施形態に係る初期値設定部１２０は、初期背景領域及び初期人物領域に対して背景用初期値及び人物用初期値をそれぞれ付与することができ、前記背景用初期値は、該当領域が背景領域である確率を示し、前記人物用初期値は、該当領域が人物領域である確率を示す。

前記のように、本発明によれば、基準人物領域パターンを用いて入力イメージのうち、人物に該当する確率が高い領域と背景に該当する確率が高い領域を統計的に区分することができ、これは後述するグラフカットの初期値として活用されることができる。

図３及び図４は、本発明の一実施形態によって初期背景領域及び初期人物領域を設定する構成を例示的に示す図である。
図３を参照すれば、初期背景領域は、顔領域３１０を基準として入力イメージ上に整列された少なくとも２つの基準人物領域パターンのうちのいずれか１つによってもカバーされない領域３２０として設定されることができる。

また、図４を参照すれば、初期人物領域は、顔領域４１０を基準として入力イメージ上に整列された少なくとも２つの基準人物領域パターンの全てによってカバーされる領域４２０として設定されることができる。

一方、本発明の一実施形態によれば、初期値設定部１２０は、基準人物領域パターンを用いて初期人物領域及び初期背景領域を設定する方法以外にも、人物の顔部分に対するグラフカットの初期値をより正確に設定するために、入力イメージで検出された顔領域に外接する楕円の内部に該当する領域を追加的に初期人物領域として設定することができ、楕円の内部に該当する初期人物領域に人物用初期値を付与することができる。このとき、楕円の長軸と短軸の長さは、検出された顔領域の大きさと形状によって適応的に設定されることができる。

即ち、本発明によれば、入力イメージから検出された顔領域に外接する楕円内部の領域をグラフカットに対する初期人物領域として追加的に設定することによって、当初基準人物領域パターンのみに基づいて設定された初期人物領域を補完することができるので、人物の顔部分におけるグラフカットがより正確に実行されることうになる。

図５は、本発明の一実施形態によって顔領域に外接する楕円を基準として初期人物領域を補完する構成を例示的に示す図である。図５を参照すれば、入力イメージで抽出された顔領域５１０に外接する楕円５２０の内部領域を追加的に初期人物領域として設定することによって、初期人物領域を補完することができる。

図６は、本発明の一実施形態によってグラフカットの初期値が設定される構成を例示的に示す図である。図６を参照すれば、初期背景領域６２０には背景用初期値が付与され得、初期人物領域６３０には人物用初期値が付与されることができる。

次に、本発明の一実施形態によれば、グラフカット実行部１３０は、初期値設定部１２０によって設定された初期値に基づいてグラフカットを実行することによって、入力イメージにおいて人物領域と背景領域とを区分させる機能を実行する。

前記で言及したように、グラフカット実行部１３０が所定の初期値に基づいて入力イメージにおいて人物領域と背景領域とを区分させるためには、所定のグラフカット技術を利用しなければならないが、このようなグラフカット技術として、Ｙｕｒｉ Ｂｏｙｋｏｖ外２人が共同で著述し、２００１年１１月に“ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＰＡＴＴＥＲＮ ＡＮＡＬＹＳＩＳ ＡＮＤ ＭＡＣＨＩＮＥ ＩＮＴＥＬＬＩＧＥＮＣＥ, ＶＯＬ. ２３, ＮＯ. １１”に掲載された“Ｆａｓｔ Ａｐｐｒｏｘｉｍａｔｅ Ｅｎｅｒｇｙ Ｍｉｎｉｍｉｚａｔｉｏｎ ｖｉａ Ｇｒａｐｈ Ｃｕｔｓ”という論文が参照できる（前記論文の内容は、その全体が本明細書に併合されているものと考慮されるべきである）。前記論文にはグラフカットを実行するにおいて近似化したエネルギー最小化アルゴリズムを用いてイメージに含まれている不連続性を検出する方法について記載されている。もちろん、本発明に適用可能なグラフカット技術が前記論文に記載された方法にのみ限定されるものではなく、多様な変形例を適用して本発明を実現することができる。

また、本発明の一実施形態によれば、グラフカット実行部１３０は、グラフカットを行った結果、導き出された人物領域と背景領域とのカラーヒストグラムを比較することによって、グラフカットによって人物領域と背景領域との区分が成功的になされたか否かを判断することによって、グラフカットにより行われる人物領域及び背景領域の区分の信頼度を高める機能を行える。より具体的に、本発明の一実施形態に係るグラフカット実行部１３０は、所定のグラフカットを行った結果、導き出された人物領域及び背景領域のカラーヒストグラム分布間の異質性の程度（例えば、カイ二乗距離（ｃｈｉ ｓｑｕａｒｅ ｄｉｓｔａｎｃｅ））が既に設定されている臨界値以上である場合にのみ前記所定のグラフカットの実行結果を有効なものとして認めることができる。

前記で言及したように、グラフカット実行部１３０が人物領域及び背景領域のカラーヒストグラム分布間の異質性の程度を算出するためには、所定のカラーヒストグラム分析技術を利用しなければならないが、このような技術として、Ｇａｇｕｎａｓｈｖｉｌｉ, Ｎ. Ｄ.が著述し、２００９年５月に刊行された“Ｃｈｉ-Ｓｑｕａｒｅ Ｔｅｓｔｓ ｆｏｒ Ｃｏｍｐａｒｉｎｇ Ｗｅｉｇｈｔｅｄ Ｈｉｓｔｏｇｒａｍs”という論文が参照できる（前記論文の内容は、その全体が本明細書に併合されているものと考慮されるべきである）。前記論文には、カイ二乗検定を用いてヒストグラム間の同質性如何を判断する方法について記載されている。もちろん、本発明に適用可能なカラーヒストグラム分析技術が前記論文に記載された方法にのみ限定されるものではなく、多様な変形例を適用して本発明を実現することができる。

また、本発明の一実施形態によれば、グラフカット実行部１３０は、多様な条件でグラフカットを繰り返し行い、これにより導き出された多様な人物領域（又は背景領域）のうち、最も信頼度の高い人物領域（又は背景領域）を最終人物領域（又は最終背景領域）として決定することができる。より具体的に、本発明の一実施形態に係るグラフカット実行部１３０は、グラフカットをｎ回繰り返し実行するにおいて各回での基準人物領域パターンの組み合わせがすべて異なるように決定されるようにすることによって、ｎ回のグラフカットによって互いに異なるｎ個の人物領域（又は背景領域）が導き出されるようにすることができ、このように導き出された互いに異なるｎ個の人物領域（又は背景領域）のうち、最も信頼度の高い人物領域（又は背景領域）を最終人物領域（又は最終背景領域）として決定することができる。

前述したように、基準人物領域パターンの組み合わせは、グラフカットに対する初期人物領域及び初期背景領域を決定する主要な基準となるものであって、各回での基準人物領域パターンの組み合わせは、前述したように、顔領域の類似度に対する既に設定されている値を適切に変更することによって多様に決定されることができる。例えば、計３回にわたってグラフカットを繰り返し実行する場合を仮定するとき、１回目ないし３回目のグラフカットの実行に対する基準人物領域パターンとして人物領域パターンＡ及びＢ、人物領域パターンＡ、Ｂ及びＣ、人物領域パターンＡ、Ｂ、Ｃ及びＤがそれぞれ決定され得、これにより、１回目ないし３回目のグラフカットに対する各初期人物領域（又は各初期背景領域）がすべて異なるように決定され得、１回目ないし３回目のグラフカットを行った結果、導き出される各人物領域（又は背景領域）がすべて異なるように決定されることができる。

また、例えば、人物領域の信頼度は、グラフカットによって導き出された人物領域及び背景領域のカラーヒストグラム間のカイ二乗距離を基準として算出され得るが、前記カイ二乗距離が大きいほど該当人物領域の信頼度が高いと判断することができる。

次に、本発明の一実施形態によれば、イメージ合成部１４０は、グラフカットを行った結果、導き出された人物領域を他の背景イメージと合成する機能を実行する。より具体的に、本発明の一実施形態に係るイメージ合成部１４０は、より自然なイメージ合成のために、アルファ（α）ブレンディング（ａｌｐｈａ ｂｌｅｎｄｉｎｇ）などのイメージ処理技術を利用することができる。

図７は、本発明の一実施形態によってグラフカットを実行して入力イメージにおいて顔領域と背景領域とを区分させ、前記区分された顔領域を他の背景イメージと合成する構成を順次示すフローチャートである。参考までに、図７は、本発明の多様な実施形態の１つを例示的に示すものであって、本発明の構成が図７に示すものに限定されるわけではないことを明確にしておく。

図７を参照すれば、本発明の一実施形態に係る端末装置１００は、入力イメージから顔領域を検出することができ（Ｓ７１０）、検出された顔領域が入力イメージ内で有効な領域に位置するかどうかを判断することができる（Ｓ７２０）。仮りに、入力イメージから検出された顔領域が該当入力イメージの縁部分などに位置する場合にはグラフカットの正確度を保障することができないため、グラフカットを実行しないこともあり得る。

次に、図７を参照すれば、本発明の一実施形態に係る端末装置１００は、グラフカットを実行するための初期値を設定することができる（Ｓ７３０）。より具体的に、端末装置１００は、データベースに格納された少なくとも２つの人物領域パターンを入力イメージ上に整列させることができ（Ｓ７３１）、整列された少なくとも２つの人物領域パターンを基準として初期人物領域及び初期背景領域を設定することができ（Ｓ７３２、S７３３）、入力イメージから検出された顔領域に外接する楕円を基準として初期人物領域を補完することができる（Ｓ７３４）。グラフカットの初期値を設定する具体的な方法については、前述した初期値設定部１２０部分で詳細に言及されたので、これについての詳細な説明は省略する。

次に、図７を参照すれば、本発明の一実施形態に係る端末装置１００は、以前ステップで設定された初期値に基づいてグラフカットを実行することができ、これにより入力イメージにおいて人物領域と背景領域とを区分させることができるようになる（Ｓ７４０）。また、図７を参照すれば、本発明の一実施形態に係る端末装置１００は、互いに異なる条件でグラフカットをｎ回繰り返し行えるが、特に、ｎ回繰り返し行われたグラフカットにより導き出されたｎ個の人物領域と背景領域とのカラーヒストグラム間のカイ二乗距離をそれぞれ算出し（Ｓ７５０）、ｎ回のグラフカットにより導き出されたｎ対の人物領域及び背景領域のうち、前記カイ二乗距離が最も大きく算出された人物領域及び背景領域を最適な人物領域及び背景領域として決定することができる（Ｓ７６０）。参考までに、人物領域及び背景領域のカラーヒストグラム間のカイ二乗距離が大きいほど該当人物領域と該当背景領域との色分布が異なることを意味し得る。

次に、図７を参照すれば、本発明の一実施形態に係る端末装置１００は、最適な人物領域及び背景領域に対して算出されたカイ二乗距離を既に設定されている臨界値と比較することによって、最適な人物領域及び背景領域が信頼できるか否かを判断することができる（Ｓ７８０）。

最後に、図７を参照すれば、本発明の一実施形態に係る端末装置１００は、信頼できると判断された人物領域及び背景領域を基準として入力イメージの人物領域を他の興味深い背景イメージと合成することができる（Ｓ７９０）。

一方、本発明の一実施形態によれば、データベース（図示せず）には各複数の人物領域パターンが該当人物領域パターンに含まれている顔領域に関する情報（顔領域の位置、大きさなど）と連係して格納されることができる。本発明においてデータベース（図示せず）は、狭義のデータベースだけでなく、コンピュータファイルシステムに基づくデータの記録などを含む広い意味のデータベースまで含む概念であって、単純な演算処理ログの集合でもこれを検索して所定のデータを抽出できるのであれば、本発明でいうデータベースに含まれ得ることが理解されるべきである。また、本発明の一実施形態に係るデータベース（図示せず）は、本発明を実現する当業者の必要に応じて端末装置１００に含まれて構成されてもよく、端末装置１００と別個で構成されてもよい。

次に、本発明の一実施形態に係る通信部１５０は、端末装置１００が移動通信サーバ（図示せず）、ウェブサーバ（図示せず）などの外部装置と通信できるようにする機能を実行する。

最後に、本発明の一実施形態に係る制御部１６０は、顔領域検出部１１０、初期値設定部１２０、グラフカット実行部１３０、イメージ合成部１４０及び通信部１５０間のデータの流れを制御する機能を実行する。即ち、制御部１６０は、外部からの又は端末装置１００の各構成要素間のデータの流れを制御することによって、顔領域検出部１１０、初期値設定部１２０、グラフカット実行部１３０、イメージ合成部１４０及び通信部１５０でそれぞれ固有機能を実行するように制御する。

以上説明された本発明による実施形態は、多様なコンピュータ構成要素を通じて実行され得るプログラム命令語の形態で実現されてコンピュータ読み取り可能な記録媒体に記録されることができる。前記コンピュータ読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独又は組み合わせにより含むことができる。前記コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計され構成されたものであってもよく、コンピュータソフトウェア分野の当業者に公知となって使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピーディスク（登録商標）及び磁気テープのような磁気媒体、ＣＤ-ＲＯＭ、ＤＶＤのような光気録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気-光媒体（ｍａｇｎｅｔｏ-ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納し、実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例としては、コンパイラにより作られるもののような機械語コードだけでなく、インタープリタなどを用いてコンピュータにより実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために１つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。

以上、本発明が具体的な構成要素などのような特定の事項と限定された実施形態及び図面により説明されたが、これは、本発明のより全般的な理解を促進するために提供されるだけで、本発明が前記実施形態に限定されるものではなく、本発明の属する技術分野において通常の知識を有する者であれば、このような記載から多様な修正及び変形を図ることができる。

従って、本発明の思想は、前記説明された実施形態に限定されて定められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等に又は等価的に変形された全てのものが本発明の思想の範疇に属すると言える。

１００ 端末装置
１１０ 顔領域検出部
１２０ 初期値設定部
１３０ グラフカット実行部
１４０ イメージ合成部
１５０ 通信部
１６０ 制御部

Claims (21)

1. イメージにおいて人物領域と背景領域とを区分するために、グラフカットの初期値を設定する方法であって、
   （ａ）入力イメージから顔領域を検出するステップ、
   （ｂ）既に格納されている複数の人物領域パターンのうち、前記検出された顔領域との類似度が既に設定されている値以上である顔領域を含む基準人物領域パターンを決定するステップ、及び
   （ｃ）前記検出された顔領域を基準として入力イメージ上に前記基準人物領域パターンを整列させる場合、前記入力イメージの領域のうち、前記整列された基準人物領域パターンのうちのいずれか１つによってもカバーされない第１領域に背景用初期値を付与し、前記入力イメージの領域のうち、前記整列された基準人物領域パターンの全てによってカバーされる第２領域に人物用初期値を付与するステップ
   を含む方法。
2. 前記既に格納されている複数の人物領域パターンは、前記既に格納されている複数の人物領域パターンに含まれている顔領域に関する情報と連係して格納されていることを特徴とする請求項１に記載の方法。
3. 前記（ｂ）ステップで、
   前記類似度は、前記入力イメージから検出された顔領域と前記既に格納されている複数の人物領域パターンに含まれる顔領域とが互いに共通する面積を参照して算出されることを特徴とする請求項１に記載の方法。
4. 前記（ｃ）ステップで、
   前記背景用初期値は、該当領域が背景領域である確率を示し、前記人物用初期値は、該当領域が人物領域である確率を示すことを特徴とする請求項１に記載の方法。
5. 前記（ｃ）ステップで、
   前記第２領域以外に、前記入力イメージから検出された顔領域に外接する楕円の内部に該当する領域にも前記人物用初期値を付与することを特徴とする請求項１に記載の方法。
6. （ｄ）前記人物用初期値及び前記背景用初期値のうちの少なくとも１つに基づいてグラフカットを実行することによって、前記入力イメージにおいて人物領域及び背景領域を区分するステップを更に含むことを特徴とする請求項１に記載の方法。
7. 前記（ｄ）ステップで、
   前記区分された人物領域のカラーヒストグラムと前記区分された背景領域のカラーヒストグラムとのカイ二乗距離が臨界値よりも大きければ、前記区分された人物領域及び前記区分された背景領域をそれぞれ最終人物領域及び最終背景領域として決定することを特徴とする請求項６に記載の方法。
8. 前記（ｂ）、（ｃ）及び（ｄ）ステップをｎ回繰り返し行い、前記ｎ回の繰り返し実行の結果導き出されたｎ個の人物領域及び背景領域のうち、カラーヒストグラム間のカイ二乗距離が最も大きい人物領域及び背景領域を最終人物領域及び最終背景領域として決定し、前記（ｂ）ステップの前記既に設定されている値をすべて異なるように設定することによって、前記第１領域及び前記第２領域が前記ｎ回の繰り返し実行毎にすべて異なるように設定されることを特徴とする請求項６に記載の方法。
9. （ｅ）前記入力イメージのうち、前記区分された人物領域に該当する部分を任意の他のイメージと合成することによって出力イメージを生成するステップを更に含むことを特徴とする請求項６に記載の方法。
10. 前記（ｅ）ステップで、
    アルファ（α）ブレンディング技術を利用して前記出力イメージをブレンディング処理することを特徴とする請求項９に記載の方法。
11. イメージにおいて人物領域と背景領域とを区分するために、グラフカットの初期値を設定する端末装置であって、
    入力イメージから顔領域を検出する顔領域検出部、及び
    既に格納されている複数の人物領域パターンのうち、前記検出された顔領域との類似度が既に設定されている値以上である顔領域を含む基準人物領域パターンを決定し、前記検出された顔領域を基準として入力イメージ上に前記基準人物領域パターンを整列させる場合、前記入力イメージの領域のうち、前記整列された基準人物領域パターンのうちのいずれか１つによってもカバーされない第１領域に背景用初期値を付与し、前記入力イメージの領域のうち、前記整列された基準人物領域パターンの全てによってカバーされる第２領域に人物用初期値を付与する初期値設定部
    を含む端末装置。
12. 前記既に格納されている複数の人物領域パターンが前記既に格納されている複数の人物領域パターンに含まれている顔領域に関する情報と連係して格納されているデータベースを更に含むことを特徴とする請求項１１に記載の端末装置。
13. 前記類似度は、前記入力イメージから検出された顔領域と前記既に格納されている複数の人物領域パターンに含まれる顔領域とが互いに共通する面積を参照して算出されることを特徴とする請求項１１に記載の端末装置。
14. 前記背景用初期値は、該当領域が背景領域である確率を示し、前記人物用初期値は、該当領域が人物領域である確率を示すことを特徴とする請求項１１に記載の端末装置。
15. 前記初期値設定部は、
    前記第２領域以外に、前記入力イメージから検出された顔領域に外接する楕円の内部に該当する領域にも前記人物用初期値を付与することを特徴とする請求項１１に記載の端末装置。
16. 前記人物用初期値及び前記背景用初期値のうちの少なくとも１つに基づいてグラフカットを実行することによって、前記入力イメージにおいて人物領域及び背景領域を区分するグラフカット実行部を更に含むことを特徴とする請求項１１に記載の端末装置。
17. 前記グラフカット実行部は、
    前記区分された人物領域のカラーヒストグラムと前記区分された背景領域のカラーヒストグラムとのカイ二乗距離が臨界値よりも大きければ、前記区分された人物領域及び前記区分された背景領域を最終人物領域及び最終背景領域として決定することを特徴とする請求項１６に記載の端末装置。
18. 前記初期値の設定及び前記グラフカットの実行をｎ回繰り返し行い、前記ｎ回の繰り返し実行の結果導き出されたｎ個の人物領域及び背景領域のうち、カラーヒストグラム間のカイ二乗距離が最も大きい人物領域及び背景領域を最終人物領域及び最終背景領域として決定し、前記初期値設定部の前記既に設定されている値をすべて異なるように設定することによって、前記第１領域及び前記第２領域が前記ｎ回の繰り返し実行毎にすべて異なるように設定されることを特徴とする請求項１６に記載の端末装置。
19. 前記入力イメージのうち、前記区分された人物領域に該当する部分を任意の他のイメージと合成することによって、出力イメージを生成するイメージ合成部を更に含むことを特徴とする請求項１６に記載の端末装置。
20. 前記イメージ合成部は、
    アルファ（α）ブレンディング技術を利用して前記出力イメージをブレンディング処理することを特徴とする請求項１９に記載の端末装置。
21. 請求項１ないし１０の何れか一項による方法を実行するためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。