JP6448109B2 - 映像領域分割装置および映像領域分割プログラム - Google Patents
映像領域分割装置および映像領域分割プログラム Download PDFInfo
- Publication number
- JP6448109B2 JP6448109B2 JP2013264623A JP2013264623A JP6448109B2 JP 6448109 B2 JP6448109 B2 JP 6448109B2 JP 2013264623 A JP2013264623 A JP 2013264623A JP 2013264623 A JP2013264623 A JP 2013264623A JP 6448109 B2 JP6448109 B2 JP 6448109B2
- Authority
- JP
- Japan
- Prior art keywords
- cluster
- clusters
- node
- cost
- adjacent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Description
本発明は、映像領域分割装置および映像領域分割プログラムに関する。
静止画像から所望の被写体領域をインタラクティブに抽出する画像処理方法として、グラフカット法が知られている（例えば、非特許文献１参照）。
また、このグラフカット法に対して前景および背景の尤度情報に改良を加えたグラブカット法も知られている（例えば、非特許文献２参照）。
また、このグラフカット法に対して前景および背景の尤度情報に改良を加えたグラブカット法も知られている（例えば、非特許文献２参照）。
Yuri Y. Boykov, Marie-Pierre Jolly, "Interactive Graph Cuts for Optimal Boundary & Region Segmentation of Objects in N-D Images", ICCV, vol. I, pp.105-112, 2001
Carsten Rother, Vladimir Kolmogorov, Andrew Blake,""GrabCut"-Interactive Foreground Extraction Using Iterated Graph Cuts", ACM Trans. Graphics (SIGGRAPH '04), vol.23, no.3, pp.309-314, 2004
映像から被写体領域を抽出するために、画素（ピクセル）を直接の処理対象とするグラブカット法を用いることは、処理対象のデータが膨大となるため現実的ではない。また、映像を独立した静止画像の羅列とみなし、フレーム毎の静止画像に対する処理を単純に拡張して実行しても、適切に被写体領域を抽出できない。これは、人間の眼は時間的なコヒーレンシ（つじつま）に敏感である一方、フレーム毎に独立した条件において処理した結果は時間方向に対するつじつまがとれないためである。また、時空間に広がった画素に対してグラフカットを実行することは、データ量が膨大となるため現実的でなく、また、グラフカットに必要なシード処理が困難である。
本発明は、上記事情に鑑みてなされたものであり、簡易な操作によって、映像から所望の映像領域を高精度且つ効率的に抽出することができる、映像領域分割装置および映像領域分割プログラムを提供することを目的とする。
本発明は、上記事情に鑑みてなされたものであり、簡易な操作によって、映像から所望の映像領域を高精度且つ効率的に抽出することができる、映像領域分割装置および映像領域分割プログラムを提供することを目的とする。
［１］上記の課題を解決するため、本発明の一態様である映像領域分割装置は、映像を構成する画素を、時空間において複数のクラスタに分割し、前記複数のクラスタと各クラスタの代表色を示す色情報と隣接するクラスタを示すクラスタ隣接情報とを含むクラスタ情報を生成するクラスタ情報生成部と、特定のクラスタが物体または背景のいずれに属するかを示すシード情報を取得するシード情報取得部と、前記クラスタ情報生成部が生成した前記クラスタ情報と前記シード情報取得部が取得した前記シード情報とに基づいて、クラスタが背景であることを前提としたクラスタの代表色の第１条件付き確率分布、およびクラスタが物体であることを前提としたクラスタの代表色の第２条件付き確率分布を求め、前記シード情報と前記第１条件付き確率分布と前記第２条件付き確率分布とに基づいて、あるクラスタと物体ノードとの間の第１コストおよび前記クラスタと背景ノードとの間の第２コストとを計算する尤度項計算部と、前記クラスタ情報に基づいて、隣接するクラスタにおいて色の差が大きいほど低い第３コストを計算する隣接項計算部と、各クラスタに対応するクラスタノードと物体に対応する物体ノードと背景に対応する背景ノードとを有し、前記クラスタノードと前記物体ノードとの間のエッジが前記第１コストに対応し、前記クラスタノードと前記背景ノードとの間のエッジが前記第２コストに対応し、隣接するクラスタノード間のエッジが前記第３コストに対応するグラフを、それぞれのクラスタノードが前記物体ノードまたは前記背景ノードのいずれか一方のみと連結になるように、グラフカット法によりコストが小さくなるよう二分する分割部と、を備える。
［２］上記［１］記載の映像領域分割装置において、前記クラスタ情報に基づいて、クラスタごとのフレームあたりのクラスタ平均画素数を計算するクラスタ平均画素数計算部、をさらに備え、前記尤度項計算部は、前記クラスタ平均画素数計算部が計算した前記クラスタ平均画素数によって重み付けて前記第１コストおよび前記第２コストを計算する。
［３］上記の課題を解決するため、本発明の一態様である映像領域分割プログラムは、コンピュータを、映像を構成する画素を、時空間において複数のクラスタに分割し、前記複数のクラスタと各クラスタの代表色を示す色情報と隣接するクラスタを示すクラスタ隣接情報とを含むクラスタ情報を生成するクラスタ情報生成手段、特定のクラスタが物体または背景のいずれに属するかを示すシード情報を取得するシード情報取得手段、前記クラスタ情報生成手段が生成した前記クラスタ情報と前記シード情報取得手段が取得した前記シード情報とに基づいて、クラスタが背景であることを前提としたクラスタの代表色の第１条件付き確率分布、およびクラスタが物体であることを前提としたクラスタの代表色の第２条件付き確率分布を求め、前記シード情報と前記第１条件付き確率分布と前記第２条件付き確率分布とに基づいて、あるクラスタと物体ノードとの間の第１コストおよび前記クラスタと背景ノードとの間の第２コストとを計算する尤度項計算手段、前記クラスタ情報に基づいて、隣接するクラスタにおいて色の差が大きいほど低い第３コストを計算する隣接項計算手段、各クラスタに対応するクラスタノードと物体に対応する物体ノードと背景に対応する背景ノードとを有し、前記クラスタノードと前記物体ノードとの間のエッジが前記第１コストに対応し、前記クラスタノードと前記背景ノードとの間のエッジが前記第２コストに対応し、隣接するクラスタノード間のエッジが前記第３コストに対応するグラフを、それぞれのクラスタノードが前記物体ノードまたは前記背景ノードのいずれか一方のみと連結になるように、グラフカット法によりコストが小さくなるよう二分する分割手段、として機能させる。
本発明によれば、簡易な操作によって、映像から所望の映像領域を高精度且つ効率的に抽出することができる。
以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
まず、後述する映像領域分割装置に適用されるクラスタ情報生成装置（クラスタ情報生成部）について説明する。
まず、後述する映像領域分割装置に適用されるクラスタ情報生成装置（クラスタ情報生成部）について説明する。
まず、領域分割処理（クラスタ領域分割処理）において、映像をどのように領域分割するかの指針について説明する。
クラスタ情報生成装置は、入力として領域分割の対象となる映像と、領域分割処理のための少数のパラメータを与えることで、映像の色情報のみから被写体領域の抽出に対して適切な領域分割結果を取得できるようにするものである。
本実施形態において、映像の領域分割とは、時空間領域を有する映像について、ある領域に対して一意に識別する領域ＩＤ（識別番号）を割り振ること、及び、その領域ＩＤを割り振られた時空間領域を特定できるようにすることである。そして、その各領域は被写体として同一の物体領域を占めるとともに、可能な限り時空間領域として大きな領域を構成することが望まれるものである。すなわち、映像の被写体領域の抽出において適切な領域分割とは、「同じ被写体領域には同じ領域ＩＤが割り振られ、それが時空間領域として大きく構成されること」と「異なる被写体領域には同じ領域ＩＤが割り振られないこと」を満たすものである。
また、被写体領域の抽出においては、領域分割処理の結果に対して、被写体領域を特定（指定）するためにユーザによる手動の領域指定が伴うことを前提とするものである。つまり、本実施形態による領域分割処理は、要求に応じてユーザは任意の複数の被写体領域を指定するプロセスを経る。例えば、人物が写っている映像に対して、ある要求では人物全体の抽出を行うために、人物全体を指定する場合もあれば、別の要求では顔と頭だけを抽出する場合もある。つまり、領域分割処理の結果から被写体を抽出する際に、抽出する部分に汎用性があるように領域分割を行うものである。
クラスタ情報生成装置は、入力として領域分割の対象となる映像と、領域分割処理のための少数のパラメータを与えることで、映像の色情報のみから被写体領域の抽出に対して適切な領域分割結果を取得できるようにするものである。
本実施形態において、映像の領域分割とは、時空間領域を有する映像について、ある領域に対して一意に識別する領域ＩＤ（識別番号）を割り振ること、及び、その領域ＩＤを割り振られた時空間領域を特定できるようにすることである。そして、その各領域は被写体として同一の物体領域を占めるとともに、可能な限り時空間領域として大きな領域を構成することが望まれるものである。すなわち、映像の被写体領域の抽出において適切な領域分割とは、「同じ被写体領域には同じ領域ＩＤが割り振られ、それが時空間領域として大きく構成されること」と「異なる被写体領域には同じ領域ＩＤが割り振られないこと」を満たすものである。
また、被写体領域の抽出においては、領域分割処理の結果に対して、被写体領域を特定（指定）するためにユーザによる手動の領域指定が伴うことを前提とするものである。つまり、本実施形態による領域分割処理は、要求に応じてユーザは任意の複数の被写体領域を指定するプロセスを経る。例えば、人物が写っている映像に対して、ある要求では人物全体の抽出を行うために、人物全体を指定する場合もあれば、別の要求では顔と頭だけを抽出する場合もある。つまり、領域分割処理の結果から被写体を抽出する際に、抽出する部分に汎用性があるように領域分割を行うものである。
［クラスタ情報生成装置の構成］
本実施形態におけるクラスタ情報生成装置１の構成について、図１を参照して説明する。図１に示すように、本実施形態に係るクラスタ情報生成装置１（クラスタ情報生成部）は、クラスタ化処理部１０と、クラスタ統合処理部２０と、クラスタ再分割処理部３０と、を備え、領域分割処理の対象である映像と処理のためのパラメータとを入力し、入力した映像を領域分割するものである。
本実施形態におけるクラスタ情報生成装置１の構成について、図１を参照して説明する。図１に示すように、本実施形態に係るクラスタ情報生成装置１（クラスタ情報生成部）は、クラスタ化処理部１０と、クラスタ統合処理部２０と、クラスタ再分割処理部３０と、を備え、領域分割処理の対象である映像と処理のためのパラメータとを入力し、入力した映像を領域分割するものである。
クラスタ化処理部１０は、第１段階の処理として、入力された処理対象となる映像に対して、所定のパラメータを用いた平均値シフト法によるクラスタ化処理を行い、映像を過分割な状態に領域分割するものである。ここで過分割な状態とは、映像中の異なる被写体が同一の領域として分割されず、かつ、同一の被写体領域が１又は２以上の領域に分割された状態をいう。
クラスタ統合処理部２０は、第２段階の処理として、隣接クラスタ間の代表色の差に基づいて第１段階の処理で過分割されたクラスタの統合処理を行うものである。
クラスタ再分割処理部３０は、最後の第３段階の処理として、第２段階の処理で統合された領域を、所定の再分割条件に基づいて、第１段階の処理で分割されたクラスタを単位として、領域の再分割をするものである。
また、本実施形態では、第３段階の処理結果である最終的な領域分割結果を、領域ＩＤ（再分割領域ＩＤ）ごとに領域を色分けした領域ＩＤ分布映像と、領域の代表色で色分けした領域代表色映像として出力できるように構成されている。
クラスタ統合処理部２０は、第２段階の処理として、隣接クラスタ間の代表色の差に基づいて第１段階の処理で過分割されたクラスタの統合処理を行うものである。
クラスタ再分割処理部３０は、最後の第３段階の処理として、第２段階の処理で統合された領域を、所定の再分割条件に基づいて、第１段階の処理で分割されたクラスタを単位として、領域の再分割をするものである。
また、本実施形態では、第３段階の処理結果である最終的な領域分割結果を、領域ＩＤ（再分割領域ＩＤ）ごとに領域を色分けした領域ＩＤ分布映像と、領域の代表色で色分けした領域代表色映像として出力できるように構成されている。
以下、各部について、順次詳細に説明する。
なお、本実施形態に係るクラスタ情報生成装置１は、ＣＰＵ、メモリ、ハードディスクなどの記憶装置などを備えた一般的なコンピュータを用いて、各処理部として機能させることで実現することができる。
なお、本実施形態に係るクラスタ情報生成装置１は、ＣＰＵ、メモリ、ハードディスクなどの記憶装置などを備えた一般的なコンピュータを用いて、各処理部として機能させることで実現することができる。
クラスタ化処理部１０は、クラスタ化処理手段１１と、グラフ化処理手段１２と、クラスタデータ記憶手段１３と、を備えている。クラスタ化処理部１０は、領域分割処理対象となる映像と、クラスタ化処理のためのパラメータとを外部から入力し、入力した映像をクラスタ化するとともに、クラスタ化した分割領域間の隣接情報を示すグラフを作成するものである。
クラスタ化処理手段１１は、映像とクラスタ化処理のためのパラメータとを外部から入力して、映像をクラスタ化するものである。本実施形態では、平均値シフト（Mean Shift）法を用いてクラスタ化処理を行う。
本実施形態で用いる平均値シフト法による映像のクラスタ化処理は、非特許文献５に記載された手法と同様の手法を用いるものである。本実施形態においては、平均値シフト法による分割領域を制御するために、空間（フレーム内の座標で表される２次元の空間）、時間（フレーム番号又は時刻で表される１次元の空間）及び色空間（ＲＧＢ、ＨＳＶ，Ｌ＊ａ＊ｂ＊などの色の３要素で表される３次元の空間）ごとに、それぞれ独立に繰り返し重み付け平均化処理を行うための計算範囲（バンド幅（カーネル半径））を定める。すなわち、平均値シフト法によるクラスタ化処理のためのパラメータとして、それぞれ一定の空間バンド幅、時間バンド幅及び色空間バンド幅を指定することにより、時空間的に近隣にあり、かつ、色空間上での距離が近い（色が類似している）画素の集合ごとに１つのクラスタを形成し、映像を複数のクラスタに領域分割する。
なお、時空間的に近傍となる範囲は、空間バンド幅及び時間バンド幅によって定められる。また、色空間上で距離が近いかどうかは、色空間バンド幅で定められる。すなわち、クラスタの粒度（クラスタの大きさ）は、これらのバンド幅によって調整することができる。
本実施形態で用いる平均値シフト法による映像のクラスタ化処理は、非特許文献５に記載された手法と同様の手法を用いるものである。本実施形態においては、平均値シフト法による分割領域を制御するために、空間（フレーム内の座標で表される２次元の空間）、時間（フレーム番号又は時刻で表される１次元の空間）及び色空間（ＲＧＢ、ＨＳＶ，Ｌ＊ａ＊ｂ＊などの色の３要素で表される３次元の空間）ごとに、それぞれ独立に繰り返し重み付け平均化処理を行うための計算範囲（バンド幅（カーネル半径））を定める。すなわち、平均値シフト法によるクラスタ化処理のためのパラメータとして、それぞれ一定の空間バンド幅、時間バンド幅及び色空間バンド幅を指定することにより、時空間的に近隣にあり、かつ、色空間上での距離が近い（色が類似している）画素の集合ごとに１つのクラスタを形成し、映像を複数のクラスタに領域分割する。
なお、時空間的に近傍となる範囲は、空間バンド幅及び時間バンド幅によって定められる。また、色空間上で距離が近いかどうかは、色空間バンド幅で定められる。すなわち、クラスタの粒度（クラスタの大きさ）は、これらのバンド幅によって調整することができる。
なお、バンド幅は、入力された映像を過分割な状態にクラスタ化するために、映像の空間解像度、時間解像度、色解像度、及び映像の内容に応じて適宜に設定することができる。例えば、映像のサイズが３２０×２４０画素、フレーム周波数が３０Ｈｚ、ＲＧＢの階調数が各色２５６階調の場合、例えば、空間バンド幅を６〜８画素程度、時間バンド幅を２フレーム程度、色空間バンド幅を８階調程度とすることができる。
本実施形態では、クラスタ化処理手段１１は、入力した映像を、空間、時間及び色空間ごとにパラメータとして入力される３つのバンド幅を用いて、平均値シフト法によりクラスタ化する。
クラスタ化処理手段１１は、クラスタごとの代表色を算出するとともに、クラスタごとにクラスタを一意に識別するクラスタＩＤを付与し、これらのデータを処理結果として、グラフ化処理手段１２に出力する。なお、クラスタの代表色とは、そのクラスタの代表的な色であり、具体的には各クラスタにおける平均値シフト処理の収束値を使用することができる。
クラスタ化処理手段１１は、クラスタごとの代表色を算出するとともに、クラスタごとにクラスタを一意に識別するクラスタＩＤを付与し、これらのデータを処理結果として、グラフ化処理手段１２に出力する。なお、クラスタの代表色とは、そのクラスタの代表的な色であり、具体的には各クラスタにおける平均値シフト処理の収束値を使用することができる。
クラスタ化処理においては、映像中の同一の被写体については、各クラスタがなるべく時空間的に大きく構成され、かつ、１つのクラスタに映像中の異なる被写体の領域が跨らないように、パラメータであるバンド幅を設定する。すなわち、映像中の異なる被写体が同一の領域として分割されない範囲で、各クラスタができる限り時空間的に大きく構成されるようにすることが好ましい。従って、クラスタ化処理手段１１によるクラスタ化処理では、最終的に分割すべき領域の広さに比べて細かく分割された過分割の状態のクラスタに分割される。
なお、クラスタ化処理手段１１の処理結果である各クラスタについての代表色、当該クラスタに含まれるフレーム番号及び画素領域などのクラスタについてのデータは、クラスタＩＤに対応付けて、グラフ化処理手段１２を介して、クラスタデータ記憶手段１３にクラスタデータの一部として記憶される。
グラフ化処理手段（隣接状態情報作成手段）１２は、クラスタ化処理手段１１からクラスタごとに付与されたＩＤ及びその代表色を入力し、クラスタをノードとし、ノード間をノード間の類似度を示すエッジで接続したデータ構造である無向グラフ（以下、単に「グラフ」という）を作成する。
図４にグラフの例を示す。図４において、各ノードに示した「０」〜「５」の数字はクラスタＩＤを示している。すなわち、グラフとは、本例では時空間的に隣接するクラスタ間の接続状態を示すデータである。ここで、エッジで接続されたノード（クラスタ）同士は互いに隣接していることを示し、エッジは、所定のコスト関数で定められるコストを有するものである。ノードであるクラスタ間の代表色の差が小さいほどノード間の類似度は高くなり、コスト関数で定められるコストの値は大きくなる。このコストは、後記するグラフカット処理において、このエッジを切断するために要するコストを示すものである。
図４にグラフの例を示す。図４において、各ノードに示した「０」〜「５」の数字はクラスタＩＤを示している。すなわち、グラフとは、本例では時空間的に隣接するクラスタ間の接続状態を示すデータである。ここで、エッジで接続されたノード（クラスタ）同士は互いに隣接していることを示し、エッジは、所定のコスト関数で定められるコストを有するものである。ノードであるクラスタ間の代表色の差が小さいほどノード間の類似度は高くなり、コスト関数で定められるコストの値は大きくなる。このコストは、後記するグラフカット処理において、このエッジを切断するために要するコストを示すものである。
ここで、コスト関数の例について説明する。式（１）はコスト関数の例であり、式（１）のＢ｛ｍ，ｎ｝は、ノードｍとノードｎとを接続するエッジを切断するためのコストを表すものである。式（１）で算出されるコストＢ｛ｍ，ｎ｝は、ノードｍ，ｎである２つのクラスタの代表色Ｉｎ，Ｉｍの差（色差）が小さいほど大きくなる関数である。
なお、式（１）において、βの分母にある〈・〉で表される部分は、映像に含まれるすべてのクラスタ代表色の色差の２乗の平均を表すものである。言い換えれば、〈・〉で表される部分は、映像に含まれるすべてのクラスタ代表色についての分散を表すものである。
また、グラフ化処理手段１２は、グラフとともに、クラスタ間の隣接状態を示す隣接クラスタマトリックス（隣接状態情報）を作成する。図５に隣接クラスタマトリックスの例を示す。図５に示した隣接クラスタマトリックスにおいて、上端の行及び左端の列に記載されている「０」〜「５」の数字はクラスタＩＤを示しており、各行列が交差する欄に「ｎ」が記載されたクラスタＩＤで特定されるクラスタ対は、互いに隣接していることを示している。
なお、グラフ化処理手段１２によってグラフ化処理を行う段階では、クラスタの統合処理が行われていない。従って、グラフ化処理手段１２は、映像中のすべてのクラスタをノードとする１つのグラフを作成する。また、グラフ化処理手段１２は、前記した隣接クラスタマトリックスにおいて、互いに隣接するクラスタ間のすべてのエッジについて、前記したコスト関数によってコストを算出する。
なお、グラフ化処理手段１２によってグラフ化処理を行う段階では、クラスタの統合処理が行われていない。従って、グラフ化処理手段１２は、映像中のすべてのクラスタをノードとする１つのグラフを作成する。また、グラフ化処理手段１２は、前記した隣接クラスタマトリックスにおいて、互いに隣接するクラスタ間のすべてのエッジについて、前記したコスト関数によってコストを算出する。
グラフ化処理手段１２は、作成したグラフ（エッジのコストを含む）及び隣接クラスタマトリックスをクラスタデータ記憶手段１３に記憶する。また、グラフ化処理手段１２は、クラスタ化処理手段１１の処理結果であるクラスタのついてのデータをクラスタＩＤに対応付けてクラスタデータ記憶手段１３に記憶する。
クラスタデータ記憶手段（分割領域データ記憶手段）１３は、クラスタ化処理手段１１の処理結果であるクラスタについてのデータ及びグラフ化処理手段１２が作成したグラフ、隣接クラスタマトリックスについてのデータを記憶する記憶装置である。
クラスタデータ記憶手段１３に記憶されたデータは、クラスタ統合処理部２０の隣接クラスタ統合処理手段２１によって参照される。
クラスタデータ記憶手段１３に記憶されたデータは、クラスタ統合処理部２０の隣接クラスタ統合処理手段２１によって参照される。
クラスタ統合処理部（統合処理部）２０は、隣接クラスタ統合処理手段２１と、統合領域データ記憶手段２２と、を備え、クラスタ化処理部１０で過分割な状態に分割されたクラスタを、色情報に基づいて統合するものである。
クラスタ化処理部１０は、異なる被写体に属する領域が同一のクラスタに含まれないよう、過分割な状態にクラスタ化するため、クラスタ統合処理部２０は、細かく分割され過ぎたクラスタを大きな領域に統合するためのものである。
クラスタ化処理部１０は、異なる被写体に属する領域が同一のクラスタに含まれないよう、過分割な状態にクラスタ化するため、クラスタ統合処理部２０は、細かく分割され過ぎたクラスタを大きな領域に統合するためのものである。
隣接クラスタ統合処理手段２１は、クラスタデータ記憶手段１３から、クラスタ化処理部１０の処理結果であるクラスタについてのデータ及びクラスタの接続関係を示すデータを読み出すとともに、統合処理についてのパラメータを外部から入力して、時空間で互いに隣接し、かつ代表色が類似するクラスタを統合して、新たな分割領域として統合領域を形成するものである。
このとき、隣接クラスタ統合処理手段２１は、統合するかどうかを判定するためのパラメータとして、クラスタ間の代表色の差の上限値を示す閾値を外部から入力する。この閾値は、クラスタ化処理手段１１がクラスタ化のために用いた色空間についてのバンド幅を基準にした十分に大きな値とする。例えば、この閾値を色空間バンド幅の半分程度とすることができる。これによって、クラスタ化処理手段１１によって過分割状態に分割されたクラスタを統合することができる。
このとき、隣接クラスタ統合処理手段２１は、統合するかどうかを判定するためのパラメータとして、クラスタ間の代表色の差の上限値を示す閾値を外部から入力する。この閾値は、クラスタ化処理手段１１がクラスタ化のために用いた色空間についてのバンド幅を基準にした十分に大きな値とする。例えば、この閾値を色空間バンド幅の半分程度とすることができる。これによって、クラスタ化処理手段１１によって過分割状態に分割されたクラスタを統合することができる。
また、隣接クラスタ統合処理手段２１は、統合領域ごとに、統合領域を一意に識別する統合領域ＩＤを付与するとともに、統合領域の代表色を算出する。統合領域の代表色は、例えば、統合領域に含まれるクラスタの代表色の平均値とすることができる。また、隣接クラスタ統合処理手段２１は、第１段階で作成した全クラスタからなるグラフから、統合領域に含まれるクラスタについての情報を切出して統合領域に含まれるクラスタで構成されるグラフを作成する。なお、グラフについてのデータには、そのグラフにノードとして含まれるクラスタのＩＤのリストと、それらのクラスタ間のエッジのコストとが含まれる。
隣接クラスタ統合処理手段２１は、処理結果である統合領域データとして、統合領域ごとに、グラフデータと統合領域の代表色とを、統合領域ＩＤに対応付けて統合領域データ記憶手段２２に記憶する。
隣接クラスタ統合処理手段２１は、処理結果である統合領域データとして、統合領域ごとに、グラフデータと統合領域の代表色とを、統合領域ＩＤに対応付けて統合領域データ記憶手段２２に記憶する。
統合領域データ記憶手段２２は、隣接クラスタ統合処理手段２１の処理結果である統合領域についてのデータを、統合領域ごとに記憶する記憶装置である。
統合領域データ記憶手段２２に記憶されたデータは、クラスタ再分割処理部３０の再分割条件検出処理手段３１によって参照される。
統合領域データ記憶手段２２に記憶されたデータは、クラスタ再分割処理部３０の再分割条件検出処理手段３１によって参照される。
クラスタ再分割処理部３０は、再分割条件検出処理手段３１と、再分割処理手段３２と、再分割領域データ記憶手段３３と、を備え、クラスタ統合処理部２０が統合した統合領域について、所定の再分割条件に該当するクラスタ対が含まれるかどうかを検出し、条件に該当するクラスタ対が検出された場合は、このクラスタ対を互いに異なる領域となるように再分割するものである。
クラスタ統合処理部２０は、代表色が類似する隣接クラスタを統合するため、統合領域には、例えば、移動する被写体がたまたま類似する色を有する他の被写体と映像内で交差することがあると、これらの被写体の領域を統合することがある。本実施形態に係るクラスタ情報生成装置１は、異なる被写体に属するクラスタを、同一の領域ＩＤが割当てられる領域として統合しないようにするために、一度統合した領域から、異なる被写体に属するクラスタを検出して、異なる被写体に属するクラスタ同士を互いに異なる領域に再分割するものである。
クラスタ統合処理部２０は、代表色が類似する隣接クラスタを統合するため、統合領域には、例えば、移動する被写体がたまたま類似する色を有する他の被写体と映像内で交差することがあると、これらの被写体の領域を統合することがある。本実施形態に係るクラスタ情報生成装置１は、異なる被写体に属するクラスタを、同一の領域ＩＤが割当てられる領域として統合しないようにするために、一度統合した領域から、異なる被写体に属するクラスタを検出して、異なる被写体に属するクラスタ同士を互いに異なる領域に再分割するものである。
再分割条件検出処理手段３１は、統合領域データ記憶手段２２に記憶されている統合領域データを読み出し、統合領域ごとに、所定の再分割条件に該当するクラスタ対が含まれるかどうかを検出し、検出結果を再分割処理手段３２に出力する。
ここで、再分割条件とは、１つの統合領域に、異なる被写体に属するクラスタが統合されているかどうかを判断する条件のことである。
なお、再分割条件の詳細については後記する。
ここで、再分割条件とは、１つの統合領域に、異なる被写体に属するクラスタが統合されているかどうかを判断する条件のことである。
なお、再分割条件の詳細については後記する。
再分割処理手段３２は、再分割条件検出処理手段３１が検出した検出結果を入力し、再分割条件に該当するクラスタ対を、互いに異なる領域に再分割する。再分割処理手段３２は、処理結果である再分割した領域についてのデータを再分割領域データ記憶手段３３に記憶する。
なお、再分割処理手段３２は、再分割領域ごとに、再分割領域を一意に識別する再分割領域ＩＤを付与するとともに、再分割領域の代表色を算出する。代表色としては、例えば、再分割領域を構成するクラスタの代表色の平均値とすることができる。再分割処理手段３２は、処理結果である再分割領域データとして、再分割領域に含まれるクラスタのＩＤのリストと代表色とを、再分割領域ＩＤに対応付けて再分割領域データ記憶手段３３に記憶する。
なお、再分割処理手段３２は、再分割領域ごとに、再分割領域を一意に識別する再分割領域ＩＤを付与するとともに、再分割領域の代表色を算出する。代表色としては、例えば、再分割領域を構成するクラスタの代表色の平均値とすることができる。再分割処理手段３２は、処理結果である再分割領域データとして、再分割領域に含まれるクラスタのＩＤのリストと代表色とを、再分割領域ＩＤに対応付けて再分割領域データ記憶手段３３に記憶する。
再分割処理手段３２は、再分割対象として検出されたクラスタ対を分割する際に、クラスタ対が属する統合領域についてのグラフにおいて、この統合領域に関与するノードの接続関係を調べて、このクラスタ対を分割するためのエッジの切断方法を策定する。ここで、複数のエッジ切断方法が策定できる場合は、それぞれのエッジ切断方法について、所定のコスト関数を用いて個々のエッジを切断するコストを算出し、その切断方法で切断されるエッジの切断コストの総和を算出する。そして、切断コストの総和が最も低い切断方法でエッジを切断する。このエッジ切断方法に従って、グラフが２つに分割され、再分割対象であるクラスタ対が互いに異なる２つの領域に分割される。
なお、再分割処理の詳細については後記する。
なお、再分割処理の詳細については後記する。
再分割領域データ記憶手段３３は、再分割処理手段３２の処理結果である再分割領域についてのデータを、再分割領域ごとに記憶する記憶装置である。
再分割領域データ記憶手段３３に記憶されたデータは、例えば、外部の映像編集装置などによって、領域ＩＤ分布映像や領域代表色映像の作成のために用いられる。
再分割領域データ記憶手段３３に記憶されたデータは、例えば、外部の映像編集装置などによって、領域ＩＤ分布映像や領域代表色映像の作成のために用いられる。
［クラスタ情報生成装置の動作］
次に、適宜図面を参照してクラスタ情報生成装置１の動作であるクラスタ情報生成処理について説明する。
まず、図２を参照（適宜図1参照）して、クラスタ情報生成処理の概要について説明する。
図２に示すように、クラスタ情報生成装置１は、クラスタ化処理手段１１によって、処理対象となる映像とクラスタ処理のためのパラメータとして、空間バンド幅、時間バンド幅及び色空間バンド幅を外部から入力し、平均値シフト法による映像のクラスタ化処理を行う（ステップＳ１０）。
次に、適宜図面を参照してクラスタ情報生成装置１の動作であるクラスタ情報生成処理について説明する。
まず、図２を参照（適宜図1参照）して、クラスタ情報生成処理の概要について説明する。
図２に示すように、クラスタ情報生成装置１は、クラスタ化処理手段１１によって、処理対象となる映像とクラスタ処理のためのパラメータとして、空間バンド幅、時間バンド幅及び色空間バンド幅を外部から入力し、平均値シフト法による映像のクラスタ化処理を行う（ステップＳ１０）。
クラスタ情報生成装置１は、グラフ化処理手段１２によって、クラスタ化処理手段１１の処理結果であるクラスタデータを用いて、クラスタをノードとするグラフを作成するグラフ化処理を行う（ステップＳ１１）。グラフ化とは、クラスタ間の隣接状態を示す構造のデータを作成することである。このときクラスタ情報生成装置１は、グラフ化処理手段１２によって、グラフデータとして、クラスタの隣接状態を示す隣接クラスタマトリックスの作成と、隣接するクラスタ間のすべてのエッジについて、前記したコスト関数（例えば式（１））を用いてコストの算出とを行う。また、クラスタ情報生成装置１は、グラフ化処理手段１２によって、クラスタ化処理手段１１の処理結果であるクラスタデータとグラフ化処理手段１２の処理結果であるグラフデータとを、クラスタデータ記憶手段１３に記憶する。
次に、クラスタ情報生成装置１は、隣接クラスタ統合処理手段２１によって、時空間で互いに隣接するクラスタを統合するためのパラメータとして、統合の可否を判定するためのクラスタ間の色差の閾値を外部から入力し、クラスタデータ記憶手段１３に記憶されているクラスタデータ及びグラフデータを参照して、クラスタの色情報である代表色と入力したパラメータとに基づいて隣接クラスタの統合処理を行う（ステップＳ１２）。このときクラスタ情報生成装置１は、隣接クラスタ統合処理手段２１によって、ステップＳ１１で作成したグラフから各統合領域に含まれるクラスタが関するデータを切出して、統合領域ごとのグラフを作成する。また、クラスタ情報生成装置１は、隣接クラスタ統合処理手段２１によって、その処理結果である統合領域データを統合領域データ記憶手段２２に記憶する。
次に、クラスタ情報生成装置１は、クラスタ再分割処理部３０によって、統合領域データ記憶手段２２に記憶されている統合領域データを参照し、再分割処理の対象として、その中から１つの統合領域を選択する（ステップＳ１３）。
クラスタ情報生成装置１は、再分割条件検出処理手段３１によって、ステップＳ１３で選択された統合領域についてのデータを統合領域データ記憶手段２２から読み出し、選択された統合領域に含まれるクラスタの中から、所定の条件に一致するクラスタ対を検出する（ステップＳ１４）。
クラスタ情報生成装置１は、再分割条件検出処理手段３１によって、ステップＳ１３で選択された統合領域についてのデータを統合領域データ記憶手段２２から読み出し、選択された統合領域に含まれるクラスタの中から、所定の条件に一致するクラスタ対を検出する（ステップＳ１４）。
クラスタ情報生成装置１は、再分割処理手段３２によって、ステップＳ１４で再分割対象として検出されたクラスタ対を、互いに異なる領域に分割する再分割処理を行う（ステップＳ１５）。また、クラスタ情報生成装置１は、再分割処理手段３２の処理結果である再分割領域についてのデータを、再分割領域データ記憶手段３３に記憶する。この再分割領域データ記憶手段３３に蓄積されるデータが、最終的に分割された領域のデータとなり、例えば、外部の映像編集装置などによって利用される。
また、クラスタ情報生成装置１は、クラスタ再分割処理部３０によって、すべての統合領域について再分割処理が終了したかを確認し（ステップＳ１６）、未処理の統合領域がある場合は（ステップＳ１６でＮｏ）、クラスタ再分割処理部３０によって次に処理する統合領域を選択する（ステップＳ１３）。
一方、すべての統合領域について再分割処理が終了している場合は（ステップＳ１６でＹｅｓ）、クラスタ情報生成装置１は、クラスタ情報生成処理を終了する。
以上のように、クラスタ情報生成装置１は、クラスタ化処理の際の３つのバンド幅、及びクラスタ統合処理のためのクラスタ間の色差の閾値という少数のパラメータを用いて領域分割を行うことができる。また、クラスタ単位で、時空間で隣接する領域の統合と再分割とを行うため、空間方向だけでなく、時間方向についても適切に統合された領域分割を行うことができる。
一方、すべての統合領域について再分割処理が終了している場合は（ステップＳ１６でＹｅｓ）、クラスタ情報生成装置１は、クラスタ情報生成処理を終了する。
以上のように、クラスタ情報生成装置１は、クラスタ化処理の際の３つのバンド幅、及びクラスタ統合処理のためのクラスタ間の色差の閾値という少数のパラメータを用いて領域分割を行うことができる。また、クラスタ単位で、時空間で隣接する領域の統合と再分割とを行うため、空間方向だけでなく、時間方向についても適切に統合された領域分割を行うことができる。
次に、図３に示した４フレームからなる映像を例として、適宜図１及び図２を参照してクラスタ情報生成処理の第３段階である再分割処理について詳細に説明する。
図３に示した映像は、クラスタ化処理手段１１によって、すでに平均値シフト法により過分割な状態にクラスタ化され、グラフ化処理手段１２によって、クラスタの隣接状態が分析された第１段階を終了し、更に第２段階である隣接クラスタ統合処理手段２１による統合処理が終了した状態を示すものである。図３中において、数字「０」〜「５」は、それぞれクラスタＩＤを示している。この映像は、画面の中央付近に縦長の長方形の物体（例えば円柱）ＯＢＪ１が静止しており、円形の物体（例えば球体）ＯＢＪ２が、長方形の物体ＯＢＪ１の背後を画面の左側から右側に向かって通過している様子を示すものである。また、フレーム１からフレーム４に向かって順次に時間が経過するものとする。
図３に示した映像は、クラスタ化処理手段１１によって、すでに平均値シフト法により過分割な状態にクラスタ化され、グラフ化処理手段１２によって、クラスタの隣接状態が分析された第１段階を終了し、更に第２段階である隣接クラスタ統合処理手段２１による統合処理が終了した状態を示すものである。図３中において、数字「０」〜「５」は、それぞれクラスタＩＤを示している。この映像は、画面の中央付近に縦長の長方形の物体（例えば円柱）ＯＢＪ１が静止しており、円形の物体（例えば球体）ＯＢＪ２が、長方形の物体ＯＢＪ１の背後を画面の左側から右側に向かって通過している様子を示すものである。また、フレーム１からフレーム４に向かって順次に時間が経過するものとする。
また、物体ＯＢＪ１の領域に相当する中央付近の矩形の各クラスタＣ０，Ｃ１，Ｃ５，Ｃ４は、互いに色が極めて類似しているものとし、背後を通過する物体ＯＢＪ２の領域に相当する円形のクラスタＣ２，Ｃ３は中央付近のクラスタＣ０，Ｃ１，Ｃ５，Ｃ４と類似する色を有するものとする。
なお、図３においては、この後の、第３段階である再分割処理の説明を容易にするために、第２段階である隣接クラスタの統合処理で１つの統合領域に統合されるクラスタのみを示している。このため、他の統合領域に統合される背景（周辺領域）は、ここでは処理対象として考慮しないこととする。
すなわち、図３に表されたクラスタＣ０〜Ｃ５は、１つの統合領域に含まれる１組のクラスタ群を構成するものである。
なお、図３においては、この後の、第３段階である再分割処理の説明を容易にするために、第２段階である隣接クラスタの統合処理で１つの統合領域に統合されるクラスタのみを示している。このため、他の統合領域に統合される背景（周辺領域）は、ここでは処理対象として考慮しないこととする。
すなわち、図３に表されたクラスタＣ０〜Ｃ５は、１つの統合領域に含まれる１組のクラスタ群を構成するものである。
なお、クラスタ化処理手段１１は、映像を時空間に過分割な状態になるようにクラスタ化する。このため、同一の被写体であっても、クラスタＣ０，Ｃ１，Ｃ５のように複数のクラスタに分割される場合があり、フレームが異なる（時間が離れる）と、クラスタＣ０及びクラスタＣ４のように異なるクラスタとして分割される場合がある。また、円形の物体ＯＢＪ２についてのクラスタＣ２及びクラスタＣ３のように、本来は同一被写体であっても、画面中の位置を移動する被写体は、空間的又は／及び時間的に離れるため、異なるクラスタとして分割される場合がある。
なお、本実施形態では、クラスタを統合処理する際に、例えば、クラスタＣ０とクラスタＣ４の統合のように、時間方向に隣接するクラスタも統合する。このため、このクラスタ情報生成処理の結果を用いて、映像の制作や加工を行うための映像中の所望の領域を、例えば、マウスなどのポインティングデバイスを用いて動画像中から所望の被写体領域の指定を行う場合に、この手作業を容易に行うことができる。
第１段階のクラスタ化処理及びグラフ化処理と、第２段階の統合処理とが終了した段階では、統合領域ごとに、図４に示すグラフと、図５に示す隣接クラスタマトリックスとが生成される。
図４に示すように、グラフは、図３に示したクラスタＣ０〜Ｃ５を、それぞれノードＮ０〜Ｎ５とし、映像中で互いに隣接するノードＮ０〜Ｎ５間をエッジＥ０１〜Ｅ１５で接続して示したものである。なお、クラスタが隣接するとは、同一のフレーム内で隣接する場合の他に、ノードＮ０（クラスタＣ０）及びノードＮ４（クラスタＣ４）のように、時間的に隣接するフレーム内で空間的に隣接（又は重複）する場合も、互いに隣接するクラスタとして取り扱うものとする。
また、図５に示した隣接クラスタマトリックス（隣接状態情報）は、任意の２つのクラスタ間が隣接しているかどうかを示す情報であり、マトリックス中で「ｎ」が記された組み合わせのクラスタ間が隣接していることを示している。すなわち、隣接クラスタマトリックスは、グラフにおけるノード（クラスタ）間の隣接関係だけを示した情報である。
なお、隣接クラスタマトリックスは、統合処理によってクラスタの隣接状態が変化しないため、統合領域ごとに分割せずに、映像全体で１つのまま保持するようにしてもよい。
なお、隣接クラスタマトリックスは、統合処理によってクラスタの隣接状態が変化しないため、統合領域ごとに分割せずに、映像全体で１つのまま保持するようにしてもよい。
図３に示した例では、統合処理を行うことにより、実際には異なる被写体領域であっても、あるフレーム（第２フレーム２、第３フレーム）において異なる被写体領域が隣接することがあり、かつ、その被写体領域の色が近い場合は、その領域同士も統合されてしまう。このため、前景部のクラスタのすべてが統合されてしまい分割不足の状態となっている。
このように、第２段階で生成された統合領域は、色の類似したクラスタが、時空間方向に多数接続された大きな領域となる。この統合領域は、クラスタを統合したものであるので、各統合領域にはその構成要素である第１段階の分割領域であるクラスタの構成リストが生成できる。
第３段階では、各統合領域に対して、各統合領域を構成するクラスタを単位とした再分割を行うものである。
このように、第２段階で生成された統合領域は、色の類似したクラスタが、時空間方向に多数接続された大きな領域となる。この統合領域は、クラスタを統合したものであるので、各統合領域にはその構成要素である第１段階の分割領域であるクラスタの構成リストが生成できる。
第３段階では、各統合領域に対して、各統合領域を構成するクラスタを単位とした再分割を行うものである。
第３段階の処理は、まず、各統合領域について、その再分割のための条件検出処理を行い、各統合領域内で再分割が必要となるクラスタ対のリストなどを作成する。次に、そのリストに基づいて、グラフカット処理を用いた再分割処理を行う。
グラフカット（s-t min cut）処理は、画像解析などにおいて広く用いられる手法であ
る。一般的には画素をノードとして、画素間及びソースノード、シンクノードと呼ばれる特殊なノード間をエッジで接続し、そのエッジを切断するエネルギーを最小化するエッジ切断の組合せを見つけることで領域分割などの問題を解決する手法である（例えば、非特許文献２参照）。
本実施形態では、クラスタをノードとする統合領域のグラフにおいて、互いに分割するクラスタ対の２つのクラスタの一方をソースノード、他方をシンクノードとし、ソースノードとシンクノードとを分割するために切断するエッジのエネルギーの総和を最小にするエッジの切断の組合せを見つけ、切断するものである。
る。一般的には画素をノードとして、画素間及びソースノード、シンクノードと呼ばれる特殊なノード間をエッジで接続し、そのエッジを切断するエネルギーを最小化するエッジ切断の組合せを見つけることで領域分割などの問題を解決する手法である（例えば、非特許文献２参照）。
本実施形態では、クラスタをノードとする統合領域のグラフにおいて、互いに分割するクラスタ対の２つのクラスタの一方をソースノード、他方をシンクノードとし、ソースノードとシンクノードとを分割するために切断するエッジのエネルギーの総和を最小にするエッジの切断の組合せを見つけ、切断するものである。
（再分割条件検出処理）
次に、図６及び図７を参照（適宜図１参照）して、図２におけるステップＳ１４である再分割条件検出処理の詳細について説明する。
前記したように、本実施形態における再分割処理は、クラスタを最小単位として行う。ここで、１つの統合領域に含まれる１対のクラスタに着目したときに、この統合領域を構成するクラスタが空間的に２以上のクラスタ群に分離した状態のフレームにおいて（この状態を、分離クラスタがある状態、又は分離フレームという）、着目したそのクラスタ対が統合領域に属する他の隣接クラスタを順次に経由しても互いに到達可能（接続可能）でないことを、そのクラスタ対を再分割する条件とする。互いに到達可能でないクラスタ対とは、言い換えれば、クラスタ対を構成する２つのクラスタが、その分離フレームにおいて、それぞれ異なるクラスタ群に属するクラスタ対のことである。
再分割条件検出処理は、このような条件を満たすクラスタ対の検出を行う処理である。なお、クラスタ群は、１個のクラスタから構成されていてもよく、２以上のクラスタから構成されていてもよい。
図３に示した例では、静止する物体ＯＢＪ１の領域内のクラスタＣ０，Ｃ１，Ｃ４，Ｃ５の１つと、移動する物体ＯＢＪ２の領域内のクラスタＣ２，Ｃ３の１つとからなるクラスタ対が、このような条件を満たす。
次に、図６及び図７を参照（適宜図１参照）して、図２におけるステップＳ１４である再分割条件検出処理の詳細について説明する。
前記したように、本実施形態における再分割処理は、クラスタを最小単位として行う。ここで、１つの統合領域に含まれる１対のクラスタに着目したときに、この統合領域を構成するクラスタが空間的に２以上のクラスタ群に分離した状態のフレームにおいて（この状態を、分離クラスタがある状態、又は分離フレームという）、着目したそのクラスタ対が統合領域に属する他の隣接クラスタを順次に経由しても互いに到達可能（接続可能）でないことを、そのクラスタ対を再分割する条件とする。互いに到達可能でないクラスタ対とは、言い換えれば、クラスタ対を構成する２つのクラスタが、その分離フレームにおいて、それぞれ異なるクラスタ群に属するクラスタ対のことである。
再分割条件検出処理は、このような条件を満たすクラスタ対の検出を行う処理である。なお、クラスタ群は、１個のクラスタから構成されていてもよく、２以上のクラスタから構成されていてもよい。
図３に示した例では、静止する物体ＯＢＪ１の領域内のクラスタＣ０，Ｃ１，Ｃ４，Ｃ５の１つと、移動する物体ＯＢＪ２の領域内のクラスタＣ２，Ｃ３の１つとからなるクラスタ対が、このような条件を満たす。
図６に示すように、クラスタ情報生成装置１は、再分割条件検出処理手段３１によって、まず、統合領域を構成するすべてのクラスタ対を対象とした（後記する）分離クラスタマト
リックスを生成する。初期状態としてはクラスタ対の分離状態情報として何も情報がない状態とする（ステップＳ２０）。
次に、クラスタ情報生成装置１は、再分割条件検出処理手段３１によって、最初のフレームを１つ選択する（ステップＳ２１）。なお、再分割処理条件検出処理において、調査するフレームは、フレーム番号順でなくともよい。
クラスタ情報生成装置１は、再分割条件検出処理手段３１によって、選択したフレームにおいて、分離クラスタがあるかどうかを確認する（ステップＳ２２）。
リックスを生成する。初期状態としてはクラスタ対の分離状態情報として何も情報がない状態とする（ステップＳ２０）。
次に、クラスタ情報生成装置１は、再分割条件検出処理手段３１によって、最初のフレームを１つ選択する（ステップＳ２１）。なお、再分割処理条件検出処理において、調査するフレームは、フレーム番号順でなくともよい。
クラスタ情報生成装置１は、再分割条件検出処理手段３１によって、選択したフレームにおいて、分離クラスタがあるかどうかを確認する（ステップＳ２２）。
分離クラスタがある場合は（ステップＳ２２でＹｅｓ）、クラスタ情報生成装置１は、再分割条件検出処理手段３１によって、到達可能クラスタマトリックス（到達可能性情報）を作成する（ステップＳ２３）。ここで到達可能クラスタマトリックスとは、分離クラスタがあるフレームである分離フレームにおいて、空間的に隣接するクラスタを経由して他方のクラスタに到達可能であるクラスタ対であることを示す情報のことである。到達可能クラスタマトリックスの詳細については後記する。
次に、クラスタ情報生成装置１は、再分割条件検出処理手段３１によって、分離クラスタマトリックス（分離状態情報）を更新する（ステップＳ２４）。ここで分離クラスタマトリックスとは、映像中の全フレームにおいて、互いに到達可能でない状態となるフレームが存在するクラスタ対であることを示す情報のことである。すなわち、少なくとも何れか１つの分離フレームについての到達可能クラスタマトリックスにおいて、互いに到達可能でないクラスタ対であることを示す情報のことである。そして、分離クラスタマトリックスの更新とは、分離クラスタマトリックスに、新たに調査した分離フレームについて作成した到達可能クラスタマトリックスに基づいて、到達可能でないクラスタ対の情報を追加登録することである。分離クラスタマトリックスの詳細については後記する。
また、分離クラスタがない場合（ステップＳ２２でＮｏ）及び分離クラスタマトリックス更新（ステップＳ２４）の処理後は、クラスタ情報生成装置１は、再分割条件検出処理手段３１によって、次のフレームがあるかどうかを確認する（ステップＳ２５）。次のフレームがある場合は（ステップＳ２５でＹｅｓ）、クラスタ情報生成装置１は、再分割条件検出処理手段３１によって、未調査のフレームを１つ選択する（ステップＳ２１）し、選択したフレームについて、到達可能クラスタマトリックス作成（ステップＳ２３）及び分離クラスタマトリックス更新（ステップＳ２４）の処理を行う。
一方、次のフレームがない場合は（ステップＳ２５でＮｏ）、クラスタ情報生成装置１は、再分割条件検出処理を終了する。
一方、次のフレームがない場合は（ステップＳ２５でＮｏ）、クラスタ情報生成装置１は、再分割条件検出処理を終了する。
なお、到達可能クラスタマトリックス作成（ステップＳ２３）及び分離クラスタマトリックス更新（ステップＳ２４）において、分離クラスタが検出された２つ目以降のフレームについては、対応する分離フレームごとに到達可能クラスタマトリックスをそれぞれ作成し、分離クラスタマトリックスに、映像中に互いに到達可能でない状態となるフレームが存在するクラスタ対であることを示す情報を、追加登録するものとする。
以上のように、クラスタ情報生成装置１は、再分割条件検出処理手段３１によって、すべてのフレームについて分離クラスタの有無を調査し、分離クラスタがあるフレームについて、互いに到達可能であるクラスタ対であることを示す情報と、映像中に互いに到達可能でない状態となるフレームが存在することを示す情報とを、それぞれ到達可能クラスタマトリックスと、分離クラスタマトリックスとに登録する。
以上のように、クラスタ情報生成装置１は、再分割条件検出処理手段３１によって、すべてのフレームについて分離クラスタの有無を調査し、分離クラスタがあるフレームについて、互いに到達可能であるクラスタ対であることを示す情報と、映像中に互いに到達可能でない状態となるフレームが存在することを示す情報とを、それぞれ到達可能クラスタマトリックスと、分離クラスタマトリックスとに登録する。
次に、図３に示した映像を例として、到達可能クラスタマトリックス作成処理と、分離クラスタマトリックス更新処理について説明する。
図３に示した例における分離クラスタについて説明すると、第１フレームにおいては、クラスタＣ０，Ｃ１，Ｃ５からなるクラスタ群と、クラスタＣ２からなるクラスタ群とが、互いに隣接していない。従って、第１フレームおいては、分離クラスタがある状態（分離フレーム）である。
一方、第２フレーム及び第３フレームにおいては、すべてのクラスタで１つのクラスタ群を構成しているため、分離クラスタがない状態（分離フレームではない）である。
また、第４フレームは、クラスタＣ４，Ｃ１，Ｃ５からなるクラスタ群と、クラスタＣ３からなるクラスタ群とが、互いに隣接していないため、分離クラスタがある状態である。
図３に示した例における分離クラスタについて説明すると、第１フレームにおいては、クラスタＣ０，Ｃ１，Ｃ５からなるクラスタ群と、クラスタＣ２からなるクラスタ群とが、互いに隣接していない。従って、第１フレームおいては、分離クラスタがある状態（分離フレーム）である。
一方、第２フレーム及び第３フレームにおいては、すべてのクラスタで１つのクラスタ群を構成しているため、分離クラスタがない状態（分離フレームではない）である。
また、第４フレームは、クラスタＣ４，Ｃ１，Ｃ５からなるクラスタ群と、クラスタＣ３からなるクラスタ群とが、互いに隣接していないため、分離クラスタがある状態である。
（到達可能クラスタマトリックス作成処理）
まず、到達可能クラスタマトリックス作成処理について説明する。
到達可能クラスタマトリックスとは、空間的に隣接するクラスタを経由して他方のクラスタに到達可能であるクラスタ対であることを示す情報のことである。
ステップＳ２２において、分離クラスタがある場合は、クラスタ情報生成装置１は、再分割条件検出処理手段３１によって、図７（ａ）に示すような、その分離フレームについての到達可能クラスタマトリックスを作成する。図７（ａ）に示した到達可能クラスタマトリックスにおいて、上端の行及び左端の列に記載された「０」〜「５」は、処理対象の統合領域のうち、現在処理を行っている分離フレームに含まれるクラスタのクラスタＩＤを示しており、マトリックス中に「ｖ」が記された行列に対応するクラスタ対が、互いにその分離フレーム内にて到達可能であることを示す。すなわち、あるフレームにおいて分離クラスタがある場合に、そのフレームに含まれるクラスタについて、互いに到達可能なクラスタ対であることを示す情報が到達可能クラスタマトリックスに登録される。なお、到達可能クラスタマトリックスには、任意のクラスタ対が到達可能であるかどうかを示す情報が登録されればよいため、到達可能でないクラスタ対であること示す情報を記録するようにしてもよい。
まず、到達可能クラスタマトリックス作成処理について説明する。
到達可能クラスタマトリックスとは、空間的に隣接するクラスタを経由して他方のクラスタに到達可能であるクラスタ対であることを示す情報のことである。
ステップＳ２２において、分離クラスタがある場合は、クラスタ情報生成装置１は、再分割条件検出処理手段３１によって、図７（ａ）に示すような、その分離フレームについての到達可能クラスタマトリックスを作成する。図７（ａ）に示した到達可能クラスタマトリックスにおいて、上端の行及び左端の列に記載された「０」〜「５」は、処理対象の統合領域のうち、現在処理を行っている分離フレームに含まれるクラスタのクラスタＩＤを示しており、マトリックス中に「ｖ」が記された行列に対応するクラスタ対が、互いにその分離フレーム内にて到達可能であることを示す。すなわち、あるフレームにおいて分離クラスタがある場合に、そのフレームに含まれるクラスタについて、互いに到達可能なクラスタ対であることを示す情報が到達可能クラスタマトリックスに登録される。なお、到達可能クラスタマトリックスには、任意のクラスタ対が到達可能であるかどうかを示す情報が登録されればよいため、到達可能でないクラスタ対であること示す情報を記録するようにしてもよい。
図３に示すように、第１フレームにおいては、分離クラスタがあるため、クラスタ情報生成装置１は、再分割条件検出処理手段３１によって、第１フレームについて到達可能クラスタマトリックス作成処理を行う（ステップＳ２３）。
第１フレームでは、存在するクラスタはＣ０，Ｃ１，Ｃ２，Ｃ５となる。クラスタＣ０からクラスタＣ１へは、直接隣接しているため、到達可能である。クラスタＣ０からクラスタＣ５へは、隣接するクラスタＣ１を経由して到達可能である。クラスタＣ０からクラスタＣ２へは、クラスタＣ２と隣接するクラスタがないため到達可能ではない。クラスタＣ１からクラスタＣ５へは、直接隣接しているため、到達可能である。クラスタＣ１からクラスタＣ２へは、クラスタＣ２と隣接するクラスタがないため到達可能ではない。クラスタＣ５からクラスタＣ２へは、クラスタＣ２と隣接するクラスタがないため到達可能ではない。
以上より、到達可能なクラスタ対として、クラスタＣ０とクラスタＣ１、クラスタＣ０とクラスタＣ５、及びクラスタＣ１とクラスタＣ５の３組が抽出される。
図７（ａ）に示した到達可能クラスタマトリックスは、図３に示した第１フレームについて調査した結果を示している。従って、第１フレームについての到達可能クラスタマトリックスにおいて、「０」と「１」、「０」と「５」、及び「１」と「５」で示される行列要素に「ｖ」が登録される。なお、クラスタ対の順番は交換できるため、行と列とは入れ替えた行列要素にも「ｖ」が登録される。
図７（ａ）に示した到達可能クラスタマトリックスは、図３に示した第１フレームについて調査した結果を示している。従って、第１フレームについての到達可能クラスタマトリックスにおいて、「０」と「１」、「０」と「５」、及び「１」と「５」で示される行列要素に「ｖ」が登録される。なお、クラスタ対の順番は交換できるため、行と列とは入れ替えた行列要素にも「ｖ」が登録される。
なお、次ステップである分離クラスタマトリックスの更新処理（ステップＳ２４）は、先にすべてのフレームについて到達可能クラスタマトリックス生成処理（ステップＳ２３）を終了してから、改めてすべてのフレームについての到達可能クラスタマトリックスを順次に参照して、分離クラスタマトリックスを更新するようにしてもよい。
このため、ここでは到達可能クラスタマトリックス作成処理について、先に説明を進める。
このため、ここでは到達可能クラスタマトリックス作成処理について、先に説明を進める。
クラスタ情報生成装置１は、再分割条件検出処理手段３１によって、順次に第２フレーム〜第４フレームを選択し、各フレームについて調査する。前記したように、第２フレーム及び第３フレームには分離クラスタがないため、到達可能クラスタマトリックス作成処理は行わない。そして、第４フレームには分離クラスタがあるため、到達可能クラスタマトリックス作成処理を行う。
第４フレームにおいては、図３に示すように、存在するクラスタはＣ１，Ｃ３，Ｃ４，Ｃ５となる。クラスタＣ３は、他の何れのクラスタＣ４，Ｃ１，Ｃ５とも到達可能ではなく、クラスタＣ４とクラスタＣ１、クラスタＣ４とクラスタＣ５、及びクラスタＣ１とクラスタＣ５の３組が到達可能なクラスタ対として抽出される。従って、図７（ｂ）に示すように、第４フレームについての到達可能クラスタマトリックスにおいて、「４」と「１」、及び「４」と「５」、及び「１」と「５」で示される行列要素に「ｖ」が追加登録される。
図３に示した映像例は、第４フレームが最後のフレームであるから、ここで到達可能クラスタマトリックスの作成は終了する。
図３に示した映像例は、第４フレームが最後のフレームであるから、ここで到達可能クラスタマトリックスの作成は終了する。
（分離クラスタマトリックス更新処理）
次に、分離クラスタマトリックス更新処理について説明する。
前記したように、予め、ステップＳ２０において、統合領域を構成するすべてのクラスタ対を対象とした分離クラスタマトリックスの初期状態を生成しておく。初期状態としてはクラスタ対の分離状態情報として何も情報がない状態とする。本例では、図７（ｃ）に示す分離クラスタマトリックスにおいて、すべての要素が空欄の状態のマトリックスを生成する。
そして、ステップＳ２２において、分離クラスタがある場合は（Ｙｅｓ）、クラスタ情報生成装置１は、再分割条件検出処理手段３１によって、図７（ｃ）に示すように、分離クラスタマトリックスを更新する。図７（ｃ）に示した分離クラスタマトリックスにおいて、上端の行及び左端の列に記載された「０」〜「５」は、処理対象の統合領域に含まれるクラスタのクラスタＩＤを示しており、マトリックス中に「ｘ」が記された行列に対応するクラスタ対（ペア）が、映像中に互いに到達可能でない状態となるフレームが存在することを示す。すなわち、あるフレームにおいて分離クラスタがある場合に、そのフレームに含まれるクラスタについて、互いに到達可能でないクラスタ対であることを示す情報が分離クラスタマトリックスに登録される。
次に、分離クラスタマトリックス更新処理について説明する。
前記したように、予め、ステップＳ２０において、統合領域を構成するすべてのクラスタ対を対象とした分離クラスタマトリックスの初期状態を生成しておく。初期状態としてはクラスタ対の分離状態情報として何も情報がない状態とする。本例では、図７（ｃ）に示す分離クラスタマトリックスにおいて、すべての要素が空欄の状態のマトリックスを生成する。
そして、ステップＳ２２において、分離クラスタがある場合は（Ｙｅｓ）、クラスタ情報生成装置１は、再分割条件検出処理手段３１によって、図７（ｃ）に示すように、分離クラスタマトリックスを更新する。図７（ｃ）に示した分離クラスタマトリックスにおいて、上端の行及び左端の列に記載された「０」〜「５」は、処理対象の統合領域に含まれるクラスタのクラスタＩＤを示しており、マトリックス中に「ｘ」が記された行列に対応するクラスタ対（ペア）が、映像中に互いに到達可能でない状態となるフレームが存在することを示す。すなわち、あるフレームにおいて分離クラスタがある場合に、そのフレームに含まれるクラスタについて、互いに到達可能でないクラスタ対であることを示す情報が分離クラスタマトリックスに登録される。
また、図７（ｃ）に示した分離クラスタマトリックスは、図３に示したすべてのフレームについて調査した結果を示している。第１フレームを調査した段階では、図７（ａ）に示した到達可能マトリックスの情報から、互いに到達可能でないクラスタ対として、クラスタＣ０とクラスタＣ２、クラスタＣ１とクラスタＣ２、及びクラスタＣ５とクラスタＣ２の３組が抽出される。従って、この段階では、分離クラスタマトリックスにおいて、「０」と「２」、「１」と「２」、及び「５」と「２」で示される行列要素に「ｘ」が登録される。なお、クラスタ対の順番は交換できるため、行と列とを入れ替えた行列要素にも「ｘ」が登録される。
クラスタ情報生成装置１は、再分割条件検出処理手段３１によって、順次に第２フレーム〜第４フレームを選択し、各フレームについて調査する。前記したように、第２フレーム及び第３フレームには分離クラスタがないため、分離クラスタマトリックス作成処理は行わない。そして、第４フレームには分離クラスタがあるため、分離クラスタマトリックス作成処理を行う。
第４フレームにおいては、図７（ｂ）に示す到達可能マトリックスの情報から、図３に示すように、互いに到達可能でないクラスタ対として、クラスタＣ４とクラスタＣ３、クラスタＣ１とクラスタＣ３、及びクラスタＣ５とクラスタＣ３の３組が抽出される。従って、分離クラスタマトリックスにおいて、「４」と「３」、「１」と「３」、及び「５」と「３」で示される行列要素に「ｘ」が追加登録される。
図３に示した映像例は、第４フレームが最後のフレームであるから、ここで分離クラスタマトリックスの作成は終了する。なお、この段階の分離クラスタマトリックスは初期値として、次の処理に用いられる。
図３に示した映像例は、第４フレームが最後のフレームであるから、ここで分離クラスタマトリックスの作成は終了する。なお、この段階の分離クラスタマトリックスは初期値として、次の処理に用いられる。
（再分割処理）
次に、図８乃至図１０を参照（適宜図１参照）して、図２におけるステップＳ１５である再分割処理の詳細について説明する。
再分割処理は、図５に示した隣接クラスタマトリックス及び図７（ｃ）に示した分離クラスタマトリックスを用いて、統合領域ごとにグラフカット処理を行うものである。
次に、図８乃至図１０を参照（適宜図１参照）して、図２におけるステップＳ１５である再分割処理の詳細について説明する。
再分割処理は、図５に示した隣接クラスタマトリックス及び図７（ｃ）に示した分離クラスタマトリックスを用いて、統合領域ごとにグラフカット処理を行うものである。
再分割処理においては、図８に示すように、クラスタ情報生成装置１は、再分割処理手段３２によって、まず、処理対象である統合領域に含まれるクラスタの中から、分割すべきクラスタ対である分割対象ペアを検出する（ステップＳ３０）。ここで検出された分割対象ペアは、互いに異なる領域に再分割されるクラスタ対である。
（分割対象ペアの検出）
ここで、分割対象ペアの検出方法について説明する。
分割対象ペアを検出する条件は、図７（ｃ）に示した分離クラスタマトリックスに登録されたクラスタ対であることである。すなわち、映像中の分離クラスタがある何れかのフレームにおいて互いに到達可能でないクラスタ対を分離対象ペアとして検出する。
ここで、分割対象ペアの検出方法について説明する。
分割対象ペアを検出する条件は、図７（ｃ）に示した分離クラスタマトリックスに登録されたクラスタ対であることである。すなわち、映像中の分離クラスタがある何れかのフレームにおいて互いに到達可能でないクラスタ対を分離対象ペアとして検出する。
図３に示した映像例においては、分離クラスタマトリックスを参照することにより、クラスタＣ０とクラスタＣ２、クラスタＣ１とクラスタＣ２、クラスタＣ１とクラスタＣ３、クラスタＣ２とクラスタＣ５、クラスタＣ３とクラスタＣ４、及びクラスタＣ３とクラスタＣ５の６組のクラスタ対が分離対象ペアとして検出される。
次に、クラスタ情報生成装置１は、再分割処理手段３２によって、ステップＳ３０で検出した分離対象ペアから、分割処理を行う１つのクラスタ対を選択する（ステップＳ３１）。このとき、図５に示した隣接クラスタマトリックスに登録されている互いに隣接するクラスタ対を優先的に選択する。分割されるべきクラスタの主要部分が先に分割されることで、末端部の余計な再分割がなされないために、再分割結果の領域がより大きく保たれると同時に、分割処理回数が軽減され再分割処理の効率が向上するため好ましい。
ここでは、隣接クラスタマトリックスに登録されているクラスタ対であるクラスタＣ０とクラスタＣ２とのクラスタ対を選択することとする。
ここでは、隣接クラスタマトリックスに登録されているクラスタ対であるクラスタＣ０とクラスタＣ２とのクラスタ対を選択することとする。
次に、クラスタ情報生成装置１は、再分割処理手段３２によって、ステップＳ３１で選択した分離対象ペアに対して、一方のクラスタをソースノード、他方のクラスタをシンクノードに割当てる（ステップＳ３２）。
なお、ソースノード及びシンクノードとは、互いに分割される１対のノードのことであり、次工程の処理であるグラフカット処理Ｓ３３において、これらのノード間を直接に接続するエッジ、及び／又は他のノードを経由して間接に接続されるエッジが切断される。
なお、ソースノード及びシンクノードとは、互いに分割される１対のノードのことであり、次工程の処理であるグラフカット処理Ｓ３３において、これらのノード間を直接に接続するエッジ、及び／又は他のノードを経由して間接に接続されるエッジが切断される。
（グラフカット処理）
次に、クラスタ情報生成装置１は、再分割処理手段３２によって、ステップＳ３２で割当てたソースノード及びシンクノード間のグラフカット処理を行う（ステップＳ３３）。
グラフカット処理は、ソースノード及びシンクノード間を直接及び／又は間接に接続するエッジを切断して、ソースノードに接続されるノードと、シンクノードに接続されるノードとに分割する際に、切断するエッジのエネルギーの総和が最小となる組み合わせのエッジを切断する手法である。ここで、エッジのエネルギーとは、例えば、式（１）で示したコスト関数で計算されるコストのことである。
次に、クラスタ情報生成装置１は、再分割処理手段３２によって、ステップＳ３２で割当てたソースノード及びシンクノード間のグラフカット処理を行う（ステップＳ３３）。
グラフカット処理は、ソースノード及びシンクノード間を直接及び／又は間接に接続するエッジを切断して、ソースノードに接続されるノードと、シンクノードに接続されるノードとに分割する際に、切断するエッジのエネルギーの総和が最小となる組み合わせのエッジを切断する手法である。ここで、エッジのエネルギーとは、例えば、式（１）で示したコスト関数で計算されるコストのことである。
図９に、ソースノードとしてクラスタＣ０であるノードＮ０を、シンクノードとしてクラスタＣ２であるノードＮ２を割当てた場合の両ノード間の切断方法について説明する。
図９に示すように、ソースノードとしてＮ０を、シンクノードとしてＮ２を割り当て、隣接するエッジをそのままソースノードとシンクノード間をつなぐエッジ（ｔ−ｌｉｎｋ）とする。グラフカット処理は、このソースノードとシンクノードとを与えることで、ソースノードに属するノード群とシンクノードに属するノード群の２つに分割するための切断方法について、それを最小コストで行う切断方法を得ることができるアルゴリズムを実装した処理である。各エッジのコストは、クラスタデータ記憶手段１３に記憶されているグラフ化処理手段１２による処理結果であるグラフデータを参照して用いることができる。
図９に示すように、ソースノードとしてＮ０を、シンクノードとしてＮ２を割り当て、隣接するエッジをそのままソースノードとシンクノード間をつなぐエッジ（ｔ−ｌｉｎｋ）とする。グラフカット処理は、このソースノードとシンクノードとを与えることで、ソースノードに属するノード群とシンクノードに属するノード群の２つに分割するための切断方法について、それを最小コストで行う切断方法を得ることができるアルゴリズムを実装した処理である。各エッジのコストは、クラスタデータ記憶手段１３に記憶されているグラフ化処理手段１２による処理結果であるグラフデータを参照して用いることができる。
前記したように、式（１）に示したコスト関数は、クラスタの代表色の色差が小さいほど大きな値となる関数である。図３に示した映像例では、前記したように画面中央付近のクラスタＣ０，Ｃ１，Ｃ４（ノードＮ０，Ｎ１，Ｎ４）の代表色が極めて類似しているため、それらのクラスタ間のエッジＥ０１，Ｅ０４を切断するコストが非常に高くなる。このため、切断方法ＣＴ１のコスト総和が他の切断方法のコスト総和よりも小さくなると考えられる。
そのため、この場合は、切断方法ＣＴ１に従ってエッジＥ０２，Ｅ１２が切断され、この統合領域のグラフから、ノードＮ２が分断される。すなわち、この統合領域は、クラスタＣ０，Ｃ１，Ｃ３，Ｃ５，Ｃ４からなるクラスタ群と、クラスタＣ２からなるクラスタ群と、の２つの領域に分割される。
図１０（ａ）は、ノードＮ２（クラスタＣ２）とノードＮ０，Ｎ１（クラスタＣ０，Ｃ１）との間のエッジＥ０２，Ｅ１２（図９参照）が切断された後の状態のグラフを示したものである。
そのため、この場合は、切断方法ＣＴ１に従ってエッジＥ０２，Ｅ１２が切断され、この統合領域のグラフから、ノードＮ２が分断される。すなわち、この統合領域は、クラスタＣ０，Ｃ１，Ｃ３，Ｃ５，Ｃ４からなるクラスタ群と、クラスタＣ２からなるクラスタ群と、の２つの領域に分割される。
図１０（ａ）は、ノードＮ２（クラスタＣ２）とノードＮ０，Ｎ１（クラスタＣ０，Ｃ１）との間のエッジＥ０２，Ｅ１２（図９参照）が切断された後の状態のグラフを示したものである。
図８に戻って、グラフカット処理Ｓ３３を行うと、クラスタ情報生成装置１は、再分割処理手段３２によって、分離クラスタマトリックスを更新する（ステップＳ３４）。
分離クラスタマトリックス更新処理Ｓ３４では、グラフカット処理Ｓ３３によって再分割された結果に基づいて、図７（ａ）に示した分離クラスタマトリックスを更新する。すなわち、分離クラスタマトリックスに登録されたクラスタから、グラフカット処理Ｓ３３により分断されたクラスタを除外する。
分離クラスタマトリックス更新処理Ｓ３４では、グラフカット処理Ｓ３３によって再分割された結果に基づいて、図７（ａ）に示した分離クラスタマトリックスを更新する。すなわち、分離クラスタマトリックスに登録されたクラスタから、グラフカット処理Ｓ３３により分断されたクラスタを除外する。
前記したように、図３に示した映像例では、分割されるのはクラスタＣ２であるから、図１０（ｂ）に示すように、分離クラスタマトリックスからクラスタＣ２が関与する情報を削除する。なお、図１０（ｂ）において、ハッチングを施した要素データが削除されたことを示している。
このとき、元の統合領域についてのデータから、クラスタＣ２についてのクラスタデータも削除するものとする。図３に示した映像例では、分割されるのはクラスタＣ２のみであるが、複数のクラスタがクラスタＣ２とともに分割される場合は、統合領域データからそれらのクラスタに関するデータも削除する。
このとき、元の統合領域についてのデータから、クラスタＣ２についてのクラスタデータも削除するものとする。図３に示した映像例では、分割されるのはクラスタＣ２のみであるが、複数のクラスタがクラスタＣ２とともに分割される場合は、統合領域データからそれらのクラスタに関するデータも削除する。
なお、この分割によって削除された方のクラスタ群は、元の統合領域とは異なる新たな統合領域として登録される。言い換えれば、元の統合領域を２つに分割するものである。
これに伴い、分離クラスタマトリックスを２つに分割する。そして、分割された新たな統合領域についても、分割対象ペアが存在しなくなるまで順次に再分割処理が行われる。
これに伴い、分離クラスタマトリックスを２つに分割する。そして、分割された新たな統合領域についても、分割対象ペアが存在しなくなるまで順次に再分割処理が行われる。
次に、クラスタ情報生成装置１は、再分割処理手段３２によって、図１０（ｂ）に示した更新後の分離クラスタマトリックスを参照して、分離対象ペアが残存するか確認し（ステップＳ３５）、残存しない場合は（ステップＳ３５でＮｏ）、この統合領域についての再分割処理を終了する。
一方、分割対象ペアが残存する場合は（ステップＳ３５でＹｅｓ）、ステップＳ３０に戻って、クラスタ情報生成装置１は再分割処理手段３２によって再分割処理を続ける。
一方、分割対象ペアが残存する場合は（ステップＳ３５でＹｅｓ）、ステップＳ３０に戻って、クラスタ情報生成装置１は再分割処理手段３２によって再分割処理を続ける。
図３に示した映像例では、クラスタＣ１とクラスタＣ３、クラスタＣ３とクラスタＣ４、及びクラスタＣ３とクラスタＣ５の３組のクラスタ対が分割対象ペアとして残存している。そこで、ステップＳ３０に戻り、クラスタ情報生成装置１は、再分割処理手段３２によって、図５に示した隣接クラスタマトリックス及び図１０（ｂ）に示した更新後の分離クラスタマトリックスを用いて、分割対象ペアの再検出を行い、分割対象ペアとなるクラスタ対をリストアップする（ステップＳ３０）。そして、クラスタ情報生成装置１は、再分割処理手段３２によって、リストアップしたクラスタ対から１つのクラスタ対を選択する（ステップＳ３１）。
図３に示した映像例では、分割対象ペアとして前記した３組のクラスタ対がリストアップされる。この中から、隣接クラスタマトリックスに登録されているクラスタ対である、クラスタＣ１とクラスタＣ３とのクラスタ対を分割対象ペアとして選択する（ステップＳ３１）。そして、ソースノードとしてクラスタＣ１であるノードＮ１を、シンクノードとしてクラスタＣ３であるノードＮ３を割当て（ステップＳ３２）、グラフカット処理を行う（ステップＳ３３）。
前記した要領でグラフカット処理を行うことにより、図１０（ａ）に示したグラフにおいて、他の切断方法よりも切断するエッジのエネルギー総和の小さい切断方法ＣＴ２が選択され、エッジＥ０３，Ｅ１３が切断される。
これによって、この統合領域のグラフは、図１１（ａ）に示すよう、統合処理直後の統合領域から、クラスタＣ２に加えて、更にクラスタＣ３が分断された状態となる。このグラフカット処理の結果に基づき、クラスタＣ２に加えて、クラスタＣ３に関するデータを削除する分離クラスタマトリックスの更新を行う（ステップＳ３４）。その結果、分離クラスタマトリックスは、図１１（ｂ）に示すようになる。なお、図１１（ｂ）において、ハッチングを施した要素データが削除されたことを示している。
これによって、この統合領域のグラフは、図１１（ａ）に示すよう、統合処理直後の統合領域から、クラスタＣ２に加えて、更にクラスタＣ３が分断された状態となる。このグラフカット処理の結果に基づき、クラスタＣ２に加えて、クラスタＣ３に関するデータを削除する分離クラスタマトリックスの更新を行う（ステップＳ３４）。その結果、分離クラスタマトリックスは、図１１（ｂ）に示すようになる。なお、図１１（ｂ）において、ハッチングを施した要素データが削除されたことを示している。
分離クラスタマトリックスを更新すると（ステップＳ３４）、クラスタ情報生成装置１は、再分割処理手段３２によって、図１１（ｂ）に示した更新後の分離クラスタマトリックスを参照して、分離対象ペアが残存するか確認する（ステップＳ３５）。図１１（ｂ）に示した分離クラスタマトリックスによれば、分割対象ペアは残存してないことが確認できる（ステップＳ３５でＮｏ）。従って、クラスタ情報生成装置１は、この統合領域についての再分割処理を終了する。
図３に示した映像例では、この統合領域は、クラスタＣ２及びクラスタＣ３がそれぞれ独立のクラスタ群として分断され、残りのクラスタＣ０，Ｃ１，Ｃ５，Ｃ４からなるクラスタ群と合わせて、クラスタを単位とする３つの領域に再分割されたことになる。すなわち、再分割処理による分割領域の数は、クラスタ化処理によって分割された領域数より少なく、統合処理による領域数よりも多くなっている。更に、映像全体を通して見たときに、空間的に分離されることがある部分（クラスタＣ２，Ｃ３）は、それぞれ別の領域に分割されるため、適切な領域分割結果となる。
クラスタ情報生成装置１は、領域ＩＤ分布映像から、各クラスタ間の隣接関係をデータ化する。具体的に、クラスタ情報生成装置１は、あるクラスタＩＤを有した全てのピクセルについて、ピクセルに時空間上隣接するピクセル（２６近傍）のＩＤをリストアップすることにより、当該クラスタに隣接する全クラスタのクラスタＩＤを取得する。クラスタ情報生成装置１が出力するクラスタ隣接情報は、例えば、隣接マトリックス、またはこれと１対１に対応するグラフ上の連結データの形式による。
以上説明したように、本実施形態におけるクラスタ情報生成装置１による領域分割処理によって、入力として領域分割の対象となる映像と、領域分割処理のためのいくつかの少数のパラメータを与えることで、その色情報のみから被写体領域の抽出に対して適切な領域分割結果を取得することができる。
また、ピクセル単位での取り扱いではなく、過分割な状態にクラスタ化された領域を単位として、統合と再分割とを行って領域分割が成されるため、処理するデータ量は極めて小さくなり、インタラクティブなレスポンスが可能である。統合と再分割を行うことにより、均一なパラメータでは制御の難しかった領域の粒度を適応的に制御することができ、「同一の被写体領域はなるべく時空間的に大きく構成され」、「異なる被写体領域には同じ領域ＩＤが割り振られない」ように領域分割することができる。
また、ピクセル単位での取り扱いではなく、過分割な状態にクラスタ化された領域を単位として、統合と再分割とを行って領域分割が成されるため、処理するデータ量は極めて小さくなり、インタラクティブなレスポンスが可能である。統合と再分割を行うことにより、均一なパラメータでは制御の難しかった領域の粒度を適応的に制御することができ、「同一の被写体領域はなるべく時空間的に大きく構成され」、「異なる被写体領域には同じ領域ＩＤが割り振られない」ように領域分割することができる。
また、色情報に基づいて時空間領域を分割する際に必要な前提は、同じ被写体領域は時間方向に同じ色であり続けることと、異なる被写体領域は異なる色である必要があるという点である。しかしながら、撮影しているカメラが動いていたり、被写体が映像内で動いていたりする場合、同一の被写体領域は時刻によって映像内の空間位置を変えるだけでなく、カメラの性能や物体と光源の位置関係の変化などから対象領域の色情報も変化する。
このような場合においても、特に時間方向への領域情報の継承のため、第２段階の統合処理に用いる色情報の閾値として、比較的に緩い設定とすることでその継承性を向上することが可能である。
このような場合においても、特に時間方向への領域情報の継承のため、第２段階の統合処理に用いる色情報の閾値として、比較的に緩い設定とすることでその継承性を向上することが可能である。
その際に、空間的に近くにある類似した色の異なる被写体領域を同じ域に取り込む副作用がある。例えば、２人の人物がすれ違う際に交差する顔や髪の毛の領域など、色が近い物体が映像上の空間的に接近し、背面に隠れ、再度分離する際に、異なる被写体領域に同じ領域ＩＤを割り振られてしまうことを誘発しやすくなる。
本実施形態では、統合処理によって同一の領域に統合された異なる被写体領域を、再分割して被写体ごとの領域に適切に分割することができる。
本実施形態は、「同一の被写体領域はなるべく時空間的に大きく構成され」、「異なる被写体領域には同じ領域ＩＤが割り振られない」ように、領域分割を行うことができる。
本実施形態では、統合処理によって同一の領域に統合された異なる被写体領域を、再分割して被写体ごとの領域に適切に分割することができる。
本実施形態は、「同一の被写体領域はなるべく時空間的に大きく構成され」、「異なる被写体領域には同じ領域ＩＤが割り振られない」ように、領域分割を行うことができる。
なお、被写体領域の抽出を目的とした領域分割を考えると、「異なる被写体領域には同じ領域ＩＤが割り振られないこと」が満たされることはきわめて重要な要件である。これが満足されない場合、該当する領域には複数の被写体領域が含まれていることになり、後の処理でその領域を抽出領域として選択してしまうと、関係する領域すべてが選択されてしまうために、本来不必要な他の被写体領域も選択されてしまう。本実施形態によれば、「異なる被写体領域には同じ領域ＩＤが割り振られない」を満足するように領域分割できるため、映像制作や映像加工などにおける被写体領域の抽出処理や、映像検索における被写体領域を指定入力するための領域分割装置として好適に利用することができる。
＜実施例１＞
次に、実施例１として、抽象的な被写体の映像を入力映像として、クラスタ情報生成処理を行った結果について説明する。
図１２は、実施例１で用いた映像であり、３０個のフレームからなる映像の内の、第１フレームと、第１０フレームと、第３０フレームとを示したものである。映像中には、縦長の長方形の２つの被写体ＯＢＪ１、ＯＢＪ３が画面の中央付近に並置されており、これらの被写体ＯＢＪ１，ＯＢＪ３は静止している。また、これらの被写体ＯＢＪ１、ＯＢＪ３は、ともに被写体全域でほぼ一様な赤色をしている。なお、ＯＢＪ１については、中心部において、円形の被写体ＯＢＪ２よりも小さな一部の領域で、他の部分の赤色に極めて類似するが異なる色の分布となった部分を持っている。また、円形の被写体ＯＢＪ２は、被写体全域でほぼ一様な赤色をしており、被写体ＯＢＪ１と類似した色である。また、被写体ＯＢＪ２は、第１フレームから第３０フレームにかけて、画面の左側から右側に向かって移動し、被写体ＯＢＪ１の背後を通過するものである。また、背景となる被写体ＯＢＪ４は、被写体全域が一様な黄色で経時変化はしない。
次に、実施例１として、抽象的な被写体の映像を入力映像として、クラスタ情報生成処理を行った結果について説明する。
図１２は、実施例１で用いた映像であり、３０個のフレームからなる映像の内の、第１フレームと、第１０フレームと、第３０フレームとを示したものである。映像中には、縦長の長方形の２つの被写体ＯＢＪ１、ＯＢＪ３が画面の中央付近に並置されており、これらの被写体ＯＢＪ１，ＯＢＪ３は静止している。また、これらの被写体ＯＢＪ１、ＯＢＪ３は、ともに被写体全域でほぼ一様な赤色をしている。なお、ＯＢＪ１については、中心部において、円形の被写体ＯＢＪ２よりも小さな一部の領域で、他の部分の赤色に極めて類似するが異なる色の分布となった部分を持っている。また、円形の被写体ＯＢＪ２は、被写体全域でほぼ一様な赤色をしており、被写体ＯＢＪ１と類似した色である。また、被写体ＯＢＪ２は、第１フレームから第３０フレームにかけて、画面の左側から右側に向かって移動し、被写体ＯＢＪ１の背後を通過するものである。また、背景となる被写体ＯＢＪ４は、被写体全域が一様な黄色で経時変化はしない。
図１２に示した映像の、第１段階から第３段階までの各段階の領域分割処理の結果として、第１０フレームに対応する画像を図１３に示す。
図１３（ａ）は、第１段階の領域分割処理であるクラスタ化処理の結果示すものである。図１３（ａ）は、クラスタごとに色分けした映像である領域ＩＤ（クラスタＩＤ）分布映像を示したものである。図１３（ａ）において、異なるハッチングを施した領域は、異なるクラスタとして領域分割されていることを示す。この段階の領域分割では、被写体ＯＢＪ１が、縦方向に３つの領域に分割され、被写体ＯＢＪ２も独立した１つのクラスタとして領域分割されている。
図１３（ａ）は、第１段階の領域分割処理であるクラスタ化処理の結果示すものである。図１３（ａ）は、クラスタごとに色分けした映像である領域ＩＤ（クラスタＩＤ）分布映像を示したものである。図１３（ａ）において、異なるハッチングを施した領域は、異なるクラスタとして領域分割されていることを示す。この段階の領域分割では、被写体ＯＢＪ１が、縦方向に３つの領域に分割され、被写体ＯＢＪ２も独立した１つのクラスタとして領域分割されている。
図１３（ｂ）は、第２段階の領域分割処理であるクラスタ統合処理の結果示すものである。図１３（ｂ）は、統合領域ごとに色分けした映像である領域ＩＤ（統合領域ＩＤ）分布映像を示したものである。図１３（ｂ）において、異なるハッチングを施した領域は、異なるクラスタとして領域分割されていることを示す。この段階の領域分割では、被写体ＯＢＪ１の領域の３つのクラスタが１つの領域に統合されているが、色が類似し、かつ、映像中で隣接する状態があるために、異なる被写体ＯＢＪ２の領域のクラスタも一緒に統合されている。
図１３（ｃ）は、第３段階の領域分割処理であるクラスタ再分割処理の結果示すものである。図１３（ｃ）は、再分割領域ごとに色分けした映像である領域ＩＤ（再分割領域ＩＤ）分布映像を示したものである。図１３（ｃ）において、異なるハッチングを施した領域は、異なるクラスタとして領域分割されていることを示す。この最終段階の領域分割では、被写体ＯＢＪ１の領域の３つのクラスタが１つの領域に統合されたまま、異なる被写体ＯＢＪ２の領域のクラスタは異なる領域に再分割されていることが分かる。
＜実施例２＞
次に、実施例２として、ビデオカメラを用いて撮影した映像を入力映像として、クラスタ情報生成処理を行った結果について説明する。
図１４Ａから図１４Ｃは、実施例１で用いた映像であり、図１４Ａ、図１４Ｂ及び図１４Ｃは、７４個のフレームからなる映像の内の、それぞれ第２３フレーム、第２７フレーム及び第３１フレームを示したものである。この映像において、黒い服を着た人物が画面内を右から左に向かって歩いており、白い服を着た人物が画面内を左から右に向かって歩いており、両人物は画面の中央付近で、黒い服を着た人物が手前側となるように交差する。また、両者が交差する画面中央付近の背景には、黒っぽい色の樹木があり、何れも黒っぽい両人物の頭部が、背景の樹木と交差するフレームがある。また、両人物以外の背景は、ほぼ静止している。
次に、実施例２として、ビデオカメラを用いて撮影した映像を入力映像として、クラスタ情報生成処理を行った結果について説明する。
図１４Ａから図１４Ｃは、実施例１で用いた映像であり、図１４Ａ、図１４Ｂ及び図１４Ｃは、７４個のフレームからなる映像の内の、それぞれ第２３フレーム、第２７フレーム及び第３１フレームを示したものである。この映像において、黒い服を着た人物が画面内を右から左に向かって歩いており、白い服を着た人物が画面内を左から右に向かって歩いており、両人物は画面の中央付近で、黒い服を着た人物が手前側となるように交差する。また、両者が交差する画面中央付近の背景には、黒っぽい色の樹木があり、何れも黒っぽい両人物の頭部が、背景の樹木と交差するフレームがある。また、両人物以外の背景は、ほぼ静止している。
図１４Ａから図１４Ｃに示した映像の、第１段階から第３段階までの各段階の領域分割処理の結果として、第２３フレームに対応する画像を図１５Ａから図１５Ｃに示す。
図１５Ａは、第１段階の領域分割処理であるクラスタ化処理の結果示すものである。図１５Ａは、クラスタごとに色分けした映像である領域ＩＤ（クラスタＩＤ）分布映像を示したものである。色の濃さの異なる領域は、異なるクラスタとして領域分割されていることを示す。但し、原画像では、クラスタごとに色分けされているが、図１５Ａでは、白黒の階調画像に変換して示しているため、異なるクラスタに領域分割されているかどうか分かりにくい部分もある。なお、図１５Ｂ及び図１５Ｃも同様である。
図１５Ａに示すように、第１段階では、異なる被写体の領域が同じクラスタに領域分割されることがなく、人物のズボンや上着なども個々のクラスタからは元の形状が判別できない程度の過分割な状態に領域分割されていることが分かる。
図１５Ａは、第１段階の領域分割処理であるクラスタ化処理の結果示すものである。図１５Ａは、クラスタごとに色分けした映像である領域ＩＤ（クラスタＩＤ）分布映像を示したものである。色の濃さの異なる領域は、異なるクラスタとして領域分割されていることを示す。但し、原画像では、クラスタごとに色分けされているが、図１５Ａでは、白黒の階調画像に変換して示しているため、異なるクラスタに領域分割されているかどうか分かりにくい部分もある。なお、図１５Ｂ及び図１５Ｃも同様である。
図１５Ａに示すように、第１段階では、異なる被写体の領域が同じクラスタに領域分割されることがなく、人物のズボンや上着なども個々のクラスタからは元の形状が判別できない程度の過分割な状態に領域分割されていることが分かる。
図１５Ｂは、第２段階の領域分割処理であるクラスタ統合処理の結果示すものである。図１５Ｂは、統合領域ごとに色分けした映像である領域ＩＤ（統合領域ＩＤ）分布映像を示したものである。
図１５Ｂに示すように、類似した色のクラスタが統合され、例えば、人物のズボンや上着などの領域のクラスタが大きく統合されているのが分かる。一方、図中に矢印で示した領域である人物の頭部、手前（右側）の人物の上着、及び背景の樹木について、色が互いに類似しており、かつ、映像中で交差するフレームがあるため、これらの異なる被写体の領域のクラスタが１つの領域に統合されている。
図１５Ｂに示すように、類似した色のクラスタが統合され、例えば、人物のズボンや上着などの領域のクラスタが大きく統合されているのが分かる。一方、図中に矢印で示した領域である人物の頭部、手前（右側）の人物の上着、及び背景の樹木について、色が互いに類似しており、かつ、映像中で交差するフレームがあるため、これらの異なる被写体の領域のクラスタが１つの領域に統合されている。
図１５Ｃは、第３段階の領域分割処理であるクラスタ再分割処理の結果示すものである。図１５Ｃは、再分割領域ごとに色分けした映像である領域ＩＤ（再分割領域ＩＤ）分布映像を示したものである。
図１５Ｃに示すように、クラスタ再分割処理により、図１５Ｃに矢印で示した異なる被写体のクラスタが統合された領域が、被写体ごとに異なる領域に再分割されているのが分かる。また、人物のズボンなどは再び細かく過分割されることが抑制され、適切に再分割されていることが分かる。このため、特に手作業で被写体の領域指定を行うためには、より好適に領域分割されているのが分かる。
図１５Ｃに示すように、クラスタ再分割処理により、図１５Ｃに矢印で示した異なる被写体のクラスタが統合された領域が、被写体ごとに異なる領域に再分割されているのが分かる。また、人物のズボンなどは再び細かく過分割されることが抑制され、適切に再分割されていることが分かる。このため、特に手作業で被写体の領域指定を行うためには、より好適に領域分割されているのが分かる。
以上により、クラスタ情報生成装置１（クラスタ情報生成部）は、映像を構成するピクセル（画素）を、時空間において複数のクラスタに分割し、これら複数のクラスタ（ＩＤを有する）と各クラスタの代表色を示す色情報と隣接するクラスタを示すクラスタ隣接情報とを含むクラスタ情報を生成する。
次に、映像領域分割装置の構成について説明する。
図１６は、本実施形態である映像領域分割装置の機能構成を示すブロック図である。同図に示すように、映像領域分割装置１００は、上述したクラスタ情報生成部１と、シード情報取得部２と、隣接項計算部３と、クラスタ平均画素数計算部４と、尤度項計算部５と、分割部６とを備える。
図１６は、本実施形態である映像領域分割装置の機能構成を示すブロック図である。同図に示すように、映像領域分割装置１００は、上述したクラスタ情報生成部１と、シード情報取得部２と、隣接項計算部３と、クラスタ平均画素数計算部４と、尤度項計算部５と、分割部６とを備える。
シード情報取得部２は、特定のクラスタが物体（前景）または背景のいずれに属するかを示すシード情報を取得する。物体として指定されたシード情報（物体シード）は、物体に対応するクラスタと、このクラスタを構成する画素の集合である。また、背景として指定されたシード情報（背景シード）は、背景に対応するクラスタと、このクラスタを構成する画素の集合である。取得方法として、例えば、処理対象である領域代表映像における所望のフレーム画像（代表フレーム画像）において、ユーザによる操作（矩形領域指定）によって、抽出対象である物体を含むおおよその領域が矩形の枠で囲まれ、また、ユーザによる操作（タッチアップ）によって、物体および背景を構成する一部のクラスタが指定される。シード情報取得部２は、設定された矩形の枠の外側にのみ構成される画素が存在するクラスタの集合を背景シード、物体として指定したクラスタの集合を物体シード、背景として指定したクラスタの集合を背景シードとして取得する。シード情報取得部２は、取得したシード情報を尤度項計算部５に供給する。
クラスタ平均画素数計算部４は、クラスタ情報生成部１が生成したクラスタ情報に基づいて、クラスタごとのフレームあたりのクラスタ平均画素数を計算する。具体的に、クラスタ平均画素数計算部４は、クラスタを構成する画素数をそのクラスタが存在する時間フレーム数で除算することによってクラスタ平均画素数を得る。クラスタ平均画素数計算部４は、算出したクラスタ平均画素数の情報を尤度項計算部５に供給する。
尤度項計算部５は、クラスタ情報生成部１が生成したクラスタ情報とシード情報取得部２が取得したシード情報とに基づいて、クラスタが背景であることを前提としたクラスタの代表色の第１条件付き確率分布（背景の尤度）、およびクラスタが物体であることを前提としたクラスタの代表色の第２条件付き確率分布（物体の尤度）を求める。尤度項計算部５は、背景シードに属する複数のクラスタそれぞれの代表色をサンプルとして用いて統計処理を行い、ＧＭＭ(Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ)による色の確率分布を求める。具体的には、尤度項計算部５は、ＧＭＭにおける各次元の平均値と共分散を求める。この確率分布は、あるクラスタの代表色を前提としてそのクラスタが背景に属する条件付き確率分布（第１条件付き確率分布）である。尤度項計算部５は、物体シードについても同様の処理を行い、ＧＭＭによる色の確率分布を求める。この確率分布は、あるクラスタの代表色を前提としてそのクラスタが物体に属する条件付き確率分布（第２条件付き確率分布）である。これら第１および第２の条件付き確率分布に基づいて、クラスタノードのうち、物体シードかつ背景シードのどちらにもシードされていないクラスタ（非シードクラスタと呼ぶ。）の、第１コストおよび第２コストを設定する。物体シードまたは背景シードのいずれかに指定されたクラスタの第１コストおよび第２コストについては、後述する。
つまり、尤度項計算部５は、シード情報と第１条件付き確率分布と第２条件付き確率分布とに基づいて、あるクラスタと物体ノードとの間の第１コストおよび前記のクラスタと背景ノードとの間の第２コストとを計算する。尤度項計算部５は、算出した第１コストおよび第２コストを分割部６に供給する。なお、尤度項計算部５は、クラスタ平均画素数計算部４が計算したクラスタ平均画素数によって重み付けて、非シートクラスタの第１コストおよび第２コストを計算してもよい。
隣接項計算部３は、クラスタ情報生成部１により生成されたクラスタ情報に基づいて、隣接するクラスタにおいて、色の差が大きいほど低い第３コストを計算する。隣接項計算部３は、算出した第３コストを分割部６に供給する。
分割部６は、各クラスタに対応するクラスタノードと物体に対応する物体ノードと背景に対応する背景ノードとを有する。分割部６は、クラスタノードと物体ノードとの間のエッジが第１コストに対応し、クラスタノードと背景ノードとの間のエッジが第２コストに対応し、隣接するクラスタノード間のエッジが第３コストに対応するグラフを、それぞれのクラスタノードが物体ノードまたは背景ノードのいずれか一方のみと連結になるように、例えばグラフカット法により、コストを最小化させて二分する。なお、分割部６は、コストを最小化させないものの、あらかじめ定めた所定レベルよりも小さくするようにクラスタノードを分割してもよい。
次に、分割部６が実行するグラフカット処理について説明する。
図１７は、時空間分割されたクラスタに対するグラフを簡略化し模式的に表した図である。本実施形態におけるグラフは画像空間を時間方向に拡張した時空間の領域を対象とするものであるが、同図では、便宜上、時間方向を省略したクラスタを概念的に表している。同図において、グラフｇは、時空間分割された各クラスタに対応したクラスタノードと、ソースノード（物体ノード）Ｓと、シンクノード（背景ノード）Ｔとを有する。クラスタノードには、物体シード（ｏｂｊ ｓｅｅｄ）として指定されたクラスタノードと、背景シード（ｂｋｇ ｓｅｅｄ）として指定されたクラスタノードとが含まれる。隣接クラスタ間には、それぞれのクラスタを繋ぐエッジ（ｎ−ｌｉｎｋ）が設けられる。また、ソースノードと全てのクラスタそれぞれとの間には、それらを繋ぐエッジ（ｔ−ｌｉｎｋ）が設けられる。また、シンクノードと全てのクラスタそれぞれとの間には、それらを繋ぐエッジ（ｔ−ｌｉｎｋ）が設けられる。分割部６は、これらのエッジにコストを付与し、例えば、グラフ理論のアルゴリズムの一つであるｍａｘ−ｆｌｏｗアルゴリズム（非特許文献１参照）を適用して、各クラスタがソースノードＳまたはシンクノードＴいずれかに属するように分割する。
図１７は、時空間分割されたクラスタに対するグラフを簡略化し模式的に表した図である。本実施形態におけるグラフは画像空間を時間方向に拡張した時空間の領域を対象とするものであるが、同図では、便宜上、時間方向を省略したクラスタを概念的に表している。同図において、グラフｇは、時空間分割された各クラスタに対応したクラスタノードと、ソースノード（物体ノード）Ｓと、シンクノード（背景ノード）Ｔとを有する。クラスタノードには、物体シード（ｏｂｊ ｓｅｅｄ）として指定されたクラスタノードと、背景シード（ｂｋｇ ｓｅｅｄ）として指定されたクラスタノードとが含まれる。隣接クラスタ間には、それぞれのクラスタを繋ぐエッジ（ｎ−ｌｉｎｋ）が設けられる。また、ソースノードと全てのクラスタそれぞれとの間には、それらを繋ぐエッジ（ｔ−ｌｉｎｋ）が設けられる。また、シンクノードと全てのクラスタそれぞれとの間には、それらを繋ぐエッジ（ｔ−ｌｉｎｋ）が設けられる。分割部６は、これらのエッジにコストを付与し、例えば、グラフ理論のアルゴリズムの一つであるｍａｘ−ｆｌｏｗアルゴリズム（非特許文献１参照）を適用して、各クラスタがソースノードＳまたはシンクノードＴいずれかに属するように分割する。
図１７のグラフｇを時空間において表すと図１８のようになる。同図には、画像空間と時間方向とを表した時空間において、隣接クラスタ間（物体シードクラスタ、背景シードクラスタ、および非シードクラスタ相互間）にエッジが設けられたグラフＧが表されている。
分割部６が実行するグラフカット処理では、シード情報取得部２によって指定された物体シードに似た色を有するクラスタが物体側となるよう、また、シード情報取得部２によって指定された背景シードに似た色を有するクラスタが背景側となるよう、さらに、隣接クラスタの色の差が大きい部分が境界となるよう最適なラベリングを計算する。
ｍ個のクラスタからなるクラスタ集合Ｐを、ユーザが指定する物体領域とそれ以外の背景領域とに分割する場合について説明する。各クラスタｐ∈Ｐに対して割り振るラベルのベクトルを、Ａ＝｛Ａ１，Ａ２，・・・，Ａｍ｝とする。各Ａｐ（ｐ＝１，２，３，・・・，ｍ）は、物体“ｏｂｊ”または背景“ｂｋｇ”いずれかのラベルである。また、クラスタｐに隣接するクラスタ群をＮ、隣接クラスタをｑ∈Ｎとする。ここで、クラスタの振り分けにおいて生じるコストは、下記の式（２）のコスト関数Ｅ（Ａ）として表される。
ｍ個のクラスタからなるクラスタ集合Ｐを、ユーザが指定する物体領域とそれ以外の背景領域とに分割する場合について説明する。各クラスタｐ∈Ｐに対して割り振るラベルのベクトルを、Ａ＝｛Ａ１，Ａ２，・・・，Ａｍ｝とする。各Ａｐ（ｐ＝１，２，３，・・・，ｍ）は、物体“ｏｂｊ”または背景“ｂｋｇ”いずれかのラベルである。また、クラスタｐに隣接するクラスタ群をＮ、隣接クラスタをｑ∈Ｎとする。ここで、クラスタの振り分けにおいて生じるコストは、下記の式（２）のコスト関数Ｅ（Ａ）として表される。
式（２）におけるＲ（Ａ）は、領域に対するコスト関数（尤度項）、式（２）におけるＢ（Ａ）は、物体と背景との境界に対するコスト関数（隣接項）である。Ｒ（Ａ）は、各クラスタが物体“ｏｂｊ”または背景“ｂｋｇ”のラベルに割り当てられる際のコストに相当する。Ｂ（Ａ）は、隣接クラスタｐおよびｑのラベルが異なった場合に生じる境界コストに相当する。下記の式（３）に示すように、分割部６は、コスト関数Ｅ（Ａ）を最小にするようなラベルのベクトルＡ（ハット）を、例えばｍａｘ−ｆｌｏｗアルゴリズムを適用して算出する。
次に、領域に対するコスト関数（尤度項）Ｒ（Ａ）について説明する。下記の式（４）に示すように、クラスタとソースノード（物体ノード）との間のエッジを切るために生ずるコストＲｐ（“ｂｋｇ”）は、クラスタが背景であることを前提としたクラスタの代表色の第１条件付き確率分布（背景の尤度）により求められる。また、クラスタとシンクノード（背景ノード）との間のエッジを切るために生ずるコストＲｐ（“ｏｂｊ”）は、クラスタが物体であることを前提としたクラスタの代表色の第２条件付き確率分布（物体の尤度）により求められる。式（４）において、Ｉｐは、クラスタｐの代表色、Ｏは物体領域、Ｂは背景領域を表す。
ただし、尤度項計算部５は、下記の式（５）に示すとおり、平均ベクトルμｉと共分散Σｉとを用いた、シードの代表色Ｉｐのガウシアン分布Ｐｉ（Ｉｐ｜μｉ，Σｉ）をＧＭＭにより混合した条件付き確率分布Ｐｒ（Ｉｐ｜・）を適用して、背景および物体の尤度を算出する。式（５）において、αｉは、ＧＭＭの各要素の混合係数（ｍｉｘｔｕｒｅ ｗｅｉｇｈｔｉｎｇ ｃｏｅｆ．）、Ｎｇは、ＧＭＭの要素数（次元数）を表す。Ｎｇは、例えば、５である。
下記の式（６）は、非シードクラスタの領域に対するコスト関数（尤度項）である。ただし、本実施形態では、画面空間として大きい領域と小さい領域との間で尤度の寄与に差をつける。つまり、尤度項計算部５は、クラスタ平均画素数計算部４が算出したクラスタ平均画素数によって重み（寄与率）κｐを付して、第１コストおよび第２コストを計算する。式（６）において、ｐ（オーバ・バー）は、クラスタｐにおける平均画素数、μは、全領域に関する平均画素数の平均、ａは、固定のコントロールパラメータである。なお、式（６）の寄与率の平均ピクセル数による変化は、図１９のグラフに示すとおりである。同図のグラフは、クラスタ平均画素数に対する寄与率κｐを表したものである。つまり、尤度項計算部５は、画像空間の領域の画素数が多いほど寄与率を高くして（重く重みを付けて）尤度項を計算する。
次に、物体と背景との境界に対するコスト関数（隣接項）Ｂ（Ａ）について説明する。隣接クラスタ間のエッジ（ｎ−ｌｉｎｋ）にかかるコストは、下記の式（７）として表される。式（７）は、注目クラスタに対する、ラベルが異なる隣接クラスタ間の切断コストの総和を求めるものである。式（７）によれば、隣接するクラスタにおけるラベルが異なる場合のＢ｛ｐ，ｑ｝が第３コストとなる。
この隣接クラスタ間のエッジにかかるコストＢ｛ｐ，ｑ｝は、下記の式（８）として表される。ただし、βは、全ての隣接クラスタ間の色の差の大きさの平均値である。また、γは、隣接項と尤度項との効果のバランスを制御するためのパラメータである。つまり、第３コストは、隣接クラスタ間の座標間距離に依存せず、色の差が大きいほど小さいコストである。
物体または背景として特定されたシードクラスタのｔ−ｌｉｎｋにかかるコストＫｐは、下記の式（９）として表される。ただし、Ｎｐは、領域ｐの隣接領域数である。また、γは、隣接項と尤度項との効果のバランスを制御するためのパラメータである。シードクラスタは、特別にユーザによって明示的に物体または背景として指示されたものである。よって、式（９）は、その指定を代表色から算出される非シードクラスタ領域の尤度よりも強く作用させるためのものである。つまり、物体シードされたクラスタの、クラスタノードとソースノードとの間のコストはＫｐに、物体シードされたクラスタの、クラスタノードとシンクノードとの間のコストは“０（ゼロ）”になる。（ユーザによって物体としてシードされたクラスタはシンクノード（背景ノード）を切るのにコストはかからないが、ソースノード（物体ノード）を切るためには大きなコストを必要とする。）同様に、背景シードされたクラスタの、クラスタノードとソースノードとの間のコストは“０（ゼロ）”に、背景シードされたクラスタの、クラスタノードとシンクノードとの間のコストはＫｐになる。
以上、ｎ−ｌｉｎｋおよびｔ−ｌｉｎｋにかかるコストを下記の表（１）にまとめる。
表１において、隣接クラスタ間のエッジ（ｎ−ｌｉｎｋ）を切るためにかかるコストは、Ｂ｛ｐ，ｑ｝である。また、各クラスタとソースノードとの間のエッジ（ｔ−ｌｉｎｋ）を切るためにかかるコストは、クラスタが矩形枠外にある場合は、それらのクラスタは背景シードとされるため、“０（ゼロ）”になる。クラスタが物体シードとして指定された場合は、Ｋｐにより表され、クラスタが背景シードとして指定された場合は、“０（ゼロ）”である。そして、それ以外の矩形枠内の非シードクラスタの場合、そのコストは、クラスタが背景であることを前提としたクラスタの代表色の第１条件付き確率分布により表される。また、各クラスタとシンクノードとの間のエッジ（ｔ−ｌｉｎｋ）を切るためにかかるコストは、クラスタが矩形枠外にある場合は、それらのクラスタは背景シードとされるため、Ｋｐになる。クラスタが背景シードとして指定された場合は、Ｋｐにより表され、クラスタが物体シードとして指定された場合は、“０（ゼロ）”である。そして、それ以外の矩形枠内の非シードクラスタの場合、そのコストは、クラスタが物体であることを前提としたクラスタの代表色の第２条件付き確率分布により表される。
図２０は、クラスタ情報生成部１が生成するクラスタ情報におけるクラスタＩＤによる領域ごとの色分けの画像と、シード情報取得部２によってシード情報が指定された様子と、分割部６が出力する物体領域抽出映像の画像とを表した図である。同図に示すように、入力映像に対して、ユーザによる矩形枠２１１と、物体シード２１２と、背景シード２１３とがユーザの操作によって指定される。矩形枠２１１は、その中に物体が含まれるように設定される。そして、分割部６による分割処理の結果として、抽出映像２２１が生成される。
次に、映像領域分割装置１００の動作について説明する。
図２１は、映像領域分割装置１００の処理手順を示すフローチャートである。
ステップＳ１０１において、クラスタ情報生成部１は、映像を構成する画素を、時空間において複数のクラスタに分割し、これら複数のクラスタと各クラスタの代表色を示す色情報と隣接するクラスタを示すクラスタ隣接情報とを含むクラスタ情報を生成する。
図２１は、映像領域分割装置１００の処理手順を示すフローチャートである。
ステップＳ１０１において、クラスタ情報生成部１は、映像を構成する画素を、時空間において複数のクラスタに分割し、これら複数のクラスタと各クラスタの代表色を示す色情報と隣接するクラスタを示すクラスタ隣接情報とを含むクラスタ情報を生成する。
次に、ステップＳ１０２において、シード情報取得部２は、特定のクラスタが物体（前景）または背景のいずれに属するかを示すシード情報を取得する。
次に、ステップＳ１０３において、クラスタ平均画素数計算部４は、クラスタ情報生成部１が生成したクラスタ情報に基づいて、クラスタごとのフレームあたりのクラスタ平均画素数を計算する。
次に、ステップＳ１０４において、尤度項計算部５は、クラスタ情報生成部１が生成したクラスタ情報とシード情報取得部２が取得したシード情報とに基づいて、非シードクラスタに対して、クラスタが背景であることを前提としたクラスタの代表色の第１条件付き確率分布、およびクラスタが物体であることを前提としたクラスタの代表色の第２条件付き確率分布を計算する。そして、尤度項計算部５は、シード情報と第１条件付き確率分布と第２条件付き確率分布とに基づいて、ある非シードクラスタと物体ノードとの間の第１コストおよび前記の非シードクラスタと背景ノードとの間の第２コストとを計算する。また、物体および背景シードクラスタの領域に対する第１および第２コストは、表１のｐ∈Ｏあるいはｐ∈Ｂの行のように設定される。尤度項計算部５は、算出した第１コストおよび第２コストを分割部６に供給する。
次に、ステップＳ１０５において、隣接項計算部３は、クラスタ情報生成部１が生成したクラスタ情報に基づいて、隣接するクラスタにおいて、色の差が大きいほど低い第３コストを計算する。
次に、ステップＳ１０６において、分割部６は、各クラスタに対応するクラスタノードと物体に対応する物体ノードと背景に対応する背景ノードとを有する。分割部６は、クラスタノードと物体ノードとの間のエッジが第１コストに対応し、クラスタノードと背景ノードとの間のエッジが第２コストに対応し、隣接するクラスタノード間のエッジが第３コストに対応するグラフを、それぞれのクラスタノードが物体ノードまたは背景ノードのいずれか一方のみと連結になるように、例えばグラフカット法により、コストが最小となるよう二分する。
所望の物体が抽出された場合（ステップＳ１０７：ＹＥＳ）は、本フローチャートの処理を終了し、抽出が不十分である場合（ステップＳ１０８：ＮＯ）は、ステップＳ１０２の処理へ戻す。
なお、図２１のフローチャートにおいて、ステップＳ１０４の処理とステップＳ１０５の処理とは、処理の順番が逆であってもよい。
以上、説明したとおり、本実施形態によれは、時空間においてクラスタ分割された映像について、物体および背景の一部を指示する簡単なシード操作を行うだけで、所望の部分領域映像の抽出を高精度且つ効率的に行うことができる。
なお、映像領域分割装置１００のクラスタ情報生成部１が実行するクラスタ処理については、本実施形態によるクラスタリング手法が望ましいが、平均値シフト法などをベースとした一般的な時空間クラスタリング処理方法を用いてもよい。
また、上述した実施形態である映像領域分割装置１００の一部の機能をコンピュータで実現するようにしてもよい。この場合、その機能を実現するための映像領域分割プログラムをコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録された映像領域分割プログラムをコンピュータシステムに読み込ませて、このコンピュータシステムが実行することにより、当該機能を実現してもよい。なお、このコンピュータシステムとは、オペレーティングシステム（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ；ＯＳ）や周辺装置のハードウェアを含むものである。また、コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに備えられる磁気ハードディスクやソリッドステートドライブ等の記憶装置のことをいう。さらに、コンピュータ読み取り可能な記録媒体とは、インターネット等のコンピュータネットワーク、および電話回線や携帯電話網を介してプログラムを送信する場合の通信回線のように、短時間の間、動的にプログラムを保持するもの、さらには、その場合のサーバ装置やクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでもよい。また上記の映像領域分割プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。
以上、本発明の実施の形態について図面を参照して詳述したが、具体的な構成はその実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。
１…クラスタ情報生成装置（クラスタ情報生成部）、２…シード情報取得部、３…隣接項計算部、４…クラスタ平均画素数計算部、５…尤度項計算部、６…分割部、１０…クラスタ化処理部、１１…クラスタ化処理手段、１２…グラフ化処理手段（隣接状態情報作成手段）、１３…クラスタデータ記憶手段、２０…クラスタ統合処理部、２１…隣接クラスタ統合処理手段、２２…統合領域データ記憶手段、３０…クラスタ再分割処理部、３１…再分割条件検出処理手段、３２…再分割処理手段、３３…再分割領域データ記憶手段、１００…映像領域分割装置、Ｃ０〜Ｃ５…クラスタ、Ｎ０〜Ｎ５…ノード、Ｅ０１〜Ｅ１５…エッジ、ＣＴ１、ＣＴ２…切断方法、ＯＢＪ１〜ＯＢＪ３…物体（被写体）
Claims (4)
- 映像を構成する画素を、時空間において複数のクラスタに分割し、前記複数のクラスタと各クラスタの代表色を示す色情報と隣接するクラスタを示すクラスタ隣接情報とを含むクラスタ情報を生成するクラスタ情報生成部と、
特定のクラスタが物体または背景のいずれに属するかを示すシード情報を取得するシード情報取得部と、
前記クラスタ情報生成部が生成した前記クラスタ情報と前記シード情報取得部が取得した前記シード情報とに基づいて、クラスタが背景であることを前提としたクラスタの代表色の第１条件付き確率分布、およびクラスタが物体であることを前提としたクラスタの代表色の第２条件付き確率分布を求め、前記シード情報と前記第１条件付き確率分布と前記第２条件付き確率分布とに基づいて、あるクラスタと物体ノードとの間の第１コストおよび前記クラスタと背景ノードとの間の第２コストとを計算する尤度項計算部と、
前記クラスタ情報に基づいて、隣接するクラスタにおいて色の差が大きいほど低い第３コストを計算する隣接項計算部と、
各クラスタに対応するクラスタノードと物体に対応する物体ノードと背景に対応する背景ノードとを有し、前記クラスタノードと前記物体ノードとの間のエッジが前記第１コストに対応し、前記クラスタノードと前記背景ノードとの間のエッジが前記第２コストに対応し、隣接するクラスタノード間のエッジが前記第３コストに対応するグラフを、それぞれのクラスタノードが前記物体ノードまたは前記背景ノードのいずれか一方のみと連結になるように、グラフカット法によりコストが小さくなるよう二分する分割部と、
を備える映像領域分割装置であって、
前記クラスタ情報生成部は、
前記映像に属する前記画素を、映像中の異なる被写体が同一の領域として分割されない状態にある過分割クラスタに分割するクラスタ化処理部と、
前記クラスタ化処理部によって分割された前記過分割クラスタの代表色に基づいて隣接する前記過分割クラスタを統合クラスタとして統合する処理を行うクラスタ統合処理部と、
前記クラスタ統合処理部によって統合された前記統合クラスタを、異なる前記被写体に属する前記過分割クラスタが統合されているかどうかを判断するための所定の再分割条件に基づいて、前記過分割クラスタを単位として、前記再分割条件に該当する過分割クラスタ対が互いに異なる領域に属するよう再分割することによって前記クラスタとするクラスタ再分割処理部と、を備える、
映像領域分割装置。 - 前記再分割条件は、１つの前記統合クラスタに含まれる１対の前記過分割クラスタに関して、当該１対の前記過分割クラスタが空間的に２以上のクラスタ群に分離した状態のフレームにおいて、当該１対の前記過分割クラスタが当該統合クラスタに属する他の隣接過分割クラスタを順次に経由しても互いに到達可能ではない場合に当該１対の前記過分割クラスタが再分割されるものであることを表す条件である、
請求項１に記載の映像領域分割装置。 - 映像を構成する画素を、時空間において複数のクラスタに分割し、前記複数のクラスタと各クラスタの代表色を示す色情報と隣接するクラスタを示すクラスタ隣接情報とを含むクラスタ情報を生成するクラスタ情報生成部と、
特定のクラスタが物体または背景のいずれに属するかを示すシード情報を取得するシード情報取得部と、
前記クラスタ情報生成部が生成した前記クラスタ情報と前記シード情報取得部が取得した前記シード情報とに基づいて、クラスタが背景であることを前提としたクラスタの代表色の第１条件付き確率分布、およびクラスタが物体であることを前提としたクラスタの代表色の第２条件付き確率分布を求め、前記シード情報と前記第１条件付き確率分布と前記第２条件付き確率分布とに基づいて、あるクラスタと物体ノードとの間の第１コストおよび前記クラスタと背景ノードとの間の第２コストとを計算する尤度項計算部と、
前記クラスタ情報に基づいて、隣接するクラスタにおいて色の差が大きいほど低い第３コストを計算する隣接項計算部と、
各クラスタに対応するクラスタノードと物体に対応する物体ノードと背景に対応する背景ノードとを有し、前記クラスタノードと前記物体ノードとの間のエッジが前記第１コストに対応し、前記クラスタノードと前記背景ノードとの間のエッジが前記第２コストに対応し、隣接するクラスタノード間のエッジが前記第３コストに対応するグラフを、それぞれのクラスタノードが前記物体ノードまたは前記背景ノードのいずれか一方のみと連結になるように、グラフカット法によりコストが小さくなるよう二分する分割部と、
前記クラスタ情報に基づいて、クラスタごとのフレームあたりのクラスタ平均画素数を計算するクラスタ平均画素数計算部と、
を備える映像領域分割装置であって、
前記尤度項計算部は、前記クラスタ平均画素数計算部が計算した前記クラスタ平均画素数によって重み付けて前記第１コストおよび前記第２コストを計算する、
映像領域分割装置。 - コンピュータを、
請求項１から３までのいずれか一項に記載の映像領域分割装置
として機能させるための映像領域分割プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013264623A JP6448109B2 (ja) | 2013-12-20 | 2013-12-20 | 映像領域分割装置および映像領域分割プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013264623A JP6448109B2 (ja) | 2013-12-20 | 2013-12-20 | 映像領域分割装置および映像領域分割プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015121901A JP2015121901A (ja) | 2015-07-02 |
| JP6448109B2 true JP6448109B2 (ja) | 2019-01-09 |
Family
ID=53533469
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013264623A Expired - Fee Related JP6448109B2 (ja) | 2013-12-20 | 2013-12-20 | 映像領域分割装置および映像領域分割プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6448109B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105208398B (zh) * | 2015-09-22 | 2018-06-19 | 西南交通大学 | 一种获取道路实时背景图的方法 |
| JP6336952B2 (ja) * | 2015-09-30 | 2018-06-06 | セコム株式会社 | 群衆解析装置 |
| JP2017126304A (ja) * | 2016-01-15 | 2017-07-20 | 富士ゼロックス株式会社 | 画像処理装置、画像処理方法、画像処理システムおよびプログラム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004178569A (ja) * | 2002-11-12 | 2004-06-24 | Matsushita Electric Ind Co Ltd | データ分類装置、物体認識装置、データ分類方法及び物体認識方法 |
| JP2006190188A (ja) * | 2005-01-07 | 2006-07-20 | Toyota Motor Corp | 領域分割方法 |
-
2013
- 2013-12-20 JP JP2013264623A patent/JP6448109B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015121901A (ja) | 2015-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6458394B2 (ja) | 対象追跡方法及び対象追跡装置 | |
| Bauer et al. | The potential of automatic methods of classification to identify leaf diseases from multispectral images | |
| Ta et al. | Graph-based tools for microscopic cellular image segmentation | |
| JP2021512446A (ja) | 画像処理方法、電子機器および記憶媒体 | |
| JP6497579B2 (ja) | 画像合成システム、画像合成方法、画像合成プログラム | |
| US10957055B2 (en) | Methods and systems of searching for an object in a video stream | |
| Ranganathan | Real life human movement realization in multimodal group communication using depth map information and machine learning | |
| AU2018267620A1 (en) | Method and system for unsupervised image segmentation using a trained quality metric | |
| Arunachalam et al. | Computer aided image segmentation and classification for viable and non-viable tumor identification in osteosarcoma | |
| JP5965764B2 (ja) | 映像領域分割装置及び映像領域分割プログラム | |
| JP6624877B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| Venkatesan et al. | Face recognition system with genetic algorithm and ANT colony optimization | |
| CN108320281B (zh) | 一种基于多特征扩散的图像显著性检测方法及终端 | |
| JP6448109B2 (ja) | 映像領域分割装置および映像領域分割プログラム | |
| Wu et al. | Video saliency prediction with optimized optical flow and gravity center bias | |
| Borovec et al. | Fully automatic segmentation of stained histological cuts | |
| CN104766068A (zh) | 一种多规则融合的随机游走舌像提取方法 | |
| Teixeira et al. | Object segmentation using background modelling and cascaded change detection | |
| CN106022310B (zh) | 基于htg-hog和stg特征的人体行为识别方法 | |
| Nguyen et al. | An efficient combination of RGB and depth for background subtraction | |
| Bravo-Reyna et al. | Recognition of the damage caused by the cogollero worm to the corn plant, Using artificial vision | |
| Fuad et al. | A review on methods of identifying and counting aedes aegypti larvae using image segmentation technique | |
| Wang et al. | Image segmentation incorporating double-mask via graph cuts | |
| Lin et al. | Foreground object detection in highly dynamic scenes using saliency | |
| JP4750758B2 (ja) | 注目領域抽出方法、注目領域抽出装置、コンピュータプログラム、及び、記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161031 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170908 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171003 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180424 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180621 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181026 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181106 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181203 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6448109 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |