JP5965764B2 - 映像領域分割装置及び映像領域分割プログラム - Google Patents
映像領域分割装置及び映像領域分割プログラム Download PDFInfo
- Publication number
- JP5965764B2 JP5965764B2 JP2012164552A JP2012164552A JP5965764B2 JP 5965764 B2 JP5965764 B2 JP 5965764B2 JP 2012164552 A JP2012164552 A JP 2012164552A JP 2012164552 A JP2012164552 A JP 2012164552A JP 5965764 B2 JP5965764 B2 JP 5965764B2
- Authority
- JP
- Japan
- Prior art keywords
- cluster
- video
- clusters
- division
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Description
非特許文献2には、グラフカットアルゴリズムを用いて、画素単位で背景と目的物とを領域分割する手法が開示されている。
非特許文献3には、動画像の領域抽出を目的として、事前に時空間の領域分割をする手法が開示されている。この手法では、バンド幅(カーネル半径)を変えた複数回の平均値シフト法による処理を行うことにより、抽出処理を行うグラフノードの数を軽減させ、現実的なグラフカット処理のデータ量にすることが可能となる。
非特許文献4には、動画像を領域抽出を目的として、事前に時空間の領域分割をする手法が開示されている。この手法では、時空間分割領域に対して、時間フレーム単位(以下フレーム単位)の分割領域とピクセル単位の分割領域という階層をもたせることで、その処理量の低減を図ることができる。
非特許文献5には、平均値シフト法を利用した領域分割の手法が開示されている。この手法では、時空間方向及び色空間方向に対して、それぞれ独立に繰り返し重み付け平均化処理を行うための計算範囲(処理のカーネル半径=バンド幅)を制御するパラメータを用いて、分割領域の結果を調整することができる。
非特許文献2に開示され手法は、ピクセル単位で領域抽出を行うため、映像(動画像)に適用する場合には取り扱うデータ量が膨大になるという問題がある。
非特許文献3に開示された手法は、最も処理時間のかかる平均値シフト法による分割処理について、バンド幅を変えて複数回実行する必要があるために、多くの処理時間を要するという問題がある。更に、色情報に加えてオプティカル・フローなどの情報を組み合わせて利用する必要があるため、パラメータ調整などが難しくなるという問題がある。
非特許文献4に開示された手法は、時空間に分割された領域に対して、各フレーム単位の分割領域及びピクセル単位の分割領域という階層をもたせるため、ユーザーの指示に従って、処理対象ノードが、フレーム単位の分割領域のノードに降りていってしまう。そのためノード間の接続性、特に時間方向の接続性が低下してしまい、ユーザーが領域を指定する際に、時間方向に細かい分解能で指定する必要が生じる。そして、そのために、時空間の3次元領域を操作できる特殊なインターフェースを用いる必要がある。
非特許文献5に開示された手法は、分割領域の制御に時空間方向及び色空間方向に対してそれぞれ独立に繰り返し重み付け平均化処理を行うための計算範囲を制御するパラメータを用いるが、このパラメータは処理全体を通したグローバルなパラメータであるために、全体的な分割の粒度はコントロールできるものの、一般の映像を処理した場合の複雑な構成の時空間領域において、特定の部分を対象に改善をおこなうことはできないという問題がある。
これによって、映像領域分割装置は、「同一の被写体領域は時空間的に細かく分割され過ぎず」、かつ「異なる被写体領域には同じ領域IDが割り振られない」ように、領域分割を行う。
かかる構成によれば、映像領域分割装置は、クラスタ化処理手段によって、平均値シフト法により、前記映像をクラスタ化し、各クラスタに識別番号を付与するとともに、各クラスタの代表色を算出する。また、映像領域分割装置は、隣接状態情報作成手段によって、前記クラスタ同士が時空間において互いに隣接するかどうかを示す隣接状態情報を作成する。ここで、映像領域分割装置は、クラスタ化処理手段によって、映像をクラスタ化する際に、平均値シフト法によるクラスタ化処理のためのパラメータとして、空間、時間及び色空間ごとに、所定のバンド幅を用いて前記映像をクラスタ化する。
これによって、映像領域分割装置は、映像を、時空間的に近隣にあり、かつ、色空間上での距離が近い画素の集合ごとにクラスタを形成する。
これによって、統合された異なる被写体の領域が、再度互いに異なる領域に分割される。
かかる構成によれば、映像領域分割装置は、再分割処理手段によって、再分割条件に該当するクラスタ対に優先順を定めて再分割処理を行う。
これによって、映像領域分割装置は、より分割すべきであるクラスタ対から順に再分割処理を行うことができる。
請求項2に記載の発明によれば、平均値シフト法により、映像を、時空間的に近隣にあり、かつ、色空間上での距離が近い画素の集合ごとにクラスタを形成するため、動画像を対象とした領域分割に好適な粒度の領域に分割することができる。
請求項3に記載の発明によれば、統合された異なる被写体の領域が、再度互いに異なる領域に分割されるため、被写体領域の指定を適切に行うことができる。
請求項4に記載の発明によれば、より分割すべきであるクラスタ対から順に再分割処理を行うため、再分割処理を適切に、かつ効率的に行うことができる。
まず、本発明の領域分割処理において、映像をどのように領域分割するかの指針について説明する。
本発明の映像領域分割装置は、入力として領域分割の対象となる映像と、領域分割処理のための少数のパラメータを与えることで、映像の色情報のみから被写体領域の抽出に対して適切な領域分割結果を取得できるようにするものである。
本発明において、映像の領域分割とは、時空間領域を有する映像について、ある領域に対して一意に識別する領域ID(識別番号)を割り振ること、及び、その領域IDを割り振られた時空間領域を特定できるようにすることである。そして、その各領域は被写体として同一の物体領域を占めるとともに、可能な限り時空間領域として大きな領域を構成することが望まれるものである。すなわち、映像の被写体領域の抽出において適切な領域分割とは、「同じ被写体領域には同じ領域IDが割り振られ、それが時空間領域として大きく構成されること」と「異なる被写体領域には同じ領域IDが割り振られないこと」を満たすものである。
また、被写体領域の抽出においては、領域分割処理の結果に対して、被写体領域を特定(指定)するためにユーザーによる手動の領域指定が伴うことを前提とするものである。つまり、本発明による領域分割処理は、要求に応じてユーザーは任意の複数の被写体領域を指定するプロセスを経る。例えば、人物が写っている映像に対して、ある要求では人物全体の抽出を行うために、人物全体を指定する場合もあれば、別の要求では顔と頭だけを抽出する場合もある。つまり、領域分割処理の結果から被写体を抽出する際に、抽出する部分に汎用性があるように領域分割を行うものである。
[映像領域分割装置の構成]
本発明の実施形態に係る映像領域分割装置1の構成について、図1を参照して説明する。図1に示すように、本実施形態に係る映像領域分割装置1は、クラスタ化処理部10と、クラスタ統合処理部20と、クラスタ再分割処理部30と、を備え、領域分割処理の対象である映像と処理のためのパラメータとを入力し、入力した映像を領域分割するものである。
クラスタ統合処理部20は、第2段階の処理として、隣接クラスタ間の代表色の差に基づいて第1段階の処理で過分割されたクラスタの統合処理を行うものである。
クラスタ再分割処理部30は、最後の第3段階の処理として、第2段階の処理で統合された領域を、所定の再分割条件に基づいて、第1段階の処理で分割されたクラスタを単位として、領域の再分割をするものである。
また、本実施形態では、第3段階の処理結果である最終的な領域分割結果を、領域ID(再分割領域ID)ごとに領域を色分けした領域ID分布映像と、領域の代表色で色分けした領域代表色映像として出力できるように構成されている。
なお、本実施形態に係る映像領域分割装置1は、CPU、メモリ、ハードディスクなどの記憶装置などを備えた一般的なコンピュータを用いて、各処理部として機能させることで実現することができる。
本実施形態で用いる平均値シフト法による映像のクラスタ化処理は、非特許文献5に記載された手法と同様の手法を用いるものである。本実施形態においては、平均値シフト法による分割領域を制御するために、空間(フレーム内の座標で表される2次元の空間)、時間(フレーム番号又は時刻で表される1次元の空間)及び色空間(RGB、HSV,L*a*b*などの色の3要素で表される3次元の空間)ごとに、それぞれ独立に繰り返し重み付け平均化処理を行うための計算範囲(バンド幅(カーネル半径))を定める。すなわち、平均値シフト法によるクラスタ化処理のためのパラメータとして、それぞれ一定の空間バンド幅、時間バンド幅及び色空間バンド幅を指定することにより、時空間的に近隣にあり、かつ、色空間上での距離が近い(色が類似している)画素の集合ごとに1つのクラスタを形成し、映像を複数のクラスタに領域分割する。
なお、時空間的に近傍となる範囲は、空間バンド幅及び時間バンド幅によって定められる。また、色空間上で距離が近いかどうかは、色空間バンド幅で定められる。すなわち、クラスタの粒度(クラスタの大きさ)は、これらのバンド幅によって調整することができる。
クラスタ化処理手段11は、クラスタごとの代表色を算出するとともに、クラスタごとにクラスタを一意に識別するクラスタIDを付与し、これらのデータを処理結果として、グラフ化処理手段12に出力する。なお、クラスタの代表色とは、そのクラスタの代表的な色であり、具体的には各クラスタにおける平均値シフト処理の収束値を使用することができる。
図4にグラフの例を示す。図4において、各ノードに示した「0」〜「5」の数字はクラスタIDを示している。すなわち、グラフとは、本例では時空間的に隣接するクラスタ間の接続状態を示すデータである。ここで、エッジで接続されたノード(クラスタ)同士は互いに隣接していることを示し、エッジは、所定のコスト関数で定められるコストを有するものである。ノードであるクラスタ間の代表色の差が小さいほどノード間の類似度は高くなり、コスト関数で定められるコストの値は大きくなる。このコストは、後記するグラフカット処理において、このエッジを切断するために要するコストを示すものである。
なお、グラフ化処理手段12によってグラフ化処理を行う段階では、クラスタの統合処理が行われていない。従って、グラフ化処理手段12は、映像中のすべてのクラスタをノードとする1つのグラフを作成する。また、グラフ化処理手段12は、前記した隣接クラスタマトリックスにおいて、互いに隣接するクラスタ間のすべてのエッジについて、前記したコスト関数によってコストを算出する。
クラスタデータ記憶手段13に記憶されたデータは、クラスタ統合処理部20の隣接クラスタ統合処理手段21によって参照される。
クラスタ化処理部10は、異なる被写体に属する領域が同一のクラスタに含まれないよう、過分割な状態にクラスタ化するため、クラスタ統合処理部20は、細かく分割され過ぎたクラスタを大きな領域に統合するためのものである。
このとき、隣接クラスタ統合処理手段21は、統合するかどうかを判定するためのパラメータとして、クラスタ間の代表色の差の上限値を示す閾値を外部から入力する。この閾値は、クラスタ化処理手段11がクラスタ化のために用いた色空間についてのバンド幅を基準にした十分に大きな値とする。例えば、この閾値を色空間バンド幅の半分程度とすることができる。これによって、クラスタ化処理手段11によって過分割状態に分割されたクラスタを統合することができる。
隣接クラスタ統合処理手段21は、処理結果である統合領域データとして、統合領域ごとに、グラフデータと統合領域の代表色とを、統合領域IDに対応付けて統合領域データ記憶手段22に記憶する。
統合領域データ記憶手段22に記憶されたデータは、クラスタ再分割処理部30の再分割条件検出処理手段31によって参照される。
クラスタ統合処理部20は、代表色が類似する隣接クラスタを統合するため、統合領域には、例えば、移動する被写体がたまたま類似する色を有する他の被写体と映像内で交差することがあると、これらの被写体の領域を統合することがある。本実施形態に係る映像領域分割装置1は、異なる被写体に属するクラスタを、同一の領域IDが割当てられる領域として統合しないようにするために、一度統合した領域から、異なる被写体に属するクラスタを検出して、異なる被写体に属するクラスタ同士を互いに異なる領域に再分割するものである。
ここで、再分割条件とは、1つの統合領域に、異なる被写体に属するクラスタが統合されているかどうかを判断する条件のことである。
なお、再分割条件の詳細については後記する。
なお、再分割処理手段32は、再分割領域ごとに、再分割領域を一意に識別する再分割領域IDを付与するとともに、再分割領域の代表色を算出する。代表色としては、例えば、再分割領域を構成するクラスタの代表色の平均値とすることができる。再分割処理手段32は、処理結果である再分割領域データとして、再分割領域に含まれるクラスタのIDのリストと代表色とを、再分割領域IDに対応付けて再分割領域データ記憶手段33に記憶する。
なお、再分割処理の詳細については後記する。
再分割領域データ記憶手段33に記憶されたデータは、例えば、外部の映像編集装置などによって、領域ID分布映像や領域代表色映像の作成のために用いられる。
次に、適宜図面を参照して映像領域分割装置1の動作である映像領域分割処理について説明する。
まず、図2を参照(適宜図1参照)して、映像領域分割処理の概要について説明する。
図2に示すように、映像領域分割装置1は、クラスタ化処理手段11によって、処理対象となる映像とクラスタ処理のためのパラメータとして、空間バンド幅、時間バンド幅及び色空間バンド幅を外部から入力し、平均値シフト法による映像のクラスタ化処理を行う(ステップS10)。
映像領域分割装置1は、再分割条件検出処理手段31によって、ステップS13で選択された統合領域についてのデータを統合領域データ記憶手段22から読み出し、選択された統合領域に含まれるクラスタの中から、所定の条件に一致するクラスタ対を検出する(ステップS14)。
一方、すべての統合領域について再分割処理が終了している場合は(ステップS16でYes)、映像領域分割装置1は、映像領域分割処理を終了する。
以上のように、映像領域分割装置1は、クラスタ化処理の際の3つのバンド幅、及びクラスタ統合処理のためのクラスタ間の色差の閾値という少数のパラメータを用いて領域分割を行うことができる。また、クラスタ単位で、時空間で隣接する領域の統合と再分割とを行うため、空間方向だけでなく、時間方向についても適切に統合された領域分割を行うことができる。
図3に示した映像は、クラスタ化処理手段11によって、すでに平均値シフト法により過分割な状態にクラスタ化され、グラフ化処理手段12によって、クラスタの隣接状態が分析された第1段階を終了し、更に第2段階である隣接クラスタ統合処理手段21による統合処理が終了した状態を示すものである。図3中において、数字「0」〜「5」は、それぞれクラスタIDを示している。この映像は、画面の中央付近に縦長の長方形の物体(例えば円柱)OBJ1が静止しており、円形の物体(例えば球体)OBJ2が、長方形の物体OBJ1の背後を画面の左側から右側に向かって通過している様子を示すものである。また、フレーム1からフレーム4に向かって順次に時間が経過するものとする。
なお、図3においては、この後の、第3段階である再分割処理の説明を容易にするために、第2段階である隣接クラスタの統合処理で1つの統合領域に統合されるクラスタのみを示している。このため、他の統合領域に統合される背景(周辺領域)は、ここでは処理対象として考慮しないこととする。
すなわち、図3に表されたクラスタC0〜C5は、1つの統合領域に含まれる1組のクラスタ群を構成するものである。
なお、隣接クラスタマトリックスは、統合処理によってクラスタの隣接状態が変化しないため、統合領域ごとに分割せずに、映像全体で1つのまま保持するようにしてもよい。
このように、第2段階で生成された統合領域は、色の類似したクラスタが、時空間方向に多数接続された大きな領域となる。この統合領域は、クラスタを統合したものであるので、各統合領域にはその構成要素である第1段階の分割領域であるクラスタの構成リストが生成できる。
第3段階では、各統合領域に対して、各統合領域を構成するクラスタを単位とした再分割を行うものである。
本実施形態では、クラスタをノードとする統合領域のグラフにおいて、互いに分割するクラスタ対の2つのクラスタの一方をソースノード、他方をシンクノードとし、ソースノードとシンクノードとを分割するために切断するエッジのエネルギーの総和を最小にするエッジの切断の組合せを見つけ、切断するものである。
次に、図6及び図7を参照(適宜図1参照)して、図2におけるステップS14である再分割条件検出処理の詳細について説明する。
前記したように、本実施形態における再分割処理は、クラスタを最小単位として行う。ここで、1つの統合領域に含まれる1対のクラスタに着目したときに、この統合領域を構成するクラスタが空間的に2以上のクラスタ群に分離した状態のフレームにおいて(この状態を、分離クラスタがある状態、又は分離フレームという)、着目したそのクラスタ対が統合領域に属する他の隣接クラスタを順次に経由しても互いに到達可能(接続可能)でないことを、そのクラスタ対を再分割する条件とする。互いに到達可能でないクラスタ対とは、言い換えれば、クラスタ対を構成する2つのクラスタが、その分離フレームにおいて、それぞれ異なるクラスタ群に属するクラスタ対のことである。
再分割条件検出処理は、このような条件を満たすクラスタ対の検出を行う処理である。なお、クラスタ群は、1個のクラスタから構成されていてもよく、2以上のクラスタから構成されていてもよい。
図3に示した例では、静止する物体OBJ1の領域内のクラスタC0,C1,C4,C5の1つと、移動する物体OBJ2の領域内のクラスタC2,C3の1つとからなるクラスタ対が、このような条件を満たす。
次に、映像領域分割装置1は、再分割条件検出処理手段31によって、最初のフレームを1つ選択する(ステップS21)。なお、再分割処理条件検出処理において、調査するフレームは、フレーム番号順でなくともよい。
映像領域分割装置1は、再分割条件検出処理手段31によって、選択したフレームにおいて、分離クラスタがあるかどうかを確認する(ステップS22)。
一方、次のフレームがない場合は(ステップS25でNo)、映像領域分割装置1は、再分割条件検出処理を終了する。
以上のように、映像領域分割装置1は、再分割条件検出処理手段31によって、すべてのフレームについて分離クラスタの有無を調査し、分離クラスタがあるフレームについて、互いに到達可能であるクラスタ対であることを示す情報と、映像中に互いに到達可能でない状態となるフレームが存在することを示す情報とを、それぞれ到達可能クラスタマトリックスと、分離クラスタマトリックスとに登録する。
図3に示した例における分離クラスタについて説明すると、第1フレームにおいては、クラスタC0,C1,C5からなるクラスタ群と、クラスタC2からなるクラスタ群とが、互いに隣接していない。従って、第1フレームおいては、分離クラスタがある状態(分離フレーム)である。
一方、第2フレーム及び第3フレームにおいては、すべてのクラスタで1つのクラスタ群を構成しているため、分離クラスタがない状態(分離フレームではない)である。
また、第4フレームは、クラスタC4,C1,C5からなるクラスタ群と、クラスタC3からなるクラスタ群とが、互いに隣接していないため、分離クラスタがある状態である。
まず、到達可能クラスタマトリックス作成処理について説明する。
到達可能クラスタマトリックスとは、空間的に隣接するクラスタを経由して他方のクラスタに到達可能であるクラスタ対であることを示す情報のことである。
ステップS22において、分離クラスタがある場合は、映像領域分割装置1は、再分割条件検出処理手段31によって、図7(a)に示すような、その分離フレームについての到達可能クラスタマトリックスを作成する。図7(a)に示した到達可能クラスタマトリックスにおいて、上端の行及び左端の列に記載された「0」〜「5」は、処理対象の統合領域のうち、現在処理を行っている分離フレームに含まれるクラスタのクラスタIDを示しており、マトリックス中に「v」が記された行列に対応するクラスタ対が、互いにその分離フレーム内にて到達可能であることを示す。すなわち、あるフレームにおいて分離クラスタがある場合に、そのフレームに含まれるクラスタについて、互いに到達可能なクラスタ対であることを示す情報が到達可能クラスタマトリックスに登録される。なお、到達可能クラスタマトリックスには、任意のクラスタ対が到達可能であるかどうかを示す情報が登録されればよいため、到達可能でないクラスタ対であること示す情報を記録するようにしてもよい。
図7(a)に示した到達可能クラスタマトリックスは、図3に示した第1フレームについて調査した結果を示している。従って、第1フレームについての到達可能クラスタマトリックスにおいて、「0」と「1」、「0」と「5」、及び「1」と「5」で示される行列要素に「v」が登録される。なお、クラスタ対の順番は交換できるため、行と列とは入れ替えた行列要素にも「v」が登録される。
このため、ここでは到達可能クラスタマトリックス作成処理について、先に説明を進める。
図3に示した映像例は、第4フレームが最後のフレームであるから、ここで到達可能クラスタマトリックスの作成は終了する。
次に、分離クラスタマトリックス更新処理について説明する。
前記したように、予め、ステップS20において、統合領域を構成するすべてのクラスタ対を対象とした分離クラスタマトリックスの初期状態を生成しておく。初期状態としてはクラスタ対の分離状態情報として何も情報がない状態とする。本例では、図7(c)に示す分離クラスタマトリックスにおいて、すべての要素が空欄の状態のマトリックスを生成する。
そして、ステップS22において、分離クラスタがある場合は(Yes)、映像領域分割装置1は、再分割条件検出処理手段31によって、図7(c)に示すように、分離クラスタマトリックスを更新する。図7(c)に示した分離クラスタマトリックスにおいて、上端の行及び左端の列に記載された「0」〜「5」は、処理対象の統合領域に含まれるクラスタのクラスタIDを示しており、マトリックス中に「x」が記された行列に対応するクラスタ対(ペア)が、映像中に互いに到達可能でない状態となるフレームが存在することを示す。すなわち、あるフレームにおいて分離クラスタがある場合に、そのフレームに含まれるクラスタについて、互いに到達可能でないクラスタ対であることを示す情報が分離クラスタマトリックスに登録される。
図3に示した映像例は、第4フレームが最後のフレームであるから、ここで分離クラスタマトリックスの作成は終了する。なお、この段階の分離クラスタマトリックスは初期値として、次の処理に用いられる。
次に、図8乃至図10を参照(適宜図1参照)して、図2におけるステップS15である再分割処理の詳細について説明する。
再分割処理は、図5に示した隣接クラスタマトリックス及び図7(c)に示した分離クラスタマトリックスを用いて、統合領域ごとにグラフカット処理を行うものである。
ここで、分割対象ペアの検出方法について説明する。
分割対象ペアを検出する条件は、図7(c)に示した分離クラスタマトリックスに登録されたクラスタ対であることである。すなわち、映像中の分離クラスタがある何れかのフレームにおいて互いに到達可能でないクラスタ対を分離対象ペアとして検出する。
ここでは、隣接クラスタマトリックスに登録されているクラスタ対であるクラスタC0とクラスタC2とのクラスタ対を選択することとする。
なお、ソースノード及びシンクノードとは、互いに分割される1対のノードのことであり、次工程の処理であるグラフカット処理S33において、これらのノード間を直接に接続するエッジ、及び/又は他のノードを経由して間接に接続されるエッジが切断される。
次に、映像領域分割装置1は、再分割処理手段32によって、ステップS32で割当てたソースノード及びシンクノード間のグラフカット処理を行う(ステップS33)。
グラフカット処理は、ソースノード及びシンクノード間を直接及び/又は間接に接続するエッジを切断して、ソースノードに接続されるノードと、シンクノードに接続されるノードとに分割する際に、切断するエッジのエネルギーの総和が最小となる組み合わせのエッジを切断する手法である。ここで、エッジのエネルギーとは、例えば、式(1)で示したコスト関数で計算されるコストのことである。
図9に示すように、ソースノードとしてN0を、シンクノードとしてN2を割り当て、隣接するエッジをそのままソースノードとシンクノード間をつなぐエッジ(t−link)とする。グラフカット処理は、このソースノードとシンクノードとを与えることで、ソースノードに属するノード群とシンクノードに属するノード群の2つに分割するための切断方法について、それを最小コストで行う切断方法を得ることができるアルゴリズムを実装した処理である。各エッジのコストは、クラスタデータ記憶手段13に記憶されているグラフ化処理手段12による処理結果であるグラフデータを参照して用いることができる。
そのため、この場合は、切断方法CT1に従ってエッジE02,E12が切断され、この統合領域のグラフから、ノードN2が分断される。すなわち、この統合領域は、クラスタC0,C1,C3,C5,C4からなるクラスタ群と、クラスタC2からなるクラスタ群と、の2つの領域に分割される。
図10(a)は、ノードN2(クラスタC2)とノードN0,N1(クラスタC0,C1)との間のエッジE02,E12(図9参照)が切断された後の状態のグラフを示したものである。
分離クラスタマトリックス更新処理S34では、グラフカット処理S33によって再分割された結果に基づいて、図7(a)に示した分離クラスタマトリックスを更新する。すなわち、分離クラスタマトリックスに登録されたクラスタから、グラフカット処理S33により分断されたクラスタを除外する。
このとき、元の統合領域についてのデータから、クラスタC2についてのクラスタデータも削除するものとする。図3に示した映像例では、分割されるのはクラスタC2のみであるが、複数のクラスタがクラスタC2とともに分割される場合は、統合領域データからそれらのクラスタに関するデータも削除する。
一方、分割対象ペアが残存する場合は(ステップS35でYes)、ステップS30に戻って、映像領域分割装置1は再分割処理手段32によって再分割処理を続ける。
これによって、この統合領域のグラフは、図11(a)に示すよう、統合処理直後の統合領域から、クラスタC2に加えて、更にクラスタC3が分断された状態となる。このグラフカット処理の結果に基づき、クラスタC2に加えて、クラスタC3に関するデータを削除する分離クラスタマトリックスの更新を行う(ステップS34)。その結果、分離クラスタマトリックスは、図11(b)に示すようになる。なお、図11(b)において、ハッチングを施した要素データが削除されたことを示している。
また、ピクセル単位での取り扱いではなく、過分割な状態にクラスタ化された領域を単位として、統合と再分割とを行って領域分割が成されるため、処理するデータ量は極めて小さくなり、インタラクティブなレスポンスが可能である。統合と再分割を行うことにより、均一なパラメータでは制御の難しかった領域の粒度を適応的に制御することができ、「同一の被写体領域はなるべく時空間的に大きく構成され」、「異なる被写体領域には同じ領域IDが割り振られない」ように領域分割することができる。
このような場合においても、特に時間方向への領域情報の継承のため、第2段階の統合処理に用いる色情報の閾値として、比較的に緩い設定とすることでその継承性を向上することが可能である。
本発明では、統合処理によって同一の領域に統合された異なる被写体領域を、再分割して被写体ごとの領域に適切に分割することができる。
本発明は、「同一の被写体領域はなるべく時空間的に大きく構成され」、「異なる被写体領域には同じ領域IDが割り振られない」ように、領域分割を行うことができる。
次に、本発明の実施例1として、抽象的な被写体の映像を入力映像として、映像領域分割処理を行った結果について説明する。
図12は、実施例1で用いた映像であり、30個のフレームからなる映像の内の、第1フレームと、第10フレームと、第30フレームとを示したものである。映像中には、縦長の長方形の2つの被写体OBJ1、OBJ3が画面の中央付近に並置されており、これらの被写体OBJ1,OBJ3は静止している。また、これらの被写体OBJ1、OBJ3は、ともに被写体全域でほぼ一様な赤色をしている。なお、OBJ1については、中心部において、円形の被写体OBJ2よりも小さな一部の領域で、他の部分の赤色に極めて類似するが異なる色の分布となった部分を持っている。また、円形の被写体OBJ2は、被写体全域でほぼ一様な赤色をしており、被写体OBJ1と類似した色である。また、被写体OBJ2は、第1フレームから第30フレームにかけて、画面の左側から右側に向かって移動し、被写体OBJ1の背後を通過するものである。また、背景となる被写体OBJ4は、被写体全域が一様な黄色で経時変化はしない。
図13(a)は、第1段階の領域分割処理であるクラスタ化処理の結果示すものである。図13(a)は、クラスタごとに色分けした映像である領域ID(クラスタID)分布映像を示したものである。図13(a)において、異なるハッチングを施した領域は、異なるクラスタとして領域分割されていることを示す。この段階の領域分割では、被写体OBJ1が、縦方向に3つの領域に分割され、被写体OBJ2も独立した1つのクラスタとして領域分割されている。
次に、本発明の実施例2として、ビデオカメラを用いて撮影した映像を入力映像として、映像領域分割処理を行った結果について説明する。
図14Aから図14Cは、実施例1で用いた映像であり、図14A、図14B及び図14Cは、74個のフレームからなる映像の内の、それぞれ第23フレーム、第27フレーム及び第31フレームを示したものである。この映像において、黒い服を着た人物が画面内を右から左に向かって歩いており、白い服を着た人物が画面内を左から右に向かって歩いており、両人物は画面の中央付近で、黒い服を着た人物が手前側となるように交差する。また、両者が交差する画面中央付近の背景には、黒っぽい色の樹木があり、何れも黒っぽい両人物の頭部が、背景の樹木と交差するフレームがある。また、両人物以外の背景は、ほぼ静止している。
図15Aは、第1段階の領域分割処理であるクラスタ化処理の結果示すものである。図15Aは、クラスタごとに色分けした映像である領域ID(クラスタID)分布映像を示したものである。色の濃さの異なる領域は、異なるクラスタとして領域分割されていることを示す。但し、原画像では、クラスタごとに色分けされているが、図15Aでは、白黒の階調画像に変換して示しているため、異なるクラスタに領域分割されているかどうか分かりにくい部分もある。なお、図15B及び図15Cも同様である。
図15Aに示すように、第1段階では、異なる被写体の領域が同じクラスタに領域分割されることがなく、人物のズボンや上着なども個々のクラスタからは元の形状が判別できない程度の過分割な状態に領域分割されていることが分かる。
図15Bに示すように、類似した色のクラスタが統合され、例えば、人物のズボンや上着などの領域のクラスタが大きく統合されているのが分かる。一方、図中に矢印で示した領域である人物の頭部、手前(右側)の人物の上着、及び背景の樹木について、色が互いに類似しており、かつ、映像中で交差するフレームがあるため、これらの異なる被写体の領域のクラスタが1つの領域に統合されている。
図15Cに示すように、クラスタ再分割処理により、図15Cに矢印で示した異なる被写体のクラスタが統合された領域が、被写体ごとに異なる領域に再分割されているのが分かる。また、人物のズボンなどは再び細かく過分割されることが抑制され、適切に再分割されていることが分かる。このため、特に手作業で被写体の領域指定を行うためには、より好適に領域分割されているのが分かる。
10 クラスタ化処理部
11 クラスタ化処理手段
12 グラフ化処理手段(隣接状態情報作成手段)
13 クラスタデータ記憶手段
20 クラスタ統合処理部
21 隣接クラスタ統合処理手段
22 統合領域データ記憶手段
30 クラスタ再分割処理部
31 再分割条件検出処理手段
32 再分割処理手段
33 再分割領域データ記憶手段
C0〜C5 クラスタ
N0〜N5 ノード
E01〜E15 エッジ
CT1、CT2 切断方法
OBJ1〜OBJ3 物体(被写体)
Claims (5)
- 映像を構成する画素について、時空間の距離が所定値以内であって、色の差が所定値以内の画素同士をクラスタ化するクラスタ化処理部と、
前記クラスタ化処理部がクラスタ化したクラスタについて、時空間において、互いに隣接し、前記クラスタの代表色の差が所定値以内であるクラスタ同士を統合して統合領域とするクラスタ統合処理部と、
前記統合領域を構成するクラスタについて、所定の条件を満足する場合に、前記統合領域を前記クラスタ単位で再分割するクラスタ再分割処理部と、を備え、
前記クラスタ再分割処理部は、
前記統合領域ごとに、前記映像を構成するフレームの内で、前記統合領域に含まれるクラスタが、互いに隣接しない2以上のクラスタ群に分離されているフレームである分離フレームの何れかにおいて、前記統合領域に含まれるクラスタ対であって、当該クラスタ対を構成する2つのクラスタが、それぞれ異なる前記クラスタ群に含まれるクラスタ対を検出する再分割条件検出処理手段と、
前記再分割条件検出処理手段が検出したクラスタ対を、前記所定の条件を満足するクラスタとして、互いに異なる領域に再分割する再分割処理手段と、
を有することを特徴とする映像領域分割装置。 - 前記クラスタ化処理部が、
平均値シフト法により、前記映像をクラスタ化し、各クラスタに識別番号を付与するとともに、各クラスタの代表色を算出するクラスタ化処理手段と、
前記クラスタ同士が時空間において互いに隣接するかどうかを示す隣接状態情報を作成する隣接状態情報作成手段と、を有し、
前記クラスタ化処理手段は、平均値シフト法によるクラスタ化処理のためのパラメータとして、空間、時間及び色空間ごとに、所定のバンド幅を用いて前記映像をクラスタ化することを特徴とする請求項1に記載の映像領域分割装置。 - 前記再分割条件検出処理手段が、前記統合領域について、フレームごとに、当該フレームが前記分離フレームであるかどうかを判定し、
当該フレームが前記分離フレームである場合に、当該分離フレームにおける前記統合領域を構成するすべてのクラスタの対について、2つのクラスタがともに同一の前記クラスタ群に含まれるクラスタ対である到達可能クラスタ対であるかどうかを示す到達可能性情報を前記分離フレームごとに作成するとともに、
前記分離フレームごとに作成されたすべての到達可能性情報に基づいて、前記統合領域を構成するすべてのクラスタの対について、前記映像中に前記到達可能クラスタ対でない状態となる前記分離フレームが存在することを示す分離状態情報を作成し、
前記分離状態情報において、前記映像中に前記到達可能クラスタ対でない状態となる前記分離フレームが存在することが示されることを、前記所定の条件として、再分割するクラスタ対を検出することを特徴とする請求項2に記載の映像領域分割装置。 - 前記再分割処理手段が、前記再分割条件検出処理手段が検出したクラスタ対が複数ある場合は、前記隣接状態情報において互いに隣接する状態を示すクラスタ対について、先に再分割処理を行うことを特徴とする請求項2又は請求項3に記載の映像領域分割装置。
- 映像を構成する画素について、時空間の距離が所定値以内であって、色の差が所定値以内の画素同士をクラスタ化するクラスタ化処理部、
前記クラスタ化処理部がクラスタ化したクラスタについて、時空間において、互いに隣接し、前記クラスタの代表色の差が所定値以内であるクラスタ同士を統合して統合領域とするクラスタ統合処理部、
前記統合領域ごとに、前記映像を構成するフレームの内で、前記統合領域に含まれるクラスタが、互いに隣接しない2以上のクラスタ群に分離されているフレームである分離フレームの何れかにおいて、前記統合領域に含まれるクラスタ対であって、当該クラスタ対を構成する2つのクラスタが、それぞれ異なる前記クラスタ群に含まれるクラスタ対を検出する再分割条件検出処理手段、
前記再分割条件検出処理手段が検出した一対のクラスタを、互いに異なる領域に再分割する再分割処理手段、
としてコンピュータを機能させるための映像領域分割プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012164552A JP5965764B2 (ja) | 2012-07-25 | 2012-07-25 | 映像領域分割装置及び映像領域分割プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012164552A JP5965764B2 (ja) | 2012-07-25 | 2012-07-25 | 映像領域分割装置及び映像領域分割プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014026370A JP2014026370A (ja) | 2014-02-06 |
JP5965764B2 true JP5965764B2 (ja) | 2016-08-10 |
Family
ID=50199977
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012164552A Expired - Fee Related JP5965764B2 (ja) | 2012-07-25 | 2012-07-25 | 映像領域分割装置及び映像領域分割プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5965764B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110823291A (zh) * | 2019-11-27 | 2020-02-21 | 山东建筑大学 | 基于K-means聚类算法的建筑物室内温湿度环境监测方法与系统 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6546385B2 (ja) * | 2014-10-02 | 2019-07-17 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラム |
JP2016207167A (ja) * | 2015-04-28 | 2016-12-08 | 株式会社Jvcケンウッド | 情報処理システム、情報処理方法およびプログラム |
KR101711949B1 (ko) * | 2015-08-25 | 2017-03-06 | 아주대학교 산학협력단 | 이미지 융합 방법 및 장치 |
US10460156B2 (en) * | 2018-03-06 | 2019-10-29 | Sony Corporation | Automated tracking and retaining of an articulated object in a sequence of image frames |
-
2012
- 2012-07-25 JP JP2012164552A patent/JP5965764B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110823291A (zh) * | 2019-11-27 | 2020-02-21 | 山东建筑大学 | 基于K-means聚类算法的建筑物室内温湿度环境监测方法与系统 |
Also Published As
Publication number | Publication date |
---|---|
JP2014026370A (ja) | 2014-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7026826B2 (ja) | 画像処理方法、電子機器および記憶媒体 | |
US20190037150A1 (en) | System and methods for depth regularization and semiautomatic interactive matting using rgb-d images | |
JP6553692B2 (ja) | 動画像背景除去方法及び動画像背景除去システム | |
CN104346801B (zh) | 图像构图评估装置、信息处理装置及其方法 | |
US10079974B2 (en) | Image processing apparatus, method, and medium for extracting feature amount of image | |
JP5965764B2 (ja) | 映像領域分割装置及び映像領域分割プログラム | |
JP6497579B2 (ja) | 画像合成システム、画像合成方法、画像合成プログラム | |
JP6547386B2 (ja) | 画像処理装置及び方法 | |
CN101443791A (zh) | 在数字图像中实现改进的前景/背景分离 | |
KR20120061764A (ko) | 화상 처리 장치 및 화상 처리 방법, 및 프로그램 | |
AU2014277853A1 (en) | Object re-identification using self-dissimilarity | |
Venkatesan et al. | Face recognition system with genetic algorithm and ANT colony optimization | |
WO2021057395A1 (zh) | 一种鞋跟型号识别方法、装置及存储介质 | |
Khorrami et al. | Multiple animal species detection using robust principal component analysis and large displacement optical flow | |
Zhao et al. | Automatic blur region segmentation approach using image matting | |
JP6448212B2 (ja) | 認識装置及び認識方法 | |
CN108320281B (zh) | 一种基于多特征扩散的图像显著性检测方法及终端 | |
JP6389742B2 (ja) | 画像セグメンテーション方法、装置、及びプログラム | |
JP6448109B2 (ja) | 映像領域分割装置および映像領域分割プログラム | |
CN106022310B (zh) | 基于htg-hog和stg特征的人体行为识别方法 | |
TWI517055B (zh) | Image foreground object screening method | |
Breier et al. | Analysis of video feature learning in two-stream CNNs on the example of zebrafish swim bout classification | |
Wang et al. | Confidence-driven image co-matting | |
JP6350331B2 (ja) | 追尾装置、追尾方法及び追尾プログラム | |
JP2016075993A (ja) | 画像処理装置及びその制御方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20140328 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150601 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160526 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160607 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160704 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5965764 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |