JP5838112B2 - 複数の被写体領域を分離する方法、プログラム及び装置 - Google Patents

Description

本発明は、映像中の複数の重なった被写体を分離する方法、プログラム及び装置に関するものである。より詳細には、大規模な空間で行われるイベントを撮影した映像から仮想視点における画像を生成する過程において、被写体ごとのテクスチャ生成を行うために、時系列的な被写体追跡の結果を用いて複数の重なった被写体を分離する方法、プログラム及び装置に関する。

大規模な空間で行われるイベントを撮影した画像から、仮想視点における画像を生成する方法として、特許文献１では各被写体からテクスチャを生成し、被写体ごとに３次元空間中に配置した平面にマッピングする方法を提案している。

被写体のテクスチャを生成する際に、被写体同士が重なるオクルージョンが発生していた場合、１枚のテクスチャに複数の被写体が含まれ、不正確な仮想視点画像が生成されてしまうという問題がある。

上記問題に対し、特許文献１では、当該被写体について、隣の視点でオクルージョンが発生しているかどうかを判定し、隣の視点でオクルージョンが発生していない場合には隣の視点の背景領域をオクルージョンが発生している領域に射影することで、被写体領域のテクスチャを抜き出し、隣の視点でオクルージョンが発生していた場合には、複数の被写体が含まれたままのテクスチャをそのまま利用する、という方法を提案している。

また、上記問題に対し、非特許文献１では、複数の他の視点から撮影された画像の情報を用いて、粗い３次元情報を復元することで、手前に存在する被写体を分離してテクスチャを獲得し、奥の被写体についてはオクルージョンの発生していない他の視点のテクスチャを用いるという方法を提案している。具体的には、オクルージョンが生じている画像に平行な平面を３次元空間中の被写体位置付近に設定し、この平面に他の視点から抽出された手前に存在する被写体の領域を投影することで、手前の被写体のテクスチャ領域を獲得することができる。

本発明とは、解決しようとする課題が異なる技術ではあるが、技術的に類似した従来技術として、非特許文献２では時系列的な被写体追跡結果を用いて、背景から被写体を分離する方法が提案されている。

特開２０１１−１７０４８７号公報

古山孝好、北原格、大田友一、「仮想化現実技術を用いた大規模空間自由視点映像のライブ配信と提示」、電子情報通信学会技術研究報告、PRMUVol.103, No.96, pp.61-66, (2003) Lili Ma, Jing Liu, Jinqiao Wang, Jian Cheng, Hanqing Lu, "A improved silhouette tracking approach integrating particle filter with graph cuts", in Proc. ICASSP2010, pp.1142-1145

特許文献１、及び、非特許文献１ではオクルージョンを生じた複数被写体の分離に、複数の視点から撮影された画像の情報を用いている。したがって、他の視点でも対象の被写体についてオクルージョンが発生していた場合、特許文献１では複数被写体の分離を行うことができず、非特許文献１では複数被写体の分離精度が低下するという問題があった。

また、大規模空間においては、カメラキャリブレーションと前景抽出処理を高精度に行うことは困難である。特許文献１、及び、非特許文献１では、他の視点の前景抽出処理の結果と、カメラキャリブレーションの結果を用いることで、オクルージョンを生じた視点に投影することで、複数被写体の分離を行っているため、カメラキャリブレーション誤差と前景抽出処理の誤差により、被写体の分離精度が低下する。カメラキャリブレーション誤差と前景抽出処理の誤差は、カメラ台数に応じて蓄積されるため、用いるカメラ台数を増加させることによる精度向上は困難である。前記の２つの課題は、特許文献１、及び、非特許文献１が複数台のカメラから撮影された映像の情報を用いて被写体の分離を行っていることに由来する。

したがって、本発明は、被写体の分離処理においては他のカメラの情報を必要とすることなく、１台のカメラで撮影された映像を用いて、オクルージョンを生じた複数被写体の分離を行うことを目的とする。

なお、非特許文献２は時系列的な被写体追跡結果を用いて、背景から被写体を分離する方法を提案しているが、複数の被写体を扱う技術ではなく、単数の被写体の追跡と分離を行う技術であるため、オクルージョンを生じた複数の被写体を分離することができない。

上記の課題を解決するため、本発明では各被写体のフレーム間での時系列的な追跡結果に基づいて、被写体どうしが重なって生じるオクルージョン領域を検出すると共に、当該オクルージョン領域に含まれる各被写体のテクスチャ情報に基づき、各被写体を適切に分離する手法を考案する。フレーム間での追跡結果を用いることで、他のカメラの情報を必要とすることなく、１台のカメラで撮影された映像から、オクルージョンを生じた複数被写体の分離を行うことができる。具体的な処理手順は以下の通りである。

上記課題を解決するため本発明の被写体分離の方法は、対象映像においてオクルージョンを生じた複数被写体の分離を行う方法であって、各フレーム画像を前景領域と背景領域に分割する前景領域抽出処理のステップと、前記フレーム画像間において各被写体領域を追跡する被写体追跡処理のステップと、前記前景領域および前記被写体領域の追跡結果から、現在のフレーム画像においてオクルージョンが発生している前景領域をオクルージョン領域として検出するステップと、前記オクルージョン領域において前記被写体追跡処理により追跡された複数の被写体領域間の境界を決定するステップとを含み、
前記複数の被写体領域間の境界を決定するステップは、前記オクルージョン領域に外接する矩形領域を抽出するサブステップと、前記矩形領域において前記オクルージョン領域に含まれる被写体ごとに領域分割用のシードを生成するサブステップと、前記生成されたシードに基づき、２値の領域分割により前記被写体領域を抽出するサブステップと、被写体ごとの領域抽出結果を統合することで被写体領域間の境界を決定するサブステップとを含む。

また、前記被写体追跡処理のステップは、パーティクルフィルタを用いて行われることも好ましい。

また、前記オクルージョン領域として検出するステップは、追跡された被写体が、複数の被写体が含まれる連結した前景領域に含まれる場合、該領域をオクルージョン領域として検出することも好ましい。

また、前記領域分割用のシードを生成するサブステップは、前記矩形領域内の各位置における当該被写体らしさを表す２次元マップを被写体マップとし、当該被写体の追跡結果を用いて前記被写体マップに正の値を加えるサブステップと、当該被写体以外の被写体の追跡結果を用いて前記被写体マップに負の値を加えるサブステップと、前記被写体マップを正規化するサブステップと、前記正規化された被写体マップと、前記前景抽出処理により得られた背景領域の情報を用いて当該領域分割用のシードを生成するサブステップとを含むことも好ましい。

また、前記領域分割の方法は、グラフカットアルゴリズムによるものであることも好ましい。

上記課題を解決するため本発明によるプログラムは、対象映像においてオクルージョンを生じた複数被写体の分離を行うためのコンピュータを、各フレーム画像を前景領域と背景領域に分割する前景領域抽出処理の手段と、前記フレーム画像間において各被写体領域を追跡する被写体追跡処理の手段と、前記前景領域および前記被写体領域の追跡結果から、前記フレーム画像においてオクルージョンが発生している前景領域をオクルージョン領域として検出する手段と、前記オクルージョン領域において前記被写体追跡処理により追跡された複数の被写体領域間の境界を決定する手段として機能させるとともに、
前記複数の被写体領域間の境界を決定する手段について、
前記オクルージョン領域に外接する矩形領域を抽出する手段と、
前記矩形領域において前記オクルージョン領域に含まれる被写体ごとに領域分割用のシードを生成する手段と、
前記生成されたシードに基づき、２値の領域分割により前記被写体領域を抽出する手段と、
被写体ごとの領域抽出結果を統合することで被写体領域間の境界を決定する手段として機能させ、オクルージョンを生じた複数被写体の分離を行う。
また、 対象映像においてオクルージョンを生じた複数被写体の分離を行うための装置は、 各フレーム画像を前景領域と背景領域に分割する前景領域抽出処理の手段と、 前記フレーム画像間において各被写体領域を追跡する被写体追跡処理の手段と、 前記前景領域および前記被写体領域の追跡結果から、前記フレーム画像においてオクルージョンが発生している前景領域をオクルージョン領域として検出する手段と、 前記オクルージョン領域において前記被写体追跡処理により追跡された複数の被写体領域間の境界を決定する手段と、を含むとともに、
前記複数の被写体領域間の境界を決定する手段は、前記オクルージョン領域に外接する矩形領域を抽出する手段と、前記矩形領域において前記オクルージョン領域に含まれる被写体ごとに領域分割用のシードを生成する手段と、前記生成されたシードに基づき、２値の領域分割により前記被写体領域を抽出する手段と、被写体ごとの領域抽出結果を統合することで被写体領域間の境界を決定する手段とを備える。

本発明では複数台のカメラ映像を用いず、１台のカメラ映像を用いて被写体を分離することができるため、他のカメラで発生したオクルージョンによる被写体分離精度の低下が生じない。

さらに、本発明では複数台のカメラ映像を用いず、１台のカメラ映像を用いて被写体を分離することができるため、他のカメラにおけるカメラキャリブレーション誤差と前景抽出処理の誤差による被写体分離精度の低下が生じない。

また、従来手法では、複数台のカメラ映像を用いて被写体分離を行うため、疎なカメラ配置では、カメラ間の幾何関係によっては適用できない場合がある。本発明では１台のカメラ映像を用いて被写体を分離することができるため、カメラ間の幾何関係に関係なく、疎なカメラ配置でも適用することができる

本発明による複数被写体の分離方法を示すフローチャートを示す。 パーティクルフィルタによる被写体追跡処理を示す。 オクルージョン領域の画像例を示す。 パーティクルフィルタの粒子情報を用いたグラフカット用シードの生成処理を示す。 グラフカット用シードの生成過程の例を示す。 被写体領域間の境界を決定する前の領域分割結果の例を示す。 被写体領域間の境界を決定した結果の例を示す。 本発明の適用有無による仮想視点画像の変化の例を示す。

本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。図１は、本発明による複数被写体の分離方法を示すフローチャートである。以下、本フローチャートに基づいて説明する。

本発明は、被写体追跡の結果を利用することで、複数カメラの情報を利用せず、１台のカメラから撮影された画像において被写体分離を行うことで、他のカメラのオクルージョンの影響を受けることなく、オクルージョン領域において高精度に複数被写体の領域を分離する。本発明は、１台のカメラで一定時間撮影された映像を入力して、現在のフレーム画像において、オクルージョンを生じた複数被写体の分離を行う。

ステップ１：各フレーム画像を前景領域と背景領域とに分割する。前景領域は、時間とともに位置や形状の変化する領域であり、対象とする空間がサッカーフィールドである場合には、人物等の被写体領域に該当する。背景領域は前景領域以外の領域である。あらかじめ前景領域が写っていない背景画像を取得しておき、現在のフレーム画像と背景画像とから、背景差分を行うことにより、前景領域と背景領域とを分割したマスク画像を作成する。

ステップ２：現在のフレームにおいて、被写体ごとにパーティクルフィルタによって被写体追跡処理を行う。パーティクルフィルタによる被写体追跡は、フレーム間の時系列的処理により行われる。図２はパーティクルフィルタによる時系列的な被写体追跡処理を示すフローチャートである。以下、本フローチャートに基づいて被写体追跡処理の説明を行う。

ステップ２１：初期フレームにおける被写体ごとのパーティクルフィルタ外接枠は、マスク画像の外接領域として設定する。被写体にオクルージョンを生じていない初期フレームを入力する。また、オクルージョンを生じている初期フレームにおいて、マスク画像を目視で確認し、オクルージョンを生じている被写体については、手動で被写体ごとの外接領域を設定することも可能である。

ステップ２２：時間ｔにおける各被写体パーティクルフィルタ内に存在する粒子ごとの状態量を以下のように定義する。
ここで、ｘ（ｔ）、ｙ（ｔ）は粒子の２次元座標であり、Δｘ（ｔ）およびΔｙ（ｔ）はそれぞれ、被写体の画像中の横方向の速度、および縦方向の速度に相当する。状態遷移関数は、フレーム間で等速直線運動を仮定し、ガウスノイズω（ｔ）を用いて、以下の通り設定する。

ステップ２３：各粒子の尤度を算出する処理は２段階に分かれる。第１段階では、各粒子の位置がマスク画像において前景領域であるか背景領域であるかを判別し、背景領域と判別された粒子は尤度を０とする。前景領域と判別された粒子は、被写体ごと与えられた事前情報をもとに尤度を決定する。被写体がサッカー選手の場合、ユニフォーム色情報Ｉ_ｒｅｆに基づき、閾値ｔｈ_ｒｅｆを用いて、粒子位置の画素値Ｉが次式を満たすか否かを判別し、満たす場合は尤度を０とし、満たさない場合は尤度を１とする。
｜Ｉ−Ｉ_ｒｅｆ｜＞ｔｈ_ｒｅｆ

ステップ２４：尤度が０となった粒子は消滅させ、尤度１の粒子近傍に再配置する。

ステップ２５：被写体ごとに、再配置された粒子群の外接領域を算出し、被写体パーティクルフィルタの外接枠を更新する。ステップ２２〜ステップ２５は最終フレームまで繰り返される。

ステップ３：前景領域と背景領域とを分割した結果と、パーティクルフィルタによる被写体追跡処理の現在のフレームでの結果を用いて、オクルージョンが発生している前景領域を検出する。前記被写体追跡処理によって追跡された全ての被写体について、パーティクルフィルタの外接枠の位置により、当該被写体がいずれの連結した前景領域に含まれるかを決定し、複数の被写体が含まれる連結した前景領域をオクルージョン領域として検出する。

ステップ４：ステップ３で検出されたオクルージョン領域ごとに、現在のフレーム画像から当該オクルージョン領域に外接する矩形領域を抽出する。図３は、オクルージョン領域の画像例である。

図３ａは、オクルージョン領域に外接する矩形領域の例である。図３ｂは、当該矩形領域におけるマスク画像である。図３ｃは、当該矩形領域の元画像（図３ａ）に対し、マスク画像（図３ｂ）を重ねた前景領域画像である。

ステップ４以降のステップ５、６、７の処理は前記矩形領域を対象として、オクルージョン領域ごとに独立して行われる

ステップ５：被写体追跡処理におけるパーティクルフィルタの粒子情報を用いて、グラフカット用のシードを生成する。ステップ５、６では、オクルージョン領域に含まれる複数の被写体のうち、一つの被写体に注目し、前記両ステップは、オクルージョン領域内の被写体ごとに独立して行われる。ステップ５はステップ６でグラフカットによる領域分割を行うための準備のステップである。グラフカットによる領域分割を行うためには、シードと呼ばれるラベルが付された画素を与える必要がある。本実施形態では、全画素に対し、「注目被写体」、「注目被写体候補」、「背景候補」、「背景」のいずれかのラベルを与えたものをシードとして用いる。ステップ５、６では、矩形内の注目被写体以外の全画素を背景として、注目被写体と背景とを分割する。ステップ５では、ステップ６でグラフカットにより領域分割するための事前情報となるように、前記の４つのラベルによるシードを生成する。

図４はパーティクルフィルタの粒子情報を用いたグラフカット用シードの生成処理を示すフローチャートである。以下、本フローチャートに基づいてグラフカット用シードの生成処理の説明を行う。

ステップ３１：パーティクルフィルタの粒子情報をもとに、被写体マップを生成する。被写体マップは、矩形領域内の各位置における注目被写体らしさを表す２次元マップである。具体的には、注目被写体における粒子を正の標本、注目被写体以外の被写体における粒子を負の標本とし、各標本位置を中心とした２次元ガウス分布の重ね合わせにより、被写体マップを生成する。

注目被写体の粒子数をｎ_ｍ、注目被写体以外の被写体の粒子数をｎ_ｅとする。また、注目被写体とそれ以外の被写体のそれぞれｉ番目の粒子について、矩形領域内の位置をｐ_ｍｉ，ｐ_ｅｉとし、尤度をｃ_ｍｉ、ｃ_ｅｉとすると、被写体マップ上の位置ｐにおける値ｖ（ｐ）は、位置ｐ_０を中心とした２次元ガウス関数Ｇ（ｐ｜ｐ_０）を用いて、次式で表される。

ステップ３２：前記被写体マップの正規化を行う。当該マップ中の最大値と最小値をそれぞれ、ｖ_ｍａｘ、ｖ_ｍｉｎとすると、当該マップ上の位置ｐにおける値ｖ（ｐ）を正規化した値ｖ_ｎｏｒｍ（ｐ）は次式で表される
正規化後の値ｖ_ｎｏｒｍ（ｐ）の範囲は、−１≦ｖ_ｎｏｒｍ（ｐ）≦１となる。

ステップ３３：前記正規化された被写体マップと、前景抽出処理の結果をもとにシードを生成する。位置ｐにおける前記正規化された被写体マップ上の値をｖ_ｎｏｒｍ（ｐ）、閾値をｔｈ（ただし、０＜ｔｈ＜１）とし、ステップ１の前景抽出処理の結果ｒ（ｐ）を、位置ｐが前景抽出処理の結果において背景の時ｒ（ｐ）＝０、前景の時ｒ（ｐ）＝１とすると、位置ｐにおけるシードのラベルｌ（ｐ）は次式で表される。

図５はグラフカット用シードの生成過程の例である。図５ａは注目被写体とそれ以外の被写体のパーティクルフィルタの粒子の例である。白色の点が注目被写体の粒子であり、濃い灰色の点が注目被写体以外の被写体の粒子である。図５ｂは正規化された被写体マップにマスク画像（図３ｂ）を重ねた画像の例である。マップ上の値が大きいほど輝度が高く表現されている。図５ｃはグラフカット用シードの例である。黒色の領域に背景ラベル、濃い灰色の領域に背景候補ラベル、薄い灰色の領域に注目被写体候補ラベル、白色の領域に注目被写体ラベルが与えられている。

ステップ６：ステップ５で生成されたシードに基づき、２値のグラフカット領域分割処理により、前記矩形領域を、注目する被写体領域とそれ以外に分割することで、注目する被写体領域を抽出する。

ステップ７：被写体ごとに抽出された前記被写体領域を統合し、被写体領域間の境界を決定する。ステップ５、６により、当該オクルージョン領域に含まれる複数の被写体それぞれについて、既に当該被写体領域が獲得されている。しかし、ステップ５、６は当該オクルージョン領域に含まれる被写体ごとに独立して処理されているため、複数の被写体領域に含まれる領域が存在する可能性があり、被写体領域間の境界を決定する必要がある。図６は、オクルージョン領域内のすべての被写体に対してステップ５、６の処理を行い、被写体領域間の境界を決定する前の領域分割結果の例である。背景領域が黒色、一方の被写体領域が白色、もう一方の被写体領域が濃い灰色、両方の被写体領域に含まれる領域が薄い灰色である。

被写体領域間の境界を決定するための統合処理は、例えば、被写体領域の最下部がより上にある被写体から順番に被写体領域を確定する処理により実施可能である。図７は、上記統合処理により、当該オクルージョン領域内で被写体領域間の境界を決定した結果の例である。

図８は、本発明の適用有無による仮想視点画像の変化の例である。図８ａは、ある視点でのゴールポスト付近の一部の画像である。図８ｂは、図８ａにおけるオクルージョンが発生している領域である。図８ｃは、図８ｂのオクルージョンにおいて複数被写体を分離しないテクスチャを用いた仮想視点画像の例である。図８ｄは、本発明により複数被写体を分離した画像をテクスチャとして用いて生成した仮想視点画像の例である。本発明により複数被写体を分離したことで、奥側の被写体の位置や影等が、より高精度に合成されていることがわかる。

また、以上述べた実施形態は全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様および変更態様で実施することができる。従って本発明の範囲は特許請求の範囲およびその均等範囲によってのみ規定されるものである。

Claims (7)

1. 対象映像においてオクルージョンを生じた複数被写体の分離を行う方法であって、
   各フレーム画像を前景領域と背景領域に分割する前景領域抽出処理のステップと、
   前記フレーム画像間において各被写体領域を追跡する被写体追跡処理のステップと、
   前記前景領域および前記被写体領域の追跡結果から、現在のフレーム画像においてオクルージョンが発生している前景領域をオクルージョン領域として検出するステップと、
   前記オクルージョン領域において前記被写体追跡処理により追跡された複数の被写体領域間の境界を決定するステップと、を含み、
   前記複数の被写体領域間の境界を決定するステップは、
   前記オクルージョン領域に外接する矩形領域を抽出するサブステップと、
   前記矩形領域において前記オクルージョン領域に含まれる被写体ごとに領域分割用のシードを生成するサブステップと、
   前記生成されたシードに基づき、２値の領域分割により前記被写体領域を抽出するサブステップと、
   被写体ごとの領域抽出結果を統合することで被写体領域間の境界を決定するサブステップと、
   を含むことを特徴とするオクルージョンを生じた複数被写体の分離を行う方法。
2. 前記被写体追跡処理のステップは、パーティクルフィルタを用いて行われることを特徴とする請求項１に記載のオクルージョンを生じた複数被写体の分離を行う方法。
3. 前記オクルージョン領域として検出するステップは、追跡された被写体が、複数の被写体が含まれる連結した前景領域に含まれる場合、該領域をオクルージョン領域として検出することを特徴とする請求項１または２に記載のオクルージョンを生じた複数被写体の分離を行う方法。
4. 前記領域分割用のシードを生成するサブステップは、
   前記矩形領域内の各位置における当該被写体らしさを表す２次元マップを被写体マップとし、当該被写体の追跡結果を用いて前記被写体マップに正の値を加えるサブステップと、
   当該被写体以外の被写体の追跡結果を用いて前記被写体マップに負の値を加えるサブステップと、
   前記被写体マップを正規化するサブステップと、
   前記正規化された被写体マップと、前記前景抽出処理により得られた背景領域の情報を用いて当該領域分割用のシードを生成するサブステップと、
   を含むことを特徴とする請求項１から３のいずれか１項に記載のオクルージョンを生じた複数被写体の分離を行う方法。
5. 前記領域分割の方法は、グラフカットアルゴリズムによるものであることを特徴とする請求項１から４のいずれか１項に記載のオクルージョンを生じた複数被写体の分離を行う方法。
6. 対象映像においてオクルージョンを生じた複数被写体の分離を行うためのコンピュータを、
   各フレーム画像を前景領域と背景領域に分割する前景領域抽出処理の手段と、
   前記フレーム画像間において各被写体領域を追跡する被写体追跡処理の手段と、
   前記前景領域および前記被写体領域の追跡結果から、前記フレーム画像においてオクルージョンが発生している前景領域をオクルージョン領域として検出する手段と、
   前記オクルージョン領域において前記被写体追跡処理により追跡された複数の被写体領域間の境界を決定する手段と、して機能させるとともに、
   前記複数の被写体領域間の境界を決定する手段について、
   前記オクルージョン領域に外接する矩形領域を抽出する手段と、
   前記矩形領域において前記オクルージョン領域に含まれる被写体ごとに領域分割用のシードを生成する手段と、
   前記生成されたシードに基づき、２値の領域分割により前記被写体領域を抽出する手段と、
   被写体ごとの領域抽出結果を統合することで被写体領域間の境界を決定する手段として機能させるオクルージョンを生じた複数被写体の分離を行うことを特徴とするプログラム。
7. 対象映像においてオクルージョンを生じた複数被写体の分離を行うための装置であって、
   各フレーム画像を前景領域と背景領域に分割する前景領域抽出処理の手段と、
   前記フレーム画像間において各被写体領域を追跡する被写体追跡処理の手段と、
   前記前景領域および前記被写体領域の追跡結果から、前記フレーム画像においてオクルージョンが発生している前景領域をオクルージョン領域として検出する手段と、
   前記オクルージョン領域において前記被写体追跡処理により追跡された複数の被写体領域間の境界を決定する手段と、を含むとともに、
   前記複数の被写体領域間の境界を決定する手段は、
   前記オクルージョン領域に外接する矩形領域を抽出する手段と、
   前記矩形領域において前記オクルージョン領域に含まれる被写体ごとに領域分割用のシードを生成する手段と、
   前記生成されたシードに基づき、２値の領域分割により前記被写体領域を抽出する手段と、
   被写体ごとの領域抽出結果を統合することで被写体領域間の境界を決定する手段とを備えることでオクルージョンを生じた複数被写体の分離を行うことを特徴とする装置。