JP6516646B2 - 複数のカメラで撮影した画像から個々の被写体を識別する識別装置、識別方法及びプログラム - Google Patents

Description

本発明は、複数の被写体を複数のカメラで撮影した各画像から個々の被写体を識別する識別技術に関する。

例えば、スポーツの競技場の周囲に複数のカメラを設置し、各カメラが撮影する動画データに基づき、ユーザが指定する任意の視点における静止画又は動画を再現する自由視点映像システムを構築することが行われている。自由視点映像システムにおいては、複数のカメラで撮影した動画から個々の被写体を識別・追跡し、当該被写体の３次元空間位置を推定することで、疑似的な３次元空間を再現している。

ここで、スポーツ映像の様に、被写体である選手が移動する場合、あるカメラが撮影する画像上では、被写体の移動により被写体に重なり（以下、オクルージョンと呼ぶ。）が生じる。オクルージョンが生じたとしても個々の被写体を識別するため、非特許文献１は、あるカメラで撮影した画像においてオクルージョンが生じると、他のカメラが撮影した画像を補完的に利用して被写体を識別し、各被写体の３次元空間位置を求める構成を開示している。

三功 浩嗣、内藤 整、"選手領域の抽出と追跡によるサッカーの自由視点映像生成"、映像情報メディア学会，Ｖｏｌ．６８，Ｎｏ．３，ｐｐ．Ｊ１２５−Ｊ１３４，２０１４年

しかしながら、非特許文献１の構成は、あるカメラの画像において被写体の識別を精度良く行うことができない状態が生じた場合に、被写体の識別を精度よく行えている他のカメラの画像を補完的に使用するものである。したがって、バスケットボールやフットサルの様に人物の密集度が高く、多くのカメラの画像において同時にオクルージョンが生じる場合には適用できない。

本発明は、オクルージョンの発生頻度に拘らず、複数のカメラで撮影した画像から個々の被写体を精度よく識別する識別装置、識別方法及びプログラムを提供するものである。

本発明の一側面によると、複数のカメラで撮影した複数の被写体を含む画像から個々の被写体を識別する識別装置は、各カメラで撮影した画像の前景領域を抽出する抽出手段と、各カメラそれぞれについて、カメラで撮影した画像の前景領域を、当該カメラの内部パラメータ及び外部パラメータに基づき所定平面上に投影し、前景領域に対応する前記所定平面上の投影領域を求める投影手段と、各カメラで撮影した画像の前景領域に対応する投影領域のそれぞれに識別子を付与する付与手段と、前記所定平面上における前記投影領域の重なり数をカウントし、前記重なり数が閾値以上である前記所定平面上の領域を、被写体と前記所定平面との接触領域と判定する判定手段と、接触領域のそれぞれについて、当該接触領域の元となった投影領域の識別子の組み合わせを判定し、当該組み合わせの同じ接触領域を同じ被写体と識別し、当該組み合わせの異なる接触領域を異なる被写体と識別する識別手段と、を備えていることを特徴とする。

本発明の一側面によると、複数のカメラで撮影した複数の被写体を含む画像から個々の被写体を識別する識別装置における識別方法は、各カメラで撮影した画像の前景領域を抽出する抽出ステップと、各カメラそれぞれについて、カメラで撮影した画像の前景領域を、当該カメラの内部パラメータ及び外部パラメータに基づき所定平面上に投影し、前景領域に対応する前記所定平面上の投影領域を求める投影ステップと、各カメラで撮影した画像の前景領域に対応する投影領域のそれぞれに識別子を付与する付与ステップと、前記所定平面上における前記投影領域の重なり数をカウントし、前記重なり数が閾値以上である前記所定平面上の領域を、被写体と前記所定平面との接触領域と判定する判定ステップと、接触領域のそれぞれについて、当該接触領域の元となった投影領域の識別子の組み合わせを判定し、当該組み合わせの同じ接触領域を同じ被写体と識別し、当該組み合わせの異なる接触領域を異なる被写体と識別する識別ステップと、を含むことを特徴とする。

本発明によると、オクルージョンの発生頻度に拘らず、複数のカメラで撮影した画像から個々の被写体を精度よく識別することができる。

一実施形態による識別装置の構成図。 一実施形態による識別装置の処理を説明するための画像を示す図。 前景領域の例を示す図。 投影領域の例を示す図。 接触領域の例を示す図。 各接触領域に対応する被写体の異同の判定方法の説明図。 ノイズによる前景領域を示す図。

以下、本発明の例示的な実施形態について図面を参照して説明する。なお、以下の実施形態は例示であり、本発明を実施形態の内容に限定するものではない。また、以下の各図においては、実施形態の説明に必要ではない構成要素については図から省略する。

図１は、本実施形態による識別装置の構成図である。識別装置は、複数のカメラ１−１〜１−３が撮影する動画に基づき被写体である人物と、その３次元空間位置を識別する。なお、図１においては図の簡略化のため、カメラ１−１〜１−３の３つのみを表示しているが、カメラの設置台数は３つに限定されない。また、以下の説明においてカメラ１−１〜カメラ１−３を区別する必要がない場合には纏めてカメラ１として記述する。他の構成要素についても同様とする。カメラ１は、固定的に設置される。なお、設置される総てのカメラ１に対しては、事前にキャリブレーションを行っておき、各カメラ１の内部パラメータ及び外部パラメータは既知であるものとする。

前景抽出部２は、背景差分法を用いて画像内の背景と前景を分類し、各画素が前景に対応するか背景に対応するかを示す２値画像を出力する。具体的には、前景抽出部２は、対応するカメラ１の撮影範囲の背景画像を示す画像データを保持している。そして、前景抽出部２は、対応するカメラ１からの動画データが示す各フレームの画像と、背景画像との差分により前景領域を抽出する。例えば、カメラ１−１が撮影した動画のある瞬間のフレームが図２に示すものであったとする。図３は、前景抽出部２−１が抽出した前景領域を黒色で示したものである。なお、図の簡略化のため、図３においては、図２の白枠で囲った部分のみを示している。ラベリング処理部３は、対応する前景抽出部２が抽出した２値画像の前景を示す画素が連続している領域を１つの前景領域とし、各前景領域に識別子（ラベル）を付与する。例えば、図３の前景領域は、図２に示す様に、３人の人物が重なった状態であるが、前景を示す画素（黒を示す画素）は連続しているため１つの前景領域と判定され、この１つの前景領域に対して識別子が付与される。

識別部４は、各カメラ１の内部パラメータ及び外部パラメータに基づき、各前景抽出部２が出力する２値画像の前景領域をフィールド平面に投影する。以下では、１つのカメラ１が撮影した１つの前景領域をフィールド平面に投影してできる、フィールド平面上の領域を投影領域と呼ぶものとする。なお、フィールド平面とは地面又は床面等を意味する。図４は、識別部４での処理の説明図であり、各前景抽出部２が出力する、図２の白枠内の３人の人物に対応する前景領域の投影領域を、カメラ１−１の視点から表示している。なお、参考のため、図４には図３と同じ前景領域も表示している。各カメラ１はその設置位置が異なるため、各カメラ１が撮影した画像から得られる投影領域は、同じ人物を含む前景領域に対応するものであってもそれぞれ異なるものとなる。つまり、カメラ１毎に異なる投影領域が得られる。

そして、識別部４は、フィールド平面上の各画素（位置）において投影領域の重なり数をカウントする。例えば、フィールド平面上において、カメラ１−１からカメラ１−３の総ての投影領域が重なっている画素のカウント値を３とし、カメラ１−１からカメラ１−３の内の２つのカメラ１の投影領域が重なっている画素のカウント値を２とし、１つのカメラ１のみの投影領域の画素のカウント値を１とし、投影領域が存在しない画素のカウント値を"０"とする。そして、識別部４は、カウント値が閾値以上の画素の画素値を"１"とし、カウント値が閾値未満の画素を０とした２値画像（以下、接触位置画像と呼ぶ）を生成する。図５は、閾値処理して得られた接触位置画像を、カメラ１−１の視点から見たものである。なお、図５において黒色部分の画素は、カウント値が閾値以上であった画素である。複数のカメラ１による投影領域は、人物がフィールド平面に接触している位置において重なりを持つ。したがって、図５に示す様に閾値処理して得られた結果は、人物とフィールド平面とが接触している領域を示すことになる。なお、以下では、接触位置画像において画素値"１"が連続する領域を接触領域と呼ぶものとする。図５の例においては、4つの接触領域６１〜６４が得られている。

また、識別部４は、前景領域の識別子を、当該前景領域に対応する投影領域の識別子とし、各接触領域の元となった投影領域の識別子の組み合わせを判定することで、各接触領域が同一の被写体に対応するか、異なる被写体に対応するかを判定する。例えば、図３は、カメラ１−１が撮影した画像に基づく２値画像であり、この場合、３人の人物は１つの前景領域として抽出され、よって、１つの識別子のみが付与されている。しかしながら、カメラ１−２及びカメラ１−３が撮影した画像に基づく２値画像では、当該３人の人物は、例えば、２つの異なる前景領域（つまり、２人の人物に重なりが生じているが、１人の人物は他の２人とは重なっていない）として検出されている場合や、３つの異なる前景領域（つまり、３人には全く重なりが生じていない）と検出されていることがあり得る。図６は、図２の白枠内の３人の人物Ａ、Ｂ、Ｃと、カメラ１−１〜１−３で検出した前景領域との対応関係の一例を示している。図６においては、カメラ１−１からは３人の人物が重なって１つの前景領域として検出され、よって、この１つの前景領域には１つの識別子＃１のみが付与されている。一方、カメラ１−２では、人物Ａと人物Ｂが重なって１つの前景領域として検出されているが、人物Ｃは１つの前景領域として検出され、よって、人物Ａ及び人物Ｂに対応する前景領域と、人物Ｃに対応する前景領域それぞれに識別子が付与されている。さらに、カメラ１−３では、人物Ｂと人物Ｃが重なって１つの前景領域として検出されているが、人物Ａは１つの前景領域として検出され、よって、人物Ｂ及び人物Ｃに対応する前景領域と、人物Ａに対応する前景領域それぞれに識別子が付与されている。

識別部４は、例えば、閾値処理して得られた各接触領域の各画素を、識別子の組み合わせ毎にグループ化する。例えば、図６の例では、識別子＃１、＃２及び＃４のグループと、識別子＃１、＃２及び＃５のグループと、識別子＃１、＃３及び＃５のグループとの３つのグループが存在する。そして、識別部４は、同じ識別子の組み合わせの画素で構成される接触領域が１人の人物に対応していると判定し、識別子の組み合わせが異なると、異なる人物に対応していると判定する。そして、接触領域のフィールド平面上の位置を、対応する人物の位置とする。図６に示す様に、各カメラ１−１〜１−３の総てにおいてオクルージョンが生じたとしても、３人の人物を識別できることが分かる。例えば、図５においては、接触領域６２及び接触領域６３の識別子の組み合わせは同じであり、接触領域６１と、接触領域６２と、接触領域６４の識別子の組み合わせは異なる。したがって、識別部４は、３人の人物を識別することができる。

識別部４は、この３人の人物のフィールド平面上の位置を、各人物の３次元空間位置と判定する。なお、同じ人物に対応する接触領域内の何れの位置を当該人物の３次元空間位置とするかは任意である。さらに、識別部４は、フレーム毎に以上の処理を行うことで各人物を特定してフィールド平面上の人物位置の追跡を行う。なお、フレーム間での人物の異同はフレーム間におけるフィールド平面上の位置の差に基づき判定する。

なお、各ラベリング処理部３が前景領域の識別子を独立して付与する場合、識別部４は、各ラベリング処理部３に対応するカメラの識別子と、前景領域の識別子の組み合わせで各前景領域を特定する。例えば、各ラベリング処理部３が、数字の＃１から順に前景領域に識別子を付与する場合、カメラ１−１で撮影した画像からの前景領域の識別子＃１を、識別部４は、識別子（１−１，＃１）と判定し、カメラ１−２で撮影した画像からの前景領域の識別子＃２を、識別部４は、識別子（１−２，＃１）と判定する。また、各ラベリング処理部３が、他のラベリング処理部３とは重複しない識別子を各前景領域に付与するように構成しておくこともできる。

以上、本実施形態によると、複数のカメラ１で同時にオクルージョンが生じたとしても、個々の人物を識別することができる。非特許文献１に記載の方法では、あるカメラにおいてオクルージョンが発生した場合、他のカメラでは正確に検出できているものとして処理を行う。したがって、他のカメラにオクルージョンが生じていると精度良く人物の識別を行うことができない。或いは、正確に検出できているカメラを特定する処理を行う必要がある。本実施形態では、複数のカメラにおいてオクルージョンが生じていたとしても精度良く個々の人物を識別でき、かつ、正確に検出できているカメラを特定する必要もない。

続いて、誤差修正部５での処理について説明する。例えば、スポーツ映像等の場合には被写体である選手の数は既知であり、この数をＭとする。例えば、識別部４で識別された被写体の数ｍ、つまり、接触領域の識別子の組み合わせの数ｍがＭであると、識別部４では精度よく被写体を識別できていることになる。一方、識別部４で識別された被写体の数ｍがＭより大きい場合や小さい場合には、識別部４では精度よく被写体を識別できていないことになる。

誤差修正部５は、ｍ＜Ｍであると、各前景抽出部２が抽出した前景領域を１画素ずつ広げることを識別部４に通知する。つまり、前景領域と背景領域の境界に隣接する背景領域側の画素を前景領域に変換させる。そして、拡大した前景領域に基づき、再度、識別部４に被写体の識別を行わせる。以上の処理を、ｍ＝Ｍとなるまで繰り返す。拡大した前景領域により投影領域を求めることで、投影領域の重なりが増加し、よって、判定される被写体数が増加する。なお、被写体数が実際より少なく判定されるのは、背景差分法による前景領域の抽出において、被写体とフィールド平面の接触部分、つまり、足部分が欠損又は細くなることが主な原因であり、前景領域を拡大することで、識別精度を改良することができる。

また、誤差修正部５は、ｍ＞Ｍであると、各接触領域について、接触領域の元となった各カメラ１の前景領域の大きさ（領域内の画素数）を判定する。そして、その最小値と、中央値又は最大値とを比較する。例えば、最小値をＳ_ＭＩＮとし、中央値をＳ_ＭＥＤとし、所定の係数をτとすると、
Ｓ_ＭＩＮ≦Ｓ_ＭＥＤ×τ
であるか否かを判定する。そして、Ｓ_ＭＩＮがＳ_ＭＥＤ×τ以下であると、当該接触領域は前景領域として判定されたノイズによるものと判定して、当該接触領域は人物のものではないと判定する。なお、最小値と比較する値の元となる値は、最小値以外の値であれば良く、中央値や最大値に限定されない。被写体の数が実際の数より多くなるのは、一般的に、背景差分法により抽出した前景領域のノイズが原因である。例えば、図７の参照符号７１は、前景領域のノイズを示している。したがって、接触領域の元となった前景領域のサイズを各カメラ１について求め、この最小値が、その他の値、例えば、中央値や最大値よりかなり小さい場合には、ノイズによる誤検出と判定することができる。なお、τは、例えば、０．０５といった、１よりかなり小さい値、例えば、０．１以下の値とする。以上の処理を、被写体の数がＭとなるまで繰り返す。

なお、本発明による識別装置は、コンピュータを上記識別装置として動作させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。

２：前景抽出部、３：ラベリング処理部、４：識別部

Claims (8)

1. 複数のカメラで撮影した複数の被写体を含む画像から個々の被写体を識別する識別装置であって、
   各カメラで撮影した画像の前景領域を抽出する抽出手段と、
   各カメラそれぞれについて、カメラで撮影した画像の前景領域を、当該カメラの内部パラメータ及び外部パラメータに基づき所定平面上に投影し、前景領域に対応する前記所定平面上の投影領域を求める投影手段と、
   各カメラで撮影した画像の前景領域に対応する投影領域のそれぞれに識別子を付与する付与手段と、
   前記所定平面上における前記投影領域の重なり数をカウントし、前記重なり数が閾値以上である前記所定平面上の領域を、被写体と前記所定平面との接触領域と判定する判定手段と、
   接触領域のそれぞれについて、当該接触領域の元となった投影領域の識別子の組み合わせを判定し、当該組み合わせの同じ接触領域を同じ被写体と識別し、当該組み合わせの異なる接触領域を異なる被写体と識別する識別手段と、
   を備えていることを特徴とする複数のカメラで撮影した画像から個々の被写体を識別する識別装置。
2. 前記所定平面は地面又は床面であることを特徴とする請求項１に記載の複数のカメラで撮影した画像から個々の被写体を識別する識別装置。
3. 前記識別子の組み合わせの数に基づき被写体の数を判定し、前記被写体の数が所定値より小さいと、前記抽出手段が抽出した前景領域を所定画素数だけ拡大し、前記投影手段、前記付与手段、前記判定手段及び前記識別手段に、前記拡大後の前景領域に基づき再度処理を行わせる誤差修正手段をさらに備えていることを特徴とする請求項１又は２に記載の複数のカメラで撮影した画像から個々の被写体を識別する識別装置。
4. 前記所定画素数は１画素であることを特徴とする請求項３に記載の複数のカメラで撮影した画像から個々の被写体を識別する識別装置。
5. 前記識別子の組み合わせの数に基づき被写体の数を判定し、前記被写体の数が所定値より大きいと、接触領域の元となった各投影領域に対応する各前景領域のサイズを求め、前記サイズの最小値が、前記最小値以外の値に基づく値より小さいと、当該接触領域は被写体ではないと判定する誤差修正手段をさらに備えていることを特徴とする請求項１又は２に記載の複数のカメラで撮影した画像から個々の被写体を識別する識別装置。
6. 前記最小値以外の値に基づく値は、前記サイズの中央値又は最大値に所定の係数を乗じた値であることを特徴とする請求項５に記載の複数のカメラで撮影した画像から個々の被写体を識別する識別装置。
7. 複数のカメラで撮影した複数の被写体を含む画像から個々の被写体を識別する識別装置における識別方法であって、
   各カメラで撮影した画像の前景領域を抽出する抽出ステップと、
   各カメラそれぞれについて、カメラで撮影した画像の前景領域を、当該カメラの内部パラメータ及び外部パラメータに基づき所定平面上に投影し、前景領域に対応する前記所定平面上の投影領域を求める投影ステップと、
   各カメラで撮影した画像の前景領域に対応する投影領域のそれぞれに識別子を付与する付与ステップと、
   前記所定平面上における前記投影領域の重なり数をカウントし、前記重なり数が閾値以上である前記所定平面上の領域を、被写体と前記所定平面との接触領域と判定する判定ステップと、
   接触領域のそれぞれについて、当該接触領域の元となった投影領域の識別子の組み合わせを判定し、当該組み合わせの同じ接触領域を同じ被写体と識別し、当該組み合わせの異なる接触領域を異なる被写体と識別する識別ステップと、
   を含むことを特徴とする複数のカメラで撮影した画像から個々の被写体を識別する識別方法。
8. 請求項１から６のいずれか１項に記載の識別装置としてコンピュータを機能させることを特徴とする複数のカメラで撮影した画像から個々の被写体を識別するプログラム。