JP6504708B2 - 前景領域における被写体の重なりを識別する識別装置、識別方法及びコンピュータ可読記憶媒体 - Google Patents

Description

本発明は、カメラで撮影した動画の各フレームから抽出した前景領域における被写体の重なりを識別する識別技術に関する。

例えば、スポーツの競技場の周囲に複数のカメラを設置し、各カメラが撮影する動画データに基づき、ユーザが指定する任意の視点における静止画又は動画を再現する自由視点映像システムを構築することが行われている。自由視点映像システムにおいては、複数のカメラで撮影した動画から個々の被写体を識別・追跡し、当該被写体の３次元空間位置を推定することで、疑似的な３次元空間を再現している。

ここで、スポーツ映像の様に、被写体である選手が移動する場合、あるカメラが撮影する画像上では、被写体の移動により被写体に重なり（以下、オクルージョンと呼ぶ。）が生じる。しかしながら、この様な場合においても個々の被写体を識別する必要がある。特許文献１は、画像の前景領域を抽出し、この前景領域の色等の特徴値により、頭部、胴体部等の被写体の部分を識別する構成を開示している。

米国特許第８６２００７７号明細書

特許文献１の構成では、オクルージョンにより１つの前景領域が複数の被写体に対応する場合でも複数の被写体の個々の部分を識別できるのみであり、１つの前景領域が複数の被写体に対応するか否かを識別することはできない。

本発明は、前景領域が複数の被写体の重なりであるか否かを精度よく識別する識別装置、識別方法及びコンピュータ可読記憶媒体を提供するものである。

本発明の一側面によると、識別装置は、動画のフレームの前景領域を抽出する抽出手段と、前記抽出手段が抽出した前景領域を取り囲む最小の矩形領域を判定する領域判定手段と、第１フレームの第１矩形領域により取り囲まれる第１前景領域が、複数の被写体に対応するか否かを判定する重複判定手段と、を備えており、前記重複判定手段は、前記第１矩形領域が、前記第１フレームの直前の第２フレームの第２矩形領域の２つ以上と重複し、かつ、前記２つ以上の第２矩形領域のそれぞれについて、第２矩形領域の面積に対する、前記第１矩形領域と当該第２矩形領域の重複領域の面積の割合が第１閾値以上であると、前記第１前景領域が、複数の被写体に対応すると判定することを特徴とする。

本発明によると、前景領域が複数の被写体の重なりであるか否かを精度よく識別することができる。

一実施形態による識別装置の構成図。 一実施形態による前景抽出部及びスケルトン判定部の処理の説明図。 重複判定部での処理の説明図。 分離部での処理の説明図。 分離部での処理の説明図。

以下、本発明の例示的な実施形態について図面を参照して説明する。なお、以下の実施形態は例示であり、本発明を実施形態の内容に限定するものではない。また、以下の各図においては、実施形態の説明に必要ではない構成要素については図から省略する。

図１は、本実施形態による識別装置の構成図である。なお、以下の処理は動画のフレーム順に従いフレーム毎に行う。前景抽出部１は、背景画像を示す画像データを保持しており、背景差分法によりフレーム内の前景に対応する画素を識別し、前景に対応する画素が連続している領域を１つの前景領域として抽出・検出する。なお、ノイズ等を除去するため、合わせてフィルタ処理を行うこともできる。スケルトン判定部２は、前景領域から、被写体に対応するスケルトンを判定する。スケルトンとは、被写体の形状をラインにより表現したものである。図２（Ａ）は、例えば、動画のあるフレームの被写体であり、図２（Ｂ）は、前景抽出部１が図２（Ａ）の画像から検出する前景領域を白色で表したものであり、図２（Ｃ）は、スケルトン判定部２が図２（Ｂ）の前景領域から判定するスケルトンを示している。なお、スケルトンの判定には公知の方法を使用できる。

重複判定部３は、前景抽出部１が検出した前景領域が複数の被写体の重なりであるか否かを判定する。そのため、重複判定部３は、スケルトン判定部２が判定したスケルトンを取り囲む最小の矩形領域を判定する。なお、前景抽出部１が検出した前景領域を取り囲む最小の矩形領域を判定する構成であっても良い。以下では、処理対象フレームの矩形領域を第１矩形領域と呼び、処理対象フレームの直前のフレームの矩形領域を第２矩形領域と呼ぶものとする。また、第１矩形領域が取り囲む前景領域を第１前景領域と呼び、第２矩形領域が取り囲む前景領域を第２前景領域と呼ぶものとする。重複判定部３は、まず、第１矩形領域が、２つ以上の第２矩形領域と重複領域を有さない場合、当該第１矩形領域により取り囲まれる第１前景領域は１つの被写体に対応すると判定する。一方、第１矩形領域が２つ以上の第２矩形領域と重複領域を有する場合、重複判定部３は、図３を用いて説明する判定基準により、当該第１矩形領域により取り囲まれる第１前景領域が複数の被写体に対応するか否かを判定する。

図３において参照符号３０は、処理対象フレームの第１矩形領域であり、参照符号２１及び２２は、処理対象フレームの直前のフレームにおける第２矩形領域である。なお、第２矩形領域２１及び２２のそれぞれが取り囲む第２前景領域は、当該１つ前のフレームに対する処理により１つの被写体に対応すると判定されているものとする。重複判定部３は、第１矩形領域３０と第２矩形領域２１との重複領域の面積の、第２矩形領域２１の面積に対する割合θ１と、第１矩形領域３０と第２矩形領域２２との重複領域の面積の、第２矩形領域２２の面積に対する割合θ２と、を求める。そして、割合θ１及びθ２が共に第１閾値以上であると、第１矩形領域３０が取り囲む第１前景領域は、１つ前のフレームの第２矩形領域２１が取り囲む被写体と第２矩形領域２２が取り囲む被写体が重複したもの、つまり、第１矩形領域３０が取り囲む第１前景領域は、２つの被写体が重なったことにより１つの前景領域として検出されたものであると判定する。なお、例えば、第１閾値には５０％や、５０％以上の値を使用することができる。

分離部４は、複数の被写体に対応する第１前景領域を取り囲んでいると重複判定部３が判定した第１矩形領域３０に対して処理を行う。まず、分離部４は、これら第１矩形領域３０により取り囲まれる第１前景領域を、分離処理の対象とするか否かを判定する。そのため、分離部４は、第１矩形領域３０と第２矩形領域２１との重複領域の面積の、第１矩形領域３０の面積に対する割合Ｒ１と、第１矩形領域３０と第２矩形領域２２との重複領域の面積の、第１矩形領域３０の面積に対する割合Ｒ２と、を求める。そして、割合Ｒ１及びＲ２のいずれかが第２閾値より大きいと、分離部４は、当該第１矩形領域３０により取り囲まれる第１前景領域を分離処理の対象にはしないと判定する。この理由について図４を用いて説明する。図４は、第２矩形領域２１に対応する被写体Ａ（図示せず）と第２矩形領域２２の被写体Ｂ（図示せず）のそれぞれが移動して重なったことにより、処理対象フレームでは１つの前景領域として検出された状態を示している。処理対象フレームである第１矩形領域３０の面積と第２矩形領域２１の面積は略同じである。これは、例えば、１つ前のフレームにおいて手前にいる被写体Ａと被写体Ａよりも遠い位置にいる被写体Ｂが、処理対象フレームでは移動により重複して、被写体Ｂの大部分が被写体Ａにより見えなくなっている状態に対応する。この様な場合には、被写体Ｂの視認できる領域が小さいため、分離処理を行っても精度良く分離できず、かつ、被写体Ｂの大部分は被写体Ａにより見えなくなっているため、分離しなくともその後の処理に問題はない。したがって、本実施形態では、この様な場合には第１前景領域については１つの被写体に対応しているとして扱い、この第１前景領域を分離対象にはしない。なお、図４の例において、割合Ｒ２は、略１００％に近くなる。よって、第２閾値は、９０％以上の値とすることができる。

また、分離部４は、さらに、第１矩形領域３０の縦横比、例えば、垂直方向の長さに対する水平方向の長さが所定範囲内であるかを調べる。縦横比が所定範囲内にないことは、第１矩形領域３０が、水平方向又は垂直方向に細長い形状であることを意味する。この様な場合には分離処理を行っても良好に分離できず、かつ、分離しなくとも問題がないとして、分離部４は、第１矩形領域３０により取り囲まれる第１前景領域を分離処理の対象にはしないと判定する。

まとめると、分離部４は、割合Ｒ１及びＲ２が共に第２閾値以下であり、かつ、第１矩形領域３０の縦横比が所定範囲内であると、第１矩形領域３０により取り囲まれる第１前景領域を分離処理の対象であると判定し、それ以外の場合には当該第１前景領域を分離処理の対象にはしないと判定する。しかしながら、重複判定部３が複数の被写体に対応すると判定した総ての第１前景領域を分離処理の対象とする構成であっても良い。また、割合Ｒ１及びＲ２による条件と、縦横比による条件のいずれかのみを使用する構成であって良い。

続いて、分離部４における分離処理について説明する。まず、分離部４は、処理対象の第１前景領域を取り囲む第１矩形領域３０内の原画像にバイラテラル・フィルタ処理を適用する。これにより、エッジをぼかすことなく、同様の色の領域を平滑化できる。続いて、分離部４は、色強調処理を行う。例えば、第１矩形領域３０内の各画素のＲＧＢ値とＸＹＺ値を求め、各画素の画素値をＸ、Ｙ及びＲの組み合わせで表す。これにより、人の皮膚の色を強調できる。続いて、分離部４は、Ｙの値に基づき、ヒストグラムイコライゼーションを行い、コントラストを改善する。最後に、分離部４は、第２矩形領域２１及び２２のスケルトンを、第１矩形領域３０が取り囲む前景領域に基づき、第１矩形領域３０内にマッピングする。図５の参照符号１０及び２０は、それぞれ、第２矩形領域２１及び２２の被写体であり、参照符号１１及び２１は、それぞれ、第２矩形領域２１及び２２のスケルトンである。また、図５の参照符号３０は、第１矩形領域３０が取り囲む前景領域を示している。図５の参照符号４０及び４１は、スケルトン１１及び２１を、前景領域３０にマッピングした状態を示している。図５においては、スケルトン１１及び２１と同じ位置に、スケルトン４０及び４１をマッピングしている。

そして、分離部４は、マッピングしたスケルトンを基準としてウォータシェッドアルゴリズムにより、第１矩形領域３０の第１前景領域を２つの被写体に分離する。図５の参照符号５１及び５２は、２つに分離された被写体を示している。この分離は、ヒストグラムイコライゼーション後の画像の画素値の差に基づき行われる。より具体的には、スケルトン４０及び４１から各方向に画素値の変化を探索し、その変化が大きいところで被写体を分離する。なお、本例においては分離する数が２であるのは、第１矩形領域３０と重複領域を有する第２矩形領域が２つであるからである。つまり、第１矩形領域３０と重複領域を有する第２矩形領域がＮ個である場合、分離部４は、第１矩形領域３０により取り囲まれる第１前景領域をＮ個に分離する。この様にして第１前景領域をＮ個の前景領域に分離した後、分離後の前景領域に基づき、矩形領域を再度判定し、次のフレームの処理における第２矩形領域とする。なお、分離部４は、バイラテラル・フィルタ処理、色強調処理及びヒストグラムイコライゼーションの総てを行う必要はなく、バイラテラル・フィルタ処理、色強調処理及びヒストグラムイコライゼーションのいずれか１つ以上を行う構成であっても良い。なお、バイラテラル・フィルタ処理を行う場合には、バイラテラル・フィルタ処理を最初に行う。また、ヒストグラムイコライゼーションを行う場合には、これを最後に行う。また、色強調処理については、バイラテラル・フィルタ処理を行う場合にはその後に行い、ヒストグラムイコライゼーションを行う場合にはその後に行う。

なお、本発明による識別装置は、コンピュータを上記識別装置として動作させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。

１：前景抽出部、２：スケルトン判定部、３：重複判定部、４：分離部

Claims (7)

1. 動画のフレームの前景領域を抽出する抽出手段と、
   前記抽出手段が抽出した前景領域を取り囲む最小の矩形領域を判定する領域判定手段と、
   第１フレームの第１矩形領域により取り囲まれる第１前景領域が、複数の被写体に対応するか否かを判定する重複判定手段と、
   を備えており、
   前記重複判定手段は、前記第１矩形領域が、前記第１フレームの直前の第２フレームの第２矩形領域の２つ以上と重複し、かつ、前記２つ以上の第２矩形領域のそれぞれについて、第２矩形領域の面積に対する、前記第１矩形領域と当該第２矩形領域の重複領域の面積の割合が第１閾値以上であると、前記第１前景領域が、複数の被写体に対応すると判定することを特徴とする前景領域における被写体の重なりを識別する識別装置。
2. 前記重複判定手段が複数の被写体に対応すると判定した第１前景領域を取り囲む第１矩形領域が所定条件を満たす場合、当該第１矩形領域と重複領域を有する第２矩形領域と同じ数に当該第１前景領域を分離する分離手段をさらに備えており、
   前記所定条件は、当該第１矩形領域と重複領域を有する第２矩形領域のそれぞれについて、当該第１矩形領域に対する、当該第１矩形領域と第２矩形領域の重複領域の面積の割合が第２閾値以下であるとの条件を含むことを特徴とする請求項１に記載の前景領域における被写体の重なりを識別する識別装置。
3. 前記所定条件は、前記重複判定手段が複数の被写体に対応すると判定した第１前景領域を取り囲む第１矩形領域の縦横比が所定範囲内であるとの条件を含むことを特徴とする請求項２に記載の前景領域における被写体の重なりを識別する識別装置。
4. 前記矩形領域内の前景領域に対応するスケルトンを判定するスケルトン判定手段をさらに備えており、
   前記分離手段は、第１矩形領域により取り囲まれる第１前景領域を分離する場合、当該第１矩形領域と重複領域を有する第２矩形領域により取り囲まれる前景領域に対応するスケルトンを、当該第１前景領域にマッピングして、当該第１前景領域を分離することを特徴とする請求項２又は３に記載の前景領域における被写体の重なりを識別する識別装置。
5. 前記分離手段は、第１矩形領域により取り囲まれる第１前景領域を分離する場合、当該第１矩形領域に対するバイラテラル・フィルタ処理、当該第１矩形領域の各画素に対する色強調処理、及び、当該第１矩形領域の各画素のヒストグラムイコライゼーションの少なくともいずれかを行うことを特徴とする請求項２から４のいずれか１項に記載の前景領域における被写体の重なりを識別する識別装置。
6. 動画のフレームの被写体を識別する識別装置における識別方法であって、
   フレームの前景領域を抽出する抽出ステップと、
   前記抽出した前景領域を取り囲む最小の矩形領域を判定する領域判定ステップと、
   第１フレームの第１矩形領域により取り囲まれる第１前景領域が、複数の被写体に対応するか否かを判定する重複判定ステップと、
   を含み、
   前記重複判定ステップでは、前記第１矩形領域が、前記第１フレームの直前の第２フレームの第２矩形領域の２つ以上と重複し、かつ、前記２つ以上の第２矩形領域のそれぞれについて、第２矩形領域の面積に対する、前記第１矩形領域と当該第２矩形領域の重複領域の面積の割合が第１閾値以上であると、前記第１前景領域が、複数の被写体に対応すると判定することを特徴とする前景領域における被写体の重なりを識別する識別方法。
7. 請求項１から５のいずれか１項に記載の前景領域における被写体の重なりを識別する識別装置としてコンピュータを機能させるプログラムを有することを特徴とするコンピュータ可読記憶媒体。