JP6504708B2 - 前景領域における被写体の重なりを識別する識別装置、識別方法及びコンピュータ可読記憶媒体 - Google Patents

前景領域における被写体の重なりを識別する識別装置、識別方法及びコンピュータ可読記憶媒体 Download PDF

Info

Publication number
JP6504708B2
JP6504708B2 JP2015210755A JP2015210755A JP6504708B2 JP 6504708 B2 JP6504708 B2 JP 6504708B2 JP 2015210755 A JP2015210755 A JP 2015210755A JP 2015210755 A JP2015210755 A JP 2015210755A JP 6504708 B2 JP6504708 B2 JP 6504708B2
Authority
JP
Japan
Prior art keywords
area
foreground
rectangular
rectangular area
overlap
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015210755A
Other languages
English (en)
Other versions
JP2017084043A (ja
JP2017084043A5 (ja
Inventor
ホウアリ サビリン
ホウアリ サビリン
浩嗣 三功
浩嗣 三功
内藤 整
整 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2015210755A priority Critical patent/JP6504708B2/ja
Publication of JP2017084043A publication Critical patent/JP2017084043A/ja
Publication of JP2017084043A5 publication Critical patent/JP2017084043A5/ja
Application granted granted Critical
Publication of JP6504708B2 publication Critical patent/JP6504708B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Description

本発明は、カメラで撮影した動画の各フレームから抽出した前景領域における被写体の重なりを識別する識別技術に関する。
例えば、スポーツの競技場の周囲に複数のカメラを設置し、各カメラが撮影する動画データに基づき、ユーザが指定する任意の視点における静止画又は動画を再現する自由視点映像システムを構築することが行われている。自由視点映像システムにおいては、複数のカメラで撮影した動画から個々の被写体を識別・追跡し、当該被写体の3次元空間位置を推定することで、疑似的な3次元空間を再現している。
ここで、スポーツ映像の様に、被写体である選手が移動する場合、あるカメラが撮影する画像上では、被写体の移動により被写体に重なり(以下、オクルージョンと呼ぶ。)が生じる。しかしながら、この様な場合においても個々の被写体を識別する必要がある。特許文献1は、画像の前景領域を抽出し、この前景領域の色等の特徴値により、頭部、胴体部等の被写体の部分を識別する構成を開示している。
米国特許第8620077号明細書
特許文献1の構成では、オクルージョンにより1つの前景領域が複数の被写体に対応する場合でも複数の被写体の個々の部分を識別できるのみであり、1つの前景領域が複数の被写体に対応するか否かを識別することはできない。
本発明は、前景領域が複数の被写体の重なりであるか否かを精度よく識別する識別装置、識別方法及びコンピュータ可読記憶媒体を提供するものである。
本発明の一側面によると、識別装置は、動画のフレームの前景領域を抽出する抽出手段と、前記抽出手段が抽出した前景領域を取り囲む最小の矩形領域を判定する領域判定手段と、第1フレームの第1矩形領域により取り囲まれる第1前景領域が、複数の被写体に対応するか否かを判定する重複判定手段と、を備えており、前記重複判定手段は、前記第1矩形領域が、前記第1フレームの直前の第2フレームの第2矩形領域の2つ以上と重複し、かつ、前記2つ以上の第2矩形領域のそれぞれについて、第2矩形領域の面積に対する、前記第1矩形領域と当該第2矩形領域の重複領域の面積の割合が第1閾値以上であると、前記第1前景領域が、複数の被写体に対応すると判定することを特徴とする。
本発明によると、前景領域が複数の被写体の重なりであるか否かを精度よく識別することができる。
一実施形態による識別装置の構成図。 一実施形態による前景抽出部及びスケルトン判定部の処理の説明図。 重複判定部での処理の説明図。 分離部での処理の説明図。 分離部での処理の説明図。
以下、本発明の例示的な実施形態について図面を参照して説明する。なお、以下の実施形態は例示であり、本発明を実施形態の内容に限定するものではない。また、以下の各図においては、実施形態の説明に必要ではない構成要素については図から省略する。
図1は、本実施形態による識別装置の構成図である。なお、以下の処理は動画のフレーム順に従いフレーム毎に行う。前景抽出部1は、背景画像を示す画像データを保持しており、背景差分法によりフレーム内の前景に対応する画素を識別し、前景に対応する画素が連続している領域を1つの前景領域として抽出・検出する。なお、ノイズ等を除去するため、合わせてフィルタ処理を行うこともできる。スケルトン判定部2は、前景領域から、被写体に対応するスケルトンを判定する。スケルトンとは、被写体の形状をラインにより表現したものである。図2(A)は、例えば、動画のあるフレームの被写体であり、図2(B)は、前景抽出部1が図2(A)の画像から検出する前景領域を白色で表したものであり、図2(C)は、スケルトン判定部2が図2(B)の前景領域から判定するスケルトンを示している。なお、スケルトンの判定には公知の方法を使用できる。
重複判定部3は、前景抽出部1が検出した前景領域が複数の被写体の重なりであるか否かを判定する。そのため、重複判定部3は、スケルトン判定部2が判定したスケルトンを取り囲む最小の矩形領域を判定する。なお、前景抽出部1が検出した前景領域を取り囲む最小の矩形領域を判定する構成であっても良い。以下では、処理対象フレームの矩形領域を第1矩形領域と呼び、処理対象フレームの直前のフレームの矩形領域を第2矩形領域と呼ぶものとする。また、第1矩形領域が取り囲む前景領域を第1前景領域と呼び、第2矩形領域が取り囲む前景領域を第2前景領域と呼ぶものとする。重複判定部3は、まず、第1矩形領域が、2つ以上の第2矩形領域と重複領域を有さない場合、当該第1矩形領域により取り囲まれる第1前景領域は1つの被写体に対応すると判定する。一方、第1矩形領域が2つ以上の第2矩形領域と重複領域を有する場合、重複判定部3は、図3を用いて説明する判定基準により、当該第1矩形領域により取り囲まれる第1前景領域が複数の被写体に対応するか否かを判定する。
図3において参照符号30は、処理対象フレームの第1矩形領域であり、参照符号21及び22は、処理対象フレームの直前のフレームにおける第2矩形領域である。なお、第2矩形領域21及び22のそれぞれが取り囲む第2前景領域は、当該1つ前のフレームに対する処理により1つの被写体に対応すると判定されているものとする。重複判定部3は、第1矩形領域30と第2矩形領域21との重複領域の面積の、第2矩形領域21の面積に対する割合θ1と、第1矩形領域30と第2矩形領域22との重複領域の面積の、第2矩形領域22の面積に対する割合θ2と、を求める。そして、割合θ1及びθ2が共に第1閾値以上であると、第1矩形領域30が取り囲む第1前景領域は、1つ前のフレームの第2矩形領域21が取り囲む被写体と第2矩形領域22が取り囲む被写体が重複したもの、つまり、第1矩形領域30が取り囲む第1前景領域は、2つの被写体が重なったことにより1つの前景領域として検出されたものであると判定する。なお、例えば、第1閾値には50%や、50%以上の値を使用することができる。
分離部4は、複数の被写体に対応する第1前景領域を取り囲んでいると重複判定部3が判定した第1矩形領域30に対して処理を行う。まず、分離部4は、これら第1矩形領域30により取り囲まれる第1前景領域を、分離処理の対象とするか否かを判定する。そのため、分離部4は、第1矩形領域30と第2矩形領域21との重複領域の面積の、第1矩形領域30の面積に対する割合R1と、第1矩形領域30と第2矩形領域22との重複領域の面積の、第1矩形領域30の面積に対する割合R2と、を求める。そして、割合R1及びR2のいずれかが第2閾値より大きいと、分離部4は、当該第1矩形領域30により取り囲まれる第1前景領域を分離処理の対象にはしないと判定する。この理由について図4を用いて説明する。図4は、第2矩形領域21に対応する被写体A(図示せず)と第2矩形領域22の被写体B(図示せず)のそれぞれが移動して重なったことにより、処理対象フレームでは1つの前景領域として検出された状態を示している。処理対象フレームである第1矩形領域30の面積と第2矩形領域21の面積は略同じである。これは、例えば、1つ前のフレームにおいて手前にいる被写体Aと被写体Aよりも遠い位置にいる被写体Bが、処理対象フレームでは移動により重複して、被写体Bの大部分が被写体Aにより見えなくなっている状態に対応する。この様な場合には、被写体Bの視認できる領域が小さいため、分離処理を行っても精度良く分離できず、かつ、被写体Bの大部分は被写体Aにより見えなくなっているため、分離しなくともその後の処理に問題はない。したがって、本実施形態では、この様な場合には第1前景領域については1つの被写体に対応しているとして扱い、この第1前景領域を分離対象にはしない。なお、図4の例において、割合R2は、略100%に近くなる。よって、第2閾値は、90%以上の値とすることができる。
また、分離部4は、さらに、第1矩形領域30の縦横比、例えば、垂直方向の長さに対する水平方向の長さが所定範囲内であるかを調べる。縦横比が所定範囲内にないことは、第1矩形領域30が、水平方向又は垂直方向に細長い形状であることを意味する。この様な場合には分離処理を行っても良好に分離できず、かつ、分離しなくとも問題がないとして、分離部4は、第1矩形領域30により取り囲まれる第1前景領域を分離処理の対象にはしないと判定する。
まとめると、分離部4は、割合R1及びR2が共に第2閾値以下であり、かつ、第1矩形領域30の縦横比が所定範囲内であると、第1矩形領域30により取り囲まれる第1前景領域を分離処理の対象であると判定し、それ以外の場合には当該第1前景領域を分離処理の対象にはしないと判定する。しかしながら、重複判定部3が複数の被写体に対応すると判定した総ての第1前景領域を分離処理の対象とする構成であっても良い。また、割合R1及びR2による条件と、縦横比による条件のいずれかのみを使用する構成であって良い。
続いて、分離部4における分離処理について説明する。まず、分離部4は、処理対象の第1前景領域を取り囲む第1矩形領域30内の原画像にバイラテラル・フィルタ処理を適用する。これにより、エッジをぼかすことなく、同様の色の領域を平滑化できる。続いて、分離部4は、色強調処理を行う。例えば、第1矩形領域30内の各画素のRGB値とXYZ値を求め、各画素の画素値をX、Y及びRの組み合わせで表す。これにより、人の皮膚の色を強調できる。続いて、分離部4は、Yの値に基づき、ヒストグラムイコライゼーションを行い、コントラストを改善する。最後に、分離部4は、第2矩形領域21及び22のスケルトンを、第1矩形領域30が取り囲む前景領域に基づき、第1矩形領域30内にマッピングする。図5の参照符号10及び20は、それぞれ、第2矩形領域21及び22の被写体であり、参照符号11及び21は、それぞれ、第2矩形領域21及び22のスケルトンである。また、図5の参照符号30は、第1矩形領域30が取り囲む前景領域を示している。図5の参照符号40及び41は、スケルトン11及び21を、前景領域30にマッピングした状態を示している。図5においては、スケルトン11及び21と同じ位置に、スケルトン40及び41をマッピングしている。
そして、分離部4は、マッピングしたスケルトンを基準としてウォータシェッドアルゴリズムにより、第1矩形領域30の第1前景領域を2つの被写体に分離する。図5の参照符号51及び52は、2つに分離された被写体を示している。この分離は、ヒストグラムイコライゼーション後の画像の画素値の差に基づき行われる。より具体的には、スケルトン40及び41から各方向に画素値の変化を探索し、その変化が大きいところで被写体を分離する。なお、本例においては分離する数が2であるのは、第1矩形領域30と重複領域を有する第2矩形領域が2つであるからである。つまり、第1矩形領域30と重複領域を有する第2矩形領域がN個である場合、分離部4は、第1矩形領域30により取り囲まれる第1前景領域をN個に分離する。この様にして第1前景領域をN個の前景領域に分離した後、分離後の前景領域に基づき、矩形領域を再度判定し、次のフレームの処理における第2矩形領域とする。なお、分離部4は、バイラテラル・フィルタ処理、色強調処理及びヒストグラムイコライゼーションの総てを行う必要はなく、バイラテラル・フィルタ処理、色強調処理及びヒストグラムイコライゼーションのいずれか1つ以上を行う構成であっても良い。なお、バイラテラル・フィルタ処理を行う場合には、バイラテラル・フィルタ処理を最初に行う。また、ヒストグラムイコライゼーションを行う場合には、これを最後に行う。また、色強調処理については、バイラテラル・フィルタ処理を行う場合にはその後に行い、ヒストグラムイコライゼーションを行う場合にはその後に行う。
なお、本発明による識別装置は、コンピュータを上記識別装置として動作させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。
1:前景抽出部、2:スケルトン判定部、3:重複判定部、4:分離部

Claims (7)

  1. 動画のフレームの前景領域を抽出する抽出手段と、
    前記抽出手段が抽出した前景領域を取り囲む最小の矩形領域を判定する領域判定手段と、
    第1フレームの第1矩形領域により取り囲まれる第1前景領域が、複数の被写体に対応するか否かを判定する重複判定手段と、
    を備えており、
    前記重複判定手段は、前記第1矩形領域が、前記第1フレームの直前の第2フレームの第2矩形領域の2つ以上と重複し、かつ、前記2つ以上の第2矩形領域のそれぞれについて、第2矩形領域の面積に対する、前記第1矩形領域と当該第2矩形領域の重複領域の面積の割合が第1閾値以上であると、前記第1前景領域が、複数の被写体に対応すると判定することを特徴とする前景領域における被写体の重なりを識別する識別装置。
  2. 前記重複判定手段が複数の被写体に対応すると判定した第1前景領域を取り囲む第1矩形領域が所定条件を満たす場合、当該第1矩形領域と重複領域を有する第2矩形領域と同じ数に当該第1前景領域を分離する分離手段をさらに備えており、
    前記所定条件は、当該第1矩形領域と重複領域を有する第2矩形領域のそれぞれについて、当該第1矩形領域に対する、当該第1矩形領域と第2矩形領域の重複領域の面積の割合が第2閾値以下であるとの条件を含むことを特徴とする請求項1に記載の前景領域における被写体の重なりを識別する識別装置。
  3. 前記所定条件は、前記重複判定手段が複数の被写体に対応すると判定した第1前景領域を取り囲む第1矩形領域の縦横比が所定範囲内であるとの条件を含むことを特徴とする請求項2に記載の前景領域における被写体の重なりを識別する識別装置。
  4. 前記矩形領域内の前景領域に対応するスケルトンを判定するスケルトン判定手段をさらに備えており、
    前記分離手段は、第1矩形領域により取り囲まれる第1前景領域を分離する場合、当該第1矩形領域と重複領域を有する第2矩形領域により取り囲まれる前景領域に対応するスケルトンを、当該第1前景領域にマッピングして、当該第1前景領域を分離することを特徴とする請求項2又は3に記載の前景領域における被写体の重なりを識別する識別装置。
  5. 前記分離手段は、第1矩形領域により取り囲まれる第1前景領域を分離する場合、当該第1矩形領域に対するバイラテラル・フィルタ処理、当該第1矩形領域の各画素に対する色強調処理、及び、当該第1矩形領域の各画素のヒストグラムイコライゼーションの少なくともいずれかを行うことを特徴とする請求項2から4のいずれか1項に記載の前景領域における被写体の重なりを識別する識別装置。
  6. 動画のフレームの被写体を識別する識別装置における識別方法であって、
    フレームの前景領域を抽出する抽出ステップと、
    前記抽出した前景領域を取り囲む最小の矩形領域を判定する領域判定ステップと、
    第1フレームの第1矩形領域により取り囲まれる第1前景領域が、複数の被写体に対応するか否かを判定する重複判定ステップと、
    を含み、
    前記重複判定ステップでは、前記第1矩形領域が、前記第1フレームの直前の第2フレームの第2矩形領域の2つ以上と重複し、かつ、前記2つ以上の第2矩形領域のそれぞれについて、第2矩形領域の面積に対する、前記第1矩形領域と当該第2矩形領域の重複領域の面積の割合が第1閾値以上であると、前記第1前景領域が、複数の被写体に対応すると判定することを特徴とする前景領域における被写体の重なりを識別する識別方法。
  7. 請求項1から5のいずれか1項に記載の前景領域における被写体の重なりを識別する識別装置としてコンピュータを機能させるプログラムを有することを特徴とするコンピュータ可読記憶媒体。
JP2015210755A 2015-10-27 2015-10-27 前景領域における被写体の重なりを識別する識別装置、識別方法及びコンピュータ可読記憶媒体 Active JP6504708B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015210755A JP6504708B2 (ja) 2015-10-27 2015-10-27 前景領域における被写体の重なりを識別する識別装置、識別方法及びコンピュータ可読記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015210755A JP6504708B2 (ja) 2015-10-27 2015-10-27 前景領域における被写体の重なりを識別する識別装置、識別方法及びコンピュータ可読記憶媒体

Publications (3)

Publication Number Publication Date
JP2017084043A JP2017084043A (ja) 2017-05-18
JP2017084043A5 JP2017084043A5 (ja) 2018-05-31
JP6504708B2 true JP6504708B2 (ja) 2019-04-24

Family

ID=58711342

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015210755A Active JP6504708B2 (ja) 2015-10-27 2015-10-27 前景領域における被写体の重なりを識別する識別装置、識別方法及びコンピュータ可読記憶媒体

Country Status (1)

Country Link
JP (1) JP6504708B2 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003044860A (ja) * 2001-08-01 2003-02-14 Nippon Hoso Kyokai <Nhk> 映像オブジェクト追跡装置
US8805004B2 (en) * 2009-01-09 2014-08-12 Thomson Licensing Method and apparatus for detecting and separating objects of interest in soccer video by color segmentation and shape analysis
JP5385182B2 (ja) * 2010-03-05 2014-01-08 セコム株式会社 物体検出装置

Also Published As

Publication number Publication date
JP2017084043A (ja) 2017-05-18

Similar Documents

Publication Publication Date Title
CN106254933B (zh) 字幕提取方法及装置
US10839521B2 (en) Image processing apparatus, image processing method, and computer-readable storage medium
CN109690620B (zh) 三维模型生成装置以及三维模型生成方法
US10762649B2 (en) Methods and systems for providing selective disparity refinement
JP2021005890A (ja) 映像補正方法及び装置
KR20200049833A (ko) 깊이 추정 방법 및 장치, 전자 기기, 프로그램 및 매체
JP6663652B2 (ja) ステレオソース映像の補正方法及びその装置
CN110889824A (zh) 一种样本生成方法、装置、电子设备及计算机可读存储介质
EP3644599B1 (en) Video processing method and apparatus, electronic device, and storage medium
US20190342537A1 (en) Image processing apparatus, image processing method, and storage medium
KR20160126861A (ko) 비디오 카메라 내의 비디오 스트림을 프로세싱하는 방법 및 디바이스
US8982187B2 (en) System and method of rendering stereoscopic images
US9948913B2 (en) Image processing method and apparatus for processing an image pair
CN104205826A (zh) 用于重建高密度三维图像的设备和方法
WO2014014135A1 (ko) 촬영된 이미지의 리포커싱 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체
KR20160078215A (ko) 이미지 처리 방법 및 장치
WO2015168893A1 (zh) 一种视频质量检测的方法及装置
CN113205011B (zh) 图像掩膜确定方法及装置、存储介质和电子设备
JP6375138B2 (ja) パープルフリンジ除去処理方法及びその処理を遂行するパープルフリンジ除去処理装置
CN111654747B (zh) 弹幕显示方法及装置
JP6516646B2 (ja) 複数のカメラで撮影した画像から個々の被写体を識別する識別装置、識別方法及びプログラム
JP6504708B2 (ja) 前景領域における被写体の重なりを識別する識別装置、識別方法及びコンピュータ可読記憶媒体
US9678991B2 (en) Apparatus and method for processing image
WO2019150649A1 (ja) 画像処理装置および画像処理方法
US10531063B2 (en) Method and apparatus for processing stereoscopic video

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170202

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180307

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180411

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190320

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190325

R150 Certificate of patent or registration of utility model

Ref document number: 6504708

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150