JP6148480B2

JP6148480B2 - 画像処理装置、画像処理方法

Info

Publication number: JP6148480B2
Application number: JP2013017636A
Authority: JP
Inventors: 剛黒木; 貴之岩本; 康生片野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-04-06
Filing date: 2013-01-31
Publication date: 2017-06-14
Anticipated expiration: 2033-01-31
Also published as: JP2013232181A; US20130265434A1; US9699419B2

Description

本発明は、映像中で起こったイベントを映像認識により解釈する技術に関するものである。

従来から、カメラを用いてシーンを撮影し、シーン中で起こった事象を映像認識により解釈する方法が知られている。例えば、特許文献１では、用具等の隠蔽状態から、打撃時刻情報を特定し、打撃時刻における用具の位置と該スポーツのルール情報とに基づいて、プレイヤーの動作を認識する技術が開示されている。また、監視カメラの中には、撮影した映像を解析し、乱暴行為や持ち去り、置き去り等を検出する機能を備えたものがある。

特許第4482690号

このような映像解析の中では、従来、映像中のオブジェクトの接触状態を検知し、より詳細に映像中で起こったイベントを解釈するようなことは行われてこなかった。本発明はこのような問題に鑑みてなされたものであり、映像中で検出したオブジェクトの接触状態を判定することにより、より詳細に映像中で起こったイベントを解釈するための技術を提供する。

本発明の目的を達成するために、例えば、本発明の画像処理装置は、撮像装置から出力される各フレームの画像を順次取得する手段と、
前記画像中に写っている状況を該画像に対する認識処理によって認識し、該認識した状況が規定の状況であれば、該画像及び該画像よりも過去のフレームにおいて該規定の状況が認識された画像から、該規定の状況に関連する種別のオブジェクトを検出する検出手段と、
前記検出手段が検出したそれぞれのオブジェクトの画像からの検出位置を用いて、オブジェクト同士が現実空間中で接触しているのか否かを判断する判断手段と
を備え、
前記判断手段は、
前記規定の状況にあると認識された画像及び該画像よりも過去のフレームにおいて該規定の状況が認識された画像のうち、前記規定の状況を構成する第１のオブジェクト及び第２のオブジェクトのそれぞれの該画像上の検出位置の間の距離が閾値以下となる画像を対象画像とし、
前記第１のオブジェクトの前記対象画像上の加速度の大きさが閾値以上且つ、該加速度を表すベクトルと、前記第２のオブジェクトの前記対象画像上の速度を表すベクトルと、のなす角が閾値よりも小さい場合には、前記第１のオブジェクトと前記第２のオブジェクトとが現実空間中で接触していると判断することを特徴とする。

本発明の構成によれば、映像中で検出したオブジェクトの接触状態を判定することにより、より詳細に映像中で起こったイベントを解釈することができる。

スライディングタックルを行っている状況を撮像した３フレーム分の画像を示す図。行動認識装置２００の機能構成例を示すブロック図。ルール記憶部２０４が保持しているテーブル情報の構成例を示す図。検出枠を示す図。ボールの検出位置を示す図。ボールの速度、加速度を示す図。ボールと足との間の距離を示す図。行動認識装置２００が行う処理のフローチャート。行動認識装置２００が行う処理のフローチャート。行動認識装置２００が行う処理のフローチャート。パンチを打っている状況を撮像した画像を示す図。図１１の状況を上部から見た模式図。第５の実施形態において監視カメラが撮影した映像を示した図。監視カメラが撮影した映像から切り出された部分画像を示した図。第５の実施形態において行動認識装置２００が行う処理のフローチャート。第６の実施形態において監視カメラが撮影した映像を示した図。第６の実施形態において行動認識装置２００が行う処理のフローチャート。第６の実施形態において行動認識装置２００が行う処理のフローチャート。行動認識装置２００の機能構成例を示すブロック図。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。

［第１の実施形態］
＜本実施形態の概要＞
先ず、本実施形態の概要について説明する。本実施形態では、サッカーの試合中のスライディング行為が反則であったか否かを、該サッカーの試合を撮像している１台の撮像装置から得られる各フレームの画像から判定する。

図１は、サッカーの試合中に人物１１０がスライディングタックルを行っている状況を撮像した３フレーム分の画像を示している。人物１２０はボール１３０をドリブル中であり、人物１１０はボール１３０を奪取するためにスライディングタックルを行っている。ここで、図１（ａ）は、フレーム１の画像を示しており、図１（ｂ）は、フレーム１に後続するフレーム２の画像を示しており、図１（ｃ）は、フレーム２に後続するフレーム３の画像を示している。なお、フレーム１とフレーム２とは隣接しているわけではないし、フレーム２とフレーム３とは隣接しているわけではない。即ち、フレーム１，２，３は何れも適当な間隔を開けてサンプリングしたフレームであり、撮像装置のサンプリングレートはそれよりも十分に高く、フレーム１とフレーム２との間、フレーム２とフレーム３との間には１フレーム以上のフレームが存在する。

また、人物１１０と人物１２０はフレーム３以降で交錯し、人物１２０が転倒したものとする。サッカーのルールでは、スライディングタックルを行ったプレイヤーが、ボールに触れるよりも先に相手に触れた場合、反則行為となる。

本実施形態に係る画像処理装置は、転倒現象を検知した後、該検知を行ったフレームよりも過去のフレーム（先に撮像されたフレーム）の画像を用いて、人物１１０の足がボール１３０に触れたか否かを判断する。この判断により、人物１２０の転倒の原因となった、人物１１０の行ったスライディングタックルが、ルール上正当な行為であったことを判断し、判定の根拠となった接触部位を画像に表示する。

＜本実施形態に係る画像処理装置の機能構成例とその動作＞
次に、画像処理装置として機能する本実施形態に係る行動認識装置の機能構成例について、図２のブロック図を用いて説明する。

画像入力部２０１は、スポーツの一例としてのサッカーの試合を撮像している撮像装置から出力される各フレームの画像を順次取得し、取得した画像を映像記憶部２０２に格納すると共に、イベント検出部２０３に対して出力する。

イベント検出部２０３は、画像入力部２０１から受けた画像中に写っている状況を該画像に対する認識処理によって認識することで、該画像中で生じているイベントを検出する。例えば、サッカーの場合、転倒、スライディング、ハンド、シュート、空中のボールの競り合い、スローインなどの場面がイベントに相当する。イベント検出はBag of Keypointsの考え方とHidden Markov Model（HMM）を用いた以下の方法により行われる。

まず、ｉ番目のフレームの画像Ｉｉから、画像特徴（特徴ベクトル）ｆの集合Ｆｉ＝｛ｆ１，ｆ２，…，ｆＮ｝を抽出する。ここで、画像特徴ｆには、下記の文献１に記載のSIFTのような、key pointベースの画像特徴を用いることが可能である。

＜文献１＞
David Lowe, “Distinctive Image Features from Scale-Invariant Keypoints”, International Journal of Computer Vision, 60, 2, pp. 91-110, 2004.
次に、Ｆｉの要素である特徴ベクトルと、予め用意されたＫ個の特徴ベクトル｛ｇ１，ｇ２，…，ｇＫ｝それぞれとの距離ｄを計算し、最も距離が近いベクトルｇｊを探す。すなわち、下記の式を計算する。

そして、ビン数がＫであるヒストグラムｈｉのｊ番目のビンに１を加える。Ｆｉの要素である特徴ベクトル全てについてこのような処理を行い、ヒストグラムｈｉを完成させる。ここで得られるヒストグラムｈｉが、画像Ｉｉより得られるcode wordとなる。

さらに、得られたヒストグラムｈｉが予め用意されたＭ個のヒストグラムＯ１，Ｏ２，…，ＯＭのうちどれに最も類似するのかを、Histogram Intersectionを用いて判定する。最も類似するＯを、この画像Ｉｉより得られたシンボルＯ（ｉ）とする。

以上の処理をｔ＝１からｔ＝Ｔ（現フレーム）までの各フレームの画像｛Ｉ１，Ｉ２，…，ＩＴ｝について行うことにより、ｔ＝１からｔ＝Ｔまでのシンボルの系列Ｏ１：Ｔ＝｛Ｏ（１），Ｏ（２），…，Ｏ（Ｔ）｝を得る。

得られたシンボルの系列Ｏ１：Ｔと、それぞれのイベントλｌに対する学習済みモデルとしてのＨＭＭλｌについて、確率Ｐｒ（λｌ｜Ｏ１：Ｔ）が最も高くなるλｃを、下記の式を計算することで特定する。

この式によれば、確率Ｐｒ（λｌ｜Ｏ１：Ｔ）が最も高くなるｌはｃであるので、現フレームの画像中で生じているイベントがλｃであることを検出する。ただし、この式で求めた確率Ｐｒ（λｃ｜Ｏ１：Ｔ）が予め定められた閾値よりも小さい場合は、いずれのイベントも検出されなかったものと判断する。

このようなイベント検出方法によれば、画像内でイベントやそれに類似したイベントが生起したことを検出することは可能である。しかしながら、そのイベントが実際のルールに則しているか否かを判定することは一般には困難である。例えば、スライディング行為であれば、反則行為に該当するスライディングと正当なスライディングとでは、画面全体では類似した画像特徴が現れるため、このイベント検出方法のみでその行為の正当性の判別を高い精度で行うことは困難である。また、ハンドに関しても、ハンドと疑わしきイベント、すなわちボールが身体に衝突したことはこのイベント検出方法で検出可能であるが、実際にその衝突が反則行為であるかどうかは、ボールと腕部との接触の判定を行わなくてはいけない。そのため、このイベント検出方法で検出されたシーンを後段の接触判定処理によって再度判定を行う必要がある。

ルール記憶部２０４は、予め定められた複数種のイベント（上記の場合、全てのλｌ）のそれぞれに対し、画像から該イベントが検出された場合に、該画像から検出すべきオブジェクトの種別を管理している。例えば、ルール記憶部２０４は、図３に例示するテーブル情報を保持している。

図３に示したテーブル情報は、サッカーにおいて反則行為があったか否かを判断するためのテーブル情報である。しかし、他のスポーツにおいて反則行為があったか否かを判断するためには、そのスポーツで生じうるイベント、該イベント発生時に接触判定を行う対象、速度や加速度といった情報を用いてその動きを判定する対象、をルール記憶部２０４に登録する必要がある。

図３のテーブル情報によれば、イベント「スライディング」に対して接触判定対象として「足」、「ボール」が登録されている。即ち、画像からイベントとして「スライディング」を検出した場合には、実際に現実空間中で接触があったか否かを判定する為に画像から検出するオブジェクトが「足」、「ボール」であることが登録されている。また、イベント「スライディング」に対して加速度判定対象として「ボール」が登録されている。即ち、画像からイベントとして「スライディング」を検出した場合には、実際に現実空間中で接触があったか否かを判定する為に加速度を判定するオブジェクトが「ボール」であることが登録されている。なお、加速度判定対象の代わりに、他の指標の判定対象を登録するようにしてもかまわない。

図２に戻って物体検出部２０５は、イベント検出部２０３がイベントを検出した検出元の画像を映像記憶部２０２から読み出し、該読み出した画像から該イベントに関連付けて上記のテーブル情報に登録されている接触判定対象としてのオブジェクトを検出する。例えば、イベント検出部２０３で検出されたイベントが「スライディング」である場合、物体検出部２０５は、「スライディング」に関連付けて上記のテーブル情報に接触判定対象として登録されているオブジェクトである「足」、「ボール」を画像から検出する。

ボール等の特定の物体の検出は例えば、Hough変換による円検出を用いることができる。また、下記の文献２に記載の顔検出アルゴリズムのように、複数のシーンから切り出したボールの画像を訓練サンプルとして学習した検出器を用いてボールを検出することもできる。

＜文献２＞
Paul Viola and Michael J. Jones, “Rapid Object Detection using a Boosted Cascade of Simple Features,” IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'01)
人体部位の検出に関しては例えば、下記の文献３に記載の方法にあるように、人物画像とその３次元の姿勢データが対になったデータセットから、姿勢データが類似した特定の部位の画像のみを訓練サンプルとして学習を行った検出器を用いることが可能である。

＜文献３＞
Lubomir Bourdev and Jitendra Malik, ”Poselets: Body Part Detectors Trained Using 3D Human Pose Annotations,” ICCV 2009
図４（ａ）に示す如く、フレーム１の画像からイベントとして「スライディング」が検出された場合、該画像から「足」の領域３２１、「ボール」の領域３１１が検出される。また、図４（ｂ）に示す如く、フレーム２の画像からイベントとして「スライディング」が検出された場合、該画像から「足」の領域３２２、「ボール」の領域３１２が検出される。また、図４（ｃ）に示す如く、フレーム３の画像からイベントとして「スライディング」が検出された場合、該画像から「足」の領域３２３、「ボール」の領域３１３が検出される。

なお、図４では、オブジェクトの検出結果として、該オブジェクトの検出枠を求めているが、該オブジェクトのエッジに沿った領域を検出結果としても良いし、検出結果の表現方法は他の方法も考え得る。

このように、物体検出部２０５は、検出されたイベントに応じたオブジェクトを画像から検出する。然るに同様の目的を達成できるのであれば、如何なる技術を採用してもかまわない。

図２に戻って、接触判定部２０６は、物体検出部２０５が検出したオブジェクト同士が、現実空間中で接触しているか否かを判断する。ここでは、一例として、画像からイベントとして「スライディング」が検出され、該画像から「足」、「ボール」が検出されたケースを例に挙げて接触判定部２０６の動作を説明する。しかし、以下の説明は他のオブジェクト同士の接触判定にも適用可能であるし、他の接触判定方法を採用しても良い。

イベント検出部２０３がフレームｔの画像から「スライディング」を検出したとすると、接触判定対象は「足」、「ボール」であるため、物体検出部２０５は該画像から「足」と「ボール」を検出する。接触判定部２０６は、加速度判定対象は「ボール」であるので、「ボール」については画像上における速度と加速度を求め、接触判定対象のうち加速度判定対象ではない「足」については画像上における速度のみを求める。

ここで、スライディングが開始されてから終了するまでには数フレームを要するため、スライディングを初めて検出したフレームから数フレームは連続してスライディングが検出されるはずである。そこで、フレームｔの画像から「スライディング」を検出したとすると、フレームｔから過去のフレームにさかのぼって、「スライディング」が検出されたフレーム群を映像記憶部２０２から特定し、該フレーム群を以下の処理対象（対象画像）とする。然るに、本実施形態では、あるフレームについてイベントを検出すると、該フレームと該フレームから検出したイベントとを関連付けて適当なメモリに関しておく必要がある。また、ここでは説明をわかりやすくするために、フレーム１〜ｔの各フレームの画像において「スライディング」が検出されたものとする。

接触判定部２０６は先ず、フレーム３〜ｔの各フレームの画像について、該画像上における「ボール」の速度及び加速度、「足」の速度、を求める。フレームｔの画像上におけるボールの速度、加速度は、フレームｔ〜（ｔ−２）のそれぞれの画像から物体検出部２０５によって検出された「ボール」の検出位置を用いれば求めることができる。フレームｔの画像から検出された「ボール」の位置をｘ_ｔ、フレーム（ｔ−１）の画像から検出された「ボール」の位置をｘ_ｔ−Δｔ、フレーム（ｔ−２）の画像から検出された「ボール」の位置をｘ_{ｔ−２Δｔ}とする。このとき、フレームｔにおける画像上の「ボール」の速度ｖ_ｔ、加速度ａ_ｔは下記の式により計算することができる。

ここで、Δは、フレーム間隔時間を表す。また、フレームｔ、（ｔ−Δｔ）のそれぞれの画像から検出された「足」の位置をｘ_ｔ、ｘ_ｔ−Δｔとすれば、式３により、フレームｔにおける画像上の「足」の速度を求めることができる。このような処理を、フレーム３〜ｔの各フレームの画像について行うことで、該画像上における「ボール」の速度及び加速度、「足」の速度、を求めることができる。

フレーム１〜３の各フレームの画像上における「ボール」の検出位置を図５に示す。縦軸はｙ座標値、横軸はｘ座標値を示している。また、各フレームの画像上における「ボール」の速度を図６（ａ）に示す。図６（ａ）において、縦軸はフレーム番号、横軸は速度を示している。また、各フレームの画像上における「ボール」の加速度を図６（ｂ）に示す。図６（ｂ）において、縦軸はフレーム番号、横軸は加速度を示している。

また、接触判定部２０６は、フレーム３〜ｔの各フレームの画像について、該画像上における「ボール」の検出位置ｘ_ｔ ^ｂａｌｌと「足」の検出位置ｘ_ｔ ^ｆｏｏｔと、の間の距離ｄｔを求める。この計算は、以下の式を計算することで求めることができる。

距離ｄｔは、「ボール」、「足」のそれぞれの検出枠間の距離であっても良いし、それぞれの輪郭間の距離であっても良い。「足」の検出枠の中心位置ｘ_ｔ ^ｆｏｏｔと「ボール」の検出枠の中心位置ｘ_ｔ ^ｂａｌｌと、の間の距離を図７に示す。図７において横軸はフレーム番号、縦軸は距離ｄｔを示している。

次に、接触判定部２０６は、求めた距離ｄｔのうち、閾値以下となるｄｔを満たすｔの区間を特定する。図７の場合、点線は閾値を示しており、この場合、点線よりも下のｔの区間を特定する。

そして接触判定部２０６は、特定した区間内の各フレーム番号を改めてｔとすると、先ず、フレームｔにおけるボールの加速度の大きさ｜ａ_ｔ｜が閾値以上か否かを判断する。そして、加速度の大きさ｜ａ_ｔ｜が閾値以上であった場合、フレーム（ｔ＋１）におけるボールの加速度と足の速度の方向が一致しているか否かを、以下の式のｓが閾値（＞０）以上であるか否かを判断することで行う。

そして接触判定部２０６は、ｔ＝ｔ’においてこのｓが閾値以上であれば、フレームｔ’において「足」と「ボール」とは接触したものと判断する。

結果表示部２０７は、ｓが閾値以上となったフレームの画像を、行動認識装置２００に接続されている表示装置に表示する。表示形態については特定の表示形態に限るものではなく、例えば、図４（ｂ）に示す如く、画像上に「足」、「ボール」のそれぞれの検出枠を合成して表示しても良い。また、ｓが閾値以上となったフレームの前後数フレームの画像をスロー再生して表示しても良い。もちろん、このスロー再生する各フレームの画像上に検出枠を合成して表示しても良い。

次に、以上説明した行動認識装置２００の動作について、図８及び図９のフローチャートを用いて説明する。図８及び図９のフローチャートに従った処理は、１フレーム分の画像に対して行う処理のフローチャートであるので、実際には、各フレームについて図８及び図９のフローチャートに従った処理を行うことになる。以下の説明では、フレームｔの画像に対する処理について説明する。なお、各ステップにおける処理の詳細については上記の通りであるため、ここでは簡単に説明する。

ステップＳ１０１では、イベント検出部２０３は、画像入力部２０１から受けたフレームｔの画像中で生じているイベントを検出する。

ステップＳ１０２では、物体検出部２０５は、ステップＳ１０１で検出したイベントと関連づけてルール記憶部２０４に接触判定対象として登録されているオブジェクトを特定する。

ステップＳ１０３では、物体検出部２０５は、イベントを検出した検出元のフレームｔから過去のフレームにさかのぼって、ステップＳ１０１で検出したイベントと同イベントが検出されたフレーム群（一部でも良い）を映像記憶部２０２から読み出す。

ステップＳ１０４では、物体検出部２０５は、ステップＳ１０３で読み出した各フレームの画像（フレームｔの画像を含む）から、ステップＳ１０２で特定したオブジェクトを検出する。

ステップＳ１０５では、接触判定部２０６は、ステップＳ１０３で読み出した各フレームの画像について、該画像上における、ステップＳ１０２で特定したオブジェクトの速度及び加速度（オブジェクトによっては速度のみ）を求める。

ステップＳ１０６では、接触判定部２０６は、ステップＳ１０３で読み出した各フレームの画像について、該画像上における、ステップＳ１０２で特定したオブジェクトの検出位置間の距離を求める。

ステップＳ１０７では、接触判定部２０６は、ステップＳ１０６で求めた距離のうち、閾値以下となるフレーム区間を特定する。

ステップＳ１０８では、接触判定部２０６は、ステップＳ１０６で求めた距離のうち、閾値以下となるフレーム区間が存在したか否か、即ち、ステップＳ１０７で１以上のフレームを特定することができたのか否かを判断する。この判断の結果、特定することができたのであれば、処理はステップＳ１０９に進み、特定することができなかった場合には、本フレームに対する処理は終了する。

ステップＳ１０９では、接触判定部２０６は、ステップＳ１０７で特定したフレームのうち未選択の１つを選択フレームとして選択する。そしてステップＳ１１０では接触判定部２０６は、選択フレームの画像における第１のオブジェクト（上記の例ではボール）の加速度の大きさが閾値以上か否かを判断する。この判断の結果、加速度の大きさが閾値以上であれば、処理はステップＳ１１１に進み、加速度の大きさが閾値未満であれば、処理はステップＳ１１３に進む。

ステップＳ１１１では、接触判定部２０６は、選択フレームの１フレーム後のフレームにおける第１のオブジェクトの加速度と第２のオブジェクト（上記の例では足）の速度の方向が一致しているか否かを判断する。即ち上記の通り、上記のｓが閾値（＞０）以上であるか否かを判断する。この判断の結果、ｓが閾値以上であれば、処理はステップＳ１１２に進み、ｓが閾値未満であれば、処理はステップＳ１１３に進む。

ステップＳ１１２では、接触判定部２０６は、選択フレームのフレーム番号など、該選択フレームを特定するための情報を行動認識装置２００がアクセス可能なメモリに格納する。

ステップＳ１１３では、接触判定部２０６は、ステップＳ１０７で特定したフレームの全てを選択フレームとして選択したか否かを判断する。この判断の結果、全てを選択フレームとして選択したのであれば、処理はステップＳ１１４に進み、まだ選択していないフレームが残っている場合には、処理はステップＳ１０９に戻る。

ステップＳ１１４では、結果表示部２０７は、ステップＳ１１２でメモリに記録した情報によって特定されるフレームの画像を、行動認識装置２００に接続されている表示装置に表示する。

即ち、本実施形態では、スポーツの試合を撮像している撮像装置から出力される各フレームの画像を順次取得する。そして、該画像中の状況を該画像に対する認識処理により認識し、該認識した状況が規定の状況の場合、該画像及び該画像より過去のフレームで該規定の状況が認識された画像の各画像から、該規定の状況に予め関連付けられている種別のオブジェクトを検出する。そして、オブジェクトの検出位置を用いて、該オブジェクト同士が現実空間中で接触しているのか否かを判断する。

より詳しくは、上記各画像のうち、規定の状況を構成する第１のオブジェクト及び第２のオブジェクトのそれぞれの該画像上の検出位置の間の距離が閾値以下となる画像を対象画像とする。そして、第１のオブジェクトの対象画像上の加速度の大きさが閾値以上且つ該加速度を表すベクトルと第２のオブジェクトの対象画像上の速度を表すベクトルとのなす角が閾値よりも小さい場合、それぞれのオブジェクトとが現実空間中で接触していると判断する。

［第２の実施形態］
第１の実施形態では、１台の撮像装置によって撮像されたフレームの画像を処理対象としたが、本実施形態では、それぞれ視点が異なる複数台の撮像装置によってスポーツの試合を撮像する。行動認識装置２００は、それぞれの撮像装置のうち、最も接触判定に適した画像を撮像する撮像装置を選択し、選択した撮像装置による撮像画像を用いて第１の実施形態と同様の動作を行う。以下では、第１の実施形態との差分のみについて説明し、以下で特に触れない限りは、第１の実施形態と同様である。

画像入力部２０１は、複数台の撮像装置のそれぞれから出力される各フレームの画像を順次取得し、取得した画像を映像記憶部２０２に格納すると共に、イベント検出部２０３に対して出力する。

イベント検出部２０３は、画像入力部２０１から受けた画像中に写っている状況を該画像に対する認識処理によって認識することで、該画像中で生じているイベントを検出する。例えば、イベント検出部２０３は、Ｎ（Ｎは２以上の自然数）台の撮像装置のそれぞれからフレームｔの画像を取得したとする。このときイベント検出部２０３は、ｉ（１≦ｉ≦Ｎ）番目の撮像装置から取得したフレームｔの画像について上記のイベント生起確率確率（状況生起確率）Ｐｒ^（ｉ）（λｃ｜Ｏ１：Ｔ）を求める。そして、ｉ＝１，２，…，Ｎについて求めたイベント生起確率のうち最も大きい確率がＰｒ^（ｊ）（λｃ｜Ｏ１：Ｔ）（１≦ｊ≦Ｎ）であり且つＰｒ^（ｊ）（λｌ｜Ｏ１：Ｔ）が閾値以上であったとする。このときイベント検出部２０３は、ｊ番目の撮像装置から取得したフレームｔの画像中でイベントλｃが生じていると判断する。

そして、以降は第１の実施形態と同様であるが、物体検出部２０５、接触判定部２０６、結果表示部２０７は何れも、ｊ番目の撮像装置から取得した画像を用いて処理を行い、ｊ番目の撮像装置以外の撮像装置から取得した画像は用いない。

［第３の実施形態］
本実施形態では、ボクシング競技における、パンチの当たり判定を行う。図１１は、ボクシングの試合中に人物４１０と人物４２０が互いにパンチを打っている状況を撮像した画像を示している。また、図１２は、図１１の状況を上部から見た模式図である。４１１は人物４１０の頭部、４１２は人物４１０の左拳である。また、４２１は人物４２０の頭部、４２２は人物４２０の右拳である。人物４１０と人物４２０の周囲には、カメラ４３１、カメラ４３２、カメラ４３３が配置されている。各カメラから延びる点線は、各カメラの画角を示す。図１１は、カメラ４３２から撮った画像である。図１１の画像では、頭部４１１と右拳４２２には重複が見られる。また、カメラ４３３から得られる画像においても同様に頭部４１１と右拳４２２に重複が見られる。しかしながら、カメラ４３１の視点からは、頭部４１１と右拳４２２には重複が生じず、接触をしていないことがわかる。本実施形態に係る行動認識装置は、以上の現象を利用して対象物体同士の接触状態の判定を行う。

本実施形態でも第１の実施形態と同様の構成を有する行動認識装置２００を用いるが、本実施形態でも第２の実施形態同様、複数台の撮像装置が行動認識装置２００に接続されている。

イベント検出部２０３は、画像入力部２０１から受けた画像中に写っている状況を該画像に対する認識処理によって認識することで、該画像中で生じているイベントを検出する。本実施形態では、パンチを放つ動作が生じたことをイベントとして検出する。

物体検出部２０５は、イベント検出部２０３がイベントを検出した検出元の画像から過去数フレーム分の画像を映像記憶部２０２から読み出す。そして、該読み出したそれぞれの画像について、該画像から検出したイベントに関連付けて上記のテーブル情報に登録されている接触判定対象としてのオブジェクトを該画像から検出する。本実施形態では、頭部とグローブを検出する。

頭部の検出を行う場合、カメラの角度によっては、グローブによるオクルージョンが生じる。オクルージョンに対応した物体検出方法には、上記の文献３に開示される方法がある。文献３ではまず、物体を構成する部分を検出し、その検出結果をvotingにより加算することで、物体全体の検出結果を得る。このため、本実施形態のように、グローブによるオクルージョンがある程度生じた場合においても、頭部の検出と定位を正しく行うことが可能である。オクルージョンの割合が大きく、頭部のほとんどが隠れている場合は、文献３の方法によっても検出ができない。この場合、頭部の検出がされなかった視点からの画像は、接触判定には寄与しないものとする。

接触判定部２０６は、物体検出部２０５が頭部及びグローブを検出した各画像について、該画像上の頭部の検出位置とグローブの検出位置との間の距離を求め、全ての画像について求めた距離が閾値以下であれば、頭部とグローブとは接触状態にあると判定する。

結果表示部２０７は、接触状態にあると判定されたフレームのうち１つを選択し、行動認識装置２００に接続されている表示装置に表示する。表示形態については第１の実施形態と同様、特定の表示形態に限るものではない。

次に、以上説明した行動認識装置２００の動作について、図１０のフローチャートを用いて説明する。図１０のフローチャートに従った処理は、１フレーム分の画像に対して行う処理のフローチャートであるので、実際には、各フレームについて図１０のフローチャートに従った処理を行うことになる。以下の説明では、フレームｔの画像に対する処理について説明する。なお、各ステップにおける処理の詳細については上記の通りであるため、ここでは簡単に説明する。

ステップＳ３０１では、イベント検出部２０３は、画像入力部２０１から受けた、それぞれの撮像装置による撮像画像であるフレームｔの画像中で生じているイベントを検出する。

ステップＳ３０２では、物体検出部２０５は、それぞれの撮像装置によるフレームｔの画像のうちイベントを検出した検出元の画像ごとに、該画像から過去数フレーム分の画像を映像記憶部２０２から読み出す。

ステップＳ３０３では、物体検出部２０５は、イベントを検出した検出元の画像ごとに映像記憶部２０２から読み出した過去数フレーム分の画像のうち未選択のｋフレーム目の画像を選択する。

ステップＳ３０４では、接触判定部２０６は、イベントを検出した検出元の画像ごとに選択したｋフレーム目の画像から頭部とグローブとを検出する。

ステップＳ３０５では、接触判定部２０６は、イベントを検出した検出元の画像ごとに選択したｋフレーム目の画像のうち、頭部とグローブとを検出できた画像を選択画像として選択する。

ステップＳ３０６では、接触判定部２０６は、全ての選択画像について、該選択画像上の頭部の検出位置とグローブの検出位置との間の距離を求める。そして、全ての選択画像について求めた距離が閾値以下であれば、処理はステップＳ３０７を介してステップＳ３０９に進み、１以上の距離が閾値よりも大きい場合は、処理はステップＳ３０７を介してステップＳ３０８に進む。

ステップＳ３０８では、物体検出部２０５は、イベントを検出した検出元の画像ごとに映像記憶部２０２から読み出した過去数フレーム分の画像を全て選択したか否かを判断する。この判断の結果、全て選択した場合には、処理はステップＳ３０９に進み、まだ選択していない画像が残っている場合には、処理はステップＳ３０３に進む。

ステップＳ３０９では、結果表示部２０７は、接触状態にあると判定されたフレームのうち１つを選択し、行動認識装置２００に接続されている表示装置に表示する。表示形態については第１の実施形態と同様、特定の表示形態に限るものではない。

［第４の実施形態］
図２に示した各部はハードウェアで構成しても良いが、映像記憶部２０２及びルール記憶部２０４をハードディスクドライブ装置などのメモリ装置で構成し、その他の各部をコンピュータプログラムで構成しても良い。この場合、行動認識装置２００には、一般のＰＣ（パーソナルコンピュータ）等のコンピュータを適用することができる。

例えば、ＰＣのハードディスクドライブ装置に映像記憶部２０２及びルール記憶部２０４が記憶するものとして説明したデータ群を格納する。更に、ハードディスクドライブ装置に、画像入力部２０１、イベント検出部２０３、物体検出部２０５、接触判定部２０６、結果表示部２０７、の各部が行うものとして上述した各処理をＰＣのＣＰＵに実行させる為のコンピュータプログラムやデータを格納する。これによりＣＰＵは、ハードディスクドライブ装置に格納されているコンピュータプログラムやデータをＲＡＭ等のメモリにロードし、該コンピュータプログラムやデータを用いて処理を実行することができる。これにより、ＣＰＵは、行動認識装置２００が行うものとして上述した各処理を実行することができる。

［第５の実施形態］
本実施形態では、監視カメラにおいて、物体の置き去りを検知し、さらに置き去りをした人物の特定を行う例について説明する。監視カメラの中には、映像認識機能により、物体の置き去りや持ち去りの検知機構を備えているものがある。物体の置き去りとは、監視しているシーン中に、鞄などの物体が置かれる状態を指し、テロ防止の観点からこれを検知する認識機能が開発されてきた。物体の持ち去りとは、監視しているシーン中から、絵などの物体が持ち去られる状態を指し、盗難防止の観点からこれを検知する認識機能が開発されてきた。

物体の置き去りや持ち去りの検知は、あらかじめ撮影された映像と、現在撮影された映像と、を比較する背景差分法により、比較的簡単な映像処理により実現することができる。本実施形態では、置き去りを検知した後、さらなる映像認識処理により、置き去りを行った人物の特定を行う。

図１３は、街路に設置された監視カメラが撮影した映像のうち、３フレーム分の画像を示したものである。図１３(a)は置き去りが発生する前の時点におけるフレームの画像を示し、図１３(b)は置き去りが発生した後の時点におけるフレームの画像を示し、図１３(c)は置き去りが発生した瞬間のフレームの画像を示している。図１３（ａ）〜（ｃ）において、601、602、603、604、605、606、608、609、610はそれぞれ異なる人物を示しており、607は置き去りされた物体を示している。

画像処理装置として機能する本実施形態に係る行動認識装置の機能構成例は、図１９のブロック図で表される。図１９に示した構成は、図２の構成に通報部２０８を加えた構成となっている。通報部２０８は、行動認識の結果を受けてその結果を外部に通報するための機能部であり、監視カメラに備えられたスピーカや、外部への通信回線等によって構成される。本実施形態における行動認識装置の動作について、図１５のフローチャートを用いて説明する。

ステップＳ５０１では、イベント検出部２０３が、画像入力部２０１から受けた画像から、置き去りイベントを検出する。置き去りイベントの検出は、例えば次のようにして行う。予め撮影していた背景画像と入力フレームの画像との差分画像を作成し、差分画像における着目差分領域（フレーム間で異なる領域）が一定フレーム数以上差分画像から得られる場合に置き去りがあったものと判断する、一般的なアルゴリズムによって行う。なお、置き去りイベントの検出は、置き去りを検出できる手法であれば、どのような手法でなされてもよい。

ステップＳ５０２では、物体検出部２０５は、置き去りイベントが検出された場合に、置き去りの発生した瞬間のフレームの画像（ステップＳ５０１で背景画像と差分を計算したフレームの画像）を映像記憶部２０２から読み出す。図１３(c)は、ステップＳ５０２で読み出されるフレームの画像を図示したものである。

ステップＳ５０３では、物体検出部２０５は、ステップＳ５０２で読み出した画像から、置き去り物体が写っている領域を含む矩形領域を切り出す。例えば、ステップＳ５０２で読み出した画像から、置き去り物体が写っている領域を中心として、あらかじめ定められた大きさの矩形領域を切り出す。図１４は、ステップＳ５０３で図１３(c)の画像から切り出された部分画像を示したものである。

ステップＳ５０４では、物体検出部２０５は、ステップＳ５０３で切り出された部分画像中から人が写っている領域を検出する。人が写っている領域の検出に関しては例えば、下記の文献４に記載の方法にあるように、HOG特徴量を用いて人が写っている領域を検出する手法を用いることができる。HOG特徴量とは局所領域の輝度の勾配方向と強度をヒストグラム化したものであり、人などのテクスチャの多様な物体に有効な特徴量である。

＜文献４＞
N.Dalal and B.Triggs, “Histograms of Oriented Gradients for Human Detection,” CVPR 2005
図１４中の６１１および６１２は、ステップＳ５０４で検出された領域をバウンディングボックスで示したものである。ステップＳ５０５では、物体検出部２０５は、人が写っている領域から人の手を検出する。手の検出を行う理由は、物体の置き去りが専ら手によってなされるからである。手の検出は、第１の実施形態と同様に、例えば文献３に示される検出器を用いた方法によってなされる。

手の検出を行う際には、合わせて、検出した手がどの人に属するかを検出するものとしてよい。例えば、下記の文献５に記載のDeformable Parts Model手法は、人の全身を捉える検出ウィンドウと、人の部位を捉えるフィルタとの位置関係を用いて人体を検出することができる手法である。このような手法を用いれば、手を検出した際に、その手がどの人体に属するかを同時に検出することができる。

＜文献５＞
P. F. Felzenszwalb, et al., “Object Detection with Discriminatively Trained Part Based Models,” PAMI 2009
ステップＳ５０６では、接触判定部２０６は、ステップＳ５０５で検出した手が、置き去り物体と接触しているか否かを判定する。この判定は、置き去り物体のバウンディングボックスと、検出された手のバウンディングボックスと、がそれぞれ重なりあう領域を持つかどうかをチェックすることによってなされる。例えば、図１４において、検出された手６１３のバウンディングボックスと、置き去り物体６０７のバウンディングボックスと、は重なっているため、手と置き去り物体は接触しているものとして判定する。

ステップＳ５０７では、結果表示部２０７は、ステップＳ５０６における判定結果に係る表示を行う。図１４の例では、置き去り物体６０７と接触している手６１３の、最も近傍にある人体６０９を、置き去った人物として特定し、該人体６０９を画面上で強調表示する。例えば、各フレームの画像を表示する際に、人体６０９のバウンディングボックスを表示したり、これを点滅表示させたりする。

あるいは、ステップＳ５０５において、検出した手がどの人体に属するかを検出していた場合には、接触している手６１３の属する人体６０９を、置き去った人物として特定する。

この過程においては、結果の表示に止まらず、通報部２０８は、通報を行うものとしてよい。たとえば、監視カメラに備えられたスピーカから警告音を発したり、警察や警備会社への通報を行い、さらに撮影した画像（例えば結果表示部２０７が表示した画像）を送信するものとしてよい。

以上の動作を行う行動認識装置を備えることで、監視カメラを用いて物体の置き去りを検知し、さらに置き去り人物の特定を行うシステムを実現することができる。本実施形態では置き去り人物の特定について記述したが、同様の手法で、盗難など持ち去り人物の特定を行うシステムを実現することができる。

［第６の実施形態］
本実施形態では、小売店舗のレジ近辺を撮影するよう配置された監視カメラにおいて、従業員に対する暴力行為を検知する例について記述する。図１６は、本実施形態において、監視カメラが撮影した映像中の１フレームを例示したものである。図１６(a)は客が従業員に対して代金を払っている瞬間を撮影した画像を示し、図１６(b)は客が従業員に対して暴力を振るっている瞬間を撮影した画像を示す。

画像処理装置として機能する本実施形態に係る行動認識装置の機能構成例は、第５の実施形態と同様、図１９のブロック図で表される。本実施形態に係る行動認識装置の動作について、図１７のフローチャートを用いて説明する。

ステップＳ６０１では、イベント検出部２０３が、画像入力部２０１から受けた画像から、レジ付近で起こったイベントを検出する。本実施形態において、このイベント検出は、図１６(a)中に示される、レジ７０１が写っている領域の情報から予め求めて設定された矩形領域７０２の中の画素値の変化を観測することによってなされる。イベント検出部２０３は、矩形領域７０２中の画素値の変化量の合計が、あらかじめ定められた閾値以上であるとき、レジ近辺で何らかのイベントが起こったものと判定する。

ステップＳ６０２では、物体検出部２０５は、ステップＳ６０１で何らかのイベントが発生したと判定された各フレームの画像を、映像記憶部２０２から読み出す。ステップＳ６０３〜ステップＳ６０７までのループは、接触判定ループであり、ステップＳ６０２で読み出された各フレームの画像を、先頭フレームから順番に処理する手順を示している。本実施形態では、ステップＳ６０２で読み出した全てのフレームについてこのループが繰り返される。しかし、これに限らず、例えば先頭フレームから５フレームごとにフレームを取り出し、取り出したフレームの画像に対してループ中の処理を実行するものとしてもよい。

ステップＳ６０４では、物体検出部２０５は、ステップＳ６０２で読み出された各フレームの画像のうち未処理の画像を１つ選択画像として選択し、該選択画像から、第５の実施形態と同様の手法により、人が写っている領域を検出する。図１６中の７０３はステップＳ６０４において検出された従業員の人体を示しており、７０４は客の人体を示している。

ステップＳ６０５では、物体検出部２０５は、選択画像からレジが写っている領域を挟んだ両側に人体が検出されたか、すなわち、従業員と客が検出されたかどうかを判定する。検出された場合には、処理はステップＳ６０６に進み、検出されていない場合には、処理はステップＳ６０３に戻る。

ステップＳ６０６では、物体検出部２０５は、選択画像から手を検出する。ここで、手の検出を行う理由は、従業員に対する暴力が手によってなされることを想定しているためである。手の検出は、第１の実施形態と同様に、例えば文献３に示される検出器を用いた方法によってなされる。図１６中の７０５は、このようにして検出された手のバウンディングボックスを示している。この過程において検出された手は、従業員と客のいずれに属するかが合わせて判定される。

ステップＳ６０７では、接触判定部２０６は、ステップＳ６０６で検出された手が、人体と接触しているか否かを判定する。この判定は、図１８のフローチャートに示される処理によってなされる。

図１８においてステップＳ７０１では、接触判定部２０６は、背景差分処理によって、選択画像から従業員の領域のみを切り出す。画像から特定の被写体の領域を切り出す方法については上記の通りである。

そしてステップＳ７０２では、接触判定部２０６は、切り出された従業員の領域から、ステップＳ６０６で検出した従業員の手の領域を削除した残りの領域を対象領域として特定する。そしてステップＳ７０３では、接触判定部２０６は、対象領域、即ち、従業員の体の領域が、ステップＳ６０６で検出された客の手の領域と重なるか否かを判定する。

図１８に示される処理の流れにおいて、従業員の手の領域を接触判定の対象から外しているのは、レジにおいておつりのやりとりの際などに頻繁に発生する、従業員と客の手同士の接触を接触判定の対象から外すためである。

図１７に戻って、ステップＳ６０２で読み出した全てのフレームについてステップＳ６０３〜Ｓ６０７までの処理を行うと、処理はステップＳ６０８に進む。ステップＳ６０８では、結果表示部２０７は、結果の表示を行う。すべてのフレームについて、客の手と従業員の体に接触が見られなかった場合には、何の表示も行われない。客の手と従業員の体に接触があった（従業員の体の領域が、ステップＳ６０６で検出された客の手の領域と重なる）場合には、該当するフレームの画像において、検出された人体領域を示すバウンディングボックスを赤色で描画し、画像に合成する。もちろん、表示形態はこれに限るものではない。これに加えて若しくは代わりに、客の領域を示すバウンディングボックスを赤色で描画し、画像に合成してもよいし、もちろん、表示形態はこれに限るものではない。

この過程においては、結果の表示に止まらず、通報部２０８により、店舗の外部への通報を行うものとしてよい。たとえば、店舗の外部に設置したライトを点滅させたり、警察や警備会社への通報を行い、さらに撮影した画像を送信するものとしてよい。

＜第１乃至３の実施形態の効果＞
第１の実施形態では、スライディング動作を検知し、スライディング動作のルール違反の判定のために検出する対象として足とボールとを選択している。これにより、ルールの判定に必要な物体のみを検出対象とし、計算コストを低減する効果がある。

また、第１の実施形態では、対象物体間の距離が閾値よりも小さくなった時刻に、対象物体の速度・加速度の変化が生じていることを用いて、接触の判定を行っている。これにより、静止画だけを用いるよりもより正確に接触判定を行うことができる効果がある。

また、第３の実施形態では、複数の視点から撮影された画像の全てにおいて、物体同士の距離が閾値以内であることを利用して、物体同士の接触の判定を行っている。これにより、ある一方の視点からは判定が難しい場合でも、正しく接触を判定することができるという効果がある。

また、第３の実施形態では、物体が検出された視点の画像を選択して用いることで、撮影された全ての視点の画像を用いずとも対象物体同士の接触判定を行うことが可能になり、接触判定の計算コストを低減することができるという効果がある。

また、第２の実施形態では、複数の視点の画像から、イベント検出部の出力が高くなるような視点の画像を選択して用いて、接触の判定を行っている。これにより、撮影された全ての視点の画像を用いずとも対象物体同士の接触判定を行うことが可能になり、接触判定の計算コストを低減することができるという効果がある。

また、第３の実施形態では、複数の視点の画像から、物体検出部において対象物体が検出できなかった視点の画像は、接触判定処理には用いない。これにより、全ての視点の画像を用いる場合に比べ、接触判定の精度を向上できるという効果がある。

また、第１乃至３の実施形態では、接触判定に使用した画像に接触判定の根拠となった物体検出枠を重畳して表示している。これにより、ユーザーが判定結果を容易に確認できるという効果がある。

＜第１乃至３の実施形態に対する定義等＞
上記の各実施形態で用いた「イベント」とは、スポーツ中の特定のプレイ、特定の動作など、スポーツにおける行為や状況であればどのようなものであってもよく、上記の実施形態で説明したものに限らない。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

撮像装置から出力される各フレームの画像を順次取得する手段と、
前記画像中に写っている状況を該画像に対する認識処理によって認識し、該認識した状況が規定の状況であれば、該画像及び該画像よりも過去のフレームにおいて該規定の状況が認識された画像から、該規定の状況に関連する種別のオブジェクトを検出する検出手段と、
前記検出手段が検出したそれぞれのオブジェクトの画像からの検出位置を用いて、オブジェクト同士が現実空間中で接触しているのか否かを判断する判断手段と
を備え、
前記判断手段は、
前記規定の状況にあると認識された画像及び該画像よりも過去のフレームにおいて該規定の状況が認識された画像のうち、前記規定の状況を構成する第１のオブジェクト及び第２のオブジェクトのそれぞれの該画像上の検出位置の間の距離が閾値以下となる画像を対象画像とし、
前記第１のオブジェクトの前記対象画像上の加速度の大きさが閾値以上且つ、該加速度を表すベクトルと、前記第２のオブジェクトの前記対象画像上の速度を表すベクトルと、のなす角が閾値よりも小さい場合には、前記第１のオブジェクトと前記第２のオブジェクトとが現実空間中で接触していると判断することを特徴とする画像処理装置。
更に、
前記判断手段が接触していると判断した結果に対応する情報を通報する通報手段を備えることを特徴とする請求項１に記載の画像処理装置。
画像処理装置が行う画像処理方法であって、
前記画像処理装置の取得手段が、撮像装置から出力される各フレームの画像を順次取得する工程と、
前記画像処理装置の検出手段が、前記画像中に写っている状況を該画像に対する認識処理によって認識し、該認識した状況が規定の状況であれば、該画像及び該画像よりも過去のフレームにおいて該規定の状況が認識された画像から、該規定の状況に関連する種別のオブジェクトを検出する検出工程と、
前記画像処理装置の判断手段が、前記検出工程で検出したそれぞれのオブジェクトの画像からの検出位置を用いて、オブジェクト同士が現実空間中で接触しているのか否かを判断する判断工程と
を備え、
前記判断工程では、
前記規定の状況にあると認識された画像及び該画像よりも過去のフレームにおいて該規定の状況が認識された画像のうち、前記規定の状況を構成する第１のオブジェクト及び第２のオブジェクトのそれぞれの該画像上の検出位置の間の距離が閾値以下となる画像を対象画像とし、
前記第１のオブジェクトの前記対象画像上の加速度の大きさが閾値以上且つ、該加速度を表すベクトルと、前記第２のオブジェクトの前記対象画像上の速度を表すベクトルと、のなす角が閾値よりも小さい場合には、前記第１のオブジェクトと前記第２のオブジェクトとが現実空間中で接触していると判断することを特徴とする画像処理方法。
コンピュータを、請求項１又は２に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。