WO2022153599A1 - 情報処理装置および情報処理方法 - Google Patents

Abstract

情報処理装置は、動画像の各フレーム画像から動体を検出する検出部と、前記検出された動体が所定の被写体である信頼度を算出する算出部と、第１のフレームで検出された第１の動体に外接する枠による前記第１の動体の信頼度、および前記第１のフレームより前の第２のフレームで検出された第２の動体の検出枠による前記第１のフレームでの前記第１の動体の信頼度に基づいて、前記第１の動体の検出枠を決定し、記録部に記録する決定部と、を備える。

Description

情報処理装置および情報処理方法

　本発明は、情報処理装置および情報処理方法に関する。

　動画像から動物体を検出する技術として、動画像を動体差分(フレーム間差分、背景差分)で処理することにより、画像内で動いている画素を動物体領域として抽出する方法が知られている。特許文献１は、動きを持った物体のうち、検出位置などの物理量情報を基に、検出対象と検出対象以外の動く物体とを区別して認識する技術を開示する。

特開２０００－１０５８３５号公報

　しかしながら、動体差分法によって抽出した差分領域は、移動速度または動き方の違いにより、ばらつきが発生する可能性がある。動体差分法による差分領域は、最新時刻の変化に追従して検出矩形（検出枠）を出力することができるが、フレーム間差分または背景差分の精度の影響により、抽出する動物体領域が安定しない場合がある。例えば、移動せずに作業をする人体は、時刻の変化とともに動く部分が変わるため、動物体の矩形サイズを安定して出力することは難しい。

　本発明は、一側面では、動画像での動物体の検出精度を改善し、検出枠を安定して出力する技術を提供することを目的とする。

　本発明は、上記目的を達成するために、以下の構成を採用する。

　本開示の第一側面は、動画像の各フレーム画像から動体を検出する検出部と、検出された動体が所定の被写体である信頼度を算出する算出部と、第１のフレームで検出された第１の動体に外接する枠による第１の動体の信頼度、および第１のフレームより前の第２のフレームで検出された第２の動体の検出枠による第１のフレームでの第１の動体の信頼度に基づいて、第１の動体の検出枠を決定し、記録部に記録する決定部と、を備える情報処理装置である。

　情報処理装置は、現フレーム（第１のフレーム）で検出された動体（第１の動体）について、前のフレーム（第２のフレーム）で検出された動体（第２の動体）の検出枠による信頼度に基づいて、第１の動体の検出枠を決定する。情報処理装置は、より信頼度が高い検出枠を採用することにより、動体の検出精度を改善し、検出枠を安定して出力することができる。「所定の被写体」は、人体といった検出対象の動体である。

　情報処理装置は、第２のフレームで検出された複数の動体のうち、第１の動体と同じ被写体である第２の動体を判定する判定部をさらに備えてもよい。第２のフレームで検出された動体のうち、第１の動体と同じ被写体の動体をより正確に判定することにより、情報処理装置は、同じ被写体に対する検出枠を安定して出力することができる。

　判定部は、第１の動体に外接する枠と第２のフレームで検出された各動体の検出枠との中心間距離に基づいて、第１の動体と同じ被写体である第２の動体を判定してもよい。情報処理装置は、簡易な方法で、第１の動体と同じ被写体である第２の動体を判定することにより、処理負荷を軽減することができる。

　判定部は、第１の動体に外接する枠と第２のフレームで検出した各動体の検出枠とが占める領域に対する重なりの領域の割合に基づいて、第１の動体と同じ被写体である第２の動体を判定してもよい。情報処理装置は、簡易な方法で、第１の動体と同じ被写体である第２の動体を判定することにより、処理負荷を軽減することができる。

　判定部は、第１の動体と第２のフレームで検出した各動体とを、機械学習による照合のアルゴリズムを用いて照合することにより、第１の動体と同じ被写体である第２の動体を判定してもよい。情報処理装置は、第１の動体と同じ被写体である第２の動体を精度よく判定することができる。

　判定部は、第１のフレームより前の複数のフレームで検出された動体のうち、第１の動体と同じ被写体がいずれの動体かをそれぞれのフレームで判定し、決定部は、各フレームで第１の動体と同じ被写体であると判定された動体のそれぞれの検出枠による第１の動体の信頼度のうち最も大きい信頼度が、第１の動体に外接する枠による第１の動体の信頼度よりも大きい場合、最も大きい信頼度が算出された検出枠を、第１の動体の検出枠として決定してもよい。情報処理装置は、複数フレーム前まで遡って、より信頼度が高くなる検出枠を採用することにより、出力する検出枠による信頼度は改善され、安定した検出枠を出力することができる。

　決定部は、第１の動体に外接する枠による第１の動体の信頼度が、第１閾値より大きい場合、第１の動体に外接する枠を、第１の動体の検出枠として決定してもよい。情報処理装置は、外接枠による信頼度が第１閾値より大きい場合には、前フレームの検出枠による信頼度との比較をせずに検出枠を決定するため、処理負荷を軽減することができる。

　決定部は、第１の動体に外接する枠による第１の動体の信頼度よりも、第２の動体の検出枠による第１の動体の信頼度が大きい場合、第２の動体の検出枠を、第１の動体の検出枠として決定してもよい。情報処理装置は、より信頼度が高い検出枠を採用することにより、動体の検出精度を改善することができる。

　決定部は、決定した第１の動体の検出枠による信頼度が、第２閾値より大きい場合に、第１の動体の検出枠を記録部に記録するようにしてもよい。信頼度が第２閾値以下となる枠は記録部に記録されないため、情報処理装置は、安定した検出枠を出力することができる。

　決定部は、第１の動体に外接する枠による第１の動体の信頼度よりも、第２の動体の検出枠による第１の動体の信頼度が大きい場合であって、第１の動体に外接する枠と第２の動体の検出枠との差分が第３閾値より大きいフレームの連続数が所定数以下の場合に、第２の動体の検出枠を第１の動体の検出枠として決定し、第１の動体の検出枠を記録部に記録するようにしてもよい。差分は、例えば、第２の動体の検出枠から第１の動体に外接する枠への面積変化であってもよく、第２の動体の検出枠の面積に対する当該面積変化の割合であってもよい。情報処理装置は、現フレームでの外接枠と前フレームの検出枠との差分が第３閾値より大きくなるフレームが連続する場合、第１の動体に対する検出枠を記録しないことにより、誤検出による検出枠の出力を低減することができる。

　情報処理装置は、記録部に記録された第１の動体の検出枠を、第１のフレームに重畳させて出力する出力部をさらに備えてもよい。動画像での動物体の検出精度が改善され、情報処理装置は、安定した検出枠を出力することができる。

　出力部は、記録部に記録された第１の動体の検出枠による信頼度が、第２閾値より大きい場合に、第１の動体の検出枠を出力するようにしてもよい。情報処理装置は、信頼度が第２閾値よりも大きい検出枠を、安定して出力することができる。

　出力部は、第１の動体に外接する枠による第１の動体の信頼度よりも、第２の動体の検出枠による第１の動体の信頼度が大きい場合であって、第１の動体に外接する枠と第２の動体の検出枠との差分が第３閾値より大きいフレームの連続数が所定数以下の場合に、記録部に記録された第１の動体の検出枠を出力するようにしてもよい。情報処理装置は、現フレームでの外接枠と前フレームの検出枠との差分が第３閾値より大きくなるフレームが連続する場合、第１の動体に対する検出枠を出力しないように制御することにより、誤検出による検出枠の出力を低減することができる。

　出力部は、決定された第１の動体の検出枠による信頼度が第１閾値より大きいフレームの連続数が所定数より多い場合に、第１の動体の検出枠を出力するようにしてもよい。情報処理装置は、第１の動体の検出枠による信頼度が第１閾値より大きいフレームが連続する場合に、第１の動体に対する検出枠を出力するように制御することにより、高信頼度の検出枠を継続して出力することができる。

　情報処理装置は、第２の動体の検出枠と、第２のフレームよりも前のフレームで第１の動体と同じ被写体であると判定された動体の検出枠との位置および大きさの変化量に基づいて、第２の動体の検出枠を補正する補正部をさらに備えてもよい。補正部１２５は、前フレームで検出された動体の検出枠を補正することにより、補正枠を現フレームに適用した場合の動体の信頼度を改善することができる。

　検出部は、フレーム間差分法および背景差分法の少なくともいずれかにより動体を検出してもよい。算出部は、ニューラルネットワーク、ブースティング、サポートベクターマシンの少なくともいずれかに基づく識別器により、検出された動体が所定の被写体である信頼度を算出してもよい。

　本発明の第二側面は、コンピュータが、動画像に含まれる第１のフレームから第１の動体を検出する検出ステップと、第１の動体が所定の被写体である信頼度を、第１の動体に外接する枠、および記録部に記録されている検出枠であって、第１のフレームより前の第２のフレームで検出された第２の動体の検出枠を用いて算出する算出ステップと、第１の動体に外接する枠による第１の動体の信頼度、および第２の動体の検出枠による第１のフレームでの第１の動体の信頼度に基づいて、第１の動体の検出枠を決定し、記録部に記録する決定ステップと、を含む情報処理方法である。

　本発明は、かかる方法をコンピュータによって実現するためのプログラムやそのプログラムを非一時的に記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

　本発明によれば、動画像での動物体の検出精度を改善し、検出枠を安定して出力することができる。

図１は、実施形態に係る情報処理装置の適用例を説明する図である。 図２は、情報処理装置のハードウェア構成を例示する図である。 図３は、情報処理装置の機能構成を例示する図である。 図４は、検出矩形出力処理の例を示すフローチャートである。 図５Ａ～図５Ｃは、被写体の同一判定方法について説明する図である。 図６は、実施形態２に係る検出矩形出力処理の例を示すフローチャートである。 図７は、実施形態３に係る検出矩形出力処理の例を示すフローチャートである。 図８は、実施形態３に係る検出矩形出力処理の別の例を示すフローチャートである。 図９Ａおよび図９Ｂは、実施形態４が適用される状況について説明する図である。 図１０は、実施形態４に係る検出矩形出力処理の例を示すフローチャートである。 図１１は、実施形態４に係る検出矩形出力処理の別の例を示すフローチャートである。 図１２は、実施形態５に係る検出矩形出力処理の例を示すフローチャートである。 図１３は、実施形態６に係る検出矩形出力処理の例を示すフローチャートである。 図１４は、実施形態７に係る情報処理装置の機能構成を例示する図である。 図１５は、実施形態７に係る検出矩形の補正を説明する図である。 図１６は、実施形態７に係る検出矩形出力処理の例を示すフローチャートである。

　以下、本発明の一側面に係る実施の形態を、図面に基づいて説明する。

　＜適用例＞
　図１は、実施形態に係る情報処理装置の適用例を説明する図である。情報処理装置は、カメラから入力される動画像を取得し、取得した動画像の各画像フレームから、動物体（以下、動体とも称する）を検出する。カメラは、例えば、監視カメラ等の固定カメラが想定される。

　情報処理装置は、例えば、フレーム画像と予め用意した背景画像との間で変化した領域を抽出する背景差分法、フレーム間で変化した領域を抽出するフレーム間差分法またはそれらの両方により、動体領域を抽出することができる。図１の例は、時刻Ｔにおいて動体Ａ１が抽出された例を示す。情報処理装置は、抽出した動体Ａ１に外接する矩形Ａ２を生成する。なお、本適用例および以下の各実施形態の説明では、動体領域を示す枠の形状は、矩形であるものとして説明するが、矩形に限られず、楕円、多角形、動体に外接する曲線等により動体領域を囲むものであればよい。

　情報処理装置は、例えば、検出した動体を機械学習の識別器に入力することにより、動体の信頼度を取得する。図１の例での信頼度は人体らしさの信頼度であるものとする。外接矩形Ａ２は、人体の頭部を除く部分が動体領域として抽出された領域を含む。このため、外接矩形Ａ２で囲まれた領域の画像を識別器に入力した場合の信頼度は５００となる。

　現フレームで検出した動体の信頼度が所定の閾値以下の場合、情報処理装置は、前フレームで検出した同じ被写体の検出矩形を用いて現フレームから切り取った画像の信頼度を算出する。情報処理装置は、算出した信頼度を、現フレームで検出した動体の外接矩形による信頼度と比較する。

　図１の例では、所定の閾値を７００とすると、時刻Ｔ（現フレーム）の外接矩形Ａ２による動体Ａ１の信頼度５００は、所定の閾値７００よりも低い。そこで、情報処理装置は、時刻Ｔ－１（前フレーム）での動体Ａ１と同じ被写体に対する検出矩形Ａ３を用いて時刻Ｔの現フレームで切り取った画像の信頼度を算出する。算出した信頼度１０００は、時刻Ｔで検出した動体Ａ１の外接矩形Ａ２による信頼度よりも高くなっている。

　前フレームでの検出矩形による信頼度が、現フレームでの外接矩形による信頼度よりも高い場合、情報処理装置は、前フレームでの検出矩形を現フレームで検出した動体の検出矩形に決定する。図１の例では、時刻Ｔ－１での検出矩形Ａ３による信頼度１０００は、時刻Ｔでの信頼度５００よりも高いため、情報処理装置は、検出矩形Ａ３を時刻Ｔの現フレームで検出した動体Ａ１の検出矩形に決定する。人体の頭部を含まない領域を囲む外接矩形Ａ２ではなく、信頼度がより高くなる検出矩形Ａ３を採用することで、時刻Ｔでの検出精度は改善される。

　以上のように、情報処理装置は、現フレームで検出した動体の外接矩形による信頼度、および前フレームで検出した同じ動体の検出矩形による信頼度に基づいて、当該動体の検出矩形を決定する。情報処理装置は、信頼度がより高くなる矩形を検出矩形として採用することで、動体検出の精度を改善することができる。また、情報処理装置は、動画像において動体が動きを停止した場合、または動体の動きがほとんどない場合でも、前フレームの検出矩形を採用することにより安定した検出矩形を出力することができる。このため、フレーム間差分法により動体を検出した場合でも、静止物体の検出精度は向上する。

　＜実施形態１＞
　（ハードウェア構成）
　図２を参照して、情報処理装置１のハードウェア構成の一例について説明する。図２は、情報処理装置１のハードウェア構成を例示する図である。情報処理装置１は、プロセッサ１０１、主記憶装置１０２、補助記憶装置１０３、通信インタフェース（Ｉ／Ｆ）１０４、出力装置１０５を備える。プロセッサ１０１は、補助記憶装置１０３に記憶されたプログラムを主記憶装置１０２に読み出して実行することにより、図３で説明する各機能構成としての機能を実現する。通信インタフェース１０４は、有線または無線通信を行うためのインタフェースである。出力装置１０５は、例えば、ディスプレイ等の出力を行うための装置である。

　情報処理装置１は、パーソナルコンピュータ、サーバコンピュータ、タブレット端末、スマートフォンのような汎用的なコンピュータでもよく、オンボードコンピュータのように組み込み型のコンピュータでもよい。情報処理装置１は、例えば、複数台のコンピュータ装置による分散コンピューティングにより実現されてもよく、各機能部の一部をクラウドサーバにより実現されてもよい。また、情報処理装置１の各機能部の一部は、ＦＰＧＡまたはＡＳＩＣなどの専用のハードウェア装置によって実現されてもよい。

　情報処理装置１は、有線（ＵＳＢケーブル、ＬＡＮケーブルなど）または無線（ＷｉＦｉなど）でカメラ２に接続され、カメラ２で撮影された画像データを受信する。カメラ２は、レンズを含む光学系および撮像素子（ＣＣＤやＣＭＯＳなどのイメージセンサ）を有する撮像装置である。

　なお、情報処理装置１は、カメラ２と一体に構成されてもよい。また、撮像画像に対する動体検出、人体判定処理など情報処理装置１の処理の一部は、カメラ２で実行されてもよい。さらに、情報処理装置１による人体検出の結果は、外部の装置に送信されユーザに提示されるようにしてもよい。

　（機能構成）
　図３は、情報処理装置１の機能構成を例示する図である。情報処理装置１は、画像取得部１１、処理部１２、検出矩形データベース（ＤＢ）１３、出力部１４を含む。処理部１２は、検出部１２１、算出部１２２、判定部１２３、決定部１２４を含む。

　画像取得部１１は、カメラ２から取得した動画像データを処理部１２に送信する。処理部１２の検出部１２１は、画像取得部１１から受信した動画像のフレームごとに動体を検出する。検出部１２１は、例えば、背景差分法またはフレーム間差分法により、動体を検出することができる。

　算出部１２２は、検出された動体が所定の被写体（例えば、人体）である信頼度を算出する。算出部１２２は、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）などのニューラルネットワークのアルゴリズムにより信頼度を算出することができる。また、算出部１２２は、ブースティング、サポートベクターマシン（ＳＶＭ、Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ）といった機械学習による識別器を用いて信頼度を算出してもよい。

　判定部１２３は、前フレームで検出された動体のうち、現フレームで検出した動体と同じ被写体がいずれの動体かを判定する。前フレームで検出された動体および対応する検出矩形の情報は、検出矩形データベース１３に格納されている。判定部１２３は、例えば、現フレームで検出した動体に外接する矩形と、前フレームで検出された動体の検出矩形との中心間距離に基づいて、現フレームで検出した動体と前フレームで検出された動体とが同じ被写体であるか否かを判定する。

　決定部１２４は、算出部１２２により算出された信頼度に基づいて、現フレームで検出された動体に対する検出矩形を決定し、検出矩形データベース１３に登録する。例えば、決定部１２４は、現フレームで検出された動体の外接矩形による信頼度が所定の閾値より大きい場合には、当該外接矩形を当該動体の検出矩形と決定して、検出矩形データベース１３に登録する。

　また、現フレームでの外接矩形による信頼度が所定の閾値以下の場合、決定部１２４は、前フレームで検出された同じ被写体の検出矩形を現フレームに適用して信頼度を算出する。決定部１２４は、現フレームでの外接矩形および前フレームでの同じ被写体の検出矩形のうち、信頼度がより高くなる矩形を、現フレームで検出された動体の検出矩形と決定し、検出矩形データベース１３に登録する。

　検出矩形データベース１３は、動画像の各フレームで検出された動体を、決定部１２４が決定したそれぞれの検出矩形と対応づけて格納する。検出矩形データベース１３は、検出矩形の情報として、例えば、フレーム内での検出矩形の位置および大きさの情報を格納する。また、検出矩形データベース１３は、検出矩形の情報として、算出部１２２によって算出された検出矩形による当該動体の信頼度を格納してもよい。検出矩形データベース１３は、記録部の一例である。

　出力部１４は、検出矩形データベース１３に格納されている動体および対応する検出矩形の情報に基づいて、各フレームの画像に検出された動体の検出矩形を重畳させ、ディスプレイ等の出力装置１０５に出力する。

　（検出矩形出力処理）
　図４を参照して、検出矩形出力処理の全体的な流れを説明する。図４は、検出矩形出力処理の例を示すフローチャートである。検出矩形出力処理は、例えば、画像取得部１１が取得した動画像の各フレームが処理部に送信されることにより開始される。図４に示す検出矩形出力処理は、動画像のフレームごとに実行される処理である。

　Ｓ１０１では、検出部１２１は、画像取得部１１から受信した処理対象のフレーム（以下、現フレームと称する）の画像から動体を検出する。検出部１２１は、フレーム画像と予め用意した背景画像との間で変化した領域を抽出する背景差分法、フレーム間で変化した領域を抽出するフレーム間差分法により、動体を検出することができる。

　Ｓ１０２では、検出部１２１は、現フレームで検出した各動体に外接する矩形を生成する。現フレームで検出された動体ｉ（ｉ＝１，…，Ｎ）に対し、Ｓ１０３からＳ１０９までの処理が繰り返される。

　Ｓ１０３では、算出部１２２は、Ｓ１０２で生成された外接矩形により現フレームから切り取った画像の信頼度を算出する。信頼度は、切り取った画像内の動体ｉが所定の被写体、例えば人物である信頼度である。算出部１２２は、例えば、ＣＮＮなどのニューラルネットワークのアルゴリズム、ブースティング、ＳＶＭといった機械学習による識別器を用いて信頼度を算出することができる。

　Ｓ１０４では、決定部１２４は、Ｓ１０３で算出された外接矩形による信頼度が所定の閾値ＴＨ１（第１閾値）より大きいか否かを判定する。外接矩形による信頼度がＴＨ１より大きい場合（Ｓ１０４：Ｙｅｓ）、処理はＳ１０９に進む。外接矩形による信頼度がＴＨ１以下の場合（Ｓ１０４：Ｎｏ）、処理は、Ｓ１０５からＳ１０８のループ処理Ｌ２に進む。

　ループ処理Ｌ２では、算出部１２２は、前のフレーム（以下、前フレームとも称する）で検出された動体ｊ（ｊ＝１，…，Ｍ）のうち、現フレームの動体ｉと同じ被写体である動体ｊ_ｍの検出矩形を用いて、動体ｉの信頼度を算出する。決定部１２４は、算出した信頼度、および動体ｉの外接矩形による信頼度に基づいて、現フレームでの動体ｉの検出矩形を決定する。以下、各ステップの処理を具体的に説明する。

　Ｓ１０５では、判定部１２３は、前フレームで検出した動体ｊの被写体が、現フレームの動体ｉの被写体と同じであるか否かを判定する。前フレームで検出した動体ｊの被写体が、現フレームの動体ｉの被写体と同じであると判定した場合（Ｓ１０６：Ｙｅｓ）、処理はＳ１０７に進む。同じでないと判定した場合（Ｓ１０６：Ｎｏ）、処理は次の動体ｊ＋１の検出矩形についてのループ処理Ｌ２に進む。

　ここで、図５Ａ～図５Ｃを参照して、Ｓ１０５およびＳ１０６で、前フレームの動体ｊが現フレームの動体ｉと同じ被写体であるか否かを判定する同一判定方法の３つの例を説明する。なお、被写体が同じであるか否かは、以下に例示する３つの方法を可能な範囲で組み合わせて判定してもよい。

　図５Ａは、１つめの同一判定方法の例を示す。判定部１２３は、現フレームの動体ｉに外接する矩形Ａ５１２と、前フレームの動体ｊの検出矩形Ａ５１１との中心間の距離ｄに基づいて、前フレームで検出した動体ｊの被写体が、現フレームの動体ｉの被写体と同じであるか否かを判定する。

　判定部１２３は、例えば、中心間の距離ｄが所定の閾値より小さい場合に、前フレームで検出した動体ｊの被写体が、現フレームの動体ｉの被写体と同じであると判定する。中心間距離ｄに対する所定の閾値は、例えば、現フレームの動体ｉに外接する矩形Ａ５１２の幅の１／２の長さとすることができる。

　図５Ｂは、２つめの同一判定方法の例を示す。判定部１２３は、現フレームの動体ｉに外接する矩形Ａ５２２と、前フレームの動体ｊの検出矩形Ａ５２１とのＩｏＵ（Intersection over Union）に基づいて、前フレームで検出した動体ｊの被写体が、現フレームの動体ｉの被写体と同じであるか否かを判定する。ＩｏＵは、現フレームの動体ｉに外接する矩形Ａ５２２と前フレームの動体ｊの検出矩形Ａ５２１とが占める領域（和の領域）に対する両矩形の重なりの領域の割合である。

　判定部１２３は、例えば、ＩｏＵが所定の閾値より大きい場合に、前フレームで検出した動体ｊの被写体が、現フレームの動体ｉの被写体と同じであると判定する。ＩｏＵに対する所定の閾値は、例えば、８０％とすることができる。

　図５Ｃは、３つめの同一判定方法の例を示す。判定部１２３は、現フレームの動体ｉと、前フレームの動体ｊとを、機械学習による照合のアルゴリズム（Ｒｅ－Ｉｄ）を用いて照合することにより、前フレームで検出した動体ｊの被写体が、現フレームの動体ｉの被写体と同じであるか否かを判定する。

　図５Ｃの例では、時刻Ｔで検出された動体Ａ５３２に対し、時刻Ｔ－１で検出された動体Ａ５３１および動体Ａ５４１のうち、動体Ａ５３１が同じ被写体であると判定される。また、時刻Ｔで検出された動体Ａ５４２に対し、動体Ａ５４１が同じ被写体であると判定される。判定部１２３は、機械学習による照合のアルゴリズムを用いることで、精度よく同じ被写体であることを判定することができる。

　判定部１２３は、例えば、現フレームで検出した動体と、前フレームで検出した複数の動体との類似度をそれぞれ取得する。判定部１２３は、類似度が閾値（例えば、１を最大値とした場合に０．５）以上である動体のうち、類似度が最も高くなる動体を、現フレームで検出した動体と同じ被写体であると判定することができる。

　図４のＳ１０７では、算出部１２２は、現フレームの動体ｉの被写体と同じであると判定された動体ｊ_ｍの検出矩形によって、現フレームから切り取った動体ｉの信頼度を算出する。

　Ｓ１０８では、決定部１２４は、Ｓ１０７で算出した前フレームの動体ｊ_ｍの検出矩形による信頼度と、Ｓ１０３で算出した外接矩形による信頼度とを比較する。決定部１２４は、現フレームの動体ｉの外接矩形による信頼度が、前フレームの動体ｊ_ｍの検出矩形による信頼度よりも高い場合、外接矩形を、現フレームの動体ｉの検出矩形として決定する。一方、前フレームの動体ｊ_ｍの検出矩形による信頼度が、外接矩形による信頼度よりも高い場合、決定部１２４は、前フレームの動体ｊ_ｍの検出矩形を、現フレームの動体ｉの検出矩形として決定する。

　なお、前フレームの動体ｊのうち、現フレームの動体ｉと同じ被写体であると判定された動体ｊ_ｍが複数存在する場合、Ｓ１０７で算出した信頼度が最も高い検出矩形を採用し、Ｓ１０３で算出した外接矩形による信頼度と比較すればよい。

　Ｓ１０９では、決定部１２４は、Ｓ１０８で現フレームの動体ｉの検出矩形として決定した検出矩形の情報を、検出矩形データベース１３に記録する。検出矩形の情報は、動体ｉの画像情報、決定された検出矩形の位置および大きさ、決定された検出矩形による動体ｉの信頼度の値を含む。

　Ｓ１０９で検出矩形データベース１３に記録された現フレームの動体ｉの検出矩形は、次のフレームで検出された動体の信頼度を算出するために使用される。現フレームで検出された各動体に対し、Ｓ１０３からＳ１０９までのループ処理Ｌ１が終了すると、処理はＳ１１０に進む。

　Ｓ１１０では、出力部１４は、Ｓ１０８で決定した検出矩形を、現フレームの画像に重畳させて出力する。現フレームに対する検出矩形出力処理は終了する。

　（作用効果）
　上記の実施形態１において、情報処理装置１は、現フレームの動体に外接する矩形による当該動体の信頼度、および前フレームで検出した同じ被写体の検出矩形による現フレームでの当該動体の信頼度を比較する。情報処理装置１は、信頼度を比較した矩形のうち信頼度がより高い矩形を、現フレームでの当該動体の検出矩形として決定する。信頼度がより高くなる検出矩形が採用されるため、情報処理装置１は、動体の検出精度を改善し、検出矩形を安定して出力することができる。

　また、情報処理装置１は、現フレームでの外接矩形による動体の信頼度が所定の閾値（第１閾値）より大きい場合には、外接矩形を当該動体の検出矩形として記録する。信頼度が所定の閾値より大きい場合、前フレームの検出矩形による信頼度との比較をしないため、情報処理装置１は、処理負荷を軽減することができる。

　また、情報処理装置１は、図４に示す検出矩形出力処理のＳ１０５およびＳ１０６の処理で、現フレームで検出した動体と前フレームで動体とが同じ被写体であるか否かを判定する。図５Ａで説明した中心間距離を用いた同一判定方法、および図５Ｂで説明したＩｏＵを用いた同一判定方法は、同じ被写体であるか否かを、図５Ｃで説明した機械学習による同一判定方法と比較して、より低負荷で判定することができる。また、図５Ｃで説明した機械学習による同一判定方法は、同じ被写体であるか否かを、中心間距離またはＩｏＵを用いた同一判定方法よりも、精度よく判定することができる。

　＜実施形態２＞
　実施形態１では、現フレームで検出した動体の外接矩形による信頼度が所定の閾値より大きい場合、情報処理装置１は、前フレームでの検出矩形による信頼度との比較をせずに、現フレームでの外接矩形を検出した動体の検出矩形として決定する。これに対し、実施形態２では、情報処理装置１は、現フレームで検出した動体の外接矩形による信頼度に関わらず、前フレームで検出した動体の検出矩形による信頼度との比較し、信頼度が高いほうの矩形を、現フレームで検出した動体の検出矩形として決定する。

　実施形態２に係る情報処理装置１のハードウェア構成および機能構成は、実施形態１と同様であるため、説明は省略する。図６は、実施形態２に係る検出矩形出力処理の例を示すフローチャートである。実施形態２に係る検出矩形出力処理は、図４に示す実施形態１の検出矩形出力処理とは、Ｓ１０４の判定処理がない点で相違する。図４に示す実施形態１の検出矩形出力処理と同じ処理については、同じ符号を付して説明は省略する。なお、図６の実施形態２に係る検出矩形出力処理は、図４の検出矩形出力処理で、Ｓ１０４の閾値ＴＨ１を信頼度の最大値に設定することにより実現することも可能である。

　実施形態２では、判定部１２３は、動体ｉの外接矩形による信頼度が閾値ＴＨ１より大きいか否かに関わらず、外接矩形による信頼度を、前フレームで検出した動体ｊの検出矩形による動体ｉの信頼度と比較する。動体ｉの外接矩形による信頼度に関わらず、前フレームでの検出矩形も含めて、より信頼度が高い矩形が採用されるため、出力される検出矩形の精度は改善される。

　＜実施形態３＞
　実施形態３は、決定部１２４によって決定した検出矩形による信頼度が、所定の閾値以下の場合には検出矩形を出力せず、所定の閾値より大きい場合には決定した検出矩形を出力する実施形態である。信頼度が所定の閾値以下の場合には検出矩形を出力しないようにすることで、情報処理装置１は、安定した信頼度の検出矩形を、継続して出力することができる。

　実施形態３に係る情報処理装置１のハードウェア構成および機能構成は、実施形態１と同様であるため、説明は省略する。図７および図８は、実施形態３に係る検出矩形出力処理の例を示すフローチャートである。実施形態３に係る検出矩形出力処理は、図４に示す実施形態１の検出矩形出力処理に対し、検出矩形による信頼度が所定の閾値より大きいか否かの判定処理（Ｓ７０１、Ｓ８０１）が追加されている。図４に示す実施形態１の検出矩形出力処理と同じ処理については、同じ符号を付して説明は省略する。

　図７の検出矩形出力処理と図８の検出矩形出力処理とは、検出矩形の信頼度が所定の閾値ＴＨ２（第２閾値）より大きいか否かを判定するタイミングが相違する。図７では、検出矩形の信頼度が所定の閾値ＴＨ２より大きいか否かは、Ｓ１０９で検出矩形の情報が検出矩形データベース１３に格納される前に判定される。即ち、検出矩形の信頼度が所定の閾値ＴＨ２以下の場合、検出矩形は、検出矩形データベース１３に格納されず出力もされない。これに対し、図８では、検出矩形の信頼度が所定の閾値ＴＨ２より大きいか否かは、Ｓ１１０で検出矩形が出力される前に判定される。即ち、検出矩形の信頼度が所定の閾値ＴＨ２以下の場合、検出矩形は、検出矩形データベース１３に格納されるが、出力はされない。

　図７の例では、ループ処理Ｌ２で動体ｉに対する検出矩形が決定されると、処理はＳ７０１に進む。Ｓ７０１では、決定部１２４は、決定した検出矩形による信頼度が所定の閾値ＴＨ２より大きいか否かを判定する。所定の閾値ＴＨ２は、例えば、閾値ＴＨ１以下の値に設定することができる。決定した検出矩形による信頼度が所定の閾値ＴＨ２より大きい場合（Ｓ７０１：Ｙｅｓ）、処理はＳ１０９に進む。決定した検出矩形による信頼度が所定の閾値ＴＨ２以下の場合（Ｓ７０１：Ｎｏ）、処理は次の動体ｉ＋１についてのループ処理Ｌ１に進む。

　Ｓ１０９では、決定した検出矩形による信頼度が所定の閾値ＴＨ２より大きい検出矩形の情報が、検出矩形データベース１３に格納される。Ｓ１１０では、出力部１４は、現フレームで検出された動体に対し、検出矩形データベース１３に格納されている検出矩形を出力する。即ち、出力部１４は、Ｓ１０４で信頼度が所定の閾値ＴＨ１より大きい動体ｉの外接矩形、およびＳ７０１で信頼度が所定の閾値ＴＨ２より大きいと判定された検出矩形を出力する。信頼度が所定の閾値以下となる矩形を出力しないことにより、情報処理装置１は、安定した信頼度の検出矩形を、継続して出力することができる。

　図８の例では、ループ処理Ｌ１で、現フレームで検出された各動体に対する検出矩形が検出矩形データベース１３に記録されると、処理はＳ８０１に進む。Ｓ８０１では、出力部１４は、検出矩形データベース１３に記録された各動体の検出矩形による信頼度が所定の閾値ＴＨ２より大きいか否かを判定する。

　信頼度が所定の閾値ＴＨ２より大きい動体については（Ｓ８０１：Ｙｅｓ）、処理はＳ１１０に進む。信頼度が所定の閾値ＴＨ２以下の動体については（Ｓ８０１：Ｎｏ）、検出矩形は出力されず、図８に示す現フレームの検出矩形出力処理は終了する。

　Ｓ１１０では、出力部１４は、検出矩形データベース１３に格納されている検出矩形のうち、Ｓ８０１で信頼度が所定の閾値ＴＨ２より大きいと判定された検出矩形を出力する。信頼度が所定の閾値以下となる矩形を出力しないことにより、情報処理装置１は、安定した信頼度の検出矩形を、継続して出力することができる。

　＜実施形態４＞
　実施形態４は、静止物体に対する検出矩形が、現フレームの動体の外接矩形よりも信頼度が高くなるために、動体の検出矩形として採用され残ってしまう状況を解消するための実施形態である。実施形態４に係る情報処理装置１のハードウェア構成および機能構成は、実施形態１と同様であるため、説明は省略する。

　情報処理装置１は、現フレームで検出した動体の外接矩形と、前フレームで同じ被写体であると判定された動体の検出矩形との差分が所定の閾値より大きくなるフレームの連続数が所定数を超える場合には、検出矩形を出力しないようにする。差分は、例えば、前フレームの検出矩形から現フレームの外接矩形への面積変化であってもよく、前フレームの検出矩形の面積に対する当該面積変化の割合であってもよい。即ち、情報処理装置１は、現フレームでの動体の外接矩形と、前フレームでの検出矩形との差分が所定の閾値より大きいフレームが所定数以下の場合に、決定部１２４により決定された検出矩形を、動体の検出矩形として記録する。これにより、情報処理装置１は、動体の検出矩形として誤って採用された静止物体の検出矩形を、以降のフレームで採用されないように制御することができる。

　図９Ａおよび図９Ｂを参照して、実施形態４が適用される状況について説明する。図９Ａは、フレーム画像から検出対象として人体を検出する例を示す。物体９０２は、動体として検出され得る扇風機などの物体である。物体９０３は、物体９０２と重なって撮像され、人体として誤検出される可能性のある物体である。物体９０３は、例えば、ロボット、人体の写ったポスター、コート掛け、壁の模様など、物体９０２と重なって人体と判定される可能性のあるものが想定される。図９Ａは、本実施形態が適用される場面を例示する。人体９０１は、カメラ２の位置から見て物体９０２と重なるように通り過ぎる。

　図９Ｂは、図９Ａの場面で時刻Ｔ－１から時刻Ｔ＋１までの動体の検出結果を例示する。時刻Ｔは、人体９０１が、カメラ２の位置から見て物体９０２と重なる位置を通った直後の時刻であるものとする。

　時刻Ｔ－１のフレーム画像では、人体９０１が物体９０２の周囲で検出され、検出矩形Ａ９１は、人体９０１の検出矩形として検出矩形データベース１３に記録される。時刻Ｔで物体９０２が検出されると、判定部１２３は、物体９０２の外接矩形Ａ９２と、人体９０１の検出矩形Ａ９１との中心間距離から、時刻Ｔ－１での人体９０１を、物体９０２と同じ被写体であると判定することが考えられる。この場合、算出部１２２は、人体９０１の検出矩形Ａ９１を用いて、物体９０２の信頼度を算出する。検出矩形Ａ９１による物体９０２の信頼度（人体であることの信頼度）は、物体９０３が存在するために、物体９０２の外接矩形Ａ９２による信頼度よりも高くなる。したがって、決定部１２４は、時刻Ｔ－１での検出矩形Ａ９１を、物体９０２の検出矩形として決定する。

　物体９０３が静止物体である場合には、時刻Ｔ＋１になっても、時刻Ｔの場合と同様に、決定部１２４は、時刻Ｔ－１および時刻Ｔでの検出矩形Ａ９１を、物体９０２の検出矩形として決定する。時刻Ｔ＋１以降も同様に、誤検出である検出矩形Ａ９１は、物体９０２の検出矩形として検出矩形データベース１３に記録される。

　この状況を回避するため、情報処理装置１は、現フレームでの外接矩形と前フレームの検出矩形との差分が所定の閾値ＴＨ３より大きくなるフレームが所定数連続している場合には、検出矩形Ａ９１を検出矩形データベース１３に記録しないように制御する。

　例えば、図９Ｂの例での差分は、前フレームの検出矩形Ａ９１の面積に対する、検出矩形Ａ９１から外接矩形Ａ９２への面積変化の割合とすることができる。この場合、情報処理装置１は、差分が所定の閾値ＴＨ３である５０％より大きいフレームが、５フレームより多く連続した場合、検出矩形Ａ９１を検出矩形データベース１３に記録しないように制御することができる。即ち、情報処理装置１は、差分が所定の閾値ＴＨ３の５０％より大きいフレームの連続数が５フレーム以下であれば、検出矩形Ａ９１を記録する。前フレームの検出矩形と現フレームの外接矩形との差分に基づいて検出矩形を記録するか否かを制御することで、情報処理装置１は、誤検出である検出矩形が、所定数より多く連続して出力されることを回避することができる。

　図１０および図１１は、実施形態４に係る検出矩形出力処理の例を示すフローチャートである。実施形態４に係る検出矩形出力処理は、図４に示す実施形態１の検出矩形出力処理に対し、矩形の差分が所定の閾値より大きいフレームの連続数についての判定処理（Ｓ１００１～Ｓ１００４、Ｓ１１０１～Ｓ１１０４）が追加されている。図４に示す実施形態１の検出矩形出力処理と同じ処理については、同じ符号を付して説明は省略する。

　図１０の検出矩形出力処理と図１１の検出矩形出力処理とは、矩形の差分が所定の閾値ＴＨ３（第３閾値）より大きいフレームの連続数が、所定数ＴＨ４より大きいか否かを判定するタイミングが相違する。図１０では、連続数が所定数ＴＨ４より大きいか否かは、Ｓ１０９で検出矩形の情報が検出矩形データベース１３に格納される前に判定される。即ち、連続数が所定数以下の場合、検出矩形は、検出矩形データベース１３に格納されず出力もされない。これに対し、図１１では、連続数が所定数ＴＨ４より大きいか否かは、Ｓ１１０で検出矩形が出力される前に判定される。即ち、連続数が所定数ＴＨ４以下の場合、検出矩形は、検出矩形データベース１３に格納されるが、出力はされない。

　図１０の例では、ループ処理Ｌ２で動体ｉに対する検出矩形が決定されると、処理はＳ１００１に進む。Ｓ１００１では、前フレームの検出矩形と現フレームの外接矩形との差分が算出される。矩形の差分は、例えば、動体ｉの外接矩形と、Ｓ１０８で決定された動体ｉの検出矩形との面積の変化量として算出することができる。なお、矩形の差分は、検出矩形の情報とともに検出矩形データベース１３に記録される。

　決定部１２４は、動体ｉの矩形の差分が所定の閾値ＴＨ３より大きいか否かを判定する。動体ｉの矩形の差分が所定の閾値ＴＨ３より大きい場合（Ｓ１００１：Ｙｅｓ）、処理はＳ１００２に進む。動体ｉの矩形の差分が所定の閾値ＴＨ３以下の場合（Ｓ１００１：Ｎｏ）、処理はＳ１００３に進む。Ｓ１００３では、決定部１２４は、動体ｉの矩形の差分変化量が所定の閾値ＴＨ３より大きいフレームの連続数Ｆ１を初期化する。処理はＳ１０９に進み、Ｓ１０８で決定された動体ｉに対応する検出矩形は、検出矩形データベース１３に記録される。

　Ｓ１００２では、決定部１２４は、動体ｉの矩形の差分が所定の閾値ＴＨ３より大きいフレームの連続数Ｆ１を１増やす。動体ｉの矩形の差分が所定の閾値ＴＨ３より大きいフレームの連続数Ｆ１は、検出矩形データベース１３に記録され、各フレームの処理で参照される。

　Ｓ１００４では、決定部１２４は、連続数Ｆ１が所定数ＴＨ４を超えているか否かを判定する。連続数Ｆ１が所定数ＴＨ４を超えている場合（Ｓ１００４：Ｙｅｓ）、動体ｉに対応する検出矩形は、検出矩形データベース１３に記録されず、処理は次のループ処理Ｌ１に進む。連続数Ｆ１が所定数ＴＨ４以下の場合（Ｓ１００４：Ｎｏ）、処理はＳ１０９に進み、動体ｉに対応する検出矩形は、検出矩形データベース１３に記録される。

　情報処理装置１は、矩形の差分が所定の閾値より大きくなるフレームの連続数が所定数を超える場合には、検出矩形を出力しないようにすることにより、誤検出による検出矩形の出力を低減することができる。

　図１１の例では、Ｓ１１０１からＳ１１０３の処理は、それぞれ図１０のＳ１００１およびＳ１００３と同様である。決定部１２４は、Ｓ１１０２で連続数Ｆ１を１増やした後、またはＳ１１０３で連続数Ｆ１を０に初期化した後、連続数Ｆ１を検出矩形データベース１３に記録する。Ｓ１０９では、決定部１２４は、連続数Ｆ１の値にかかわらず、動体ｉおよび対応する検出矩形の情報を検出矩形データベース１３に記録する。

　現フレームで検出された各動体に対する検出矩形が検出矩形データベース１３に記録されると、処理はＳ１１０４に進む。Ｓ１１０４では、出力部１４は、連続数Ｆ１が所定数ＴＨ４を超えているか否かを判定する。

　連続数Ｆ１が所定数ＴＨ４を超えている動体ｉについては（Ｓ１１０４：Ｙｅｓ）、検出矩形は出力されず、図１１に示す現フレームの検出矩形出力処理は終了する。この場合、出力部１４は、検出矩形データベース１３に記録された動体ｉについての連続数Ｆ１を０に初期化する。連続数Ｆ１が所定数ＴＨ４以下の動体ｉについては（Ｓ１１０４：Ｎｏ）、処理はＳ１１０に進む。

　Ｓ１１０では、出力部１４は、検出矩形データベース１３に格納されている検出矩形のうち、Ｓ１１０４で連続数Ｆ１が所定数ＴＨ４以下と判定された検出矩形を出力する。情報処理装置１は、矩形の差分が所定の閾値より大きくなるフレームの連続数が所定数を超える場合には、検出矩形を出力しないようにすることにより、誤検出による検出矩形の出力を低減することができる。

　＜実施形態５＞
　実施形態５は、信頼度が所定の閾値より大きいフレームが所定数連続する場合に、検出矩形を出力する実施形態である。信頼度が所定の閾値以下の場合には検出矩形を出力しないようにすることで、情報処理装置１は、安定した信頼度の検出矩形を、継続して出力することができる。

　実施形態５に係る情報処理装置１のハードウェア構成および機能構成は、実施形態１と同様であるため、説明は省略する。図１２は、実施形態５に係る検出矩形出力処理の例を示すフローチャートである。実施形態５に係る検出矩形出力処理は、図４に示す実施形態１の検出矩形出力処理に対し、信頼度が所定の閾値より大きいフレームの連続数についての判定処理（Ｓ１２０１～Ｓ１２０４）が追加されている。図４に示す実施形態１の検出矩形出力処理と同じ処理については、同じ符号を付して説明は省略する。

　図１２の例では、Ｓ１０４で、外接矩形による信頼度が所定の閾値ＴＨ１より大きい場合（Ｓ１０４：Ｙｅｓ）、処理はＳ１２０２に進む。

　Ｓ１２０２では、決定部１２４は、信頼度が所定の閾値より大きいフレームの連続数Ｆ２を１増やす。信頼度が所定の閾値より大きいフレームの連続数Ｆ２は、検出矩形データベース１３に記録され、各フレームの処理で参照される。

　また、図１２のループ処理Ｌ２で動体ｉに対する検出矩形が決定されると、処理はＳ１２０１に進む。Ｓ１２０１では、決定部１２４は、ループ処理Ｌ２で決定した検出矩形による動体ｉの信頼度が所定の閾値ＴＨ１より大きいか否かを判定する。決定した検出矩形による信頼度が所定の閾値ＴＨ１より大きい場合（Ｓ１２０１：Ｙｅｓ）、処理はＳ１２０２に進む。決定した検出矩形による信頼度がＴＨ１以下の場合（Ｓ１２０１：Ｎｏ）、処理はＳ１０９に進む。

　Ｓ１２０２では、決定部１２４は、信頼度が所定の閾値より大きいフレームの連続数Ｆ２を１増やす。Ｓ１０９では、連続数Ｆ２の値にかかわらず、動体ｉおよび対応する検出矩形の情報を検出矩形データベース１３に記録する。

　Ｓ１２０３では、決定部１２４は、Ｓ１２０１で信頼度がＴＨ１以下と判定されて信頼度が所定の閾値より大きいフレームが連続しないことになるため、動体ｉについての連続数Ｆ２を０に初期化する。

　現フレームで検出された各動体に対する検出矩形が検出矩形データベース１３に記録されると、処理はＳ１２０４に進む。Ｓ１２０４では、出力部１４は、連続数Ｆ２が所定数ＴＨ５を超えているか否かを判定する。

　連続数Ｆ２が所定数ＴＨ５を超えている動体ｉについては（Ｓ１２０４：Ｙｅｓ）、処理はＳ１１０に進む。連続数Ｆ２が所定数ＴＨ５以下の動体ｉについては（Ｓ１２０４：Ｎｏ）、検出矩形は出力されず、図１２に示す現フレームの検出矩形出力処理は終了する。

　Ｓ１１０では、出力部１４は、検出矩形データベース１３に格納されている検出矩形のうち、Ｓ１２０４で連続数Ｆ２が所定数ＴＨ５を超えていると判定された検出矩形を出力する。情報処理装置１は、連続数Ｆ２が所定数ＴＨ５以下の場合には、検出矩形を出力しないようにすることにより、高信頼度の検出矩形を継続して出力することができる。

　＜実施形態６＞
　上述の各実施形態では、現フレームの動体の外接矩形による信頼度は、前フレームで検出された同じ被写体の検出矩形による信頼度と比較される。これに対し、実施形態６は、現フレームの動体の外接矩形による信頼度を、複数フレーム前まで遡って検出された同じ被写体の各検出矩形による信頼度と比較する実施形態である。実施形態６では、情報処理装置１は、現フレームの外接矩形および複数フレーム前までの検出矩形のうち、信頼度がより高くなる矩形を、現フレームの動体の検出矩形として出力する。

　実施形態６に係る情報処理装置１のハードウェア構成および機能構成は、実施形態１と同様であるため、説明は省略する。図１３は、実施形態６に係る検出矩形出力処理の例を示すフローチャートである。実施形態６に係る検出矩形出力処理は、図４に示す実施形態１の検出矩形出力処理に対し、フレームを遡るループ処理Ｌ３が追加されている。図４に示す実施形態１の検出矩形出力処理と同じ処理については、同じ符号を付して説明は省略する。

　図１３の例では、Ｓ１０５、Ｓ１０６、Ｓ１３０１のループ処理Ｌ４は、ｋフレーム（ｋ＝１，…，Ｌ）前までの各フレームで繰り返される。遡るフレーム数Ｌは、例えば５フレーム程度とし、処理時間および処理負荷に応じて決定されればよい。Ｓ１３０１では、算出部１２２は、図４のＳ１０７と同様に、現フレームの動体ｉの被写体と同じであると判定された動体ｊ_ｍの検出矩形によって、現フレームから切り取った動体ｉの信頼度を算出する。

　Ｓ１３０２では、決定部１２４は、遡った各フレームで算出された信頼度と、Ｓ１０３で算出した外接矩形による信頼度とを比較する。決定部１２４は、比較した信頼度のうち最も高い信頼度の矩形を動体ｉの検出矩形として決定する。なお、Ｓ１３０２の信頼度を比較する処理は、Ｓ１３０１の信頼度算出後に行ってもよい。

　実施形態６では、情報処理装置１は、複数フレーム前まで遡って得られる検出矩形による信頼度を、現フレームでの外接矩形による信頼度と比較する。前フレームに限らず複数フレーム前まで遡ることにより、出力する検出矩形による信頼度は改善され、情報処理装置１は、安定した検出矩形を出力することができる。

　＜実施形態７＞
　実施形態７は、前フレームの検出矩形の位置およびサイズを補正し、補正後の検出矩形を用いて、現フレームで検出した動体の信頼度を算出する実施形態である。現フレームで検出される動体は、前フレームからの移動により、前フレームでの検出矩形を現フレームに適用しても所望の信頼度を得られない可能性がある。そこで、情報処理装置１は、前フレームでの検出矩形の位置または大きさを補正することにより、前フレームでの検出矩形による信頼度を改善する。

　実施形態７に係る情報処理装置１のハードウェア構成は、実施形態１と同様であるため、説明は省略する。図１４は、実施形態７に係る情報処理装置の機能構成を例示する図である。実施形態７に係る情報処理装置１は、図３に示す実施形態１での機能構成に加えて、補正部１２５を備える。図３と同じ機能構成については、同じ符号を付して説明は省略する。

　補正部１２５は、現フレームで検出された動体と同じ被写体に対する前フレームでの検出矩形を補正する。ここで、図１５を参照して、検出矩形の補正について説明する。時刻Ｔ、時刻Ｔ－１、時刻Ｔ－２は、それぞれ現フレーム、前回フレーム、前々回フレームの撮像時刻である。矩形Ａ１５１は、前々回フレームで検出された動体の検出矩形である。矩形Ａ１５２は、前回フレームで検出された動体の検出矩形である。矩形Ａ１５１は、および矩形Ａ１５２の情報は、検出矩形データベース１３に格納されている。矩形Ａ１５３は、現フレームで検出された動体の外接矩形である。図１５の例では、人体の頭部が動体として認識されず、矩形Ａ１５３は、頭部を除く部分を囲む矩形となっている。

　動体の移動により前回の矩形Ａ１５２は、補正なしで現フレームに適用すると、現フレームでの動体の位置とずれが生じる。このため、矩形Ａ１５２による信頼度は、頭部が動体として認識されていない矩形Ａ１５３による信頼度よりも低くなる可能性がある。

　補正部１２５は、前回の矩形Ａ１５２の位置および大きさを、現フレームでの動体の位置に合わせて補正する。補正部１２５は、例えば、前回フレームの矩形Ａ１５２および前々回フレームの矩形Ａ１５１の幅、高さ、中心座標等の変化量に基づいて、現フレームでの矩形の幅、高さ、中心座標の推定値を算出することができる。

　具体的には、補正部１２５は、前々回フレームおよび前回フレームの検出矩形の中心座標から動体が移動する向きおよび移動距離を推定し、現フレームでの中心座標を算出することができる。また、補正部１２５は、前々回フレームおよび前回フレームの検出矩形の幅、高さの平均値を、現フレームでの幅、高さとして算出することができる。補正部１２５は、算出した推定値に基づいて、補正矩形Ａ１５４を生成することができる。

　補正矩形Ａ１５４によって現フレームでの動体の信頼度を算出することで、情報処理装置１は、より信頼度の高い検出矩形を出力することができるようになる。なお、補正矩形は、前回フレームおよび前々回フレームに限られず、現フレームの外接矩形および複数フレーム前に遡って得られた検出矩形の情報に基づいて生成されてもよい。

　図１６は、実施形態７に係る検出矩形出力処理の例を示すフローチャートである。実施形態７に係る検出矩形出力処理は、図４に示す実施形態１の検出矩形出力処理のＳ１０７、Ｓ１０８に代えて、前フレームでの検出矩形を補正し、補正した矩形により信頼度を算出する処理（Ｓ１６０１からＳ１６０３）が追加されている。図４に示す実施形態１の検出矩形出力処理と同じ処理については、同じ符号を付して説明は省略する。

　図１６の例では、Ｓ１０６で、現フレームの動体ｉの被写体と同じであると判定された動体ｊ_ｍに対し、処理はＳ１６０１に進む。Ｓ１６０１では、補正部１２５は、動体ｊ_ｍの検出矩形を、動体ｊ_ｍの検出矩形と、前フレームよりも前のフレームで動体ｉと同じ被写体であると判定された動体の検出矩形との位置および大きさの変化量に基づいて補正する。

　Ｓ１６０２では、算出部１２２は、Ｓ１６０１で補正された補正矩形によって、現フレームから切り取った動体ｉの信頼度を算出する。Ｓ１６０３では、決定部１２４は、Ｓ１６０２で算出した信頼度と、Ｓ１０３で算出した外接矩形による信頼度とを比較する。決定部１２４は、現フレームの動体ｉの外接矩形による信頼度が、補正矩形による信頼度よりも高い場合、外接矩形を、現フレームの動体ｉの検出矩形として決定する。一方、補正矩形による信頼度が、外接矩形による信頼度よりも高い場合、決定部１２４は、補正矩形を、現フレームの動体ｉの検出矩形として決定する。

　実施形態７では、補正部１２５は、前フレームで検出された動体の検出矩形を、前フレームより前のフレームでの検出矩形に基づいて補正する。情報処理装置１は、前フレームでの検出矩形を補正することにより、補正矩形を現フレームに適用した場合の動体の信頼度を改善することができる。

　＜その他＞
　上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。各実施形態の構成は、上記の具体的な形態には限定されることはなく、本発明の技術的思想の範囲内で適宜組み合わせて利用することができる。また、本発明は、その技術的思想を逸脱しない範囲で、種々の変形が可能である。

　なお、上述の各実施形態で、人体らしさの信頼度は、不特定の人体であることの信頼度として説明したが、これに限られない。信頼度は、検出対象である特定の人物であることの信頼度であってもよい。

　また、上述の各実施形態で、前フレームまたは複数フレーム前に遡る場合、連続するフレームを順に遡る例で説明したが、これに限られない。情報処理装置１は、２フレーム、３フレームといった複数フレームおきに前のフレームに遡って、信頼度がより高くなる矩形を、現フレームの検出矩形として出力してもよい。

　また、上述の各実施形態では、現フレームより前のフレームで検出された動体の検出矩形を用いて、現フレームの動体の信頼度を算出したが、これに限られない。情報処理装置１は、撮影済みの動画では、現フレームより後のフレームで検出された動体の外接矩形を用いて、現フレームの動体の信頼度を算出してもよい。この場合、情報処理装置１は、現フレームでの動体の外接矩形による信頼度よりも、後のフレームで検出された動体の外接矩形を用いて算出した信頼度が大きい場合、後のフレームの外接矩形を、現フレームでの検出矩形に決定することができる。

　＜付記１＞
　（１）動画像の各フレーム画像から動体を検出する検出部（１２１）と、
　前記検出された動体が所定の被写体である信頼度を算出する算出部（１２２）と、
　第１のフレームで検出された第１の動体に外接する枠による前記第１の動体の信頼度、および前記第１のフレームより前の第２のフレームで検出された第２の動体の検出枠による前記第１のフレームでの前記第１の動体の信頼度に基づいて、前記第１の動体の検出枠を決定し、記録部に記録する決定部（１２４）と、
を備える情報処理装置（１）。

　（２）コンピュータが、
　動画像に含まれる第１のフレームから第１の動体を検出する検出ステップ（Ｓ１０１）と、
　前記第１の動体が所定の被写体である信頼度を、前記第１の動体に外接する枠、および記録部に記録されている検出枠であって、前記第１のフレームより前の第２のフレームで検出された第２の動体の検出枠を用いて算出する算出ステップ（Ｓ１０３、Ｓ１０７）と、
　前記第１の動体に外接する枠による前記第１の動体の信頼度、および前記第２の動体の検出枠による前記第１のフレームでの前記第１の動体の信頼度に基づいて、前記第１の動体の検出枠を決定し、前記記録部に記録する決定ステップ（Ｓ１０８、Ｓ１０９）と、
を含む情報処理方法。

１：情報処理装置、２：カメラ、１１：画像取得部、１２：処理部、１２１：検出部、１２２：算出部、１２３：判定部、１２４：決定部、１２５：補正部、１３：検出矩形データベース、１４：出力部

Claims (19)

1. 　動画像の各フレーム画像から動体を検出する検出部と、
   　前記検出された動体が所定の被写体である信頼度を算出する算出部と、
   　第１のフレームで検出された第１の動体に外接する枠による前記第１の動体の信頼度、および前記第１のフレームより前の第２のフレームで検出された第２の動体の検出枠による前記第１のフレームでの前記第１の動体の信頼度に基づいて、前記第１の動体の検出枠を決定し、記録部に記録する決定部と、
   を備える情報処理装置。
2. 　前記第２のフレームで検出された複数の動体のうち、前記第１の動体と同じ被写体である前記第２の動体を判定する判定部をさらに備える、
   請求項１に記載の情報処理装置。
3. 　前記判定部は、前記第１の動体に外接する枠と前記第２のフレームで検出された各動体の検出枠との中心間距離に基づいて、前記第１の動体と同じ被写体である前記第２の動体を判定する、
   請求項２に記載の情報処理装置。
4. 　前記判定部は、前記第１の動体に外接する枠と前記第２のフレームで検出した各動体の検出枠とが占める領域に対する重なりの領域の割合に基づいて、前記第１の動体と同じ被写体である前記第２の動体を判定する、
   請求項２または３に記載の情報処理装置。
5. 　前記判定部は、前記第１の動体と前記第２のフレームで検出した各動体とを、機械学習による照合のアルゴリズムを用いて照合することにより、前記第１の動体と同じ被写体である前記第２の動体を判定する、
   請求項２から４のいずれか１項に記載の情報処理装置。
6. 　前記判定部は、前記第１のフレームより前の複数のフレームで検出された動体のうち、前記第１の動体と同じ被写体がいずれの動体かをそれぞれのフレームで判定し、
   　前記決定部は、各フレームで前記第１の動体と同じ被写体であると判定された動体のそれぞれの検出枠による前記第１の動体の信頼度のうち最も大きい信頼度が、前記第１の動体に外接する枠による前記第１の動体の信頼度よりも大きい場合、前記最も大きい信頼度が算出された検出枠を、前記第１の動体の検出枠として決定する、
   請求項２から５のいずれか１項に記載の情報処理装置。
7. 　前記決定部は、前記第１の動体に外接する枠による前記第１の動体の信頼度が、第１閾値より大きい場合、前記第１の動体に外接する枠を、前記第１の動体の検出枠として決定する、
   請求項１から６のいずれか１項に記載の情報処理装置。
8. 　前記決定部は、前記第１の動体に外接する枠による前記第１の動体の信頼度よりも、前記第２の動体の検出枠による前記第１の動体の信頼度が大きい場合、前記第２の動体の検出枠を、前記第１の動体の検出枠として決定する、
   請求項１から７のいずれか１項に記載の情報処理装置。
9. 　前記決定部は、前記決定した前記第１の動体の検出枠による信頼度が、第２閾値より大きい場合に、前記第１の動体の検出枠を前記記録部に記録する、
   請求項１から８のいずれか１項に記載の情報処理装置。
10. 　前記決定部は、前記第１の動体に外接する枠による前記第１の動体の信頼度よりも、前記第２の動体の検出枠による前記第１の動体の信頼度が大きい場合であって、前記第１の動体に外接する枠と前記第２の動体の検出枠との差分が第３閾値より大きいフレームの連続数が所定数以下の場合に、前記第２の動体の検出枠を前記第１の動体の検出枠として決定し、前記第１の動体の検出枠を前記記録部に記録する、
    請求項１から９のいずれか１項に記載の情報処理装置。
11. 　前記記録部に記録された前記第１の動体の検出枠を、前記第１のフレームに重畳させて出力する出力部をさらに備える、
    請求項１から１０のいずれか１項に記載の情報処理装置。
12. 　前記出力部は、前記記録部に記録された前記第１の動体の検出枠による信頼度が、第２閾値より大きい場合に、前記第１の動体の検出枠を出力する、
    請求項１１に記載の情報処理装置。
13. 　前記出力部は、前記第１の動体に外接する枠による前記第１の動体の信頼度よりも、前記第２の動体の検出枠による前記第１の動体の信頼度が大きい場合であって、前記第１の動体に外接する枠と前記第２の動体の検出枠の差分が第３閾値より大きいフレームの連続数が所定数以下の場合に、前記記録部に記録された前記第１の動体の検出枠を出力する、請求項１１または１２に記載の情報処理装置。
14. 　前記出力部は、前記決定された前記第１の動体の検出枠による信頼度が第１閾値より大きいフレームの連続数が所定数より多い場合に、前記第１の動体の検出枠を出力する、
    請求項１１から１３のいずれか１項に記載の情報処理装置。
15. 　前記第２の動体の検出枠と、前記第２のフレームよりも前のフレームで前記第１の動体と同じ被写体であると判定された動体の検出枠との位置および大きさの変化量に基づいて、前記第２の動体の検出枠を補正する補正部をさらに備える、
    請求項１から１４のいずれか１項に記載の情報処理装置。
16. 　前記検出部は、フレーム間差分法および背景差分法の少なくともいずれかにより動体を検出する、
    請求項１から１５のいずれか１項に記載の情報処理装置。
17. 　前記算出部は、ニューラルネットワーク、ブースティング、サポートベクターマシンの少なくともいずれかに基づく識別器により、前記検出された動体が所定の被写体である信頼度を算出する、
    請求項１から１６のいずれか１項に記載の情報処理装置。
18. 　コンピュータが、
    　動画像に含まれる第１のフレームから第１の動体を検出する検出ステップと、
    　前記第１の動体が所定の被写体である信頼度を、前記第１の動体に外接する枠、および記録部に記録されている検出枠であって、前記第１のフレームより前の第２のフレームで検出された第２の動体の検出枠を用いて算出する算出ステップと、
    　前記第１の動体に外接する枠による前記第１の動体の信頼度、および前記第２の動体の検出枠による前記第１のフレームでの前記第１の動体の信頼度に基づいて、前記第１の動体の検出枠を決定し、前記記録部に記録する決定ステップと、
    を含む情報処理方法。
19. 　請求項１８に記載の方法の各ステップをコンピュータに実行させるためのプログラム。

Images