JP6655878B2 - 画像認識方法及び装置、プログラム - Google Patents

Description

本発明は、動画像において所定の物体を認識し、追跡する画像認識方法及び装置に関するものである。

近年、監視カメラで撮影した映像を解析して、監視エリア内に人物が侵入したかどうかを検知して、検知結果を報告するようなシステムが提案されている。また、侵入を検知するだけでなく、画面に映っている人物を追跡して所定期間に監視エリアを通過した人数を数えたり、その人数から混雑度合いを検知するようなシステムも提案されている。

このようなアプリケーションを実現するためには、監視カメラ映像から自動的に人物を検出し、追跡する必要がある。画像から人物を検出する方法としては、例えば非特許文献１に提案されている方法がある。ここで示されている方法は、画像から画素値の勾配方向のヒストグラムを抽出し、それを特徴量（ＨＯＧ特徴量）として画像中の部分領域が人物か否かを判定するものである。即ち、画素値の勾配の方向という特徴量によって人体の輪郭を表現し、認識に利用している。

しかしながら、このような人物検出技術を実際の監視カメラ映像に適用するには、検出率の向上が必要である。一般に人物検出技術に代表される物体検出技術においては、検出率を上げようとすると誤検出（検出対象でないものを誤報として検出してしまうこと）が多くなり、実用に向かない。したがって、誤検出を抑えつつ、検出率を向上させる方法が要求される。

このような問題の解決策として、一旦検出した人物を後続する時系列画像中で追跡しつつ、並行して人物の検出を継続して行うことで見かけ上の検出率を向上させるような方法が考えられる。図２を用いて、この方法を説明する。図中、画像上の実線で示した矩形は人物検出結果、破線で示した矩形は追跡結果である。同図に示すように時刻ｔで検出した結果を後続する時刻ｔ＋１と時刻ｔ＋２の画像で追跡し、同様に時刻ｔ＋１で検出した結果を後続する時刻ｔ＋２の画像で追跡、更に時刻ｔ＋２で人物を検出する。この例では、検出器は夫々の画像から５人中２人しか検出していないが、検出結果と追跡結果を統合することで結果的に全員を検出し、追跡している。

このような検出と追跡処理の併用において、特許文献１では、以前のフレームで物体が検出されたウィンドウを追跡対象にするとともに、現フレームを分割した一部の領域で物体を探索し、探索により新たに物体が検出されたウィンドウを追跡対象に追加するようにしている。
物体識別器を用いて追跡対象を処理を行うようにしている。追跡処理に識別器を用いることで、一旦検出した対象を見失うことなく確実に追跡することが可能である。

特開２０１４−４８７０２号公報

Ｄａｌａｌ ａｎｄ Ｔｒｉｇｇｓ． Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ． ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２００５

しかしながら、特許文献１に示されているような方法を用いて人物の追跡を行ったとしても、更に検出率を上げたいという要望がある。例えば、人物検出器における識別器の閾値を変更して検出率を向上させることも考えられるが、その場合、誤検出が増え、誤検出した対象をそのまま追跡し続ける、といった問題がある。

本発明の目的は、上記課題を解決すべく、カメラ映像から自動的に人物を検出し、追跡する高精度な画像認識装置を提供することである。

上記課題を解決するために、本発明によれば、画像処理装置に、動画像を取得する取得手段と、前記動画像中の注目画像の部分領域毎に検出対象とする物体を含む尤度に基づいて当該物体を検出する検出手段と、前記動画像中の前記注目画像に先行する画像において前記検出対象とする物体が検出された検出位置の近傍領域について前記物体を含む尤度に基づいて当該物体を追跡し、追跡中の物体について時刻の異なる複数の尤度から統計量を求め、該統計量から前記追跡中の物体を前記検出対象とする物体として確定する追跡手段と、前記検出手段により前記物体が検出された位置と前記追跡手段により前記物体が追跡された位置とを統合して前記注目画像における前記物体の検出位置を出力する出力手段とを備える。

本発明によれば、物体識別部が出力した尤度から追跡中の物体が検出対象とする物体か否かを判定するようにした。したがって、たとえ検出器が誤検出したとしても、その対象を追跡しながら人物なのか否かを判定するので、精度良く人物を検出し、追跡することができるという効果がある。

実施形態１の画像認識装置の構成を示す図である。 検出と追跡の連携処理を説明する図である。 実施形態１の処理フローチャートである。 検出結果の例を示す図である。 検出結果記憶部における記憶形式の例を示す図である。 物体情報記憶部における記憶形式の例を示す図である。 初期状態での追跡結果記憶部における記憶形式の例を示す図である。 物体追跡中の追跡結果記憶部における記憶形式の例を示す図である。 追跡結果の画像出力例を示す図である。 実施形態２の画像認識装置の構成を示す図である。

以下、添付図面を参照しながら本発明の実施形態を説明する。

＜第１の実施形態＞
図１に第１の実施形態の画像認識装置の構成を示す。図１に示すように本実施形態の画像認識装置は、画像取得部１００、物体識別部２００、物体検出部３００、第一の物体追跡部４００、第二の物体追跡部５００、検出結果統合部６００、追跡物体判定部７００、追跡結果出力部８００、検出結果記憶部９１０、物体情報記憶部９２０、追跡結果記憶部９３０を備えている。

画像取得部１００は、カメラ等の撮像部で撮像した画像データを取得する。ここで取得する画像データはＲＧＢ画像であるものとする。物体識別部２００は、画像取得部１００で取得した画像データの部分領域が検出対象とする物体を含む尤度を算出して出力する。本実施形態では、検出対象を人物とする。すなわち、物体識別部２００が出力する尤度は部分領域画像がどの程度人物らしいかを表す値である。

物体検出部３００は、画像取得部１００で取得した画像から部分領域を走査し、順次設定した部分領域の画像データ、すなわち部分領域画像、に対して物体識別部２００が出力する尤度から画像中の物体位置を検出する。物体検出部３００は物体を検出した検出位置および対応する部分領域画像を出力する。本実施形態では、物体検出部３００は画像中の人物位置を検出する。

第一の物体追跡部４００は、画像取得部１００で取得した画像中の一部領域から部分領域を走査し、順次設定した部分領域画像に対して物体識別部２００が出力する尤度から物体検出部３００で検出した物体を追跡する。ここで第一の物体追跡部４００が走査する一部領域は、画像取得部１００が前の時刻に取得した画像中で物体検出部３００が物体を検出した位置の近傍領域である。本実施形態では、第一の物体追跡部４００は画像中の人物位置を追跡する。

第二の物体追跡部５００は、画像取得部１００で取得した画像中の一部領域から部分領域を走査し、順次設定した部分領域画像に対して物体検出部３００で検出した部分領域画像を用いて物体を追跡する。ここで第二の物体追跡部５００が走査する一部領域は物体検出部３００が検出した物体位置の近傍領域である。第二の物体追跡部５００が追跡し、出力する物体位置は、物体検出部３００が検出した物体の検出終了時での位置に相当する。一般に物体検出は時間が掛かるため、毎フレーム全領域について行うのではなく、数フレームに１フレームを数フレームの時間を掛けて行うことになる。このため検出終了時のフレームは検出開始時のフレームとは異なっており、第二の物体追跡部による追跡が行われる。

検出結果統合部６００は、物体検出部３００で検出した物体と第一の物体追跡部４００で追跡した物体とを、その位置情報にもとづいて対応付ける。追跡物体判定部７００は、第一の物体追跡部４００が追跡中の物体の物体識別部２００が出力した尤度から追跡中の物体が検出および追跡対象とする物体か否かを判定する。本実施形態では、追跡物体判定部７００は追跡中の物体が人物か否かを判定する。

追跡結果出力部８００は、追跡結果を出力する。例えば、人物であると判定した部分領域画像を表す矩形を画像取得部１００で取得した画像データに重畳してディスプレイに表示する。検出結果記憶部９１０は、物体検出部３００が検出した物体位置と対応する部分領域画像を検出結果として記憶する。

物体情報記憶部９２０は、第一の物体追跡部４００および第二の物体追跡部５００が追跡した物体位置を画像データの撮像時刻と関連付けて物体情報として記憶する。

追跡結果記憶部９３０は、第一の物体追跡部４００および第二の物体追跡部５００が追跡した結果を記憶する。追跡結果は追跡対象毎に異なる時刻の物体情報を関連付けたもので、この結果から物体の移動軌跡を再現することができる。

以下、本実施形態の動作を図３に示す処理フローチャートに従って説明する。画像取得部１００は撮像した画像データを取得する。取得した画像データは、夫々、画像取得部１００のメモリに格納される（ステップＳ１００）。物体検出部３００は、ステップＳ１００で取得した画像から部分領域を走査し、画像中の物体位置を検出する（ステップＳ２００）。物体検出部３００は画像から切り出した部分領域画像に対して物体識別部２００を用いて部分領域画像が検出対象とする物体を含む尤度を求める。そして、尤度が所定の閾値より大きい部分領域を検出対象物体であると判定して、その位置を出力する。物体検出部３００で行う検出方法としては、例えば、非特許文献１で公開されている方法を用いることができる。この方法によれば、画像から所定の大きさ、および、形状の部分領域を画像中で位置を少しずつずらしながら走査し、切り出した部分領域画像に対してＨＯＧ特徴量を求めてＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）によって人物を検出する。

ここで、ＳＶＭの出力が尤度に相当する。画像中から異なるサイズの人物を検出するには、事前に画像を所定の倍率（例えば、０．８倍やその自乗の０．８２倍）になるように縮小処理を行い、縮小した夫々の画像に対しても検出処理を行うようにする。以下、簡単のために一つのサイズでのみ検出する場合を例に説明する。したがって、ここで出力する検出結果は画像中の水平および垂直方向の位置であり、例えば、部分領域の左上端の画像上での座標である。

ステップＳ２１０において画像から対象とする物体（本実施形態では人物）を検出したか否かを判断し、検出しなかった場合はステップＳ９００に処理を移す。ステップＳ９００では次の時刻（例えば、０．０３秒後、等の所定の時間）での画像を処理すべく、ステップＳ１００に処理を移す。なお、ステップＳ２１０において「対象とする物体を検出しなかった場合」とは、ステップＳ２００での検出処理が所定の時間内に終了しなかった場合と物体検出処理を行ったが結果的に物体を検出しなかった場合の両方を含む。一方、ステップＳ２１０において対象とする物体を検出した場合は処理をステップＳ２２０に移す。

検出結果記憶部９１０は、物体検出部３００が検出した物体位置と、その物体位置に対応する部分領域画像とを検出結果として記憶する（ステップＳ２２０）。例えば、図４（ａ）に示すように画像から２人の人物を検出したとする。この場合、図中、点Ｐ１および点Ｐ２の水平および垂直方向の位置座標を記憶する。また、同時に、図４（ｂ）および（ｃ）に示す部分領域画像の画像データを記憶する。これらの結果は夫々、識別番号に対応付けられる。検出結果記憶部９１０における記憶形式の例を図５に示す。（ｘ１，ｙ１）、（ｘ２，ｙ２）は夫々、点Ｐ１および点Ｐ２の水平および垂直方向の位置座標、｛ｐ１１，ｐ１２，．．．，ｐ１Ｎ｝、｛ｐ２１，ｐ２２，．．．，ｐ２Ｎ｝は夫々、部分領域画像の画素値を表す。但し、Ｎは部分領域画像の画素数である。同様に、一つの画像中からＬ人の人物を検出した場合は識別番号１〜Ｌに対してこれらの結果を記憶することになる。

検出結果統合部６００は、物体検出部３００で検出した検出結果と第一の物体追跡部４００で追跡した追跡結果とを、その位置情報にもとづいて対応付ける（ステップＳ２３０）。ステップＳ２２０において記憶した夫々の検出結果に対する位置座標と第一の物体追跡部４００で追跡した結果に対する位置座標とを比較し、一致するかどうかを判定する。但し、座標値の差が所定の範囲内にある場合も近似的に一致するとしてもよい。第一の物体追跡部４００で追跡した結果は物体情報記憶部９２０に記憶されている。第一の物体追跡部４００における追跡処理および追跡結果の詳細については後述する。

ステップＳ２４０において、物体検出部３００で検出した全ての検出結果に対応する物体が物体情報記憶部９２０に既にある場合には、ステップＳ９００に処理を移す。ステップＳ９００では、次の時刻での画像を処理すべくステップＳ１００に処理を移す。一方、ステップＳ２４０において物体検出部３００で検出した検出結果に対応する物体が物体情報記憶部９２０にない、すなわち、検出結果が新規の物体を含む場合には、処理をステップＳ２５０に移す。

第二の物体追跡部５００は、ステップＳ１００で取得した画像中の一部領域から部分領域を走査し、順次設定した部分領域画像に対してステップＳ２００で物体検出部３００が検出した部分領域画像を用いて物体を追跡する（ステップＳ２５０）。ここで第二の物体追跡部５００が追跡する対象は、ステップＳ２４０にて新規の物体であると判定した物体であり、検出結果記憶部９１０に記憶されている物体位置の近傍領域を走査する。走査する近傍領域の範囲は、画像を取得してから物体検出処理が終了するまでの間に物体が移動する範囲をカバーするように撮影するシーンに応じて予め設定しておく。物体検出部３００の処理時間は処理する画像に依存するので、処理時間に応じて走査する近傍領域の範囲を適応的に設定するようにしてもよい。

第二の物体追跡部５００は、ステップＳ１００で取得した画像の部分領域画像と検出結果記憶部９１０に記憶されている部分領域画像とを照合し、画像間の類似度が最も高い物体位置を追跡結果として出力する。画像間の類似度は、画像データの相関、あるいは、差の絶対値和から求めてもよいし、夫々の画像から画像特徴量を抽出し、画像特徴量の類似度を求めるようにしてもよい。画像特徴量としては、例えば、ＨＯＧ特徴量や色ヒストグラムを用いることができる。ここで出力する物体位置は、物体検出部３００が検出した物体の検出終了時での位置に相当し、第二の物体追跡部５００は画像間の類似度からその位置を推定している。

第二の物体追跡部５００で追跡した結果は、物体情報記憶部９２０および追跡結果記憶部９３０に追加される（ステップＳ２６０）。物体情報記憶部９２０には、第二の物体追跡部５００が追跡した物体位置が画像データの撮像時刻と関連付けて物体情報として記憶される。記憶される撮像時刻は、実際の撮像時刻でもよいし、撮像時刻に対応したフレーム番号でもよい。これらの結果は夫々、識別番号に対応付けられる。物体情報記憶部９２０における記憶形式の例を図６に示す。（ｘ１，ｙ１）、（ｘ２，ｙ２）は夫々、追跡した物体の位置座標、ｆ１、ｆ２は夫々、追跡した画像のフレーム番号を表す。これら２つの物体を１つの画像から追跡した場合はｆ１、ｆ２は同じ番号になる。

追跡結果記憶部９３０には、第二の物体追跡部５００が追跡した物体の、物体情報記憶部９２０に記憶された物体情報の識別番号が、追跡対象毎に異なる時刻間で関連付けられるように記憶される。これらの結果は夫々、追跡結果の識別番号に対応付けられる。ステップＳ２６０では、新規に検出した物体の追跡結果を初めて記憶するので、物体情報の識別番号は１つである。また、追跡結果の夫々について状態を表す識別子が付与される。追跡結果記憶部９３０における記憶形式の例を図７に示す。

図７の例は、物体検出部３００で２つの物体を検出し、新規に検出した物体として第二の物体追跡部５００で夫々追跡した結果である。ＩＤ１、ＩＤ２は夫々、追跡結果の識別番号に対応する物体情報記憶部９２０に記憶された物体情報の識別番号を表す。‘ｄｅｔｅｃｔ’は「物体が新規に検出された」という状態を表す。本実施形態では追跡結果の状態を表す識別子として、‘ｄｅｔｅｃｔ’、‘ｔｒａｃｋ’、‘ｒｅｃｏｇｎｉｚｅ’の ３つの状態を用いる。‘ｔｒａｃｋ’、‘ｒｅｃｏｇｎｉｚｅ’は夫々、「追跡中」、「対象物体として認識」の状態を表す。状態更新の詳細については後述する。

ステップＳ９００では、次の時刻での画像を処理すべく、ステップＳ１００に処理を移す。本実施形態では、ステップＳ１００で取得した画像からステップＳ２００〜２６０に示した処理と並行して検出した物体を追跡する処理を行う。ステップＳ３００において、物体情報記憶部９２０に記憶されている物体情報を参照して、前の時刻の画像に追跡対象の物体があるか否かを検索する。例えば、時刻ｔの画像を取得した場合は、時刻ｔ−１に相当するフレーム番号の物体情報があるかどうかを調べる。追跡対象の物体がない場合にはステップＳ９００に処理を移す。ステップＳ９００では次の時刻での画像を処理すべく、ステップＳ１００に処理を移す。一方、追跡対象の物体がある場合には、該当する物体情報の識別番号を取得し、処理をステップＳ４００に移す。

第一の物体追跡部４００は、ステップＳ１００で取得した画像中の一部領域から部分領域を走査し、順次設定した部分領域画像に対して物体識別部２００が出力する尤度から物体を追跡する（ステップＳ４００）。ここで第一の物体追跡部４００が追跡する対象は物体情報記憶部９２０に記憶されている物体であり、物体情報記憶部９２０に記憶されている物体位置の近傍領域を走査する。走査する近傍領域の範囲は前後フレームの画像取得期間に物体が移動する範囲をカバーするように撮影するシーンに応じて予め設定しておく。したがって、第一の物体追跡部４００は第二の物体追跡部５００が走査する範囲に比べて狭い範囲を走査する。第一の物体追跡部４００はステップＳ１００で取得した画像の部分領域画像に対して物体識別部２００を用いて部分領域画像が検出対象とする物体を含む尤度を求める。そして、走査した近傍領域の中で尤度が最も高い物体位置を追跡結果として出力する。ステップＳ３００で取得した物体情報の数だけステップＳ４００の処理を繰り返す。

第一の物体追跡部４００で追跡した結果は、物体情報記憶部９２０および追跡結果記憶部９３０に追加される（ステップＳ４１０）。物体情報記憶部９２０には、第一の物体追跡部４００が、追跡した物体位置が画像データの撮像時刻と関連付けて物体情報として記憶される。物体情報は図６に示した形式で記憶される。追跡結果記憶部９３０には第一の物体追跡部４００が追跡した物体の、物体情報記憶部９２０に記憶された物体情報の識別番号が、追跡対象毎に異なる時刻間で関連付けられるように記憶される。これらの結果は夫々、追跡結果の識別番号に対応付けられる。

ステップＳ３００で取得した物体情報の識別番号を追跡結果記憶部９３０から検索し、一致する識別番号を保持した検出結果に第一の物体追跡部４００が追跡した物体識別番号を追加する。また、追跡結果の状態を‘ｔｒａｃｋ’に更新する。このときの追跡結果記憶部９３０に記憶した追跡結果の例を図８に示す。｛ＩＤ１１，ＩＤ１２｝、｛ＩＤ２１，ＩＤ２２｝は夫々、追跡結果の識別番号に対応する物体情報記憶部９２０に記憶された物体情報の識別番号を表す。‘ｔｒａｃｋ’は「追跡中」の状態を表す。この例では、前の時刻に第二の物体追跡部５００で追跡を始めた識別番号ＩＤ１１およびＩＤ２１の物体を夫々、第一の物体追跡部４００で追跡した識別番号ＩＤ１２およびＩＤ２２の物体に関連付けている。例えば、Ｎフレームの間、物体を追跡した場合は物体情報の識別番号がＮ個並んで検出結果に記憶される。ステップＳ３００で取得した物体情報の数だけステップＳ４１０の処理を繰り返す。

追跡物体判定部７００は、第一の物体追跡部４００が追跡中の物体の物体識別部２００が出力した尤度から追跡中の物体が検出および追跡対象とする物体か否かを判定する（ステップＳ４２０）。ステップＳ４００で得た夫々の追跡結果の物体識別部２００が出力した尤度が所定の閾値より大きいか否かを判定し、所定値より大きい場合は追跡中の物体を対象物体として確定する。このとき、追跡結果の状態を‘ｒｅｃｏｇｎｉｚｅ’に更新する。本実施形態では、ステップＳ２００における物体検出部３００で用いる閾値は検出率を向上させるために比較的小さい値を設定している。すなわち、物体検出部３００で検出した物体は追跡対象とする物体かどうか未確定の状態であり、追跡物体判定部７００で追跡対象とする物体と確定するための候補である。一方、ステップＳ４２０における追跡物体判定部７００で用いる閾値は誤検出を抑制するためにステップＳ２００での値に比べて大きい値を設定するようにしている。

なお、本実施形態では、追跡中の物体の尤度が所定値より大きい場合に対象物体として確定するようにしたが、時刻の異なる追跡中の物体の複数の尤度から統計量を求め、対象物体として確定するようにしてもよい。例えば、尤度が所定値より大きい値を取る度数、または、相対度数（所定値より大きい値を取る度数と統計対象とする全体度数との比）を統計量とする。このように複数の尤度から統計量を求めて判定を行うと、判定結果の精度を高め、より信頼性の高い結果を得ることができる。統計量を求めて判定処理を行うには、ステップＳ２００の物体検出処理で得た尤度、ステップＳ４００の物体追跡処理で得た尤度を夫々、検出結果記憶部９１０、物体情報記憶部９２０に物体位置と共に記憶するようにする。ステップＳ３００で取得した物体情報の数だけステップＳ４２０の処理を繰り返す。

追跡結果出力部８００は、ステップＳ４２０で対象物体として確定した追跡結果を出力する（ステップＳ４３０）。図９に画像出力例を示す。図中、対象物体（本実施形態では人物）として確定した部分領域を矩形、物体を追跡した軌跡を破線で示す。追跡結果記憶部９３０に記憶されている追跡結果のうち、状態が‘ｒｅｃｏｇｎｉｚｅ’である結果を抽出し、その物体情報識別番号から物体情報記憶部９２０に記憶されている物体情報の位置座標を取得し、矩形および軌跡を描画する。軌跡は部分領域の中心位置を過去に遡ってつないだものである。ステップＳ９００では次の時刻での画像を処理すべく、ステップＳ１００に処理を移す。

以上説明したように、第１の実施形態では、一旦検出した人物を後続する時系列画像中で追跡しながら並行して人物の検出を継続して行うようにした。そして、第一の物体追跡部４００が物体識別部２００を用いて人物を追跡し、取得した画像毎に追跡物体判定部７００にて物体識別部２００が出力した尤度から追跡対象が人物か否かを判定するようにした。この結果、検出処理よりも高頻度で、かつ、厳しい閾値で人物か否かを判定できるので、誤検出を抑えつつ、検出率を向上させることができる。

更に、物体検出部３００で用いる閾値を追跡物体判定部７００で用いる閾値よりも小さい値を設定することによって、追跡対象の候補をより多くし、検出率を向上させることができる。また、前記実施形態では第二の物体追跡部５００によって物体検出部３００が新規に検出した物体を追跡し、検出処理終了時での位置を推定するようにした。この結果、検出処理に時間が掛って検出対象とする物体が大きく移動するような場合でも正確に物体を追跡することができる。

＜第２の実施形態＞
一方、検出処理が高速に実行できたり、検出対象とする物体の移動速度が比較的遅い場合には、検出した物体が検出中に移動した後の位置を推定する必要がないので、第二の物体追跡部５００を省略し、よりシンプルに本発明を構成することができる。図１０にその構成を示す。図中、図１と同記号の構成要素は同等の機能を有する。また、動作は図３に示した処理フローに準ずるが、第二の物体追跡部５００による物体追跡処理ステップＳ２５０は含まない。

なお、以上の実施形態では画像全体から部分領域を走査して検出処理を行うことを前提として説明したが、走査領域は画像の一部領域でもよい。画像から人物が出現する可能性のある領域、例えば、画像端や撮影シーン中の人物の出入り口に相当する領域に限定することができる。

また、以上の実施形態では画像中に現れる所定のサイズの人物を検出することを前提として説明したが、異なるサイズの人物を検出するようにしてもよい。この場合、検出結果や物体情報に位置座標だけでなくサイズも記憶するようにすればよい。

また、人物の検出精度を向上させるために、物体識別部２００を複数の人物モデルを備えるように構成することができる。例えば、正面、背面、左側面、右側面の４つの人物モデルを向き別に備え、夫々の尤度を求めるようにする。そして、物体検出部３００は最も尤度の高い結果から検出処理を行う。第一の物体追跡部４００においては物体検出部３００で検出した物体に対応するモデルに応じて物体識別部２００のモデルを選択することで効率よく物体の追跡を行うことができる。例えば、物体検出部３００が正面モデルで人物を検出した場合は、正面、左側面、右側面の３つの人物モデルに限定して物体追跡処理を行うようにする。

以上、画像から人物を検出する場合に本発明を適用する例について説明したが、人物以外の物体を検出対象とした場合にも本発明は広く適用可能である。

＜その他の実施形態＞
以上、実施形態を詳述したが、本発明は、例えば、システム、装置、方法、コンピュータ読み取り可能なプログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

更に、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したコンピュータプログラムである。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどとの協働で実施形態の機能が実現されてもよい。この場合、ＯＳなどが、実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

１００ 画像取得部
２００ 物体識別部
３００ 物体検出部
４００ 第一の物体追跡部
５００ 第二の物体追跡部
６００ 検出結果統合部
７００ 追跡物体判定部
８００ 追跡結果出力部
９１０ 検出結果記憶部
９２０ 物体情報記憶部
９３０ 追加結果記憶部

Claims (8)

1. 動画像を取得する取得手段と、
   前記動画像中の注目画像の部分領域毎に検出対象とする物体を含む尤度に基づいて当該物体を検出する検出手段と、
   前記動画像中の前記注目画像に先行する画像において前記検出対象とする物体が検出された検出位置の近傍領域について前記物体を含む尤度に基づいて当該物体を追跡し、追跡中の物体について時刻の異なる複数の尤度から統計量を求め、該統計量から前記追跡中の物体を前記検出対象とする物体として確定する追跡手段と、
   前記検出手段により前記物体が検出された位置と前記追跡手段により前記物体が追跡された位置とを統合して前記注目画像における前記物体の検出位置を出力する出力手段とを備えたことを特徴とする画像認識装置。
2. 前記統計量は、前記複数の尤度が所定の閾値よりも大きい値を取る度数、または、相対度数であることを特徴とする請求項１記載の画像認識装置。
3. 前記検出手段は、前記部分領域の尤度が所定の閾値よりも大きい場合に物体を検出することを特徴とし、更に前記閾値は前記追跡手段が用いる閾値よりも小さいことを特徴とする請求項２記載の画像認識装置。
4. 動画像を取得する取得手段と、
   前記動画像中の注目画像の部分領域毎に検出対象とする物体を含む尤度に基づいて当該物体を検出する検出手段と、
   前記動画像中の前記注目画像に先行する画像において前記検出対象とする物体が検出された検出位置の近傍領域について前記物体を含む尤度に基づいて当該物体を追跡する第一の追跡手段と、
   前記検出手段が検出した物体の検出処理終了時での位置を推定する第二の追跡手段と、
   前記第一及び第二の追跡手段により前記物体が追跡された位置を出力する出力手段とを備えたことを特徴とする画像認識装置。
5. 前記第二の追跡手段は、前記動画像中の画像の一部領域を走査して物体を追跡し、更に前記走査の範囲は前記第一の追跡手段の走査範囲よりも広いことを特徴とする請求項４に記載の画像認識装置。
6. 動画像を取得する取得工程と、
   前記動画像中の注目画像の部分領域毎に検出対象とする物体を含む尤度に基づいて当該物体を検出する検出工程と、
   前記動画像中の前記注目画像に先行する画像において前記検出対象とする物体が検出された検出位置の近傍領域について前記物体を含む尤度に基づいて当該物体を追跡し、追跡中の物体について時刻の異なる複数の尤度から統計量を求め、該統計量から前記追跡中の物体を前記検出対象とする物体として確定する追跡工程と、
   前記検出工程において前記物体が検出された位置と前記追跡工程において前記物体が追跡された位置とを統合して前記注目画像における前記物体の検出位置を出力する出力工程とを備えたことを特徴とする画像認識方法。
7. 動画像を取得する取得手段工程と、
   前記動画像中の注目画像の部分領域毎に検出対象とする物体を含む尤度に基づいて当該物体を検出する検出工程と、
   前記動画像中の前記注目画像に先行する画像において前記検出対象とする物体が検出された検出位置の近傍領域について前記物体を含む尤度に基づいて当該物体を追跡する第一の追跡工程と、
   前記検出工程において検出した物体の検出処理終了時での位置を推定する第二の追跡工程と、
   前記第一及び第二の追跡工程において前記物体が追跡された位置を出力する出力工程とを備えたことを特徴とする画像認識方法。
8. 請求項６または７に記載の画像認識方法をコンピュータに実行させることを特徴とするコンピュータ読み取り可能なプログラム。

Images