JP5261312B2 - 画像解析装置、画像解析方法およびプログラム - Google Patents

Description

本発明は、画像解析装置、画像解析方法およびプログラムに関する。

画像データ等の対象データが特定内容のデータであるか否かを識別する識別処理に用いる特徴量の種類と識別条件を決定できるとする装置が知られている（例えば、特許文献１参照。）。また、動画像中の被写体を高精度で認識する技術が知られている（例えば、特許文献２参照。）。
特開２００５−１１５５２５号公報 特開２００１−３４７５６号公報 Ｊａｃｋｙ Ｓ．Ｃ． Ｙｕｋ， Ｋｗａｎ−Ｙｅｅ Ｋ． Ｗｏｎｇ， Ｒｏｎａｌｄ Ｈ．Ｙ．Ｃｈｕｎｇ， Ｆ．Ｙ．Ｌ．Ｃｈｉｎ ａｎｄ Ｋ．Ｐ．Ｃｈｏｗ， "Ｒｅａｌ−ｔｉｍｅ ｍｕｌｔｉｐｌｅ ｈｅａｄ ｓｈａｐｅ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｔｒａｃｋｉｎｇ ｓｙｓｔｅｍ ｗｉｔｈ ｄｅｃｅｎｔｒａｌｉｚｅｄ ｔｒａｃｋｅｒｓ"， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｓｉｘｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｄｅｓｉｇｎ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎ (ＩＳＤＡ'０６)， ｖｏｌ．０２， ｐｐ．３８４−３８９， ２００６ Ｓｈａｉ Ａｖｉａｄｅｎ， Ｅｎｓｅｍｂｌｅ Ｔｒａｃｋｉｎｇ， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ｖｏｌ．２９， ｉｓｓｕｅ．２， ｐｐ．２６１−２７１， Ｆｅｂ．，２００７ Ｈｅｌｍｕｔ Ｇｒａｂｎｅｒ， Ｍｉｃｈａｅｌ Ｇｒａｂｎｅｒ， "Ｒｅａｌ−ｔｉｍｅ ｔｒａｃｋｉｎｇ ｖｉａ ｏｎ−ｌｉｎｅ ｂｏｏｓｔｉｎｇ"， ｖｏｌ．１， ｐｐ．４７−５７， ＢＭＶＣ２００６

特徴量の種類と識別条件とを規定した参照データを用いると、特徴量が変化するような被写体を識別することが容易ではない。また、特徴量が大きく変化した場合には、違う被写体として検出してしまい、特定オブジェクトを追跡することができない場合がある。このように、オブジェクトの検出処理と特定オブジェクトの追跡処理とを効率的にすることができないという課題があった。

上記課題を解決するために、本発明の第１の態様においては、動画から特定のオブジェクトを抽出する画像解析装置であって、種類が異なる複数の基準特徴量を記憶する特徴量記憶部と、動画に含まれる複数の動画構成画像のそれぞれから、種類が異なる複数の特徴量を抽出する特徴量抽出部と、特徴量記憶部が記憶している複数の基準特徴量に対する抽出された複数の特徴量の適合度に基づいて、動画構成画像からオブジェクトを抽出するオブジェクト抽出部と、特徴量記憶部が記憶している基準特徴量より、抽出されたオブジェクトの特徴量に種類に応じて予め定められた強度で適応させた複数の基準特徴量を算出する基準特徴量算出部と、特徴量記憶部が記憶している複数の基準特徴量を、基準特徴量算出部が算出した基準特徴量で更新する特徴量更新部とを備える。

適合度がより大きい種類ほど、抽出されたオブジェクトの特徴量により大きい強度で適応させた複数の基準特徴量を算出してよい。

基準特徴量算出部は、抽出されたオブジェクトの特徴量に、種類に応じた頻度で適応させた複数の基準特徴量を算出してよい。

特徴量抽出部は、異なる解像度の画像から複数の特徴量を抽出し、特徴量記憶部は、異なる解像度の画像から抽出された複数の特徴量に対応する複数の基準特徴量を記憶しており、基準特徴量算出部は、抽出されたオブジェクトの特徴量に、解像度に応じた強度で適応させた複数の基準特徴量を算出してよい。

基準特徴量算出部は、抽出されたオブジェクトの特徴量に、解像度が大きいほどより大きい強度で適応させた複数の基準特徴量を算出してよい。

基準特徴量算出部は、抽出されたオブジェクトの特徴量に適応させた、予め定められた値より大きい解像度に対応する複数の基準特徴量を算出してよい。

基準特徴量算出部は、オブジェクト抽出部が動画構成画像からオブジェクトを抽出する場合に用いた、所定の条件に適合する１以上の種類の基準特徴量を、適応させた基準特徴量とする非更新特徴量選択部を有してよい。

非更新特徴量選択部は、オブジェクト抽出部が動画構成画像からオブジェクトを抽出する場合に用いた、適合度が予め定められた値以上である１以上の種類の基準特徴量を、適応させた基準特徴量としてよい。

基準特徴量算出部は、非更新特徴量選択部が選択した基準特徴量の種類以外の種類のうち、適合度がより大きい種類をより優先して選択する更新特徴量選択部と、更新特徴量選択部が選択した種類について、抽出されたオブジェクトの特徴量に適応させた１以上の基準特徴量を算出する更新特徴量算出部とをさらに有してよい。

更新特徴量算出部は、適応させた複数の基準特徴量のうち、抽出されたオブジェクトの特徴量への適応度がより大きい基準特徴量を、適応させた基準特徴量としてより優先して選択してよい。

オブジェクト抽出部は、更新され得る予め定められたＰ種類の基準特徴量を少なくとも用いて、オブジェクトを抽出し、更新特徴量算出部は、適応度がより大きいＮ種類の基準特徴量を、適応させた基準特徴量としてより優先して選択し、非更新特徴量選択部は、オブジェクト抽出部が動画構成画像からオブジェクトを抽出する場合に用いた、適合度が予め定められた値以上である類の基準特徴量を、適応させた基準特徴量としてよい。

更新特徴量選択部は、適合度がより大きい、Ｎより多いＭ種類の特徴量の種類を選択し、基準特徴量算出部は、更新特徴量選択部が選択したＭ種類について、抽出されたオブジェクトの特徴量に適応させた基準特徴量を算出し、算出したＭ種類の基準特徴量のうち、適応度がより大きいＮ種類の基準特徴量を、適応させた基準特徴量としてより優先して選択してよい。

基準特徴量算出部は、抽出されたオブジェクトを含む領域の画像を正解画像として学習して得られた基準特徴量を、適応させた基準特徴量として算出してよい。

基準特徴量算出部は、抽出されたオブジェクト以外の領域を領域の画像を不正解画像として学習して得られた基準特徴量を、適応させた基準特徴量として算出してよい。

基準特徴量に対する特徴量抽出部が抽出した特徴量の適合度を、種類毎に算出する適合度算出部をさらに備え、オブジェクト抽出部は、種類毎に算出された適合度に基づいて、複数の動画構成画像のそれぞれからオブジェクトを抽出してよい。

本発明の第２の態様においては、動画から特定のオブジェクトを抽出する画像解析装置であって、種類が異なる複数の基準特徴量を記憶する特徴量記憶部と、動画に含まれる複数の動画構成画像のそれぞれから、種類が異なる複数の特徴量を抽出する特徴量抽出部と、特徴量記憶部が記憶している複数の基準特徴量に対する抽出された複数の特徴量の適合度に基づいて、動画構成画像からオブジェクトを抽出するオブジェクト抽出部と、特徴量記憶部が記憶している基準特徴量より、抽出されたオブジェクトの特徴量に種類に応じて予め定められた強度で適応させた複数の基準特徴量を算出する基準特徴量算出部と、特徴量記憶部が記憶している複数の基準特徴量を、基準特徴量算出部が算出した基準特徴量で更新する特徴量更新段階とを備える。

本発明の第３の態様においては、動画から特定のオブジェクトを抽出する画像解析装置用のプログラムであって、コンピュータを、種類が異なる複数の基準特徴量を記憶する特徴量記憶部、動画に含まれる複数の動画構成画像のそれぞれから、種類が異なる複数の特徴量を抽出する特徴量抽出部、特徴量記憶部が記憶している複数の基準特徴量に対する抽出された複数の特徴量の適合度に基づいて、動画構成画像からオブジェクトを抽出するオブジェクト抽出部、特徴量記憶部が記憶している基準特徴量より、抽出されたオブジェクトの特徴量に種類に応じて予め定められた強度で適応させた複数の基準特徴量を算出する基準特徴量算出部、特徴量記憶部が記憶している複数の基準特徴量を、基準特徴量算出部が算出した基準特徴量で更新する特徴量更新部として機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、一実施形態における画像処理システム１０の一例を示す。以下に説明するように、画像処理システム１０は、一実施形態において店舗用の画像処理システムとして機能することができる。

画像処理システム１０は、店舗空間１６０を撮像する複数の撮像装置１００ａ−ｂ、店舗サーバ１７０、通信ネットワーク１５０、画像解析装置１１０、解析結果データベース１１２、および端末装置１８０を備える。なお、以下の説明において、撮像装置１００ａおよび撮像装置１００ｂを、撮像装置１００と総称する場合がある。同様に、以後の説明においては、末尾の英文字など、数字符号に続く文字を省略することで、数字符号が指し示すものを総称することがある。

撮像装置１００ａは店舗空間１６０を撮像する。撮像装置１００ａは、店舗空間１６０内の人物１６４ａおよび人物１６４ｂを、店舗空間１６０内の商品棚１６２ａ、商品棚１６２ｂなどとともに撮像して、動画を生成する。撮像装置１００ａは、店舗空間１６０を撮像して得られた動画を、店舗サーバ１７０に供給する。なお、撮像装置１００ｂは、撮像装置１００ａと異なる位置に設けられる。その他の点では、撮像装置１００ｂの機能および動作は撮像装置１００ａの機能および動作と略同一であるので、撮像装置１００については説明を省略する。

店舗サーバ１７０は、撮像装置１００ａおよび撮像装置１００ｂから供給された動画を、画像解析装置１１０に向けて通信ネットワーク１５０に送出する。通信ネットワーク１５０としては、インターネットなどの電気通信回線を例示することができる。店舗サーバ１７０は、例えば撮像装置１００の近傍に設けられる。他の形態において、店舗サーバ１７０は店舗空間１６０内に設けられてもよい。

また、店舗サーバ１７０は、撮像装置１００の撮像動作を制御する。例えば、店舗サーバ１７０は、撮像装置１００の撮像機能のオン／オフ、撮像レートなどを制御する。撮像装置１００がズーム撮影できる場合には、店舗サーバ１７０は撮像装置１００のズーム値を制御してもよい。また、撮像装置１００の撮像方向が可変である場合には、店舗サーバ１７０は撮像装置１００の撮像方向を制御してもよい。

画像解析装置１１０は、店舗空間１６０とは異なる空間に設けられ、撮像装置１００がそれぞれ撮像した動画を、通信ネットワーク１５０を通じて店舗サーバ１７０から取得する。画像解析装置１１０は、動画を解析して、解析結果を端末装置１８０に向けて通信ネットワーク１５０に送出する。

なお、画像解析装置１１０は、解析結果を解析結果データベース１１２に出力してもよい。画像解析装置１１０は、解析結果を解析結果データベース１１２から読み出して、読み出した解析結果を端末装置１８０に送信してもよい。なお、解析結果データベース１１２は、画像解析装置１１０が有してもよい。他にも、解析結果データベース１１２は、画像解析装置１１０が設けられた空間とは異なる空間に設けられてよい。この場合、画像解析装置１１０は、通信ネットワーク１５０を介して解析結果データベース１１２に解析結果を送信してもよい。

端末装置１８０は、画像解析装置１１０による解析結果を、通信ネットワーク１５０を通じて画像解析装置１１０から取得する。端末装置１８０は、解析結果をユーザの指示に応じて加工して表示する。端末装置１８０は、画像解析装置１１０が設けられた空間とは異なる空間に設けられてよい。端末装置１８０は、店舗空間１６０の近傍または店舗空間１６０内に設けられてもよい。

以下に、画像解析装置１１０の動作の一例を概略的に説明する。画像解析装置１１０は、撮像装置１００が撮像した動画に含まれる複数のフレーム画像のそれぞれから、人物１６４などの移動体が撮像されたオブジェクトを検出するとともに、同じ被写体のオブジェクトを画像内において追跡する。このとき、画像解析装置１１０は、複数の弱識別器を利用してオブジェクトを検出および追跡する。

具体的には、画像解析装置１１０は、低解像度画像から識別結果を算出する複数の弱識別器、中解像度画像から識別結果を算出する複数の弱識別器、高解像度画像から識別結果を算出する複数の弱識別器を有している。これらの弱識別器は、画像から抽出した特徴量に基づき、識別結果を算出する。

低解像度画像用の弱識別器は、人物など特定種類の被写体のオブジェクトを抽出するための弱識別器であり、低解像度画像から多様な種類の特徴量を抽出して識別結果を算出する。これにより、高いロバスト性で人物のオブジェクトを検出することができる。なお、低解像度画像用の弱識別器は、追跡対象のオブジェクトに適応されずに用いられる。低解像度画像用の弱識別器は、例えば事前学習等によって高いロバスト性で人物のオブジェクトを検出できるよう構築されている。

中解像度画像用の弱識別器も同様に、多様な種類の特徴量を抽出して識別結果を算出する。中解像度画像用の弱識別器は、人物など特定種類の被写体のオブジェクトを抽出するための複数の弱識別器と、追跡対象のオブジェクトに対して適応化されていく複数の弱識別器とにより構築される。特定種類の被写体のオブジェクトを抽出するための弱識別器は、低解像度画像用の弱識別器と同様に、事前学習等によって構築され、追跡対象のオブジェクトに適応されずに用いられる。また、中解像度画像用の弱識別器のうち、追跡対象の人物に対して適応化される弱識別器は、例えばオンライン学習によりフレーム毎に学習されていく。

高解像度画像用の弱識別器も、多様な種類の特徴量を抽出して識別結果を算出する。高解像度画像用の弱識別器は追跡対象のオブジェクトに対して、オンライン学習によりフレーム毎に適応化されていく。

事前学習で弱識別器を構築する場合、教師画像を用いた強化学習の手法を用いることができる。また、弱識別器群は、Ａｄａｂｏｏｓｔ等のブースティングを用いた集団学習により構築されてよい。また、オンライン学習としては、オンラインブースティングの手法を用いることができる。

画像解析装置１１０は、フレーム画像毎に異なる組み合わせの弱識別器を用いてオブジェクトを抽出したり、フレーム画像毎に異なる組み合わせの弱識別器を適応化して得られた弱識別器を用いてオブジェクトを抽出したりする。このように、画像解析装置１１０は、特定種類のオブジェクトをロバストに検出する弱識別器と、被写体に適応化することができる追跡処理とを組み合わせた識別器を用いて、オブジェクトを抽出する。このため、画像解析装置１１０は、特定種類のオブジェクトをロバストに検出でき、かつ高精度に追跡することができる。

なお、本実施形態において、"オブジェクトを抽出する"とは、画像領域から特定のオブジェクトを検出および追跡することを指す。また、画像解析装置１１０は、抽出したオブジェクトが存在する領域を識別する座標情報などの位置情報を解析結果として出力してよい。他にも画像解析装置１１０は、オブジェクトが存在する領域を切り出したオブジェクト画像を出力してもよい。

このように、画像解析装置１１０は、新しいオブジェクトを見つけるべく、クラス識別器を用いてフレーム画像内をグローバルに探索する。そして、画像解析装置１１０は、追跡対象オブジェクトの以前のフレーム画像および現在のフレーム画像の双方の観察情報を利用して、オブジェクト位置の予測、オブジェクトの識別、および弱識別器の更新の各プロセスを行なって、オブジェクトを追跡していく。

特定種類のオブジェクト検出用の識別器としては、クラス識別器を用いることができる。この場合のクラス識別器は、いわば種を識別する識別器といえる。一方で、オブジェクト追跡用の識別器は、追跡するオブジェクトの環境に応じて、種の識別とその種に属する各個体の識別との双方をする能力が要求される。

例えば、追跡対象の人物の周囲に他の人物がいないときには、追跡用の識別器として要求される識別能力は比較的に低くよい。例えば、背景などの非人物のオブジェクトと人物のオブジェクトとが区別できればよい。つまり、種レベルを識別することができればよい。しかし、複数の人物が行き違うタイミングおよび当該タイミングの前後のタイミングにおいて動線を正しく取得するためには、追跡用の識別器に要求される識別能力は比較的に高くなる。具体的には、複数の人物を区別する能力が要求される。

上述したように、画像解析装置１１０によると、識別器は追跡オブジェクトに柔軟に適応されるので、識別器の識別能力は周囲の環境変動（例えば、背景変動、混雑度の変動など）により自動的に調整されていく。すなわち、画像解析装置１１０が有する識別器は、ポリモーフィズム特長を有する。したがって、画像解析装置１１０が有する識別器は、状況に応じて種レベルの識別器にも、個別オブジェクトの識別器にもなり得る。

このように、画像解析装置１１０によると、識別器は環境の変動に応じて調整されるので柔軟性が著しく高い。また、画像解析装置１１０によると、オブジェクトの追跡に従って識別器が構築されていくので、既に検出されたオブジェクトについて、初期状態の識別器を適用することなく抽出できる。このように、画像解析装置１１０によると、検出処理と追跡処理とが独立していないので、環境の激しい変動に対応することができる。

なお、記憶媒体９０は、画像解析装置１１０用のプログラムを記憶している。記憶媒体９０が記憶しているプログラムは、本実施形態に係る画像解析装置１１０として機能するコンピュータなどの電子情報処理装置に提供される。当該コンピュータが有するＣＰＵは、当該プログラムの内容に応じて動作して、当該コンピュータの各部を制御する。ＣＰＵが実行するプログラムは、本図および以後の図に関連して説明される画像解析装置１１０などとして当該コンピュータを機能させる。

記憶媒体９０としては、ＣＤ−ＲＯＭの他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＯまたはＭＤなどの光磁気記録媒体、テープ媒体またはハードディスク装置などの磁気記録媒体、半導体メモリ、磁気メモリなどを例示することができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置が記憶媒体９０として機能することもできる。

また、記憶媒体９０は、画像処理システム１０用のプログラムを記憶してよい。画像処理システム１０用のプログラムは、画像解析装置１１０の他に、本図および以後の図に関連して説明される解析結果データベース１１２、店舗サーバ１７０、端末装置１８０、および撮像装置１００の少なくともいずれかとして、コンピュータを機能させることができる。

図２は、画像解析装置１１０のブロック構成の一例を示す。画像解析装置１１０は、画像取得部２００、特徴量抽出部２１０、適合度算出部２２０、オブジェクト抽出部２３０、基準特徴量算出部２４０、オブジェクト領域推定部２５０、向き特定部２６０、特徴量更新部２７０、特徴量記憶部２８０、および出力部２９０を有する。基準特徴量算出部２４０は、更新特徴量選択部２４２、更新特徴量算出部２４４、および非更新特徴量選択部２４６を含む。

画像取得部２００は、撮像装置１００が撮像した動画を、通信ネットワーク１５０を通じて店舗サーバ１７０から取得する。画像取得部２００が取得した動画は、特徴量抽出部２１０およびオブジェクト抽出部２３０に供給される。

特徴量抽出部２１０は、動画に含まれるフレーム画像から特徴量を抽出する。特徴量としては、輝度分布などの輝度特徴量、種々のウェーブレット特徴量、Ｈａａｒ−ｌｉｋｅ特徴量、Ｅｄｇｅｌｅｔ特徴量、ＥＯＨ特徴量、ＨＯＧ特徴量などを例示することができる。

適合度算出部２２０は、基準特徴量に対する、特徴量抽出部２１０が抽出した特徴量の適合度を出力する。具体的には、特徴量記憶部２８０が基準特徴量を記憶していて、適合度算出部２２０は、特徴量記憶部２８０が記憶している基準特徴量に対する適合度を出力する。

なお、特徴量抽出部２１０は、異なる特徴量の種類毎に特徴量を抽出する。また、特徴量記憶部２８０は、異なる種類のそれぞれについて基準特徴量を記憶している。そして、適合度算出部２２０は、種類毎に適合度を算出する。

なお、異なる種類の特徴量としては、上記したようにＨａａｒ−ｌｉｋｅ特徴量、Ｅｄｇｅｌｅｔ特徴量など、特徴量の種類そのものが異なる特徴量であってよい。他にも、異なる種類の特徴量としては、異なる算出方法で算出した特徴量を含むことができる。異なる算出方法としては、異なる解像度の画像から抽出することを含む。つまり、特徴量の種類そのものが同じあっても、異なる解像度の画像から抽出された特徴量を、本実施形態においては異なる種類の特徴量とみなすことができる。

オブジェクト抽出部２３０は、適合度算出部２２０が算出した各種類についての適合度に基づき、対象とした画像が特定のオブジェクトの画像であるか否かを判断する。つまり、オブジェクト抽出部２３０は、オブジェクトを抽出することができる。

なお、特徴量抽出部２１０、適合度算出部２２０、特徴量記憶部２８０、およびオブジェクト抽出部２３０は、識別器の処理として実装され得る。例えば、特徴量の１つの種類に着目すれば、特徴量抽出部２１０が特徴量を抽出してから適合度算出部２２０が適合度を出力するまでの処理を、一の弱識別器による処理とみなすことができる。そして、複数の種類についての適合度からオブジェクトの画像であるか否かを判断するオブジェクト抽出部２３０の処理までを含めると、オブジェクトを抽出するための一の識別器の処理とみなすことができる。

オブジェクト抽出部２３０は、オブジェクトの画像として判断した場合には、オブジェクトを含む所定の領域の画像であるオブジェクト周辺画像をフレーム画像から切り出して、基準特徴量算出部２４０に供給される。基準特徴量算出部２４０は、オブジェクト抽出部２３０から供給された画像を用いて、次のフレーム画像からオブジェクトを抽出するための基準特徴量を算出する。基準特徴量算出部２４０が算出した基準特徴量は、特徴量更新部２７０によって特徴量記憶部２８０に記憶される。これにより、特徴量記憶部２８０が記憶している基準特徴量は、基準特徴量算出部２４０が算出した基準特徴量で更新される。

そして、次のフレーム画像から、上述した特徴量抽出部２１０、適合度算出部２２０、およびオブジェクト抽出部２３０における処理により、オブジェクトが抽出される。この動作を繰り返すことによって、複数のフレーム画像のそれぞれから、オブジェクトが抽出される。

なお、基準特徴量算出部２４０は、オブジェクト周辺画像を用いて学習することで、オブジェクト周辺画像に適応した基準特徴量を算出する。このように基準特徴量算出部２４０は、現フレームのオブジェクトの画像に適応した特徴量を算出することができる。このため、基準特徴量算出部２４０は、特定のオブジェクトの追跡に適した基準特徴量を算出することができる。

なお、基準特徴量算出部２４０によってオブジェクト周辺画像に適応した基準特徴量が算出されるが、一の基準特徴量を更新することは、上述した弱識別器の処理が適応化されることを意味する。つまり、基準特徴量算出部２４０により基準特徴量が算出されて特徴量記憶部２８０に記憶されるまでの特徴量更新処理は、適応した弱識別器を構築する処理とみなすことができる。基準特徴量算出部２４０における基準特徴量の算出処理が学習に基づく場合、特徴量更新処理は、上述した識別器のオンライン学習処理とみなすことができる。

なお、基準特徴量算出部２４０は、抽出されたオブジェクトとして撮像された被写体の向きに応じて基準特徴量を更新することができる。例えば、基準特徴量算出部２４０は、特徴量記憶部２８０が被写体の向き毎に、オブジェクトを抽出するための基準特徴量を記憶してよい。この場合に、基準特徴量算出部２４０は、抽出されたオブジェクトとして撮像された被写体の向きに対応する基準特徴量を選択して更新することができる。

なお、向き特定部２６０は、オブジェクトとして撮像された被写体の向きを特定する。特徴量記憶部２８０が向き毎に基準特徴量を記憶している場合、向き特定部２６０は、最も適合する基準特徴量に対応づけて特徴量記憶部２８０が記憶している向きを、被写体の向きとすることができる。基準特徴量算出部２４０は、向き特定部２６０が特定した向きに基づき、上述の基準特徴量の更新処理をすることができる。

また、基準特徴量算出部２４０は、適合度算出部２２０が算出した適合度に基づき、基準特徴量を算出してよい。例えば、次フレーム画像からオブジェクトを抽出するための基準特徴量として、適合度が低い基準特徴量を除外して、適合度がより高い基準特徴量を組み入れることができる。言い換えると、弱識別器の組み合わせを替えることができる。このため、特定の被写体のオブジェクトを追跡する追跡処理の精度を向上することができる。

また、基準特徴量算出部２４０は、各フレームにおけるオブジェクトの位置に基づき基準特徴量を算出することができる。例えば、基準特徴量算出部２４０は、現フレームにおけるオブジェクトの画像を正解画像として用いて学習したり、現フレームにおけるオブジェクトの領域以外の領域の画像を不正解画像として用いて学習したりすることで、基準特徴量を算出することができる。

なお、オブジェクト領域推定部２５０は、次のフレーム画像上におけるオブジェクトの位置を推定する。具体的には、動画におけるオブジェクトの動き速度と、現フレーム画像におけるオブジェクトの位置とに基づき、次のフレーム画像上におけるオブジェクトの位置を推定することができる。オブジェクト領域推定部２５０は、現フレーム画像から、当該推定した位置を含む領域の画像を切り出して、基準特徴量算出部２４０に供給してよい。

この場合に、基準特徴量算出部２４０は、オブジェクト領域推定部２５０から供給された画像を不正解画像として学習することにより、基準特徴量を算出することができる。これにより、特徴量記憶部２８０が記憶している基準特徴量セットは、次のフレーム画像におけるオブジェクトの周辺の画像が検出されにくいものに強化されているので、次フレーム画像からのオブジェクトの検出確率を高めることができる。

ここで、基準特徴量算出部２４０における各部の動作について概略説明すると、更新特徴量選択部２４２は、更新すべき種類を特定する。例えば、更新特徴量選択部２４２による処理としては、上述したような適合度の低い種類の基準特徴量を除外して、新たな基準特徴量を導入したりすることができる。そして、更新特徴量算出部２４４は、更新特徴量選択部２４２が選択した種類の特徴量を、学習等によって適応化する。また、非更新特徴量選択部２４６は、適応化せずに次フレーム画像においてもオブジェクト抽出に使用する種類の特徴量を選択してよい。なお、基準特徴量算出部２４０における各部の動作については後に詳述する。

また、出力部２９０は、オブジェクト抽出部２３０が抽出したオブジェクトの情報を、外部に出力する。例えば、出力部２９０は、抽出されたオブジェクトの位置、抽出されたオブジェクトの画像そのものを、解析結果データベース１１２、端末装置１８０などに出力してよい。以上説明したように、画像解析装置１１０によると、オブジェクトの検出処理とオブジェクトの追跡処理とを一体的に行うことができ、オブジェクトを追跡するための演算量を低減することができる。

図３は、画像解析装置１１０における処理内容の一例を模式的に示す。以下に、画像解析装置１１０の機能および動作を、識別器あるいは弱識別器による処理を例に挙げて説明する。

識別器セット４０４は、画像解析装置１１０がオブジェクト抽出処理に用いることができる複数の識別器４０２ａ〜ｃを有している。識別器４０２ａ〜ｃは、それぞれ被写体の異なる向きに対応している。具体的には、識別器４０２ａは、人物の正面顔を検出するのに適した複数の弱識別器４００ａ〜ｃにより形成される。

ここで弱識別器４００ａは、低解像度画像に対する１以上の弱識別器４００により形成される。例えば、弱識別器４００ａは、８×８画素の解像度の画像に対する１以上の弱識別器４００により形成される。以後の図において、１つの弱識別器４００は１つの横長の矩形で示される。弱識別器４００ｂは、中解像度画像に対する１以上の弱識別器４００により形成され、弱識別器４００ｃは、高解像度画像に対する１以上の弱識別器４００により形成される。例えば、弱識別器４００ｂは、１６×１６画素の解像度の画像に対する１以上の弱識別器４００により形成され、弱識別器４００ｃは、３２×３２画素の解像度の画像に対する１以上の弱識別器４００により形成される。弱識別器４００ａのように解像度が比較的に低い弱識別器は種を検出する識別器部分として機能するとともに、弱識別器４００ｃ（または弱識別器４００ｂ）のように解像度が比較的に高い弱識別器は個別オブジェクトを識別する識別器部分として機能することができる。後述するように、解像度が比較的に高い弱識別器４００は、オンライン学習により個別オブジェクトに適応される。このように解像度に応じた階層的な弱識別器構成とすることで、個別オブジェクトを高速に検出・追跡することができる。

また、識別器４０２ｂは、人物の右横顔を検出するのに適した複数の弱識別器４００により形成され、識別器４０２ｃは、人物の左横顔を検出するのに適した複数の弱識別器４００により形成される。この点を除いて、識別器４０２ｂおよび識別器４０２ｃは識別器４０２ａと略同一の構成を有するので、説明を省略する。

以下に、本図を用いて、画像解析装置１１０が、識別器セット４０４から、オブジェクト抽出に用いる識別器セット４６４を生成する処理を説明する。ここでは、説明の都合上、オブジェクト抽出部２３０は、処理４８０において、前のフレーム画像から特定のオブジェクトを既に抽出しているものとする。オブジェクト抽出部２３０は、オブジェクトの領域を示す情報を基準特徴量算出部２４０に供給する。

なお、オブジェクトが抽出された段階においては、適合度算出部２２０は識別器セット４６４に含まれる識別器を用いて適合度を算出している。適合度算出部２２０が算出した適合度は、基準特徴量算出部２４０に供給される。また、オブジェクトが抽出された段階においては、向き特定部２６０は、オブジェクトが示す被写体の向きを特定しており、特定した向きも基準特徴量算出部２４０に供給される。また、オブジェクトが抽出された段階においては、オブジェクト領域推定部２５０は、次フレーム画像におけるオブジェクトが存在する領域を推定しており、推定した領域を示す情報は基準特徴量算出部２４０に供給されている。

更新特徴量算出部２４４は、オブジェクトの領域を示す情報に基づき、オブジェクトの周辺の画像であるオブジェクト周辺画像４１２を生成する（処理４１０）。ここでいうオブジェクト周辺画像とは、オブジェクトの領域と、オブジェクトの周囲の領域とを含む領域の画像とする。そして、更新特徴量算出部２４４は、オブジェクト周辺画像４１２を用いて、所定の画素数の教師画像４２２を複数生成する（処理４２０）。

教師画像４２２は、正解画像および不正解画像を含む。更新特徴量算出部２４４は、オブジェクト周辺画像４１２中のオブジェクトの領域の画像から、複数の正解画像を生成する。また、更新特徴量算出部２４４は、オブジェクト周辺画像４１２中のオブジェクト以外の領域を含む領域の画像から、複数の不正解画像を生成する。

処理４３０において、非更新特徴量選択部２４６により、識別器４０２が有する弱識別器の中から、次のフレーム画像においてオブジェクトを抽出するためにオブジェクト抽出部２３０が使用する識別器が選択される。処理４３０において選択された識別器は、オブジェクト周辺画像に適応されずに、オブジェクト抽出に用いられる。

なお、以後の説明では、向き特定部２６０により人物の正面顔のオブジェクトが抽出されたとする。この場合、処理４３０で選択される弱識別器４００、および、処理４５０で適応される弱識別器４００は、いずれも識別器４０２ａを形成する弱識別器４００から選択される。もちろん、右横顔のオブジェクトが抽出された場合には識別器４０２ｂから選択され、左横顔のオブジェクトが抽出された場合には識別器４０２ｃから選択されることは言うまでもない。

このとき、オブジェクトへの適合度が高い弱識別器４００が選択されてよい。また、低解像度画像用の弱識別器４００ａの中から所定数の弱識別器４００が選択されてよい。また、低解像度画像用の弱識別器４００ａに加えて、中解像度画像用の弱識別器４００ａの中から、所定数の弱識別器４００が選択されてよい。

このように、種検出用の弱識別器として機能することができる弱識別器を全てを複製（例えば、弱識別器４００ａの全てを複製）または部分的に複製（例えば、弱識別器４００ｂの一部を複製）することにより、個別オブジェクトの検出用の弱識別器が形成される。いわば種検出用の弱識別器の完全継承および部分継承により、検出・追跡用の弱識別器の一部が形成される。これにより、完全継承および部分継承される弱識別器で検出されるオブジェクトは、当該弱識別器で検出される種に属していると判定されたことになる。これらの継承される弱識別器は、オフライン学習で事前に構築されていてよい。

一方、個別オブジェクトを識別すべく、各個体の特徴（例えば、目、口などの特徴）を検出する能力を持つ弱識別器が、弱識別器４００ｂの一部および弱識別器４００ｃにより生成される。具体的には、弱識別器４００ｂの一部および弱識別器４００ｃを、個体の特徴を反映すべくオンライン学習（例えば、ＡｄａＢｏｏｓｔの手法）により進化させる。進化させられた弱識別器４００ｃには、追跡している複数の個別オブジェクト（例えば、同じ種に属する個別オブジェクト）のそれぞれを識別する能力が、オンライン学習で組み込まれる。

このように、解像度に対応する階層的構造に応じて、弱識別器の継承および進化がなされる。また、識別器の進化の処理は、弱識別器の選択、除外、更新の処理を含む。特に更新処理においては、オンライン機械学習手法で個別オブジェクトの新しい特徴が識別器に組み込まれる。したがって、種の検出用の弱識別器と個別オブジェクト検出用の弱識別器とが連携されるので、個別オブジェクトを高速かつ高精度に検出・追跡することができる。

この進化の処理を画像解析装置１１０の機能ブロックを用いて説明すると、更新特徴量選択部２４２の処理により、オブジェクト周辺画像に適応させる弱識別器４００を選択する。具体的には、処理４４０において、識別器セット４０４に含まれる弱識別器４００のそれぞれによりオブジェクト周辺画像に対する判定処理がなされ、識別結果４４２が算出される。そして、処理４５０において、識別結果４４２に基づき、識別器セット４６４を生成する。

例えば、更新特徴量選択部２４２による処理により、適応させるべき弱識別器４００が選択される。選択された識別器は、オブジェクト周辺画像に適応されてオブジェクト抽出に用いられる。このとき、オブジェクトへの適合度がより低い弱識別器４００が、適応させるべき弱識別器としてより優先的に選択されてよい。また、中解像度画像用の弱識別器４００ｂから、所定数の弱識別器４００が選択されてよい。また、弱識別器４００ｂからの弱識別器４００に加えて、高解像度画像用の弱識別器４００ｃの中から、所定数の弱識別器４００が選択されてよい。

ここで、更新特徴量選択部２４２により選択された弱識別器４００は、更新特徴量算出部２４４による処理により、オブジェクト周辺画像４１２に適応される。ここでは、教師画像４２２を用いたオンラインブースティングの手法により、弱識別器４００を適応させてよい。そして、特徴量更新部２７０による処理により、適応された弱識別器４６０を生成する。

処理４５０で適応された弱識別器４６０と、処理４３０で選択された弱識別器４００により、識別器セット４６４が構築される。なお、処理４３０で選択された弱識別器４００は適応されていないが、次のフレーム画像からのオブジェクト抽出に用いられる弱識別器であるので、便宜上、符号を変えて弱識別器４６０として示している。

上述したように、弱識別器４６０ａは、いずれも弱識別器４００ａと同じ識別処理をする弱識別器となる。そして、弱識別器４６０ａのうちの所定数の弱識別器４６０が、次のフレーム画像からのオブジェクト抽出処理に用いられる。

また、弱識別器４６０ｂのうちの一部の弱識別器４６０は、いずれも弱識別器４００ｂのうちの対応する弱識別器４００と同じ識別処理をする弱識別器であってよい。このうちの一部の弱識別器４６０が、次のフレーム画像からのオブジェクト抽出処理に用いられる。そして、それ以外の弱識別器４６０は、弱識別器４００ｂのうちの対応する弱識別器４００が処理４５０において適応された弱識別器であってよい。適応された弱識別器は、次のフレーム画像からのオブジェクト抽出処理に用いられる。

また、弱識別器４６０ｃのうち更新する弱識別器として選択された弱識別器４６０は、弱識別器４００ｃのうちの対応する弱識別器４００が処理４５０において適応された弱識別器であって、これらの弱識別器がオブジェクト抽出処理に用いられる。

処理４８０において、オブジェクト抽出部２３０は、識別器セット４６４のうち、オブジェクト抽出処理に用いられるべき弱識別器４６０を用いて、次のフレーム画像からオブジェクトを抽出する。なお、処理４７０は、オブジェクト領域推定部２５０が次のフレーム画像上においてオブジェクトが存在する領域を推定する処理を示している。処理４８０においては、オブジェクト抽出部２３０は、処理４７０において推定された領域の画像である推定領域画像４７２に対して、識別器セット４６４に含まれる弱識別器を用いて、オブジェクトの探索・認識処理をする。

以上説明したように、画像解析装置１１０によると、個別オブジェクトを検出・追跡する識別器を構築する場合に、親の弱識別器から一部を継承する。そして、オンライン学習手法により、他の一部の弱識別器に、個別オブジェクトの特徴を検出する能力が組み込まれる。このように継承と進化の処理をすることにより、種の検出能力を維持しつつ、初期状態の弱識別器からオンライン学習する場合に比べて高い識別能力を持たせることができる。

上述したように、画像解析装置１１０が有する識別器は、粗い画像からの特徴量に対応する弱識別器および細かい画像からの特徴量に対応する弱識別器が階層的に形成される。また、粗い画像からの特徴量に対応する、種の属性を十分に表すことができる弱識別器を含む形で識別器が形成される。このため、画像解析装置１１０が有する識別器は、種を検出する識別器として機能することができる。さらに、画像解析装置１１０によると、追跡の対象となる個別オブジェクトを識別する弱識別器をオンライン学習により進化させることで、識別器に個別オブジェクトの独自の特徴を検出する能力を持たせることができる。これにより、映像シーンにおいて複数のオブジェクトを追跡すべく、個別オブジェクトを検出・識別することができる識別器を構築することができる。

画像解析装置１１０によると、既に検出されたオブジェクトについては初期状態の弱識別器を用いずに、継承・進化された弱識別器を用いて検出・追跡処理を行う。このため、追跡処理と検出処理とを分離せずに追跡処理と検出処理との間の密接な依存関係を利用することができ、効率的に検出・追跡をすることができる。このため、画像解析装置１１０によると、識別器の環境への適応能力を高めることができる。

図４は、処理４５０に関連する処理内容の一例を模式的に示す。識別器５０２ａは、特定のオブジェクトの検出処理に用いられる識別器であるとする。本図を参照して、次のフレーム画像に対するオブジェクト抽出処理に用いられる新たな識別器を構築する場合の処理を説明する。ここでは特に、オブジェクト周辺画像に適応させる弱識別器を構築する処理を中心に説明する。なお、正面顔に対する識別器４６２ａに対する処理が以下に説明されるが、識別器４６２ｂ、識別器４６２ｃに対する処理も同様であることは言うまでもない。

識別器５０２ａは、識別器４６２ａのうち、オブジェクト抽出に実際に用いられる識別器を示す。識別器５０２ａは、弱識別器５００ａおよび弱識別器５００ｂに分けられる。弱識別器５００ａは、弱識別器４６０ａのうちのオブジェクト抽出に用いられる弱識別器４６０と、弱識別器４６０ｂのうちオブジェクト抽出に用いられ、オブジェクト周辺画像に適応され得ない弱識別器４６０とを示している。弱識別器５００ｂは、オブジェクト周辺画像に適応され得る弱識別器を示している。

弱識別器５００ａは、高解像度用の弱識別器４６０ａの一部と、中解像度用の弱識別器４６０ｂの一部とを含む。特定のオブジェクトが抽出された場合、オブジェクト抽出部２３０は、弱識別器５００ａを用いて、後続の１以上のフレーム画像から特定のオブジェクトを抽出する。なお、撮像された人物の顔の向きが大きく変わった場合には、識別器４６２ｂなど、顔の向きに対応する他の識別器４６２が用いられる。この場合においても、特定の顔向きのオブジェクトが抽出された後は、後続の１以上のフレーム画像から特定の顔向き用に構築された識別器が用いられてよい。

このように、人物検出用の弱識別器４００ａから選択された、特定のオブジェクトを抽出するのに適した組み合わせの低解像度用および一部の中解像度用の弱識別器５００ａが、後続の１以上のフレーム画像からのオブジェクト抽出処理に用いられる。このため、他のオブジェクトを誤検出する確率を低減しつつ、演算量を低減することができる。

続いて、弱識別器５００ｂに対する処理を説明する。弱識別器５００ｂは、Ｐ個の弱識別器５００により形成される。このＰ個の弱識別器５００により、個別オブジェクトを識別する能力が識別器に与えられる。処理５１０において、更新特徴量選択部２４２による処理により、除外するＮ個の弱識別器が選択される。具体的には、オブジェクトの画像に対する適合度が小さいものから順に、Ｎ個の弱識別器が除外する弱識別器として選択されてよい。弱識別器５００ｂに示されるように、弱識別器５００ｂは、（Ｐ−Ｎ）個の弱識別器５２０Ａと、Ｎ個の弱識別器５２０Ｂとに分けられる。処理５３０における除外処理で弱識別器５２０Ｂが除外することにより、（Ｐ−Ｎ）個の弱識別器５２０Ａが残る。

このように、Ｐ個の特徴量に対応する弱識別器について、個別オブジェクトで識別性能が評価される。評価結果に基づきＰ個の弱識別器の識別性能がランク付けされ、その中から識別性能がより低いＮ個の弱識別器が除外される。

次に、次のフレーム画像からのオブジェクト抽出処理に用いられる弱識別器５６２を識別器４０２ａから生成する処理を説明する。処理５５０において、更新特徴量算出部２４４による処理により、追加するＭ個の弱識別器の候補を、識別器４０２ａに含まれる弱識別器４００の中から選択する。この場合、オブジェクトの画像への適合度が高い順にＭ個の弱識別器４００が選択されてよい。選択された弱識別器は、弱識別器５５２として示されている。

このように、現フレーム画像における個別オブジェクトを評価データとして用いて、Ｍ個の特徴量に対応する弱識別器を、識別器４０２ａに含まれる弱識別器４００の中から選択する。なお、継承される弱識別器４００ａまたは弱識別器４００ｂの中から、識別性能の評価値が高いＭ個の特徴量を選択して、選択したＭ個の特徴量に対応するＭ個の弱識別器を弱識別器４００ｃの中から選択してもよい。ここで、他の種のオブジェクトを検出すべく用いられる弱識別器を含めて評価して、他の種のオブジェクトを検出すべく用いられる弱識別器を少なくとも含むＭ個の弱識別器を選択してもよい。

処理５６０においては、選択された弱識別器５５２と、教師画像４２２とを用いて、オンラインブースティングの手法により、次のフレーム画像からのオブジェクト抽出処理に用いられる弱識別器としてＮ個の弱識別器５６２が決定される。

具体的には、特定の弱識別器５５２において、教師画像４２２のそれぞれから特徴量がそれぞれ抽出される。抽出された特徴量と基準特徴量とを比較することにより、教師画像４２２が正解画像であるか否かを特定の弱識別器５５２で判定した判定値が、教師画像４２２のそれぞれについて定まる。また、教師画像４２２が正解画像であるか否かを示す教師信号と当該判定値との間の誤差値が、教師画像４２２のそれぞれについて定まる。そして、基準特徴量算出部２４０は、教師画像４２２についてそれぞれ定まる誤差値を重み付け加重した値を最小化する基準特徴量を算出する。算出された基準特徴量を、特定の弱識別器５５２で判定に用いる基準特徴量とすることで、特定の弱識別器５５２を教師画像に適応させることができる。

同様にして、複数の弱識別器５５２のそれぞれについて上記重み付き誤差値を最小化する基準特徴量を算出することで、複数の弱識別器５５２をそれぞれ教師画像４２２に適応させることができる。更新特徴量選択部２４２は、重み付き誤差がより小さいＮ個の弱識別器５５２を、次のフレーム画像からのオブジェクト抽出処理に用いられる弱識別器５６２として、より優先して選択する。このように、抽出対象のオブジェクトの周辺画像を教師画像としてオンライン学習することにより、Ｍ個の弱識別器５５２の中からＮ個の有効な弱識別器５６２が選択される。

更新特徴量算出部２４４による処理により、（Ｐ−Ｎ）個の弱識別器５２０Ａと、Ｎ個の弱識別器５６２とが結合されて、Ｐ個の弱識別器が形成される。形成された弱識別器と、弱識別器５００ａとにより、次のフレーム画像からのオブジェクト抽出処理に実際に用いられる識別器が構築される。これにより、個別オブジェクトの検出・追跡に有効な識別器が形成される。オブジェクト抽出部２３０は、構築された識別器を用いて次のフレーム画像からオブジェクトを抽出する。

そして、更なる次のフレーム画像からオブジェクトを抽出するための識別器は、現在のフレーム画像で構築された識別器を本図の識別器５０２とみなして本図で説明した処理をすることで構築される。そしてこのような処理を繰り返すことで、動画に含まれる複数のフレーム画像から特定のオブジェクトを検出・追跡することができる。

図５は、正解画像および不正解画像の画像領域の一例を示す。フレーム画像６００上の領域６１０は、フレーム画像６００から抽出されたオブジェクトが存在する領域を示す。領域６２０は、抽出されたオブジェクトの周囲の領域を示す。領域６１０および領域６２０の領域の画像は、図３および図４に関連して説明したオブジェクト周辺画像に該当する。

教師画像４２２を生成する場合、更新特徴量算出部２４４は、領域６１０に対応する画像から、複数の正解画像を生成する。また、更新特徴量算出部２４４は、領域６２０に対応する画像から、複数の不正解画像を生成する。複数の正解画像および複数の不正解画像を用いた学習により、識別器をフレーム周辺画像に適応させることができる。

図６は、正解画像および不正解画像の画像領域の他の一例を示す。フレーム画像７００−１、フレーム画像７００−２、フレーム画像７００−３は、この順で撮像された連続するフレーム画像であるとする。更新特徴量算出部２４４は、フレーム画像７００−１上およびフレーム画像７００−２上に、フレーム画像７００−３からオブジェクトを抽出するための教師画像４２２を生成する。

フレーム画像７００−２上の領域７１０ｂは、図５で説明した領域６１０に該当しており、領域７１０ｂから複数の正解画像が生成される。領域７１０ｂは、抽出されたオブジェクトの周辺領域（例えば、抽出されたオブジェクトの領域より２〜３画素広い領域）を含んでよい。周辺領域を含む画像も正解画像の画像領域とすることで、追跡しているオブジェクトの変動に対応することができる。

フレーム画像７００−２上の領域７２０ａは、図５で説明した領域６２０に該当しており、領域７２０ａから複数の不正解画像が生成される。領域７２０ａは、オブジェクト周辺の背景となる画像領域となる。不正解画像の画像領域は、追跡しているオブジェクトをフレーム画像７００−２において検出する領域に設定されてよい。

フレーム画像７００−１上の領域７１０ａは、フレーム画像７００−１から抽出されたオブジェクトの領域であり、更新特徴量算出部２４４における処理において、領域７１０ａから複数の正解画像が生成される。なお、フレーム画像７００−１上の領域７１０ａから抽出されたオブジェクトと、フレーム画像７００−２上の領域７１０ｂから抽出されたオブジェクトは、ともに同じ被写体のオブジェクトであるとする。

また、フレーム画像７００−２上の領域７２０ｂは、フレーム画像７００−２において他のオブジェクトが抽出された領域であり、更新特徴量算出部２４４における処理において、領域７２０ｂから複数の不正解画像が生成される。追跡しているオブジェクトの近くの他のオブジェクトの領域７２０ｂから不正解画像が生成されてよい。このように他のオブジェクトの領域から不正解画像を生成することにより、他のオブジェクトを特定のオブジェクトとして検出してしまう確率を低減することができる。

また、領域７２０ｃは、領域７２０ａに存在しているオブジェクトが、次のフレーム画像７００−３において存在すると予測される領域を示している。領域７２０ｃは、オブジェクト領域推定部２５０により、オブジェクトの動きに基づき推定される。更新特徴量算出部２４４における処理により、フレーム画像７００−２上の領域７２０ｃから、複数の不正解画像が生成される。

フレーム画像７００−２上の領域７２０ｃには、フレーム画像７００−３における特定のオブジェクトの周囲に存在する被写体が撮像されている確率が高い。したがって、フレーム画像７００−２上の領域７２０ｃを不正解画像とすることで、フレーム画像７００−３から、追跡対象のオブジェクトの近傍に存在する他の被写体のオブジェクトを追跡対象のオブジェクトとして検出してしまう確率を低減することができる。

なお、オブジェクト抽出部２３０は、フレーム画像７００−３の領域７２０ｃから、オブジェクトを抽出してもよい。つまり、オブジェクト抽出部２３０がオブジェクトを抽出する抽出対象の領域と、不正解画像を生成する対象の領域とは、画像領域上の同じ領域であってよい。なお、不正解画像を生成する対象の領域は、抽出対象の領域より小さくてもよい。

図５および図６に関連して説明したように、現フレームにおけるオブジェクト画像だけでなく、前フレームにおけるオブジェクトの画像も正解画像として用いる。また、不正解画像としては、オブジェクトの周辺領域の背景画像だけでなく、次のフレームのタイミングでのオブジェクトの位置近傍の背景画像、および、追跡対象のオブジェクトの近傍に位置する他のオブジェクトの画像をも用いる。また、画像解析装置１１０によると、フレーム単位での学習ではなく、オブジェクトの移動、オブジェクトパターンの変化も含めてオンライン学習に組み込むことができる。このため、環境変動に対する識別器の対応能力を高めることができる。

なお、個別オブジェクトの識別用の弱識別器を生成するオンライン学習処理は、毎フレーム行わなくてよい。動画像における追跡は高速でリアルタイム性が要求される。リアルタイム性を確保することを目的として、オンライン学習の頻度も適切に変えてもよい。

例えば、オブジェクトが静止している場合、または、オブジェクトの動き量（変化量）が予め定められた値より小さい場合には、オンライン学習をしなくてよい。周囲の環境が実質的に変化していなかったり、オブジェクトが実質的に変化していない場合には、オンライン学習せずともオブジェクトを検出・追跡することができる。

他にも、個別オブジェクトの識別用の弱識別器で識別して得られたオブジェクトの類似度が予め定められた第１の値より高い場合には、オンライン学習をしなくてよい。現在の識別器により十分に高い類似度が判定された場合には、個別オブジェクトの特徴はすでに弱識別器に組み込まれていることを意味しているので、オンライン学習しなくても個別オブジェクトを十分に検出・追跡することができる。他にも、上記類似度が予め定められた第２の値（第１の値より小さい値とする）より低い場合にも、オンライン学習をしなくてもよい。類似度が著しく低いということは、オブジェクトがオクルージョンされていたり、誤検出されている可能性が高いことを意味している。この場合にオンライン学習すると、オクルージョンされなくなったオブジェクトを検出・追跡することができなくなってしまう場合がある。このため、類似度が著しく低い場合には、インスタンス識別器の安定性から考えて、学習を行わないことが望ましいといえる。

以上説明したように、画像解析装置１１０によると、オブジェクトの検出処理とオブジェクトの認識処理とを一括して行うことができる識別器を構築することができる。このため、これらの処理に要する演算量を著しく低減することができる。

なお、図４から図６などにおいては、画像解析装置１１０の機能および動作を、識別器あるいは弱識別器による処理を例に挙げて説明した。上述のように、特徴量抽出部２１０、適合度算出部２２０、特徴量記憶部２８０、およびオブジェクト抽出部２３０の機能および動作は、弱識別器の機能および動作とみなすことができる。そして、基準特徴量を適応および更新は、識別器の選択および適応とみなすことができる。したがって、画像解析装置１１０の各構成要素が、基準特徴量に関して以下のように動作することで、図４から図６などにおいて識別器に関連して具体的に説明した機能と等価な機能を実現することができる。

すなわち、以下に説明する動作により、画像解析装置１１０は、動画から特定のオブジェクトを抽出することができる。オブジェクトの抽出とは、オブジェクト毎に位置を特定することにより追跡することを含む。特徴量記憶部２８０は、種類が異なる複数の基準特徴量を記憶している。特徴量抽出部２１０は、動画に含まれる複数のフレーム画像のそれぞれから、種類が異なる複数の特徴量を抽出する。オブジェクト抽出部２３０は、特徴量記憶部２８０が記憶している複数の基準特徴量に対する抽出された複数の特徴量の適合度に基づき、フレーム画像からオブジェクトを抽出する。

基準特徴量算出部２４０は、特徴量記憶部２８０が記憶している基準特徴量より、抽出されたオブジェクトの特徴量に種類に応じて予め定められた強度で適応させた複数の基準特徴量を算出する。そして、特徴量更新部２７０は、特徴量記憶部２８０が記憶している複数の基準特徴量を、基準特徴量算出部２４０が算出した基準特徴量で更新する。

なお、基準特徴量算出部２４０は、適合度がより大きい種類ほど、抽出されたオブジェクトの特徴量により大きい強度で適応させた複数の基準特徴量を算出してよい。また、基準特徴量算出部２４０は、抽出されたオブジェクトの特徴量に、種類に応じた頻度で適応させた複数の基準特徴量を算出してよい。

特徴量記憶部２８０は、異なる解像度の画像から抽出された複数の特徴量に対応する複数の基準特徴量を記憶している。そして、特徴量抽出部２１０は、異なる解像度の画像から複数の特徴量を抽出する。基準特徴量算出部２４０は、抽出されたオブジェクトの特徴量に、解像度に応じた強度で適応させた複数の基準特徴量を算出する。基準特徴量算出部２４０は、抽出されたオブジェクトの特徴量に、解像度が大きいほどより大きい強度で適応させた複数の基準特徴量を算出してよい。なお、基準特徴量算出部２４０は、抽出されたオブジェクトの特徴量に適応させた、予め定められた値より大きい解像度に対応する複数の基準特徴量を算出してよい。

基準特徴量算出部２４０の動作について、更新特徴量選択部２４２は、非更新特徴量選択部２４６が選択した基準特徴量の種類以外の種類のうち、適合度がより大きい種類をより優先して選択する。更新特徴量算出部２４４は、更新特徴量選択部２４２が選択した種類について、抽出されたオブジェクトの特徴量に適応させた１以上の基準特徴量を算出する。更新特徴量算出部２４４は、適応させた複数の基準特徴量のうち、抽出されたオブジェクトの特徴量への適応度がより大きい基準特徴量を、適応させた基準特徴量としてより優先して選択する。なお、適応度としては、学習処理における学習誤差を例示することができる。

なお、オブジェクト抽出部２３０は、更新され得る予め定められたＰ種類の基準特徴量を少なくとも用いて、オブジェクトを抽出してよい。そして、更新特徴量算出部２４４は、適応度がより大きいＮ種類の基準特徴量を、適応させた基準特徴量としてより優先して選択してよい。そして、非更新特徴量選択部２４６は、オブジェクト抽出部２３０がフレーム画像からオブジェクトを抽出する場合に用いた、適合度が予め定められた値以上である（Ｐ−Ｎ）種類の基準特徴量を、適応させた基準特徴量とする。この場合に、適応度の順に選択したＮ種類の特徴量を、基準特徴量としてよい。

そして、更新特徴量選択部２４２は、適合度がより大きい、Ｎより多いＭ種類の特徴量の種類を選択する。このとき、適合度が高い順にＭ種類の特徴量が選択されてよい。基準特徴量算出部２４０は、更新特徴量選択部２４２が選択したＭ種類について、抽出されたオブジェクトの特徴量に適応させた基準特徴量を算出する。そして基準特徴量算出部２４０は、算出したＭ種類の基準特徴量のうち、適応度がより大きいＮ種類の基準特徴量を、適応させた基準特徴量としてより優先して選択してよい。

なお、非更新特徴量選択部２４６は、オブジェクト抽出部２３０がフレーム画像からオブジェクトを抽出する場合に用いた、所定の条件に適合する１以上の種類の基準特徴量を、適応させた基準特徴量としてよい。つまり、所定の条件に適合する１以上の種類の基準特徴量は更新されずに、オブジェクト抽出部２３０により次のフレーム画像におけるオブジェクト抽出処理に用いられる。

更新しない特徴量を選択する場合には、非更新特徴量選択部２４６は、オブジェクト抽出部２３０がフレーム画像からオブジェクトを抽出する場合に用いた、適合度が予め定められた値以上である１以上の種類の基準特徴量を、適応させた基準特徴量としてよい。また、非更新特徴量選択部２４６は、教師画像４２２に基づき、適応させた基準特徴量を選択してよい。具体的には、非更新特徴量選択部２４６は、教師画像４２２に基づく学習により、正解画像に対して正解を判定することができる確率が予め定められた値より高い組み合わせの基準特徴量を選択してよい。また、非更新特徴量選択部２４６は、さらに、教師画像４２２に基づく学習により、不正解画像に対して不正解を判定することができる確率が予め定められた値より高い組み合わせの基準特徴量を選択してもよい。

特徴量を適応させる処理においては、基準特徴量算出部２４０は、抽出されたオブジェクトを含む領域の画像を正解画像として学習して得られた基準特徴量を、適応させた基準特徴量として算出してよい。また、基準特徴量算出部２４０は、抽出されたオブジェクト以外の領域を領域の画像を不正解画像として学習して得られた基準特徴量を、適応させた基準特徴量として算出してよい。

なお、基準特徴量算出部２４０は、フレーム画像における抽出された特定のオブジェクトを含む領域の画像を正解画像とすることにより、基準特徴量を算出してよい。基準特徴量算出部２４０は、フレーム画像の前のフレーム画像から抽出された特定のオブジェクトを含む領域の画像を正解画像とすることにより、基準特徴量を算出する。ここで、オブジェクト抽出部２３０は、特徴量抽出部２１０が次のフレーム画像から抽出した特徴量の、基準特徴量に対する適合度に基づき、次のフレーム画像から特定のオブジェクトを抽出してよい。

基準特徴量算出部２４０は、フレーム画像における抽出された特定のオブジェクトを含まない領域の画像を不正解画像とすることにより、基準特徴量を算出してよい。また、基準特徴量算出部２４０は、フレーム画像において抽出された特定のオブジェクトから予め定められた距離離れた領域の画像を不正解画像とすることにより、基準特徴量を算出してよい。また、基準特徴量算出部２４０は、フレーム画像から抽出された他のオブジェクトを含む領域の画像を不正解画像とすることにより、基準特徴量を算出してよい。

オブジェクト領域推定部２５０は、動画から抽出された特定のオブジェクトの移動量に基づき、他のフレーム画像において特定のオブジェクトが存在すべき領域を推定する。基準特徴量算出部２４０は、他のフレーム画像におけるオブジェクト領域推定部２５０が推定した領域を含む画像を不正解画像とすることにより、基準特徴量を算出してよい。

なお、適合度算出部２２０は、基準特徴量に対する特徴量抽出部２１０が抽出した特徴量の適合度を、種類毎に算出する。そして、オブジェクト抽出部２３０は、種類毎に算出された適合度に基づき、複数のフレーム画像のそれぞれからオブジェクトを抽出する。この場合に、オブジェクト抽出部２３０は、予め定められた適合度より大きい適合度が算出された特徴量の数が予め定められた値より多い場合に、特定のオブジェクトとして抽出してよい。他にも、オブジェクト抽出部２３０は、適合度を所定の重みづけで重みづけした合計値が予め定められた値より大きい場合に、特定のオブジェクトとして抽出してもよい。

なお、特徴量記憶部２８０は、被写体の向きに対応づけて複数の基準特徴量を記憶している。特徴量抽出部２１０が動画に含まれる複数のフレーム画像のそれぞれから複数の特徴量を抽出する。オブジェクト抽出部２３０は、被写体の向きに対応づけて記憶された複数の基準特徴量に対する抽出された複数の特徴量の適合度に基づき、フレーム画像から特定被写体のオブジェクトを抽出する。

向き特定部２６０は、特定被写体の向きを特定する。このとき、基準特徴量に対する適合度に基づき、向きを特定してよい。例えば、向き特定部２６０は、特徴量記憶部２８０が記憶している複数の特徴量のうち、予め定められた値より大きい適合度が算出された基準特徴量に対応づけて特徴量記憶部２８０が記憶している被写体の向きを特定被写体の向きとして特定してよい。

このように、向き特定部２６０は、予め定められた解像度より小さい解像度の画像から特徴量抽出部２１０が抽出した特徴量を、同解像度の基準特徴量とそれぞれ比較することにより、被写体の向きのそれぞれについて適合度を算出してよい。そして、向き特定部２６０は、より大きい適合度が算出された基準特徴量に対応づけられた被写体の向きを、特定被写体の向きとして特定してよい。

そして、基準特徴量算出部２４０は、特徴量記憶部２８０が記憶している基準特徴量より、抽出されたオブジェクトに適応させた基準特徴量を算出する。特徴量更新部２７０は、特徴量記憶部２８０が特定された向きに対応づけて記憶している基準特徴量を、基準特徴量算出部２４０が算出した基準特徴量で更新してよい。これにより、被写体の向きに応じた適切な組み合わせの基準特徴量を、学習により強化していくことができる。

以上説明したように、画像解析装置１１０においては、検出処理と追跡処理との密接な関連性を利用して、クラス識別器に継承および進化の概念を導入することにより、種を検出する検出器としてのクラス識別器からオブジェクト追跡用のクラス識別器が構築される。進化を実現するオンライン学習により、環境変動への対応能力を識別器に動的に組み込むことができる。このため、画像解析装置１１０により実現される識別器によると、人物同士を識別したり、環境変動に対応することができる。

例えば、画像解析装置１１０によると、被写体の姿勢などが変動することによるオブジェクトの形状の変動、照明変動および背景変動を含む被写体が存在する環境の変動、撮像性能の変動（例えば、コントラストの変動、ぶれなどの解像性能の変動）に対しても、適切に検出・追跡をすることができる。また、オブジェクト同士が重なったり、周囲物により遮蔽されるなどオクルージョンが生じ得る環境においても、適切に検出・追跡をすることができる。また、撮像装置１００自身が移動する場合にも適切に検出・追跡することができる。また、複数のオブジェクトを追跡する場合においても各オブジェクトを適切に区別することができる。また、個別オブジェクトを容易に検出することができるので、複数の撮像装置１００間における協調・連携も容易となる。また、オブジェクトの移動の規則性が比較的に低い場合であったり、オブジェクトの移動を推測する情報が不足している場合においても、適切に検出・追跡することができる。また、映像ノイズが生じた場合であっても適切に検出・追跡することができる。このように、画像解析装置１１０によると、このような環境変動に対して安定かつ高精度に個別オブジェクトの抽出を行うことができる。

以上図１から図６に関連して説明したように、画像処理システム１０によると、特定の顧客を正確に追跡することができるので、顧客情報を正確に分析したり、当該顧客が興味を持った商品を正確に分析したりすることができる。このように、画像処理システム１０は、店舗用の画像処理システムとして機能することができる。

その他、画像処理システム１０は多様な用途に適用することができる。例えば、画像処理システム１０によると、顧客が興味を持った商品の情報に基づき広告コンテンツを顧客に提供することもでき、この場合、画像処理システム１０はサイネージシステムとして機能することができる。また、画像処理システム１０は、不審者が注目したものを特定する監視システムあるいは防犯システムとして機能することもできる。また、画像処理システム１０は、特定の被写体を認証する認証システムとして機能することができる。

また、画像解析装置１１０は、異なる店舗空間１６０の動画を取得して、解析してもよい。これにより、顧客の動向などを店舗間で比較することができる。また、上記においては店舗用のシステムとして画像処理システム１０の機能および動作を説明したが、画像処理システム１０の用途としては、店舗用以外にも種々の用途に利用することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

一実施形態における画像処理システム１０の一例を示す図である。 画像解析装置１１０のブロック構成の一例を示す図である。 画像解析装置１１０における処理内容の一例を模式的に示す図である。 処理４５０における処理内容の一例を模式的に示す図である。 正解画像および不正解画像の画像領域の一例を示す図である。 正解画像および不正解画像の画像領域の他の一例を示す図である。

１０ 画像処理システム
９０ 記憶媒体
１００ 撮像装置
１１０ 画像解析装置
１１２ 解析結果データベース
１５０ 通信ネットワーク
１６０ 店舗空間
１６２ 商品棚
１６４ 人物
１７０ 店舗サーバ
１８０ 端末装置
２００ 画像取得部
２１０ 特徴量抽出部
２２０ 適合度算出部
２３０ オブジェクト抽出部
２４０ 基準特徴量算出部
２４２ 更新特徴量選択部
２４４ 更新特徴量算出部
２４６ 非更新特徴量選択部
２５０ オブジェクト領域推定部
２６０ 向き特定部
２７０ 特徴量更新部
２８０ 特徴量記憶部
２９０ 出力部
４００ 弱識別器
４０２ 識別器
４０４ 識別器セット
４１０、４２０、４３０、４４０、４５０、４７０、４８０、５１０、５３０、５５０、５６０ 処理
４１２ オブジェクト周辺画像
４２２ 教師画像
４４２ 識別結果
４６０ 弱識別器
４６２ 識別器
４６４ 識別器セット
４７２ 推定領域画像
５００、５２０、５５２、５６２ 弱識別器
５０２ 識別器
６００、７００ フレーム画像
６１０、６２０、７１０、７２０ 領域

Claims (17)

1. 動画から特定のオブジェクトを抽出する画像解析装置であって、
   種類が異なる複数の基準特徴量を記憶する特徴量記憶部と、
   動画に含まれる複数の動画構成画像のそれぞれから、種類が異なる複数の特徴量を抽出する特徴量抽出部と、
   前記特徴量記憶部が記憶している複数の基準特徴量に対する前記抽出された複数の特徴量の適合度に基づいて、前記動画構成画像からオブジェクトを抽出するオブジェクト抽出部と、
   前記特徴量記憶部が記憶している基準特徴量より、前記抽出されたオブジェクトの特徴量に前記種類に応じて予め定められた強度で適応させた複数の基準特徴量を算出する基準特徴量算出部と、
   前記特徴量記憶部が記憶している複数の基準特徴量を、前記基準特徴量算出部が算出した基準特徴量で更新する特徴量更新部と
   を備え、
   前記特徴量抽出部は、異なる解像度の画像から複数の特徴量を抽出し、
   前記特徴量記憶部は、異なる解像度の画像から抽出された複数の特徴量に対応する複数の基準特徴量を記憶しており、
   前記基準特徴量算出部は、前記抽出されたオブジェクトの特徴量に、前記解像度に応じた強度で適応させた複数の基準特徴量を算出する
   画像解析装置。
2. 前記基準特徴量算出部は、前記適合度がより大きい種類ほど、前記抽出されたオブジェクトの特徴量により大きい強度で適応させた複数の基準特徴量を算出する
   請求項１に記載の画像解析装置。
3. 前記基準特徴量算出部は、前記抽出されたオブジェクトの特徴量に、前記種類に応じた頻度で適応させた複数の基準特徴量を算出する
   請求項１または２に記載の画像解析装置。
4. 前記基準特徴量算出部は、前記抽出されたオブジェクトの特徴量に、前記解像度が大きいほどより大きい強度で適応させた複数の基準特徴量を算出する
   請求項１から３のいずれか一項に記載の画像解析装置。
5. 前記基準特徴量算出部は、前記抽出されたオブジェクトの特徴量に適応させた、予め定められた値より大きい解像度に対応する複数の基準特徴量を算出する
   請求項４に記載の画像解析装置。
6. 前記基準特徴量算出部は、
   前記オブジェクト抽出部が前記動画構成画像からオブジェクトを抽出する場合に用いた、所定の条件に適合する１以上の種類の基準特徴量を、前記適応させた基準特徴量とする非更新特徴量選択部
   を有する請求項１から４のいずれか一項に記載の画像解析装置。
7. 動画から特定のオブジェクトを抽出する画像解析装置であって、
   種類が異なる複数の基準特徴量を記憶する特徴量記憶部と、
   動画に含まれる複数の動画構成画像のそれぞれから、種類が異なる複数の特徴量を抽出する特徴量抽出部と、
   前記特徴量記憶部が記憶している複数の基準特徴量に対する前記抽出された複数の特徴量の適合度に基づいて、前記動画構成画像からオブジェクトを抽出するオブジェクト抽出部と、
   前記特徴量記憶部が記憶している基準特徴量より、前記抽出されたオブジェクトの特徴量に前記種類に応じて予め定められた強度で適応させた複数の基準特徴量を算出する基準特徴量算出部と、
   前記特徴量記憶部が記憶している複数の基準特徴量を、前記基準特徴量算出部が算出した基準特徴量で更新する特徴量更新部と
   を備え、
   前記基準特徴量算出部は、
   前記オブジェクト抽出部が前記動画構成画像からオブジェクトを抽出する場合に用いた、所定の条件に適合する１以上の種類の基準特徴量を、前記適応させた基準特徴量とする非更新特徴量選択部と、
   前記非更新特徴量選択部が選択した基準特徴量の種類以外の種類のうち、前記適合度がより大きい種類をより優先して選択する更新特徴量選択部と、
   前記更新特徴量選択部が選択した種類について、前記抽出されたオブジェクトの特徴量に適応させた１以上の基準特徴量を算出する更新特徴量算出部と
   を有する画像解析装置。
8. 前記非更新特徴量選択部は、前記オブジェクト抽出部が前記動画構成画像からオブジェクトを抽出する場合に用いた、前記適合度が予め定められた値以上である１以上の種類の基準特徴量を、前記適応させた基準特徴量とする
   請求項６または７に記載の画像解析装置。
9. 前記更新特徴量算出部は、前記適応させた複数の基準特徴量のうち、抽出されたオブジェクトの特徴量への適応度がより大きい基準特徴量を、前記適応させた基準特徴量としてより優先して選択する
   請求項７に記載の画像解析装置。
10. 前記オブジェクト抽出部は、更新され得る予め定められたＰ種類の基準特徴量を少なくとも用いて、オブジェクトを抽出し、
    前記更新特徴量算出部は、前記適応度がより大きいＮ種類の基準特徴量を、前記適応させた基準特徴量としてより優先して選択し、
    前記非更新特徴量選択部は、前記オブジェクト抽出部が前記動画構成画像からオブジェクトを抽出する場合に用いた、前記適合度が予め定められた値以上である（Ｐ−Ｎ）種類の基準特徴量を、前記適応させた基準特徴量とする
    請求項９に記載の画像解析装置。
11. 前記更新特徴量選択部は、前記適合度がより大きい、Ｎより多いＭ種類の特徴量の種類を選択し、
    前記基準特徴量算出部は、前記更新特徴量選択部が選択したＭ種類について、前記抽出されたオブジェクトの特徴量に適応させた基準特徴量を算出し、算出したＭ種類の基準特徴量のうち、前記適応度がより大きいＮ種類の基準特徴量を、前記適応させた基準特徴量としてより優先して選択する
    請求項１０に記載の画像解析装置。
12. 前記基準特徴量算出部は、前記抽出されたオブジェクトを含む領域の画像を正解画像として学習して得られた基準特徴量を、前記適応させた基準特徴量として算出する
    請求項１から１１のいずれか一項に記載の画像解析装置。
13. 前記基準特徴量算出部は、前記抽出されたオブジェクト以外の領域を領域の画像を不正解画像として学習して得られた基準特徴量を、前記適応させた基準特徴量として算出する
    請求項１から１２のいずれか一項に記載の画像解析装置。
14. 前記基準特徴量に対する前記特徴量抽出部が抽出した特徴量の適合度を、前記種類毎に算出する適合度算出部
    をさらに備え、
    前記オブジェクト抽出部は、前記種類毎に算出された適合度に基づいて、複数の動画構成画像のそれぞれからオブジェクトを抽出する
    請求項１から１１のいずれか一項に記載の画像解析装置。
15. コンピュータを、請求項１から１４のいずれか一項に記載の画像解析装置として機能させるためのプログラム。
16. 動画から特定のオブジェクトを抽出する画像解析方法であって、
    種類が異なる複数の基準特徴量を記憶する特徴量記憶段階と、
    動画に含まれる複数の動画構成画像のそれぞれから、種類が異なる複数の特徴量を抽出する特徴量抽出段階と、
    前記特徴量記憶段階において記憶された複数の基準特徴量に対する前記抽出された複数の特徴量の適合度に基づいて、前記動画構成画像からオブジェクトを抽出するオブジェクト抽出段階と、
    前記特徴量記憶段階において記憶された基準特徴量より、前記抽出されたオブジェクトの特徴量に前記種類に応じて予め定められた強度で適応させた複数の基準特徴量を算出する基準特徴量算出段階と、
    前記特徴量記憶段階において記憶された複数の基準特徴量を、前記基準特徴量算出段階において算出された基準特徴量で更新する特徴量更新段階と
    を備え、
    前記特徴量抽出段階は、異なる解像度の画像から複数の特徴量を抽出し、
    前記特徴量記憶段階は、異なる解像度の画像から抽出された複数の特徴量に対応する複数の基準特徴量を記憶しており、
    前記基準特徴量算出段階は、前記抽出されたオブジェクトの特徴量に、前記解像度に応じた強度で適応させた複数の基準特徴量を算出する
    画像解析方法。
17. 動画から特定のオブジェクトを抽出する画像解析方法であって、
    種類が異なる複数の基準特徴量を記憶する特徴量記憶段階と、
    動画に含まれる複数の動画構成画像のそれぞれから、種類が異なる複数の特徴量を抽出する特徴量抽出段階と、
    前記特徴量記憶段階において記憶された複数の基準特徴量に対する前記抽出された複数の特徴量の適合度に基づいて、前記動画構成画像からオブジェクトを抽出するオブジェクト抽出段階と、
    前記特徴量記憶段階において記憶された基準特徴量より、前記抽出されたオブジェクトの特徴量に前記種類に応じて予め定められた強度で適応させた複数の基準特徴量を算出する基準特徴量算出段階と、
    前記特徴量記憶段階において記憶された複数の基準特徴量を、前記基準特徴量算出段階において算出された基準特徴量で更新する特徴量更新段階と
    を備え、
    前記基準特徴量算出段階は、
    前記オブジェクト抽出段階において前記動画構成画像からオブジェクトを抽出する場合に用いた、所定の条件に適合する１以上の種類の基準特徴量を、前記適応させた基準特徴量とする非更新特徴量選択段階と、
    前記非更新特徴量選択段階において選択された基準特徴量の種類以外の種類のうち、前記適合度がより大きい種類をより優先して選択する更新特徴量選択段階と、
    前記更新特徴量選択段階において選択された種類について、前記抽出されたオブジェクトの特徴量に適応させた１以上の基準特徴量を算出する更新特徴量算出段階と
    を有する画像解析方法。

Images