JP7331947B2 - 物体識別装置、物体識別方法、学習装置、学習方法、及び、プログラム - Google Patents

Description

本発明は、画像に含まれる物体を識別する技術に関する。

近年、様々な用途にドローンが利用されている。ドローンの利用が普及すると、ドローンの航空管制が必要になると考えられる。例えば、地上に設置したカメラにより撮影した映像を用いて、管理対象となるドローンの周辺を監視することが必要となる。具体的に、ドローンの航空管制業務では、撮影画像に基づいて小さな移動物体を検出し、鳥や管理対象以外のドローンなどの制御不可能な物体を識別し、管理対象のドローンを即座に制御して自動的に衝突回避を行う必要がある。このため、管理対象のドローンの付近における飛行物体の種類を識別する必要がある。

特許文献１は、空中画像から目標物を抽出する手法であって、目標物の種別に応じて目標物の抽出に最適な抽出手段を選択する手法を記載している。

特開２０１３－３０７１０６号公報

上記の特許文献１は、目標物の種別毎に最適な抽出手法を用いているが、同じ種別の目標物であっても飛行状態などが異なる場合には抽出精度が低下することが考えられる。

本発明の１つの目的は、画像に含まれる移動物体を正確に識別することにある。

本発明の一つの観点では、物体識別装置は、
入力画像から前景抽出を行い前景抽出結果を生成する前景抽出手段と、
前記前景抽出結果に基づいて、各前景についての、移動軌跡特徴、面積変動特徴及び見え特徴を含む状態を抽出する状態抽出手段と、
前記状態を入力し、識別モデルのそれぞれについて、その識別モデルを選択する尤度を出力する前記選択モデルであって、学習用の入力画像に含まれる前景毎に、その前景を識別するのに適した識別モデルを示す値である正解データに基づき学習済みの選択モデルを用いて、抽出された前記状態に基づいて１又は複数の識別モデルを選択する識別モデル選択手段と、
選択された識別モデルを用いて、前記入力画像に含まれる移動物体を識別する識別手段と、を備える。

本発明の他の観点では、物体識別方法は、
入力画像から前景抽出を行い前景抽出結果を生成し、
前記前景抽出結果に基づいて、各前景についての、移動軌跡特徴、面積変動特徴及び見え特徴を含む状態を抽出し、
前記状態を入力し、識別モデルのそれぞれについて、その識別モデルを選択する尤度を出力する前記選択モデルであって、学習用の入力画像に含まれる前景毎に、その前景を識別するのに適した識別モデルを示す値である正解データに基づき学習済みの選択モデルを用いて、抽出された前記状態に基づいて１又は複数の識別モデルを選択し、
選択された識別モデルを用いて、前記入力画像に含まれる移動物体を識別する。

本発明の他の観点では、プログラムは、
入力画像から前景抽出を行い前景抽出結果を生成し、
前記前景抽出結果に基づいて、各前景について、移動軌跡特徴、面積変動特徴及び見え特徴を含む状態を抽出し、
前記状態を入力し、識別モデルのそれぞれについての、その識別モデルを選択する尤度を出力する前記選択モデルであって、学習用の入力画像に含まれる前景毎に、その前景を識別するのに適した識別モデルを示す値である正解データに基づき学習済みの選択モデルを用いて、抽出された前記状態に基づいて１又は複数の識別モデルを選択し、
選択された識別モデルを用いて、前記入力画像に含まれる移動物体を識別する処理をコンピュータに実行させる。

本発明の他の観点では、学習装置は、
入力画像から前景抽出を行い前景抽出結果を生成する前景抽出手段と、
前記前景抽出結果を用いて、各前景についての、移動軌跡特徴、面積変動特徴及び見え特徴を含む状態を抽出する状態抽出手段と、
前記状態を入力し、識別モデルのそれぞれについて、その識別モデルを選択する尤度を出力する選択モデルを、学習用の入力画像に含まれる前景毎に、その前景を識別するのに適した識別モデルを示す値である正解データに基づき学習する学習手段と、を備える。

本発明の他の観点では、学習方法は、
入力画像から前景抽出を行い前景抽出結果を生成し、
前記前景抽出結果を用いて、各前景についての、移動軌跡特徴、面積変動特徴及び見え特徴を含む状態を抽出し、
前記状態を入力し、識別モデルのそれぞれについて、その識別モデルを選択する尤度を出力する選択モデルを、学習用の入力画像に含まれる前景毎に、その前景を識別するのに適した識別モデルを示す値である正解データに基づき学習する。

本発明の他の観点では、プログラムは、
入力画像から前景抽出を行い前景抽出結果を生成し、
前記前景抽出結果を用いて、各前景についての、移動軌跡特徴、面積変動特徴及び見え特徴を含む前景の状態を抽出し、
前記状態を入力し、識別モデルのそれぞれについて、その識別モデルを選択する尤度を出力する選択モデルを、学習用の入力画像に含まれる前景毎に、その前景を識別するのに適した識別モデルを示す値である正解データに基づき学習する処理をコンピュータに実行させる。

本発明によれば、画像に含まれる移動物体を正確に識別することができる。

実施形態に係る前景抽出装置のハードウェア構成を示す。 第１実施形態に係る物体識別装置の機能構成を示す。 前景抽出方法の一例を説明する図である。 前景から移動軌跡特徴及び面積変動特徴を抽出する方法を説明する図である。 前景から見え特徴を抽出する方法を説明する図である。 識別モデル選択部の構成の一例を示す。 物体識別処理のフローチャートである。 選択モデル学習装置の構成を示す。 選択モデルの学習処理のフローチャートである。 第２実施形態に係る物体識別装置及び学習装置の構成を示す。

以下、図面を参照して、本発明の好適な実施形態について説明する。
＜基本概念＞
まず、実施形態に係る物体識別手法の基本概念について説明する。いま、空を撮影した画像から、飛行中の移動物体を識別することを考える。移動物体のサイズが小さい場合、撮影画像における移動物体の見え方はほとんど変わらないため、移動物体の見え方に注目して識別を行うと精度が低下してしまう。よって、この場合、移動物体の挙動や移動軌跡などに注目して識別を行うことが好ましい。一方、移動物体のサイズが大きい場合、移動物体の見え方に注目すればある程度の精度で識別が可能となる。よって、撮影画像における移動物体の状態に応じて識別方法、即ち、使用する識別モデルを選択する必要がある。以下の実施形態では、移動物体の状態に応じて、識別モデルを適切に選択する手法を提供する。

［第１実施形態］
（ハードウェア構成）
図１は、第１実施形態に係る物体識別装置のハードウェア構成を示すブロック図である。図示のように、物体識別装置１００は、入力ＩＦ（ＩｎｔｅｒＦａｃｅ）１２と、プロセッサ１３と、メモリ１４と、記録媒体１５と、データベース（ＤＢ）１６と、を備える。

入力ＩＦ１２は、物体識別装置１００が処理の対象とする入力画像を取得する。例えば、地上に設置されたカメラにより、空を飛行する移動物体を撮影した画像が入力ＩＦ１２を通じて入力される。プロセッサ１３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのコンピュータであり、予め用意されたプログラムを実行することにより、物体識別装置１００の全体を制御する。具体的に、プロセッサ１３は、後述する学習処理及び物体識別処理を実行する。

メモリ１４は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより構成される。メモリ１４は、プロセッサ１３により実行される各種のプログラムを記憶する。また、メモリ１４は、プロセッサ１３による各種の処理の実行中に作業メモリとしても使用される。

記録媒体１５は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、物体識別装置１００に対して着脱可能に構成される。記録媒体１５は、プロセッサ１３が実行する各種のプログラムを記録している。物体識別装置１００が各種の処理を実行する際には、記録媒体１５に記録されているプログラムがメモリ１４にロードされ、プロセッサ１３により実行される。

データベース１６は、外部装置から入力されるデータを記憶する。具体的には、物体識別装置１００が処理の対象とする入力画像が記憶される。なお、上記に加えて、物体識別装置１００は、ユーザが指示や入力を行うためのキーボード、マウスなどの入力機器や、表示部を備えていても良い。

（機能構成）
図２は、第１実施形態に係る物体識別装置１００の機能構成を示すブロック図である。図示のように、物体識別装置１００は、前景抽出部２１と、状態抽出部２２と、識別モデル選択部２３と、識別部２４と、前景抽出モデル記憶部２５と、選択モデル記憶部２６と、識別モデル記憶部２７と、を備える。

前景抽出部２１は、入力画像から前景を抽出する。前景は、入力画像における背景以外の箇所であり、識別の対象となる移動物体に対応する領域である。前景抽出モデル記憶部２５は、入力画像から前景を抽出するための複数の前景抽出モデルを記憶している。前景抽出部２１は、前景抽出モデル記憶部２５から前景抽出モデルを取得し、入力画像から前景を抽出する。

図３は、前景抽出方法の一例を説明する図である。前景抽出部２１は、入力画像に対して複数の前景抽出モデルを適用して前景抽出結果を得る。図３の例では、前景抽出部２１は入力画像に対して前景抽出モデルＭ１～Ｍ３を適用し、得られた前景抽出結果３１～３３をに対して投票を行って前景抽出結果を出力する。ここでの投票は過半数による。即ち、前景抽出部２１は、前景抽出結果３１～３３の過半数に含まれる前景を前景抽出結果に含める。図３の例では、前景抽出結果３１～３３の全てに含まれる三角形の前景ＦＧ１と、前景抽出結果３１及び３２に含まれる円形（円及び楕円）の前景ＦＧ２とが抽出され、状態抽出部２２に出力される。

状態抽出部２２は、前景抽出結果に基づいて、各前景の状態を抽出する。ここで、「状態」は、前景の移動軌跡特徴と、面積変動特徴と、見え特徴とを含む。具体的に、状態抽出部２２は、まず入力画像の隣接する複数（Ｎ個）のフレームに対する前景抽出結果を用いて、前景を追跡する。図４（Ａ）は、前景の追跡を説明する図である。この例では、３フレームを用いている。状態抽出部２２は、第１～第３フレームについて得られた前景抽出結果４１～４３において、同一の前景を追跡する。図４（Ａ）の例では、状態抽出部２２は、各前景抽出結果４１～４３において三角形の前景ＦＧ１を追跡し、各フレームにおける前景ＦＧ１の対応関係を生成する。なお、状態抽出部２２は、同様に円形の前景ＦＧ２も追跡する。

次に、状態抽出部２２は、前景の追跡結果に基づいて、移動軌跡特徴を抽出する。具体的には、状態抽出部２２は、各フレームにおける前景の座標、及び、隣接フレーム間の前景の移動量を取得する。図４（Ａ）の例では、状態抽出部２２は、各フレームにおける前景ＦＧ１の座標Ｘ１１、Ｘ２１、Ｘ３１と、第１フレームと第２フレームとの間の前景ＦＧ１の移動量ｄ１２と、第２フレームと第３フレームとの間の前景ＦＧ１の移動量ｄ２３とを取得する。そして、状態抽出部２２は、以下の移動軌跡特徴を生成する。
移動軌跡特徴：Ｔ１＝｛Ｘ１１，Ｘ２１，Ｘ３１，ｄ１２，ｄ２３｝
なお、状態抽出部２２は、同様に前景ＦＧ２の移動軌跡特徴Ｔ２も生成する。

次に、状態抽出部２２は、面積変動特徴を抽出する。面積変動特徴は、隣接するフレーム間における前景の面積の変動割合を示す。図４（Ｂ）は、面積変動特徴の抽出方法を説明する図である。状態抽出部２２は、第１フレーム～第３フレームの前景抽出結果４１～４３における前景の面積を算出し、面積変動特徴を以下のように求める。
面積変動特徴：Ａｒｅａ＝｛Ｒ１２，Ｒ２３｝
ここで、「Ｒ」は前景の面積変動を示し、「Ｒ１２」はある前景の第１フレームでの面積と第２フレームでの面積の比を示す。例えば、前景ＦＧ１の第１フレームでの面積をＳ１、第２フレームでの面積をＳ２とすると、Ｒ＝Ｓ１／Ｓ２となる。こうして、状態抽出部２２は、前景抽出結果に含まれる全ての前景について面積変動特徴Ａｒｅａを抽出する。

さらに、状態抽出部２２は、見え特徴を抽出する。見え特徴とは、入力画像における前景の見え方の特徴である。図５は、見え特徴の抽出方法を説明する図である。状態抽出部２２は、ニューラルネットワークによる特徴抽出器５１を用いて見え特徴を抽出する。ここで、特徴抽出器５１は、一般物体認識で利用される特徴抽出器であれば何でもよく、例えばＶＧＧ１６、ＲｅｓＮｅｔなどを用いることができる。なお、特徴抽出器５１は、既に学習済みのものである。

具体的に、状態抽出部２２は、前景抽出部２１により生成された各フレームの前景抽出結果に基づいて、入力画像から前景領域を切り出す。図４の例では、状態抽出部２２は、第１～第３フレームの画像から、前景ＦＧ１の領域を切り出し、特徴抽出器５１に入力する。即ち、特徴抽出器５１には、上記の追跡により対応付けられた前景領域の時間的変化画像が入力される。特徴抽出器５１は、入力された前景領域の画像から、前景の特徴を抽出し、特徴ベクトルを出力する。状態抽出部２２は、出力された特徴ベクトルを見え特徴Ａとして使用する。状態抽出部２２は、前景抽出結果に含まれる全ての前景について見え特徴Ａを出力する。

こうして、状態抽出部２２は、前景抽出部２１により生成されたＮフレーム分の前景抽出結果に基づいて、移動軌跡特徴、面積変動特徴及び見え特徴を含む状態を各前景について抽出する。

識別モデル選択部２３は、状態抽出部２２が抽出した状態に基づいて、物体を識別するための識別モデルを選択する。識別モデル記憶部２７には、物体を識別するための複数の識別モデルが記憶されている。但し、前述のように、入力画像における前景の状況によって、使用すべき識別モデルは異なる。そこで、本実施形態では、識別モデル選択部２３は、予め用意された複数の識別モデルから、適切な１又は複数の識別モデルを選択する。

具体的に、選択モデル記憶部２６は、複数の識別モデルから、その時の状態に応じて適切な識別モデルを選択するためのモデルである選択モデルを記憶している。識別モデル選択部２３は、選択モデル記憶部２６から選択モデルを取得し、その選択モデルを用いて、前景の状態に適した識別モデルを選択する。なお、選択モデル記憶部２６には、予め学習済みの選択モデルが記憶されている。

図６は、識別モデル選択部２３の構成の一例を示す。本例では、選択モデルとして尤度推定器６１を用いる。図６に示すように、識別モデル選択部２３による識別モデルの選択時には、状態抽出部２２が抽出した状態が、尤度推定器６１に入力される。前述のように、状態は、見え特徴Ａと、移動軌跡特徴Ｔと、面積変動特徴Ａｒｅａとを含む。尤度推定器６１はニューラルネットワークにより構成され、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｕｅｒａｌ Ｎｅｔｗｏｒｋ）などを用いることができる。尤度推定器６１は、入力された状態に基づいて、複数の識別モデルを選択する尤度を学習する。図６の例では、尤度推定器６１は、識別モデル１～Ｎのそれぞれについて、そのモデルを選択する尤度ｙ１～ｙｎを生成し、選択結果として識別部２４に出力する。

識別部２４は、識別モデル選択部２３から入力された選択結果に基づいて、使用すべき識別モデルを識別モデル記憶部２７から取得する。また、識別部２４は、状態抽出部２２から、抽出された状態、即ち、移動軌跡特徴Ｔ、面積変動特徴Ａｒｅａ及び見え特徴Ａを取得する。そして、識別部２４は、取得した識別モデルを用いて、状態から物体を識別する。

１つの例としては、識別部２４は、識別モデル選択部２３が出力した尤度が最も高い１つの識別モデルを用いて物体を識別する。他の例では、識別部２４は、識別モデル選択部２３が出力した尤度が上位である所定数の識別モデルを用いて物体を識別してもよい。さらに他の例では、識別部２４は、識別モデル選択部２３が出力した尤度を、各識別モデルを選択する重みとして使用し、各識別モデルによる識別結果を重み付けして最終的な識別結果を得るようしてもよい。例えば、尤度推定器６１が出力した尤度ｙ１が「０．５」、尤度ｙ２が「０．３」、尤度ｙ３が「０．２」、尤度ｙ４～ｙｎが全て「０」であるとする。この場合、識別部２４は、識別モデル１の識別結果に対する重みを「０．５」、識別モデル２の識別結果に対する重みを「０．３」、識別モデル３の識別結果に対する重みを「０．２」として各識別結果を重み付け加算して最終的な識別結果を算出すればよい。

なお、識別モデル記憶部２７には、物体を識別する複数の識別モデルが用意されているが、全ての識別モデルが状態に含まれる３つの特徴（即ち、移動軌跡特徴Ｔ、面積変動特徴Ａｒｅａ及び見え特徴Ａ）を用いて物体を識別するとは限らない。即ち、ある識別モデルは見え特徴Ａのみを用いるモデルであり、別の識別モデルは移動軌跡特徴Ｔと面積変ｋ同特徴Ａｒｅａを用いるモデルある、ということがある。この場合、識別部２４は、識別モデル選択部２３により選択された識別モデルを使用する際、その識別モデルが入力として使用する特徴を特定してから物体を識別を行う。このための一つの方法として、識別部２４は、用意された複数の識別モデルの各々が入力としていずれの特徴を使用するかを示す関数を予め用意し、これを用いて各識別モデルが使用する特徴を特定してもよい。具体的には、識別部２４は、以下のように、識別モデルのＩＤ「ｍ」を入力とし、３つの状態のうちその識別モデルが使用する特徴を出力する関数をＦ（ｍ）を用いてもよい。
Ｆ（ｍ）＝｛Ａ，Ｔ，Ａｒｅａ｝
例えば、Ｆ（１）＝｛１，１，０｝である場合、識別モデル１は、入力として見え特徴Ａと、移動軌跡特徴Ｔを使用すること示す。

なお、入力画像に複数の前景が含まれる場合、状態抽出部２２は前景毎に状態を抽出し、識別モデル選択部２３は前景毎に識別モデルを選択する。よって、識別部２４は、前景毎に最適な識別モデルを用いて物体を識別することができる。

（物体識別処理）
図７は、物体識別装置１００による物体識別処理のフローチャートである。この処理は、図１に示すプロセッサ１３が予め用意されたプログラムを実行し、図２に示す各要素として動作することにより実現される。

まず、前景抽出部２１は、入力画像の複数のフレームから前景を抽出する（ステップＳ１１）。具体的に、前景抽出部２１は、前景抽出モデル記憶部２５から前景抽出モデルを取得し、前景を抽出する。前景抽出結果は状態抽出部２２に入力される。

次に、状態抽出部２２は、Ｎフレームの前景抽出結果に含まれる前景を追跡し（ステップＳ１２）、追跡結果を用いて各前景の状態を求める（ステップＳ１３）。具体的には、状態抽出部２２は、各前景について、移動軌跡特徴Ｔ、面積変動特徴Ａｒｅａ及び見え特徴Ａを含む状態を抽出する。抽出された状態は識別モデル選択部２３及び識別部２４にに入力される。

次に、識別モデル選択部２３は、選択モデル記憶部２６から選択モデルを取得し、その選択モデルを用いて、状態抽出部２２から入力された状態に基づいて識別モデルを選択する（ステップＳ１４）。次に、識別部２４は、選択モデルを用いて選択した１又は複数の識別モデルについて、にゅりょくとして使用する特徴を特定する（ステップＳ１５）。この選択は、例えば上述の関数Ｆ（ｍ）を用いて行われる。そして、識別部１４は、ステップＳ１４で選択された識別モデルを用いて、ステップＳ１５で選択された特徴から前景、即ち移動物体を識別する（ステップＳ１７）。

次に、物体識別装置１００は、入力画像に残りのフレームがあるか否かを判定する（ステップＳ１７）。残りのフレームがある場合（ステップＳ１７：Ｙｅｓ）、処理はステップＳ１１へ戻り、次のフレームセットについてステップＳ１１～Ｓ１６の処理を行う。例えば、前述のように隣接する３フレームを用いて物体識別を行う場合、物体識別装置１００は、最初に第１～第３フレーム２を１つのフレームセットとしてステップＳ１１～Ｓ１６の処理を行い、次にはフレームを１つシフトして第２～第４フレームを１つのフレームセットとしてステップＳ１１～Ｓ１６の処理を行う。一方、残りのフレームがない場合（ステップＳ１７：Ｎｏ）、処理は終了する。

（選択モデルの学習）
次に、選択モデルの学習について説明する。前述の物体識別装置１００においては、既に学習済みの選択モデルが選択モデル記憶部２６に記憶されており、識別モデル選択部２３は、その選択モデルを用いて識別モデルを選択している。以下、選択モデルの学習について説明する。

図８（Ａ）は、選択モデル学習装置２００の構成を示すブロック図である。選択モデル学習装置２００は、前景抽出部７１と、状態抽出部７２と、選択モデル学習部７３と、前景抽出モデル記憶部７４と、選択モデル記憶部７５と、を備える。なお、前景抽出部７１、状態抽出部７２、前景抽出モデル記憶部７４は、図２に示す物体識別装置１００の前景抽出部２１、状態抽出部２２及び前景抽出モデル記憶部２５と基本的に同一である。なお、前景抽出部７１には、学習用の入力画像が入力される。

前景抽出部７１は、学習用の入力画像から前景を抽出し、状態抽出部７２に出力する。状態抽出部７２は、抽出された前景から状態を抽出し、選択モデル学習部７３に出力する。選択モデル学習部７３は、状態抽出部７２が抽出した状態に基づいて、選択モデルを学習する。

図８（Ｂ）は、選択モデル学習部７３の構成を示すブロック図である。選択モデル学習部７３は、選択モデルを用いる尤度推定器６１と、学習部７６とを備える。尤度推定器６１には、学習用の入力画像から抽出された状態が入力される。尤度推定器６１は、入力された状態に基づいて各識別モデル１～Ｎの尤度ｙ１～ｙｎを出力する。一方、学習用の入力画像については、正解データＹが用意されている。学習データは、学習用の入力画像に含まれる前景毎に、その前景を識別するのに適した識別モデルを示す値である。例えば、ある前景（例えば鳥）を識別するのに適した識別モデルが識別モデル１である場合、正解データＹは、識別モデル１の値が「１」、それ以外の識別モデルの値が「０」となっている。また、ある前景を識別するのに、識別モデル１と識別モデル２を１：１の割合で使用するのが好ましいという場合、正解データＹは識別モデル１の値が「０．５」、識別モデル２が値を「０．５」、その他の識別モデルの値が「０」となっている。

学習部７６は、正解データＹと、尤度推定器６１が出力した尤度ｙ１～ｙｎとの差の総和を損失とし、損失が小さくなるように尤度推定器６１を最適化する。そして、選択モデル学習部７３は、所定の終了条件が具備された時点の尤度推定器６１のパラメータなどを学習済みの選択モデルとして選択モデル記憶部２６に記憶する。

図９は、選択モデルの学習処理のフローチャートである。この処理は、図１に示すプロセッサ１３が、予め用意されたプログラムを実行することにより実現される。まず、前景抽出部７１は、入力画像の複数のフレームから前景を抽出する（ステップＳ２１）。前景抽出結果は状態抽出部７２に入力される。次に、状態抽出部７２は、Ｎフレームの前景抽出結果に含まれる前景を追跡し（ステップＳ２２）、追跡結果を用いて各前景の状態を求める（ステップＳ２３）。具体的には、状態抽出部２２は、各前景について、移動軌跡特徴Ｔ、面積変動特徴Ａｒｅａ及び見え特徴Ａを含む状態を抽出する。

次に、選択モデル学習部７３は、選択モデル記憶部７５から選択モデルを取得し、その選択モデルを用いて、状態抽出部７２から入力された状態に基づいて識別モデルを選択する（ステップＳ２４）。次に、選択モデル学習部７３は、正解データＹと、選択モデルによる選択結果である尤度ｙとの損失を算出し（ステップＳ２５）、損失が小さくなるように選択モデルを最適化する（ステップＳ２６）。

次に、選択モデル学習装置２００は、学習が終了したか、即ち、所定の終了条件が具備されたか否かを判定する（ステップＳ２７）。終了条件が具備されるまで、学習用の入力画像を用いてステップＳ２１～Ｓ２６が繰り返され、終了条件が具備されると、学習処理は終了する。

［第２実施形態］
図１０（Ａ）は、第２実施形態に係る物体識別装置の構成を示すブロック図である。物体識別装置８０は、前景抽出部８１と、状態抽出部８２と、識別モデル選択部８３と、識別部８４と、を備える。前景抽出部８１は、入力画像から前景抽出を行い前景抽出結果を生成する。状態抽出部８２は、前景抽出結果に基づいて、前景の状態を抽出する。識別モデル選択部８３は、選択モデルを用いて、抽出された状態に基づいて１又は複数の識別モデルを選択する。識別部８４は、選択された識別モデルを用いて、入力画像に含まれる移動物体を識別する。

図１０（Ｂ）は、第２実施形態に係る学習装置の構成を示すブロック図である。学習装置９０は、前景抽出部９１と、状態抽出部９２と、学習部９３と、を備える。前景抽出部９１は、入力画像から前景抽出を行い前景抽出結果を生成する。状態抽出部９２は、前景抽出結果を用いて、前景の状態を抽出する。学習部９３は、前景の状態と、予め用意された正解データとに基づいて、物体の識別モデルを選択する選択モデルを学習する。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
入力画像から前景抽出を行い前景抽出結果を生成する前景抽出部と、
前記前景抽出結果に基づいて、前景の状態を抽出する状態抽出部と、
選択モデルを用いて、抽出された状態に基づいて１又は複数の識別モデルを選択する識別モデル選択部と、
選択された識別モデルを用いて、前記入力画像に含まれる移動物体を識別する識別部と、
を備える物体識別装置。

（付記２）
前記前景抽出部は、前記入力画像の所定数のフレームについて前記前景抽出結果を生成し、
前記状態抽出部は、前記所定数のフレームにおける前記前景抽出結果を用いて前記前景の状態を抽出する付記１に記載の物体識別装置。

（付記３）
前記状態抽出部は、前記所定数のフレームに含まれる前景の見え特徴を抽出し、前記前景の状態として出力する付記２に記載の物体識別装置。

（付記４）
前記状態抽出部は、前記所定数のフレームの各々から同一の前景に対応する前景領域を抽出し、前記所定数の前景領域から抽出した特徴ベクトルを前記見え特徴として出力する付記３に記載の物体識別装置。

（付記５）
前記状態抽出部は、前記所定数のフレームにおける同一の前景の移動軌跡特徴を抽出し、前記前景の状態として出力する付記２乃至４のいずれか一項に記載の物体識別装置。

（付記６）
前記状態抽出部は、前記所定数のフレームにおける同一の前景の座標及び移動量を含む移動軌跡特徴を抽出し、前記前景の状態として出力する付記５に記載の物体識別装置。

（付記７）
前記状態抽出部は、前記所定数のフレームの各々から同一の前景の面積変動を抽出し、前記前景の状態として出力する付記２乃至６のいずれか一項に記載の物体識別装置。

（付記８）
前記選択モデルは、前記前景の状態を入力とし、前記複数の識別モデルを選択する尤度を出力するように学習されたモデルである付記１乃至７のいずれか一項に記載の物体識別装置。

（付記９）
前記識別部は、前記前景の状態に含まれる特徴のうち、前記選択された識別モデルが使用する１又は複数の特徴を特定し、当該特徴に基づいて前記移動物体の識別を行う付記１乃至８のいずれか一項に記載の物体識別装置。

（付記１０）
入力画像から前景抽出を行い前景抽出結果を生成し、
前記前景抽出結果に基づいて、前景の状態を抽出し、
選択モデルを用いて、抽出された状態に基づいて１又は複数の識別モデルを選択し、
選択された識別モデルを用いて、前記入力画像に含まれる移動物体を識別する物体識別方法。

（付記１１）
入力画像から前景抽出を行い前景抽出結果を生成し、
前記前景抽出結果に基づいて、前景の状態を抽出し、
選択モデルを用いて、抽出された状態に基づいて１又は複数の識別モデルを選択し、
選択された識別モデルを用いて、前記入力画像に含まれる移動物体を識別する処理をコンピュータに実行させるプログラムを記録した記録媒体。

（付記１２）
入力画像から前景抽出を行い前景抽出結果を生成する前景抽出部と、
前記前景抽出結果を用いて、前景の状態を抽出する状態抽出部と、
前記前景の状態と、予め用意された正解データとに基づいて、物体の識別モデルを選択する選択モデルを学習する学習部と、
を備える学習装置。

（付記１３）
入力画像から前景抽出を行い前景抽出結果を生成し、
前記前景抽出結果を用いて、前景の状態を抽出し、
前記前景の状態と、予め用意された正解データとに基づいて、物体の識別モデルを選択する選択モデルを学習する学習方法。

（付記１４）
入力画像から前景抽出を行い前景抽出結果を生成し、
前記前景抽出結果を用いて、前景の状態を抽出し、
前記前景の状態と、予め用意された正解データとに基づいて、物体の識別モデルを選択する選択モデルを学習する処理をコンピュータに実行させるプログラムを記録した記録媒体。

以上、実施形態及び実施例を参照して本発明を説明したが、本発明は上記実施形態及び実施例に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

２１、７１ 前景抽出部
２２、７２ 状態抽出部
２３ 識別モデル選択部
２４ 識別部
２５、７４ 前景抽出モデル記憶部
２６、７５ 選択モデル記憶部
２７ 識別モデル記憶部
５１ 特徴抽出器
６１ 尤度推定器
７３ 選択モデル学習部
７６ 学習部

Claims (10)

1. 入力画像から前景抽出を行い前景抽出結果を生成する前景抽出手段と、
   前記前景抽出結果に基づいて、各前景についての、移動軌跡特徴、面積変動特徴及び見え特徴を含む状態を抽出する状態抽出手段と、
   前記状態を入力し、識別モデルのそれぞれについて、その識別モデルを選択する尤度を出力する前記選択モデルであって、学習用の入力画像に含まれる前景毎に、その前景を識別するのに適した識別モデルを示す値である正解データに基づき学習済みの選択モデルを用いて、抽出された前記状態に基づいて１又は複数の識別モデルを選択する識別モデル選択手段と、
   選択された識別モデルを用いて、前記入力画像に含まれる移動物体を識別する識別手段と、
   を備える物体識別装置。
2. 前記前景抽出手段は、前記入力画像の所定数のフレームについて前記前景抽出結果を生成し、
   前記状態抽出手段は、前記所定数のフレームにおける前記前景抽出結果を用いて前記前景の状態を抽出する請求項１に記載の物体識別装置。
3. 前記状態抽出手段は、前記所定数のフレームに含まれる前景の見え特徴を抽出し、前記前景の状態として出力する請求項２に記載の物体識別装置。
4. 前記状態抽出手段は、前記所定数のフレームの各々から同一の前景に対応する前景領域を抽出し、前記所定数の前景領域から抽出した特徴ベクトルを前記見え特徴として出力する請求項３に記載の物体識別装置。
5. 前記状態抽出部は、前記所定数のフレームにおける同一の前景の移動軌跡特徴を抽出し、前記前景の状態として出力する請求項２乃至４のいずれか一項に記載の物体識別装置。
6. 入力画像から前景抽出を行い前景抽出結果を生成し、
   前記前景抽出結果に基づいて、各前景についての、移動軌跡特徴、面積変動特徴及び見え特徴を含む状態を抽出し、
   前記状態を入力し、識別モデルのそれぞれについて、その識別モデルを選択する尤度を出力する前記選択モデルであって、学習用の入力画像に含まれる前景毎に、その前景を識別するのに適した識別モデルを示す値である正解データに基づき学習済みの選択モデルを用いて、抽出された前記状態に基づいて１又は複数の識別モデルを選択し、
   選択された識別モデルを用いて、前記入力画像に含まれる移動物体を識別する物体識別方法。
7. 入力画像から前景抽出を行い前景抽出結果を生成し、
   前記前景抽出結果に基づいて、各前景についての、移動軌跡特徴、面積変動特徴及び見え特徴を含む状態を抽出し、
   前記状態を入力し、識別モデルのそれぞれについて、その識別モデルを選択する尤度を出力する前記選択モデルであって、学習用の入力画像に含まれる前景毎に、その前景を識別するのに適した識別モデルを示す値である正解データに基づき学習済みの選択モデルを用いて、抽出された前記状態に基づいて１又は複数の識別モデルを選択し、
   選択された識別モデルを用いて、前記入力画像に含まれる移動物体を識別する処理をコンピュータに実行させるプログラム。
8. 入力画像から前景抽出を行い前景抽出結果を生成する前景抽出手段と、
   前記前景抽出結果を用いて、各前景についての、移動軌跡特徴、面積変動特徴及び見え特徴を含む状態を抽出する状態抽出手段と、
   前記状態を入力し、識別モデルのそれぞれについて、その識別モデルを選択する尤度を出力する選択モデルを、学習用の入力画像に含まれる前景毎に、その前景を識別するのに適した識別モデルを示す値である正解データに基づき学習する学習手段と、
   を備える学習装置。
9. 入力画像から前景抽出を行い前景抽出結果を生成し、
   前記前景抽出結果を用いて、各前景についての、移動軌跡特徴、面積変動特徴及び見え特徴を含む状態を抽出し、
   前記状態を入力し、識別モデルのそれぞれについて、その識別モデルを選択する尤度を出力する選択モデルを、学習用の入力画像に含まれる前景毎に、その前景を識別するのに適した識別モデルを示す値である正解データに基づき学習する学習方法。
10. 入力画像から前景抽出を行い前景抽出結果を生成し、
    前記前景抽出結果を用いて、各前景についての、移動軌跡特徴、面積変動特徴及び見え特徴を含む前景の状態を抽出し、
    前記状態を入力し、識別モデルのそれぞれについて、その識別モデルを選択する尤度を出力する選択モデルを、学習用の入力画像に含まれる前景毎に、その前景を識別するのに適した識別モデルを示す値である正解データに基づき学習する処理をコンピュータに実行させるプログラム。

Images