JP7331949B2 - 画像処理装置、画像処理方法、学習装置、学習方法、及び、プログラム - Google Patents

Description

本発明は、画像に含まれる物体を認識する技術に関する。

近年、様々な用途にドローンが利用されている。ドローンの利用が普及すると、ドローンの航空管制が必要になると考えられる。例えば、地上に設置したカメラにより撮影した映像を用いて、管理対象となるドローンの周辺を監視することが必要となる。具体的に、ドローンの航空管制業務では、撮影画像に基づいて小さな移動物体を検出し、鳥や管理対象以外のドローンなどの制御不可能な物体を識別し、管理対象のドローンを即座に制御して自動的に衝突回避を行う必要がある。このため、管理対象のドローンの付近における飛行物体の種類を識別する必要がある。

特許文献１及び２は、撮影画像中の対象物の移動軌跡に基づいて、物体を認識、識別する手法を記載している。

国際公開ＷＯ２００９／１０２００１号公報 特開２００２－１５７５９９号公報

認識対象が鳥などの小さな移動物体である場合、その中心位置を正確に推定することが難しい。上記の特許文献のように対象物の移動軌跡に基づいて物体の認識、識別を行う手法においては、対象物の中心位置の推定が不安定、不正確になると、物体の識別が困難となる。

本発明の１つの目的は、画像に含まれる移動物体の中心位置を正確に推定することにある。

本発明の一つの観点では、画像処理装置は、
入力画像から前景を抽出し、前景抽出結果を生成する前景抽出手段と、
前記前景抽出結果に基づいて前景を追跡し、前記前景の移動軌跡特徴を抽出する移動軌跡特徴抽出手段と、
前記前景の時間的な面積変動を示す面積変動特徴を抽出する面積変動特徴抽出手段と、
正解データに基づき学習済みの前景中心推定モデルに前記移動軌跡特徴と前記面積変動特徴とを入力し、前記前景の中心を推定する前景中心推定手段と、
を備える。

本発明の他の観点では、画像処理方法は、
入力画像から前景を抽出し、前景抽出結果を生成し、
前記前景抽出結果に基づいて前景を追跡し、前記前景の移動軌跡特徴を抽出し、
前記前景の時間的な面積変動を示す面積変動特徴を抽出し、
正解データに基づき学習済みの前景中心推定モデルに前記移動軌跡特徴と前記面積変動特徴とを入力し、前記前景の中心を推定する。

本発明の他の観点では、プログラムは、
入力画像から前景を抽出し、前景抽出結果を生成し、
前記前景抽出結果に基づいて前景を追跡し、前記前景の移動軌跡特徴を抽出し、
前記前景の時間的な面積変動を示す面積変動特徴を抽出し、
正解データに基づき学習済みの前景中心推定モデルに前記移動軌跡特徴と前記面積変動特徴とを入力し、前記前景の中心を推定する処理をコンピュータに実行させる。

本発明の他の観点では、学習装置は、
入力画像から前景を抽出し、前景抽出結果を生成する前景抽出手段と、
前記前景抽出結果に基づいて前景を追跡し、前記前景の移動軌跡特徴を抽出する移動軌跡特徴抽出手段と、
前記前景の時間的な面積変動を示す面積変動特徴を抽出する面積変動特徴抽出手段と、
前記移動軌跡特徴と前記面積変動特徴とを入力し前記前景の中心を推定する前景中心推定モデルを正解データを用いて学習する。

本発明の他の観点では、学習方法は、
入力画像から前景を抽出し、前景抽出結果を生成し、
前記前景抽出結果に基づいて前景を追跡し、前記前景の移動軌跡特徴を抽出し、
前記前景の時間的な面積変動を示す面積変動特徴を抽出し、
前記移動軌跡特徴と前記面積変動特徴とを入力し前記前景の中心を推定する前景中心推定モデルを正解データを用いて学習する。

本発明の他の観点では、プログラムは、
入力画像から前景を抽出し、前景抽出結果を生成し、
前記前景抽出結果に基づいて前景を追跡し、前記前景の移動軌跡特徴を抽出し、
前記前景の時間的な面積変動を示す面積変動特徴を抽出し、
前記移動軌跡特徴と前記面積変動特徴とを入力し前記前景の中心を推定する前景中心推定モデルを正解データを用いて学習する処理をコンピュータに実行させる。

本発明によれば、画像に含まれる移動物体の中心位置を正確に推定することができる。

第１実施形態に係る画像処理装置のハードウェア構成を示す。 第１実施形態に係る画像処理装置の機能構成を示す。 前景抽出方法の一例を説明する図である。 移動軌跡特徴及び面積変動特徴の抽出方法を説明する図である。 前景中心推定部の構成の一例を示す。 中心推定処理のフローチャートである。 前景中心推定モデル学習装置の構成を示す。 モデル学習部の構成の一例を示す。 前景中心推定モデルの学習処理のフローチャートである。 第２実施形態に係る画像処理装置及び学習装置の構成を示す。

以下、図面を参照して、本発明の好適な実施形態について説明する。
撮影画像中の移動物体を認識する場合、移動物体のサイズが小さいと、撮影画像における移動物体の中心位置の推定に誤差が生じやすい。以下の実施形態では、撮影画像における移動物体を前景として抽出し、前景の移動軌跡の特徴と面積の特徴を用いて、前景の中心位置を正確に推定する。

［第１実施形態］
（ハードウェア構成）
図１は、第１実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。図示のように、画像処理装置１００は、入力ＩＦ（ＩｎｔｅｒＦａｃｅ）１２と、プロセッサ１３と、メモリ１４と、記録媒体１５と、データベース（ＤＢ）１６と、を備える。

入力ＩＦ１２は、画像処理装置１００が処理の対象とする入力画像を取得する。例えば、地上に設置されたカメラにより、空を飛行する移動物体を撮影した画像が入力ＩＦ１２を通じて入力される。プロセッサ１３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのコンピュータであり、予め用意されたプログラムを実行することにより、画像処理装置１００の全体を制御する。具体的に、プロセッサ１３は、後述する学習処理及び中心推定処理を実行する。

メモリ１４は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより構成される。メモリ１４は、プロセッサ１３により実行される各種のプログラムを記憶する。また、メモリ１４は、プロセッサ１３による各種の処理の実行中に作業メモリとしても使用される。

記録媒体１５は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、画像処理装置１００に対して着脱可能に構成される。記録媒体１５は、プロセッサ１３が実行する各種のプログラムを記録している。画像処理装置１００が各種の処理を実行する際には、記録媒体１５に記録されているプログラムがメモリ１４にロードされ、プロセッサ１３により実行される。

データベース１６は、外部装置から入力されるデータを記憶する。具体的には、画像処理装置１００が処理の対象とする入力画像が記憶される。なお、上記に加えて、画像処理装置１００は、ユーザが指示や入力を行うためのキーボード、マウスなどの入力機器や、表示部を備えていても良い。

（機能構成）
図２は、第１実施形態に係る画像処理装置１００の機能構成を示すブロック図である。図示のように、画像処理装置１００は、前景抽出部２１と、移動軌跡特徴抽出部２２と、面積変動特徴抽出部２３と、前景中心推定部２４と、前景抽出モデル記憶部２５と、前景中心推定モデル記憶部２６と、を備える。

前景抽出部２１は、入力画像から前景を抽出する。前景は、入力画像における背景以外の箇所であり、識別の対象となる移動物体に対応する領域である。前景抽出モデル記憶部２５は、入力画像から前景を抽出するための複数の前景抽出モデルを記憶している。前景抽出モデルは、例えば背景差分手法などを用いたモデルである。前景抽出部２１は、前景抽出モデル記憶部２５から前景抽出モデルを取得し、入力画像から前景を抽出する。

図３は、前景抽出方法の一例を説明する図である。前景抽出部２１は、入力画像に対して複数の前景抽出モデルを適用して前景抽出結果を得る。図３の例では、前景抽出部２１は入力画像に対して前景抽出モデルＭ１～Ｍ３を適用し、得られた前景抽出結果３１～３３をに対して投票を行って前景抽出結果を出力する。ここでの投票は過半数による。即ち、前景抽出部２１は、前景抽出結果３１～３３の過半数に含まれる前景を前景抽出結果に含める。図３の例では、前景抽出結果３１～３３の全てに含まれる三角形の前景ＦＧ１と、前景抽出結果３１及び３２に含まれる円形（円及び楕円）の前景ＦＧ２とが抽出され、移動軌跡特徴抽出部２２に出力される。

移動軌跡特徴抽出部２２は、前景抽出結果に基づいて、各前景の移動軌跡の特徴である移動軌跡特徴を抽出する。具体的に、移動軌跡特徴抽出部２２は、まず入力画像の隣接する複数（Ｎ個）のフレームに対する前景抽出結果に含まれる前景の中心位置を算出し、前景を追跡する。ここでは、前景の中心位置は、抽出された前景の形状に基づいて算出される。なお、後述する前景中心推定部２４が推定する前景の中心を最終的な前景の中心とすると、ここで算出される前景の中心は仮の中心となる。

図４（Ａ）は、前景の追跡を説明する図である。この例では、３フレームを用いている。移動軌跡特徴抽出部２２は、第１～第３フレームについて得られた前景抽出結果４１～４３において、同一の前景を追跡する。図４（Ａ）の例では、移動軌跡特徴抽出部２２は、各前景抽出結果４１～４３において三角形の前景ＦＧ１を追跡し、各フレームにおける前景ＦＧ１の対応関係を生成する。なお、移動軌跡特徴抽出部２２は、同様に円形の前景ＦＧ２も追跡する。

次に、移動軌跡特徴抽出部２２は、前景の追跡結果に基づいて、移動軌跡特徴を抽出する。具体的には、移動軌跡特徴抽出部２２は、各フレームにおける前景の中心の座標、及び、隣接フレーム間の前景の中心の移動量を取得する。なお、ここでの前景の中心は、前述の仮の中心に相当する。図４（Ａ）の例では、移動軌跡特徴抽出部２２は、各フレームにおける前景ＦＧ１の中心の座標Ｘ１１、Ｘ２１、Ｘ３１と、第１フレームと第２フレームとの間の前景ＦＧ１の中心の移動量ｄ１２と、第２フレームと第３フレームとの間の前景ＦＧ１の中心の移動量ｄ２３とを取得する。そして、移動軌跡特徴抽出部２２は、以下の移動軌跡特徴を生成する。
移動軌跡特徴：Ｔ１＝｛Ｘ１１，Ｘ２１，Ｘ３１，ｄ１２，ｄ２３｝
なお、移動軌跡特徴抽出部２２は、同様に前景ＦＧ２の移動軌跡特徴Ｔ２も生成する。得られた移動軌跡特徴は、面積変動特徴抽出部２３及び前景中心推定部２４に出力される。

面積変動特徴抽出部２３は、移動軌跡特徴を用いて面積変動特徴を抽出する。面積変動特徴は、隣接するフレーム間における前景の面積の時間的な変動を示す。図４（Ｂ）は、面積変動特徴の抽出方法を説明する図である。面積変動特徴抽出部２３は、第１フレーム～第３フレームの前景抽出結果４１～４３における前景の面積を算出し、面積変動特徴を以下のように求める。
面積変動特徴：Ａｒｅａ１＝｛Ｒ１２，Ｒ２３｝
ここで、「Ｒ」は前景の面積変動を示し、「Ｒ１２」はある前景の第１フレームでの面積と第２フレームでの面積の比を示す。例えば、前景ＦＧ１の第１フレームでの面積をＳ１、第２フレームでの面積をＳ２とすると、Ｒ＝Ｓ１／Ｓ２となる。なお、代わりにＲ＝Ｓ２／Ｓ１としてもよい。こうして、面積変動特徴抽出部２３は、前景抽出結果に含まれる全ての前景について面積変動特徴Ａｒｅａを抽出し、前景中心推定部２４に出力する。

前景中心推定部２４は、前景の移動軌跡特徴と面積変動特徴とを用いて、前景の中心を推定する。具体的に、前景中心推定部２４は、前景中心推定モデルを用いて前景の中心を推定する。前景中心推定モデルは、前景中心推定モデル記憶部２６に記憶されている。前景中心推定部２４は、前景中心推定モデル記憶部２６から前景中心推定モデルを取得し、それを用いて前景の中心を推定する。なお、前景中心推定モデル記憶部２６には、予め学習済みの前景中心推定モデルが記憶されている。

図５（Ａ）は、前景中心推定部２４の構成の一例を示す。図示のように、前景中心推定部２４による前景の中心の推定時には、移動軌跡特徴抽出部２２が抽出した移動軌跡特徴Ｔ、及び、面積変動特徴抽出部２３が抽出した面積変動特徴Ａｒｅａが前景中心推定モデル５１に入力される。前景中心推定モデルとしては、ニューラルネットワークやＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）により構成される回帰モデルが用いられる。前景中心推定モデル５１は、入力された移動軌跡特徴Ｔ及び面積変動特徴Ａｒｅａを用いて前景の中心を推定し、推定結果として入力画像における前景の座標を出力する。

図５（Ｂ）は、前景中心推定モデルによる推定結果の例を示す。入力画像において前景ＦＧを囲む矩形をＲｅｃｔとすると、前景中心推定モデル５１は、前景ＦＧの中心の座標と、矩形Ｒｅｃｔの座標を出力する。具体的に、前景の中心の座標は（Ｘ＿ｃｅｎｔｅｒ，Ｙ＿ｃｅｎｔｅｒ）により示される。また、矩形Ｒｅｃｔの座標は、矩形Ｒｅｃｔの左上の点の座標（Ｒｅｃｔ＿ｔｏｐｘ，Ｒｅｃｔ＿ｔｏｐｙ）と、右下の点の座標（Ｒｅｃｔ＿ｄｏｗｎｘ，Ｒｅｃｔ＿ｄｏｗｎｙ）により示される。前景中心推定部２４は、推定結果としてこれらの座標を出力する。

このように、本実施形態では、入力画像から算出された前景の移動軌跡特徴と面積変動特徴を用いて前景の中心を推定するので、前景の中心位置を正確に推定することが可能となる。

（中心推定処理）
図６は、画像処理装置１００による中心推定処理のフローチャートである。この処理は、図１に示すプロセッサ１３が予め用意されたプログラムを実行し、図２に示す各要素として動作することにより実現される。

まず、前景抽出部２１は、入力画像の複数のフレームから前景を抽出する（ステップＳ１１）。具体的に、前景抽出部２１は、複数（Ｎ個）の前景抽出モデルを取得して前景を抽出し、各前景抽出モデルにより抽出された前景に対して前述の投票を行って前景を抽出する。前景抽出結果は移動軌跡特徴抽出部２２に入力される。

次に、移動軌跡特徴抽出部２２は、Ｎ個のフレームの前景抽出結果に含まれる前景の中心位置を算出し（ステップＳ１２）、中心位置を追跡して各前景の移動軌跡特徴Ｔを抽出する（ステップＳ１３）。抽出された移動軌跡特徴は面積変動特徴抽出部２３及び前景中心推定部２４に出力される。次に、面積変動特徴抽出部２３は、各前景の移動軌跡特徴と面積とを用いて面積変動特徴Ａｒｅａを抽出する（ステップＳ１４）。抽出された面積変動特徴は、前景中心推定部２４に出力される。そして、前景中心推定部２４は、前景中心推定モデルを使用し、移動軌跡特徴Ｔと面積変動特徴Ａｒｅａから前景の中心を推定し、推定結果を出力する（ステップＳ１５）。

次に、画像処理装置１００は、入力画像に残りのフレームがあるか否かを判定する（ステップＳ１６）。残りのフレームがある場合（ステップＳ１６：Ｙｅｓ）、処理はステップＳ１１へ戻り、次のフレームセットについてステップＳ１１～Ｓ１６の処理を行う。例えば、前述のように隣接する３フレームを用いて物体識別を行う場合、画像処理装置１００は、最初に第１～第３フレームを１つのフレームセットとしてステップＳ１１～Ｓ１６の処理を行い、次にはフレームを１つシフトして第２～第４フレームを１つのフレームセットとしてステップＳ１１～Ｓ１６の処理を行う。一方、残りのフレームがない場合（ステップＳ１６：Ｎｏ）、処理は終了する。

（前景中心推定モデルの学習）
次に、前景中心推定モデルの学習について説明する。前述の画像処理装置１００においては、既に学習済みの前景中心推定モデルが前景中心推定モデル記憶部２６に記憶されており、前景中心推定部２４は、その前景中心推定モデルを用いて前景の中心を推定する。以下、前景中心推定モデルの学習について説明する。

図７は、前景中心推定モデル学習装置２００の構成を示すブロック図である。前景中心推定モデル学習装置２００は、前景抽出部６１と、移動軌跡特徴抽出部６２と、面積変動特徴抽出部６３と、モデル学習部６４と、前景抽出モデル記憶部６５と、前景中心推定モデル記憶部６６と、を備える。なお、前景抽出部６１、移動軌跡特徴抽出部６２、面積変動特徴抽出部６３、前景抽出モデル記憶部６５は、図２に示す画像処理装置１００の前景抽出部２１、移動軌跡特徴抽出部２２、面積変動特徴抽出部２３、前景抽出モデル記憶部２５と基本的に同一であり、同様に動作する。なお、前景抽出部６１には、学習用入力画像が入力される。

前景抽出部６１は、学習用入力画像から前景を抽出し、移動軌跡特徴抽出部６２に出力する。移動軌跡特徴抽出部６２は、抽出された前景から移動軌跡特徴を抽出し、面積変動特徴抽出部６３及びモデル学習部６４に出力する。面積変動特徴抽出部６３は、移動軌跡特徴と、前景の面積とを用いて面積変動特徴を抽出し、モデル学習部６４に出力する。

モデル学習部６４は、前景中心推定モデルを学習する。図８は、モデル学習部６４の構成を示すブロック図である。モデル学習部６４は、前景中心推定モデル５１と、学習部５２とを備える。前景中心推定モデル５１には、学習用入力画像から抽出された移動軌跡特徴と面積変動特徴が入力される。前景中心推定モデル５１は、入力された移動軌跡特徴及び面積変動特徴を用いて前景の中心を推定し、推定結果を出力する。一方、学習用入力画像については、正解データが用意されている。図８に示すように、学習データは、推定結果に対応するデータであり、学習用入力画像に含まれる前景毎に、その前景の中心座標、その前景を囲む矩形の左上の点及び右下の点の座標を含む。

学習部５２は、正解データと、前景中心推定モデル５１が出力した推定結果との差を各前景について算出してその総和を損失とし、損失が小さくなるように前景中心推定モデル５１を最適化する。そして、モデル学習部６４は、学習が終了した時点の前景中心推定モデル５１のパラメータを、学習済みの前景中心推定モデル５１として前景中心推定モデル記憶部２６に記憶する。

図９は、前景中心推定モデルの学習処理のフローチャートである。この処理は、図１に示すプロセッサ１３が、予め用意されたプログラムを実行し、図７に示す各要素として動作することにより実現される。

まず、前景抽出部６１は、入力画像の複数のフレームから前景を抽出する（ステップＳ２１）。前景抽出結果は移動軌跡特徴抽出部６２に入力される。次に、移動軌跡特徴抽出部６２は、Ｎ個のフレームの前景抽出結果に含まれる前景の中心位置を算出し（ステップＳ２２）、前景を追跡して各前景の移動軌跡特徴Ｔを抽出する（ステップＳ２３）。抽出された移動軌跡特徴は面積変動特徴抽出部６３及びモデル学習部６４に入力される。次に、面積変動特徴抽出部６３は、各前景の移動軌跡特徴と面積とを用いて面積変動特徴Ａｒｅａを抽出する（ステップＳ２４）。抽出された面積変動特徴は、モデル学習部６４に入力される。

モデル学習部６４は、移動軌跡特徴Ｔと面積変動特徴Ａｒｅａを用いて、前景の中心を推定する（ステップＳ２５）。次に、モデル学習部６４は、正解データと、前景中心推定モデルによる推定結果とから損失を算出し（ステップＳ２６）、損失が小さくなるように前景中心推定モデルを最適化する（ステップＳ２７）。

次に、前景中心推定モデル学習装置２００は、学習が終了したか、即ち、所定の終了条件が具備されたか否かを判定する（ステップＳ２８）。終了条件が具備されるまで、学習用の入力画像を用いてステップＳ２１～Ｓ２７が繰り返され、終了条件が具備されると（ステップＳ２８：Ｙｅｓ）、学習処理は終了する。

［第２実施形態］
図１０（Ａ）は、第２実施形態に係る画像処理装置の構成を示すブロック図である。画像処理装置８０は、前景抽出部８１と、移動軌跡特徴抽出部８２と、面積変動特徴抽出部８３と、前景中心推定部８４と、を備える。前景抽出部８１は、入力画像から前景を抽出し、前景抽出結果を生成する。移動軌跡特徴抽出部８２は、前景抽出結果に基づいて前景を追跡し、前景の移動軌跡特徴を抽出する。面積変動特徴抽出部８３は、前景の時間的な面積変動を示す面積変動特徴を抽出する。前景中心推定部８４は、移動軌跡特徴と面積変動特徴とを用いて、前景の中心を推定する。

図１０（Ｂ）は、第２実施形態に係る学習装置の構成を示すブロック図である。学習装置９０は、前景抽出部９１と、移動軌跡特徴抽出部９２と、面積変動特徴抽出部９３と、学習部９４と、を備える。前景抽出部９１は、入力画像から前景を抽出し、前景抽出結果を生成する。移動軌跡特徴抽出部９２は、前景抽出結果に基づいて前景を追跡し、前景の移動軌跡特徴を抽出する。面積変動特徴抽出部９３は、前景の時間的な面積変動を示す面積変動特徴を抽出する。学習部９４は、移動軌跡特徴と面積変動特徴とを用いて前景の中心を推定する前景中心推定モデルを学習する。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
入力画像から前景を抽出し、前景抽出結果を生成する前景抽出部と、
前記前景抽出結果に基づいて前景を追跡し、前記前景の移動軌跡特徴を抽出する移動軌跡特徴抽出部と、
前記前景の時間的な面積変動を示す面積変動特徴を抽出する面積変動特徴抽出部と、
前記移動軌跡特徴と前記面積変動特徴とを用いて、前記前景の中心を推定する前景中心推定部と、
を備える画像処理装置。

（付記２）
前記前景抽出部は、前記入力画像の所定数のフレームについて前記前景抽出結果を生成し、
前記移動軌跡特徴抽出部は、前記所定数のフレームにおける前記前景の仮の中心の移動を前記移動軌跡特徴として抽出する付記１に記載の画像処理装置。

（付記３）
前記移動軌跡特徴は、前記所定数のフレームの各々における前記前景の仮の中心の位置座標、及び、隣接するフレーム間における前記前景の仮の中心の移動量を含む付記２に記載の画像処理装置。

（付記４）
前記前景抽出部は、前記入力画像の所定数のフレームについて前記前景抽出結果を生成し、
前記面積変動特徴抽出部は、前記移動軌跡特徴と前記前景の面積とに基づいて、隣接するフレーム間における前記前景の面積の変動の比を前記面積変動特徴として抽出する付記１乃至３のいずれか一項に記載の画像処理装置。

（付記５）
前記前景中心推定部は、予め学習済みの前景中心推定モデルを用いて前記前景の中心を推定する付記１乃至４のいずれか一項に記載の画像処理装置。

（付記６）
前記前景中心推定モデルは、前記移動軌跡特徴及び前記面積変動特徴を入力とし、前記入力画像における前記前景の中心座標を出力するモデルである付記５に記載の画像処理装置。

（付記７）
前記前景中心推定モデルは、さらに前記入力画像における前記前景を囲む矩形の位置座標を出力するモデルである付記６に記載の画像処理装置。

（付記８）
入力画像から前景を抽出し、前景抽出結果を生成し、
前記前景抽出結果に基づいて前景を追跡し、前記前景の移動軌跡特徴を抽出し、
前記前景の時間的な面積変動を示す面積変動特徴を抽出し、
前記移動軌跡特徴と前記面積変動特徴とを用いて、前記前景の中心を推定する画像処理方法。

（付記９）
入力画像から前景を抽出し、前景抽出結果を生成し、
前記前景抽出結果に基づいて前景を追跡し、前記前景の移動軌跡特徴を抽出し、
前記前景の時間的な面積変動を示す面積変動特徴を抽出し、
前記移動軌跡特徴と前記面積変動特徴とを用いて、前記前景の中心を推定する処理をコンピュータに実行させるプログラムを記録した記録媒体。

（付記１０）
入力画像から前景を抽出し、前景抽出結果を生成する前景抽出部と、
前記前景抽出結果に基づいて前景を追跡し、前記前景の移動軌跡特徴を抽出する移動軌跡特徴抽出部と、
前記前景の時間的な面積変動を示す面積変動特徴を抽出する面積変動特徴抽出部と、
前記移動軌跡特徴と前記面積変動特徴とを用いて前記前景の中心を推定する前景中心推定モデルを学習する学習部と、
を備える学習装置。

（付記１１）
入力画像から前景を抽出し、前景抽出結果を生成し、
前記前景抽出結果に基づいて前景を追跡し、前記前景の移動軌跡特徴を抽出し、
前記前景の時間的な面積変動を示す面積変動特徴を抽出し、
前記移動軌跡特徴と前記面積変動特徴とを用いて前記前景の中心を推定する前景中心推定モデルを学習する学習方法。

（付記１２）
入力画像から前景を抽出し、前景抽出結果を生成し、
前記前景抽出結果に基づいて前景を追跡し、前記前景の移動軌跡特徴を抽出し、
前記前景の時間的な面積変動を示す面積変動特徴を抽出し、
前記移動軌跡特徴と前記面積変動特徴とを用いて前記前景の中心を推定する前景中心推定モデルを学習する処理をコンピュータに実行させるプログラムを記録した記録媒体。

以上、実施形態及び実施例を参照して本発明を説明したが、本発明は上記実施形態及び実施例に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

２１、６１、８１、９１ 前景抽出部
２２、６２、８２、９２ 移動軌跡特徴抽出部
２３、６３、８３、９３ 面積変動特徴抽出部
２４、８４ 前景中心推定部
２５、６５ 前景抽出モデル記憶部
２６、６６ 前景中心推定モデル記憶部
５１ 前景中心推定モデル
５２、９４ 学習部
６４ モデル学習部

Claims (9)

1. 入力画像から前景を抽出し、前景抽出結果を生成する前景抽出手段と、
   前記前景抽出結果に基づいて前景を追跡し、前記前景の移動軌跡特徴を抽出する移動軌跡特徴抽出手段と、
   前記前景の時間的な面積変動を示す面積変動特徴を抽出する面積変動特徴抽出手段と、
   正解データに基づき学習済みの前景中心推定モデルに前記移動軌跡特徴と前記面積変動特徴とを入力し、前記前景の中心を推定する前景中心推定手段と、
   を備える画像処理装置。
2. 前記前景抽出手段は、前記入力画像の所定数のフレームについて前記前景抽出結果を生成し、
   前記移動軌跡特徴抽出手段は、前記所定数のフレームにおける前記前景の仮の中心の移動を前記移動軌跡特徴として抽出する請求項１に記載の画像処理装置。
3. 前記移動軌跡特徴は、前記所定数のフレームの各々における前記前景の仮の中心の位置座標、及び、隣接するフレーム間における前記前景の仮の中心の移動量を含む請求項２に記載の画像処理装置。
4. 前記前景抽出手段は、前記入力画像の所定数のフレームについて前記前景抽出結果を生成し、
   前記面積変動特徴抽出手段は、前記移動軌跡特徴と前記前景の面積とに基づいて、隣接するフレーム間における前記前景の面積の変動の比を前記面積変動特徴として抽出する請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 入力画像から前景を抽出し、前景抽出結果を生成し、
   前記前景抽出結果に基づいて前景を追跡し、前記前景の移動軌跡特徴を抽出し、
   前記前景の時間的な面積変動を示す面積変動特徴を抽出し、
   正解データに基づき学習済みの前景中心推定モデルに前記移動軌跡特徴と前記面積変動特徴とを入力し、前記前景の中心を推定する画像処理方法。
6. 入力画像から前景を抽出し、前景抽出結果を生成し、
   前記前景抽出結果に基づいて前景を追跡し、前記前景の移動軌跡特徴を抽出し、
   前記前景の時間的な面積変動を示す面積変動特徴を抽出し、
   正解データに基づき学習済みの前景中心推定モデルに前記移動軌跡特徴と前記面積変動特徴とを入力し、前記前景の中心を推定する処理をコンピュータに実行させるプログラム。
7. 入力画像から前景を抽出し、前景抽出結果を生成する前景抽出手段と、
   前記前景抽出結果に基づいて前景を追跡し、前記前景の移動軌跡特徴を抽出する移動軌跡特徴抽出手段と、
   前記前景の時間的な面積変動を示す面積変動特徴を抽出する面積変動特徴抽出手段と、
   前記移動軌跡特徴と前記面積変動特徴とを入力し前記前景の中心を推定する前景中心推定モデルを正解データを用いて学習する学習手段と、
   を備える学習装置。
8. 入力画像から前景を抽出し、前景抽出結果を生成し、
   前記前景抽出結果に基づいて前景を追跡し、前記前景の移動軌跡特徴を抽出し、
   前記前景の時間的な面積変動を示す面積変動特徴を抽出し、
   前記移動軌跡特徴と前記面積変動特徴とを入力し前記前景の中心を推定する前景中心推定モデルを正解データを用いて学習する学習方法。
9. 入力画像から前景を抽出し、前景抽出結果を生成し、
   前記前景抽出結果に基づいて前景を追跡し、前記前景の移動軌跡特徴を抽出し、
   前記前景の時間的な面積変動を示す面積変動特徴を抽出し、
   前記移動軌跡特徴と前記面積変動特徴とを入力し前記前景の中心を推定する前景中心推定モデルを正解データを用いて学習する処理をコンピュータに実行させるプログラム。

Images