JP7347539B2

JP7347539B2 - 前景抽出装置、前景抽出方法、及び、プログラム

Info

Publication number: JP7347539B2
Application number: JP2021565178A
Authority: JP
Inventors: 秀昭佐藤; 恭太比嘉; 康敬馬場崎; 博義宮野
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2019-12-16
Filing date: 2019-12-16
Publication date: 2023-09-20
Anticipated expiration: 2039-12-16
Also published as: JPWO2021124417A1; US20230010199A1; WO2021124417A1

Description

本発明は、画像に含まれる物体を抽出する技術に関する。

近年、様々な用途にドローンが利用されている。ドローンの利用が普及すると、ドローンの航空管制が必要になると考えられる。例えば、地上に設置したカメラにより撮影した映像を用いて、管理対象となるドローンの周辺を監視することが必要となる。具体的に、ドローンの航空管制業務では、撮影画像に基づいて小さな移動物体を検出し、鳥や管理対象以外のドローンなどの制御不可能な物体を識別し、管理対象のドローンを即座に制御して自動的に衝突回避を行う必要がある。

特許文献１は、撮影画像に基づいて飛来物を抽出し、予め用意された飛行パターンと比較することにより、飛行物が鳥類であるか否かを判別する手法を記載している。

国際公開ＷＯ２００９／１０２００１号公報

上記の特許文献１は、飛来物の飛行パターンに基づいて飛来物を識別している。このため、飛来物の検出に失敗し、移動軌跡が取得できない場合には飛来物を識別することはできない。

本発明の１つの目的は、画像に含まれる移動物体を正確に抽出することにある。

本発明の一つの観点では、前景抽出装置は、
入力画像について、複数の前景抽出モデルを用いて前景抽出を行って前景抽出結果を生成する抽出結果生成手段と、
前記入力画像に基づいてトラッカーを生成し、前記トラッカーと前記前景抽出結果に含まれる前景との距離を算出し、前記距離を用いて時系列特徴を生成し、生成した時系列特徴に基づいて前景抽出モデルを選択する選択手段と、
選択された前景抽出モデルを用いて、前記入力画像から前景領域を抽出する前景領域生成手段と、を備える。

本発明の他の観点では、前景抽出方法は、
入力画像について、複数の前景抽出モデルを用いて前景抽出を行って前景抽出結果を生成し、
前記入力画像に基づいてトラッカーを生成し、前記トラッカーと前記前景抽出結果に含まれる前景との距離を算出し、前記距離を用いて時系列特徴を生成し、生成した時系列特徴に基づいて前景抽出モデルを選択し、
選択された前景抽出モデルを用いて、前記入力画像から前景領域を抽出する。

本発明の他の観点では、プログラムは、
入力画像について、複数の前景抽出モデルを用いて前景抽出を行って前景抽出結果を生成し、
前記入力画像に基づいてトラッカーを生成し、前記トラッカーと前記前景抽出結果に含まれる前景との距離を算出し、前記距離を用いて時系列特徴を生成し、生成した時系列特徴に基づいて前景抽出モデルを選択し、
選択された前景抽出モデルを用いて、前記入力画像から前景領域を抽出する処理をコンピュータに実行させる。

本発明によれば、画像に含まれる移動物体を正確に抽出することができる。

実施形態に係る前景抽出装置のハードウェア構成を示す。第１実施形態の第１実施例に係る前景抽出装置の機能構成を示す。トラッカーの生成方法を説明する図である。時系列情報の生成方法を説明する図である。時系列情報の例を示す。前景抽出装置による前景抽出処理のフローチャートである。複数フレームの画像を用いてトラッカーを生成する方法を示す。複数フレームの画像を用いてトラッカーを生成する方法を示す。第１実施形態の第２実施例に係る前景抽出装置の機能構成を示す。物体識別部による物体識別の方法を説明する図である。前景抽出装置による物体識別処理のフローチャートである。第２実施形態の第１実施例による前景抽出装置の機能構成を示す。第２実施形態の第１実施例における特徴ベクトルの抽出方法を示す。選択モデル学習部における学習方法を模式的に示す。前景抽出モデルを選択する例を示す。第２実施形態の第２実施例による選択モデルの学習方法を模式的に示す。第２実施形態の第２実施例の変形例による選択モデルの学習方法を模式的に示す。第３実施形態に係る前景抽出装置の機能構成を示す。

以下、図面を参照して、本発明の好適な実施形態について説明する。
＜基本概念＞
まず、実施形態に係る前景抽出手法の基本概念について説明する。空を撮影した画像から、飛行中の小さな移動物体（以下、「小移動物体」と呼ぶ。）やその領域を抽出する場合、背景差分手法が利用される。なお、画像に含まれる移動物体を「前景」とも呼ぶ。背景差分手法は連続するフレーム画像の差分に基づいて移動物体を検出する手法であり、様々な背景差分手法が知られている。しかし、それらの背景差分手法は、得意とする状況がそれぞれ異なり、１つの背景差分手法のみを用いて継続的に高精度で前景を抽出することは難しい。

そこで、以下の実施形態では、複数の前景抽出方法を用意し、個々の状況において適切な１つ又は複数の前景抽出方法を選択して前景抽出を行う。具体的には、連続するフレーム画像に対して複数の前景抽出方法を適用した結果を評価して適切な前景抽出方法を選択し、選択された前景抽出方法を用いて前景を抽出する。

＜第１実施形態＞
［ハードウェア構成］
図１は、第１実施形態に係る前景抽出装置のハードウェア構成を示すブロック図である。図示のように、前景抽出装置１００は、入力ＩＦ（ＩｎｔｅｒＦａｃｅ）１２と、プロセッサ１３と、メモリ１４と、記録媒体１５と、データベース（ＤＢ）１６と、を備える。

入力ＩＦ１２は、前景抽出装置１００が処理の対象とする入力画像を取得する。例えば、地上に設置されたカメラにより、空を飛行する移動物体を撮影した画像が入力ＩＦ１２を通じて入力される。プロセッサ１３は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）などのコンピュータであり、予め用意されたプログラムを実行することにより、前景抽出装置１００の全体を制御する。具体的に、プロセッサ１３は、後述する前景抽出処理を実行する。

メモリ１４は、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）などにより構成される。メモリ１４は、プロセッサ１３により実行される各種のプログラムを記憶する。また、メモリ１４は、プロセッサ１３による各種の処理の実行中に作業メモリとしても使用される。

記録媒体１５は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、前景抽出装置１００に対して着脱可能に構成される。記録媒体１５は、プロセッサ１３が実行する各種のプログラムを記録している。前景抽出装置１００が各種の処理を実行する際には、記録媒体１５に記録されているプログラムがメモリ１４にロードされ、プロセッサ１３により実行される。

データベース１６は、入力ＩＦ１２を含む外部装置から入力されるデータを記憶する。具体的には、前景抽出装置１００が処理の対象とする入力画像が記憶される。なお、上記に加えて、前景抽出装置１００は、ユーザが指示や入力を行うためのキーボード、マウスなどの入力機器や、表示部を備えていても良い。

［第１実施例］
次に、第１実施形態の第１実施例について説明する。
（機能構成）
図２は、第１実施形態の第１実施例に係る前景抽出装置１００の機能構成を示すブロック図である。図示のように、前景抽出装置１００は、時系列特徴生成部２１と、前景抽出モデル選択部２２と、前景領域生成部２３と、時系列情報記憶部２４と、分類モデル記憶部２５と、選択モデル記憶部２６と、前景抽出モデル記憶部２７と、を備える。

時系列特徴生成部２１には、複数のフレーム画像からなる入力画像が入力される。時系列特徴生成部２１は、入力画像から時系列特徴を生成し、前景抽出モデル選択部２２に供給する。「時系列特徴」とは、連続するフレーム画像における特徴であり、連続するフレームに含まれるトラッカーを用いて生成される。

ここで、まずトラッカーについて説明する。「トラッカー」とは、隣接するフレームにおいて検出され、相互に対応付けされた物体を指す。図３は、トラッカーの生成方法を説明する図である。いま、時系列特徴生成部２１は、前景抽出モデル記憶部２７から３つの前景抽出モデルＭ１～Ｍ３を取得し、使用するものとする。時系列特徴生成部２１は、図示の入力画像６１に対して前景抽出モデルＭ１～Ｍ３を適用して、前景抽出結果６２～６４を得る。時系列特徴生成部２１は、前景抽出結果６２～６４の投票を行い、過半数の前景抽出結果に含まれる物体をトラッカーと決定する。図３の例では、前景抽出結果６２～６４の過半数に含まれる物体（三角形）６５と物体（円形）６６がそれぞれトラッカーとして抽出される。

トラッカーが生成されると、時系列特徴生成部２１は、トラッカーを用いて時系列情報を生成する。時系列情報は、時系列特徴を抽出するために使用される情報である。図４は、時系列情報の生成方法を説明する図である。いま、連続するＮ－１フレームとＮフレームがあり、Ｎ－１フレームから前述のようにトラッカー６５、６６が抽出されているとする。時系列特徴生成部２１は、Ｎフレームの入力画像に対して前景抽出モデルＭ１～Ｍ３を適用して前景抽出結果６７～６９を生成する。図４の例では、前景抽出結果６７には、１つの三角形の前景６７ａと、１つの円形の前景６７ｂとが含まれている。前景抽出結果６８には、１つの三角形の前景と、１つの円形の前景と、３つの四角形の前景が含まれている。前景抽出結果６９には、１つの三角形の前景と、１つの四角形の前景が含まれている。時系列特徴生成部２１は、矢印で示すように、Ｎ－１フレームの各トラッカーと、Ｎフレームから各前景抽出モデルによって抽出された前景とのペアを作り、その対応関係を時系列情報として生成する。

図５は、時系列情報の例を示す。時系列情報は、前景抽出を行ったフレームの１つ前のフレームについて、「フレーム番号」、「トラッカー番号」、「座標値」を含む。図４の例では、時系列情報は、Ｎ－１フレームについて、２つのトラッカー６５、６６の番号と、それらの座標とを含んでいる。なお、ここではトラッカー６５の番号を「１」とし、トラッカー６６の番号を「２」とする。また、時系列情報は、前景抽出を行ったフレームについて、「フレーム番号」、「前景抽出モデル」、「前景ラベル」、「座標値」を含む。図４の例では、時系列情報は、前景抽出を行ったＮフレームについて、フレーム番号と、前景抽出モデルＭ１～Ｍ３のいずれかと、前景抽出結果６７～６９に含まれる各前景を識別する前景ラベルと、その前景の座標値とを含んでいる。なお、図５に示すように、座標値は、トラッカー又は前景を囲む矩形の左上と右下の点の座標により示される。

次に、時系列特徴生成部２１は、時系列情報を用いて時系列特徴を生成する。時系列特徴生成部２１は、まず、図４の矢印で示すように、Ｎ－１フレームで生成されたトラッカー６５と、前景抽出結果６７～６９に含まれる前景の各々との距離を算出する。具体的に、時系列特徴生成部２１は、Ｎ－１フレームにおけるトラッカー６５の座標と、Ｎフレームの前景抽出結果６７における三角形の前景６７ａの座標とに基づいて、トラッカー６５と前景６７ａとの距離を算出する。同様に、時系列特徴生成部２１は、トラッカー６５と、前景抽出結果６７～６９に含まれる前景それぞれとの距離を算出する。さらに、時系列特徴生成部２１は、Ｎ－１フレームで生成された他のトラッカーについても、前景抽出結果６７～６９に含まれる前景のそれぞれとの距離を算出する。図４の例では、時系列特徴生成部２１は、トラッカー６６と、前景抽出結果６７～６９に含まれる前景それぞれとの距離を算出する。

さらに、時系列特徴生成部２１は、図２に示す分類モデル記憶部２５から分類モデルを取得し、分類モデルを用いてＮフレームの前景抽出結果６７～６９に含まれる前景のそれぞれについて前景度を算出する。なお、分類モデルは、入力された前景の形状に基づいて、その前景の前景度（前景らしさのスコア）を出力するモデルである。

こうして、Ｎフレームの前景抽出結果６７～６９に含まれる前景のそれぞれについて、トラッカーとの距離、及び、前景度が得られると、時系列特徴生成部２１は、以下の式（１）を用いて、各前景抽出モデルについてのスコアＦ_（ｉ）を時系列特徴として算出する。

ここで、「ｔ」はトラッカー番号である。「ｉ」は前景抽出モデルを示し、「ｃ」は前景抽出モデルにより抽出された前景のラベルである。また、「ｄ（ｔ，ｃ）」はトラッカーｔと前景ｃとの距離であり、「ｐ（ｉ，ｃ）」は前景抽出モデルｉにより抽出された前景ｃの前景度を示す。「ｎ（Ｔ）」は、トラッカーの数を示す。よって、スコアＦ_（ｉ）は、ある前景抽出モデルｉについて、トラッカーｔと前景ｃとの距離ｄ（ｔ、ｃ）を、前景ｃの前景度ｐ（ｉ，ｃ）で除算した値を全てのトラッカーｔ及び前景ｃについて合計し、その値をトラッカーの数ｎ（Ｔ）で除算したものとなる。図４の例では、時系列特徴生成部２１は、３つの前景抽出モデルＭ１～Ｍ３について、それぞれスコアＦ_（１）～Ｆ_（３）を算出し、時系列特徴として前景抽出モデル選択部２２に供給する。

ここで、スコアＦ_（ｉ）は、その値が小さいほど、前景を抽出する精度が高いことを示している。その理由は以下の通りである。まず、式（１）では、トラッカーと前景との距離ｄ（ｔ，ｃ）が大きいほどスコアＦ_（ｉ）は大きくなる。実際の小移動物体は、隣接するフレーム間での移動量は小さいので、距離ｄ（ｔ，ｃ）が大きいほどその前景はノイズである可能性が高くなり、距離ｄ（ｔ，ｃ）が小さいほどその前景が小移動物体である可能性が高くなる。また、式（１）では、距離ｄ（ｔ、ｃ）を前景度ｐ（ｉ，ｃ）で除算しているので、抽出された前景の前景度（前景らしさ）が高いほど、スコアＦ_（ｉ）は小さくなる。よって、スコアＦ_（ｉ）が小さいほど、その前景抽出モデルの精度が高いことを示す。

前景抽出モデル選択部２２は、供給された時系列特徴、即ち、各前景抽出モデルのスコアＦ_（ｉ）に基づいて、複数の前景抽出モデルから、１又は複数の前景抽出モデルを選択する。典型的な例では、前景抽出モデル選択部２２は、複数の前景抽出モデルのうち、スコアＦ_（ｉ）が最小である１つの前景抽出モデルを選択する。別の例では、前景抽出モデル選択部２２は、スコアＦ_（ｉ）が小さい方から所定数の前景抽出モデルを選択し、それらを組み合わせて使用してもよい。

前景領域生成部２３は、前景抽出モデル選択部２２が選択した前景抽出モデルを用いて、入力画像から前景の領域（「前景領域」と呼ぶ。）を抽出し、出力する。例えば、前景抽出モデル選択部２２が、スコアＦ_（ｉ）の最も小さい１つの前景抽出モデルを選択した場合、前景領域生成部２３は、その前景抽出モデルを前景抽出モデル記憶部２７から取得し、入力画像に適用して前景領域を抽出し、出力する。一方、前景抽出モデル選択部２２が複数の前景抽出モデルを選択した場合、前景領域生成部２３は、それらの前景抽出モデルを用いて生成した前景抽出結果に対して前述の投票を実施し、過半数を超える前景領域を前景領域として出力してもよい。

（前景抽出処理）
図６は、前景抽出装置１００による前景抽出処理のフローチャートである。この処理は、図１に示すプロセッサ１３が、予め用意されたプログラムを実行し、図２に示す各要素として動作することにより実現される。

まず、時系列特徴生成部２１は、複数の前景抽出モデルを用いて、入力画像の複数のフレームから前景抽出を行い、前景抽出結果を生成する（ステップＳ１１）。次に、時系列特徴生成部２１は、トラッカーが存在するか否かを判定する（ステップＳ１２）。トラッカーが存在しない場合（ステップＳ１２：Ｎｏ）、時系列特徴生成部２１は、前述の方法でトラッカーを生成する（ステップＳ１３）。

トラッカーが存在する場合（ステップＳ１２：Ｙｅｓ）、時系列特徴生成部２１は、複数の前景抽出結果から、前景抽出モデル毎に時系列特徴を生成する（ステップＳ１４）。この時系列特徴は、各前景抽出モデルのスコアＦ_（ｉ）である。次に、前景抽出モデル選択部２２は、各前景抽出モデルのスコアＦ_（ｉ）に基づいて前景抽出モデルを選択する（ステップＳ１５）。そして、前景領域生成部２３は、選択された前景抽出モデルを用いて、前景領域を生成する（ステップＳ１６）。

次に、入力画像に残りのフレームがあるか否かが判定される（ステップＳ１７）。残りのフレームがある場合（ステップＳ１７：Ｙｅｓ）、処理はステップＳ１１へ戻る。一方、残りのフレームがない場合（ステップＳ１７：Ｎｏ）、処理は終了する。

（トラッカー生成方法の変形例）
図３を参照して説明したトラッカー生成方法では、１フレームの画像からトラッカーを生成している。その代わりに、複数フレームの画像を用いてトラッカーを生成してもよい。図７及び図８は、複数フレームの画像を用いてトラッカーを生成する方法を示す。図７に示すように、時系列特徴生成部２１は、まず、第１フレームから第３フレームのそれぞれにおいて前述の方法でトラッカーを生成する。次に、図８（Ａ）に示すように、各フレームのトラッカーを次のフレームの全てのトラッカーと接続する。そして、時系列特徴生成部２１は、各接続により示されるトラッカーのペアから、画像上の移動距離及び前景度に基づいて最適な接続を選択する。図８（Ｂ）の例では、画像上の移動距離及び前景度に基づいて、接続９１、９２により三角形のトラッカーが生成され、接続９３、９４により円形のトラッカーが生成されている。

［第２実施例］
次に、第１実施形態の第２実施例について説明する。第１実施例の前景抽出装置１００は適切な前景抽出モデルを選択し、それを用いて前景領域を生成し、出力している。第２実施例の前景抽出装置１００ｘは、生成した前景領域を用いて、さらに前景に対応する物体の識別を行う。

（機能構成）
図９は、第１実施形態の第２実施例に係る前景抽出装置１００ｘの機能構成を示すブロック図である。図２と比較すると理解されるように、第２実施例に係る前景抽出装置１００ｘは、第１実施例に係る前景抽出装置１００の構成に加えて、時系列特徴計算部３１と、物体識別部３２と、物体識別モデル記憶部３４とを備える。また、第１実施例の分類モデル記憶部２５の代わりに、前景識別モデル記憶部３３が設けられる。

時系列特徴生成部２１は、第１実施例と同様に、入力画像に基づいて時系列特徴を抽出する。但し、時系列特徴生成部２１は、第１実施例における分類モデルの代わりに、前景識別モデル記憶部３３から前景識別モデルを取得し、その前景識別モデルを用いて前景度を算出する。なお、前景識別モデルは、入力された前景の形状に基づいて、その前景が識別対象の物体である確率を示す前景度（スコア）を出力するモデルである。

前景抽出モデル選択部２２と前景領域生成部２３は、第１実施例と同様に動作する。時系列特徴計算部３１は、前景領域生成部２３が出力した前景領域について、新たに時系列特徴を計算する。具体的には、時系列特徴計算部３１は、前景領域生成部２３が生成した前景領域について、前述の式（１）を用いて時系列特徴としてのスコアＦを算出する。この際、時系列特徴計算部３１は、前景抽出モデル２２が選択した前景抽出モデルについてのスコアＦを算出すればよい。

物体識別部３２は、物体識別モデル記憶部３４から物体識別モデルを取得し、それを用いて物体を識別する。具体的には、物体識別部３２は、物体識別モデルを用いて、複数のフレームにおいて抽出された前景領域と、各フレームについて算出された時系列特徴とに基づいて物体を識別する。図１０は、物体識別部３２による物体識別の方法を説明する図である。図１０の例では、物体識別部３２は、連続する３フレームの画像を用いて物体識別を行うものとする。この場合、物体識別部３２は、第１～第３フレームの画像に含まれる前景領域と、第１及び第２フレームに含まれる前景領域に基づいて計算された時系列特徴（スコアＦ２）と、第２及び第３フレームに含まれる前景領域に基づいて計算された時系列特徴（スコアＦ３）とに基づいて、物体の識別を行う。そして、物体識別部３２は、物体識別結果を出力する。

（物体識別処理）
図１１は、前景抽出装置１００ｘによる物体識別処理のフローチャートである。この処理は、図１に示すプロセッサ１３が、予め用意されたプログラムを実行し、図２に示す各要素として動作することにより実現される。ここで、図１１に示す物体識別処理のステップＳ２１～Ｓ２６は、図６に示す前景抽出処理のステップＳ１１～Ｓ１６と同様であるので、説明を省略する。

ステップＳ２６において、選択モデルにより選択された前景抽出モデルを用いて前景領域が生成されると、時系列特徴計算部３１は、生成された前景領域について時系列特徴を生成する（ステップＳ２７）。そして、物体識別部３２は、複数フレームの画像における前景領域と、生成された時系列特徴とに基づいて、前景領域に対応する物体を識別し、物体識別結果を出力する（ステップＳ２８）。この際、所定の物体として識別されなかった前景は、ノイズとして除去される。

次に、入力画像に残りのフレームがあるか否かが判定される（ステップＳ２９）。残りのフレームがある場合（ステップＳ２９：Ｙｅｓ）、処理はステップＳ２１へ戻る。一方、残りのフレームがない場合（ステップＳ２９：Ｎｏ）、処理は終了する。

以上のように、第１実施形態の第２実施例によれば、適切な前景抽出モデルを使用して前景領域を抽出した後、その前景領域に対応する物体の識別まで行うことができる。また、物体を識別することにより、所定の物体以外の前景領域をノイズとして除去することができる。

＜第２実施形態＞
次に、本発明の第２実施形態について説明する。第１実施形態では、入力画像から時系列特徴を生成し、これを用いて適切な前景抽出モデルを選択している。これに対し、第２実施形態では、入力画像とその正解データを用いて、前景抽出モデルを選択する選択モデルを学習する。そして、学習済の選択モデルを用いて、複数の前景選択モデルから適切な前景選択モデルを選択する。なお、第２実施形態による前景抽出装置のハードウェア構成は第１実施形態と同様であるので、説明を省略する。

［第１実施例］
（機能構成）
図１２（Ａ）は、第２実施形態の第１実施例による、学習時の前景抽出装置２００の機能構成を示すブロック図である。学習時の前景抽出装置２００は、選択モデル学習部４１と、選択モデル記憶部４２と、正解データ記憶部４３とを備える。

選択モデル記憶部４２は、複数の前景抽出モデルから適切な１つ又は複数の前景選択モデルを選択する選択モデルを記憶している。選択モデル学習部４１は、選択モデル記憶部４２から選択モデルを取得し、その学習を行う。具体的に、選択モデル学習部４１は、入力画像に対応する正解データを正解データ記憶部４３から取得し、入力画像と、それに対応する正解データとを用いて選択モデルの学習を行う。学習が終了すると、選択モデル学習部４１は、学習済みの選択モデルを選択モデル記憶部４２に記憶する。

図１２（Ｂ）は、予測時の前景抽出装置２１０の機能構成を示すブロック図である。予測時とは、撮影画像から実際に物体を検出するときを言う。予測時の前景抽出装置２１０は、前景抽出モデル選択部４４と、選択モデル記憶部４２と、前景領域生成部４５と、前景抽出モデル記憶部４６とを備える。なお、選択モデル記憶部４２には、学習時の前景抽出装置２００により学習済みの選択モデルが記憶されている。

予測時には、前景抽出モデル選択部４４は、選択モデル記憶部４２に記憶されている学習済みの選択モデルを取得し、入力画像に基づいて最適な前景抽出モデルを選択し、その前景抽出モデルを示す情報を前景領域生成部４５に出力する。前景抽出モデル記憶部４６は、複数の前景抽出モデルを予め記憶している。前景領域生成部４５は、前景抽出モデル選択部４４が選択した前景抽出モデルを前景抽出モデル記憶部４６から取得し、それを用いて入力画像から前景領域を生成し、出力する。こうして、学習済みの選択モデルを用いて、複数の前景抽出モデルから適切な前景抽出モデルを選択し、それを用いて前景領域を抽出することができる。

（選択モデル）
次に、第２実施形態の第１実施例による選択モデル及びその学習方法について説明する。第１実施例は、強化学習の手法を用いて選択モデルを学習する。まず、選択モデル学習部４１は、図１３に示すように、入力画像の隣接するＮ個のフレーム（図１３の例では４フレーム）をニューラルネットワークを用いた特徴抽出器に入力し、入力画像の特徴ベクトルを生成する。特徴抽出器は、一般物体認識で利用される特徴抽出器であれば何でもよく、例えばＶＧＧ１６、ＲｅｓＮｅｔなどを用いることができる。なお、特徴抽出器は、既に学習済みのものである。

図１４は、選択モデル学習部４１における学習方法を模式的に示す。選択モデル学習部４１は、特徴抽出器により得られた入力画像の特徴ベクトルを強化学習における「状態ｓ」として用いる。また、選択モデル学習部４１は、複数の前景抽出モデルから適切なものを選択する行動を「ａ_ｉ」とする。行動ａ_ｉは、以下のように表される。

また、状態ｓのときに行動ａ_ｉを選択したときの報酬を「ｒ」とすると、報酬ｒは以下のように、前景抽出モデルの出力と正解データとの差として与えられる。

なお、「Ｉ_ｉｋ」は、ｉフレームのときにｋモデルで前景抽出した結果を示し、「Ｉ」は正解データを示す。よって、選択モデルにより選択された前景抽出モデルの出力と正解データとの差が小さくなるほど、高い報酬ｒが与えられる。

選択モデル学習部４１は、画像の特徴ベクトルである状態ｓ、前景抽出モデルを選択する行動ａ_ｉ、報酬ｒを用いて、選択モデルＱ（ｓ，ａ_ｉ）（以下、「Ｑ値」又は「価値Ｑ」とも呼ぶ。）を学習する。選択モデルＱ（ｓ，ａ_ｉ）は以下の式で与えられる。

ここで、「α」、「γ」は設計者が決めるパラメータである。また、学習の回数、終了条件なども設計者により決定される。そして、学習が終了すると、学習済みの選択モデルが選択モデル記憶部４２に記憶される。

予測時には、前景抽出モデル選択部４４は、学習済みの選択モデルを用いて、入力画像から適切な前景抽出モデルを選択する。図１５は、前景抽出モデルを選択する例を示す。この例では、選択モデルは３つの前景抽出モデル１～３についてＱ値を算出し、前景抽出モデル１によるＱ値が最大となっている。よって、前景抽出モデル選択部４４は、前景抽出モデル１を選択する。また、例えば選択モデルが上位２個の前景抽出モデルを選択する場合には、Ｑ値の大きいほうから、前景抽出モデル１及び３を選択すればよい。そして、前景領域生成部４５は、選択された前景抽出モデルを用いて、入力画像から前景領域を抽出する。

［第２実施例］
次に、第２実施形態の第２実施例について説明する。第２実施例の前景抽出装置のハードウェア構成は図１に示す第１実施形態と同様であり、機能構成は図１２に示す第２実施形態の第１実施例と同様である。

（選択モデル）
次に、第２実施形態の第２実施例による選択モデル及びその学習方法について説明する。第２実施例は、教師あり学習の手法を用いて選択モデルを学習する。図１６は、第２実施形態の第２実施例による選択モデルの学習方法を模式的に示す。

学習時には、まず、入力画像が尤度推定器に入力される。尤度推定器はニューラルネットワークにより構成され、例えば、ＣＮＮ（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）、ＲＮＮ（ＲｅｃｕｒｒｅｎｔＮｕｅｒａｌＮｅｔｗｏｒｋ）などを用いることができる。尤度推定器は、入力画像に基づいて、各前景抽出モデルの選択尤度を学習する。図１６の例では、尤度推定器は、前景抽出モデル１～Ｎのそれぞれについて、そのモデルの混合割合を示す重みＷを出力する。そして、各前景抽出モデルの重みＷ_１～Ｗ_Ｎを用いて、前景抽出モデル１～Ｎの認識結果Ｉ_１～Ｉ_Ｎを重み付け加算することにより予測結果（ΣＷ_ｉ×Ｉ_ｉ）を生成する。

選択モデル学習部４１は、予測結果と正解データとの差（損失）が小さくなるように、尤度推定器のパラメータを学習する。学習が終了すると、選択モデル学習部４１は、学習済みの尤度推定器のパラメータを含む選択モデルを選択モデル記憶部４２に記憶する。

予測時には、前景抽出モデル選択部４４は、学習済みの選択モデルを選択モデル記憶部４２から取得し、それを用いて入力画像から適切な前景抽出モデルを選択する。具体的に、選択モデルは、尤度推定器が出力した重みＷ_ｉに応じて、１又は複数の前景抽出モデルを選択する。前景領域生成部４５は、選択された前景抽出モデルを前景抽出モデル記憶部４６から取得し、重みＷ_ｉの割合でそれらを用いて入力画像から前景領域を抽出する。

（変形例）
図１７は、第２実施形態の第２実施例の変形例による選択モデルの学習方法を模式的に示す。図１６に示す第２実施形態の第２実施例では、尤度推定器は各前景抽出モデルに対する重みＷを出力している。これに対し、この変形例では、尤度推定器は、各前景抽出モデルについて、そのモデルの選択尤度を示す空間マップＷを出力する。具体的に、空間マップＷは、ｎ×ｎ次元のマップであり、各画素に対応する係数は入力画像の対応位置におけるその前景抽出モデルの尤度を示す。なお、空間マップのサイズは、入力画像の一部に対応する。図１７の例では、空間マップＷの画素のうち、暗い色の画素ほど高い係数が設定される。

各空間マップＷは、各前景抽出モデルの認識結果Ｉ_１～Ｉ_Ｎと乗算され、それらの総和が予測結果として出力される。具体的に、選択モデルは、尤度推定器が出力した空間マップＷ_ｉに応じて、１又は複数の前景抽出モデルを選択する。前景領域生成部４５は、選択された前景抽出モデルを前景抽出モデル記憶部４６から取得し、空間マップに応じてそれらを用いて入力画像から前景領域を抽出する。

このように、各前景抽出モデルの選択尤度を示す空間マップを出力することにより、入力画像の部分毎に適正の高い前景抽出モデルを選択して前景領域が抽出されることになる。例えば、図１７の例において、前景抽出モデル１は円形の前景を高精度で抽出する性質を有し、前景抽出モデルＮは三角形の前景を高精度で抽出する性質を有するものとする。この場合、前景抽出モデル１に対応する空間マップＷ_１は入力画像の円形の部分に注目するものとなり、前景抽出モデルＮに対応する空間マップＷ_Ｎは入力画像の三角形の部分に注目するものとなる。よって、１枚の入力画像を構成する部分毎に最適な前景抽出モデルが選択される。これにより、各前景抽出モデルの検出容易性の異なる対象が同一のフレームに映り込んだ場合でも、各対象の検出に最適な前景抽出モデルを選択することが可能となる。なお、こうして学習された選択モデルを用いて予測を行う際の動作は、第２実施例の第２実施例の場合と同様である。

＜第３実施形態＞
図１８は、第３実施形態に係る前景抽出装置７０の機能構成を示すブロック図である。なお、前景抽出装置７０のハードウェア構成は、図１と同様である。図示のように、前景抽出装置７０は、抽出結果生成部７１と、選択部７２と、前景領域生成部７３と、を備える。

抽出結果生成部７１は、入力画像について、複数の前景抽出モデルを用いて前景抽出を行って前景抽出結果を生成する。選択部７２は、各前景抽出モデルによる前景抽出結果を用いて、複数の前景抽出モデルから１又は複数の前景抽出モデルを選択する。前景領域生成部７３は、選択された前景抽出モデルを用いて、入力画像から前景領域を抽出する。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
入力画像について、複数の前景抽出モデルを用いて前景抽出を行って前景抽出結果を生成する抽出結果生成部と、
各前景抽出モデルによる前景抽出結果を用いて、前記複数の前景抽出モデルから１又は複数の前景抽出モデルを選択する選択部と、
選択された前景抽出モデルを用いて、前記入力画像から前景領域を抽出する前景領域生成部と、
を備える前景抽出装置。

（付記２）
前記選択部は、前記入力画像に基づいて、前記複数の前景抽出モデル毎に時系列特徴を生成し、生成した時系列特徴に基づいて前記前景抽出モデルを選択する付記１に記載の前景抽出装置。

（付記３）
前記選択部は、前記入力画像に基づいてトラッカーを生成し、前記トラッカーと前記前景抽出結果に含まれる前景との距離を算出し、前記距離を用いて前記時系列特徴を生成する付記２に記載の前景抽出装置。

（付記４）
前記選択部は、前記前景抽出結果に含まれる各前景の前景度を算出し、前記前景度を用いて前記時系列特徴を生成する付記３に記載の前景抽出装置。

（付記５）
前記時系列特徴は、前記距離を前記前景度で除した値を全てのトラッカー及び全ての前景について合計した合計値を、前記トラッカーの数で除した値で示され、
前記選択部は、前記時系列特徴の値が最小である前景抽出モデルを選択する付記４に記載の前景抽出装置。

（付記６）
前記前景領域生成部が生成した前景領域に対する時系列特徴を計算する時系列特徴計算部と、
前記入力画像と、前記時系列特徴計算部が計算した時系列特徴とに基づいて、前記前景領域に対応する物体を識別する物体識別部と、
を備える付記２乃至５のいずれか一項に記載の前景抽出装置。

（付記７）
前記選択部は、前記入力画像と、前記前景抽出結果の正解データとを用いて学習済の選択モデルを用いて、前記前景抽出モデルを選択する付記１に記載の前景抽出装置。

（付記８）
前記選択モデルは、前記入力画像から抽出された特徴ベクトルを状態ｓとし、前記前景抽出結果と前記正解データとの差を報酬ｒとし、前記状態ｓにおいて前記複数の前景抽出モデルのいずれかを選択する行動ａをとったときの価値Ｑ（ｓ，ａ）が大きくなるように学習されており、
前記選択部は、前記価値Ｑ（ｓ，ａ）に基づいて前記前景抽出モデルを選択する付記７に記載の前景抽出装置。

（付記９）
前記価値Ｑ（ｓ，ａ）は、

で与えられる付記８に記載の前景抽出装置。

（付記１０）
前記選択モデルは、入力画像に基づいて尤度推定器が算出した前記前景抽出モデル毎の重みと、前記前景抽出モデル毎の前景抽出結果との重み付き和を予測結果とし、前記予測結果と前記正解データとの差が小さくなるように学習されており、
前記選択部は、前記前景抽出モデル毎の重みに基づいて前記前景抽出モデルを選択する付記７に記載の前景抽出装置。

（付記１１）
前記選択モデルは、入力画像に基づいて尤度推定器が算出した前記前景抽出モデル毎の空間マップと、前記前景抽出モデル毎の前景抽出結果との積の総和を予測結果とし、前記予測結果と前記正解データとの差が小さくなるように学習されており、
前記選択部は、前記前景抽出モデル毎の空間マップに基づいて前記前景抽出モデルを選択する付記７に記載の前景抽出装置。

（付記１２）
入力画像について、複数の前景抽出モデルを用いて前景抽出を行って前景抽出結果を生成し、
各前景抽出モデルによる前景抽出結果を用いて、前記複数の前景抽出モデルから１又は複数の前景抽出モデルを選択し、
選択された前景抽出モデルを用いて、前記入力画像から前景領域を抽出する前景抽出方法。

（付記１３）
入力画像について、複数の前景抽出モデルを用いて前景抽出を行って前景抽出結果を生成し、
各前景抽出モデルによる前景抽出結果を用いて、前記複数の前景抽出モデルから１又は複数の前景抽出モデルを選択し、
選択された前景抽出モデルを用いて、前記入力画像から前景領域を抽出する処理をコンピュータに実行させるプログラムを記録した記録媒体。

以上、実施形態及び実施例を参照して本発明を説明したが、本発明は上記実施形態及び実施例に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

２１時系列特徴生成部
２２、４４前景抽出モデル選択部
２３、４５前景領域生成部
２４時系列情報記憶部
２５分類モデル記憶部
２６、４２選択モデル記憶部
２７、４６前景抽出モデル記憶部
３１時系列特徴計算部
３２物体識別部
３３前景識別モデル記憶部
４１選択モデル学習部
１００、１００ｘ、２００、２１０前景抽出装置

Claims

入力画像について、複数の前景抽出モデルを用いて前景抽出を行って前景抽出結果を生成する抽出結果生成手段と、
前記入力画像に基づいてトラッカーを生成し、前記トラッカーと前記前景抽出結果に含まれる前景との距離を算出し、前記距離を用いて時系列特徴を生成し、生成した時系列特徴に基づいて前景抽出モデルを選択する選択手段と、
選択された前景抽出モデルを用いて、前記入力画像から前景領域を抽出する前景領域生成手段と、
を備える前景抽出装置。
前記選択手段は、前記前景抽出結果に含まれる各前景の前景度を算出し、前記前景度を用いて前記時系列特徴を生成する請求項１に記載の前景抽出装置。
前記時系列特徴は、前記距離を前記前景度で除した値を全てのトラッカー及び全ての前景について合計した合計値を、前記トラッカーの数で除した値で示され、
前記選択手段は、前記時系列特徴の値が最小である前景抽出モデルを選択する請求項２に記載の前景抽出装置。
前記前景領域生成手段が生成した前景領域に対する時系列特徴を計算する時系列特徴計算手段と、
前記入力画像と、前記時系列特徴計算手段が計算した時系列特徴とに基づいて、前記前景領域に対応する物体を識別する物体識別手段と、
を備える請求項１乃至３のいずれか一項に記載の前景抽出装置。
前記選択手段は、前記入力画像と、前記前景抽出結果の正解データとを用いて学習済の選択モデルを用いて、前記前景抽出モデルを選択する請求項１に記載の前景抽出装置。
前記選択モデルは、前記入力画像から抽出された特徴ベクトルを状態ｓとし、前記前景抽出結果と前記正解データとの差を報酬ｒとし、前記状態ｓにおいて前記複数の前景抽出モデルのいずれかを選択する行動ａをとったときの価値Ｑ（ｓ，ａ）が大きくなるように学習されており、
前記選択手段は、前記価値Ｑ（ｓ，ａ）に基づいて前記前景抽出モデルを選択する請求項５に記載の前景抽出装置。
前記選択モデルは、入力画像に基づいて尤度推定器が算出した前記前景抽出モデル毎の重みと、前記前景抽出モデル毎の前景抽出結果との重み付き和を予測結果とし、前記予測結果と前記正解データとの差が小さくなるように学習されており、
前記選択手段は、前記前景抽出モデル毎の重みに基づいて前記前景抽出モデルを選択する請求項５に記載の前景抽出装置。
前記選択モデルは、入力画像に基づいて尤度推定器が算出した前記前景抽出モデル毎の空間マップと、前記前景抽出モデル毎の前景抽出結果との積の総和を予測結果とし、前記予測結果と前記正解データとの差が小さくなるように学習されており、
前記選択手段は、前記前景抽出モデル毎の空間マップに基づいて前記前景抽出モデルを選択する請求項５に記載の前景抽出装置。
入力画像について、複数の前景抽出モデルを用いて前景抽出を行って前景抽出結果を生成し、
前記入力画像に基づいてトラッカーを生成し、前記トラッカーと前記前景抽出結果に含まれる前景との距離を算出し、前記距離を用いて時系列特徴を生成し、生成した時系列特徴に基づいて前景抽出モデルを選択し、
選択された前景抽出モデルを用いて、前記入力画像から前景領域を抽出する前景抽出方法。
入力画像について、複数の前景抽出モデルを用いて前景抽出を行って前景抽出結果を生成し、
前記入力画像に基づいてトラッカーを生成し、前記トラッカーと前記前景抽出結果に含まれる前景との距離を算出し、前記距離を用いて時系列特徴を生成し、生成した時系列特徴に基づいて前景抽出モデルを選択し、
選択された前景抽出モデルを用いて、前記入力画像から前景領域を抽出する処理をコンピュータに実行させるプログラム。