JP7452095B2

JP7452095B2 - データ処理装置、データ処理方法およびプログラム

Info

Publication number: JP7452095B2
Application number: JP2020032250A
Authority: JP
Inventors: 孝光渡邉
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2020-02-27
Filing date: 2020-02-27
Publication date: 2024-03-19
Anticipated expiration: 2040-02-27
Also published as: JP2021135816A

Description

本発明は、データ処理装置、データ処理方法およびプログラムに関する。

近年、機械学習によって学習済みのモデルを生成し、生成した学習済みモデルに推論を行わせる技術が知られている。かかる技術の一例として、ある環境に設置されたカメラによって得られた画像データに基づいて、学習済みモデルを用いて検知対象を検知する技術が開示されている（例えば、特許文献１参照）。

特開２０１９－１０６０５９号公報

しかし、対象となるデータに基づいて検知対象が検知される場合に当該対象となるデータが得られる環境が変動する場合があり得る。このとき、環境の変動に伴って検知対象の検知精度が低下してしまうおそれがある。そこで、検知対象の検知精度の低下を抑制することを可能とする技術が提供されることが望まれる。

上記問題を解決するために、本発明のある観点によれば、フレームに基づいて検知対象の検知を行う第１のモデルと、フレームに基づいて検知対象の検知を行う第２のモデルと、複数のフレームを取得し、フレームごとに前記第１のモデルまたは前記第２のモデルを利用モデルとして選択し、前記利用モデルによる検知が実行されるように前記複数のフレームを分配するフレーム分配部と、前記第１のモデルによる推論結果と前記第２のモデルによる推論結果とに基づいて、前記第１のモデルと前記第２のモデルとのうち、より正当性が高いモデルが前記利用モデルとして選択される頻度を高くする判断部と、を備える、データ処理装置が提供される。

前記第１のモデルと前記第２のモデルとは、互いに異なる環境において得られたデータに基づいて生成されてもよい。

前記環境は、天候、時間帯または場所であってもよい。

前記判断部は、前記第１のモデルによって検知対象が検知された第１の領域に検知対象が存在する第１の正解率を第１のモデルの正当性として算出するとともに、前記第２のモデルによって検知対象が検知された第２の領域に検知対象が存在する第２の正解率を前記第２のモデルの正当性として算出してもよい。

前記判断部は、前記第１のモデルによって得られた第１の検出スコアに基づいて前記第１のモデルの正当性を算出するとともに、前記第２のモデルによって得られた第２の検出スコアに基づいて前記第２のモデルの正当性を算出してもよい。

前記判断部は、第１の閾値よりも高い前記第１の検出スコアの数を前記第１のモデルの正当性として算出するとともに、第２の閾値よりも高い前記第２の検出スコアの数を前記第２のモデルの正当性として算出してもよい。

前記判断部は、前記第１の検出スコアの平均値を前記第１のモデルの正当性として算出するとともに、前記第２の検出スコアの平均値を前記第２のモデルの正当性として算出してもよい。

前記判断部は、所定のフレームごとに前記第１のモデルの正当性と前記第２のモデルの正当性との比較を行ってもよい。

前記判断部は、前記より正当性が高いモデルによって得られた検出スコアの平均値が所定の値よりも低くなった場合、または、前記より正当性が高いモデルによって得られた検出スコアが所定のスコアよりも高い数が所定の数よりも少なくなった場合に、前記第１のモデルの正当性と前記第２のモデルの正当性との比較を行ってもよい。

前記第１のモデルおよび前記第２のモデルそれぞれは、画像フレームに基づいて所定の物体または所定の事象を検知対象として検知してもよい。

前記第１のモデルによる物体検知の結果と前記第２のモデルによる物体検知の結果とに基づいて、前記複数のフレーム中の物体の軌跡を抽出する移動軌跡抽出部を備えてもよい。

前記第１のモデルおよび前記第２のモデルそれぞれは、音声フレームに基づいて所定の音または所定の事象を検知対象として検知してもよい。

また、本発明の別の観点によれば、複数のフレームを取得し、フレームごとに第１のモデルまたは第２のモデルを利用モデルとして選択し、前記利用モデルによる検知が実行されるように前記複数のフレームを分配することと、前記第１のモデルによる推論結果と前記第２のモデルによる推論結果とに基づいて、前記第１のモデルと前記第２のモデルとのうち、より正当性が高いモデルが前記利用モデルとして選択される頻度を高くすることと、を含む、コンピュータにより実行されるデータ処理方法が提供される。

また、本発明の別の観点によれば、コンピュータを、フレームに基づいて検知対象の検知を行う第１のモデルと、フレームに基づいて検知対象の検知を行う第２のモデルと、複数のフレームを取得し、フレームごとに前記第１のモデルまたは前記第２のモデルを利用モデルとして選択し、前記利用モデルによる検知が実行されるように前記複数のフレームを分配するフレーム分配部と、前記第１のモデルによる推論結果と前記第２のモデルによる推論結果とに基づいて、前記第１のモデルと前記第２のモデルとのうち、より正当性が高いモデルが前記利用モデルとして選択される頻度を高くする判断部と、を備えるデータ処理装置として機能させるためのプログラムが提供される。

以上説明したように本発明によれば、検知対象の検知精度の低下を抑制することを可能とする技術が提供される。

本発明の実施形態に係るカメラによって撮像される画像フレームの例を示す図である。本発明の実施形態に係る移動物体抽出システムの機能構成例を示すブロック図である。同実施形態に係る移動物体抽出システムの動作の例を示すフローチャートである。車両検出部による車両検出の例を示す図である。１フレーム前の画像フレームでの車両検出の例を示す図である。移動軌跡抽出部による車両追跡の例を示す図である。計測線を跨いだ車両台数の計測の例を示す図である。同実施形態に係る移動物体抽出システムにおける改善可能な点について説明するための図である。画像フレーム分配部および判断部の具体的な機能について説明するための図である。より正当性の高いモデルを判定する手法の例としての第１の判定例について説明するための図である。より正当性の高いモデルを判定する手法の例としての第２の判定例について説明するための図である。より正当性の高いモデルを判定する手法の例としての第３の判定例について説明するための図である。同実施形態に係る移動物体抽出装置の例としての情報処理装置のハードウェア構成を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一の機能構成を有する複数の構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、異なる実施形態の類似する構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。

（０．概要）
本発明の実施形態は、対象となるデータに基づいて検知対象を検知する技術に関する。ここで、対象となるデータは、ある環境において時系列に沿って連続的に得られた複数のフレームである。以下の説明では、対象となるデータが動画像であり、複数のフレームが、ある環境に設置されたカメラによって時系列に沿って撮像される複数の画像フレームである場合を主に想定する。しかし、後にも説明するように、対象となるデータは、動画像に限定されないし、複数のフレームは、複数の画像フレームに限定されない。

さらに、以下の説明では、検知対象が画像フレームに写る物体である場合を主に想定する。しかし、検知対象は、画像フレームに写る物体に限定されない。また、以下では、検知対象としての物体の例として車両を例に挙げて説明する。しかし、検知対象としての物体は車両に限定されない。例えば、検知対象の例としての物体は、車両以外の乗り物であってもよいし、乗り物以外の物体（例えば、人など）であってもよい。以下では、単位時間あたりのフレームの数をフレームレートと言う。

本発明の実施形態では、検知対象を検知するモデルとして互いに異なる二つのモデル（すなわち、第１のモデルおよび第２のモデル）を利用する。第１のモデルと第２のモデルとは、互いに異なる環境において得られたデータに基づいて生成されたモデルである。したがって、第１のモデルと第２のモデルとは、それぞれに対応する環境において得られた動画像に基づいて検知対象を高精度に検知することが可能である。以下では、天候ごとに得られるフレームの特徴が変化し得ることが想定されるため、環境が天候である場合を主に想定する。

より詳細に、以下の説明では、第１のモデルが、晴れである天候の下にカメラによって撮像された画像データに基づいて生成された学習済みモデル（以下、「晴モデル」とも言う。）であり、第２のモデルが、雪である天候の下にカメラによって撮像された画像データに基づいて生成された学習済みモデル（以下、「雪モデル」とも言う。）である場合を主に想定する。しかし、天候は、晴れと雪とに限定されない。例えば、天候は、雨などであってもよい。さらに、後にも説明するように、環境は、天候に限定されない。

図１は、本発明の実施形態に係るカメラによって撮像される画像フレームの例を示す図である。図１を参照すると、本発明の実施形態に係るカメラによって撮像される動画像を構成する画像フレームＧ０が示されている。本発明の実施形態に係るカメラは、図１に示されるような道路平面を走行する車両を撮像可能な位置に設けられている。カメラは、イメージセンサを含んで構成されており、イメージセンサによって撮像範囲を撮像する。カメラの種類は特に限定されない。例えば、カメラは、可視光カメラであってもよいし、赤外光カメラであってもよい。

画像フレームＧ０には、車両の例として車両Ａ１～Ａ４およびその他の複数の車両が写っている。画像フレームＧ０には、あらかじめ車両の通過数を計測するための線（すなわち、計測線Ｌ０）が設定されている。本発明の実施形態では、計測線Ｌ０を跨いだ車両軌跡の数を計測する例について主に説明する。しかし、車両軌跡の数の計測は、車両軌跡の利用例の一例に過ぎない。すなわち、本発明の実施形態において抽出された車両軌跡の用途は特に限定されない。

また、本発明の実施形態では、計測線Ｌ０を跨いだ車両軌跡の数を、車両軌跡が計測線Ｌ０を跨いだ方向別に計測する例について主に説明する。すなわち、本発明の実施形態では、計測線Ｌ０を方向Ｄ１（計測線Ｌ０によって分割される二つの領域のうちの一方から他方）に跨いだ車両軌跡の数と計測線Ｌ０を方向Ｄ２（当該他方から当該一方）に跨いだ車両軌跡の数とを別々に計測する例について主に説明する。しかし、計測線Ｌ０を跨いだ車両軌跡の数は、車両軌跡が計測線Ｌ０を跨いだ方向の区別なく計測されてもよい。

以上、本発明の実施形態の概要について説明した。

（１．実施形態の詳細）
続いて、本発明の実施形態の詳細について説明する。

（１－１．システムの機能構成例）
まず、図２を参照しながら、本発明の実施形態に係る移動物体抽出システム（データ処理システム）の機能構成例について説明する。

図２は、本発明の実施形態に係る移動物体抽出システムの機能構成例を示すブロック図である。図２に示されるように、本発明の実施形態に係る移動物体抽出システム１は、移動物体抽出装置１０（データ処理装置）およびカメラ２０を備える。移動物体抽出装置１０とカメラ２０とは、有線または無線によって接続されており、カメラ２０によって撮像された各画像フレームは、時系列に沿って連続的に移動物体抽出装置１０に出力される。移動物体抽出装置１０は、制御部１１０および記憶部１３０を備える。

制御部１１０は、プロセッサを含み、記憶部１３０により記憶されているプログラムがプロセッサによりＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）に展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、制御部１１０は、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。

本発明の実施形態では、制御部１１０が、プロセッサの例として、２つのＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）およびＡＩ（ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ）チップを含む場合を想定する。しかし、制御部１１０が含むプロセッサは、これらに限定されない。例えば、制御部１１０は、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒaｙ）などのプロセッサを含んでもよい。本発明の実施形態では、このように互いに特性の異なる複数のプロセッサが並列化されており、当該複数のプロセッサによる分散処理が行われる場合を想定する。これによって高いパフォーマンスの演算が行われ得る。

制御部１１０は、車両検出部１１１と、移動軌跡抽出部１１５と、計測処理部１１６とを備える。車両検出部１１１は、画像フレーム分配部１１２と、晴モデルＭ１（第１のモデル）と、雪モデルＭ２（第２のモデル）とを備える。

晴モデルＭ１は、画像フレーム分配部１１２から入力される画像フレームから車両検知を行う。同様に、雪モデルＭ２は、画像フレーム分配部１１２から入力される画像フレームから車両検知を行う。

晴モデルＭ１および雪モデルＭ２それぞれは、画像フレーム分配部１１２から入力される画像フレームを構成する複数の矩形領域それぞれに車両が存在する確からしさを示す値を車両検出スコアとして出力する。一例として、車両検出スコアが所定のスコアよりも大きい矩形領域が、車両が存在する領域（車両領域）として検出される。

ここで、画像フレームを構成する矩形領域のサイズ、位置、数などは特に限定されない。また、矩形領域の代わりに他の形状の領域が用いられてもよい。また、晴モデルＭ１および雪モデルＭ２それぞれは、学習済みのニューラルネットワーク（例えば、学習済みのディープラーニングニューラルネットワーク）であってよい。学習済みのニューラルネットワークは、車両が写る画像フレームと当該画像フレームに写る車両位置（すなわち、車両が存在する矩形領域）との組み合わせを教師データとしてニューラルネットワークを学習させることによって生成され得る。

具体的な構成の例として、晴モデルＭ１および雪モデルＭ２それぞれは、畳み込み層とプーリング層との繰り返しおよび多段の全結合を含んだニューラルネットワークであってよい。すなわち、晴モデルＭ１および雪モデルＭ２それぞれは、ＣＮＮ（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）によって構成されてよい。しかし、晴モデルＭ１および雪モデルＭ２それぞれは、畳み込み層およびプーリング層を有していないニューラルネットワークによって構成されてもよい。また、晴モデルＭ１および雪モデルＭ２それぞれの全結合は多段に構成されていなくてもよい。

記憶部１３０は、制御部１１０を動作させるためのプログラムおよびデータを記憶することが可能な記憶装置である。また、記憶部１３０は、制御部１１０の動作の過程で必要となる各種データを一時的に記憶することもできる。例えば、記憶装置は、不揮発性の記憶装置であってよい。例えば、記憶部１３０は、各種データの例として、計測線Ｌ０の位置を記憶し得る。

以上、本発明の実施形態に係る移動物体抽出システム１の機能構成例について説明した。

（１－２．システムの動作例）
続いて、図３～図１２を参照しながら、本発明の実施形態に係る移動物体抽出システム１の動作の例について説明する。

図３は、本発明の実施形態に係る移動物体抽出システム１の動作の例を示すフローチャートである。図３に示されるように、Ｓ１１～Ｓ１６が時系列に沿って連続的に入力される画像フレームごとに実行される。

（車両検出部１１１）
まず、移動物体抽出装置１０において、車両検出部１１１は、カメラ２０から時系列に沿って連続的に入力される画像フレームから車両位置（すなわち、車両領域）を検出する（Ｓ１１）。

図４は、車両検出部１１１による車両検出の例を示す図である。図４を参照すると、カメラ２０から移動物体抽出装置１０に入力された直後の画像フレーム（現在の画像フレーム）の例として、現在の画像フレームＧ１が示されている。例えば、車両検出部１１１は、現在の画像フレームＧ１から車両Ａ１が存在する領域として車両領域Ｐ１１を検出する。同様に、車両検出部１１１は、現在の画像フレームＧ１から、車両Ａ２が存在する領域として車両領域Ｐ２１を検出し、車両Ａ３が存在する領域として車両領域Ｐ３１を検出し、車両Ａ４が存在する領域として車両領域Ｐ４１を検出する。

（移動軌跡抽出部１１５）
図３に戻って説明を続ける。続いて、移動軌跡抽出部１１５は、車両検出部１１１によって検出された車両（すなわち、車両領域の位置）を追跡する（Ｓ１２）。ここでは、移動軌跡抽出部１１５が、同一車両が写る車両領域の中心点を追跡する場合を主に想定する。しかし、追跡される車両領域の位置は、車両領域の中心点以外の点（例えば、車両領域の左上隅など）であってもよい。

移動軌跡抽出部１１５は、現在の画像フレームと現在の画像フレームよりも過去にカメラ２０から入力された画像フレーム（過去の画像フレーム）とのそれぞれから車両検出部１１１によって得られた複数の矩形領域それぞれから抽出された特徴量を算出する。また、移動軌跡抽出部１１５は、車両の特徴量同士の類似度が閾値よりも大きい場合に、その車両同士が同一車両であるとみなす。そして、移動軌跡抽出部１１５は、現在の画像フレームおよび過去の画像フレームそれぞれにおいて同一とみなした車両の位置同士を統合する（Ｓ１３）。例えば、移動軌跡抽出部１１５は、現在の画像フレームおよび過去の画像フレームそれぞれにおいて同一とみなした車両の位置同士を対応付ける。

ここで、過去の画像フレームは、現在の画像フレームよりも１フレーム前の画像フレーム（以下、単に「１フレーム前の画像フレーム」とも言う。）であってよい。しかし、過去の画像フレームは、現在の画像フレームよりも２フレームまたは３フレーム以上前の画像フレームであってもよい。

図５は、１フレーム前の画像フレームでの車両検出の例を示す図である。図５を参照すると、現在の画像フレームＧ２が示されている。例えば、車両検出部１１１は、１フレーム前の画像フレームから車両Ａ１が存在する領域として車両領域Ｐ１０を検出する。同様に、車両検出部１１１は、１フレーム前の画像フレームから、車両Ａ２が存在する領域として車両領域Ｐ２０を検出し、車両Ａ３が存在する領域として車両領域Ｐ３０を検出し、車両Ａ４が存在する領域として車両領域Ｐ４０を検出する。

また、図５には、現在の画像フレームよりも１フレーム前までに抽出された車両の軌跡の例が示されている。例えば、現在の画像フレームよりも１フレーム前までに抽出された車両Ａ１の軌跡の例として車両軌跡Ｔ１０が示されている。同様に、現在の画像フレームよりも１フレーム前までに抽出された車両Ａ２の軌跡の例として車両軌跡Ｔ２０が示されており、現在の画像フレームよりも１フレーム前までに抽出された車両Ａ３の軌跡の例として車両軌跡Ｔ３０が示されており、現在の画像フレームよりも１フレーム前までに抽出された車両Ａ４の軌跡の例として車両軌跡Ｔ４０が示されている。

図６は、移動軌跡抽出部１１５による車両追跡の例を示す図である。図６には、現在の画像フレームＧ３が示されており、現在の画像フレームＧ３から検出された車両領域Ｐ１１～Ｐ４１の他、現在の画像フレームよりも１フレーム前の画像フレームから検出された車両領域Ｐ１０～Ｐ４０が示されている。また、現在の画像フレームよりも１フレーム前までに抽出された車両軌跡Ｔ１０～Ｔ４０が示されている。

例えば、移動軌跡抽出部１１５は、現在の画像フレームから車両検出部１１１によって得られた車両Ａ１の特徴量と、１フレーム前の画像フレームから車両検出部１１１によって得られた車両Ａ１の特徴量とを比較する。移動軌跡抽出部１１５は、特徴量同士の類似度が閾値よりも大きい場合に、現在の画像フレームにおける車両の位置（車両領域Ｐ１１）と、１フレーム前の画像フレームにおける車両の位置（車両領域Ｐ１０）とを対応付ける。

これによって、現在の画像フレームＧ４に示されるように、車両Ａ１の軌跡が、現在の画像フレームよりも１フレーム前までに抽出された車両軌跡Ｔ１０から、現在の画像フレームまでに抽出された車両軌跡Ｔ１１に更新される。

なお、ここでは、現在の画像フレームおよび１フレーム前の画像フレームの双方から車両が検出される場合を主に想定する。しかし、現在の画像フレームおよび１フレーム前の画像フレームの少なくとも一方から車両の位置が検出されない場合も想定される。かかる場合であっても、車両の追跡および車両の位置同士の統合は継続されてよい（すなわち、２フレームまたは３フレーム以上離れた画像フレーム同士の対応付けが行われてもよい）。

同様にして、車両Ａ２の軌跡は、現在の画像フレームよりも１フレーム前までに抽出された車両軌跡Ｔ２０から、現在の画像フレームまでに抽出された車両軌跡Ｔ２１に更新される。車両Ａ３の軌跡は、現在の画像フレームよりも１フレーム前までに抽出された車両軌跡Ｔ３０から、現在の画像フレームまでに抽出された車両軌跡Ｔ３１に更新される。車両Ａ４の軌跡は、現在の画像フレームよりも１フレーム前までに抽出された車両軌跡Ｔ４０から、現在の画像フレームまでに抽出された車両軌跡Ｔ４１に更新される。

（計測処理部１１６）
図３に戻って説明を続ける。続いて、計測処理部１１６は、移動軌跡抽出部１１５によって同一とみなされた車両の速度を計測する（Ｓ１４）。車両の速度は、どのようにして計測されてもよい。さらに、計測処理部１１６は、計測した速度に基づいて停止車両を検知する（Ｓ１５）。例えば、計測処理部１１６は、速度がゼロの車両を停止車両として検知する。続いて、計測処理部１１６は、既に説明したように、カメラ２０から入力される動画像に設定された計測線Ｌ０（図７）を跨いだ車両台数（すなわち、車両軌跡の数）を計測する（Ｓ１６）。例えば、計測処理部１１６は、計測線Ｌ０（図７）を跨いだ車両台数（すなわち、車両軌跡の数）を、車両軌跡が跨いだ方向別に計測する。

図７は、計測線を跨いだ車両台数の計測の例を示す図である。図７には、現在の画像フレームＧ５が示されており、現在の画像フレームまでに抽出された車両軌跡Ｔ１１～Ｔ４１が示されている。図７を参照すると、車両軌跡Ｔ１１、Ｔ２１、Ｔ４１は、計測線Ｌ０を跨いでいない。一方、車両軌跡Ｔ３１は、計測線Ｌ０を方向Ｄ１に跨いだところである。したがって、計測処理部１１６は、計測線Ｌ０を方向Ｄ１に跨いだ車両台数に１を加算させればよい。

（改善可能な点）
以上、本発明の実施形態に係る移動物体抽出システム１の動作の例について説明してきたが、以上に説明した移動物体抽出システム１には改善可能な点がある。そこで、以下では、改善可能な点について説明する。

図８は、本発明の実施形態に係る移動物体抽出システム１における改善可能な点について説明するための図である。上記では、各画像フレームから車両を検知する処理について説明した。具体的には、各画像フレームから車両を検知する処理は、晴モデルＭ１または雪モデルＭ２によって行われ得る。

ここで、晴モデルＭ１は、上記したように、晴れである天候の下に撮像された画像データに基づいて生成された学習済みモデルである。したがって、晴モデルＭ１は、晴れである天候の下にカメラ２０によって撮像された画像フレームに基づいて推論を行う場合には、推論精度（検知精度）が高くなる（図８に示された例では、９０％）。しかし、晴モデルＭ１は、雪である天候の下にカメラ２０によって撮像された画像フレームに基づいて推論を行う場合には、推論精度は低くなってしまう（図８に示された例では、１０％）。すなわち、晴モデルＭ１は、天候が雪である場合よりも天候が晴れである場合に、より高精度に推論を行い得る。

一方、雪モデルＭ２は、上記したように、雪である天候の下に撮像された画像データに基づいて生成された学習済みモデルである。したがって、雪モデルＭ２は、雪である天候の下にカメラ２０によって撮像された画像フレームに基づいて推論を行う場合には、推論精度（検知精度）が高くなる（図８に示された例では、９０％）。しかし、雪モデルＭ２は、晴れである天候の下にカメラ２０によって撮像された画像フレームに基づいて推論を行う場合には、推論精度は低くなってしまう（図８に示された例では、１０％）。すなわち、雪モデルＭ２は、天候が晴れである場合よりも天候が雪である場合に、より高精度に推論を行い得る。

そこで、晴れである天候の下に撮像された画像データと、雪である天候の下に撮像された画像データとの双方に基づいて学習済みモデル（混合モデルＭ３）を生成することも考えられる。しかし、混合モデルＭ３は、天候が晴れである場合には、晴モデルＭ１ほどには高精度には推論を行うことができず、天候が雪である場合には、雪モデルＭ２ほどには高精度には推論を行うことができない（図８に示された例では、両方とも５０％）。この例のように、様々な環境の下に撮像された画像データに基づいて生成された学習済みモデルは、特定の環境下では高精度に推論しない。

したがって、以下では、混合モデルＭ３によって車両を検知する場合ではなく、それぞれが特定の環境の下に撮像された画像データに基づいて生成された、晴モデルＭ１および雪モデルＭ２によって、車両を検知する場合を想定する。これによって推論精度の低下が抑制される。このとき、移動物体抽出装置１０は、晴モデルＭ１および雪モデルＭ２のどちらのモデルに画像フレームに基づく車両検知を実行させるかを制御する。以下では、移動物体抽出装置１０によって行われる、かかる制御についてより具体的に説明する。

（本実施形態による改善案）
本発明の実施形態に係る移動物体抽出装置１０において、画像フレーム分配部１１２は、カメラ２０から時系列に沿って連続的に入力される複数の画像フレーム（動画像）を取得する。そして、画像フレーム分配部１１２は、画像フレームごとに晴モデルＭ１または雪モデルＭ２を利用モデルとして選択し、利用モデルによる車両検知が実行されるように複数の画像フレームを分配する。このとき、判断部１１３は、晴モデルＭ１による推論結果と雪モデルＭ２による推論結果とに基づいて、晴モデルＭ１と雪モデルＭ２とのうち、より正当性が高いモデルが利用モデルとして選択される頻度を高くする。

かかる構成によれば、晴モデルＭ１と雪モデルＭ２のうち、より正当性が高いモデルの利用頻度が高くなるため、カメラ２０によって撮像された動画像に基づく車両の検知精度の低下が抑制され得る。例えば、環境が変動してしまう場合であっても、変動後の環境に基づいて、より正当性が高いモデルの利用頻度が高くなるため、車両の検知精度の低下が抑制され得る。一例として、天候が晴れから雪に変動した場合に、この変動に伴って雪モデルＭ２の利用頻度が高くなる例が想定される。かかる例について以下に説明する。

図９は、画像フレーム分配部１１２および判断部１１３の具体的な機能について説明するための図である。図９には、カメラ２０から画像フレーム分配部１１２に入力される動画像（複数の画像フレーム）の例として、時刻の古いほうから順に、画像フレームＧ１１～Ｇ１９が示されている。車両検知が開始された直後は、晴モデルＭ１および雪モデルＭ２それぞれの正当性のいずれが高いかが不明である（カメラ２０によって画像フレームが撮像される環境が不明である）。そのため、晴モデルＭ１と雪モデルＭ２とが交互に利用モデルとして選択される。

具体的に、画像フレーム分配部１１２は、カメラ２０から１番目の画像フレームＧ１１が入力されると、雪モデルＭ２を利用モデルとして選択し、選択した雪モデルＭ２に１番目の画像フレームＧ１１を出力することによって、雪モデルＭ２に車両の検出を実行させる。続いて、画像フレーム分配部１１２は、カメラ２０から２番目の画像フレームＧ１２が入力されると、晴モデルＭ１を利用モデルとして選択し、選択した晴モデルＭ１に２番目の画像フレームＧ１２を出力することによって、晴モデルＭ１に車両の検出を実行させる。

同様に、画像フレーム分配部１１２は、３番目の画像フレームＧ１３を雪モデルＭ２に出力し、４番目の画像フレームＧ１４を晴モデルＭ１に出力し、５番目の画像フレームＧ１５を雪モデルＭ２に出力する。所定のタイミングが到来すると、判断部１１３は、晴モデルＭ１による直前の画像フレームＧ１４に基づく推論結果と、雪モデルＭ２による直前の画像フレームＧ１５に基づく推論結果とに基づいて、晴モデルＭ１と雪モデルＭ２とのうち、より正当性が高いモデルを判定する。そして、判断部１１３は、判定結果に基づいて、晴モデルＭ１と雪モデルＭ２の利用頻度を変更する（Ｓ２１）。

より正当性の高いモデルを判定する手法の例については、後に詳細に説明する。ここでは、（画像フレームＧ１３から画像フレームＧ１４にかけて）天候が晴れから雪に変動しているため、判断部１１３は、晴モデルＭ１よりも雪モデルＭ２の正当性がより高いと判断する。そして、判断部１１３は、雪モデルＭ２が利用モデルとして選択される頻度を高くするとともに、晴モデルＭ１が利用モデルとして選択される頻度を低くする。

より詳細に、判断部１１３によって利用頻度が変更される前は、画像フレーム分配部１１２によって、晴モデルＭ１と雪モデルＭ２とが交互に利用モデルとして選択される。しかし、判断部１１３によって利用頻度が変更された後は、画像フレーム分配部１１２によって、５フレームに４フレームの頻度で（図９では、画像フレームＧ１５～Ｇ１８が）雪モデルＭ２が利用モデルとして選択され、５フレームに１フレームの頻度で（図９では、画像フレームＧ１９が）晴モデルＭ１が利用モデルとして選択される。

しかし、１つの繰り返し単位（所定の単位）は、５フレームに４フレームの頻度で雪モデルＭ２が利用モデルとして選択され、５フレームに１フレームの頻度で晴モデルＭ１が利用モデルとして選択される場合に限定されない。例えば、１つの繰り返し単位は、雪モデルＭ２の利用頻度が晴モデルＭ１の利用頻度よりも多くなるように構成されればよい。画像フレーム分配部１１２は、かかる繰り返し単位が繰り返し実行されるように動画像を晴モデルＭ１および雪モデルＭ２に分配する。

所定のタイミングが到来すると、判断部１１３は、晴モデルＭ１の正当性と雪モデルＭ２の正当性との比較を行う。そして、判断部１１３は、比較結果に基づいて、雪モデルＭ２の利用頻度と晴モデルＭ１の利用頻度とを制御する。ここでは、判断部１１３が、所定のフレームごとに晴モデルＭ１の正当性と雪モデルＭ２の正当性との比較を行う場合を想定する。特に、判断部１１３が、１つの繰り返し単位（図９では、５フレーム）が終わるごとに、晴モデルＭ１の正当性と雪モデルＭ２の正当性との比較を行う場合を想定する。しかし、正当性同士の比較を行うタイミングは限定されない。

例えば、環境が再び変動して、（より正当性が高いと前回判断された）雪モデルＭ２の正当性が下がる場合が想定される。例えば、雪モデルＭ２の正当性が下がる例としては、雪モデルＭ２によって得られた車両検出スコア（検出スコア）の平均値が所定の値よりも低くなった場合、または、雪モデルＭ２によって得られた車両検出スコアが所定のスコアよりも高い数が所定の数よりも少なくなった場合などが想定される。判断部１１３は、かかる場合に、晴モデルＭ１の正当性と雪モデルＭ２の正当性との比較を再度行ってもよい。

図９に示された例では、（判断部１１３による２回目の判断に用いられる）画像フレームＧ１８および画像フレームＧ１９が得られる場合においても、天候が雪のままである。かかる場合には、判断部１１３は、依然として晴モデルＭ１の正当性よりも雪モデルＭ２の正当性がより高いと判断する。したがって、判断部１１３は、晴モデルＭ１および雪モデルＭ２の利用頻度を維持する（すなわち、雪モデルＭ２が利用モデルとして選択される頻度を高くしたままにする）（Ｓ２２）。

なお、判断部１１３は、晴モデルＭ１よりも雪モデルＭ２の正当性がより高いと判断した場合に、雪モデルＭ２が利用モデルとして常に画像フレーム分配部１１２によって選択されるようにすることも考えられる（すなわち、晴モデルＭ１が利用モデルとして画像フレーム分配部１１２によって選択されないようにすることも考えられる）。しかし、上記のように、所定のフレームごとの正当性同士の比較に、雪モデルＭ２の推論結果が利用されるのであれば、雪モデルＭ２も所定のフレームごとに利用モデルとして選択されることによって、限られた演算デバイスが有効に活用され得る。

また、図９に示された例では、天候が晴れから雪に変動する場合が想定されている。しかし、天候が雪から晴れに変動する場合に対しても、本発明の実施形態は、天候が晴れから雪に変動する場合と同様に適用され得る。すなわち、判断部１１３は、天候が雪から晴れに変動すると、雪モデルＭ２よりも晴モデルＭ１の正当性がより高いと判断する。そして、判断部１１３は、晴モデルＭ１が利用モデルとして選択される頻度を高くするとともに、雪モデルＭ２が利用モデルとして選択される頻度を低くする。

以下では、より正当性の高いモデルを判定する手法の例として、第１の判定例から第３の判定例について詳細に説明する。

（第１の判定例）
まず、より正当性の高いモデルを判定する手法の例として第１の判定例について説明する。図１０は、より正当性の高いモデルを判定する手法の例としての第１の判定例について説明するための図である。ここでも、図９と同様に、雪である天候の下に撮像された画像フレームＧ１４が、晴モデルＭ１に入力され、画像フレームＧ１４に続く（雪である天候の下に撮像された）画像フレームＧ１５が、雪モデルＭ２に入力される。

図１０を参照すると、画像フレームＧ１４に基づく晴モデルＭ１による推論結果が画像フレームＧ１４の上に重ねて示されている。より詳細に、画像フレームＧ１４に基づく晴モデルＭ１による推論によって得られた車両検出スコアが所定のスコア（この例では、「０．５」）よりも大きい矩形領域が、車両領域Ｐ１４、Ｐ２４、Ｐ３４、Ｂ１４として検出されている。また、車両領域Ｐ１４、Ｐ２４、Ｐ３４、Ｂ１４に対応する車両検出スコアが「０．８」「０．６」「０．５」「０．５」として、各車両領域の上に記載されている。

車両領域Ｐ１４、Ｐ２４、Ｐ３４、Ｂ１４を参照すると、車両領域Ｐ１４には車両Ａ１が実際に存在しており、車両領域Ｐ２４には車両Ａ２が実際に存在しており、車両領域Ｐ３４には車両Ａ３が実際に存在している。しかし、車両領域Ｂ１４には車両が実際に存在しておらず、車両の代わりに人Ｑ１４が存在している。すなわち、晴モデルＭ１によって人Ｑ１４が車両として誤って検出されている。

また、画像フレームＧ１５に基づく雪モデルＭ２による推論結果が画像フレームＧ１５の上に重ねて示されている。より詳細に、画像フレームＧ１５に基づく雪モデルＭ２による推論によって得られた車両検出スコアが所定のスコア（この例では、「０．５」）よりも大きい矩形領域が、車両領域Ｐ１５、Ｐ２５、Ｐ３５、Ｐ４５として検出されている。また、車両領域Ｐ１５、Ｐ２５、Ｐ３５、Ｐ４５に対応する車両検出スコアが「１．０」「０．９」「０．６」「０．５」として、各車両領域の上に記載されている。

車両領域Ｐ１５、Ｐ２５、Ｐ３５、Ｐ４５を参照すると、車両領域Ｐ１５にも車両Ａ１が実際に存在しており、車両領域Ｐ２５にも車両Ａ２が実際に存在しており、車両領域Ｐ３５にも車両Ａ３が実際に存在しており、車両領域Ｐ４５にも車両Ａ４が実際に存在している。すなわち、雪モデルＭ２によって誤りなく車両が検出されている。

判断部１１３は、晴モデルＭ１によって車両が検知された車両領域Ｐ１４、Ｐ２４、Ｐ３４、Ｂ１４（第１の領域）に車両が実際に存在する正解率（第１の正解率）を晴モデルＭ１の正当性として算出する。さらに、判断部１１３は、雪モデルＭ２によって車両が検知された車両領域Ｐ１５、Ｐ２５、Ｐ３５、Ｐ４５（第２の領域）に車両が実際に存在する正解率（第２の正解率）を雪モデルＭ２の正当性として算出する。

例えば、判断部１１３は、学習済みのニューラルネットワーク（例えば、学習済みのディープラーニングニューラルネットワーク）を含んでよい。学習済みのニューラルネットワークは、車両が写る画像データと当該画像データに車両が存在するか否かを示す値との組み合わせを教師データとしてニューラルネットワークを学習させることによって生成され得る。

具体的な構成の例として、判断部１１３に含まれる学習済みのニューラルネットワークは、晴モデルＭ１および雪モデルＭ２と同様に、畳み込み層とプーリング層との繰り返しおよび多段の全結合を含んだニューラルネットワークであってよい。すなわち、判断部１１３に含まれる学習済みのニューラルネットワークは、ＣＮＮによって構成されてよい。しかし、判断部１１３に含まれる学習済みのニューラルネットワークは、畳み込み層およびプーリング層を有していないニューラルネットワークによって構成されてもよい。また、判断部１１３に含まれる学習済みのニューラルネットワークの全結合は多段に構成されていなくてもよい。

ここで、晴モデルＭ１によって車両が検知された車両領域Ｐ１４、Ｐ２４、Ｐ３４、Ｂ１４（第１の領域）に車両が実際に存在する正解率（第１の正解率）は、「３／４」である。したがって、晴モデルＭ１の正当性は、「３／４」である。一方、雪モデルＭ２によって車両が検知された車両領域Ｐ１５、Ｐ２５、Ｐ３５、Ｐ４５（第２の領域）に車両が実際に存在する正解率（第２の正解率）は、「４／４」である。したがって、雪モデルＭ２の正当性は、「４／４」である。一例として、判断部１１３は、これらの正当性に基づいて、雪モデルＭ２の正当性が晴モデルＭ１の正当性よりも高いと判断する。

（第２の判定例）
続いて、より正当性の高いモデルを判定する手法の例として第２の判定例について説明する。図１１は、より正当性の高いモデルを判定する手法の例としての第２の判定例について説明するための図である。図１０に示された例と同様にして、画像フレームＧ１４が、晴モデルＭ１に入力され、画像フレームＧ１４に続く画像フレームＧ１５が、雪モデルＭ２に入力される。図１０に示された例と同様にして、画像フレームＧ１４に基づく晴モデルＭ１による推論結果と、画像フレームＧ１５に基づく雪モデルＭ２による推論結果とが得られる。

ここで、車両検出スコアは、モデルの正当性を決めるための指標として用いられ得る。例えば、高い車両検出スコアが多く得られているほど、モデルの正当性が高いと考えられる。そこで、判断部１１３は、晴モデルＭ１によって得られた車両領域Ｐ１４、Ｐ２４、Ｐ３４、Ｂ１４それぞれに対応する車両検出スコア（第１の検出スコア）に基づいて晴モデルＭ１の正当性を算出する。さらに、判断部１１３は、雪モデルＭ２によって得られた車両領域Ｐ１５、Ｐ２５、Ｐ３５、Ｐ４５それぞれに対応する車両検出スコア（第２の検出スコア）に基づいて雪モデルＭ２の正当性を算出する。

図１１に示された例では、判断部１１３は、晴モデルＭ１によって得られた車両領域Ｐ１４、Ｐ２４、Ｐ３４、Ｂ１４それぞれに対応する車両検出スコアのうち、第１の閾値（この例では、「０．９」）よりも高い車両検出スコアの数「０個」を晴モデルＭ１の正当性として算出する。また、判断部１１３は、雪モデルＭ２によって得られた車両領域Ｐ１５、Ｐ２５、Ｐ３５、Ｐ４５それぞれに対応する車両検出スコアのうち、第２の閾値（この例では、「０．９」）よりも高い車両検出スコアの数「２個」を雪モデルＭ２の正当性として算出する。

ここでは、第１の閾値と第２の閾値とが、同じ値である場合を想定する。しかし、第１の閾値と第２の閾値とは、異なる値であってもよい。一例として、判断部１１３は、これらの正当性に基づいて、雪モデルＭ２の正当性が晴モデルＭ１の正当性よりも高いと判断する。

（第３の判定例）
続いて、より正当性の高いモデルを判定する手法の例として第３の判定例について説明する。図１２は、より正当性の高いモデルを判定する手法の例としての第３の判定例について説明するための図である。図１０に示された例と同様にして、画像フレームＧ１４が、晴モデルＭ１に入力され、画像フレームＧ１４に続く画像フレームＧ１５が、雪モデルＭ２に入力される。図１０に示された例と同様にして、画像フレームＧ１４に基づく晴モデルＭ１による推論結果と、画像フレームＧ１５に基づく雪モデルＭ２による推論結果とが得られる。

図１２に示された例では、判断部１１３は、晴モデルＭ１によって得られた車両領域Ｐ１４、Ｐ２４、Ｐ３４、Ｂ１４それぞれに対応する車両検出スコアの平均値「０．６」を晴モデルＭ１の正当性として算出する。また、判断部１１３は、雪モデルＭ２によって得られた車両領域Ｐ１５、Ｐ２５、Ｐ３５、Ｐ４５それぞれに対応する車両検出スコアの平均値「０．７５」を雪モデルＭ２の正当性として算出する。一例として、判断部１１３は、これらの正当性に基づいて、雪モデルＭ２の正当性が晴モデルＭ１の正当性よりも高いと判断する。

（検知結果の利用）
以上に説明したように、画像フレーム分配部１１２から晴モデルＭ１に入力された画像フレームに基づいて晴モデルＭ１によって車両が検知される。また、画像フレーム分配部１１２から雪モデルＭ２に入力された画像フレームに基づいて雪モデルＭ２によって車両が検知される。移動軌跡抽出部１１５は、晴モデルＭ１による車両検知の結果と、雪モデルＭ２による車両検知の結果とに基づいて、動画像中の車両の軌跡を抽出する。

例えば、移動軌跡抽出部１１５は、（晴モデルＭ１および雪モデルＭ２を区別なく）現在の画像フレームおよび過去の画像フレームそれぞれにおいて同一とみなした車両の位置同士を対応付ける処理を繰り返し実行することによって、車両の軌跡を抽出する。例えば、移動軌跡抽出部１１５によって抽出された車両の軌跡は、既に説明したように、計測処理部１１６によって、計測線Ｌ０（図７）を跨いだ車両台数（すなわち、車両軌跡の数）の計測に利用され得る。

以上、本発明の実施形態に係る移動物体抽出システム１の動作の例について説明した。

（２．ハードウェア構成例）
続いて、本発明の実施形態に係る移動物体抽出装置１０のハードウェア構成例について説明する。以下では、本発明の実施形態に係る移動物体抽出装置１０のハードウェア構成例として、情報処理装置９００のハードウェア構成例について説明する。なお、以下に説明する情報処理装置９００のハードウェア構成例は、移動物体抽出装置１０のハードウェア構成の一例に過ぎない。したがって、移動物体抽出装置１０のハードウェア構成は、以下に説明する情報処理装置９００のハードウェア構成から不要な構成が削除されてもよいし、新たな構成が追加されてもよい。

図１３は、本発明の実施形態に係る移動物体抽出装置１０の例としての情報処理装置９００のハードウェア構成を示す図である。情報処理装置９００は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）♯１（９０１－１）と、ＣＰＵ♯２（９０１－２）と、ＡＩチップ９０１－３と、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）９０２と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）９０３と、ホストバス９０４と、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力装置９０８と、出力装置９０９と、ストレージ装置９１０と、通信装置９１１と、を備える。

ＣＰＵ♯１（９０１－１）、ＣＰＵ♯２（９０１－２）、ＡＩチップ（９０１－３）は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ♯１（９０１－１）、ＣＰＵ♯２（９０１－２）、ＡＩチップ（９０１－３）は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバス等から構成されるホストバス９０４により相互に接続されている。

ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（ＰｅｒｉｐｈｅｒａｌＣｏｍｐｏｎｅｎｔＩｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス９０６に接続されている。なお、必ずしもホストバス９０４、ブリッジ９０５および外部バス９０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置９０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバー等ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等から構成されている。情報処理装置９００を操作するユーザは、この入力装置９０８を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置９０９は、例えば、ＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（ＯｒｇａｎｉｃＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）装置、ランプ等の表示装置およびスピーカ等の音声出力装置を含む。

ストレージ装置９１０は、データ格納用の装置である。ストレージ装置９１０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置９１０は、例えば、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）で構成される。このストレージ装置９１０は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。

通信装置９１１は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１１は、無線通信または有線通信のどちらに対応してもよい。

以上、本発明の実施形態に係る移動物体抽出装置１０のハードウェア構成例について説明した。

（３．まとめ）
以上に説明したように、本発明の実施形態によれば、フレームに基づいて検知対象の検知を行う第１のモデルと、フレームに基づいて検知対象の検知を行う第２のモデルと、を備える、移動物体抽出装置１０が提供される。

移動物体抽出装置１０は、複数のフレームを取得し、フレームごとに第１のモデルまたは第２のモデルを利用モデルとして選択し、利用モデルによる検知が実行されるように複数のフレームを分配する。そして、移動物体抽出装置１０は、第１のモデルによる推論結果と第２のモデルによる推論結果とに基づいて、第１のモデルと第２のモデルとのうち、より正当性が高いモデルが利用モデルとして選択される頻度を高くする。

かかる構成によれば、第１のモデルと第２のモデルとのうち、より正当性が高いモデルの利用頻度が高くなるため、検知対象の検知精度の低下が抑制され得る。例えば、環境が変動してしまう場合であっても、変動後の環境に基づいて、より正当性が高いモデルの利用頻度が高くなるため、環境が変動してしまう場合であっても検知対象の検知精度の低下が抑制され得る。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

上記したように、第１のモデルと第２のモデルとは、互いに異なる環境において得られたデータに基づいて生成された学習済みモデルである。例えば、天候ごとに得られるフレームの特徴が変化し得ることが想定されるため、上記では、第１のモデルと第２のモデルとが、互いに異なる天候において得られたデータに基づいて生成された学習済みモデルである場合を想定した。しかし、第１のモデルと第２のモデルとは、互いに異なる天候以外の環境において得られたデータに基づいて生成された学習済みモデルであってもよい。

例えば、時間帯ごとに得られるフレームの特徴が変化し得ることも想定される。例えば、昼間の時間帯と夜間の時間帯とにおいて得られるフレームの特徴は変化し得ることも想定される。そのため、第１のモデルと第２のモデルとは、互いに異なる時間帯において得られたデータに基づいて生成された学習済みモデルであってもよい（環境は時間帯であってもよい）。

あるいは、場所ごとに得られるフレームの特徴が変化し得ることも想定される。例えば、高速道路と一般道路とにおいて得られるフレームの特徴は変化し得ることも想定される。そのため、第１のモデルと第２のモデルとは、互いに異なる場所において得られたデータに基づいて生成された学習済みモデルであってもよい（環境は場所であってもよい）。

ただし、本発明の実施形態では、そのときの環境から得られたフレームに基づいて、第１のモデルおよび第２のモデルによって実際に行われた推論に基づいて、第１のモデルおよび第２のモデルの利用頻度が制御される。したがって、環境の変動が、偶発的かつ可逆的に変動する場合に対して、本発明の実施形態がより好ましく適用され得ると考えられる。

また、上記では、第１のモデルおよび第２のモデルそれぞれは、画像フレームに基づいて所定の物体を検知する場合を主に想定した。しかし、第１のモデルおよび第２のモデルそれぞれは、画像フレームに基づいて所定の事象を検知対象として検知してもよい。ここで、検知対象として検知される事象は特に限定されない。例えば、検知対象として検知される事象は、画像フレームに写る道路の車両走行状態が、自由流であるといった事象であってもよいし、画像フレームに写る道路の車両走行状態が、渋滞流であるといった事象であってもよい。

さらに、第１のモデルおよび第２のモデルそれぞれは、音声フレームに基づいて所定の音を検知対象として検知してもよい。このとき、マイクロフォンによって時系列に沿って連続的に音が収集され、マイクロフォンによって収集された音に基づいて時系列に沿って連続的に音声フレームがフレーム分配部に入力される。ここで、検知対象として検知される所定の音は、特に限定されない。例えば、所定の音は、所定の物（例えば、機械、機器など）から発生する異音（通常とは異なる音）であってもよい。かかる構成によれば、所定の音が検知されるか否かによって、物の状態が判断され得る。

あるいは、第１のモデルおよび第２のモデルそれぞれは、音声フレームに基づいて所定の事象を検知対象として検知してもよい。検知対象として検知される所定の事象は、特に限定されない。例えば、所定の音は、所定の物（例えば、機械、機器など）の故障であってもよい。かかる構成によれば、所定の音が検知されるか否かによって、物の故障が判断され得る。

また、例えば、上記では、移動物体抽出装置１０とカメラ２０とが別体として構成されている場合を主に説明した。しかし、移動物体抽出装置１０とカメラ２０とは、一体化されて構成されていてもよい。

１移動物体抽出システム
１０移動物体抽出装置
１１０制御部
１１１車両検出部
１１２画像フレーム分配部
１１３判断部
１１５移動軌跡抽出部
１１６計測処理部
１３０記憶部
２０カメラ

Claims

フレームに基づいて検知対象の検知を行う第１のモデルと、
フレームに基づいて検知対象の検知を行う第２のモデルと、
複数のフレームを取得し、フレームごとに前記第１のモデルまたは前記第２のモデルを利用モデルとして選択し、前記利用モデルによる検知が実行されるように前記複数のフレームを分配するフレーム分配部と、
前記第１のモデルによる推論結果と前記第２のモデルによる推論結果とに基づいて、前記第１のモデルと前記第２のモデルとのうち、より正当性が高いモデルが前記利用モデルとして選択される頻度を高くする判断部と、
を備える、データ処理装置。
前記第１のモデルと前記第２のモデルとは、互いに異なる環境において得られたデータに基づいて生成される、
請求項１に記載のデータ処理装置。
前記環境は、天候、時間帯または場所である、
請求項２に記載のデータ処理装置。
前記判断部は、前記第１のモデルによって検知対象が検知された第１の領域に検知対象が存在する第１の正解率を第１のモデルの正当性として算出するとともに、前記第２のモデルによって検知対象が検知された第２の領域に検知対象が存在する第２の正解率を前記第２のモデルの正当性として算出する、
請求項１～３のいずれか一項に記載のデータ処理装置。
前記判断部は、前記第１のモデルによって得られた第１の検出スコアに基づいて前記第１のモデルの正当性を算出するとともに、前記第２のモデルによって得られた第２の検出スコアに基づいて前記第２のモデルの正当性を算出する、
請求項１～３のいずれか一項に記載のデータ処理装置。
前記判断部は、第１の閾値よりも高い前記第１の検出スコアの数を前記第１のモデルの正当性として算出するとともに、第２の閾値よりも高い前記第２の検出スコアの数を前記第２のモデルの正当性として算出する、
請求項５に記載のデータ処理装置。
前記判断部は、前記第１の検出スコアの平均値を前記第１のモデルの正当性として算出するとともに、前記第２の検出スコアの平均値を前記第２のモデルの正当性として算出する、
請求項５に記載のデータ処理装置。
前記判断部は、所定のフレームごとに前記第１のモデルの正当性と前記第２のモデルの正当性との比較を行う、
請求項１～７のいずれか一項に記載のデータ処理装置。
前記判断部は、前記より正当性が高いモデルによって得られた検出スコアの平均値が所定の値よりも低くなった場合、または、前記より正当性が高いモデルによって得られた検出スコアが所定のスコアよりも高い数が所定の数よりも少なくなった場合に、前記第１のモデルの正当性と前記第２のモデルの正当性との比較を行う、
請求項１～７のいずれか一項に記載のデータ処理装置。
前記第１のモデルおよび前記第２のモデルそれぞれは、画像フレームに基づいて所定の物体または所定の事象を検知対象として検知する、
請求項１～９のいずれか一項に記載のデータ処理装置。
前記第１のモデルによる物体検知の結果と前記第２のモデルによる物体検知の結果とに基づいて、前記複数のフレーム中の物体の軌跡を抽出する移動軌跡抽出部を備える、
請求項１０に記載のデータ処理装置。
前記第１のモデルおよび前記第２のモデルそれぞれは、音声フレームに基づいて所定の音または所定の事象を検知対象として検知する、
請求項１～９のいずれか一項に記載のデータ処理装置。
複数のフレームを取得し、フレームごとに第１のモデルまたは第２のモデルを利用モデルとして選択し、前記利用モデルによる検知が実行されるように前記複数のフレームを分配することと、
前記第１のモデルによる推論結果と前記第２のモデルによる推論結果とに基づいて、前記第１のモデルと前記第２のモデルとのうち、より正当性が高いモデルが前記利用モデルとして選択される頻度を高くすることと、
を含む、コンピュータにより実行されるデータ処理方法。
コンピュータを、
フレームに基づいて検知対象の検知を行う第１のモデルと、
フレームに基づいて検知対象の検知を行う第２のモデルと、
複数のフレームを取得し、フレームごとに前記第１のモデルまたは前記第２のモデルを利用モデルとして選択し、前記利用モデルによる検知が実行されるように前記複数のフレームを分配するフレーム分配部と、
前記第１のモデルによる推論結果と前記第２のモデルによる推論結果とに基づいて、前記第１のモデルと前記第２のモデルとのうち、より正当性が高いモデルが前記利用モデルとして選択される頻度を高くする判断部と、
を備えるデータ処理装置として機能させるためのプログラム。