JPWO2018139461A1 - 移動物体検出装置、移動物体検出方法及び記憶媒体 - Google Patents

Abstract

移動するカメラによって撮影された映像から移動物体を検出する精度を向上させることができる移動物体検出技術を提供する。本発明の一態様に係る移動物体検出装置１０Ａは、移動体に設けられた撮像装置によって撮像された映像を受け取る受付部１１と、前記映像に含まれる画像の画素の動きに基づく、移動物体の第１のスコアを算出する第１算出部１３と、前記画像と前記画素の動きとに基づいて更新された背景モデルと、前記画像とに基づいて、移動物体の第２のスコアを算出する第２算出部１５と、前記第１のスコアと前記第２のスコアとに基づいて、前記画像から移動物体を検出する検出部１６と、を備える。

Description

本発明は、移動物体を検出する技術に関し、特に、移動する撮像装置によって撮像された映像において移動物体を検出する技術に関する。

監視カメラから得られる映像の解析において、画像認識処理や画像中の物体の追跡処理を行う前段の処理として、移動物体を検出する処理が一般的に行われている。近年、ウェアラブルカメラやドローンに搭載できるカメラが普及してきている。そのため、固定された監視カメラから得られる映像だけでなく、上記のように、カメラが移動しながら撮影することで得られる映像（以下、移動カメラ映像とも表記）からの移動物体の検出の需要が高まっている。

非特許文献１には、移動カメラ映像から移動物体を検出する方法が開示されている。この方法は、統計的背景差分法を基盤とする移動物体検出方法である。この方法では、映像が含む各フレームが所定のサイズで格子状に分割された領域ごとに、画素値の平均値、分散、Ageに基づく背景モデルが計算される。背景モデルは、フレーム間の画素の動きに基づいて更新される。そして、映像中の最新フレームと背景モデルとの差分に基づいて、移動物体の検出が行われる。

また、特許文献１には、移動物体を検出する移動物体検出装置の例が記載されている。特許文献１の移動物体検出装置は、カメラから入力される時系列画像の各々を、複数の分割領域に分割する。移動物体検出装置は、分割領域毎に、連続する画像間における動きを算出する。移動物体検出装置は、まとまって同じような動きをする複数の分割領域を背景として検出し、背景以外を移動物体として検出する。

また、特許文献２には、背景が変化する動画像から、静止している対象物体及び移動する対象物体を検出する物体検出装置が記載されている。物体検出装置は、カメラから入力された時系列画像から各画像の各画素の特徴を計算し、計算した特徴を蓄積する。物体検出装置は、蓄積された特徴に基づいて、各画素の状態（以下、画素状態とも表記）を、４パターンの画素状態のいずれかに決定する。パターンの画素状態は、短期的な安定状態（静の状態）、短期的な不安定状態（動の状態）、長期的な安定状態（継続的な静の状態）、及び長期的な不安定状態（継続的な動の状態）の４パターンの画素状態である。物体検出装置は、決定した画素状態に基づいて、画素毎に適応的に背景モデルの生成方法を切り替える。物体検出装置は、適応的に切り替えられた生成方法に従って背景を生成する。これにより、物体検出装置は、背景に継続的な動き（例えば木の揺れ、水面のゆれ）がある場合であっても、誤検出することなく移動物体のみ検出を行うことができる。

特開平１０−０９１７９５号公報 特開２００７−３２３５７２号公報

Kwang Moo Yi et al., "Detection of Moving Objects with Non-Stationary Cameras in 5.8ms: Bringing Motion Detection to your Mobile Device," CVPR2013 Workshops, 2013.

非特許文献１の方法では、背景モデルは、入力される時系列画像から構築され、動きに基づいて更新される。そして、背景モデルが示す背景画像と最新の画像との差分に基づいて、背景モデルに存在しない異常な点が、移動物体として検出される。

しかし、静止している物体が、例えばカメラの移動による視点の変化のために、撮影の範囲に新たに含まれた場合、背景モデルは、その物体の情報を含まない。そのため、そのような物体は、静止しているにも関わらず、移動物体として誤検出される。

また、背景が複雑なテクスチャを持つ場合、その背景を表す背景モデルの持つ分散が大きくなる。そのため、背景モデルと最新の画像とを比較した場合、移動物体に含まれる画素であっても、背景モデルによって表される背景の条件を満たす画素が多くなる。結果として、移動物体の検出漏れが増加する。

特許文献１の物体検出装置は、分割領域ごとの動きに基づいて移動物体を検出する。しかし、例えば、周辺に類似する画像パターンがある場合及びノイズなどの影響がある場合、算出される、分割領域の動きの精度は低下する。分割領域の動きの精度が低下すると、背景の検出の精度が低下する。背景の検出の精度が低下すると、移動物体の検出の精度も低下する。

特許文献２の物体検出装置は、入力される時系列画像における各画素の特徴を蓄積し、蓄積された特徴に基づいて、画素状態を決定する。物体検出装置は、決定した画素状態に基づいて、背景モデルの生成方法を適応的に切り替える。しかし、カメラが移動する場合、各画素の画素値が輝度を表す対象は、カメラの移動に応じて変化する。従って、カメラが移動する場合、各画素の画素状態は、背景として撮影される対象の輝度の性質を表すとはいえない。さらに、特許文献２の背景モデルの生成方法は、いずれも、固定されている背景の背景モデルの生成方法である。従って、カメラが移動する場合、すなわち、背景が固定されていない場合、背景モデルを生成することができない。従って、特許文献２の技術によって生成した背景モデルを使用して、精度よく移動物体を検出することはできない。

以上のように、非特許文献１、特許文献１、及び特許文献２の技術に基づいて、移動するカメラによって撮影された映像の背景を精度よく検出することはできない。従って、移動するカメラによって撮影された映像から、移動物体を精度よく検出することはできない。

本発明の目的の１つは、移動するカメラによって撮影された映像から移動物体を検出する精度を向上させることができる移動物体検出装置等を提供することにある。

本発明の一態様に係る移動物体検出装置は、移動体に設けられた撮像装置によって撮像された映像を受け取る受付手段と、前記映像に含まれる画像の画素の動きに基づく、移動物体の第１のスコアを算出する第１算出手段と、前記画像と前記画素の動きとに基づいて更新された背景モデルと、前記画像とに基づいて、移動物体の第２のスコアを算出する第２算出手段と、前記第１のスコアと前記第２のスコアとに基づいて、前記画像から移動物体を検出する検出手段と、を備える。

本発明の一態様に係る移動物体検出方法は、移動体に設けられた撮像装置によって撮像された映像を受け取り、前記映像に含まれる画像の画素の動きに基づく、移動物体の第１のスコアを算出し、前記画像と前記画素の動きとに基づいて更新された背景モデルと、前記画像とに基づいて、移動物体の第２のスコアを算出し、前記第１のスコアと前記第２のスコアとに基づいて、前記画像から移動物体を検出する。

本発明の一態様に係る記憶媒体は、コンピュータに、移動体に設けられた撮像装置によって撮像された映像を受け取る受付処理と、前記映像に含まれる画像の画素の動きに基づく、移動物体の第１のスコアを算出する第１算出処理と、前記画像と前記画素の動きとに基づいて更新された背景モデルと、前記画像とに基づいて、移動物体の第２のスコアを算出する第２算出処理と、前記第１のスコアと前記第２のスコアとに基づいて、前記画像から移動物体を検出する検出処理と、を実行させるプログラムを記憶する。本発明の一態様は、上記記憶媒体が記憶するプログラムによっても実現される。

本発明には、移動するカメラによって撮影された映像から移動物体を検出する精度を向上させることができるという効果がある。

図１は、本発明の第１の実施形態に係る移動物体検出装置の構成を示すブロック図である。 図２は、本発明の第１の実施形態に係る動き推定部の処理の過程において得られる動きの例を模式的に示す図である。 図３は、本発明の第１の実施形態に係る第１のスコアを算出するまでの過程において、入力される画像及び算出されるフローを模式的に表す図である。 図４は、本発明の第１の実施形態に係るグリッド及びモデルの例を模式的に示す図である。 図５は、グリッドに含まれる画素の画素値とそのグリッドモデルとを模式的に示す図である。 図６は、統合スコアに関する判定の基準の例を模式的に表す図である。 図７は、統合スコアに関する判定の基準の例を模式的に表す図である。 図８は、統合スコアに関する判定の基準の例を模式的に表す図である。 図９は、本発明の第１の実施形態に係る移動物体検出装置の動作の例を表すフローチャートである。 図１０は、本発明の第１の実施形態に係る移動物体検出装置の、移動物体検出処理の動作の例を表すフローチャートである。 図１１は、本発明の第２の実施形態に係る移動物体検出装置の構成の例を表すブロック図である。 図１２は、本発明の第２の実施形態に係る移動物体検出装置の動作の例を表すフローチャートである。 図１３は、本発明の実施形態に係る移動物体検出装置を実現することができる、コンピュータのハードウェア構成の一例を表す図である。 図１４は、本発明の第１の実施形態の全体像の例を示す図である。 図１５は、本発明の第１の実施形態の変形例に係る撮影装置の構成の例を表す図である。

次に、本発明の実施の形態について図面を参照して詳細に説明する。

＜第１の実施形態＞
＜＜構成の説明＞＞
図１は、本発明の第１の実施形態に係る移動物体検出装置の構成を示すブロック図である。

図１に示すように、本実施形態の移動物体検出装置１０は、受付部１１と、動き推定部１２と、第１算出部１３と、背景更新部１４と、第２算出部１５と、検出部１６と、出力部１７とを含む。

受付部１１は、カメラから得られる時系列画像を受け取る。時系列画像は、例えば所定時間毎に撮影された、連続する静止画像を表す。時系列画像の形式は、時系列画像に含まれる画像を個別に取り出せる形式であればよい。画像の形式は、移動物体検出装置１０が認識できる形式であればよい。以下の説明では、時系列画像は、映像とも表記される。静止画像は、単に、画像とも表記される。カメラは、撮影された時系列画像に含まれる画像を、得られた順番で、移動物体検出装置１０に送信してもよい。

カメラは、例えば、移動体に搭載されている撮影装置である。移動体は、例えば、ドローン、車両、ヘッドマウントディスプレイ、携帯端末などである。カメラに移動可能な機構が組み込まれていてもよい。すなわち、カメラが移動体であってもよい。移動体は、これらの例に限られない。

図１４は、本実施形態の全体像の例を示す図である。図１４に示す例では、移動物体検出装置１０は、通信ネットワーク３０を介して、無線通信、有線通信、又は無線通信と有線通信との組合せによって、カメラ２０と通信可能に接続されている。カメラ２０は、移動体４０に搭載されている。移動物体検出装置１０には、例えばディスプレイ等の出力装置６０が接続されていてもよい。移動物体検出装置１０は、例えば通信ネットワーク３０を介して、端末装置５０と接続されていてもよい。端末装置５０は、例えば、受信した移動物体の情報などを表示する機能を備えた装置である。端末装置５０は、例えば、コンピュータ又は携帯端末などであってもよい。後述される出力部１７は、検出した移動物体の情報を、出力装置６０に送信してもよい。出力部１７は、検出した移動物体の情報を、端末装置５０に送信してもよい。

カメラが、移動物体検出装置１０を含んでいてもよい。カメラ自体が、移動物体検出装置１０として動作してもよい。すなわち、カメラの筐体内に取り付けられたコントローラ又はプロセッサ等が、移動物体検出装置１０として動作してもよい。移動体が、移動物体検出装置１０として動作してもよい。以下の説明では、カメラは撮影装置とも表記される。

受付部１１は、受け付けた時系列画像に含まれる画像を、動き推定部１２及び背景更新部１４に送出する。以下の説明では、受付部１１は、時系列画像に含まれる画像を、時系列で、動き推定部１２及び背景更新部１４に送出する。そして、移動物体検出装置１０は、例えば、受付部１１が送出した画像の中で、最も新しく（すなわち、最後に）送出された画像から、移動物体を検出する。以下の説明では、移動物体が検出される画像は、最新の画像、最新の入力画像及び対象画像とも表記する。

本実施形態の説明では、受付部１１は、時系列画像に含まれる画像を、撮影の順番で、カメラから受け取る。そして、受付部１１は、時系列画像に含まれる画像を、受け取りの順番で、動き推定部１２と背景更新部１４とに送出する。受付部１１は、カメラから受け取った、対象画像を含む所定枚数の連続画像を保持していてもよい。受付部１１が保持する画像は、対象画像よりも前に撮影された画像を含んでいてもよい。受付部１１が保持する画像は、対象画像よりも後に撮影された画像を含んでいてもよい。受付部１１は、受け取った時系列画像の全体を、動き推定部１２と背景更新部１４とに送出してもよい。その場合、例えば、動き推定部１２が、時系列画像の中から、例えば時系列の順番で対象画像を選択してもよい。動き推定部１２は、選択した対象画像の識別子を、背景更新部１４に通知してもよい。移動物体検出装置１０の各部は、対象画像として選択された画像が、移動物体が検出される画像であるとして、処理を行えばよい。

動き推定部１２は、受付部１１が受け付けた連続画像に含まれる画像から、代表点における動き（例えばオプティカルフロー）を推定する。代表点は、例えば、予め定められた画素である。

第１算出部１３は、推定された、代表点における動き（例えばオプティカルフロー）に基づいて、例えば代表点における、移動物体のスコア（以下、第１のスコアとも表記）を算出する。移動物体のスコアは、画素が移動物体の領域に含まれている可能性の程度を示す。

背景更新部１４は、最新の入力画像に基づいて、背景モデルを更新する。背景モデルは、最新の入力画像における背景の情報を表す。背景の情報については後述する。背景更新部１４は、最新の入力画像と更新された背景モデルとを、第２算出部１５に送信する。第２算出部１５は、受信した、背景モデルと入力画像との比較結果に基づいて、移動物体のスコア（以下、第２のスコアとも表記）を算出する。

検出部１６は、第１算出部１３によって算出された移動物体のスコア（第１のスコア）と第２算出部１５によって算出された移動物体のスコア（第２のスコア）とに基づいて、最新の入力画像から移動物体を検出する。検出部１６は、例えば、第１のスコアに基づいて、最新の入力画像から移動物体を検出し、そして、第２のスコアに基づいて、最新の入力画像から移動物体を検出してもよい。検出部１６は、第１のスコアに基づいて検出された移動物体と、第２のスコアに基づいて検出された移動物体とを統合し、統合された移動物体を、最終的な移動物体として検出してもよい。

出力部１７は、検出された移動物体の情報を出力する。出力部１７は、例えば、検出された移動物体の領域を示す表示を最新の入力画像に重畳し、移動物体の表示が重畳された最新の入力画像を出力してもよい。出力部１７は、例えば、検出された移動物体の領域以外の領域を示す表示を最新の入力画像に重畳し、移動物体の領域以外の領域を示す表示が重畳された入力画像を出力してもよい。出力される移動物体の画像の形式として、さまざまな形式を採用することができる。

また、動き推定部１２は、代表点動き推定部１２１と、背景動き推定部１２２と、抑制部１２３とを含む。代表点動き推定部１２１は、例えば、最新の入力画像と、参照画像とに基づいて、最新の入力画像における、複数の代表点の動き（例えばオプティカルフロー）を計算する。以下では、代表点のオプティカルフローは、代表フローとも表記される。入力画像の参照画像は、例えば、その入力画像よりも前の入力画像であってもよい。最新の入力画像よりも前の入力画像は、例えば、前述の時系列画像において、時系列の順番で、最新の入力画像よりも所定枚数前の画像である。最新の入力画像よりも前の入力画像は、受付部１１によって、最新の入力画像よりも前に、動き推定部１２に送られている。最新の入力画像よりも前の入力画像は、時系列画像において、時系列の順番で、最新の入力画像の直前の画像であってもよい。参照画像は、時系列画像において、時系列の順番で、最新の入力画像よりも後の画像であってもよい。その場合、受付部１１は、最新の入力画像と参照画像とを、動き推定部１２の代表点動き推定部１２１に供給すればよい。代表点動き推定部１２１は、受け取った、最新の入力画像と参照画像とに基づいて、代表フローを計算すればよい。

背景動き推定部１２２は、代表フローに基づいて、背景領域の動き（背景領域のオプティカルフロー）を推定する。背景領域のオプティカルフローは、背景フローとも表記される。

抑制部１２３は、代表フローにおける背景フローの成分を抑制する。抑制部１２３は、例えば、背景フローを代表フローから減算することによって、代表フローから背景フローの成分が除かれたオプティカルフロー（局所フロー）を計算する。以下の説明では、代表フローから背景フローの成分をキャンセルしたオプティカルフローは、局所フローとも表記される。

次に、受付部１１について、更に詳しく説明する。

受付部１１は、カメラから得られる時系列画像を受け取る。時系列画像は、その時系列画像を撮影したカメラから、受付部１１に入力されてもよい。時系列画像を記憶する記憶装置又はサーバが、時系列画像を受付部１１に入力してもよい。受付部１１が、記憶装置又はサーバが記憶する時系列画像を読み出してもよい。受付部１１は、受け取った時系列画像に、フィルター処理などの画像処理によって補正を行ってもよい。具体的には、受付部１１は、受け取った時系列画像が含む画像の各々に、上述の補正を行ってもよい。補正は、例えば、ノイズ除去であってもよい。受付部１１は、時系列画像が含む画像の各々に、例えば、ノイズを低減するために、3×3画素サイズのメディアンフィルターをかけた後、5×5画素サイズのガウシアンフィルターをかけてもよい。また、受付部１１は、受け取った時系列画像を、動き推定部１２と、背景更新部１４とに送出する。具体的には、受付部１１は、例えば、受け取った時系列画像に含まれる画像を、時系列の順番で、動き推定部１２の代表点動き推定部１２１と、背景更新部１４とに送出してもよい。受付部１１は、時系列画像を、さらに、第２算出部１５に送出してもよい。受付部１１は、時系列画像を、背景更新部１４を介して、第２算出部１５に送出してもよい。受付部１１は、時系列画像を、さらに、出力部１７に送出してもよい。受付部１１は、時系列画像を、動き推定部１２、第１算出部１３及び検出部１６を介して、出力部１７に送出してもよい。

次に、動き推定部１２について、更に詳しく説明する。上述のように、動き推定部１２は、代表点動き推定部１２１と、背景動き推定部１２２と、抑制部１２３とを含む。

図２は、動き推定部１２の処理の過程において得られる動きの例を模式的に示す図である。

代表点動き推定部１２１は、例えば、受付部１１より受け取った、最新の入力画像に代表点を定め、定めた代表点に対応する、参照画像の点を推定する。参照画像が最新の入力画像よりも前の画像である場合、代表点動き推定部１２１は、代表点に対応する点から代表点への動きを、オプティカルフローとして算出すればよい。参照画像が最新の入力画像よりも後の画像である場合、代表点動き推定部１２１は、代表点から代表点に対応する点への動きを、オプティカルフローとして算出すればよい。代表点動き推定部１２１は、予め定められた方法に従って、代表点を定めればよい。代表点動き推定部１２１は、例えば、縦方向及び横方向にそれぞれ所定の間隔で代表点が配置されるように代表点を定めてもよい。縦方向の間隔と横方向の間隔は異なっていてもよい。代表点動き推定部１２１は、画像の端の画素が代表点にならないように、代表点を定めてもよい。代表点動き推定部１２１は、例えば、入力画像を縦方向及び横方向に所定周期で分割することによって得られる各領域の中央の点を、代表点にしてもよい。例えば、入力画像のサイズが1920画素×1080画素であり、時刻Tに関連付けられている入力画像が最新の入力画像であり、時刻T-1に関連付けられている画像が参照画像であり、横方向の周期が32画素であり、縦方向の周期が24画素であるとする。この場合、代表点動き推定部１２１は、時刻Tに関連付けられている入力画像に、横方向の周期が32画素であり、縦方向の周期が24画素である、合計2700個の代表点を定める。そして、代表点動き推定部１２１は、時刻T-1に関連付けられている画像を参照して、代表点におけるオプティカルフロー（すなわち、代表フロー）の計算を行う。時刻Tに関連付けられている画像は、例えば、時刻Tに撮影された画像であってもよい。時刻Tに関連付けられている画像は、例えば、時刻Tに動き推定部１２が受け取った画像であってもよい。時刻Tに関連付けられている画像は、時系列画像に含まれる所定の画像（例えば先頭の画像）が撮影されてから時間T後に撮影された画像であってもよい。なお、オプティカルフローを計算する方法として、代表点を中心とした周辺画素を画像パッチとして扱い、最小二乗法、相互相関最大化法、又はルーカス・カナデ法などを用いる方法を使用することができる。図２に例示する画像Ｐ１は、時刻T-1に関連付けられている画像（以下、フレームT-1と表記）であり、画像Ｐ２は、時刻Tに関連付けられている画像（以下、フレームTと表記）である。画像Ｐ３は、計算された代表フローの結果の例を表す。

背景動き推定部１２２は、時系列画像に含まれる各画像において背景領域が支配的である（例えば、背景領域の面積が入力画像の面積の過半を占める）という前提の下で、代表フローに基づいて、背景領域におけるオプティカルフローを推定する。具体的には、背景動き推定部１２２は、入力画像において、代表点への、代表フローによって表される動きを行う変換行列を算出する。なお、本実施形態の説明では、入力画像において、代表点への、代表フローによって表される動きを行う行列が変換行列である。しかし、背景動き推定部１２２は、入力画像において、代表点から、代表フローによって表される動きを行う行列を、変換行列として算出してもよい。

背景動き推定部１２２は、例えば、代表フローを表すベクトルの始点及びそのベクトルの終点のうち、いずれか一方の点の座標を、変換行列を用いて変換した場合の座標（変換座標）を、もう一方の座標（参照座標）に近づけるように変換行列を推定する。変換座標と参照座標の近さの指標として、例えばユークリッド距離を適用できる。近さの指標は、他の距離であってもよい。なお、代表フローは複数の代表点における動きを表すベクトルを含む。そして、代表点には、移動物体の領域に含まれる代表点が存在する。更に、代表フローは、ノイズ等の影響により、必ずしも正確な動きを示さない。そのため、全ての代表点において上述の変換座標と参照座標とを一致させる変換行列を算出することは困難である。背景動き推定部１２２は、例えば、複数の代表点における変換座標と参照座標のユークリッド距離の総和が小さくなるように変換行列を推定すればよい。

時系列画像に含まれる各画像において背景領域が支配的であれば、背景の動きによって生じるフローが代表フローに占める割合が、背景以外の領域におけるフローの割合より高くなる。言い換えると、代表フローに含まれるフローのうち、半数以上のフローが背景フローを表す。背景動き推定部１２２は、外れ値の影響を受けにくい方法によって、変換行列を算出してもよい。上述のように、入力画像において背景領域が支配的であれば、背景領域に由来するフローが代表フローに占める割合が高くなる。その場合、外れ値の影響を受けにくい方法によって変換行列を算出した場合、背景領域以外の領域に由来するフローは、代表フローにおいて外れ値に相当する。外れ値の影響を受けにくい方法によって変換行列を算出する場合、変換行列に対する、背景領域以外の領域に由来するフローの寄与は、背景領域に由来するフローの寄与と比較して小さい。言い換えると、背景動き推定部１２２は、背景領域に由来するフローによって表される動きを行う変換行列を算出することができる。背景動き推定部１２２は、算出した変換行列に基づいて、代表点における背景の動きを表す背景フローを推定する。

変換行列は、アフィン変換の変換行列であってもよい。変換行列は、ホモグラフィの変換行列であってもよい。例えば移動物体検出装置１０のユーザが、撮影するシーンに応じて、変換行列の種類を選択してもよい。なお、背景動き推定部１２２は、例えば、最小二乗法などを用いて、代表フローと変換行列に基づく背景フローとに基づいて、変換行列を推定することができる。背景動き推定部１２２は、ＲＡＮＳＡＣ（ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ）アルゴリズムやＬｅａｓｔ−Ｍｅｄｉａｎ推定法などの、外れ値の影響を受けにくい最適化計算方法を採用することによって、背景領域に含まれない代表点のフローの影響を軽減できる。この場合、例えば移動物体の領域に含まれる代表点におけるフロー及び移動物体の領域の近傍の代表点におけるフローが外れ値として扱われることによって、背景フローの推定精度を高めることができる。

例えば、ＲＡＮＳＡＣアルゴリズムは、外れ値の影響を受けにくいロバストな最適化方法である。そのため、上述の前提の下であれば、移動物体の領域内及び移動物体の領域の近傍の代表点のオプティカルフローは外れ値として最適化計算時に使用されない。そして、背景領域の代表点のオプティカルフローのみを用いて最適化計算が行われる。背景動き推定部１２２が算出する変換行列は、フレームTの画素と、その画素に対応する、フレームT-1の画素とを関連付ける。言い換えると、この変換行列は、フレームTの画素の座標と、その画素に対応するフレームT-1の画素の座標との間の変換を表す。具体的には、この変換行列は、フレームT-1における画素の座標を、フレームTにおける画素の座標に変換する。従って、この変換行列に基づいて（具体的には、この変換行列の逆行列によって）、フレームTに定められた代表点の座標を変換することによって、代表点に対応する、フレームT-1における点の座標を算出することができる。背景動き推定部１２２は、フレームTに定められた代表点に対応する、フレームT-1における点から、その点に対応する代表点へのベクトルを、その代表点における背景フローとして算出する。算出された背景フローは、カメラの動きによって生じるフローを表す。背景動き推定部１２２は、推定した変換行列を、後で詳述する背景更新部１４に供給する。

図２に示す例では、画像Ｐ４は、代表フローを表す画像Ｐ３に基づいて推定された背景フローの例を表す。背景フローは、特に移動物体の領域内及び移動物体の領域の近傍において代表フローとは異なる。

抑制部１２３は、背景動き推定部１２２が推定した背景フローの成分が、代表点動き推定部１２１が算出した代表フローから除かれた局所フローを算出する。具体的には、抑制部１２３は、背景フローを表すベクトルの成分が、代表フローを表すベクトルから取り除かれたベクトルを、局所フローのベクトルとして算出すればよい。抑制部１２３は、各代表点において、背景フローのベクトルを代表フローのベクトルから減算することによって得られるベクトルを、局所フローとして算出すればよい。

図２に示す例では、画像Ｐ５は、画像Ｐ３に示す代表フローから画像Ｐ４に示す背景フローを減算することによって得られる局所フローの例を表す。移動物体が背景とは異なる動きをしているため，算出された背景フローの精度が高ければ、背景領域における代表フローと背景フローとの差は、移動物体の領域における代表フローと背景フローとの差より小さい。移動物体の領域及び移動物体の領域の近傍の局所フローは、背景領域の局所フローと比べて、顕著な長さを持つ。さらに、移動物体の領域及び移動物体の領域の近傍の局所フローの方向と、背景領域の局所フローの方向との差も顕著である。

抑制部１２３は、各代表点における局所フローに加えて、入力画像の、代表点以外の画素の各々における局所フローを、たとえば補間によって算出する。補間の方法として、バイリニア法及びバイキュービック法などが適用可能である。抑制部１２３は、入力画像の、代表点以外の画素の各々における局所フローを、補間によって算出すればよい。抑制部１２３は、算出した局所フローを、第１算出部１３に供給する。

第１算出部１３は、抑制部１２３から局所フローを受け取り、受け取った局所フローの情報（例えば動きの大きさ（移動量）や動きの方向など）に基づいて、移動物体のスコア（すなわち、上述のように、第１のスコア）を算出する。第１算出部１３は、最新の入力画像における局所フローのみに基づいて、第１のスコアを計算してもよい。第１算出部１３は、最新の入力画像における局所フローと、過去の入力画像における局所フローとに基づいて、第１のスコアを計算してもよい。

上述のように、図２の画像Ｐ５は、算出された局所フローの例を表す。Ｐ５に示すように、局所フローは、代表フローから背景フローの成分を除去することによって生成されたフローである。そのため、移動物体の領域およびその周辺の局所フローの大きさは、背景領域の局所フローの大きさと比べて、大きい。特許文献１にも開示されているように、代表フローから背景フローの成分を除去することによって、背景と異なる動きをしている物体を検出する方法は、既知である。しかし、ノイズの影響によって、背景領域の局所フローの大きさが、背景領域の他の局所フローの大きさと比較して大きい場合もある。そのため、１枚の画像における局所フローのみに基づいて、例えば局所フローの大きさに依存する移動物体のスコアを計算した場合、背景領域のノイズ等が生じた領域において、移動物体の領域におけるスコア同等のスコアが算出されることがある。しかし、同等のノイズが同じ領域に連続して生じる可能性は高くはない。ノイズによって生じる局所フローは、連続する画像において安定的に検出されないことが期待される。移動物体の動きが、例えば動画像の連続するフレーム間において大きく異なるほど急激に変化しなければ、連続するフレームにおける、移動物体による局所フローは、類似することが期待される。ノイズが生じた領域を移動物体の領域として検出する問題を防ぐために、例えば移動物体の動き方が急激に変化しないという仮定の下、第１算出部１３は、連続する画像における局所フローの類似性に基づくスコアを、移動物体のスコアとして算出してもよい。

図３は、第１のスコアを算出するまでの過程において、入力される画像及び算出されるフローを模式的に表す図である。図３では、画像Ｐ６、画像Ｐ７、及び画像Ｐ８は、時刻（T-2）の入力画像、時刻(T-1）の入力画像、及び時刻T入力画像である。画像Ｐ９は、画像Ｐ６及び画像Ｐ７から算出した代表フローが画像Ｐ７に重畳された画像を表す。画像Ｐ１０は、画像Ｐ７及び画像Ｐ８から算出した代表フローが、画像Ｐ８に重畳された画像を表す。画像Ｐ１１は、画像Ｐ９に示す代表フローを元に算出された局所フローが、画像Ｐ７に重畳された画像を表す。画像Ｐ１２は、画像Ｐ１０に示す代表フローを基に算出された局所フローが、画像Ｐ８に重畳された画像である。また、背景フローを算出する過程で算出された、画像Ｐ６と画像Ｐ７との間の変換行列が、Ｈ_{ｔ−１，ｔ−２}であり、画像Ｐ７と画像Ｐ８との間の変換行列が、Ｈ_{ｔ，ｔ−１}であるとする。図９に示す画像Ｐ１１及び画像Ｐ１２のように、連続する画像における移動物体の領域の局所フローは、ほぼ同一の向きを向く。そのため、連続する画像における移動物体の領域の局所フローの角度の差は小さくなる。

なお、本実施形態では、カメラは撮影中に移動する。上述の角度の差を計算する際、カメラの移動によって背景が動いている場合でも、複数の画像に映っている同一の物体の間で角度の差分を計算できるように、背景動き推定部１２２が算出した変換行列を用いる。カメラの移動によって背景が動いている場合、画像Ｐ１１の画素jと画像Ｐ１２の画素ｊは、一般的には，現実世界の3次元空間（3次元座標）における異なる点が投影された画素である。画像Ｐ１１の画素jに投影されている3次元空間の点と同じ点が投影される画素（すなわち対応画素）を、画像Ｐ１２において計算する必要がある。この場合、第１算出部１３は、前述の変換行列を用いて、画素の座標変換を行うことによって、前述の対応画素の座標を計算できる。

第１算出部１３は、例えば、連続する画像の一方の画像の点の座標と、その点に対応する他方の画像の点の座標とを一致させる変換を、局所フローに対して行えばよい。その変換は、背景フローを算出する過程において算出した変換行列によって表される。第１算出部１３は、背景フローを算出する過程において算出した変換行列によって、局所フローに対する変換を行えばよい。第１算出部１３は、それらの画像の、変換後の局所フローの角度の差に基づくスコアを、第１のスコアとして算出してもよい。第１算出部１３は、例えば、局所フローの角度の差の大きさ（０度〜１８０度）が小さいほど、スコアが高くなるような算出方法に従って、第１のスコアを算出すればよい。

式M=1-dθ’によって表されるスコアMは、第１のスコアの例である。角度の差分結果からスコアを計算する一例として、この式において、dθ’は、局所フローの角度の差の大きさdθを１８０で除算することによって、値の範囲が０から１までになるよう正規化した値である。さらに、スコアMの値を、M=1-dθ’に設定することによって、局所フローの角度の差の大きさが小さいほどスコアMの大きさが大きくなる。第１算出部１３は、所定の枚数（例えば５枚）の画像から算出されたスコアMの平均値（スコアLと表記）を、第１のスコアとして算出してもよい。この場合、背景領域では局所フローの角度の差の大きさは、０度から１８０度の間に、例えばランダムに分布する。そのため、スコアMは、０と１との間に、例えばランダムに分布する。この場合、スコアMの平均値であるスコアLは、０．５を中心に分布する。移動物体の領域では、局所フローの角度の差の大きさは、０度付近に分布する。従って、スコアMは、１付近に分布する。そのため、スコアLは、１付近に分布する。

背景更新部１４は、動き推定部１２の背景動き推定部１２２から、変換行列を受け取る。背景更新部１４は、非特許文献１に記載されている技術と同じように、例えば直前の入力画像の画素の座標から最新の入力画像の画素の座標への変換を表す変換行列に基づいて、背景モデルを変換する。背景モデルは、例えば、予め定められた、画像内の位置を表す座標と、その座標によって示される位置における背景の画素の輝度値の特性を示す値とを含んでいればよい。背景モデルについては、後で詳細に説明する。背景更新部１４は、具体的には、例えば、背景モデルが含む座標を、受信した変換行列によって変換することによって、背景モデルを変換すればよい。変換後の座標は、整数に限られない。背景更新部１４は、変換後の座標と、その座標における、背景の画素の輝度値の特性を示す値とから、例えば補間によって、予め定められた座標が示す位置における、背景の画素の輝度値の特性を算出すればよい。座標の変換と、予め定められた座標が示す位置における輝度値の特性の例えば補間による算出とを含む背景モデルの変換を、背景モデルの「動き補償」と表記することもある。背景更新部１４は、さらに、新たな入力画像を背景モデルに反映させる。すなわち、背景更新部１４は、新たな入力画像の情報を元に、背景モデルを更新する。具体的には、背景更新部１４は、例えば、新たな入力画像の画素の輝度値を使用して、背景モデルが含む輝度値の特性を更新する。更に具体的には、背景更新部１４は、例えば、変換後の背景モデルに含まれる特徴を表す値と、新たな入力画像から算出される特徴を表す値との、重み付き加算平均を行うことによって、背景モデルを更新する。

背景モデルは、例えば、最新の入力画像の各画素の位置における、背景の輝度値の特性を表すデータである。背景モデルは、画素ごとの、例えば輝度値の平均値と輝度値の分散とを含むモデルを含むデータであってもよい。すなわち、背景モデルは、画素ごとに、座標と、輝度値の平均値及び輝度値の分散とが関連付けられているデータであってもよい。背景モデルは、分散の代わりに標準偏差を含んでいてもよい。背景モデルは、画素ごとに、さらに、データ数を含んでいてもよい。データ数は、輝度値の平均値及び輝度値の分散の算出に使用された輝度値の数を表す。背景更新部１４は、例えば、背景モデルが含む輝度値の平均値及び分散に、新たな入力画像の輝度値を反映させればよい。背景更新部１４は、さらに、データ数に１を加えればよい。背景更新部１４は、画素毎の輝度値がガウス分布に従って分布するとの前提の下で、非特許文献１に記載されている背景モデルの動き補償の方法を応用して、背景モデルを変換してもよい。背景更新部１４は、さらに、非特許文献１に記載されている背景モデルの更新の方法を応用して、背景モデルを更新してもよい。

背景モデルは、所定サイズの格子によって画像が分割された領域（以下グリッドと表記）ごとに、モデル（例えば、上述の平均値及び分散）を含んでいてもよい。上述のように、背景モデル（具体的には、背景モデルに含まれるモデル）は、分散の代わりに標準偏差を含んでいてもよい。背景更新部１４は、非特許文献１に記載されている背景モデルの動き補償の方法に従って、背景モデルを変換してもよい。背景更新部１４は、さらに、非特許文献１に記載されている背景モデルの更新の方法に従って、背景モデルを更新してもよい。

図４は、上述のグリッド及びモデルの例を模式的に示す図である。図４に示す例では、格子のサイズ（すなわち、グリッドのサイズ）は、G×Gである。グリッドiは、番号iが付与されているグリッドである。図４は、グリッドiに含まれる背景の画素の輝度値は、平均値がμ_Ａであり、標準偏差がσ_Ａであるガウス分布に従って分布することを示す。図４の右側に示すグラフにおいて、横軸は輝度値を表し、縦軸は頻度を表す。この場合、背景モデルは、グリッドiのモデルとして、平均値と標準偏差を含んでいる。

このようなモデルは、グリッドiに含まれる画素の輝度値が異常であるか否かを判定するのに使用できる。例えば、グリッドiに含まれる画素の輝度値が、グリッドiのモデルから逸脱している場合、例えば、グリッドiのモデルの平均値と輝度値の差の大きさが、グリッドiの標準偏差よりも大きい場合、その画素は異常点として検出されればよい。

図５は、グリッドに含まれる画素の輝度値とそのグリッドモデルとを模式的に示す図である。図５に示す例では、グリッドiは、４画素×４画素の領域である。グリッドの１つの四角が１つの画素を表す。白い四角によって表されている画素の輝度値が、グリッドiのモデルから逸脱している画素を表す。図５に示すグラフにおいて、横軸は輝度値を表し、縦軸は頻度を表す。また、グラフに示される小円は、グリッド内の画素の輝度値の分布を示す。モデルに基づいて異常点を検出する場合、白い四角によって示される画素が、異常点として検出される。

なお、背景モデルが存在しない場合（例えば、最新の入力画像が時系列画像の最初の画像である場合）、背景更新部１４は、例えば最新の入力画像に基づいて、背景モデルを生成すればよい。背景更新部１４は、例えば、背景モデルに含まれる画素のモデルの平均値として、その画素に対応する、最新の入力画像の画素の、輝度値の平均値を設定してもよい。背景更新部１４は、例えば、背景モデルに含まれる画素のモデルの分散として、ゼロを設定してもよい。

第２算出部１５は、背景更新部１４が更新した背景モデルと受付部１１によって送出された最新の入力画像とを用いて、最新の入力画像の各画素における移動物体のスコア（以下、第２のスコアとも表記）を算出する。第２算出部１５は、以下に示す異常度を、移動物体のスコアとして算出してもよい。本実施形態では、異常度は、例えば、輝度値の平均値と、入力画像の画素の輝度値との差の二乗d²を分散Vで割った値（以下、スコアAと表記する）である。スコアAは、式A=d²/V（ここで、「/」は割り算の演算子を表す）によって表される。第２算出部１５は、最新の入力画像のそれぞれの画素について、スコアAを第２のスコアとして算出すればよい。背景モデルは、上述の例に限られない。背景モデルは、画素が背景に含まれる場合の輝度値の特性を表すモデルであればよい。第２のスコアは、上述の例に限られない。第２のスコアは、画素の輝度値と背景モデルとの間の乖離を示す値であればよい。

検出部１６は、第１算出部１３が算出した移動物体のスコア（第１のスコア）と第２算出部１５が算出した移動物体のスコア（第２のスコア）とに基づいて、最新の入力画像における移動物体を検出する。より具体的には、検出部１６は、第１のスコアと第２のスコアとに基づいて、最新の入力画像の各画素が、移動物体の領域に含まれるか否かを判定する。検出部１６は、移動物体の領域に含まれると判定された画素の連結領域を、移動物体の領域として検出してもよい。

検出部１６は、第１のスコアに基づいて、例えば第１のスコアに対する閾値（第１の閾値と表記）を使用して、移動物体を検出してもよい。具体的には、例えば、移動物体に含まれる画素の第１のスコアが第１の閾値より小さい場合、検出部１６は、第１のスコアが第１の閾値よりも小さい画素の連結領域を、移動物体として検出すればよい。第１のスコアに基づいて検出された移動物体の領域を、第１領域と表記する。検出部１６は、更に、第２のスコアに基づいて、例えば第２のスコアに対する閾値（第２の閾値と表記）を用いて、移動物体を検出してもよい。具体的には、例えば、移動物体に含まれる画素の第２のスコアが第２の閾値より小さい場合、検出部１６は、第２のスコアが第２の閾値よりも小さい画素の連結領域を、移動物体として検出すればよい。第２のスコアに基づいて検出された移動物体の領域を、第２領域と表記する。検出部１６は、第１の領域と第２の領域と統合し、第１の領域と第２の領域とが統合された領域を、移動物体の領域として検出してもよい。第１の領域と第２の領域の論理積（すなわち、第１の領域及び第２の領域の双方に含まれる領域）が、第１の領域と第２の領域とが統合された領域であってもよい。第１の領域と第２の領域の論理和（すなわち、第１の領域及び第２の領域の少なくとも一方に含まれる領域）が、第１の領域と第２の領域とが統合された領域であってもよい。第１の領域と第２の領域とに基づく他の領域が、第１の領域と第２の領域とが統合された領域であってもよい。

検出部１６は、第１のスコアと第２のスコアとを統合し、統合されたスコア（以下、統合スコアとも表記）に基づいて、移動物体を検出してもよい。統合スコアは、第１のスコアと第２のスコアとの重み付き線形和であってもよい。統合スコアは、例えば、縦軸が第１のスコアを表し、横軸が第２のスコアを表す空間（以下、スコア空間と表記）における、点の座標（すなわち、座標（第１のスコア，第２のスコア））であってもよい。

検出部１６は、例えば、画素の統合スコアが、統合スコアに関する判定の基準を満たす場合、その画素が移動物体の領域に含まれると判定してもよい。統合スコアに関する判定の基準は、例えば、スコア空間における領域によって表されていてもよい。例えば、検出部１６は、画素の第１のスコアと第２のスコアとが統合された統合スコアが、スコア空間に設定された領域に含まれる場合、その画素が移動物体の領域に含まれると判定してもよい。そして、検出部１６は、統合スコアが、スコア空間に設定された上述の領域に含まれない場合、その画素が移動物体の領域に含まれないと判定してもよい。

図６は、統合スコアに関する判定の基準の例を模式的に表す図である。図６に示す例では、画素の第１のスコアが第１の閾値より大きく、かつ、画素の第２のスコアが第２の閾値より大きい場合、検出部１６は、その画素が移動物体の領域に含まれると判定する。

図７は、統合スコアに関する判定の基準の例を模式的に表す図である。図７に示す例では、画素の第１のスコアが第１の閾値より大きい場合、その画素の第２のスコアの値に関係なく、検出部１６は、その画素が移動物体の領域に含まれると判定する。さらに、画素の第２のスコアが第２の閾値より大きい場合も、その画素の第１のスコアの値に関係なく、検出部１６は、その画素が移動物体の領域に含まれると判定する。

図８は、統合スコアに関する判定の基準の例を模式的に表す図である。図８に示す例では、画素の統合スコアが、破線によって示される境界線よりも外側（スコア空間の原点を含まない領域）に存在する場合、検出部１６は、その画素が移動物体の領域に含まれると判定する。また、画素の統合スコアが、破線によって示される境界線よりも内側（スコア空間の原点を含む領域）に存在する場合、検出部１６は、その画素が移動物体の領域に含まれないと判定する。

＜＜動作の説明＞＞
次に、本実施形態の移動物体検出装置１０の動作について、図面を参照して詳細に説明する。

図９は、本実施形態の移動物体検出装置１０の動作の例を表すフローチャートである。

まず、受付部１１は、カメラから得られる時系列画像の受け取りを開始する（ステップＳ１０１）。受付部１１は、カメラから画像が送られて来た場合に、時系列画像の受け取りを開始すればよい。受付部１１は、例えば、端末装置５０からの指示に従って、時系列画像の受け取りを開始してもよい。受付部１１は、時系列画像に含まれる画像を受け取る（ステップＳ１０２）。受付部１１は、受け取った画像を、動き推定部１２及び背景更新部１４に送出する。移動物体検出装置１０は、移動物体検出処理を実行する（ステップＳ１０３）。移動物体検出処理については、後で詳細に説明する。時系列画像に、選択していない画像が存在する場合（ステップＳ１０４においてＮＯ）、移動物体検出装置１０は、ステップＳ１０２以降の動作を繰り返す。時系列画像の受け取りが終了した場合（ステップＳ１０４においてＹＥＳ）、移動物体検出装置１０は、図９に示す動作を終了する。受付部１１は、例えば、カメラからの画像の送信が停止した場合に、時系列画像の受け取りを終了してもよい。受付部１１は、例えば、端末装置５０からの指示に従って、時系列画像の受け取りを終了してもよい。

次に、本実施形態の移動物体検出装置１０の、移動物体検出処理の動作について、図面を参照して詳細に説明する。

図１０は、本実施形態の移動物体検出装置１０の、移動物体検出処理の動作の例を表すフローチャートである。

受け取った画像、すなわち、受付部１１によって動き推定部１２及び背景更新部１４に送出された画像が、時系列画像の最初の画像である場合（ステップＳ１１１においてＹＥＳ）、背景更新部１４は、背景モデルを生成する（ステップＳ１２０）。背景更新部１４は、例えば、背景モデルが存在しない場合に、受け取った画像が時系列画像の最初の画像であると判定してもよい。動き推定部１２は、例えば、参照画像として使用可能な画像をまだ受け取っていない場合に、受け取った画像が時系列画像の最初の画像であると判定してもよい。その場合、動き推定部１２は、受け取った画像を、次に受け取る画像と比較される参照画像にしてもよい。そして、移動物体検出処理は、図１０に示す動作を終了する。

受付部１１によって選択された画像が、時系列画像の最初の画像でない場合（ステップＳ１１１においてＮＯ）、移動物体検出装置１０は、ステップＳ１１２以降の動作を行う。

まず、動き推定部１２の代表点動き推定部１２１は、選択された画像、すなわち、上述の最新の入力画像における、予め位置が定められている代表点の動きを、代表フローとして推定する（ステップＳ１１２）。次に、動き推定部１２の背景動き推定部１２２は、背景の動きを推定する（ステップＳ１１３）。すなわち、背景動き推定部１２２は、代表フローから２つの画像間を対応付ける変換行列を推定し、推定した変換行列に基づいて背景フローを推定する（ステップＳ１１３）。そして、動き推定部１２の抑制部１２３が、代表フローから背景フローの成分を除去することによって、局所フローを算出する（ステップＳ１１４）。

次に、第１算出部１３は、算出された局所フローに基づき、移動物体のスコア（すなわち、第１のスコア）を算出する（ステップＳ１１５）。

次に、背景更新部１４は、背景動き推定部１２２によって推定された変換行列と、最新の入力画像とに基づいて、背景モデルを更新する（ステップＳ１１６）。具体的には、背景更新部１４は、変換行列を用いて背景モデルに動き補償を行い、さらに、最新の画像を背景モデルに反映させることによって、背景モデルを更新する（ステップＳ１１６）。

次に、第２算出部１５は、更新された背景モデルと、最新の入力画像とに基づいて、移動物体のスコア（すなわち、第２のスコア）を算出する（ステップＳ１１７）。

次に、検出部１６は、第１のスコアと第２のスコアとに基づいて、移動物体を検出する（ステップＳ１１８）。検出部１６は、第１のスコアと第２のスコアとを統合し、統合されたスコアに基づいて移動物体を検出してもよい。

次に、出力部１７が、検出された移動物体の情報を出力する（ステップＳ１１９）。出力部１７は、移動物体の領域が示された最新の入力画像（以下、出力画像とも表記）を出力してもよい。出力部１７は、例えば、最新の入力画像に検出された移動物体の領域を示す表示（例えば図形など）が重畳された画像を、出力画像として生成してもよい。出力部１７は、最新の入力画像の、検出された移動物体の領域の色及び明るさの少なくとも一方を変更した画像を、出力画像として生成してもよい。出力部１７は、最新の入力画像の、検出された移動物体の領域以外の領域の色及び明るさの少なくとも一方を変更した画像を、出力画像として生成してもよい。そして、移動物体検出装置１０は、図１０に示す動作を終了する。

＜効果＞
本実施形態には、移動するカメラによって撮影された映像から移動物体を検出する精度を向上させることができるという効果（以下、代表効果とも表記する）がある。

その理由は、検出部１６が、第１算出部１３が算出した第１のスコアと第２算出部１５が算出した第２のスコアとに基づいて、移動物体を検出するからである。第１のスコア及び第２のスコアは、カメラの移動による背景の移動の影響が軽減された、画素が移動物体に含まれる可能性の程度を示す、異なる種類のスコアである。検出部１６が、２種類のスコアに基づいて移動物体を検出することによって、１種類のスコアに基づいて移動物体を検出する場合と比較して、誤検出及び過検出を減らすことができるので、移動物体を検出する精度が向上する。

本実施形態には、以下に示す第１から第４の効果も存在する。

第１の効果は、カメラ移動に伴う視点変更により新たな静止物体が出現した場合にも、誤検出を低減できることである。背景モデルに基づく第２のスコアは、背景モデルに対する輝度値の異常の度合に基づくスコアである。映像中のオプティカルフローに基づく第１のスコアは、物体の実際の動きに基づくスコアである。検出部１６は、これらの２種類のスコアによって、視点変更によって出現した静止物体を、“異常であっても実際には動いていないので移動物体ではない”と判定できる。

第２の効果は、背景モデルを用いる第２のスコアのみに基づいて移動物体を検出すると、背景が複雑であるために移動物体を検出できない場合でも、移動物体の検出率を向上できることである。背景モデルから逸脱する点が少ない場合でも、時系列画像に含まれる画像間でオプティカルフローが計算できる場合がある。オプティカルフローを計算できれば、移動物体の領域に含まれる点に、背景モデルから逸脱した点が少ない場合であっても、検出部１６は、”異常度合は高くないが動いているので移動物体である”と判定できる。

第３の効果は、オプティカルフローを用いる第１のスコアのみに基づいて移動物体を検出すると、オプティカルフローの推定精度が悪いために移動物体の誤検出が生じる場合でも、移動物体の誤検出を低減できることである。背景モデルを用いる第２のスコアの異常度合が明らかに低い場合には、オプティカルフローとして顕著な値が算出されていても、検出部１６は、”異常な物体が明らかに存在しないため移動物体ではない”と判定できる。すなわち、この場合、検出部１６は、移動物体は存在しないと判定できる。

第４の効果は、移動するカメラによって撮影された映像から、移動物体のみを検出できることである。その理由は、抑制部１２３が、代表点の動きに基づいて推定された背景の動きの成分を、代表点の動きから除去するからである。そのため、抑制部１２３は、画像全体の動きに対する、カメラの移動によって生じる背景の動きの影響を軽減することができる。さらに、背景更新部１４は、カメラの移動に応じた背景の動きを表す変換行列を使用して背景モデルの動き補償を行うので、カメラの移動によって生じる背景の動きに追従した背景の更新を行うことができる。背景の動きの影響が軽減された画像に含まれる対象の動きに基づく第１のスコア、及び、背景の動きに追従した背景モデルに基づく第２のスコアを使用して移動物体を検出することによって、背景と異なる動きをする移動物体の動きを検出することができる。

＜第１の実施形態の変形例＞
次に、本発明の第１の実施形態の変形例について、図面を参照して詳細に説明する。

図１５は、本発明の第１の実施形態の変形例に係る撮影装置２０Ａの構成の例を表す図である。

撮影装置２０Ａは、移動物体検出装置１０と、撮影部２１と、制御部２２と、通信部２３とを含む。撮影装置２０Ａは、例えば、無線通信、有線通信、又は無線通信と有線通信との組合せによって、通信ネットワーク３０を介して、端末装置５０に接続されている。

移動物体検出装置１０は、図１に示す、第１の実施形態の移動物体検出装置１０と同じである。なお、撮影装置２０Ａは、移動物体検出装置１０を１つの装置として含んでいなくてもよい。撮影装置２０Ａは、例えば、図１に示す、移動物体検出装置１０の各部を含んでいてもよい。言い換えると、撮影装置２０Ａが、第１の実施形態の移動物体検出装置１０として、以上で説明したように動作してもよい。

撮影部２１は、撮影を行い、撮影によって得られた時系列画像を出力するデバイスである。撮影部２１は、第１の実施形態におけるカメラ２０に相当する。

通信部２３は、例えば、無線通信などによって、通信ネットワーク３０に接続されている端末装置５０等の装置と通信を行うことができるインタフェースである。例えば、出力部１７は、通信部２３を介して、端末装置５０に、検出した移動物体の情報を出力する。

移動部２４は、例えば、撮影装置２０Ａに取り付けられた、撮影装置２０Ａを移動させることができる装置である。移動部２４は、例えば、ドローン又はロボット等の移動体であってもよい。移動部２４は、移動体に含まれ、移動体を動かすことができる駆動装置であってもよい。

制御部２２は、例えば、移動の指示を、通信部２３を介して端末装置５０から受け取り、受け取った指示に従って、移動部２４の移動を制御するコントローラである。

撮影装置２０Ａは、通信部２３を含んでいなくてもよい。その場合、撮影装置２０Ａは、移動部２４と接続されない。

以上で説明した撮影装置２０Ａは、第１の実施形態の移動物体検出装置１０と同じ動作を行う。

＜第２の実施形態＞
次に、本発明の第２の実施形態について図面を参照して詳細に説明する。

＜＜構成の説明＞＞
図１１は、本発明の第２の実施形態に係る移動物体検出装置１０Ａの構成の例を表すブロック図である。

図１１を参照すると、移動物体検出装置１０Ａは、受付部１１と、第１算出部１３と、第２算出部１５と、検出部１６と、を備える。受付部１１は、移動体に設けられた撮像装置によって撮像された映像（すなわち、上述の時系列画像）を受け取る。第１算出部１３は、映像に含まれる画像の画素の動きに基づく、移動物体の第１のスコアを算出する。第２算出部１５は、画像と画素の動きとに基づいて更新された背景モデルと、画像とに基づいて、移動物体の第２のスコアを算出する。検出部１６は、第１のスコアと第２のスコアとに基づいて、画像から移動物体を検出する。

＜＜動作の説明＞＞
次に、本実施形態の移動物体検出装置１０Ａの動作について、図面を参照して詳細に説明する。

図１２は、本実施形態に係る移動物体検出装置１０Ａの動作の例を表すフローチャートである。

図１２を参照すると、まず、受付部１１が、時系列画像を受け取る（ステップＳ２０１）。次に、第１算出部１３が、時系列画像に含まれる画像の画素の動きに基づく、移動物体の第１のスコアを算出する（ステップＳ２０２）。更に、第２算出部１５が、画像と画素の動きとに基づいて更新された背景モデルと、画像とに基づいて、移動物体の第２のスコアを算出する（ステップＳ２０３）。検出部１６は、第１のスコアと第２のスコアとに基づいて、画像から移動物体を検出する（ステップＳ２０４）。

＜効果＞
以上で説明した本実施形態には、第１の実施形態の代表効果と同じ効果がある。その理由は、第１の実施形態の代表効果が生じる理由と同じである。

＜他の実施形態＞
上述のいずれかの実施形態に係る移動物体検出装置の各々（以下、上述の実施形態に係る移動物体検出装置と表記）は、記憶媒体から読み出されたプログラムがロードされたメモリと、そのプログラムを実行するプロセッサとを含むコンピュータによって実現することができる。上述の実施形態に係る移動物体検出装置は、専用のハードウェアによって実現することもできる。上述の実施形態に係る移動物体検出装置は、前述のコンピュータと専用のハードウェアとの組み合わせによって実現することもできる。

言い換えると、上述の実施形態に係る移動物体検出装置は、回路構成（ｃｉｒｃｕｉｔｒｙ）などのハードウェアによって実現することができる。回路構成は、例えば、コンピュータに含まれるプロセッサとメモリであってもよい。その場合、プログラムが、メモリにロードされていればよい。そのプログラムは、プロセッサが実行することが可能であり、コンピュータを上述の実施形態の移動物体検出装置として動作させればよい。回路構成は、例えば、通信可能に接続された複数のコンピュータであってもよい。回路構成は、例えば、回路（ｃｉｒｃｕｉｔ）であってもよい。回路構成は、例えば、通信可能に接続された複数の回路であってもよい。回路構成は、通信可能に接続された、１台以上のコンピュータと、１個以上の回路との組み合わせであってもよい。

図１３は、移動物体検出装置１０及び移動物体検出装置１０Ａを実現することができる、コンピュータ１０００のハードウェア構成の一例を表す図である。図１３を参照すると、コンピュータ１０００は、プロセッサ１００１と、メモリ１００２と、記憶装置１００３と、Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インタフェース１００４とを含む。また、コンピュータ１０００は、記憶媒体１００５にアクセスすることができる。メモリ１００２と記憶装置１００３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ハードディスクなどの記憶装置である。記憶媒体１００５は、例えば、ＲＡＭ、ハードディスクなどの記憶装置、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、可搬記憶媒体である。記憶装置１００３が記憶媒体１００５であってもよい。プロセッサ１００１は、メモリ１００２と、記憶装置１００３に対して、データやプログラムの読み出しと書き込みを行うことができる。プロセッサ１００１は、Ｉ／Ｏインタフェース１００４を介して、例えば、カメラなどの入力装置、サーバ、記憶装置、及び、ディスプレイ等の出力装置にアクセスすることができる。プロセッサ１００１は、記憶媒体１００５にアクセスすることができる。記憶媒体１００５には、コンピュータ１０００を、移動物体検出装置１０として動作させるプログラムが格納されている。記憶媒体１００５には、コンピュータ１０００を、移動物体検出装置１０Ａとして動作させるプログラムが格納されていてもよい。

プロセッサ１００１は、記憶媒体１００５に格納されている、コンピュータ１０００を、移動物体検出装置１０として動作させるプログラムを、メモリ１００２にロードする。そして、プロセッサ１００１が、メモリ１００２にロードされたプログラムを実行することにより、コンピュータ１０００は、移動物体検出装置１０として動作する。

プロセッサ１００１は、記憶媒体１００５に格納されている、コンピュータ１０００を、移動物体検出装置１０Ａとして動作させるプログラムを、メモリ１００２にロードする。そして、プロセッサ１００１が、メモリ１００２にロードされたプログラムを実行することにより、コンピュータ１０００は、移動物体検出装置１０Ａとして動作する。

受付部１１、動き推定部１２、第１算出部１３、背景更新部１４、第２算出部１５、検出部１６、及び、出力部１７は、例えば、メモリ１００２にロードされた、これらの部の機能を実現するプログラムを実行するプロセッサ１００１により実現できる。同様に、代表点動き推定部１２１、背景動き推定部１２２、及び、抑制部１２３は、例えば、メモリ１００２にロードされた、これらの部の機能を実現するプログラムを実行するプロセッサ１００１により実現できる。受付部１１、動き推定部１２、第１算出部１３、背景更新部１４、第２算出部１５、検出部１６、及び、出力部１７の一部又は全部を、これらの部の機能を実現する専用の回路によって実現することもできる。同様に、代表点動き推定部１２１、背景動き推定部１２２、及び、抑制部１２３の一部又は全部を、これらの部の機能を実現する専用の回路によって実現することもできる。

また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
移動体に設けられた撮像装置によって撮像された映像を受け取る受付手段と、
前記映像に含まれる画像の画素の動きに基づく、移動物体の第１のスコアを算出する第１算出手段と、
前記画像と前記画素の動きとに基づいて更新された背景モデルと、前記画像とに基づいて、移動物体の第２のスコアを算出する第２算出手段と、
前記第１のスコアと前記第２のスコアとに基づいて、前記画像から移動物体を検出する検出手段と、
を備える移動物体検出装置。

（付記２）
前記映像に含まれる画素の動きを推定する第１動き推定手段と、
前記画素の動きに基づいて、背景の動きを推定する第２動き推定手段と、
前記画素の動きから前記背景の動きの成分が除去された抑制動きを推定する抑制手段と、
を備え、
前記第１算出手段は、前記抑制動きに基づいて、前記第１のスコアを算出する
付記１に記載の移動物体検出装置。

（付記３）
背景の動きを表す変換に基づいて、前記背景モデルを更新する更新手段
を更に備える付記１又は付記２に記載の移動物体検出装置。

（付記４）
前記第１算出手段は、前記映像において連続する前記画像間の、前記画素の動きの角度に基づいて、前記第１のスコアを算出する
付記１から付記３のいずれか１項に記載の移動物体検出装置。

（付記５）
移動体に設けられた撮像装置によって撮像された映像を受け取り、
前記映像に含まれる画像の画素の動きに基づく、移動物体の第１のスコアを算出し、
前記画像と前記画素の動きとに基づいて更新された背景モデルと、前記画像とに基づいて、移動物体の第２のスコアを算出し、
前記第１のスコアと前記第２のスコアとに基づいて、前記画像から移動物体を検出する、
移動物体検出方法。

（付記６）
前記映像に含まれる画素の動きを推定し、
前記画素の動きに基づいて、背景の動きを推定し、
前記画素の動きから前記背景の動きの成分が除去された抑制動きを推定し、
前記抑制動きに基づいて、前記第１のスコアを算出する
付記５に記載の移動物体検出方法。

（付記７）
背景の動きを表す変換に基づいて、前記背景モデルを更新する
付記５又は付記６に記載の移動物体検出方法。

（付記８）
前記映像において連続する前記画像間の、前記画素の動きの角度に基づいて、前記第１のスコアを算出する
付記５から付記７のいずれか１項に記載の移動物体検出方法。

（付記９）
コンピュータに、
移動体に設けられた撮像装置によって撮像された映像を受け取る受付処理と、
前記映像に含まれる画像の画素の動きに基づく、移動物体の第１のスコアを算出する第１算出処理と、
前記画像と前記画素の動きとに基づいて更新された背景モデルと、前記画像とに基づいて、移動物体の第２のスコアを算出する第２算出処理と、
前記第１のスコアと前記第２のスコアとに基づいて、前記画像から移動物体を検出する検出処理と、
を実行させるプログラムを記憶する記憶媒体。

（付記１０）
前記プログラムは、コンピュータに、
前記映像に含まれる画素の動きを推定する第１動き推定処理と、
前記画素の動きに基づいて、背景の動きを推定する第２動き推定処理と、
前記画素の動きから前記背景の動きの成分が除去された抑制動きを推定する抑制処理と、
をさらに実行させ、
前記第１算出処理は、前記抑制動きに基づいて、前記第１のスコアを算出する
付記９に記載の記憶媒体。

（付記１１）
前記プログラムは、コンピュータに、
背景の動きを表す変換に基づいて、前記背景モデルを更新する更新処理
をさらに実行させる付記９又は付記１０に記載の記憶媒体。

（付記１２）
前記第１算出処理は、前記映像において連続する前記画像間の、前記画素の動きの角度に基づいて、前記第１のスコアを算出する
付記９から付記１１のいずれか１項に記載の記憶媒体。

以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１７年１月３０日に出願された日本出願特願２０１７−０１３８７１を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明は、ドローンに搭載されたカメラからの映像による監視用途に活用できる。

１０ 移動物体検出装置
１０Ａ 移動物体検出装置
１１ 受付部
１２ 動き推定部
１３ 第１算出部
１４ 背景更新部１４
１５ 第２算出部１５
１６ 検出部１６
１７ 出力部１７
２０ カメラ
２０Ａ 撮影装置
２１ 撮影部
２２ 制御部
２３ 通信部
２４ 移動部
３０ 通信ネットワーク
４０ 移動体
５０ 端末装置
６０ 出力装置
１２１ 代表点動き推定部
１２２ 背景動き推定部
１２３ 抑制部
１０００ コンピュータ
１００１ プロセッサ
１００２ メモリ
１００３ 記憶装置
１００４ Ｉ／Ｏインタフェース
１００５ 記憶媒体

Claims (12)

1. 移動体に設けられた撮像装置によって撮像された映像を受け取る受付手段と、
   前記映像に含まれる画像の画素の動きに基づく、移動物体の第１のスコアを算出する第１算出手段と、
   前記画像と前記画素の動きとに基づいて更新された背景モデルと、前記画像とに基づいて、移動物体の第２のスコアを算出する第２算出手段と、
   前記第１のスコアと前記第２のスコアとに基づいて、前記画像から移動物体を検出する検出手段と、
   を備える移動物体検出装置。
2. 前記映像に含まれる画素の動きを推定する第１動き推定手段と、
   前記画素の動きに基づいて、背景の動きを推定する第２動き推定手段と、
   前記画素の動きから前記背景の動きの成分が除去された抑制動きを推定する抑制手段と、
   を備え、
   前記第１算出手段は、前記抑制動きに基づいて、前記第１のスコアを算出する
   請求項１に記載の移動物体検出装置。
3. 背景の動きを表す変換に基づいて、前記背景モデルを更新する更新手段
   を更に備える請求項１又は請求項２に記載の移動物体検出装置。
4. 前記第１算出手段は、前記映像において連続する前記画像間の、前記画素の動きの角度に基づいて、前記第１のスコアを算出する
   請求項１から請求項３のいずれか１項に記載の移動物体検出装置。
5. 移動体に設けられた撮像装置によって撮像された映像を受け取り、
   前記映像に含まれる画像の画素の動きに基づく、移動物体の第１のスコアを算出し、
   前記画像と前記画素の動きとに基づいて更新された背景モデルと、前記画像とに基づいて、移動物体の第２のスコアを算出し、
   前記第１のスコアと前記第２のスコアとに基づいて、前記画像から移動物体を検出する、
   移動物体検出方法。
6. 前記映像に含まれる画素の動きを推定し、
   前記画素の動きに基づいて、背景の動きを推定し、
   前記画素の動きから前記背景の動きの成分が除去された抑制動きを推定し、
   前記抑制動きに基づいて、前記第１のスコアを算出する
   請求項５に記載の移動物体検出方法。
7. 背景の動きを表す変換に基づいて、前記背景モデルを更新する
   請求項５又は請求項６に記載の移動物体検出方法。
8. 前記映像において連続する前記画像間の、前記画素の動きの角度に基づいて、前記第１のスコアを算出する
   請求項５から請求項７のいずれか１項に記載の移動物体検出方法。
9. コンピュータに、
   移動体に設けられた撮像装置によって撮像された映像を受け取る受付処理と、
   前記映像に含まれる画像の画素の動きに基づく、移動物体の第１のスコアを算出する第１算出処理と、
   前記画像と前記画素の動きとに基づいて更新された背景モデルと、前記画像とに基づいて、移動物体の第２のスコアを算出する第２算出処理と、
   前記第１のスコアと前記第２のスコアとに基づいて、前記画像から移動物体を検出する検出処理と、
   を実行させるプログラムを記憶する記憶媒体。
10. 前記プログラムは、コンピュータに、
    前記映像に含まれる画素の動きを推定する第１動き推定処理と、
    前記画素の動きに基づいて、背景の動きを推定する第２動き推定処理と、
    前記画素の動きから前記背景の動きの成分が除去された抑制動きを推定する抑制処理と、
    を実行させ、
    前記第１算出処理は、前記抑制動きに基づいて、前記第１のスコアを算出する
    請求項９に記載の記憶媒体。
11. 前記プログラムは、コンピュータに、
    背景の動きを表す変換に基づいて、前記背景モデルを更新する更新処理
    をさらに実行させる請求項９又は請求項１０に記載の記憶媒体。
12. 前記第１算出処理は、前記映像において連続する前記画像間の、前記画素の動きの角度に基づいて、前記第１のスコアを算出する
    請求項９から請求項１１のいずれか１項に記載の記憶媒体。

Images