JPWO2018174123A1 - 物体検出装置、交通監視システム、物体検出装置の制御方法及びプログラム - Google Patents

Abstract

画像に識別器を適用する際の好適な範囲を作成する物体検出装置を提供する。物体検出装置は、識別器適用部と、候補領域算出部と、を備える。識別器適用部は、学習フェーズにおいて、過去に取得された画像に対して物体を検出する識別器を適用し、識別器により検出された物体の位置情報を少なくとも含む物体検出情報を算出する。候補領域算出部は、物体検出情報を用いて機械学習を行い、物体が画像の中に表れ得る候補領域を規定する情報を少なくとも含む物体候補領域情報を算出する。

Description

（関連出願についての記載）
本発明は、日本国特許出願：特願２０１７−０５８００３号（２０１７年３月２３日出願）の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、物体検出装置、交通監視システム、物体検出装置の制御方法及びプログラムに関する。

産業上の様々な分野において、画像データから特定の物体の位置を検出したいといった要望が数多く存在する。そのような要望の１つに、監視カメラのようなデバイスから定点撮影された映像（例えば、図１８に示すような映像）からの物体検出が挙げられる。

画像データから何らかの物体を検出する場合、検出したい物体ごとの識別器（分類器、検出器とも称される）を事前に作成、用意し識別器を画像データに適用する必要がある。識別器の作成方法には種々の方法が存在するが、通常、物体の色や形に着目してその物体を判別し得る特徴量を設計し、未知の画像に対して特徴量を比較することで物体が写っているか否かを判別することが多い。

また、上述のように、識別器は物体ごとに作成する必要がある。その際、物体の状態が特殊な場合であっても精度良く物体の検出を行う必要がある場合には、物体の特殊な状態ごとの識別器を作成する必要がある。特殊な状態には、例えば、歩行者を検出したい物体に設定すると、画像の中で正面を向いている、画像の奥を向いている、右や左を向いていると言った種々のバリエーションが想定できる。このように、特殊な状態とは「物体の見え方が異なる」ものを含む。あるいは、自動車を検出したい物体に設定すると、自動車が画像手前のトラックに隠れて右半分だけが写っているといった状態が上記の特殊な状態に相当する。このように、特殊な状態とは「物体の一部が写っている」ものを含む。

以上のように作成された物体、状態ごとの識別器は、検出対象画像（対象が映像の場合には、フレームごとの画像群から切り出された画像）に対して、スライディングウィンドウ方式により適用される。スライディングウィンドウ方式とは、図１９に示すように、画像の端から端まで小さな枠（走査枠３１）を少しずつずらしながら、その小領域ごとに識別器を適用して物体検出を行う方法である。

ここで、スライディングウィンドウ方式での画像走査においては、画面全体に対しての実行には無視出来ない程度の処理時間が必要であり、リアルタイムでの検出が必要な場合などでは当該処理時間がボトルネックとなり得る。

但し、監視カメラ等により撮影された画像データや映像データに対するスライディングウィンドウの適用場面では、物体ごとの候補領域をマニュアルで設定し、識別器を適用する範囲を限定することで処理時間の短縮が可能である。

例えば、図１８に示すような道路交通状況の監視の場合において、自動車が画像上に出現し得る領域は道路上であることは容易に判断できるため、道路上を候補領域として指定すればよい。さらに、右向きの自動車検出用識別器、左向きの自動車検出用識別器と使用する識別器が分かれているのであれば、道路が伸びている方向に対してどちら側に自動車が写り得るか容易に判断できるため、該当領域を候補領域として指定すればよい。例えば、図２０を参照すると、領域３２が右向きの自動車検出用識別器に対する候補領域、領域３３を左向きの自動車検出用識別器に対する候補領域とすればよい。

上記のように、候補領域を指定すれば、検出時のスライディングウィンドウによる走査範囲が、画像全体ではなく指定領域に限定されるため処理時間が短縮できる。

特許文献１は、撮像した複数の過去画像から検出対象物体が写りこんでいる枚数と物体の位置をシーンごとに集計することで、シーンごとにどの物体がどのあたりにどのくらいの確率で現れるか、という情報を作成する技術を開示する。当該情報を使用すると、スライディングウィンドウ方式で画像を走査して識別器を適用する際に精度向上が見込め、かつ、確率が低い箇所はそもそもスライディングウィンドウの走査対象としないようにすることで走査範囲を限定することができる。

特許文献２は、車載カメラの画像を入力として、現在の自動車周辺のシーンを判別し、シーンごとの歩行者検出候補領域を決定することで歩行者検出精度を高めるための技術を開示する。

国際公開第２０１２／０４６４２６号 特開２００７−３２９７６２号公報

なお、上記先行技術文献の各開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明者らによってなされたものである。

上述のように、監視カメラなどのデバイスから撮影した定点画像群に対して物体ごとの識別器を適用する際に、スライディングウィンドウによる走査範囲を限定するために候補領域をマニュアルで指定することがある。

しかし、このような手法には問題がある。

第１に、上記手法では、候補領域を指定する労力（手間）が必要である。検出したい物体やその状態のバリエーションが少なく、撮影ポイントも１つ又は少数であれば、マニュアルですべての識別器の候補領域を指定することも可能である。しかし、検出対象となる物体の数、状態、撮影ポイントが増加するとそれらの組み合わせ数が膨大となり、マニュアル（人手）で対応するには限界がある。

第２に、上記手法では、候補領域の指定に不備が生じる可能性がある。担当者等が候補領域をマニュアルで指定する場合、候補領域の指定があいまいとなり最適ではない候補領域が指定され得る。具体的には、実際には物体が出現しない領域が指定されたりすると、スライディングウィンドウの適用時に処理時間を浪費する要因となる。一方で、指定された候補領域とは異なる領域に物体が出現（想定外の物体が出現）すると、当該物体の検知ができない（検知漏れが生じる）。また、他の動体に依存し、当該動体に隣接または一部隠れた状態で相対的に出現するような物体の候補領域を、マニュアルで柔軟に指定するのは困難である。

第３に、上記手法では、時間の経過に伴う撮影場所の状況変化に適切に対応できない。マニュアルにて候補領域を指定し、運用を開始したとしても月日の経過に伴って候補領域が変化する可能性がある。

例えば、図２１を参照すると、看板３４の有無により候補領域が変化する（一部が不要となる）。図２１（ａ）では、看板３４が存在するところでは左向き自動車の一部が隠れ、上半分の自動車３５が検出される。そのため、看板３４の上部領域に「自動車左向き上半分」用の識別器に対する候補領域が指定される。

しかし、図２１（ａ）の状態でシステムの運用を開始したとしても、例えば、数か月後に看板３４が撤去されることもある。その結果、図２１（ｂ）に示すように、先に指定された候補領域（左向き自動車の上半分）が残存することになる。看板３４が存在しないため、当該領域では、左向き上半分の自動車が検出されることはない。しかし、当該残存した領域がスライディングウィンドウの適用範囲になってしまい処理時間を浪費する要因となる。

時間経過に伴う候補領域の変化を示す別の例として、工事の発生が挙げられる（図２２参照）。図２２（ａ）では、左向き自動車の候補領域として領域３６を指定している。図２２（ａ）に示す状況にて、例えば、数か月後に道路の一部で工事が発生し、画像に対して手前側車線を左方向に進行する自動車が対向車線の一部を走る状態となっている（図２２（ｂ）参照）。この場合、工事部分の候補領域が無駄な領域となっている。さらに、対向車線を走行する領域は、新たな候補領域として再設定する必要がある。

物体検出において、処理時間短縮や検出精度向上のために、物体検出の候補領域を算出する方法が多く存在するが、いずれの方法であっても上記の問題を解決するものではない。例えば、特許文献１に開示された技術では、相対的な物体に対する柔軟な指定については不可能である。また、特許文献１では、時間経過に伴う識別領域の変化については考慮されていない。また、特許文献２に開示された技術では、シーン判別の方法をマニュアルで決定する必要があり、且つ、その際決定する判別方法もヒューリスティックに基づくものであり、誤検出が発生し得る。

本発明は、画像に識別器を適用する際の好適な範囲を作成することに寄与する、物体検出装置、交通監視システム、物体検出装置の制御方法及びプログラムを提供することを主たる目的とする。

本発明乃至開示の第１の視点によれば、学習フェーズにおいて、過去に取得された画像に対して物体を検出する識別器を適用し、前記識別器により検出された物体の位置情報を少なくとも含む物体検出情報を算出する、識別器適用部と、前記物体検出情報を用いて機械学習を行い、物体が画像の中に表れ得る候補領域を規定する情報を少なくとも含む物体候補領域情報を算出する、候補領域算出部と、を備える、物体検出装置が提供される。

本発明乃至開示の第２の視点によれば、監視カメラと、前記監視カメラから取得された画像データから物体を検出する物体検出装置と、を含み、前記物体検出装置は、学習フェーズにおいて、過去に取得された画像に対して物体を検出する識別器を適用し、前記識別器により検出された物体の位置情報を少なくとも含む物体検出情報を算出する、識別器適用部と、前記物体検出情報を用いて機械学習を行い、物体が画像の中に表れ得る候補領域を規定する情報を少なくとも含む物体候補領域情報を算出する、候補領域算出部と、を備える、交通監視システムが提供される。

本発明乃至開示の第３の視点によれば、学習フェーズにおいて、過去に取得された画像に対して物体を検出する識別器を適用し、前記識別器により検出された物体の位置情報を少なくとも含む物体検出情報を算出するステップと、前記物体検出情報を用いて機械学習を行い、物体が画像の中に表れ得る候補領域を規定する情報を少なくとも含む物体候補領域情報を算出するステップと、を含む、物体検出装置の制御方法が提供される。

本発明乃至開示の第４の視点によれば、学習フェーズにおいて、過去に取得された画像に対して物体を検出する識別器を適用し、前記識別器により検出された物体の位置情報を少なくとも含む物体検出情報を算出する処理と、前記物体検出情報を用いて機械学習を行い、物体が画像の中に表れ得る候補領域を規定する情報を少なくとも含む物体候補領域情報を算出する処理と、をコンピュータに実行させるプログラムが提供される。
なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（non-transient）なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。

本発明乃至開示の各視点によれば、画像に識別器を適用する際の好適な範囲を作成することに寄与する、物体検出装置、交通監視システム、物体検出装置の制御方法及びプログラムが、提供される。

一実施形態の概要を説明するための図である。 第１の実施形態に係る物体検出装置の内部構成の一例を示す図である。 第１の実施形態に係る物体検出装置のハードウェア構成の一例を示すブロック図である。 第１の実施形態にて使用する識別器群を説明するための図である。 監視カメラから得られる画像の一例を示す図である。 学習フェーズにおける物体検出装置の動作の一例を示すフローチャートである。 物体検出情報の一例を示す図である。 物体候補領域情報の一例を示す図である。 図８の８行目に記載された候補領域を画像データに反映させた図である。 図８の４行目に記載された候補領域を説明するための図である。 運用フェーズにおける物体検出装置の動作の一例を示すフローチャートである。 第１の実施形態に係る物体検出装置の動作を説明するための図である。 第２の実施形態に係る物体検出装置の内部構成の一例を示す図である。 第２の実施形態に係る識別器パラメータ設定情報の一例を示す図である。 第２の実施形態に係る物体検出情報の一例を示す図である。 第２の実施形態に係る物体候補領域情報の一例を示す図である。 物体検出装置を含む交通監視システムの構成の一例を示す図である。 定点撮影された映像の一例を示す図である。 スライディングウィンドウ方式を説明するための図である。 スライディングウィンドウ方式を説明するための図である。 時間経過に伴う候補領域の変化を説明するための図である。 時間経過に伴う候補領域の変化を説明するための図である。

初めに、一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。また、各図におけるブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。さらに、本願開示に示す回路図、ブロック図、内部構成図、接続図などにおいて、明示は省略するが、入力ポート及び出力ポートが各接続線の入力端及び出力端のそれぞれに存在する。入出力インターフェイスも同様である。

一実施形態に係る物体検出装置１０は、識別器適用部１１と、候補領域算出部１２と、を備える（図１参照）。識別器適用部１１は、学習フェーズにおいて、過去に取得された画像に対して物体を検出する識別器を適用し、識別器により検出された物体の位置情報を少なくとも含む物体検出情報を算出する。候補領域算出部１２は、物体検出情報を用いて機械学習を行い、物体が画像の中に表れ得る候補領域を規定する情報を少なくとも含む物体候補領域情報を算出する。

物体検出装置１０は、監視カメラ等により取得された定点画像群から物体を検出するための識別器を適用する際に、「どの識別器をどの領域に適用すれば良いか」といった情報を規定する物体候補領域情報を、上記画像群から算出された物体検出情報に対して機械学習を行うことで自動的に算出する。物体検出装置１０は、運用を行う場所にて取得された膨大な画像データから検出対象となる物体（及びその状態）を検出し、当該物体が検出された位置（画像のなかの位置）から現実に物体が発現し得る範囲（候補領域）を算出する。そのため、実際には物体が現れることのない無駄な領域等が候補領域として算出されることがなくなり、最適な候補領域（スライディングウィンドウを適用する範囲）が算出される。また、当該候補領域の算出は、物体検出装置１０による機械学習により自動的に行われるため、マニュアルでの作業を必要としない。また、物体検出装置１０による上記機械学習（物体候補領域情報の算出）を定期的に実行することで、監視対象を含む環境が変化した場合であっても、当該環境変化に適した候補領域が算出できる。

以下に具体的な実施の形態について、図面を参照してさらに詳しく説明する。なお、各実施形態において同一構成要素には同一の符号を付し、その説明を省略する。

［第１の実施形態］
第１の実施形態について、図面を用いてより詳細に説明する。

図２は、第１の実施形態に係る物体検出装置１００の内部構成の一例を示す図である。物体検出装置１００の動作は２つのフェーズからなる。学習フェーズと運用フェーズである。

学習フェーズは、過去の定点観測により得られた画像群２０１に対して識別器群２０３に含まれる各識別器を適用し、画像ごとの物体検出情報１０４を収集するフェーズである。さらに、学習フェーズでは、既知の機械学習技術を用いて、各識別器からの検出情報から物体ごと（物体の状態ごと）の物体候補領域情報１０６が算出される。物体検出情報１０４や物体候補領域情報１０６の詳細は後述する。

運用フェーズは、学習フェーズにて算出された物体候補領域情報１０６に基づきスライディングウィンドウの走査領域を制限して監視カメラ等から得られる画像群２０２から物体検出を行うフェーズである。なお、運用フェーズ（システムの運用中）であっても、学習用の画像群を新規に追加し、当該追加された画像群に対して学習を行い、候補領域を含む物体候補領域情報１０６を再算出及び更新するものとする。

図２に示す物体検出装置１００は、画像読込部１０１と、識別器適用部１０２と、識別結果出力部１０３と、候補領域算出部１０５と、を含んで構成される。また、物体検出装置１００は、物体検出情報１０４と物体候補領域情報１０６を格納する記憶媒体を備える。

画像読込部１０１は、上記画像群（学習用の画像群２０１、運用用の画像群２０２）を読み込む手段である。より具体的には、画像読込部１０１は、学習フェーズにて画像群２０１を読み込み、運用フェーズにて画像群２０２を読み込む。

識別器適用部１０２は、識別器群２０３から識別器を読み込み、画像読込部１０１により取得された画像に対して、スライディングウィンドウ方式により画像を走査して識別器を適用（識別器を使用）する手段である。識別器適用部１０２の動作は、フェーズにより異なる。より具体的には、識別器適用部１０２は、学習フェーズでは、画像全体を走査し、識別器により検出された物体の位置情報を含む物体検出情報１０４を算出する。また、識別器適用部１０２は、運用フェーズでは、物体候補領域情報１０６により限定される領域に絞って画像を走査する。 つまり、識別器適用部１０２は、運用フェーズにて取得した画像の領域のうち候補領域により定まる領域に限定して取得画像に識別器を適用する。

識別結果出力部１０３は、識別器適用部１０２の適用結果をフォーマットを揃えて出力し、物体検出情報１０４として出力する手段である。

候補領域算出部１０５は 、物体検出情報１０４を用いて機械学習を行い、物体が画像の中に表れ得る候補領域を規定する情報を少なくとも含む物体候補領域情報１０６を算出する手段である。より具体的には、候補領域算出部１０５は、物体検出情報１０４を使用する機械学習技術により物体ごと（物体の状態ごと）に、対象画像の領域のうち当該物体が出現し得る領域を算出し、算出結果を物体候補領域情報１０６として出力する。

［ハードウェア構成］
続いて、物体検出装置１００のハードウェアについて説明する。

図３は、第１の実施形態に係る物体検出装置１００のハードウェア構成の一例を示すブロック図である。

物体検出装置１００は、所謂、情報処理装置（コンピュータ）であり、図３に例示する構成を備える。例えば、物体検出装置１００は、内部バスにより相互に接続される、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１、メモリ２２、入出力インターフェイス２３及び通信手段であるＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）２４等を備える。

なお、図３に示す構成は、物体検出装置１００のハードウェア構成を限定する趣旨ではない。物体検出装置１００は、図示しないハードウェアを含んでもよい。あるいは、物体検出装置１００に含まれるＣＰＵ等の数も図３の例示に限定する趣旨ではなく、例えば、複数のＣＰＵが物体検出装置１００に含まれていてもよい。

メモリ２２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、補助記憶装置（ハードディスク等）等の１以上を含む。入出力インターフェイス２３は、図示しない表示装置や入力装置のインターフェイスとなる手段である。表示装置は、例えば、液晶ディスプレイ等である。入力装置は、例えば、キーボードやマウス等のユーザ操作を受け付ける装置である。ＮＩＣ２４は、例えば、画像群２０２を提供する監視カメラ等に接続され、当該カメラからデータを受け取るインターフェイスである。

物体検出装置１００の機能は、上述の処理モジュール（例えば、候補領域算出部１０５等）により実現される。当該処理モジュールは、例えば、メモリに格納されたプログラムをＣＰＵが実行することで実現される。また、そのプログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。即ち、上記処理モジュールが行う機能は、何らかのハードウェア及び／又はソフトウェアにより実現できればよい。

［動作の説明］
続いて、図面を参照しつつ、第１の実施形態に係る物体検出装置１００の動作について説明する。

ここでは、図１８に示すような交差点の状況を１台の定点監視カメラで映像（画角サイズ；１６００×９００を想定）を取得し、特定の物体を検出する動作について説明する。また、検出を行う対象物体は、自動車、トラック、歩行者とする。

上述のように、第１の実施形態では、実際に物体の検知を行うフェーズである運用フェーズの前に、学習フェーズとして過去の映像を学習することで物体候補領域情報１０６を作成する必要がある。また、本願開示の前提として、物体を検出するための識別器群２０３は予め用意されているものとする。識別器群２０３の各識別器は、１枚の画像から対象の物体が存在する位置情報（座標）を出力するような装置を想定している。識別器群２０３を構成する各識別器は、物体ごと、予め定めた物体の状態ごとに用意される。

各識別器による物体識別は、任意のアルゴリズムを用いたものでよい。例えば、線形識別、ＳＶＭ（Support Vector Machine；サポートベクターマシン）、ディープラーニング等が上記アルゴリズムとして例示される。また、識別器は物体ごと及び各物体の状態ごとに用意する。例えば、図４を参照すると、物体（人、自動車、トラック）ごと及びその状態（左向き、右向き、全体、一部、日中、夜間）ごとに識別器が用意されている。なお、図４では、トラックの識別器に関し、左側が日中のトラックを検出するための識別器、右側が夜間のトラックを検出するための識別器として例示されている。

第１の実施形態では、識別器の事前準備に加え、学習用の画像群２０１を予め用意する必要がある。学習用の画像群２０１は、例えば、システムの運用開始を予定する場所にて監視カメラ等から取得された過去の映像をフレーム単位の画像に分割することで作成できる。なお、その際の分割は、毎フレームではなく適宜間引いても良い。さらに、分割することで作成された各画像には撮影した監視カメラのＩＤ（Identifier）、画像ＩＤ、撮影日時などを付与しておく（図５参照）。

［学習フェーズ］
初めに、学習フェーズにおける物体検出装置１００の動作を説明する。

図６は、学習フェーズにおける物体検出装置１００の動作の一例を示すフローチャートである。学習フェーズでは、初めに、図６のフローチャートに従って物体検出情報１０４を作成する。

ステップＳ０１において、画像読込部１０１は、１枚の画像を読み込み、当該画像を処理対象に設定する。

ステップＳ０２において、識別器適用部１０２は、対象画像に対して識別器が未適用の物体を１つ選択し、処理の対象とする。

ステップＳ０３において、識別器適用部１０２は、対象画像に対して対象の物体の中で未適用の状態にある識別器を１つ選択する。

ステップＳ０４において、識別器適用部１０２は、スライディングウィンドウ方式により画像を走査して選択された識別器を適用（使用）する。つまり、識別器適用部１０２は、小さな走査枠により切り出された画像のデータを識別器に入力し、識別器からの判定結果（物体の検出可否；物体検出時の位置情報）を得る。

ステップＳ０５において、識別結果出力部１０３は、走査枠ごとに対象物体の検出可否と走査枠の位置情報（例えば、走査枠の左上隅の座標）を表の形式により出力する。

ステップＳ０６において、識別器適用部１０２は、対象とする物体の全ての状態の識別器を対象画像に適用したか否かを判定する。

全ての状態の識別器が適用されていなければ（ステップＳ０６、Ｎｏ分岐）、ステップＳ０３に戻り処理が継続される。全ての状態の識別器が適用されていれば（ステップＳ０６、Ｙｅｓ分岐）、識別器適用部１０２は、検出対象の物体の識別器を全て適用したか否かを判定する（ステップＳ０７）。

検出対象の物体の識別器を全て適用していなければ（ステップＳ０７、Ｎｏ分岐）、ステップＳ０２に戻り処理が継続される。検出対象の物体の識別器を全て適用していれば（ステップＳ０７、Ｙｅｓ分岐）、識別器適用部１０２は、全ての画像を処理したか否かを判定する（ステップＳ０８）。

全ての画像を処理していなければ（ステップＳ０８、Ｎｏ分岐）、ステップＳ０１以降の処理が繰り返される。全ての画像を処理していれば（ステップＳ０８、Ｙｅｓ分岐）、物体検出情報１０４の算出に係る処理が終了する。

このように、物体検出装置１００では、学習用の画像群２０１の画像を順に１枚ずつ読み込み、各画像に対して、用意してあるすべての識別器を順に適用し、物体の検出情報（走査枠ごとの検出可否、枠の左上隅の座標）を表形式で逐一出力する。

図７は、物体検出情報１０４の一例を示す図である。例えば、図７を参照すると、画像ＩＤが「０００００００１」の画像では、右向きで全体が写っている自動車が座標（３００、４００）の位置で、左向きで左半分だけが写っているトラックが座標（１４００、４５０）の位置で、右向きで全体が写っている歩行者が座標（１１００、２００）の位置でそれぞれ検出されていることが分かる。

なお、各物体及びその状態の検出可否の出力については、検出されたか否かの２値ではなく、検出度合いを示すような確信度値（例えば、０〜１の値）であってもよい。

物体検出情報１０４の生成が終了すると、候補領域算出部１０５は、物体候補領域情報１０６を生成する。候補領域の算出には既存の機械学習アルゴリズムが使用される。具体的には、候補領域算出部１０５は、物体の検出座標情報と各属性（例えば、図７に示す各列の項目）間の関係性を学習し、物体やその状態ごとに最適な物体出現候補領域式を予測するように動作する（そのようなアルゴリズムが使用される）。

候補領域算出部１０５により、物体検出情報１０４を学習させた結果、図８に示すような表の形式により物体候補領域情報１０６が算出される。図８に示す物体候補領域情報１０６は、行ごとに、各識別器をどのような条件の時に、どの領域に対して適用すればよいかを示している。なお、候補領域算出部１０５による機械学習の結果、画像のなかでどこにも候補領域が設定されないような識別器に関する情報は、物体候補領域情報１０６に含まれない。

以下、図８に示す物体候補領域情報１０６について説明するが、カメラＩＤ列、物体列、状態列の内容はこれまでの説明から明らかであり、説明を省略する。

図８に示す物体候補領域情報１０６において、「絶対／相対」の列（フィールド）は、物体の出現パターンに関する情報を提示する。具体的には、他に出現した物体に対して依存する形で出現するパターンは「相対」に設定され、他の物体に依存せずに出現するパターンは「絶対」に設定される。

「依存物体・状態」の列は、「絶対／相対」の列が「相対」に設定されている場合、依存する物体、状態が記載される。なお、「絶対／相対」や「依存物体・状態」のフィールドに関しては、他の物体と当該他の物体の出現に依存する物体を検出する識別器の出力を用いて作成できる。例えば、図８の４行目の情報は、「左向きトラックの全体に左半分が隠れているような自動車」を検出する識別器が当該情報を検出したことにより生成できる（学習できる）。具体的には、当該識別器により物体が検出された場合には、絶対／相対フィールドに「相対」を設定し、「依存物体・状態」フィールドには「トラック左向き全体」を設定し、使用する識別器は「右向き右半分の自動車」とすればよい。

「候補領域式」の列は、画像に対して物体が写り得る領域を式で表したものである。図８の例では、画像の左下隅を原点としており、ｈは縦軸、ｗは横軸を表している。なお、図８の例では、線形の式を用いて物体が写りうる領域を表現しているが、不等式を使用して領域を表現してもよい。

「定義域」の列は、先に説明した候補領域式が有効な定義域を示している。「候補領域式」と「定義域」の列を参照することで、対応する物体及びその状態が出現する範囲（画像のなかの範囲）が定まる。

「時刻」の列は、識別器の適用が有効な時刻に関する情報（例えば、時間帯）を表している。例えば、識別器が日中用（通常用）と夜間用などで分かれている場合、物体が検出され得る時刻に違いが出る。物体検出情報１０４には撮影日時の情報が含まれるため、候補領域算出部１０５による機械学習時には当該情報を学習し、図８に示す「時刻」の列が算出できる。なお、図８の「時刻」の列には、時分秒の記載に留まっているが、月日まで学習して区別してもよい。月日まで学習すると、例えば、季節による日照時間の変化などにも対応することができる。

図８の８行目を確認すると、識別器が対象とする物体は自動車、その物体の状態は手前向き（正面向き）全体、候補領域は、一次関数；ｈ＝１６ｗ−９６００の６００≦ｗ≦７００の範囲、対象となる時刻は、日中（０６：００：００〜１７：００：００）の間であることが分かる。

図９は、図８の８行目に記載された候補領域を画像データに反映させた図である。図９において、点４１と点４２により結ばれる直線を含む範囲が、手前向きの自動車を日中に検出するための候補領域である。識別器適用部１０２は、例えば、図８の８行目の情報を読み込んだ場合（取得した場合）には、運用フィールドにて取得された画像のうち、時刻フィールドに規定された条件（日中）を満たす画像（日中に取得された画像）を選択する。識別器適用部１０２は、当該選択された画像の領域のうち図９の２つの点により規定される範囲の画像を「自動車の手前向き全体」検出用の識別器に入力する。

また、図８の４行目を確認すると、識別器が対象とする物体は自動車、その物体の状態は右向き右半分である。また、図８の４行目の「絶対／相対」の列には「相対」が設定され、「依存物体・状態」の列にはトラック左向き全体が設定されている。

この２つの情報（「相対／絶対」、「依存物体・状態」）は、画像に対して固定的に候補領域が設定されるのではなく、「依存物体・状態」の列に記載された物体（状態）が検出された際に、当該検出された物体の走査枠の左下隅を原点とする相対的な候補領域が設定されることを示す。図１０は、図８の４行目の状態を示し、点４３と点４４により結ばれる直線を含む領域が、右向き右半分の自動車の候補領域となる。上記２つの情報（「相対／絶対」、「依存物体・状態」）は、運用フェーズにおいて識別器適用部１０２が使用する。識別器適用部１０２は、特定の物体（上述の例では、トラック左向き全体）が検出された後、他の物体（右向き右半分の自動車）を検出するための識別器を選択し、当該選択された識別器を取得された画像に適用する。

このように、候補領域算出部１０５は、検出対象となる物体（物体の状態を含む）ごとに、当該物体を検出するための識別器が有効な条件（例えば、図８の時刻フィールド）と、候補領域（例えば、図８の候補領域式フィールドと定義域フィールド）と、を関連付ける物体候補領域情報１０６を算出する。さらに、候補領域算出部１０５は、一の物体（例えば、左向きのトラック）が検出されたことに応じて他の物体（例えば、右向き右半分の自動車）を検出するための識別器を特定するための情報（例えば、図８の相対／絶対フィールドと依存物体・状態フィールド）を含む物体候補領域情報１０６を算出する。

［運用フェーズ］
次に、運用フェーズにおける物体検出装置１００の動作を説明する。

図１１は、運用フェーズにおける物体検出装置１００の動作の一例を示すフローチャートである。

上述のように、運用フェーズでは、監視カメラからリアルタイムに得られる画像（映像）に対して物体の検出を行うフェーズである。運用フェーズでは、先に学習フェーズにて作成した物体候補領域情報１０６を使用して識別器の適用領域を絞りながら物体の検出を行う。但し、撮影した映像は学習フェーズと同様に、フレーム単位ごとの画像に分割して１枚ずつ処理されることを前提とする。

ステップＳ１１において、画像読込部１０１は、１枚の画像を読み込む。

ステップＳ１２において、識別器適用部１０２は、記憶媒体に格納された物体候補領域情報１０６を読み込む。

ステップＳ１３において、識別器適用部１０２は、物体候補領域情報１０６において「絶対／相対」の列が「絶対」に設定され、且つ、未適用な識別器を１つ選択する（１つを対象とする）。

ステップＳ１４において、識別器適用部１０２は、物体候補領域情報１０６に記載された情報に従って、識別器を適用する。

ステップＳ１５において、識別器適用部１０２は、物体を検出したか否かを判定する。

物体が検出されていなければ（ステップＳ１５、Ｎｏ分岐）、ステップＳ１８に処理が遷移する。物体が検出されていれば（ステップＳ１５、Ｙｅｓ分岐）、識別器適用部１０２は、「絶対／相対」の列が「相対」に設定され、且つ、「依存物体・状態」の列に先のステップにて検出した物体・状態が設定されている識別器が存在する場合、当該識別器を物体候補領域情報１０６に従って適用する。例えば、上述の図８、４行目の例では、「トラック左向き全体」の物体（物体の状態）が既に検出されていれば、「右向き右半分の自動車」を検出するための識別器を画像に適用する。その際、当該識別器が適用される画像は、日中（０６：００：００〜１７：００：００）に取得された画像であり、候補領域はｈ＝３００、１５０≦ｗ≦２３０となる。

また、識別器適用部１０２は、「相対」として設定されている物体が検出された場合にも、ステップＳ１６と同様の処理を実行する（ステップＳ１７）。即ち、「相対」の列に設定された物体や状態に対応する物体（及びその状態）が検出されなくなるまで、再帰的にステップＳ１６の処理が繰り返される。例えば、上記の例では、「右向き右半分の自動車」が「依存物体・状態」フィールドに設定されていれば、当該「依存物体・状態」フィールドに対応する物体及びその状態の検出が行われる。

ステップＳ１８において、識別器適用部１０２は、物体候補領域情報１０６の「絶対／相対」の列に「絶対」が設定されている識別器の全てを適用したか否かを判定する。識別器の全てを適用していなければ（ステップＳ１８、Ｎｏ分岐）、ステップＳ１３に戻り処理が継続される。識別器の全てを適用していれば（ステップＳ１８、Ｙｅｓ分岐）、ステップＳ１１にて読み込んだ画像に対する処理が終了する（次の画像が読み込まれ、同様に処理される）。

このように、物体検出装置１００は、物体候補領域情報１０６の表の上から「絶対／相対」の列が「絶対」に設定されている行について順に処理していき、記載されている識別器を１つずつ表の内容に従って（内容に則して）画像に適用していく（ステップＳ１４）。なお、適用するスライディングウィンドウ方式であるが、例えば、物体が自動車、状態が手前向きの場合であれば、図１２に示すように、候補領域式の直線上を任意の数で分解し、走査枠をずらしていく。

また、物体検出装置１００は、物体を検出した場合（ステップＳ１５、Ｙｅｓ分岐）には、当該検出した物体（なお、複数の物体を検出した場合にはそれぞれの物体）に対応付けられた相対的に表れ得る物体の検出を行う（ステップＳ１６）。さらに、相対的に表れる物体を検出した場合、当該物体からさらに相対的に表れ得る物体が物体候補領域情報１０６に記載されていれば、再帰的に物体の検出処理を行う（ステップＳ１７）。最終的には、上記のような処理を物体候補領域情報１０６に記載された全ての識別器について実行する（ステップＳ１８）。

なお、物体候補領域情報１０６は定期的に更新される。つまり、候補領域算出部１０５は、運用フェーズにて取得された画像から算出された物体検出情報１０４から新たな物体候補領域情報１０６を算出し、当該新たに算出された物体候補領域情報１０６により先に算出された物体候補領域情報１０６を更新する。このように、システムの運用中に撮影された映像データは、フレーム単位に分割されて学習用の画像群２０１に転用される。即ち、撮影された映像は、実際の運用フェーズとは別に学習フェーズにも使用する。例えば、１週間など期間を定めて当該期間に蓄積された画像群を再学習して物体候補領域情報１０６を作成し直し、運用フェーズで使用する情報を更新する。

以上のように、第１の実施形態に係る物体検出装置１００は、学習フェーズと運用フェーズの２つのフェーズに係る動作を行う。学習フェーズでは、過去の定点画像群において、各物体、状態ごとの識別器をスライディングウィンドウ方式で画像全体を走査して適用し、どのような状態の物体が画像のどの位置に写っていたかを調査する（物体検出情報１０４を生成する）。次に、当該物体検出情報１０４に基づき既存の機械学習技術を使用して各物体、状態ごとの物体候補領域情報１０６が算出される。運用フェーズでは、学習フェーズにて算出された物体候補領域情報１０６に基づき、識別器を適用する範囲を限定しながら実際に検知処理を行う。また、運用中も新たな定点画像を採取し続け、当該画像群に対して学習を行い、物体候補領域情報１０６の再算出、更新が行われる。

第１の実施形態に係る物体検出装置１００では、画像から物体を検出するための候補領域が自動的に指定されるため、マニュアルで作業する時間（手間）が省略される。また、候補領域の指定は過去の画像（過去の実績）を使用して設定されるので、マニュアルで候補領域を指定するよりも適切な領域が設定される。つまり、識別器の走査時間を浪費したり、必要な物体を見逃したりする可能性が低減できる。さらに、候補領域は、定期的に最適なものに自動的に更新されるため、マニュアルで再指定する必要が無く、撮影場所の状況変化にも適切に対応することができる。

［第２の実施形態］
続いて、第２の実施形態について図面を参照して詳細に説明する。

第２の実施形態では、第１の実施形態の説明に加え、識別器を適用する際の様々なパラメータを設定できるようにする。識別器を適用する際の様々なパラメータを設定可能に構成することで、候補領域算出部１０５による機械学習時にそれらのパラメータの違いも同時に学習し、最適なパラメータが選択されるようにする。その結果、第２の実施形態によれば、最適なパラメータを模索する負担が軽減する。

図１３は、第２の実施形態に係る物体検出装置１００の内部構成の一例を示す図である。図１３を参照すると、第１の実施形態にて説明した物体検出装置１００に対して識別器パラメータ設定情報２０４が追加されている。より正確には、識別器適用部１０２は、記憶媒体等に格納された識別器パラメータ設定情報２０４を参照可能に構成されている。

識別器パラメータ設定情報２０４には、学習時に識別器を適用する際のパラメータのバリエーションが記載されている。図１４は、第２の実施形態に係る識別器パラメータ設定情報２０４の一例を示す図である。図１４に示す識別器パラメータ設定情報２０４では、スライディングウィンドウで画像を走査する際の走査幅を物体ごとに指定している。図１４の例では、横の走査幅に３種類、縦の走査幅に２種類、記載されているので、候補領域算出部１０５による学習時に識別器を適用する際には６種類（３×２）スライディングウィンドウが用いられる。

なお、図１４には、全ての物体に対するパラメータ［全体］に関しては記載がないが、当該パラメータに関しても指定を行うと、その分組み合わせ数が倍増する。また、物体の状態ごとにパラメータを分けて設定しても良い。

識別器適用部１０２は、識別器パラメータ設定情報２０４を参照し、識別器を画像に適用した結果、図１５に示すような物体検出情報１０４を得る。第１の実施形態に係る物体検出情報１０４（図７参照）と比較すると、図１５の物体検出情報１０４には「走査幅（横）」と「走査幅（縦）」の列が追加となっており、どのパラメータの組み合わせで識別器を適用したかが把握可能となっている。

候補領域算出部１０５は、当該情報を用いて機械学習を行い、候補領域を算出するのに最適なパラメータ（スライディングウィンドウのサイズ）を選択する。

なお、パラメータの選択方法として、学習用の画像群２０１の一部（例えば、全体の２割）を学習用データとして使用せず、評価用データとして分離し、当該評価用データにより実際に検出を行った結果でパラメータを選択する手法が考えられる。具体的には、各パラメータの組み合わせごと（上記の例では、６種類）に学習した結果の候補領域式を使用して評価用データに対して物体検出を行い、一番精度が高かったものを採用する。

候補領域算出部１０５は、図１５に示す物体検出情報１０４を用いて図１６に示すような物体候補領域情報１０６を生成する。図１６を参照すると、第１の実施形態にて説明した物体候補領域情報１０６（図８）に対して、物体検出情報１０４と同じように、「走査幅（横）」と「走査幅（縦）」の列が追加されている。

このように、第２の実施形態に係る物体候補領域情報１０６には、適用可能なパラメータの組み合わせの中から最適な値が識別器ごとに記載されている。運用フェーズでは、識別器適用部１０２は、物体候補領域情報１０６に記載されたパラメータを使用して識別器に適用する。

以上のように、第２の実施形態では、識別器適用部１０２は、学習フェーズにおいて、識別器を適用する際に予め定められた範囲にてパラメータを可変し、物体が検出された際のパラメータを含む物体検出情報１０４を算出する。候補領域算出部１０５は、物体が算出された際のパラメータを含む物体検出情報に対して機械学習を行い、識別器に候補領域を適用する際のパラメータを規定する情報（図１６の例では２つの走査幅フィールド）を含む物体候補領域情報を算出する。即ち、第２の実施形態に係る物体検出装置１００は、識別器を適用する際に様々なパラメータを設定可能に構成し、候補領域算出部１０５による機械学習時にそれらのパラメータの違いも同時に学習する。学習の結果、物体検出に最適なパラメータが選択され、識別器に適用される。その結果、物体検出の精度が向上する。

上記実施形態の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、例えば各処理を並行して実行する等、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。

上記の説明により、本発明の産業上の利用可能性は明らかであるが、本発明は、監視カメラによる交通監視システムに好適に適用可能である。例えば、図１７に示すように、交通監視システムは、複数の監視カメラ５０と、監視カメラ５０から取得された画像データから物体を検出する物体検出装置１００と、を含む。当該交通監視システムでは、複数の監視カメラ５０を交差点等に設置し、各監視カメラ５０の撮影箇所ごとに限定された候補領域だけを監視することで、監視処理を高速化して物体検出を行うことができる。

上記の実施形態の一部又は全部は、以下の形態のようにも記載され得るが、以下には限られない。
［形態１］
上述の第１の視点に係る物体検出装置のとおりである。
［形態２］
取得した画像から物体を検出する運用フェーズにおいて、
前記識別器適用部は、前記取得した画像の領域のうち前記候補領域により定まる領域に限定して前記取得した画像に対して前記識別器を適用する、形態１の物体検出装置。
［形態３］
前記候補領域算出部は、前記運用フェーズにて取得された画像から算出された前記物体検出情報から新たな前記物体候補領域情報を算出し、前記新たに算出された物体候補領域情報により物体候補領域情報を更新する、形態２の物体検出装置。
［形態４］
前記候補領域算出部は、
物体と、当該物体を検出するための識別器が有効な条件と、前記候補領域と、を関連付ける前記物体候補領域情報を算出し、
前記識別器適用部は、前記運用フェーズにて取得された画像のうち、前記有効な条件を満たす画像を選択すると共に、前記選択された画像の領域のうち前記候補領域により定まる領域に限定して識別器を適用する、形態２又は３の物体検出装置。
［形態５］
前記有効な条件は、前記運用フェーズにて取得された画像の時刻に関する条件である、形態４の物体検出装置。
［形態６］
前記候補領域算出部は、
一の物体が検出されたことに応じて発生する他の物体を検出するための識別器を特定するための情報を含む前記物体候補領域情報を算出し、
前記識別器適用部は、前記一の物体が検出された後、前記他の物体を検出するための識別器を画像に適用する、形態１乃至５のいずれか一に記載の物体検出装置。
［形態７］
前記識別器適用部は、前記学習フェーズにおいて、前記識別器を適用する際に予め定められた範囲にてパラメータを可変し、物体が検出された際のパラメータを含む前記物体検出情報を算出し、
前記候補領域算出部は、前記物体が算出された際のパラメータを含む物体検出情報に対して機械学習を行い、前記識別器に前記候補領域を適用する際のパラメータを規定する情報を含む前記物体候補領域情報を算出する、形態１乃至６のいずれか一に記載の物体検出装置。
［形態８］
上述の第２の視点に係る交通監視システムのとおりである。
［形態９］
上述の第３の視点に係る物体検出装置の制御方法のとおりである。
［形態１０］
上述の第４の視点に係るプログラムのとおりである。
なお、形態８〜１０は、形態１と同様に、形態２〜形態７のように展開することが可能である。

なお、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし、選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。

１０、１００ 物体検出装置
１１、１０２ 識別器適用部
１２、１０５ 候補領域算出部
２１ ＣＰＵ
２２ メモリ
２３ 入出力インターフェイス
２４ ＮＩＣ
３１ 走査枠
３２、３３、３６ 領域
３４ 看板
３５ 自動車
４１〜４４ 点
５０ 監視カメラ
１０１ 画像読込部
１０３ 識別結果出力部
１０４ 物体検出情報
１０６ 物体候補領域情報
２０１ 学習用の画像群
２０２ 運用用の画像群
２０３ 識別器群
２０４ 識別器パラメータ設定情報

Claims (10)

1. 学習フェーズにおいて、過去に取得された画像に対して物体を検出する識別器を適用し、前記識別器により検出された物体の位置情報を少なくとも含む物体検出情報を算出する、識別器適用部と、
   前記物体検出情報を用いて機械学習を行い、物体が画像の中に表れ得る候補領域を規定する情報を少なくとも含む物体候補領域情報を算出する、候補領域算出部と、
   を備える、物体検出装置。
2. 取得した画像から物体を検出する運用フェーズにおいて、
   前記識別器適用部は、前記取得した画像の領域のうち前記候補領域により定まる領域に限定して前記取得した画像に対して前記識別器を適用する、請求項１の物体検出装置。
3. 前記候補領域算出部は、前記運用フェーズにて取得された画像から算出された前記物体検出情報から新たな前記物体候補領域情報を算出し、前記新たに算出された物体候補領域情報により物体候補領域情報を更新する、請求項２の物体検出装置。
4. 前記候補領域算出部は、
   物体と、当該物体を検出するための識別器が有効な条件と、前記候補領域と、を関連付ける前記物体候補領域情報を算出し、
   前記識別器適用部は、前記運用フェーズにて取得された画像のうち、前記有効な条件を満たす画像を選択すると共に、前記選択された画像の領域のうち前記候補領域により定まる領域に限定して識別器を適用する、請求項２又は３の物体検出装置。
5. 前記有効な条件は、前記運用フェーズにて取得された画像の時刻に関する条件である、請求項４の物体検出装置。
6. 前記候補領域算出部は、
   一の物体が検出されたことに応じて発生する他の物体を検出するための識別器を特定するための情報を含む前記物体候補領域情報を算出し、
   前記識別器適用部は、前記一の物体が検出された後、前記他の物体を検出するための識別器を画像に適用する、請求項１乃至５のいずれか一項に記載の物体検出装置。
7. 前記識別器適用部は、前記学習フェーズにおいて、前記識別器を適用する際に予め定められた範囲にてパラメータを可変し、物体が検出された際のパラメータを含む前記物体検出情報を算出し、
   前記候補領域算出部は、前記物体が算出された際のパラメータを含む物体検出情報に対して機械学習を行い、前記識別器に前記候補領域を適用する際のパラメータを規定する情報を含む前記物体候補領域情報を算出する、請求項１乃至６のいずれか一項に記載の物体検出装置。
8. 監視カメラと、
   前記監視カメラから取得された画像データから物体を検出する物体検出装置と、
   を含み、
   前記物体検出装置は、
   学習フェーズにおいて、過去に取得された画像に対して物体を検出する識別器を適用し、前記識別器により検出された物体の位置情報を少なくとも含む物体検出情報を算出する、識別器適用部と、
   前記物体検出情報を用いて機械学習を行い、物体が画像の中に表れ得る候補領域を規定する情報を少なくとも含む物体候補領域情報を算出する、候補領域算出部と、
   を備える、交通監視システム。
9. 学習フェーズにおいて、過去に取得された画像に対して物体を検出する識別器を適用し、前記識別器により検出された物体の位置情報を少なくとも含む物体検出情報を算出するステップと、
   前記物体検出情報を用いて機械学習を行い、物体が画像の中に表れ得る候補領域を規定する情報を少なくとも含む物体候補領域情報を算出するステップと、
   を含む、物体検出装置の制御方法。
10. 学習フェーズにおいて、過去に取得された画像に対して物体を検出する識別器を適用し、前記識別器により検出された物体の位置情報を少なくとも含む物体検出情報を算出する処理と、
    前記物体検出情報を用いて機械学習を行い、物体が画像の中に表れ得る候補領域を規定する情報を少なくとも含む物体候補領域情報を算出する処理と、
    をコンピュータに実行させるプログラム。

Images