JP5258651B2 - 物体検出装置、物体検出方法、及び、プログラム - Google Patents

Description

本発明は、動画像から歩行者等の物体を検出し追跡する物体検出装置、物体検出方法、及び、プログラムに関する。

従来から、動画像から物体を検出し、追跡する装置等の技術がある。これらの技術は、以下の３通りに大別される。

１つめは、直前の時刻で物体を検出し、検出された物体を追跡することで、現在の時刻における物体位置や大きさを推定する。推定された結果と現在の時刻で検出された物体との間で物体位置や大きさなどの関係から、それらが同一物体であるか時刻間の対応づけを行うことで目的を達成する（特許文献１参照））。

２つめは、直前の時刻で検出された物体と現在の時刻で検出された物体同士を物体の持つ色やパターンなどの特徴を比較することで対応づけを行うことで目的を達成する（特許文献２参照））。

３つめは、例えば現在時刻で物体が検出されていないときに、過去の時刻に検出された物体と現在時刻より後の時刻に検出された物体とから、現在時刻における物体の位置や大きさや有無も推定する、オフライン処理である（非特許文献１参照）。

特開２００６−５３７５６号公報 特開２００６−１３３９４６号公報

Ｌ．Ｚｈａｎｇ，Ｙ．Ｌｉ，Ｒ．Ｎｅｖａｔｉａ，"Ｇｌｏｂａｌ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｍｕｌｔｉ−Ｏｂｊｅｃｔ Ｔｒａｃｋｉｎｇ Ｕｓｉｎｇ Ｎｅｔｗｏｒｋ Ｆｌｏｗｓ"，ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２００８． 関、服部、"複数のサンプル点を利用したリアルタイム３次元運動推定"、画像の認識・理解シンポジウム、２００８．

しかしながら、上記特許文献１及び２に記載の物体認識装置等の技術では、毎時刻において物体が正しく検出されている必要があった。そのため、毎時刻で安定して物体を検出出来ない場合には、時刻間で物体が同一であるか否かの判定ができない。また物体が検出されない時刻では、物体の位置や大きさや有無を特定できない。

また、非特許文献１に記載のオフライン処理による検出では、直後の時刻の情報も用いるため、あらかじめ撮影された動画像が必要であり、検出および追跡結果に時間遅れが発生する。

本発明は、上記の点に鑑みて、これらの問題を解消するために発明されたものであり、動画像から、時間遅れなく、かつ、正確に物体の有無や位置を特定することを目的とする。

上記目的を達成するために、本発明の物体検出装置は次の如き構成を採用した。

本発明の一態様に係る物体検出装置は、動画像を構成する画像のうちの過去の一の時刻の画像から検出された所定の種別の物体の候補の、現在時刻における状態を推定し、推定された状態の前記物体の候補の物体種別度を求める追跡部と、前記動画像の現在時刻の画像から、前記所定の種別の物体の候補を検出し、検出した前記候補の状態及び物体種別度を求める物体検出部と、前記追跡部が求めた物体種別度及び前記物体検出部が求めた物体種別度を用いて、一の物体毎に一の前記候補を選択する選択部と、前記一の時刻の画像から検出された所定の種別の物体毎に、選択された前記候補の中から一の候補を対応づける
対応付け部と、前記物体検出部が検出する候補が複数の場合に、前記選択部は、前記追跡部及び前記物体検出部の各々が求めた前記物体種別度から、該物体種別度が大きいほど値の大きい物体種別重みを求めると共に、前記追跡部及び前記物体検出部の各々が求めた前記物体種別度から、一の物体に対して同時に選択される前記候補の数が多いほど値の小さいペナルティ重みを求め、前記物体種別重みと前記ペナルティ重みとの総和が最大になる前記候補を選択する構成とすることができる。

本発明の物体検出装置、物体検出方法、及び、プログラムによれば、動画像から、時間遅れなく、かつ、正確に物体の有無や位置を特定する物体検出装置、物体検出方法、及び、プログラムを提供することが可能になる。

本実施の形態に係る物体検出装置のブロック図である。 本実施の形態に係る物体検出方法の処理の概略を示すフロー図である。 本実施の形態に係る物体検出方法のステップにおける処理により出力される検出結果を説明する図である。 追跡ステップ（ステップＳ１０）の詳細を示すフロー図である。 動画像に含まれる一の時刻の画像を示す図である。 物体検出ステップ（ステップＳ２０）の詳細を説明するフロー図である。 対応付けステップ（ステップＳ４０）の詳細を説明するフロー図である。 本実施の形態にかかる物体検出装置のハードウェア構成を示す説明図である。

図１は、本実施の形態に係る物体検出装置のブロック図である。図１の物体検出装置は、追跡部１１、物体検出部１２、選択部１３、及び、対応付け部１４を有する。追跡部１１は、動画像から、現在の時刻の直前の時刻の画像で求められた物体を追跡して物体候補として登録する。物体検出部１２は、現在の時刻の画像から物体を検出して物体候補として登録する。

選択部１３は、追跡部１１で得られた物体候補と物体検出部１２で得られた物体候補とから物体を選択する。対応付け部１４は、選択部１３で選択された物体と追跡部１１で得られた物体候補とが、同一物体であるか否かを判定する。

図２は、本実施の形態に係る物体検出方法の処理の概略を示すフロー図である。本実施の形態に係る物体検出方法は、図２に示す４つのステップを有する。ステップＳ１０は、追跡部１１による追跡ステップであり、ステップＳ２０は、物体検出部１２による物体検出ステップであり、ステップＳ３０は、選択部１３による選択ステップであり、ステップＳ４０は、対応付け部１４による対応づけステップである。

図３は、図２に示すフロー図に対応し、各ステップにおける処理により出力される検出結果を説明する図である。図３では、現在の時刻の直前の時刻の画像において、物体が２つ検出されている。それぞれの物体のＩＤを１及び２とする。

ステップＳ１０では、各物体の現在の時刻の位置や大きさ等を推定する。ステップＳ２０では、現在の時刻の画像の情報から物体の検出を行う。

ステップＳ３０では、ステップＳ１０で推定された物体候補とステップＳ２０で検出された物体候補とから、物体の選択を行う。ステップ４０では、追跡ステップ（ステップＳ１０）で検出された物体の情報と選択ステップ（ステップＳ３０）で選択された物体の情報とから、２つの時刻間で同一の物体の対応づけを行う。ここでは、ＩＤが１と２の物体が追跡され、ＩＤが３の物体は新しく検出された物体である。それぞれのステップのより詳細な例を以下で説明する。

図４は、追跡ステップであるステップＳ１０の詳細を示すフロー図である。図４の追跡ステップは、物体追跡ステップ（ステップＳ１０１）、追跡判定ステップ（ステップＳ１０２）、候補破棄ステップ（ステップＳ１０３）、物体種別度設定ステップ（ステップＳ１０４）、及び、候補更新ステップ（ステップＳ１０５）の５つのステップが含まれる。

ここでは、検出する物体として歩行者の例について説明する。なお、本実施の形態により検出される対象物体は、歩行者の他に、自動車、自転車等の種別でもよい。本実施の形態に係る物体検出方法は、検出する対象物の種別が定められる。

図５は、動画像に含まれる一の時刻の画像を示す図である。図５の画像１０００は、歩行者の物体１００１を有する。領域１００２は、物体１００１の周囲の矩形領域である。なお、図５の例では、矩形を物体検出の際の形状とするが、楕円、物体の輪郭形状でもよい。

一の時刻の画像に、歩行者が複数含まれる場合には、それぞれの歩行者について、追跡ステップを実行する。

物体追跡ステップ（ステップＳ１０１）では、現在の時刻の直前の時刻の画像で求められた歩行者の追跡を行う。直前の時刻の画像で求められた歩行者とは、物体検出処理を直前の時刻の画像に対して実行することで得られた歩行者である。直前の時刻の画像に対する物体検出処理は、本実施形態の物体検出処理と同一でよい。なお、一の動画像に対する最初の物体検出処理の際には、直前の時刻で求められた歩行者が存在しないため、追跡ステップ（ステップＳ１０）は行わず、物体検出ステップ（ステップＳ２０）から処理を行う。

物体追跡ステップ（ステップＳ１０１）では、例えば、直前の時刻の画像と現在の時刻の画像から、画像上での移動ベクトルや大きさの変化を求める。より詳細には、例えば、テンプレートマッチング法やＣａｍＳｈｉｆｔ法を用いて歩行者の移動ベクトルや大きさの変化を推定する。

物体追跡ステップ（ステップＳ１０１）では、また例えば、直前の時刻の画像と現在の時刻の画像との両時刻の画像に加えて、両時刻の３次元的な位置情報から、空間上での３次元的な移動ベクトルを求めることで画像上での移動位置や大きさの変化を得る（非特許文献２参照）。３次元的な位置情報は、例えば、両時刻の画像において、それぞれステレオ計測を用いて得ることができる。

追跡判定ステップ（ステップＳ１０２）では、物体追跡ステップ（ステップＳ１０１）で行われた追跡が成功したか否かの判定を行う。判定方法は、物体追跡ステップ（ステップＳ１０１）で採用する追跡方法に対応させる。

例えば、物体追跡ステップ（ステップＳ１０１）で、テンプレートマッチング法を採用した場合には、追跡判定ステップ（ステップＳ１０２）では、テンプレートマッチング法で利用した類似度（例えばＳｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ：ＳＡＤ）に閾値を設けて、設定値以上の場合には追跡が失敗したと判断し、設定値未満のときは追跡が成功したと判断する。また例えば、歩行者の移動速度には上限があることから、移動ベクトルが閾値以上の場合に追跡が失敗したとみなしてもよい。

候補破棄ステップ（ステップＳ１０３）では、追跡判定ステップ（ステップＳ１０２）で失敗と判定された歩行者の結果を破棄する。

物体種別度設定ステップ（ステップＳ１０４）では、追跡判定ステップ（ステップＳ１０２）で成功と判断された歩行者に対して、物体種別度の設定を行う。物体種別度とは、検出された物体が、その物体の種別に含まれるか否かを表す指標であり、例えば、検出の対象が「歩行者」の場合には「歩行者らしさ」を表す指標である。

物体種別度は、例えば、識別器の出力（１０４−１）、路面からの距離（１０４−２）、奥行き（１０４−３）、大きさ（１０４−４）、動き（１０４−５）、及び、事前知識（１０４−６）等の指標から算出する。

識別器の出力（１０４−１）は、あらかじめ学習した歩行者画像のパターンと入力した画像パターンとの類似性を判断するため、サポートベクターマシン（以下、「ＳＶＭ」という。）から得られる識別確率を用いる。識別確率は、０から１に正規化され、あらかじめＳＶＭで学習されたパターンに近いほど、１に近い値を持つ。なお、ＳＶＭの他に、Ｒａｎｄａｍｉｚｅｄ Ｔｒｅｅ等の識別器を用いてもよい。

識別確率は、歩行者の姿勢、歩行者の背景のパターン、及び、影等によって、低下する場合がある。そのため、直前の時刻の画像から得られた識別確率Ｐ＾_{ｐ，ｔ−１}を次式（１）に入力して求めるＰ＾’_{ｐ，ｔ−１}と、物体追跡ステップ（ステップＳ１０１）で得られた現在の時刻の画像における位置と大きさとから求めた矩形領域を画像パターンとして入力し、求められた識別確率Ｐ_ｐ，ｔと、の大きい方を識別器の出力（１０４−１）による物体種別度Ｐ＾_ｐ，ｔとする。

なお、数式中の「ハット記号＾の付された文字Ｐ」を、本文中では「Ｐ＾」を表記する。

路面からの距離（１０４−２）は、検出対象の物体が、歩行者、自転車、バイク、自動車等、道路面上に接する場合に利用できる。そのような物体は、路面からの距離が近い。そこで、路面からの距離が近いほど、路面からの距離（１０４−２）による物体種別度Ｐ_ｈを１に近い値とし、遠いほど０に近い値とする。例として、図５の領域１００２の中央下部の位置１００３における路面からの距離をｈと表すと、物体種別度Ｐ_ｈを次式（２）から求める。

なお、距離ｈは、カメラに対する路面の姿勢と、物体１００１の空間位置とから求めることができる。

奥行き（１０４−３）を得るには、ステレオ計測などによって得られた３次元位置情報が必要である。図５において、物体が存在する領域１００２内では、奥行きに偏りのある３次元位置情報を含んでいる。この偏りが大きいほど奥行き（１０４−３）による物体種別度Ｐ_ｄを１に近い値とし、偏りが小さいほど０に近い値とする。

大きさ（１０４−４）は、検出結果から得られる物体の大きさに基づいて得られる。例えば、歩行者は、身長がある程度の決まった範囲であるため、その範囲を逸脱する物体の大きさによる物体種別度Ｐ_ｓを０に、その範囲内である物体の大きさによる物体種別度Ｐ_ｓを１にする。物体の空間的な大きさは、物体の奥行きと画像上での大きさ、及び、カメラの内部パラメータが既知であれば求めることができる。

動き（１０４−５）は、物体の動きに基づいて得られる。検出対象が歩行者の場合には、移動速度に上限がある。また対象が自動車の場合には、急に進行方向が変化することが少ない。本実施の形態では、物体追跡ステップ（ステップＳ１０１）において、物体の移動ベクトルが求められているため、移動ベクトルが対象の動きに近いほど、動きによる物体種別度Ｐ_ｍを１に近い値とし、移動ベクトルが対象の動きに遠いほど、動きによる物体種別度Ｐ_ｍを０に近い値とする。

事前知識（１０４−６）は、対象の事前知識に基づく指標である。例えば、遠赤外線カメラを用いる場合には、歩行者は周りに比べて高い温度を持つため、画像中で明るく映る。そこで、検出された対象を含む矩形領域に明るい輝度値を多く含む場合には、事前知識による物体種別度Ｐ_ｐｒｉを１に近い値とし、そうでない場合ほど、０に近い値とする。

また例えば、カメラにＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）とコンパスと地図とを搭載する場合には、検出された物体が歩道エリアに存在する場合に、事前知識による物体種別度Ｐ_ｐｒｉを１に近い値とし、検出された物体が、歩行者が存在する可能性の低いエリアに存在する場合ほど、事前知識による物体種別度Ｐ_ｐｒｉを０に近い値とする。

またその他に、カメラが進行していくエリアにある物体を漏れなく検出・追跡するために、カメラが進行していくエリア近くに存在する物体では事前知識による物体種別度Ｐ_ｐｒｉを１に近い値とし、そうでないエリアほど、事前知識による物体種別度Ｐ_ｐｒｉを０に近い値とするとよい。または、物体追跡ステップ（ステップＳ１０１）において追跡した際の信頼度を用いてもよい。例えば、ＳＡＤの値が小さいほど信頼度が高いとして、事前知識による物体種別度Ｐ_ｐｒｉを１に近い値とする。

上記の（１０４−１）ないし（１０４−６）の指標により求めたそれぞれの物体種別度を、次式（３）に示す積の形にして、検出された各対象の物体種別度Ｐを求める。

なお、式（３）に示すように、各指標による物体種別度を全て用いて、物体種別度Ｐを求めてもよく、各指標による物体種別度Ｐ＾_ｐ，ｔ，Ｐ_ｈ，Ｐ_ｄ，Ｐ_ｓ，Ｐ_ｍ，Ｐ_ｐｒｉのうち、一以上の物体種別度を選び、それらの積により、物体種別度Ｐを求めてもよい。

さらに、事前知識による物体種別度Ｐ_ｐｒｉが複数の事前知識を用いる場合には、各事前知識による物体種別度Ｐ_ｐｒｉの積を、事前知識による物体種別度Ｐ_ｐｒｉとするとよい。

候補更新ステップ（ステップＳ１０５）では、物体追跡ステップ（ステップＳ１０１）で得られた現在の時刻の画像における物体候補の位置や矩形領域と、物体種別度設定ステップ（ステップＳ１０４）で得られた物体種別度Ｐを追跡結果として更新する。なお、Ｐ＾_ｐ，ｔを追跡結果に含ませてもよい。

図６は、物体検出ステップ（ステップＳ２０）の詳細を説明するフロー図である。物体検出ステップ（ステップＳ２０）は、物体検出ステップ（ステップＳ２０１）、物体種別度設定ステップ（ステップＳ２０２）、及び、候補登録ステップ（ステップＳ２０３）を有する。

物体検出ステップ（ステップＳ２０１）では、現在の時刻の画像から歩行者を検出する。歩行者を検出する際には、例えば現在の時刻の画像上に大きさや位置の異なる矩形領域を複数生成し、それぞれの矩形領域の画像パターンに対し、識別器の出力（１０４−１）による物体種別度の算出の際に用いたＳＶＭを用いて識別確率を求め、識別確率が閾値以上のものを検出結果とする。一人の歩行者のまわりの複数の矩形領域で閾値を上回る場合には、検出結果を１つにまとめずにそれぞれの検出結果として扱う。また、ステレオ計測などによって得られた現在の時刻の３次元位置を用いて、立体物の領域を抽出し、それらを物体の検出結果としてもよい。

物体種別度設定ステップ（ステップＳ２０２）では、物体検出ステップ（ステップＳ２０１）で検出された物体候補それぞれに対して物体種別度を求める。物体種別度の求め方は、ステップＳ１０の物体種別度設定ステップ（ステップＳ１０４）と同じである。但し、ここでは初めて検出されており、追跡時の情報を用いることができないため、動き（１０４−５）の指標は利用することができない。

候補登録ステップ（ステップＳ２０３）では、物体検出ステップ（ステップＳ２０１）で求めた物体候補の位置や矩形領域と、物体種別度設定ステップ（ステップＳ２０２）で求めた物体種別度を新たに記録する。なお、ステップＳ２０１で求めた識別確率を併せて記録してもよい。

選択ステップ（ステップＳ３０）では、追跡ステップ（ステップＳ１０）の候補更新ステップ（ステップＳ１０５）で記録された物体候補の結果と、物体検出ステップ（ステップＳ２０）の候補登録ステップ（ステップＳ２０３）で記録された物体候補の結果と、の中から、一人の歩行者に対する１つの検出結果を選択する。

より詳細には、まずそれぞれの物体検出結果が選択される際に加算する重みを設定する。次に、一人の歩行者に対して複数の検出結果が選択されないようにするため、複数の物体検出結果が同時に選択された際のペナルティとなる重みを設定する。重みの合計が最も大きくなるように検出結果を選択することで、一人の歩行者に対する検出結果が１つとなる。

候補更新ステップ（ステップＳ１０５）と候補登録ステップ（ステップＳ２０３）で記録された物体候補の結果を順に並べ、ｉ番目の結果をｈ_ｉ、その物体種別度をＰ_ｉと表すとき、次式（４）で与えられる重みを計算する。

式（４）では、物体種別度が大きいほど関数ｆは大きな値を持つ。次に、複数の物体検出結果が選択された際のペナルティとなる重みを計算する。ここでは、計算を高速に行うため、２つの検出結果が同時に選ばれる場合のペナルティのみ求める。これにより、３つ以上の検出結果が同時に選ばれる場合は近似的なペナルティとなるが、３つ以上の検出結果が同時に選ばれる際のペナルティを求める処理を別途行ってもよい。ｉ番目とｊ番目（ただし、ｉ＜ｊ）の検出結果が同時に選択された際にペナルティとなる重みを次式（５）で与える。

ここで、Ｐ_ｉ∩ｊは、次式（６）で与えられる。

なお、Ｒ_ｉｊは、矩形領域同士が重なっている面積を分子とし、分母にｉ番目またはｊ番目の検出結果の矩形領域の面積の小さい方とした比である。Ｅ_ｉｊは、ｉ番目の検出結果の奥行きＺｉとｊ番目の検出結果の奥行きＺｊが分かる場合に利用し、わからない場合はＥ_ｉｊの代わりに１とする。Ｐ_ｉ∩ｊは、検出結果の奥行きに差があるほど、検出結果の矩形領域同士が重なっていないほど小さな値となる。

続いて、求めた重みを使って検出結果から１の物体を選択する方法について説明する。次式（７）では、目的関数Ｅをベクトルｍと行列Ｑを使って表現する。

ベクトルｍは０または１を要素に持つ未知ベクトルであり、次元数ｋは候補更新ステップ（ステップＳ１０５）と候補登録ステップ（ステップＳ２０３）で記録された物体候補の結果の合計数である。ベクトルｍのｉ番目の要素が１であるときには、ｉ番目の検出結果が選択され、０のときにはｉ番目の検出結果が選択されない。行列Ｑは、式（８）に示す対称行列であり、それぞれの要素は式（９）に従い与えられる。

式（７）の目的関数を最大にするベクトルｍを推定することで、検出結果の選択を行う。ベクトルｍの求め方は、総当たりで計算してもよいが、ベクトルｍの次元が大きくなると非常に計算時間がかかる。そこで、たとえば貪欲法を用いることで高速に計算するとよい。

図７は、対応付けステップ（ステップＳ４０）の詳細を説明するフロー図である。対応付けステップ（ステップＳ４０）は、候補対応づけステップ（ステップＳ４０１）、対応付け判定ステップ（ステップＳ４０２）、物体新規登録ステップ（ステップＳ４０３）、及び、物体情報更新ステップ（ステップＳ４０４）を有する。

候補対応づけステップ（ステップＳ４０１）では、選択ステップ（ステップＳ３０）で選択された現在の時刻における歩行者の検出結果と直前の時刻の歩行者の検出が同一であるか否かを判断するために０以上１以下の時間対応づけ類似度を計算する。時間対応付け類似度Ｔｉｊは、選択ステップ（ステップＳ３０）で選択された検出結果を順に並べてｉ番目の結果と、候補更新ステップ（ステップＳ１０５）の追跡結果を順に並べてｊ番目の結果から組を作り、次式（１０）に従って求める。

ここで、γ_ｉｊは、定数またはｉ番目とｊ番目の物体の結果を囲む矩形領域内の輝度ヒストグラムや画像パターンの特徴から算出した０から１に正規化された類似度（類似しているほど１に近い）、または、定数として１でもよい。Ｒ_ｉｊは、式（６）と同様に求める。

Ψ_ｉｊは、定数でもよい。Ψ_ｉｊは、また、物体の奥行き情報がある場合には、ｉ番目の物体の結果の奥行きｚｉと、ｊ番目の物体の結果の奥行きｚｊと、から、式（１１）により算出される類似度でもよい。

時間対応づけ類似度Ｔｉｊは、選択ステップ（ステップＳ３０）で選択された現在の歩行者の検出結果と、候補更新ステップ（ステップＳ１０５）の追跡結果とのすべての組み合わせについて求める。選択ステップ（ステップＳ３０）において選択された検出結果と、候補更新ステップ（ステップＳ１０５）の追跡結果と、が一致している場合もあるが、その場合には時間対応づけ類似度Ｔｉｊは１である。

対応付け判定ステップ（ステップＳ４０２）では、候補対応づけステップ（ステップＳ４０１）で計算された類似度を元に、選択ステップ（ステップＳ３０）において選択された検出結果と、候補更新ステップ（ステップＳ１０５）の追跡結果とが、同一のものであるか否かの判定を行う。

物体が同一であるか否かの判定は、時間対応づけ類似度に対して０以上１以下の閾値を設け、閾値を超える検出結果の組は、同一のものであるとし「同一物体あり」と判定する。候補更新ステップ（ステップＳ１０５）の追跡結果の１つに対して、選択ステップ（ステップＳ３０）において選択された物体の複数個が、同一物体であると判断される場合には、時間対応づけ類似度が最大である組を同一物体と判断する。選択ステップ（ステップＳ３０）において選択された検出結果で時間対応づけがなされなかったものは「同一物体なし」と判定する。

物体新規登録ステップ（ステップＳ４０３）では、対応づけ判定ステップ（ステップＳ４０２）で「同一物体なし」と判定された検出結果を、その時刻の画像に新たに現れた歩行者として登録する。登録する情報は、歩行者の位置、矩形領域の情報、及び、物体固有のＩＤ等である。これにより、直後の時刻に対しても現在の時刻と同様に本発明を実行できる。物体固有のＩＤは、ここで新たに生成する。なお、識別器の出力（１０４−１）による指標により求められた物体種別度Ｐ＾_ｐ，ｔや歩行者の速度等の情報を、併せて記録してもよい。

物体情報更新ステップ（ステップＳ４０４）では、対応づけ判定ステップ（ステップＳ４０２）で、「同一物体あり」と判定された検出結果を、直前の時刻で検出された歩行者の情報に更新する。更新する情報は、歩行者の位置や矩形領域の情報である。また、識別器の出力（１０４−１）による指標で求めた物体種別度Ｐ＾_ｐ，ｔや歩行者の速度等の情報が記録されている場合には、更新するとよい。
以上のステップＳ１０からステップＳ４０までを、時刻を変えながら逐次的に行うことで、歩行者の検出と追跡を長時間に渡って行うことができ、さらに現在の時刻からは検出ができなかった物体がある場合でも、過去の時刻から引き継がれた物体の情報を使うため物体位置や大きさや有無を推定することができる。

次に、本実施の形態にかかる物体検出装置のハードウェア構成について図８を用いて説明する。図８は、本実施の形態にかかる物体検出装置のハードウェア構成を示す説明図である。

本実施の形態にかかる物体検出装置は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５１などの制御装置と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５２やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、各部を接続するバス６１を備えている。

本実施の形態にかかる物体検出装置で実行されるプログラムは、ＲＯＭ５２等に予め組み込まれて提供される。

本実施の形態にかかる物体検出装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、本実施の形態にかかる物体検出装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態にかかる物体検出装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

本実施の形態にかかる物体検出装置で実行されるプログラムは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ５１が上記ＲＯＭ５２からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部が主記憶装置上に生成されるようになっている。

なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。

以上のように、本発明の実施の形態に係る物体検出装置は、テレビカメラ等により撮影された動画像中から、歩行者等の所定の種別の物体を検出する際に有用である。

１１ 追跡部
１２ 物体検出部
１３ 選択部
１４ 対応付け部
５１ ＣＰＵ
５２ ＲＯＭ
５３ ＲＡＭ
５４ 通信Ｉ／Ｆ
６１ バス
１０００ 画像
１００１ 物体
１００２ 領域
１００３ 位置

Claims (6)

1. 動画像を構成する画像のうちの過去の一の時刻の画像から検出された所定の種別の物体
   の候補の、現在時刻における状態を推定し、推定された状態の前記物体の候補の物体種別
   度を求める追跡部と、
   前記動画像の現在時刻の画像から、前記所定の種別の物体の候補を検出し、検出した前
   記候補の状態及び物体種別度を求める物体検出部と、
   前記追跡部が求めた物体種別度及び前記物体検出部が求めた物体種別度を用いて、一の
   物体毎に一の前記候補を選択する選択部と、
   前記一の時刻の画像から検出された所定の種別の物体毎に、選択された前記候補の中か
   ら一の候補を対応づける対応付け部と、
   を有することを特徴とする物体検出装置であって、
   前記物体検出部が検出する候補が複数の場合に、
   前記選択部は、前記追跡部及び前記物体検出部の各々が求めた前記物体種別度から、該物体種別度が大きいほど値の大きい物体種別重みを求めると共に、前記追跡部及び前記物体検出部の各々が求めた前記物体種別度から、一の物体に対して同時に選択される前記候補の数が多いほど値の小さいペナルティ重みを求め、前記物体種別重みと前記ペナルティ重みとの総和が最大になる前記候補を選択する
   ことを特徴とする物体検出装置。
2. 前記対応付け部は、前記一の時刻の画像から検出された所定の種別の物体毎に、選択された複数の前記候補の各々との類似度を算出し、該複数の前記候補の内の類似度の最も高い一の候補を対応づける、請求項１に記載の物体検出装置。
3. 前記追跡部が推定する状態、及び、前記物体検出部が求める状態、の何れか一以上は、前記動画像を構成する画像における位置、前記動画像を構成する画像における領域、及び、空間上の位置、の何れか一以上であることを特徴とする請求項１または２に記載の物体検出装置。
4. 前記追跡部は、現在時刻の画像において当該物体検出装置により検出された物体を、新たに前記過去の一の時刻の画像において検出された物体の候補として、新たな現在時刻における状態を推定し、推定された状態の前記物体の候補の物体種別度を求め、
   前記物体検出部は、前記新たな現在時刻の画像から、前記候補を検出し、検出した前記候補の状態及び物体種別度を求めることを特徴とする請求項１〜請求項３の何れか一項に記載の物体検出装置。
5. コンピュータを、
   動画像を構成する画像のうちの過去の一の時刻の画像から検出された所定の種別の物体の候補の、現在時刻における状態を推定し、推定された状態の前記物体の候補の物体種別度を求める追跡部と、
   前記動画像の現在時刻の画像から、前記所定の種別の物体の候補を検出し、検出した前記候補の状態及び物体種別度を求める物体検出部と、
   前記追跡部が求めた物体種別度及び前記物体検出部が求めた物体種別度を用いて、一の物体毎に一の前記候補を選択する選択部と、
   前記一の時刻の画像から検出された所定の種別の物体毎に、選択された前記候補の中から一の候補を対応づける対応付け部と
   前記物体検出部が検出する候補が複数の場合に、
   前記選択部は、前記追跡部及び前記物体検出部の各々が求めた前記物体種別度から、該物体種別度が大きいほど値の大きい物体種別重みを求めると共に、前記追跡部及び前記物体検出部の各々が求めた前記物体種別度から、一の物体に対して同時に選択される前記候補の数が多いほど値の小さいペナルティ重みを求め、前記物体種別重みと前記ペナルティ重みとの総和が最大になる前記候補を選択する
   ように機能させるためのプログラム。
6. 追跡部が、動画像を構成する画像のうちの過去の一の時刻の画像から検出された所定の種別の物体の候補の、現在時刻における状態を推定し、推定された状態の前記物体の候補の物体種別度を求める追跡ステップと、
   物体検出部が、前記動画像の現在時刻の画像から、前記所定の種別の物体の候補を検出し、検出した前記候補の状態及び物体種別度を求める物体検出ステップと、
   選択部が、前記追跡ステップにおいて求めた物体種別度及び前記物体検出ステップにおいて求めた物体種別度を用いて、一の物体毎に一の前記候補を選択する選択ステップと、
   対応付け部が、前記一の時刻の画像から検出された所定の種別の物体毎に、選択された前記候補の中から一の候補を対応づける対応付けステップと、
   前記物体検出部が検出する候補が複数の場合に、
   前記選択部は、前記追跡部及び前記物体検出部の各々が求めた前記物体種別度から、該物体種別度が大きいほど値の大きい物体種別重みを求めると共に、前記追跡部及び前記物体検出部の各々が求めた前記物体種別度から、一の物体に対して同時に選択される前記候補の数が多いほど値の小さいペナルティ重みを求め、前記物体種別重みと前記ペナルティ重みとの総和が最大になる前記候補を選択するスッテップと
   を有することを特徴とする物体検出方法。

Images