JP6595375B2 - 交通状況解析装置、交通状況解析方法、及び、交通状況解析プログラム - Google Patents

Description

本発明は、道路上の所定領域を撮像する撮像装置から入力される入力画像に基づき、当該所定領域における交通状況に係り、道路上を移動する少なくとも１つの物体の行動を解析するための交通状況解析装置、交通状況解析方法、及び、交通状況解析プログラムに関する。

従来、交差点などの道路上の交通流の監視・分析手法としては、人が現場に出張して目視によって、通行体種別層別、通行状況（停止、不停止、通行場所等）層別、通行軌跡パターンや通行数量などの観測層別を行う手法が知られている。

このような交通流の監視・分析手法と関連して、定点カメラにより撮像された道路上の交通流動画像を用いて、画像処理を施すことによって当該画像から車両等の領域を自動的に抽出する手法も提案されている（例えば特許文献１）。

特開２０１５−９０６７９号公報

従来の目視による交通流の監視・分析手法は、作業員が現場へ出張する必要があることや、実時間にわたる監視が必要であることなどの工数過多や、膨大な画像データから車両や歩行者などの行動（例えば一時停止行動など）を取得・監視するなどの作業困難性、作業可否が天候に左右されるなどの問題がある。このような作業負荷を軽減するため、目視の代わりに画像処理手法などを適用して交通流の解析などを自動化できることが望ましい。

しかしながら、従来の目視による交通流の監視・分析手法では、道路上に混在する自動車、二輪車、歩行者などの複数種の対象物を個体判別でき、個々の対象物ごとに通行軌跡や通行速度などの推移を監視することが求められている。特許文献１などに記載される従来の画像処理手法では、このようなニーズを実現するためには更なる改善の余地がある。

本発明はこのような課題に鑑みてなされたものであり、その目的は、道路上の所定領域を撮像する撮像装置から入力される入力画像に基づき、当該所定領域における交通状況に係り、道路上を移動する物体の行動を精度良く推定できる交通状況解析装置、交通状況解析方法、及び、交通状況解析プログラムを提供することにある。

上記課題を解決するために、本発明に係る交通状況解析装置（１）は、道路上の所定領域を撮像する撮像装置（５）から入力される入力画像（Ｉｔ）と、前記所定領域の背景情報に係る背景画像（ＢＧｔ−１）との差分である背景差分画像（ＢＤｔ）を算出する背景差分算出部（２１）と、前記背景差分算出部により算出された前記背景差分画像から、前記道路上の所定領域における交通状況に係り、前記道路上を移動する少なくとも１つの物体（Ｍ［ｋ］）の識別情報及び動きベクトルを算出する物体検知部（３）と、前記物体検知部により検知された前記物体の前記識別情報及び前記動きベクトルの情報に基づき、前記道路上の所定領域における前記識別情報をもつ前記物体の行動を推定する行動理解部（４）と、前記入力画像と時間差のある少なくとも１つの時間差入力画像（Ｉｔ−１，Ｉｔ−２）と、前記入力画像と、の差分であるフレーム間差分画像（ＦＤｔ）を算出するフレーム間差分算出部（２２）と、を具備する。前記行動理解部は、前記物体検知部により検知された前記物体の前記識別情報及び前記動きベクトルの情報に基づき、前記物体の走行速度を算出する速度算出部（４１）と、前記フレーム間差分算出部により算出された前記フレーム間差分画像に含まれる停止領域の情報に基づき、前記物体検知部により検知された前記物体が完全に停止している完全停止状態であるか否かを判定する完全停止判定部（４２）と、前記完全停止判定部による前記物体の完全停止状態の判定結果と、前記速度算出部により算出された前記物体の走行速度情報とに基づいて、前記物体が走行中か、一時停止中か、または停止中かを判定する一時停止判定部（４３）と、を備える。前記完全停止判定部は、前記フレーム間差分画像を二値化して、第１のピクセル値となる領域を前記物体の動きを検知できない前記停止領域として抽出し、第２のピクセル値となる領域を前記物体の動きを検知できる領域として抽出し、前記背景差分画像における前記物体の領域に対応する前記フレーム間差分画像の領域中の全てのピクセルが前記第１のピクセル値である場合に、前記物体が前記完全停止状態であると判定し、そうでない場合には前記物体が前記完全停止状態ではないと判定する。

上記構成により、背景差分画像を利用して物体検知処理を行うことによって、道路上に混在する自動車、二輪車、歩行者などの複数種の物体を、移動中のもののみならず一時停止中のものまで含めて精度良く入力画像から抽出して個体判別できる。さらに、動きベクトルなどの情報に基づき、個体判別した個々の物体ごとに行動を検知できる。これにより、道路上の所定領域を撮像する撮像装置から入力される入力画像に基づき、当該所定領域における交通状況に係り、道路上を移動する物体の行動を精度良く推定できる。

本発明によれば、道路上の所定領域を撮像する撮像装置から入力される入力画像に基づき、当該所定領域における交通状況に係り、道路上を移動する物体の行動を精度良く推定できる交通状況解析装置、交通状況解析方法、及び、交通状況解析プログラムを提供することができる。

図１は、本発明の一実施形態に係る交通状況解析装置の一例としての交差点解析装置の概略構成を示すブロック図である。 図２は、本実施形態に係る交差点解析装置による入力画像の解析の一例を説明するための図である。 図３は、本実施形態に係る交差点解析装置による入力画像の解析の一例を説明するための図である。 図４は、本実施形態に係る交差点解析装置による入力画像の解析の一例を説明するための図である。 図５は、交差点解析装置の背景差分算出部により実施される処理を示すフローチャートである。 図６は、背景差分画像の作成過程を説明するための図である。 図７は、交差点解析装置のフレーム間差分算出部により実施される処理を示すフローチャートである。 図８は、フレーム間差分画像の作成過程を説明するための図である。 図９は、交差点解析装置の物体クラスタリング部により実施される処理を示すフローチャートである。 図１０は、交差点解析装置の物体認識部により実施される処理を示すフローチャートである。 図１１は、図１０中のステップＳ４０２にて実施されるサブルーチン処理を示すフローチャートである。 図１２は、図１０中のステップＳ４０３にて実施されるサブルーチン処理を示すフローチャートである。 図１３は、図１０中のステップＳ４０４にて実施されるサブルーチン処理を示すフローチャートである。 図１４は、図１３中のステップＳ７０４にて実施される入力画像中の検索範囲の抽出手法を説明するための模式図である。 図１５は、交差点解析装置の速度算出部により実施される処理を示すフローチャートである。 図１６は、交差点解析装置の完全停止判定部により実施される処理を示すフローチャートである。 図１７は、交差点解析装置の一時停止判定部により実施される処理を示すフローチャートである。

以下、添付図面を参照しながら本発明の実施形態について説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を付して、重複する説明は省略する。

［実施形態］
本実施形態では、本発明に係る交通状況解析装置、交通状況解析方法、及び、交通状況解析プログラムが交通状況を解析する道路上の所定領域として交差点を取り上げる。また、本実施形態では、本発明に係る交通状況解析装置、交通状況解析方法、及び、交通状況解析プログラムの一例として、交差点の定点画像に基づき交差点周辺の交通状況を解析することができる交差点解析装置１を挙げて説明する。

［交差点解析装置１の概要］
図１に示すように、交差点解析装置１は、カメラ５（撮像装置）及びアプリケーション６と通信可能に接続される。交差点解析装置１は、カメラ５から交差点を撮像した入力画像Ｉｔが入力され、装置内部でこの入力画像Ｉｔから交差点の交通状況を解析して、アプリケーション６に出力することができる。ここで、「交通状況」とは、例えば、入力画像Ｉｔ中に存在する解析対象の物体Ｍ［ｋ］（ｋは画像中の物体数に応じた引数）の行動Ａ［ｋ］や、各物体の走行位置、走行速度、走行方向などの時間推移を含むことができる。解析対象の「物体Ｍ［ｋ］」とは、移動可能な物体であり、例えば自動車、二輪車、歩行者などを含むものである。

また、各物体の行動Ａ［ｋ］とは、例えば、交差点において走行中、一時停止中、または停止中などの行動を含む。なお、ここで物体の行動の種類として「一時停止」と「停止」とを区分しているのは下記の理由による。すなわち、本実施形態における「停止」とは、対象物体が車速０の完全停止を継続している状態を含むのに対して、「一時停止」とは、対象物体が停止している状態に加えて、この停止状態の前後の最徐行の状態までを含ませるためである。

なお、本実施形態では時間推移を離散的に示し、現在の時点を符号ｔで表し、現時点から１ステップ前の時点を符号ｔ−１で表し、現時点から２ステップ前の時点を符号ｔ−２で表す。

従来、交差点では、例えば交差点入口の一時停止標識を点滅させて強調表示する構成など、交通流を適切に誘導させるためのシステムが導入され始めている。本実施形態の交差点解析装置１は、このようなシステムが導入された交差点の交通状況を自動で解析し、システム導入による効果を観測するために利用することができる。交差点解析装置１が交通状況データを出力するアプリケーション６としては、例えば、交通違反車両や違法駐車車両、または渋滞等の交通情報を検知・認識する交通流監視サービス、通行量自動算出や通行パターン推定などの交通流分析サービス、不審車検出などの異常検知・発見サービスなどが挙げられる。

図２〜図４を参照して、交差点解析装置１の動作の概略を説明する。図２〜図４は、一台の自動車Ｍ［１］が交差点を通過する際の自動車Ｍ［１］の一連の行動を示す図である。図２、図３、図４の順で時間が経過しており、図２は自動車Ｍ［１］が交差点まで進行している場面、図３は自動車Ｍ［１］が交差点進入時に一時停止している場面、図４は自動車Ｍ［１］が交差点に進入して左折している場面を示す。また、図２〜図４のそれぞれには、各場面における（Ａ）入力画像Ｉｔと、交差点解析装置１によりこの入力画像Ｉｔから作成される（Ｂ）背景差分画像ＢＤｔと、が示されている。「背景差分画像ＢＤｔ」とは、入力画像Ｉｔ中から移動している物体Ｍ［ｋ］を抽出した画像であり、その詳細については図５及び図６を参照して後述する。

図２（Ａ）に示すように自動車Ｍ［１］が交差点まで進行している場面において、交差点解析装置１が作成する背景差分画像ＢＤｔ上では、図２（Ｂ）に示すように移動中の自動車Ｍ［１］のみが抽出されて表示されている。このとき、交差点解析装置１は、画像中に自動車Ｍ［１］が存在する領域を矩形状の枠体Ｒ１で囲んで単一の物体Ｍ［１］として認識すると共に、この物体Ｍ［１］の移動方向や移動量を表す動きベクトルＶ１を算出して表示する。この場面では、交差点解析装置１は、自動車Ｍ［１］の行動Ａ［１］を「走行中」と解析することができる。

図３（Ａ）に示すように自動車Ｍ［１］が交差点進入時に一時停止している場面において、交差点解析装置１が作成する背景差分画像ＢＤｔでは、図３（Ｂ）に示すように、一時停止中の自動車Ｍ［１］は、図２（Ｂ）と比較して移動量が少ないため相対的に薄く抽出されているが、図２の場面から引き続き共通の枠体Ｒ１が付されている。また、このとき自動車Ｍ［１］は瞬間的に停止状態にあり、動きベクトルＶ１は０であるため、図３（Ｂ）に表示されていない。さらに、この場面では、自動車Ｍ［１］と直交する道路を他の２台の自動車Ｍ［２］，Ｍ［３］が通過しており、背景差分画像ではこれらの自動車Ｍ［２］，Ｍ［３］が枠体Ｒ２，Ｒ３で囲われてそれぞれ別の物体として認識されており、走行速度と走行方向に応じた動きベクトルＶ２，Ｖ３が表示されている。この場面では、交差点解析装置１は、自動車Ｍ［１］の行動Ａ［１］を「一時停止中」、自動車Ｍ［２］，Ｍ［３］の行動Ａ［２］，Ａ［３］をそれぞれ「走行中」と解析することができる。

図４（Ａ）に示すように自動車Ｍ［１］が交差点に進入して左折している場面において、交差点解析装置１が作成する背景差分画像ＢＤｔでは、図４（Ｂ）に示すように、一時停止から走行しはじめた自動車Ｍ［１］は、図３（Ｂ）と比較して移動量が多くなったため相対的に濃く抽出されている。このとき、左折に応じて自動車Ｍ［１］の見え方が正面から斜め方向に変わっているが、図３の場面から引き続き共通の枠体Ｒ１が付されている。また、自動車Ｍ１の左折に伴って、動きベクトルＶ１も自動車Ｍ［１］の左折方向に向きが変更されて算出されている。この場面では、交差点解析装置１は、自動車Ｍ［１］の行動Ａ［１］を「走行中」と解析することができる。

このように、交差点解析装置１は、カメラ５からの入力画像Ｉｔに基づき、交差点を含む所定領域中における少なくとも１つの物体Ｍ［ｋ］（自動車、二輪車、歩行者など）の一連の行動Ａ［ｋ］（走行、一時停止、右左折など）を物体ごとに個別に自動的に検出することができる。また、交差点を通る物体Ｍ［ｋ］の移動方向、移動速度、移動経路などの情報や、これらの時系列データも検出することができる。

［交差点解析装置１の構成］
図１に示すように、交差点解析装置１は、特徴量抽出部２と、物体検知部３と、行動理解部４とを具備する。

特徴量抽出部２は、カメラ５により撮像された入力画像Ｉｔから、交通状況を判別するための特徴量を抽出する。特徴量抽出部２は、抽出した特徴量を物体検知部３及び行動理解部４に出力する。本実施形態では、この特徴量として後述する「背景差分画像ＢＤｔ」と「フレーム間差分画像ＦＤｔ」とが適用されている。

物体検知部３は、特徴量抽出部２により抽出された特徴量に基づいて、入力画像Ｉｔから交通状況に係る対象である物体Ｍ［ｋ］を検知する。物体検知部３は、検知した物体Ｍ［ｋ］に関する物体情報（位置情報、動きベクトル情報など）を行動理解部４に出力する。

行動理解部４は、特徴量抽出部２により抽出された特徴量と、物体検知部３により検知された各物体Ｍ［ｋ］の物体情報とに基づいて、各物体Ｍ［ｋ］の行動Ａ［ｋ］（走行中、一時停止、停止中）を個別に判別する。なお、行動理解部４は、物体Ｍ［ｋ］の行動Ａ［ｋ］に係るデータをアプリケーション６へ逐次出力する構成でもよいし、時系列データとして内部に保存し、この時系列データを適宜アプリ―ケーション６へ提供する構成でもよい。

以下、特徴量抽出部２、物体検知部３、行動理解部４の各部の詳細について説明する。

特徴量抽出部２は、背景差分算出部２１と、フレーム間差分算出部２２と、背景画像データベース（以下「ＤＢ」と表記する）２３と、過去画像ＤＢ２４と、を備える。

背景差分算出部２１は、カメラ５から入力される入力画像Ｉｔと、背景画像ＤＢ２３に保存されている背景画像ＢＧｔ−１とを用いて背景差分画像ＢＤｔを算出する。背景差分画像ＢＤｔの詳細については図５及び図６を参照して後述する。

フレーム間差分算出部２２は、カメラ５から入力される入力画像Ｉｔと、過去画像ＤＢ２４に保存されている過去画像Ｉｔ−１，Ｉｔ−２とを用いてフレーム間差分画像ＦＤｔを算出する。フレーム間差分画像ＦＤｔの詳細については図７及び図８を参照して後述する。

背景画像ＤＢ２３は、背景差分画像ＢＤｔの算出に用いる背景画像ＢＧｔ−１を保存する記憶装置である。背景画像ＢＧｔ−１は、カメラ５が撮像する入力画像Ｉｔのうち、移動物体が除外され基本的に静止物のみからなる画像である。背景画像ＤＢ２３に保存される背景画像ＢＧｔ−１は、背景差分算出部２１により逐次更新される。

過去画像ＤＢ２４は、フレーム間差分画像ＦＤｔの算出に用いる過去画像Ｉｔ−１，Ｉｔ−２を保存する記憶装置である。過去画像は、過去の時点においてカメラ５が撮像した入力画像であり、本実施形態では、直近の過去２ステップ分（時刻ｔ−１、ｔ−２）の入力画像Ｉｔ−１，Ｉｔ−２である。過去画像ＤＢ２４に保存される過去画像は、カメラ５から新たに入力画像Ｉｔが入力される度にフレーム間差分算出部２２により逐次更新される。

物体検知部３は、物体クラスタリング部３１と、物体認識部３２と、物体辞書ＤＢ３３と、過去物体辞書ＤＢ３４と、を備える。

物体クラスタリング部３１は、背景差分算出部２１により算出された背景差分画像ＢＤｔを用いて、背景差分画像ＢＤｔから物体Ｍ［ｋ］を抽出する。物体クラスタリング部３１は、背景差分画像ＢＤｔから動きベクトル（オプティカルフロー）を算出し、同一方向、長さの動きベクトルを同一物体としてクラスタリング化することによって物体Ｍ［ｋ］を抽出する。物体クラスタリング部３１の物体抽出手法の詳細については図９を参照して後述する。

物体認識部３２は、物体クラスタリング部３１により背景差分画像ＢＤｔから抽出された各物体Ｍ［ｋ］について、物体辞書ＤＢ３３及び過去物体辞書ＤＢ３４を参照して過去に認識された物体Ｎ［Ｌ］か、または新規に認識された物体かを判別して、各物体Ｍ［ｋ］に識別情報を付加する。物体認識部３２は、照合した各物体Ｍ［ｋ］に関する物体情報を行動理解部４に出力する。ここで、「物体情報」とは、例えば以下の情報を含むことができる。
・位置情報（例えば図１４のように枠体Ｒの左上の頂点の位置座標と枠体Ｒの縦横幅）
・識別情報
・種別情報（例えば物体辞書ＤＢ３４に登録しているテンプレートの種別）
・移動ベクトル（長さ、方向）
物体認識部３２の物体認識手法の詳細については図１０〜図１４を参照して後述する。

物体辞書ＤＢ３３は、対象物体の種別を判別するためのテンプレートを保存する記憶装置である。物体辞書ＤＢ３３は、例えば車両辞書３３Ａ、歩行者辞書３３Ｂ、二輪車辞書３３Ｃなどの、物体の種別ごとに複数の辞書情報を備える構成とすることができる（図１２参照）。物体辞書ＤＢ３３に保存される各種テンプレートは、例えば以下の情報を含むことができる。
・種別情報
・サイズ情報（縦幅ａ、横幅ｂ）
・特徴量情報（例えば後述するＨＯＧ）
また、物体辞書ＤＢ３３の各種辞書３３Ａ，３３Ｂ，３３Ｃは、同一種別の物体について、さまざまな方向から視たときの画像上の形態を示す複数のテンプレートも含むことができる。

過去物体辞書ＤＢ３４は、物体認識部３２により過去に認識された物体（以下「過去物体」という）Ｎ［Ｌ］（Ｌは過去物体の数に対応する引数）の情報を保存する記憶装置である。過去物体辞書ＤＢ３４は、各過去物体Ｎ［Ｌ］の各種情報を関連付けて保存している。過去物体Ｎ［Ｌ］の情報とは、例えば以下の情報を含むことができる。
・識別情報
・種別情報
・画面上の位置情報（例えば図１４のように枠体Ｒの左上の頂点の位置座標と枠体Ｒの縦横幅Ａ，Ｂ）
・特徴量情報（例えば後述するＨＯＧ）
過去物体辞書ＤＢ３４に保存されている情報は、物体認識部３２により逐次追加、更新、または削除が行われる。

行動理解部４は、速度算出部４１と、完全停止判定部４２と、一時停止判定部４３と、停止履歴ＤＢ４４と、交通状況データ作成部４５と、を備える。

速度算出部４１は、物体認識部３２により認識された入力画像Ｉｔ中の各物体Ｍ［ｋ］について動きベクトルに基づき移動速度を算出する。速度算出部４１の処理の詳細については図１５を参照して後述する。

完全停止判定部４２は、フレーム間差分算出部２２により算出されたフレーム間差分画像ＦＤｔに基づいて、物体認識部３２により認識された入力画像Ｉｔ中の各物体Ｍ［ｋ］が完全停止状態か否かを判定する。ここで、「完全停止状態」とは、例えば、該当物体Ｍ［ｋ］が、フレーム間差分画像ＦＤｔの算出に用いる時刻ｔ、ｔ−１、ｔ−２の期間において全く移動していない状態、と定義することができる。完全停止判定部４２の処理の詳細については図１６を参照して後述する。

一時停止判定部４３は、入力画像Ｉｔ中の各物体Ｍ［ｋ］について、速度算出部４１により算出された移動速度の情報と、完全停止判定部４２による完全停止か否かの判定結果とに基づいて、各物体Ｍ［ｋ］が一時停止中か否かを判定する。より詳細には、一時停止判定部４３は、入力画像Ｉｔ中の各物体Ｍ［ｋ］の現時点ｔにおける行動Ａ［ｋ］が、「一時停止中」、「走行中」、または「停止中」のいずれに該当するかを判定する。ここで、「停止中」とは上記の「完全停止状態」と同様に該当物体が複数ステップに亘り停止を継続している状態を含む。「一時停止中」とは、上記の停止中には該当しないが、物体の速度が一時的に０になっている状態や、停止状態から徐行し始めた状態を含む。「走行中」とは、上記の停止中や一時停止中に該当しない状態を含む。一時停止判定部４３の処理の詳細については図１７を参照して後述する。

停止履歴ＤＢ４４は、過去のステップにおいて一時停止判定部４３により停止中と判定された物体の情報を保存する記憶装置である。

交通状況データ作成部４５は、速度算出部４１から入力される各物体Ｍ［ｋ］に関する各種情報（位置情報、識別情報、種別情報、移動ベクトル、速度情報）や、一時停止判定部４３から入力される各物体Ｍ［ｋ］の行動情報Ａ［ｋ］に基づいて、交差点の交通状況データを作成する。交通状況データ作成部４５が作成する交通状況データは、例えば、入力画像Ｉｔ中の各物体Ｍ［ｋ］の行動Ａ［ｋ］や、位置、速度、方向などの情報を逐次出力する形式でもよいし、これらの情報を蓄積して時系列データとして出力する形式でもよい。

交差点解析装置１は、物理的には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などを有するコンピュータである。上述した交差点解析装置１の各機能の全部または一部（特に背景差分算出部２１の機能に関する背景差分算出機能、物体検知部３の機能に関する物体検知機能、行動理解部４に関する行動理解機能など）は、ＲＯＭに保持されるアプリケーションプログラムをＲＡＭにロードしてＣＰＵで実行することによって、ＲＡＭやＲＯＭにおけるデータの読み出し及び書き込みを行うことで実現される。

また、上記のアプリケーションプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、および、Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標）等の任意の「可搬用の物理媒体」を含むものとする。また、アプリケーションプログラムは、交差点解析装置１に対して任意のネットワークを介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。

［交差点解析装置１の動作］
以下、交差点解析装置１の各部の具体的な処理について説明する。

［背景差分算出部２１］
背景差分算出部２１は、カメラ５から入力画像Ｉｔが入力され、この入力画像Ｉｔに基づいて背景差分画像ＢＤｔを作成して物体検知部３に出力する。背景差分算出部２１における具体的な処理について図５のフローチャートに従って説明する。

ステップＳ１０１では、カメラ５により撮像された入力画像Ｉｔが取得される。背景差分算出部２１は、カメラ５からリアルタイムで入力画像Ｉｔを受信する構成でもよいし、カメラ５が録画した動画データの各フレームを入力画像Ｉｔとして順次入力する構成でもよい。ステップＳ１０１の処理が完了するとステップＳ１０２に進む。

ステップＳ１０２では、背景画像ＤＢ２３から背景画像ＢＧｔ−１が読み出される。「背景画像」とは、入力画像Ｉｔに含まれる静止物（例えば背景や固定物など基本的に移動しないもの）を含む画像である。背景画像ＢＧｔ−１は、前回の処理時点ｔ−１の処理の際に、後述するステップＳ１０４において算出されたものである。ステップＳ１０２の処理が完了するとステップＳ１０３に進む。

ステップＳ１０３では、入力画像Ｉｔ及び背景画像ＢＧｔ−１から背景差分画像ＢＤｔが算出される。背景差分算出部２１は、例えば図６に示すように、入力画像Ｉｔから背景画像ＢＧｔ−１の情報を除外することによって背景差分画像ＢＤｔを算出することができる。上述のとおり背景画像ＢＧｔ−１には入力画像Ｉｔの静止物に関する情報が含まれるので、背景差分画像ＢＤｔは、入力画像Ｉｔから静止物に関する情報を除外され、道路上を移動する物体を切り出した画像となる。図６の例では、背景差分画像ＢＤｔは、入力画像Ｉｔのうち道路上にて一時停止している１台の自動車Ｍ［１］と、道路上を走行する２台の自動車Ｍ［２］，Ｍ［３］とが抽出された画像となっている。背景差分算出部２１は、算出した背景差分画像ＢＤｔの情報を物体クラスタリング部３１に出力する。ステップＳ１０３の処理が完了するとステップＳ１０４に進む。

ステップＳ１０４では、入力画像Ｉｔを用いて背景画像ＢＧｔ−１が更新される。背景差分算出部２１は、例えば下記の（１）式を用いて背景画像ＢＧｔ−１を更新する。
ＢＧ_t＝（１−β）・ＢＧ_t-1＋β・Ｉ_t ・・・（１）

ここで、ＢＧ_tは時刻ｔ（今回の処理時点）における背景画像、ＢＧ_t-1は時刻ｔ−１（今回の処理より１ステップ前の時点）における背景画像、Ｉ_tは時刻ｔにおける入力画像、βは更新係数（例えば０．０１５）を表す。このように、背景画像ＢＧｔ，ＢＧｔ−１は過去及び現在の入力画像の加重平均であるので、図６の背景画像ＢＧｔ−１にも示すように、静止物のみならず一時停止中の自動車（例えば図６の自動車Ｍ［１］）などの移動物体の情報の一部も含む、入力画像Ｉｔの長期的な特徴を含むものとなる。したがって、背景画像ＢＧｔ−１により算出される背景差分画像ＢＤｔも、入力画像Ｉｔの長期的な特徴を反映させたものとなる。背景差分算出部２１は、更新した背景画像ＢＧｔを背景画像ＤＢ２３に保存する。ステップＳ１０４の処理が完了すると本制御フローを終了する。

［フレーム間差分算出部２２］
フレーム間差分算出部２２は、カメラから入力画像Ｉｔが入力され、この入力画像Ｉｔを用いてフレーム間差分画像ＦＤｔを作成し、行動理解部４に出力する。フレーム間差分算出部２２における具体的な処理について図７のフローチャートに従って説明する。

ステップＳ２０１では、カメラ５により撮像された入力画像Ｉｔが取得される。フレーム間差分算出部２２は、背景差分算出部２１と同様に、カメラ５からリアルタイムで入力画像Ｉｔを受信する構成でもよいし、カメラ５が録画した動画データの各フレームを入力画像Ｉｔとして順次入力する構成でもよい。ステップＳ２０１の処理が完了するとステップＳ２０２に進む。

ステップＳ２０２では、過去画像ＤＢ２４から時刻ｔ−１及び時刻ｔ−２の入力画像Ｉｔ−１，Ｉｔ−２が読み出される。入力画像Ｉｔ−１，Ｉｔ−２は、今回の処理時点ｔより１ステップ前及び２ステップ前における入力画像である。ステップＳ２０２の処理が完了するとステップＳ２０３に進む。

ステップＳ２０３では、ステップＳ２０１及びＳ２０２で取得された３つの入力画像Ｉｔ，Ｉｔ−１，Ｉｔ−２からフレーム間差分画像ＦＤｔが算出される。フレーム間差分算出部２２は、例えば図８に示すように、まず、入力画像Ｉｔと入力画像Ｉｔ−１との差分画像Ｄ１と、入力画像Ｉｔ−１と入力画像Ｉｔ−２との差分画像Ｄ２とを算出する。次に、これらの差分画像Ｄ１と差分画像Ｄ２との共通部分（ＡＮＤ）がフレーム間差分画像ＦＤｔとして算出される。このように、フレーム間差分画像ＦＤｔは、時系列の３フレームの画像から差分情報を抽出したものであり、フレーム間の変化量を安定的に抽出できる。

フレーム間差分画像ＦＤｔは、入力画像Ｉｔから短期的な特徴（例えばフレーム間で瞬間的に動いている物体）を抽出した画像である点で、入力画像Ｉｔの長期的な特徴を反映させている上記の背景差分画像ＢＤｔとは異なるものである。例えば、図８のフレーム間差分画像ＦＤｔを図６の背景差分画像ＢＤｔと比較すると、入力画像において一時停止している自動車Ｍ［１］は、背景差分画像ＢＤｔでは抽出されて視認できるが、フレーム間差分画像ＦＤｔでは抽出されず視認できない。フレーム間差分算出部２２は、算出したフレーム間差分画像ＦＤｔの情報を、行動理解部４の完全停止判定部４２に出力する。ステップＳ２０３の処理が完了するとステップＳ２０４に進む。

ステップＳ２０４では、入力画像Ｉｔを用いて過去画像ＤＢ２４に記憶されている過去画像が更新される。フレーム間差分算出部２２は、現在の入力画像Ｉｔ−１を入力画像Ｉｔ−２として過去画像ＤＢ２４に記憶し直し、また、現在の入力画像Ｉｔを入力画像Ｉｔ−１として過去画像ＤＢ２４に記憶することにより、過去画像ＤＢ２４の過去画像を更新する。ステップＳ２０４の処理が完了すると本制御フローを終了する。

なお、フレーム間差分算出部２２がフレーム間差分画像ＦＤｔの作成に用いる入力画像の過去画像は、本実施形態の直近の２ステップ分（入力画像Ｉｔ−１，Ｉｔ−２）に限らず、直近の３ステップ分以上でもよいし、または、相互に所定ステップ分を開けた複数のステップの入力画像を用いることもできる。

［物体クラスタリング部３１］
物体クラスタリング部３１は、背景差分算出部２１から背景差分画像ＢＤｔが入力され、この背景差分画像ＢＤｔの中から物体Ｍ［ｋ］を抽出する。物体クラスタリング部３１における具体的な処理について図９を参照して説明する。

ステップＳ３０１では、時刻ｔ及び時刻ｔ−１の背景差分画像ＢＤｔ，ＢＤｔ−１が取得される。背景差分画像ＢＤｔは、上述のとおり、現在時点ｔの制御フローにおいて特徴量抽出部２の背景差分算出部２１により算出されて物体クラスタリング部３１に入力される。背景差分画像ＢＤｔ−１は、例えば物体クラスタリング部３１が前回の処理の際に保存しておくことができる。ステップＳ３０１の処理が完了するとステップＳ３０２に進む。

ステップＳ３０２では、ステップＳ３０１にて取得された時刻ｔと時刻ｔ−１の背景差分画像ＢＤｔ，ＢＤｔ−１から動きベクトル（オプティカルフロー）が算出される。動きベクトルは、連続画像における物体の特徴点（例えばコーナー点など）の移動量と移動方位をベクトルの長さ及び方向として表したものである。動きベクトルは、例えばブロックマッチング法や、勾配法などの周知の手法により算出することができる。ステップＳ３０２の処理が完了するとステップＳ３０３に進む。

ステップＳ３０３では、ステップＳ３０２にて算出された動きベクトル群のうち、ベクトル長さが０より大きく、かつ、Ｎ以下のものが消去される。この範囲の長さの動きベクトルは、物体の移動を示すものよりもノイズの可能性が高いため、以降のクラスタリングの邪魔になるノイズ成分を予め除去しておくために本ステップの処理が行われる。ステップＳ３０３の処理が完了するとステップＳ３０４に進む。

ステップＳ３０４では、ステップＳ３０３にてノイズ成分が除去された動きベクトル群から、同じ方向と長さをもつ動きベクトル群が、同一の物体Ｍ［ｋ］としてクラスタリング化される。ステップＳ３０４の処理が完了するとステップＳ３０５に進む。

ステップＳ３０５では、ステップＳ３０４にてクラスタリング化されたベクトル群が含まれる領域に、物体Ｍ［ｋ］を包含する枠体が作成される。この枠体は、例えば図２〜図４に示した矩形状の枠体Ｒ１，Ｒ２，Ｒ３である。枠体のサイズ（縦横幅）は、動きベクトルの始点となるピクセルの配置などによって適宜決定される。物体クラスタリング部３１は、このように作成した枠体の画像内の位置に応じて該当する物体Ｍ［ｋ］の位置情報を作成することができる。位置情報は、例えば矩形上の枠体の左上の頂点の位置座標と、枠体の縦横幅とを含むことができる。ステップＳ３０５の処理が完了するとステップＳ３０６に進む。

ステップＳ３０６では、ステップＳ３０５にて作成された枠体のそれぞれにおいて、枠体内の動きベクトルの方向と長さが平均化される。物体クラスタリング部３１は、このように平均化した動きベクトルを、該当する物体Ｍ［ｋ］の動きベクトルとすることができる。この動きベクトルは、例えば図２〜図４に示した矢印Ｖ１，Ｖ２，Ｖ３である。物体クラスタリング部３１は、ステップＳ３０５で算出した位置情報と、ステップＳ３０６にて算出した動きベクトルとを纏めて、物体Ｍ［ｋ］に関する物体情報として物体認識部３２に出力する。ステップＳ３０６の処理が完了すると本制御フローを終了する。

［物体認識部３２］
物体認識部３２は、物体クラスタリング部３１から入力される背景差分画像ＢＤｔと、その画像中の物体の位置情報とに基づき、各物体に識別情報を付与して出力する。物体認識部３２における具体的な処理について図１０のフローチャートに従って説明する。

ステップＳ４０１では、クラスタリング化された物体Ｍ［ｋ］の情報が物体クラスタリング部３１から取得される。ステップＳ４０１の処理が完了するとステップＳ４０２に進む。

ステップＳ４０２では、ステップＳ４０１にて取得された物体Ｍ［ｋ］について、過去に検知した物体情報による認識が実施される。本ステップの具体的な処理は、図１１に示すサブルーチン処理におけるステップＳ５０１〜Ｓ５０８である。

ステップＳ５０１では、ステップＳ４０１にて取得された物体の中から１つの物体候補Ｍ［ｋ］（ｋ＝０〜Ｚ）が選択される。ステップＳ５０１の処理が完了するとステップＳ５０２に進む。

ステップＳ５０２では、過去物体辞書ＤＢ３４に登録されている過去物体の情報が読み込まれる。ステップＳ５０２の処理が完了するとステップＳ５０３に進む。

ステップＳ５０３では、ステップＳ５０２にて読み込まれた過去物体から１つの過去物体Ｎ［Ｌ］（Ｌ＝０〜Ｙ）が選択される。ステップＳ５０３の処理が完了するとステップＳ５０４に進む。

ステップＳ５０４では、ステップＳ５０１にて選択された物体候補Ｍ［ｋ］と、ステップＳ５０３で選択された過去物体Ｎ［Ｌ］とが照合される。物体認識部３２は、例えば、以下の手順で物体候補Ｍ［ｋ］と過去物体Ｎ［Ｌ］との照合を行うことができる。まず、物体候補Ｍ［ｋ］の枠体の領域の画像から特徴量としてＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔ：局所領域の輝度勾配方向のヒストグラム）を算出する。次に、算出した物体候補Ｍ［ｋ］のＨＯＧと、過去物体Ｎ［Ｌ］のＨＯＧとの類似度を計算する。なお、過去物体Ｎ［Ｌ］のＨＯＧの情報は、例えば過去物体辞書ＤＢ３４に記憶されている。そして、物体候補Ｍ［ｋ］と過去物体Ｎ［Ｌ］とのＨＯＧの類似度が所定値以上となる場合に、物体候補Ｍ［ｋ］と過去物体Ｎ［Ｌ］とが一致していると判定する。なお、上記の照合手法の詳細については、例えば特開２０１４−１１２３５８号公報、または、特開２０１５−１５０１４号公報に記載されている。ステップＳ５０４の処理が完了するとステップＳ５０５に進む。

ステップＳ５０５では、ステップＳ５０４の照合の結果、物体候補Ｍ［ｋ］と過去物体Ｎ［Ｌ］とが一致するか否かが判定される。物体候補Ｍ［ｋ］と過去物体Ｎ［Ｌ］とが不一致の場合（ステップＳ５０５のＮｏ）には、ステップＳ５０６に進む。物体候補Ｍ［ｋ］と過去物体Ｎ［Ｌ］とが一致する場合（ステップＳ５０５のＹｅｓ）には、ステップＳ５０７に進む。

ステップＳ５０６では、過去物体Ｎ［Ｌ］の引数Ｌに１が加算される。Ｌが所定の上限値Ｙを超えるまでは、ステップＳ５０３に戻り、新たに過去物体が選択されてステップＳ５０５以降の処理が繰り返される。Ｌが所定の上限値Ｙを超えた場合にはメインフローに戻り、ステップＳ４０３に進む。

ステップＳ５０７では、ステップＳ５０５の判定の結果、現在選択されている物体候補Ｍ［ｋ］が過去物体Ｎ［Ｌ］と一致するので、この物体候補Ｍ［ｋ］に過去物体Ｎ［Ｌ］の識別情報が付加される。ステップＳ５０７の処理が完了するとステップＳ５０８に進む。

ステップＳ５０８では、ステップＳ５０７にて識別情報が付加された物体候補Ｍ［ｋ］を用いて、過去物体辞書ＤＢ３４が更新される。物体認識部３２は、物体候補Ｍ［ｋ］の位置情報や動きベクトルなどの情報に基づき、過去物体辞書ＤＢ３４に記憶されている過去物体Ｎ［Ｌ］の情報を更新する。ステップＳ５０８の処理が完了すると、後述する新規物体認識処理（図１２参照）のステップＳ６０６に進む。

図１０に戻り、ステップＳ４０３では、ステップＳ４０２にて選択された物体候補Ｍ［ｋ］と一致する過去物体Ｎ［Ｌ］が見つからなかった場合に、この物体候補Ｍ［ｋ］が過去物体辞書ＤＢ３４に記憶されていない新規の物体とみなし、物体辞書ＤＢ３３を参照して新規の物体の種別を特定する新規物体認識処理が実施される。本ステップの具体的な処理は、図１２に示すサブルーチン処理におけるステップＳ６０１Ａ〜Ｓ６０６である。

ステップＳ６０１〜Ｓ６０３では、対象の物体Ｍ［ｋ］が物体辞書ＤＢ３３に記憶されているテンプレートと照合され、物体Ｍ［ｋ］の種別が判定される。物体辞書ＤＢ３３は、物体の種別ごとに個別のデータベースを有する構成とすることができ、本実施形態では図１２に示すように、車両辞書３３Ａ、歩行者辞書３３Ｂ、及び二輪車辞書３３Ｃを有する。車両辞書３３Ａ、歩行者辞書３３Ｂ、及び二輪車辞書３３Ｃは、それぞれ車両、歩行者、二輪車のさまざまな形状や色彩を表す複数のテンプレートを記憶している。本実施形態では、各辞書３３Ａ,３３Ｂ,３３Ｃに応じて、各物体Ｍ［ｋ］の照合用画像を生成し、辞書のテンプレートと比較して、物体Ｍ［ｋ］の種別を判別する。このような照合用画像とテンプレートとの照合処理は、例えば図１２に示すように各辞書３３Ａ，３３Ｂ，３３Ｃごとに並列に行ってもよいし、順番に１つずつ行ってもよい。図１２では、車両辞書３３Ａ、歩行者辞書３３Ｂ、二輪車辞書３３Ｃのそれぞれを用いた照合処理について、符号に添字Ａ，Ｂ，Ｃを付加して表している。以下では、これらの個別の処理を纏めて説明する。

ステップＳ６０１（Ｓ６０１Ａ，Ｓ６０１Ｂ，Ｓ６０１Ｃ）では、背景差分画像における物体の領域を使用して、照合用画像が生成される。

ステップＳ６０１における照合用画像の生成手順は、例えば以下の（ｉ）〜（ｖ）である。
（ｉ）クラスタリング化した物体の枠体Ｒの部分の画像（クラスタリング画像）の縦横幅（Ａ，Ｂ）を求める（図１４参照）。
（ｉｉ）照合対象辞書（車両辞書３３Ａ、歩行者辞書３３Ｂ、二輪車辞書３３Ｃのいずれか）からテンプレートの縦横幅（ａ，ｂ）を求める。
（ｉｉｉ）枠体Ｒとテンプレートの縦幅比率Δａ＝Ａ／ａ及び横幅比率Δｂ＝Ｂ／ｂを算出する。
（ｉｖ）縦幅比率及び横幅比率の平均値Δｃ＝（Δａ＋Δｂ）／２を算出する。
（ｖ）クラスタリング画像の縦横幅を、下記の（２）式によりΔｃで正規化する
Ａ´＝ｍ×Δｃ×Ａ
Ｂ´＝ｍ×Δｃ×Ｂ ・・・（２）
ここで、ｍは、正規化画像を複数サイズにするための係数であり、本実施形態ではｍ＝０．８，０．９，１．０，１．１，１．２である。したがって、サイズの異なる５種類の照合用画像が生成される。ステップＳ６０１の処理が完了するとステップＳ６０２に進む。

ステップＳ６０２（Ｓ６０２Ａ，Ｓ６０２Ｂ，Ｓ６０２Ｃ）では、ステップＳ６０１にて生成された５種類の照合用画像と、照合対象辞書（車両辞書３３Ａ、歩行者辞書３３Ｂ、二輪車辞書３３Ｃのいずれか１つ）の各テンプレートとが照合される。本ステップの照合手法は、ステップＳ５０４と同様であり、照合用画像のＨＯＧとテンプレートのＨＯＧとの類似度に基づき、両画像の一致を判定する。ステップＳ６０２の処理が完了するとステップＳ６０３に進む。

ステップＳ６０３（Ｓ６０３Ａ，Ｓ６０３Ｂ，Ｓ６０３Ｃ）では、ステップＳ６０２の照合の結果、照合用画像とテンプレートと一致したか否かが判定される。判定の結果、照合用画像と一致するテンプレートがあった場合（ステップＳ６０３のＹｅｓ）にはステップＳ６０４に進む。照合用画像と一致するテンプレートがなかった場合（ステップＳ６０３のＮｏ）にはステップＳ６０６に進む。

ステップＳ６０４では、照合対象辞書に特徴量ＨＯＧが一致するテンプレートがあった物体Ｍ［ｋ］に、新規の識別情報が付加される。ステップＳ６０４の処理が完了するとステップＳ６０５に進む。

ステップＳ６０５では、過去物体辞書ＤＢ３４へ新規に作成された物体Ｍ［ｋ］の情報が書き込まれる。物体認識部３２は、物体の識別情報に、テンプレートに応じた物体の種別（車両、歩行者、二輪車など）の情報や、特徴量ＨＯＧの情報、位置情報などを関連付けて過去物体辞書ＤＢ３４に登録することができる。ステップＳ６０５の処理が完了するとステップＳ６０６に進む。

ステップＳ６０６では、物体候補Ｍ［ｋ］の符号Ｋに１が加算される。Ｋが所定の上限値Ｚを超えるまでは、ステップＳ４０２のサブルーチン処理におけるステップＳ５０１に戻り、新たに物体候補が選択されてステップＳ５０２以降の処理が繰り返される。Ｋが所定の上限値Ｚを超えた場合にはメインフローに戻り、ステップＳ４０４に進む。

ステップＳ４０４では、過去物体辞書ＤＢ３４に記憶されている過去の物体情報について見落とし有無認識が実施される。本ステップの具体的な処理は、図１３に示すサブルーチン処理におけるステップＳ７０１〜Ｓ７１０である。

ステップＳ７０１では、過去物体辞書ＤＢ３４に登録されている過去物体の情報が読み込まれる。ステップＳ７０１の処理が完了するとステップＳ７０２に進む。

ステップＳ７０２では、ステップＳ７０１にて読み込まれた過去物体から１つの過去物体Ｎ［Ｌ］（Ｌ＝０〜Ｙ）が選択される。ステップＳ７０２の処理が完了するとステップＳ７０３に進む。

ステップＳ７０３では、ステップＳ７０２にて選択された過去物体Ｎ［Ｌ］が、時刻ｔに更新又は追加されたか否かが判定される。言い換えると、物体認識部３２は、今回の制御フローにおいて、上述のステップＳ４０２の「過去に検知した物体情報による認識」処理にて過去物体辞書ＤＢ３４が更新されているか、または、ステップＳ４０３の「新規物体認識」処理にて過去物体辞書ＤＢ３４に新たな物体情報が追加されているかを判定する。ステップＳ７０３の判定の結果、選択された過去物体Ｎ［Ｌ］が時刻ｔに更新又は追加されている場合には（ステップＳ７０３のＹｅｓ）ステップＳ７１０に進む。

一方、選択された過去物体Ｎ［Ｌ］が時刻ｔに更新も追加もされていない場合には（ステップＳ７０３のＮｏ）、当該過去物体Ｎ［Ｌ］が今回の制御フローにおいて入力画像Ｉｔから抽出されなかった状態であるので、この過去物体Ｎ［Ｌ］を見落としたか否かが判定される。

まずステップＳ７０４では、入力画像Ｉｔ中の過去物体Ｎ［Ｌ］の位置周辺の画像が、過去物体Ｎ［Ｌ］と照合される。言い換えると、入力画像Ｉｔにおいて、過去物体Ｎ［Ｌ］の位置に相当する領域の画像と、過去物体Ｎ［Ｌ］とが照合される。

本ステップではまず、過去物体辞書ＤＢ３４に記憶されている、選択された過去物体Ｎ［Ｌ］の位置情報に基づき、入力画像Ｉｔ上においてこの位置情報に該当する位置とその周辺を含む検索範囲Ｓが抽出される。入力画像Ｉｔからの検索範囲Ｓの抽出手法の一例について、図１４を参照して説明する。図１４に示すように、過去物体Ｎ［Ｌ］の位置情報（Ｘ，Ｙ）［ｐｘｌ］と、枠体Ｒの縦横幅（Ａ，Ｂ）［ｐｘｌ］に基づき、入力画像Ｉｔにおいて過去物体Ｎ［Ｌ］に相当する領域Ｐが選択される。次に、この領域Ｐを上下方向にそれぞれＡ／２[ｐｘｌ]ずつ拡張し、かつ、左右方向にそれぞれＢ／２[ｐｘｌ]ずつ拡張して、検索範囲Ｓが算出される。

次に、このように入力画像Ｉｔから抽出された検索範囲Ｓ内の画像が過去物体Ｎ［Ｌ］と照合される。本ステップにおける照合手法は、ステップＳ５０４，Ｓ６０２と同様であり、照合用画像のＨＯＧとテンプレートのＨＯＧとの類似度に基づき、両画像の一致を判定する。より詳細には、検索範囲Ｓ内の各ピクセルのＨＯＧ分布が算出され、この検索範囲ＳのＨＯＧ分布の中に、選択されている過去物体Ｎ［Ｌ］のＨＯＧ分布と合致する部分があるか否かが照合される。ステップＳ７０４の処理が完了するとステップＳ７０５に進む。

ステップＳ７０５では、ステップＳ７０４の照合の結果、入力画像の検索範囲Ｓに、過去物体辞書ＤＢ３４に記憶されている過去物体Ｎ［Ｌ］と一致する部分があるか否かが判定される。検索範囲Ｓに過去物体Ｎ［Ｌ］と一致する部分がある場合（ステップＳ７０５のＹｅｓ）にはステップＳ７０６に進む。一方、検索範囲Ｓに過去物体Ｎ［Ｌ］と一致する部分が無い場合（ステップＳ７０５のＮｏ）にはステップＳ７０７に進む。

ステップＳ７０６では、ステップＳ７０５の判定の結果、現在選択されている過去物体Ｎ［Ｌ］が入力画像Ｉｔに存在しており、背景差分画像ＢＤｔからの物体抽出過程（ステップＳ４０２，Ｓ４０３）で漏れていたものとみなして、過去物体辞書ＤＢ３４が更新される。ステップＳ７０６の処理が完了するとステップＳ７１０に進む。

ステップＳ７０７では、ステップＳ７０５の判定の結果、現在選択されている過去物体Ｎ［Ｌ］が入力画像Ｉｔに存在していないものとみなして、所定の変数Δｔに１が加算される。Δｔは、初期値が０であり、各回の制御フローのステップＳ７０５において不一致の判定がされる度に１ずつ増加する変数である。ステップＳ７０７の処理が完了するとステップＳ７０８に進む。

ステップＳ７０８では、Δｔが一致時間Ｔｍａｘを超えた（Δｔ＞Ｔｍａｘ）か否かが判定される。ΔｔがＴｍａｘを超えた場合（Ｓ７０８のＹｅｓ）にはステップＳ７０９に進み、そうでない場合（Ｓ７０８のＮｏ）にはステップＳ７１０に進む。

ステップＳ７０９では、ステップＳ７０８の判定の結果、現在選択されている過去物体Ｎ［Ｌ］は、過去の所定時間Ｔｍａｘに亘り入力画像Ｉｔに存在しない状態であるので、対象の過去物体が入力画像Ｉｔの枠外へ既に移動したものとみなして、この過去物体Ｎ［Ｌ］の情報が過去物体辞書ＤＢ３４から削除される。ステップＳ７０９の処理が完了するとステップＳ７１０に進む。

ステップＳ７１０では、過去物体Ｎ［Ｌ］の変数Ｌに１が加算される。Ｌが所定の上限値Ｙを超えるまでは、ステップＳ７０２に戻り、新たに過去物体Ｎ［Ｌ］が選択されてステップＳ７０３以降の処理が繰り返される。Ｌが所定の上限値Ｙを超えた場合にはメインフローに戻る。

物体認識部３２は、このように処理が施された入力画像Ｉｔ中の各物体の物体情報について行動理解部４の速度算出部４１及び完全停止判定部４２に出力する。ステップＳ４０４の処理が完了すると本制御フローを終了する。

［速度算出部４１］
速度算出部４１は、物体認識部３２から入力画像Ｉｔ中の各物体の物体情報を入力され、これらの情報に基づいて各物体の移動速度を算出する。速度算出部４１における具体的な処理について図１５を参照して説明する。

ステップＳ８０１では、物体認識部３２から物体の識別情報と位置情報、動きベクトルの情報が取得される。ステップＳ８０１の処理が完了するとステップＳ８０２に進む。

ステップＳ８０２では、ステップＳ８０１にて取得された各物体の動きベクトルの長さＡ［ｐｘｌ］がＡ´［ｍ］に変換される。この変換は、例えばルックアップテーブルや変換式を利用して行うことができる。ステップＳ８０２の処理が完了するとステップＳ８０３に進む。

ステップＳ８０３では、ステップＳ８０２にて算出された各物体のベクトル長さ［ｍ］を用いて、フレームレートｃに音付き物体の移動速度Ｂ［ｍ／ｓ］が算出される。速度算出部４１は、このように算出した物体の速度情報を、物体の枠情報と紐付けて一時停止判定部に出力する。また、速度算出部４１は、各物体の速度情報、位置情報、識別情報などを纏めて交通状況データ作成部４５にも出力する。ステップＳ８０３の処理が完了すると本制御フローを終了する。

［完全停止判定部４２］
完全停止判定部４２は、物体認識部３２から入力画像Ｉｔ中の各物体の物体情報を入力され、また、特徴量抽出部２のフレーム間差分算出部２２からフレーム間差分画像ＦＤｔが入力され、これらの情報に基づいて、入力画像Ｉｔの中の各物体のそれぞれが完全停止状態か否かを判定する。完全停止判定部４２の具体的な処理について図１６を参照して説明する。

ステップＳ９０１では、フレーム間差分算出部２２により算出されたフレーム間差分画像ＦＤｔが取得される。ステップＳ９０１の処理が完了するとステップＳ９０２に進む。

ステップＳ９０２では、ステップＳ９０１にて取得したフレーム間差分画像ＦＤｔが二値化される。画像の二値化の方法としては、例えば大津法などの周知の手法を用いることができる。この二値化処理によって、フレーム間差分画像ＦＤｔの中で物体の動きがある領域のピクセルの値を「１」、動きが無い領域のピクセルの値を「０」になる。ステップＳ９０２の処理が完了するとステップＳ９０３に進む。

ステップＳ９０３では、物体認識部３２から物体の識別情報と位置情報が取得される。ステップＳ９０３の処理が完了するとステップＳ９０４に進む。

ステップＳ９０４では、ステップＳ９０３にて取得された物体から１つの物体Ｍ［ｋ］（ｋ＝０〜Ｚ）が選択される。ステップＳ９０４の処理が完了するとステップＳ９０５に進む。

ステップＳ９０５では、フレーム間差分画像ＦＤｔから物体の領域中のピクセル値が抽出される。完全停止判定部４２は、選択されている物体Ｍ［ｋ］の位置情報に基づき、フレーム間差分画像ＦＤｔにおいてこの物体の位置情報に対応する領域を選択し、この選択された領域内のピクセル値を求める。ステップＳ９０５の処理が完了するとステップＳ９０６に進む。

ステップＳ９０６では、ステップＳ９０５で抽出された全てのピクセル値が０か否かが判定される。全てのピクセル値が０である場合には（ステップＳ９０６のＹｅｓ）、ステップＳ９０７に進み、そうでない場合には（ステップＳ９０６のＮｏ）、ステップＳ９０８に進む。

ステップＳ９０７では、ステップＳ９０６の判定の結果、物体の存在領域に該当するフレーム間差分画像ＦＤｔの領域の全てのピクセル値が０であるので、該当領域において物体の動きが無いものとみなし、該当物体Ｍ［ｋ］は完全停止状態であると判定される。ステップＳ９０７の処理が完了するとステップＳ９０９に進む。

ステップＳ９０８では、ステップＳ９０６の判定の結果、物体の存在領域に該当するフレーム間差分画像ＦＤｔの領域のピクセル値の少なくとも一部が０ではないので、該当領域において物体の動きが有るものとみなし、該当物体は完全停止状態ではないと判定される。ステップＳ９０８の処理が完了するとステップＳ９０９に進む。

ステップＳ９０９では、該当物体の引数ｋに１が加算される。ｋが所定の上限値Ｚを超えるまでは、ステップＳ９０４に戻り、新たに物体が選択されてステップＳ９０５〜Ｓ９０８の処理が繰り返される。ｋが所定の上限値Ｚを超えた場合には本制御フローを終了する。

完全停止判定部４２は、このように算出した入力画像Ｉｔ中の各物体Ｍ［ｋ］についての完全停止状態か否かの情報を、一時停止判定部４３に出力する。

［一時停止判定部４３］
一時停止判定部４３は、速度算出部４１から入力画像Ｉｔ中の各物体Ｍ［ｋ］の物体情報や速度情報が入力され、また、完全停止判定部４２から各物体Ｍ［ｋ］の完全停止状態か否かに関する情報が入力され、これらの情報に基づき、各物体Ｍ［ｋ］の行動Ａ［ｋ］を出力する。一時停止判定部４３における具体的な処理について図１７を参照して説明する。

ステップＳ１００１では、完全停止判定部４２から各物体Ｍ［ｋ］の完全停止有無の情報が取得される。ステップＳ１００１の処理が完了するとステップＳ１００２に進む。

ステップＳ１００２では、速度算出部４１から各物体Ｍ［ｋ］の速度情報などの物体情報が取得される。ステップＳ１００１の処理が完了するとステップＳ１００２に進む。

ステップＳ１００３では、ステップＳ１００２にて取得された物体から１つの物体Ｍ［ｋ］（ｋ＝０〜Ｚ）が選択される。ステップＳ１００３の処理が完了するとステップＳ１００４に進む。

ステップ１００４では、該当物体Ｍ［ｋ］について、速度が０［ｍ／ｓ］であり、かつ、完全停止状態であるか否かが判定される。一時停止判定部４３は、速度算出部４１により算出された物体の移動速度情報に基づいて速度が０[ｍ／ｓ]であるか否かを判別し、また、完全停止判定部４２による判定結果に基づき完全停止状態か否かを判別できる。ステップＳ１００４の判定の結果、両条件を満たす場合（ステップＳ１００４のＹｅｓ）には、該当物体Ｍ［ｋ］は停止中と判定され（Ｓ１００５）、該当物体Ｍ［ｋ］の情報が停止履歴ＤＢ４４に記録されて（Ｓ１００６）、ステップＳ１０１１に進む。

一方、ステップＳ１００４の判定の結果、両条件の少なくとも一方を満たさない場合（ステップＳ１００４のＮｏ）には、該当物体Ｍ［ｋ］は停止中とは判断されず、停止履歴ＤＢ４４から前ステップ（ｔ−１）の停止中物体の情報が読み出され（Ｓ１００７）、ステップＳ１００８に進む。

ステップＳ１００８では、時刻ｔ−１において該当物体Ｍ［ｋ］は停止中だったか否かが判定される。一時停止判定部４３は、例えば現在選択されている物体Ｍ［ｋ］の識別情報を用いて、この物体が停止履歴ＤＢ４４に記録されていたか否かを判定する。そして、この物体が停止履歴ＤＢ４４に記録されていた場合に、時刻ｔ−１において該当物体Ｍ［ｋ］は停止中だったと判定する。

ステップＳ１００８の判定の結果、時刻ｔ−１において該当物体Ｍ［ｋ］が停止中だった場合（ステップＳ１００８のＹｅｓ）には、該当物体Ｍ［ｋ］は現時点において完全停止状態ではないものの直前まで停止しており、未だ一時停止状態に含まれるとみなすことができるので、一時停止中と判定され（Ｓ１００９）、ステップＳ１０１１に進む。

一方、ステップＳ１００８の判定の結果、時刻ｔ−１において該当物体Ｍ［ｋ］は停止中ではなかった場合（ステップＳ１００８のＮｏ）には、該当物体Ｍ［ｋ］は現時点において完全停止状態ではなく、さらに直前でも停止中ではなく、一時停止中または停止中とはみなすことができないので、該当物体は走行中と判定され（Ｓ１０１０）、ステップＳ１０１１に進む。

ステップＳ１０１１では、該当物体Ｍ［ｋ］の引数ｋに１が加算される。ｋが所定の上限値Ｚを超えるまでは、ステップＳ１００３に戻り、新たに物体が選択されてステップＳ１００４〜Ｓ１０１０の処理が繰り返される。ｋが所定の上限値Ｚを超えた場合には本制御フローを終了する。

［交差点解析装置１の効果］
次に、本実施形態に係る交差点解析装置１の効果について説明する。本実施形態の交差点解析装置１は、交差点を撮像するカメラ５から入力される入力画像Ｉｔと、交差点の背景情報に係る背景画像ＢＧｔ−１との差分である背景差分画像ＢＤｔを算出する背景差分算出部２１と、背景差分算出部２１により算出された背景差分画像ＢＤｔから、交差点における交通状況に係り、交差点の道路上を移動する少なくとも１つの物体Ｍ［ｋ］の識別情報及び動きベクトルを算出する物体検知部３と、物体検知部３により検知された物体Ｍ［ｋ］の識別情報及び前記動きベクトルの情報に基づき、交差点における識別情報をもつ物体Ｍ［ｋ］の行動Ａ［ｋ］を推定する行動理解部４と、を具備する。

上述のとおり、入力画像Ｉｔから算出される背景差分画像ＢＤｔは、入力画像Ｉｔの長期的な特徴（静止物、一時停止中の自動車など移動物体の一部）が反映された画像であるので、この背景差分画像ＢＤｔを利用して物体検知処理を行うことにより、交差点に混在する自動車、二輪車、歩行者などの複数種の物体Ｍ［ｋ］を、移動中のもののみならず一時停止中のものまで含めて精度良く入力画像Ｉｔから抽出して個体判別できる。さらに、動きベクトルなどの情報に基づき、個体判別した個々の物体Ｍ［ｋ］ごとに行動Ａ［ｋ］を検知できる。これにより、交差点を撮像するカメラ５から入力される入力画像Ｉｔに基づき、当該交差点における交通状況に係り、道路上を移動する物体Ｍ［ｋ］の行動Ａ［ｋ］を精度良く推定できる。この結果、従来の目視による交通流の監視・分析手法を、交差点などで設置されている監視カメラから道路上での交通状況などを自動で解析する手法に置き換えることが可能となり、作業負担を大幅に改善できる。

また、本実施形態の交差点解析装置１は、入力画像Ｉｔと時間差のある２つの時間差入力画像Ｉｔ−１，Ｉｔ−２と、入力画像Ｉｔと、の差分であるフレーム間差分画像ＦＤｔを算出するフレーム間差分算出部２２、を具備する。行動理解部４は、物体検知部３により検知された物体Ｍ［ｋ］の識別情報及び動きベクトルの情報に基づき、物体Ｍ［ｋ］の走行速度を算出する速度算出部４１と、フレーム間差分算出部２２により算出されたフレーム間差分画像ＦＤｔに含まれる停止領域の情報に基づき、物体検知部３により検知された物体Ｍ［ｋ］が完全に停止している完全停止状態であるか否かを判定する完全停止判定部４２と、完全停止判定部４２による物体Ｍ［ｋ］の完全停止状態の判定結果と、速度算出部４１により算出された物体Ｍ［ｋ］の走行速度情報とに基づいて、物体Ｍ［ｋ］が走行中か、一時停止中か、または停止中かを判定する一時停止判定部４３と、を備える。

上述のとおり、複数の時間差入力画像Ｉｔ，Ｉｔ−１，Ｉｔ−２から算出されるフレーム間差分画像ＦＤｔは、入力画像Ｉｔから短期的な特徴（例えばフレーム間で瞬間的に動いている物体）を抽出した画像であるので、フレーム間差分画像ＦＤｔを利用すれば、入力画像Ｉｔ内の物体Ｍ［ｋ］が完全停止状態であるか否かを高精度に判別できる。このため、上記の背景差分画像ＢＤｔによる物体検知に加えて、フレーム間差分画像ＦＤｔに基づく物体の停止判定処理を併用することにより、物体Ｍ［ｋ］の行動Ａ［ｋ］の推定精度を向上できる。

また、本実施形態の交差点解析装置１において、完全停止判定部４２は、フレーム間差分画像ＦＤｔを二値化して、ピクセル値が０（第１のピクセル値）となる領域を物体Ｍ［ｋ］の動きを検知できない停止領域として抽出し、ピクセル値が１（第２のピクセル値）となる領域を物体Ｍ［ｋ］の動きを検知できる領域として抽出する。完全停止判定部４２は、背景差分画像ＢＤｔにおける物体Ｍ［ｋ］の領域に対応するフレーム間差分画像ＦＤｔの領域中の全てのピクセルのピクセル値が０である場合に、物体Ｍ［ｋ］が完全停止状態であると判定し、そうでない場合には物体Ｍ［ｋ］が完全停止状態ではないと判定する。

この構成により、フレーム間差分画像ＦＤｔを二値化することで、フレーム間差分画像内の停止領域とそれ以外の領域とを明確に区分することができる。そして、このように区分された領域と物体の領域とを照合することにより、物体が完全停止状態か否かの判定を迅速に行うことができる。

また、本実施形態の交差点解析装置１において、一時停止判定部４３は、速度算出部４１により算出された物体Ｍ［ｋ］の走行速度が０［ｍ／ｓ］であり、かつ、完全停止判定部４２により物体Ｍ［ｋ］が完全停止状態と判定されたとき、物体Ｍ［ｋ］の行動Ａ［ｋ］が「停止中」であると判定し、物体Ｍ［ｋ］が停止中であるとの情報を停止履歴として停止履歴ＤＢ４４に記録する。

この構成により、速度算出部４１により算出された物体Ｍ［ｋ］の走行速度が０［ｍ／ｓ］であっても、完全停止判定部４２により物体Ｍ［ｋ］が完全停止状態と判定されない場合には、該当物体は停止中とは判定されない。物体Ｍ［ｋ］の走行速度の算出に用いる背景差分画像ＢＤｔは、（１）式のように背景画像ＢＧｔを過去のすべての入力画像の加重平均により作成しているため、直近の複数の入力画像のみを用いて作成されるフレーム間差分画像ＦＤｔと比較して相対的にノイズ成分の割合が高くなる傾向がある。このため、完全停止判定部４２による物体Ｍ［ｋ］の完全停止状態判定の結果は、速度算出部４１により算出された物体Ｍ［ｋ］の走行速度より相対的に信頼度が高いと考えられる。そこで、上記のように、速度算出部４１により算出された物体Ｍ［ｋ］の走行速度が０［ｍ／ｓ］であっても、完全停止判定部４２により物体Ｍ［ｋ］が完全停止状態と判定されない場合には、該当物体は停止中とは判定しないようにすることで、物体の行動の誤検知を低減させることができる。

また、本実施形態の交差点解析装置１において、一時停止判定部４３は、物体Ｍ［ｋ］が停止中ではないと判定したとき、停止履歴ＤＢ４４を参照して１ステップ前において物体Ｍ［ｋ］が停止中であった場合には物体Ｍ［ｋ］の行動Ａ［ｋ］が「一時停止中」であると判定し、１ステップ前において物体Ｍ［ｋ］が停止中でなかった場合には物体Ｍ［ｋ］の行動Ａ［ｋ］が「走行中」であると判定する。

この構成により、一時停止判定部４３が物体Ｍ［ｋ］の行動Ａ［ｋ］として「停止中」、「一時停止中」、「走行中」の３パターンを判定できる。

また、本実施形態の交差点解析装置１において、物体検知部３は、背景差分算出部２１により算出された背景差分画像ＢＤｔから、複数の所定部分の動きベクトルを算出し、複数の動きベクトルのうち同じ方向と長さをもつ動きベクトルを含む領域を、交差点の道路上を移動する同一物体Ｍ［ｋ］の領域として抽出する物体クラスタリング部３１と、物体クラスタリング部３１により抽出された各物体Ｍ［ｋ］について、過去に検知した物体Ｎ［Ｌ］に関する履歴を参照して識別情報を付与する物体認識部３２と、を備える。

この構成により、物体検知部３が入力画像Ｉｔ中から物体Ｍ［ｋ］を抽出する処理と、抽出した物体の個体判別処理とを好適に行うことができる。

以上、具体例を参照しつつ本発明の実施の形態について説明した。しかし、本発明はこれらの具体例に限定されるものではない。すなわち、これら具体例に、当業者が適宜設計変更を加えたものも、本発明の特徴を備えている限り、本発明の範囲に包含される。例えば、前述した各具体例が備える各要素及びその配置、材料、条件、形状、サイズなどは、例示したものに限定されるわけではなく適宜変更することができる。また、前述した各実施の形態が備える各要素は、技術的に可能な限りにおいて組み合わせることができ、これらを組み合わせたものも本発明の特徴を含む限り本発明の範囲に包含される。

上記実施形態では、交差点の定点画像に基づき交差点周辺の交通状況を解析することができる交差点解析装置１を例示したが、本発明に係る交通状況解析装置が交通状況を解析する道路上の所定領域は交差点に限られず、道路上の任意の所定領域を対象とすることができる。

１：交差点解析装置（交通状況解析装置）
２：特徴量抽出部
２１：背景差分算出部
２２：フレーム間差分算出部
３：物体検知部
３１：物体クラスタリング部
３２：物体認識部
４：行動理解部
４１：速度算出部
４２：完全停止判定部
４３：一時停止判定部
５：カメラ（撮像装置）
Ｉｔ：入力画像
ＢＧｔ−１，ＢＧｔ：背景画像
ＢＤｔ：背景差分画像
ＦＤｔ：フレーム間差分画像
Ｍ［ｋ］：物体

Claims (5)

1. 道路上の所定領域を撮像する撮像装置（５）から入力される入力画像（Ｉｔ）と、前記所定領域の背景情報に係る背景画像（ＢＧｔ−１）との差分である背景差分画像（ＢＤｔ）を算出する背景差分算出部（２１）と、
   前記背景差分算出部により算出された前記背景差分画像から、前記道路上の所定領域における交通状況に係り、前記道路上を移動する少なくとも１つの物体（Ｍ［ｋ］）の識別情報及び動きベクトルを算出する物体検知部（３）と、
   前記物体検知部により検知された前記物体の前記識別情報及び前記動きベクトルの情報に基づき、前記道路上の所定領域における前記識別情報をもつ前記物体の行動を推定する行動理解部（４）と、
   前記入力画像と時間差のある少なくとも１つの時間差入力画像（Ｉｔ−１，Ｉｔ−２）と、前記入力画像と、の差分であるフレーム間差分画像（ＦＤｔ）を算出するフレーム間差分算出部（２２）と、を具備し、
   前記行動理解部は、
   前記物体検知部により検知された前記物体の前記識別情報及び前記動きベクトルの情報に基づき、前記物体の走行速度を算出する速度算出部（４１）と、
   前記フレーム間差分算出部により算出された前記フレーム間差分画像に含まれる停止領域の情報に基づき、前記物体検知部により検知された前記物体が完全に停止している完全停止状態であるか否かを判定する完全停止判定部（４２）と、
   前記完全停止判定部による前記物体の完全停止状態の判定結果と、前記速度算出部により算出された前記物体の走行速度情報とに基づいて、前記物体が走行中か、一時停止中か、または停止中かを判定する一時停止判定部（４３）と、を備え、
   前記完全停止判定部は、
   前記フレーム間差分画像を二値化して、第１のピクセル値となる領域を前記物体の動きを検知できない前記停止領域として抽出し、第２のピクセル値となる領域を前記物体の動きを検知できる領域として抽出し、
   前記背景差分画像における前記物体の領域に対応する前記フレーム間差分画像の領域中の全てのピクセルが前記第１のピクセル値である場合に、前記物体が前記完全停止状態であると判定し、そうでない場合には前記物体が前記完全停止状態ではないと判定する、交通状況解析装置（１）。
2. 前記一時停止判定部は、
   前記速度算出部により算出された前記物体の走行速度が０［ｍ／ｓ］であり、かつ、前記完全停止判定部により前記物体が完全停止状態と判定されたとき、前記物体が停止中であると判定し、前記物体が停止中であるとの情報を停止履歴として記録する、
   請求項１に記載の交通状況解析装置。
3. 前記一時停止判定部は、
   前記物体が停止中ではないと判定したとき、前記停止履歴を参照して１ステップ前において前記物体が停止中であった場合には前記物体が一時停止中と判定し、１ステップ前において前記物体が停止中でなかった場合には前記物体が走行中と判定する、
   請求項２に記載の交通状況解析装置。
4. 前記物体検知部は、
   前記背景差分算出部により算出された前記背景差分画像から、複数の所定部分の動きベクトルを算出し、前記複数の動きベクトルのうち同じ方向と長さをもつ動きベクトルを含む領域を、道路上を移動する同一物体の領域として抽出する物体クラスタリング部（３１）と、
   前記物体クラスタリング部により抽出された各物体について、過去に検知した物体に関する履歴を参照して前記識別情報を付与する物体認識部（３２）と、
   を備える、請求項１〜３のいずれか１項に記載の交通状況解析装置。
5. 交差点を撮像する撮像装置から入力される入力画像に基づいて、
   前記交差点における交通状況に係り、前記交差点の道路上を移動する少なくとも１つの物体の行動を推定する、
   請求項１〜４のいずれか１項に記載の交通状況解析装置。

Images