JP6597899B2 - 物体追跡方法及び物体追跡装置 - Google Patents

Description

本発明は、物体追跡方法及び物体追跡装置に関するものである。

従来から、横断待ちや横断中の歩行者の存在状況を検出する歩行者検出装置が知られている（特許文献１参照）。特許文献１の歩行者検出装置は、ステレオカメラを用いて交差点付近の歩行者を検出し、歩行者毎の存在座標を時系列に追跡した歩行者の追跡結果に基づいて、歩行者管理テーブルを更新する。

特開２００２−０２４９８６号公報

しかしながら、多数の歩行者が存在する場合、時系列で処理するデータ量が増大して、計算負荷が増える恐れがある。

本発明は、上記課題に鑑みて成されたものであり、その目的は、複数の物体を時系列に追跡する際の計算負荷を削減できる物体追跡方法及び物体追跡装置を提供することである。

本発明の一態様に係わる物体追跡方法は、複数の物体が検出された場合、自車と物体との位置関係による自車の移動に与える影響度に基づいて、複数の物体をグループに分け、それぞれのグループを一つの物体として時系列に追跡する。

本発明の一態様に係わる物体追跡方法によれば、複数の物体を時系列に追跡する際の計算負荷を削減できる。

図１は、実施形態に係わる物体追跡装置の構成を示すブロック図である。 図２は、図１の物体追跡装置を用いた物体追跡方法の一例を示すフローチャートである。 図３は、四叉路の交差点を示す平面図である。 図４は、図２の第１の処理（ステップＳ１７０）の詳細な手順を示すフローチャートである。 図５Ａは、第１の処理を説明するための図であり、交差点内に居る歩行者８ａ〜８ｄを示す。 図５Ｂは、第１の処理を説明するための図であり、走行ルート９上に居る歩行者８ｃ、８ｄを示す。 図５Ｃは、第１の処理を説明するための図であり、走行ルート９上に居ない歩行者８ａ、８ｂを示す。 図５Ｄは、第１の処理を説明するための図であり、横断歩道１ｃ上に居ない歩行者８ｅ、８ｆを示す。 図６は、図２の第２の処理（ステップＳ１８０）の詳細な手順を示すフローチャートである。 図７Ａは、第２の処理を説明するための図であり、歩道領域２Ａに居る歩行者８ｇ、８ｈを示す。 図７Ｂは、第２の処理を説明するための図であり、歩道領域２Ａに居る歩行者８ｇ、８ｈの移動方向を示す。 図７Ｃは、第２の処理を説明するための図であり、歩行者８ｇ、８ｈの進入可能な経路Ｌ１、Ｌ２を示す。 図７Ｄは、第２の処理を説明するための図であり、歩道領域２Ｂに居る歩行者８ｉ、８ｊの移動方向を示す。 図７Ｅは、第２の処理を説明するための図であり、歩行者８ｉ、８ｊの進入可能な経路Ｌ３、Ｌ４を示す。 図８は、グループＧの代表位置ＲＰ及び大きさを示す概念図である。 図９Ａは、物体の追跡処理を示す概念図であり、最初のフレームのみで実行する処理を示す。 図９Ｂは、物体の追跡処理を示す概念図であり、追跡マーク１３が付された歩行者の位置を予測する処理を示す。 図９Ｃは、物体の追跡処理を示す概念図であり、新規に追跡マーク１３’を生成する処理を示す。 図９Ｄは、物体の追跡処理を示す概念図であり、追跡マーク１３を削除する処理を示す。 図１０は、図３の第３の処理（ステップＳ２２０）の詳細な手順を示すフローチャートである。 図１１Ａは、歩道を同じ方向に移動している４人の歩行者８ｋ、８ｍ、８ｎ、８ｐを示す平面図である。 図１１Ｂは、４人の歩行者８ｋ、８ｍ、８ｎ、８ｐを１つのグループＧ９に分類する例を示す平面図である。 図１１Ｃは、移動速度に基づいて、４人の歩行者８ｋ、８ｍ、８ｎ、８ｐを２つのグループＧ１０、Ｇ１１に分類する例を示す平面図である。 図１１Ｄは、歩行者８ｋが他の歩行者８ｍ、８ｎ、８ｐに追いついた状態を示す平面図である。 図１１Ｅは、歩行者８ｋが他の歩行者８ｍ、８ｎ、８ｐを追い越した状態を示す平面図である。 図１２Ａは、自車７の移動と歩行者８ｋ、８ｍ、８ｎ、８ｐの移動との関係を示す平面図である。 図１２Ｂは、自車７の移動と歩行者８ｋ、８ｍ、８ｎ、８ｐの移動との関係を示す平面図である。 図１３Ａは、歩行者８ｋ、８ｍ、８ｎ、８ｐの位置が自車７の移動に影響を与えない例を示す平面図である。 図１３Ｂは、歩行者８ｋ、８ｍ、８ｎ、８ｐの位置が自車７の移動に影響を与える例を示す平面図である。 図１３Ｃは、歩行者８ｋと歩行者８ｍとの間を自車７が通過できない例を示す平面図である。 図１３Ｄは、歩行者８ｋと歩行者８ｍとの間を自車７が通過できる例を示す平面図である。

図面を参照して、実施形態を説明する。図面の記載において同一部分には同一符号を付して説明を省略する。

図１を参照して、実施形態に係わる物体追跡装置の構成を説明する。物体追跡装置は、自車の周囲の物体を検出する物体検出センサ１０と、物体検出センサ１０により検出された物体を時系列に追跡する演算回路８０とを備える。演算回路８０は、物体検出センサ１０により検出された物体から歩行者を抽出する歩行者抽出回路２０と、自車の周囲の地図情報を取得する地図情報取得回路３０と、自車に関する情報を取得する自車情報取得回路４０と、グループ決定回路６０と、各物体を時系列に追跡する追跡回路７０とを備える。

演算回路８０は、ＣＰＵ（中央処理装置）、メモリ、及び入出力部を備えるマイクロコンピュータを用いて実現可能である。マイクロコンピュータを演算回路８０として機能させるためのコンピュータプログラムを、マイクロコンピュータにインストールして実行する。これにより、マイクロコンピュータは、演算回路８０として機能する。なお、ここでは、ソフトウェアによって演算回路８０を実現する例を示すが、もちろん、以下に示す各情報処理を実行するための専用のハードウェアを用意して、演算回路８０を構成することも可能である。また、演算回路８０に含まれる複数の回路（２０、３０、４０、６０、７０）を個別のハードウェアにより構成してもよい。更に、演算回路８０は、自車にかかわる他の制御に用いる電子制御ユニット（ＥＣＵ）と兼用してもよい。

グループ決定回路６０は、物体検出センサ１０により複数の物体が同時に検出された場合、物体の位置による自車の移動に与える影響度に基づいて、複数の物体をグループに分ける。物体の位置による自車の移動に与える影響度が大きければ、より細かくグループ分けを行い、影響度が小さければ、大まかにグループ分けを行う。換言すれば、物体の位置による領域が自車の移動に与える影響度が大きいほど、狭い領域に位置する物体を１つのグループに分け、物体の位置による自車の移動に与える影響度が小さいほど、広い領域に位置する物体を１つのグループに分ける。

追跡回路７０は、それぞれのグループを一つの物体として時系列に追跡する。追跡回路７０は、複数の物体が物体検出センサ１０により同時に検出された場合、物体各々を追跡する代わりに、グルーピングされた物体を１つの物体として追跡する。これにより、追跡対象の物体の数が減り、演算回路８０の処理負担が軽減される。

物体検出センサ１０は、少なくとも自車と物体との相対位置、相対速度、物体の属性を検出することができる。物体検出センサ１０は、物体の属性としては、例えば、物体が車、歩行者、自転車のいずれであるか、或いは未知であるか、等を検出する。例えば、物体検出センサ１０は、自車に搭載された単眼或いは複眼のステレオカメラを用いて自車の周囲を撮像する。そして、物体検出センサ１０は、撮像された画像から、三角測量の原理に基づくステレオ画像処理を行うことにより、画像中の物体の三次元座標を求める。これ以外にも、物体検出センサ１０は、例えば、カメラの代わりに或いはカメラと組み合わせてレーザレンジファインダ（ＬＲＦ）を用いて物体の三次元座標を求めてもよい。

歩行者抽出回路２０は、物体検出センサ１０により検出された物体の面積、地上高さ、移動速度、形状等に基づき、物体の中から歩行者を抽出する。歩行者の属性情報（面積、地上高さ、移動速度、形状等を含む）を使って、歩行者を抽出し、歩行者の情報をメモリに保存する。属性情報は、物体の形状や移動量、カメラ画像を用いる場合には、顔や服装などの特徴から付与することができる。もちろん、その他の方法を用いてもよい。

なお、本実施形態では、物体追跡装置の一例として、物体検出センサ１０により検出された物体の中から抽出された歩行者を追跡する歩行者追跡装置について説明する。

地図情報取得回路３０は、予め用意された自車の位置情報に基づき、自車の周囲の地図情報を取得する。自車が走行可能な道路の全ての地図情報は、地図データとして半導体メモリから成るデータ記憶ユニットに予め格納されている。地図情報取得回路３０は、自車の位置情報で地図データを検索し、自車の周囲の地図情報を地図データから抽出する。自車の周囲の地図情報には、少なくとも自車周辺の車線情報、歩道の幅や形状、交通ルールに関する情報が含まれる。

地図情報取得回路３０は、自車に搭載されたデータ記憶ユニットを自車の位置情報で検索し、自車の周囲の地図情報を取得してもよいし、自車から無線通信を介して接続可能なデータベースにアクセスし、自車の周囲の地図情報をクラウド上のデータベースから取得しても構わない。つまり、地図情報取得回路３０は、物体追跡装置の内外に存在するデータ記憶部から自車の周囲の地図情報を取得すればよい。ここで、「自車の周囲」とは、自車を中心として一定範囲、たとえば物体検出センサ１０の検出範囲を含む領域を示す。

自車情報取得回路４０は、少なくとも自車の速度、加速度、操舵角、走行ルートに関する情報を自車情報として取得する。自車の速度及び加速度は、自車の車輪に設けられた、車輪速センサから出力される車輪の回転速度を示す信号から求めることができる。また、操舵角は、ステアリングシャフトに取り付けられた転舵角センサから出力される操舵の向き、中立位置及び転舵角を示す信号から求めることができる。走行ルートは、予め設定された目的地まで自車が走行する予定のルートである。走行ルートは、例えば、ナビゲーションシステムにより検索され、ドライバーに承認することにより決定される。もちろん、これ以外の既存の方法を用いて走行ルートを取得しても構わない。

グループ決定回路６０は、物体検出センサ１０により複数の物体が同時に検出され、且つ、歩行者抽出回路２０により複数の歩行者が同時に抽出された場合、歩行者の位置による自車の移動に与える影響度に基づいて、歩行者をグループに分ける。具体的には、グループ決定回路６０は、先ず、歩行者をその移動方向別に初期グルーピングを行う。そして、歩行者の位置による自車の移動に与える影響度に基づいて、同じ方向に移動している複数の歩行者に対して、更に詳細なグルーピングを行う。グループ決定回路６０は、自車の地図上の位置、移動方向、移動速度、自車の走行ルート、自車に対する各歩行者の相対位置、相対速度、移動方向、自車の周囲の地図情報、自車情報の少なくともいずれか１つを用いて、自車の移動に与える影響度を計算する。もちろん、グループ決定回路６０は、上記以外の情報を用いて、自車の移動に与える影響度を計算しても構わない。

例えば、歩行者の位置が、自車の地図上の位置及び自車の走行ルートから遠いほど、自車の存在及び移動が歩行者の安全性に与える影響度は小さいといえる。そこで、グループ決定回路６０は、例えば、歩行者の位置が自車の地図上の位置及び自車の走行ルートから遠いほど、自車の移動に与える影響度を小さく評価し、より広い領域に位置する歩行者を１つのグループに分ける。これにより、歩行者及び自車の安全な移動を確保した上で、グループの数を削減できる。よって、歩行者の安全性を十分確保し、且つ歩行者追跡の計算負荷を削減することができる。なお、歩行者の位置が、自車の地図上の現在位置又は自車の走行ルートのいずれか一方のみから遠い場合に、自車の移動に与える影響度を小さく評価しても構わない。

グループ決定回路６０は、各グループの地図上の代表位置、大きさ、形状、移動方向、相対速度を算出し、記憶する。

追跡回路７０は、それぞれのグループを一人の歩行者として時系列に追跡する。追跡回路７０は、複数の歩行者が物体検出センサ１０により同時に検出された場合、歩行者各々を追跡する代わりに、グルーピングされた複数の歩行者を一人の歩行者として時系列に追跡することができる。

図２を参照して、図１の物体追跡装置を用いた物体追跡方法の一例を説明する。

先ず、ステップＳ１１０で、自車に取り付けた物体検出センサ１０は、自車の周囲の物体を検出する。ステップＳ１２０に進み、歩行者抽出回路２０は、検出された物体の中から，属性が歩行者である物体を抽出し、抽出した歩行者の情報をメモリに保存する。歩行者の情報には、自車に対する各歩行者の相対位置、相対速度、移動方向が含まれる。

ステップＳ１３０に進み、グループ決定回路６０は、同時に抽出された複数の歩行者に対して、その速度ベクトル又は移動方向に基づいて初期グルーピングする。例えば、図３の同じ歩道領域２Ａ〜２Ｈ又は同じ横断歩道１ａ〜１ｄを同じ方向に移動する複数の歩行者を１つの初期グループに分類する。

ステップＳ１４０に進み、地図情報取得回路３０は、予め用意された自車の位置情報に基づき、自車の周囲の地図情報を取得する。

次に、ステップＳ１５０及びＳ１６０において、グループ決定回路６０は、抽出された歩行者の位置が、交差点付近か否か、交差点内か否かをそれぞれ判断する。ここで、「交差点付近」と「交差点内」について図３を参照して説明する。

図３に示すような四叉路の交差点において、「交差点内１」とは、道路が交差する領域、交差点に設けられた４つの横断歩道１ａ〜１ｄを含み、更に４つの横断歩道１ａ〜１ｄの外側端部から距離ｄ１まで広げた領域を示す。距離ｄ１は、物体検出センサ１０の検出誤差を考慮した値、例えば、０．５ｍとする。「交差点付近２」とは、交差点内１を含み、更に、交差点の中心から距離ｄ２（例えば、３０ｍ）まで広げた領域を示す。交差点付近２には、４つの横断歩道１ａ〜１ｄに繋がる８つの歩道領域２Ａ〜２Ｈが含まれる。

ステップＳ１５０において、グループ決定回路６０は、抽出された歩行者が交差点付近２に位置するか否かを判断する。交差点付近２に位置する場合（Ｓ１５０でＹＥＳ）ステップＳ１６０に進み、交差点付近２の外側に位置する場合（Ｓ１５０でＮＯ）ステップＳ２２０に進み、グループ決定回路６０は、第３の処理を実行する。

ステップＳ１６０において、グループ決定回路６０は、ステップＳ１４０で取得された自車の周囲の地図情報に基づいて、抽出された歩行者が交差点内１に位置するか否かを判断する。交差点内１に位置する場合（Ｓ１６０でＹＥＳ）、ステップＳ１７０に進み、グループ決定回路６０は、第１の処理を実行する。交差点内１の外側に位置する場合（Ｓ１６０でＮＯ）、ステップＳ１８０に進み、グループ決定回路６０は、第２の処理を実行する。なお、複数の歩行者が、交差点内１、交差点付近２、交差点付近２の外側のそれぞれに検出された場合、グループ決定回路６０は、歩行者が位置する図３に示す領域毎に、歩行者をグルーピングする第１の処理〜第３の処理を実施する。

その後、ステップＳ１９０に進み、分類された各グループを１人の歩行者として追跡するため、追跡回路７０は、各グループの代表位置及び大きさを算出する。例えば、図８に示すように、５人の歩行者８が１つのグループＧに分類された場合を考える。追跡回路７０は、グループＧに含まれる全ての歩行者８を網羅するような縦Ｌｇ及び横Ｗｉの四辺形をグループの大きさとして設定する。そして、追跡回路７０は、この縦Ｌｇ及び横Ｗｉの四辺形の中心位置ＲＰ（Ｘ，Ｙ）をグループＧの代表位置として設定する。

ステップ２００に進み、追跡回路７０は、各グループを１人の歩行者として時系列で追跡する。例えば、追跡回路７０は、図９Ａ〜図９Ｄに示しているように四つのステージで検出された物体に対して時系列で追跡処理する。図９Ａは、最初のフレームのみで実行する処理を示す。第１に、追跡回路７０は、検出されたすべての歩行者８に対して追跡マーク１３（トラッカー）をそれぞれ付す。第２に、追跡回路７０は、図９Ｂに示すように、追跡マーク１３が付された歩行者の位置を予測する。すべての追跡マーク１３に対して、歩行者の移動方向及び移動速度、位置を参照して、次の時刻（Ｔ＋１）における歩行者８の位置を予測し、予測した位置１１へ追跡マーク１３を遷移させる。第３に、追跡回路７０は、時刻（Ｔ＋１）で検出した歩行者８の位置（検出位置）と、図９Ｂに示した予測位置１１とを比較する。追跡回路７０は、図９Ｃに示すように、検出位置８’から一定距離（例えば６ｍ）以内に対応する予測位置１１が発見できない場合、検出位置’に新規に追跡マーク１３’を生成する。逆に、第４に、追跡回路７０は、図９Ｄに示すように、予測位置１１から一定距離（例えば６ｍ）以内に対応する検出位置が発見できない場合、追跡マーク１３を削除する。

ステップ２１０では、イグニションスイッチ（ＩＧＮ）がオフされたか否かを判断する。オフされた場合（Ｓ２１０でＹＥＳ）、図２に示す処理を終了する。一方、オフされていなければ（Ｓ２１０でＮＯ）、ステップＳ１１０に戻る。ＩＧＮがオフされるまで、図２に示すフローチャートを所定の周期で繰り返し実行する。

（第１の処理）
図４を参照して、第１の処理（図２のステップＳ１７０）の詳細な手順を説明する。ステップＳ５１０において、図２の横断歩道１ａ〜１ｄ毎に、同じ横断歩道領域に位置する複数の歩行者を１つのグループに分類する。なお、「横断歩道領域」とは、図５Ａに示すように、各横断歩道１ａ〜１ｄを含み、更に、各横断歩道１ａ〜１ｄの外周縁から交差点の内側及び外側へそれぞれ所定距離だけ広げた領域である。４つの横断歩道１ａ〜１ｄに対応して、４つの横断歩道領域１Ａ〜１Ｄが設定される。例えば、横断歩道領域１Ａに位置する５人の歩行者８ａ、８ｂが１つのグループとして分類され、横断歩道領域１Ｃに位置する６人の歩行者８ｃ、８ｄが別な１つのグループとして分類される。

ステップＳ５２０に進み、自車７に対する各歩行者の相対位置から、同じグループに属する歩行者間の距離を算出する。ステップＳ５３０に進み、自車情報取得回路４０により取得された走行ルート９を読み込む。

ステップＳ５４０に進み、ステップＳ５１０でグルーピングされた歩行者が走行ルート９上に居るか否かを判断する。例えば、図５Ａに示すように、自車７が交差点を右折する場合、横断歩道領域１Ｃが走行ルート９上に居る（Ｓ５４０でＹＥＳ）。よって、横断歩道領域１Ｃに居る歩行者は、走行ルート９上に居ると判断できる。この場合、横断歩道領域１Ｃに位置する６人の歩行者８ｃ、８ｄが自車の移動に与える影響度は大きい。このため、横断歩道領域１Ｃに位置する６人の歩行者８ｃ、８ｄをより詳細に分類して追跡することが望ましい。換言すれば、より狭い領域に位置する歩行者同士でグループに分けることが望ましい。そこで、ステップＳ５５０に進む。

ステップＳ５５０では、先ず、６人の歩行者８ｃ、８ｄの各々について、横断歩道１ｃ上に居るか否かを判断する。横断歩道１ｃ上に居る場合（Ｓ５５０でＹＥＳ）、ステップＳ５６０に進み、歩行者間の距離と所定の閾値Ｄ１とを比較する。そして、ステップＳ５７０では、歩行者間の距離が閾値Ｄ１より小さい歩行者を１つのグループに分類する。例えば、図５Ｂに示すように、３人の歩行者８ｃを１つのグループＧ１に分類する。一方、歩行者８ｄは３人の歩行者８ｃから距離ｄ３だけ離れている。距離ｄ３は閾値Ｄ１よりも大きい。この場合、歩行者８ｄは、グループＧ１とは異なるグループＧ２に分類される。

一方、例えば、図５Ｄに示すように、歩行者８ｅ、８ｆが横断歩道１ｃ上に居ない場合（Ｓ５５０でＮＯ）、ステップＳ５９０に進む。Ｓ５９０において、横断歩道１ｃ上に居ない各歩行者８ｅ、８ｆから横断歩道１ｃまでの距離と所定の閾値Ｄ３とを比較する。歩行者８ｅから横断歩道１ｃまでの距離は閾値Ｄ３よりも小さい。この場合、歩行者８ｅは、横断歩道１ｃ上に居る３人の歩行者８ｃと同じグループＧ１に分類してもよい。閾値Ｄ３は、例えば物体検出センサ１０により検出された物体の相対位置に含まれる誤差と同じ値に設定すればよい。

一方、歩行者８ｆから横断歩道１ｃまでの距離は閾値Ｄ３以上である。この場合、歩行者８ｆは、測定誤差以上に横断歩道１ｃから逸脱しているため、交通ルールを守っていないと判断できる。このため、歩行者８ｆは、横断歩道１ｃ上に居る３人の歩行者８ｃとは異なるグループＧ４に分類される。このようにして、物体の位置の通行ルールに沿っている度合いに基づいて、複数の物体をグループに分ける。

なお、ステップＳ５９０では距離を基準に判断しているが、距離の代わりに或いは距離に加えて、歩行者の移動方向を基準に判断してもよい。例えば、歩行者の移動方向が横断歩道の延在方向に沿っていれば、車道を横断していると判断できる。しかし、移動方向が横断歩道の延在方向に沿っていなければ、交通ルールを守っているとは言えず、自車の移動に与える影響は大きいと判断できる。そこで、ステップＳ５９０では、距離及び移動方向の双方或いはいずれか一方の条件を満たしていない場合、横断歩道１ｃ上に居る３人の歩行者８ｃとは異なるグループＧ４に分類してもよい。

一方、図５Ａに示すように、横断歩道領域１Ａが走行ルート９上に居ないため、ステップＳ５１０でグルーピングされた歩行者８ａ、８ｂは走行ルート９上に居ないと判断できる。この場合（Ｓ５４０でＮＯ）、横断歩道領域１Ａに位置する５人の歩行者８ａ、８ｂが自車の移動に与える影響度を小さく評価してもよい。そこで、ステップＳ５８０に進み、歩行者間の距離と所定の閾値Ｄ２とを比較する。そして、ステップＳ５７０では、歩行者間の距離が閾値Ｄ２より小さい歩行者を１つのグループに分類する。閾値Ｄ２は、閾値Ｄ１よりも大きい。例えば、閾値Ｄ２は横断歩道の長さ、つまり車道の幅と同じにする。これにより、図５Ｃに示すように、横断歩道領域１Ａ内において、互いに離れている５人の歩行者８ａ、８ｂは１つのグループＧ３に分類される。

以上のように、第１の処理では、交差点内１に位置する歩行者に対して、歩行者間の距離、移動方向、及び自車の走行ルート９と歩行者の位置との関係に基づいて、グルーピングを実施することができる。

（第２の処理）
図６を参照して、第２の処理（ステップＳ１８０）の詳細な手順を説明する。ステップＳ７１０において、図３の歩道領域２Ａ〜２Ｈ毎に、歩道領域に位置する歩行者を抽出する。例えば、図７Ａに示すように、歩道領域２Ａに位置する４人の歩行者８ｇ、８ｈを抽出する。

ステップＳ７２０に進み、自車７に対する各歩行者の相対位置から、同じ歩道領域に位置する歩行者間の距離を算出する。ステップＳ７３０に進み、歩行者間の距離と所定の閾値Ｄ４とを比較し、歩行者間の距離が閾値Ｄ４より小さい歩行者を１つのグループに分類する。例えば、図７Ｂに示すように、４人の歩行者８ｇ、８ｈ間の距離は閾値Ｄ４より小さいため、１つのグループＧ５に分類される。閾値Ｄ４は、例えば、閾値Ｄ２の２倍である。歩行者間の距離が閾値Ｄ４以上であれば、異なるグループに分類する。

ステップＳ７４０に進み、分類された各グループが、交差点内１に進入しそうか否かを判断する。例えば、各グループの移動速度、移動方向、交差点内１までの距離に基づいて、各グループが所定時間以内に交差点内１に進入するか否かを判断する。

交差点内１に進入しそうな場合（Ｓ７４０でＹＥＳ）、ステップＳ７５０に進み、交通ルールに基づいて、同じグループに属する歩行者８ｇ、８ｈが行ける経路を取得する。例えば、図７Ｃに示すグループＧ５に属する歩行者８ｇ、８ｈは、交差点内１に進入しそうと判断されたため、交差点内１において、横断歩道１ａ、１ｂを渡る経路Ｌ１、Ｌ２を取得する。

ステップＳ７６０に進み、自車情報取得回路４０により取得された走行ルート９を読み込む。例えば、交差点を右折する走行ルート９を読み込む。ステップＳ７７０に進み、経路Ｌ１、Ｌ２及び走行ルート９に基づいて、歩行者８ｇ、８ｈが走行ルート９上に入る可能性があるか否かを判断する。例えば、図７Ｃに示すように、走行ルート９がいずれかの経路Ｌ１、Ｌ２と交差しない場合、歩行者８ｇ、８ｈが走行ルート９上に入る可能性がないと判断する。

走行ルート９上に入る可能性がない場合（Ｓ７７０でＮＯ）、歩行者が自車７の移動に与える影響は小さいと判断できる。このため、より詳細なグルーピングは行わず、ステップＳ７９０に進み、Ｓ７３０で処理されたグループをそのまま維持する。例えば、図７Ｃに示した４人の歩行者８ｇ、８ｈを含むグループＧ５は、そのまま維持される。

一方、走行ルート９上に入る可能性がある場合（Ｓ７７０でＹＥＳ）、歩行者が自車の移動に与える影響は大きいと判断できる。そこで、Ｓ７３０よりも詳細に歩行者をグルーピングするため、ステップＳ７８０に進み、閾値Ｄ４よりも小さい閾値Ｄ１に従って、再度グルーピングを行う。

例えば、図７Ｄに示すように、歩道領域２Ｂに位置する４人の歩行者８ｉ、８ｊは、Ｓ７３０において、１つのグループＧ６に分類される。グループＧ６が交差点内１に進入しそうな場合（Ｓ７４０でＹＥＳ）、図７Ｅに示すように、グループＧ６に属する歩行者８ｉ、８ｊが行ける経路Ｌ３、Ｌ４が取得される。経路Ｌ３、Ｌ４のいずれかが走行ルート９と交差するため（Ｓ７７０でＹＥＳ）、ステップＳ７８０に進む。歩行者８ｉ、８ｊ間の距離が閾値Ｄ１よりも大きいと判断された場合、図７Ｅに示すように、歩行者８ｉ及び歩行者８ｊは、異なるグループＧ７、Ｇ８に分類される。つまり、歩道領域２Ｂに位置する４人の歩行者８ｉ、８ｊは、Ｓ７３０よりも更に狭い領域で再度グルーピングされる。

なお、ここでは、走行ルート９と経路Ｌ３、Ｌ４との関係から、歩行者が自車７の移動に与える影響を判断したが、これに限らない。例えば、自車７の現在位置と経路Ｌ３、Ｌ４との関係を用いて判断してもよい。具体的には、自車７の現在位置と歩行者８ｉ、８ｊが行ける経路Ｌ３、Ｌ４との距離が遠いほど、より広い領域を１つのグループに分類してもよい。

一方、ステップ７４０において、グループが交差点内１に進入しそうにないと判断された場合（Ｓ７４０でＮＯ）、グループに属する歩行者が自車７の移動に与える影響は小さいと判断できる。よって、ステップＳ７９０に進み、Ｓ７３０で処理されたグループを維持する。

以上のように、第２の処理では、図３に示す交差点内１の外側且つ交差点付近２の内側に位置する歩行者に対して、歩行者間の距離、移動方向、及び自車の走行ルート９と歩行者の位置との関係に基づいて、グルーピングを実施することができる。

（第３の処理）
図１０を参照して、第３の処理（ステップＳ２２０）の詳細な手順を説明する。第３の処理では、交差点付近２の外側に位置する歩行者に対してグルーピングを実施する。

先ず、ステップＳ９１０において、同時に抽出された複数の歩行者を、移動速度に基づいてグルーピングする。具体的には、グループ決定回路６０は、図２のステップＳ１３０において抽出された移動方向が等しい複数の歩行者間の速度差（△Ｖ）を算出する。速度差（△Ｖ）が所定値以下の歩行者を１つのグループに分類する。

例えば、図１１Ａに示すように、物体追跡装置は、歩道を同じ方向に移動している４人の歩行者８ｋ、８ｍ、８ｎ、８ｐを抽出した。４人の歩行者８ｋ、８ｍ、８ｎ、８ｐ間の速度差（△Ｖ）が全て所定値以下である場合、図１１Ｂに示すように、４人の歩行者８ｋ、８ｍ、８ｎ、８ｐを１つのグループＧ９に分類する。

一方、４人の歩行者８ｋ、８ｍ、８ｎ、８ｐのうち、歩行者８ｋの移動速度が他の歩行者８ｍ、８ｎ、８ｐよりも所定値以上速い。そして、他の歩行者８ｍ、８ｎ、８ｐ間の速度差（△Ｖ）は全て所定値以下である。この場合、歩行者８ｋと、他の歩行者８ｍ、８ｎ、８ｐとは、互いに異なるグループＧ１１、Ｇ１０に分類される。これにより、例えば、速い歩行者８ｋが遅い歩行者８ｍ、８ｎ、８ｐに近づいたり(図１１Ｃ、図１１Ｄ)、離れていったり(図１１Ｅ)する場合でも、グループの数やグループの大きさの変動が少なくすることができる。速度差（△Ｖ）の所定値は、例えば、自車７が検出可能な期間において、速い歩行者８ｋが、遅い歩行者８ｍ、８ｎ、８ｐを追い抜くことができるか否かに基づいて定められる。

例えば、図１２Ａに示すように、自車７に搭載された物体検出センサ１０が４人の歩行者８ｋ、８ｍ、８ｎ、８ｐを検出した。歩行者８ｍ、８ｎ、８ｐの移動速度は遅く（例えば毎時４ｋｍ）、歩行者８ｋの移動速度は速い（例えば毎時１５ｋｍ）。物体検出センサ１０は、自車７の後端から４０ｍ離れた範囲まで物体を検出可能である。自車７が毎時３０ｋｍの速度で走行した場合、図１２Ａの位置から４０ｍ走行するには４．８秒かかる。この間に、歩行者８ｍ、８ｎ、８ｐは５．３ｍを進み、歩行者８ｋは２０ｍを進み、図１２Ｂに示す位置関係となる。歩行者８ｋは前方の歩行者８ｎ、８ｐに追いついて、また離れていく。このような状況において、歩行者８ｋを歩行者８ｍ、８ｎ、８ｐとは異なるグループを分ける。逆に、歩行者８ｍと、前方の２人の歩行者８ｎ、８ｐとの速度差（△Ｖ）は所定値以下であり、図１２Ａと図１２Ｂでは、歩行者８ｍ、８ｎ、８ｐ間の位置関係に変化がない。このような状況において、歩行者８ｍとその前方の２人の歩行者８ｎ、８ｐとを同じグループに分類する。

次に、ステップＳ９２０に進み、自車情報取得回路４０により取得された走行ルート９を読み込む。ステップＳ９３０に進み、走行ルート９に基づいて、歩行者の位置が自車７の移動に影響を与えるか否かを判断する。具体的には、第１及び第２の処理と同様にして、歩行者の位置が走行ルート９上に入る可能性があるか否かを判断する。

例えば、図１３Ａに示すように、走行ルート９が車道の直進を示している場合、歩行者８ｋ、８ｍ、８ｎ、８ｐの位置が走行ルート９上に入る可能性はない。よって、歩行者８ｋ、８ｍ、８ｎ、８ｐの位置が自車７の移動に影響を与えない（Ｓ９３０でＮＯ）と判断して、ステップ９４０に進む。一方、図１３Ｂに示すように、走行ルート９が道路に面した駐車場１２に進入するルートを示している場合、歩行者８ｋ、８ｍ、８ｎ、８ｐの位置が走行ルート９上に入る可能性がある。よって、歩行者８ｋ、８ｍ、８ｎ、８ｐの位置は自車７の移動に影響を与える（Ｓ９３０でＹＥＳ）と判断して、ステップ９６０に進む。

ステップＳ９４０において、歩行者間の距離と閾値Ｄ５とを比較する。そして、ステップＳ９５０では、歩行者間の距離が閾値Ｄ５より小さい歩行者を１つのグループに分類する。例えば、閾値Ｄ５を無限大に設定し、図１３Ａに示すように、同じ側の歩道を同じ方向に移動する４人の歩行者８ｋ、８ｍ、８ｎ、８ｐを全て１つのグループＧ１２に分類する。

一方、ステップＳ９６０において、歩行者間の距離及び相対速度、自車７の速度を考慮して、閾値Ｄ６を設定する。ステップＳ９７０に進み、歩行者間の距離と閾値Ｄ６とを比較する。例えば、図１３Ｂに示すように、歩行者８ｋと自車７との衝突ポイントＰａまでの到達時間差を算出し、当該時間差が所定時間（例えば、２〜３秒間）以上であれば、歩行者８ｋと歩行者８ｍとの間を通過することができる。換言すれば、図１３Ｄに示すように、歩行者８ｋと歩行者８ｍの距離が、歩行者８ｋの移動速度に所定時間（２〜３秒間）を乗じた距離以上であれば、自車７は歩行者８ｋと歩行者８ｍとの間を通過することができる。この場合、ステップ９５０において、歩行者８ｋと他の３人の歩行者８ｍ、８ｎ、８ｐとを異なるグループＧ１４、Ｇ１５に分類する。

逆に、図１３Ｃに示すように、歩行者８ｋと歩行者８ｍの距離が、歩行者８ｋの移動速度に所定時間（２〜３秒間）を乗じた距離未満であれば、自車７は歩行者８ｋと歩行者８ｍとの間を通過することができない。この場合、ステップ９５０において、歩行者８ｋと他の３人の歩行者８ｍ、８ｎ、８ｐとを同じグループＧ１３に分類する。

なお、実施形態では、物体の一例として歩行者について説明したが、これに限定されない。例えば、歩行者抽出回路２０が、歩行者のみならず、自転車も抽出して追跡の対象に含めてもよい。また、歩行者の中に、毎時４ｋｍ程度で歩いている者のみならず、それ以上の速度で移動している、所謂、走っている者が含まれるのはいうまでもない。

以上説明したように、実施形態によれば、以下の作用効果が得られる。

複数の物体が検出された場合、物体の位置、例えば、横断歩道上、自転車レーン上の位置が、自車の移動に与える影響度、例えば、自車の移動方向との交差状況、又は自車との相対距離を接近速度で除した時間に基づいて、複数の物体をグループに分ける。そして、それぞれのグループを１つの物体として時系列に追跡する。これにより、同じグループに分けられた２以上の物体を１つの物体として時系列に追跡できる。よって、時系列に追跡する物体の数を減らすことができるので、複数の物体を時系列に追跡する際の計算負荷を低減することができる。

物体の位置が自車の移動に与える影響度が小さいほど、広い領域に位置する複数の物体を１つのグループに分ける。これにより、自車の安全な移動を確保した上で、グループの数を削減できるので、自車の安全な移動を確保しつつ、計算負荷を低減することができる。

物体の位置が自車の走行ルート９から遠いほど、自車の移動に与える影響度が小さいと判断する。これにより、相対距離が近くても走行ルートから外れた物体に対して、広い領域でグルーピングできる。よって、追跡対象の物体の数が減り、システムの計算負荷が軽減される。また、自車の走行ルートに近いほど、自車の移動に与える影響度が大きいと判断する。これにより、相対距離が遠いが自車の走行ルートに接近してくる物体に対して、狭い領域でグルーピングできるので、自車のより安全な移動を確保することができる。

なお、物体の位置が自車から遠いほど、自車の移動に与える影響度を小さいと判断してもよい。これにより、自車から遠い物体に対して広い領域でグルーピングできるので、自車から遠い物体に対するセンサの検出誤差を許容することができ、グループの数を少なくすることができる。

第３の処理（図１０、図１１Ａ〜図１１Ｅ）で説明したように、物体の移動量(移動速度、移動方向を含む)に基づいて、複数の物体をグループに分ける。これにより、グループの数、グループの大きさや中心位置の変化が少なく、より安定的な検出結果を得ることができる。

図５Ｄ及び図４のステップＳ５９０で示したように、物体の位置の通行ルールに沿っている度合いに基づいて，複数の物体をグループに分ける。これにより、交通ルールを守っていない物体を守っている物体とは異なる別グループとして追跡できるので、自車がより安全な行動をとることができる。

上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

例えば、物体の位置が自車の移動に与える影響を、自車の走行ルートと物体の地図上の位置との交差状況、或いは自車の走行ルートと物体の移動方向との交差状況に応じて評価する場合を示したが、これに限定されない。例えば、自車と物体の相対距離又は自車に対する物体の接近速度に応じて評価してもよい。具体的には、自車と物体の相対距離が短いほど、或いは、自車に対する物体の接近速度が速いほど、物体の位置が自車の移動に与える影響を大きく評価してもよい。更に、相対距離を接近速度で除した衝突時間（ＴＴＣ）が短いほど、物体の位置が自車の移動に与える影響を大きく評価してもよい。

自車と物体の相対距離は、自車及び物体の現在位置間の距離でもよいし、自車の走行ルートと物体の現在位置との距離でもよい。更に、自車と物体の相対距離は、自車及び物体の地図上の位置及び移動方向及び移動速度に基づいて予測された、所定時間後の自車及び物体の予測位置間の距離であってもよい。なお、所定時間後の自車の予測位置は、走行ルートから算出可能である。

自車に対する物体の接近速度は、現在の接近速度でもよいし、所定時間後の接近速度であってもよい。所定時間後の接近速度は、自車の走行ルート、物体の地図上の位置及び物体の移動方向及び移動速度に基づいて推定すればよい。所定時間後の自車の移動方向及び移動速度は、自車の走行ルートから算出可能である。また、所定時間後の物体の移動方向及び移動速度は、物体の地図上の現在位置、現在の移動方向及び移動速度から予測可能である。

グルーピング判断時における物体間の距離の閾値が大きくなるほど、１つのグループに含まれる物体が広い範囲に分布することができるので、グルーピングされる領域は広くなる。物体の位置が自車の移動に与える影響を小さく評価する場合、物体間の距離の閾値を大きくすることにより、グルーピングされる領域を広くすることができる。

自車の周囲に存在する物体が自車の走行に与える影響は物体毎に相違する。例えば、自車に対して自動運転制御を行う場合、予め目的地及び目的地までの走行ルートが設定されている。この場合、物体が自車の走行に与える影響は、自車の地図上の位置及び走行ルート、物体の地図上の位置に応じて変化する。よって、自車の周囲の全ての物体を個別に追跡する技術的な意義はなく、物体が自車の走行に与える影響が小さければ、複数の物体を１つにまとめて追跡しても支障はない。特に、交差点付近２で多数の歩行者が検出された場合、本実施形態によれば、自車の安全な走行を確保しつつ、自動運転システムの計算負荷の増大を抑制できる。ひいては、自動運転システムの処理速度の低下を抑制できる。

上述の各実施形態で示した各機能は、１又は複数の処理回路により実装され得る。処理回路は、電気回路を含む処理装置等のプログラムされた処理装置を含む。処理装置は、また、実施形態に記載された機能を実行するようにアレンジされた特定用途向け集積回路（ＡＳＩＣ）や従来型の回路部品のような装置を含む。

１ａ〜１ｄ 横断歩道
１Ａ〜１Ｄ 横断歩道領域
２Ａ〜２Ｈ 歩道領域
８ａ〜８ｐ 歩行者
９ 走行ルート
１０ 物体検出センサ
２０ 歩行者抽出回路
３０ 地図情報取得回路
４０ 自車情報取得回路
６０ グループ決定回路
７０ 追跡回路
８０ 演算回路
Ｌ１〜Ｌ４ 経路
Ｄ１〜Ｄ６ 閾値

Claims (7)

1. 自車の周囲の物体を検出するセンサを用いて、前記物体を時系列に追跡する物体追跡方法において、
   複数の物体が検出された場合、前記自車と前記物体との位置関係による前記自車の移動に与える影響度に基づいて、前記複数の物体をグループに分け、
   それぞれのグループを一つの物体として時系列に追跡する
   ことを特徴とする物体追跡方法。
2. 請求項１記載の物体追跡方法において、
   前記自車と前記物体との位置関係による前記自車の移動に与える影響度が小さいほど、広い領域に位置する前記複数の物体を１つのグループに分けることを特徴とする物体追跡方法。
3. 請求項２記載の物体追跡方法において、
   前記物体の位置が前記自車の走行ルートから遠いほど、前記自車の移動に与える影響度が小さいと判断することを特徴とする物体追跡方法。
4. 請求項２又は３記載の物体追跡方法において、
   前記物体の位置が前記自車から遠いほど、前記自車の移動に与える影響度が小さいと判断することを特徴とする物体追跡方法。
5. 請求項１〜４のいずれか一項に記載の物体追跡方法において、
   前記複数の物体が検出された場合、前記自車と前記物体との位置関係による前記自車の移動に与える影響度、及び各物体の移動量に基づいて、前記複数の物体をグループに分けることを特徴とする物体追跡方法。
6. 請求項１〜５のいずれか一項に記載の物体追跡方法において、
   前記複数の物体が検出された場合、前記自車と前記物体との位置関係による前記自車の移動に与える影響度、及び前記物体の位置の通行ルールに沿っている度合い、に基づいて、前記複数の物体をグループに分けることを特徴とする物体追跡方法。
7. 自車の周囲の物体を検出するセンサと、前記物体を時系列に追跡する演算回路とを備える物体追跡装置において、
   前記演算回路は、複数の物体が検出された場合、前記自車と前記物体との位置関係による前記自車の移動に与える影響度に基づいて、前記複数の物体をグループに分け、それぞれのグループを一つの物体として時系列に追跡する
   ことを特徴とする物体追跡装置。

Images