JP6534609B2 - 追跡装置 - Google Patents

Description

本発明は、追跡装置に関する。

近年、カメラやソナーなどの外界センサを車両に設置し、車両の周囲に存在する移動体を検出してドライバに対する警告や車両制御を実施することで、運転者をサポートする運転支援機能、自動運転技術の開発が急速に進んでいる。移動体の検出においては、検出の確からしさを向上させるために、異なる時刻に得られた情報を用いて移動体の位置を追跡することが有効である。
特許文献１には、過去の撮像画像から求められた対象物の路面上の位置、及び車両運動情報に基づいて、現在の対象物の路面上での位置を予測して、対応する現在の撮像画像上の位置に検出枠を設定することで対象物を検出し、設定した検出枠内の画像の足元位置に基づいて、対象物の現在位置を推定し、過去の撮像画像における対象物に対する現在の撮像画像における対象物の拡大率に基づいて、対象物の路面上の現在位置を推定する対象物追跡装置が開示されている。

特開２０１１−６５３３８号公報

移動体の追跡を継続することが望まれている。

本発明の一態様による追跡装置は、撮像部が撮影して得られた画像が入力される画像入力部と、前記画像入力部に入力された複数の画像を用いてオプティカルフローを算出し、前記算出したオプティカルフローに基づいて移動体の位置および移動方向を検出する第１移動体検出部と、前記複数の画像に基づいて生成された複数の俯瞰画像に基づいて移動体の位置および移動方向を検出する第２移動体検出部と、前記第１移動体検出部および前記第２移動体検出部の検出結果を統合し移動体の位置および移動方向を検出する第３移動体検出部と、前記第１〜第３移動体検出部の検出結果に基づいて追跡すべき移動体を決定する追跡移動体確定部と、前記追跡移動体確定部が決定した追跡移動体の将来の位置および移動方向を推定する推定部と、前記第２〜第３移動体検出部でそれぞれ検出された移動体それぞれの位置、および、前記推定部で推定された推定位置のいずれか一つを用いて前記追跡移動体を追跡し当該追跡移動体の位置を特定する追跡部とを備える。

本発明によれば、オプティカルフローを用いた移動体の検出、または俯瞰画像を用いた移動体の検出が不可能な場合であっても移動体の追跡を継続できる。

車両１０の構成を示す図 画像処理ＥＣＵ１８で実行されるプログラムが有する機能を機能ブロックとして表した図 第１検出結果ＲＥＳ１の一例を示す図 第２検出結果ＲＥＳ２の一例を示す図 統合物体ＭＯＦの一例を示す図 追跡移動体ＤＭＯの一例を示す図 移動体候補ＣＰＥの一例を示す図 移動ベクトル算出部５１の動作を示すフローチャート 図９（ａ）は時刻ｔ-Δｔにおいてカメラ１２が撮像した画像から得た平面投影画像の一例を示す図、図９（ｂ）は時刻ｔにおいてカメラ１２が撮像した画像から得た平面投影画像の一例を示す図、図９（ｃ）は、歩行者Ｘ１の移動に伴って発生したオプティカルフローのみを検出した結果を示す図 検出された第１候補領域の一例を表す図 足元位置算出部５２の動作を示すフローチャート 図１２（ａ）〜図１２（ｅ）は、図１１のステップＳ６０１〜ステップＳ６０４の処理を説明する図 図１３（ａ）〜（ｃ）は、算出された第２候補領域から最接近点Ｈａを算出する過程を説明する図 対応付部５３の動作を示すフローチャート １５（ａ）は図１４のステップＳ１３０６の判断例を表す図であり、図１５（ｂ）は図１４のステップＳ１３０８の処理例を表す図 追跡処理部５５の動作を示すフローチャート 図１６から継続する、追跡処理部５５の動作を示すフローチャート 図１７から継続する、追跡処理部５５の動作を示すフローチャート 追跡処理部５５による追跡移動体ＤＭＯの更新処理の一覧を示す図 追跡移動体確定部５４の動作を示すフローチャート 図２０から継続する、追跡移動体確定部５４の動作を示すフローチャート 図２１から継続する、追跡移動体確定部５４の動作を示すフローチャート 追跡移動体確定部５４による移動体候補ＣＰＥの更新処理の一覧を示す図 経路生成部１７が生成する経路を示す図。図２４（ａ）は車両１０の右前方の車両が図示右側に移動する場合、図２４（ｂ）は車両１０の右前方の車両が図示左側に移動する場合

（第１の実施の形態）
以下、図１〜図２４を参照して、本発明にかかる移動体検出装置を画像処理ＥＣＵに適用した第１の実施の形態を説明する。
図１は、画像処理ＥＣＵ１８を搭載する車両１０の構成を示す図である。車両１０は、車両１０の移動量を算出するための車輪速センサ２０と、車両１０の進行方向を算出するための操舵角センサ２２と、車輪速センサ２０および操舵角センサ２２の出力を後述する画像処理ＥＣＵ１８に送信するセンサインタフェース２４と、車両１０の周囲を撮影するカメラ１２と、カメラ１２が撮影して得られた画像を画像処理ＥＣＵ１８に送信するカメラインタフェース１４と、車両１０の移動経路を算出する経路生成部１７と、カメラ１２が撮影して得られた画像を用いて車両１０の周囲に存在する移動体を検出する画像処理ＥＣＵ１８と、画像処理ＥＣＵ１８が一時的な記憶部として使用する揮発性の記憶領域であるメモリ２６と、車両１０のユーザに情報を提示するモニタ３４と、モニタ３４を制御する表示制御部３２と、車両１０に制動力を生じさせるブレーキアクチュエータ３６と、ブレーキアクチュエータ３６に動作指令を出力する車両挙動制御ＥＣＵ３０とを備える。

センサインタフェース２４と、カメラインタフェース１４と、経路生成部１７と、画像処理ＥＣＵ１８と、表示制御部３２と、車両挙動制御ＥＣＵ３０とは、システムバス１６により接続されている。
カメラ１２は、予め定めた時間Δｔごと、たとえば１７ミリ秒ごとに撮影を行い、撮影により得られた情報をカメラインタフェース１４に出力する。カメラインタフェース１４は、カメラ１２から受信した情報を用いて、カメラ１２に装着されたレンズの収差を考慮した補正を施したうえで画像を作成し、画像処理ＥＣＵ１８に送信する。したがって、カメラ１２が撮影を行うごとにカメラインタフェース１４から画像処理ＥＣＵ１８へ作成した画像が出力される。以下では、カメラインタフェース１４が画像処理ＥＣＵ１８へ出力する画像を「撮影画像」と呼ぶ。

画像処理ＥＣＵ１８は、通信部１８ａ、ＣＰＵ、ＲＯＭ、およびＲＡＭを備え、ＲＯＭに保存されたプログラムをＲＡＭに展開して実行する。通信部１８ａは、システムバス１６を経由してカメラインタフェース１４と通信を行い、カメラ１２が撮影して得られた画像を受信する。ＲＯＭに保存されるプログラムは、カメラインタフェース１４から撮影画像が入力されるごとに実行される。このプログラムは実行に必要なデータの一部をメモリ２６に保存する。ただし、プログラムの一部がハードウエアにより実現されてもよいし、メモリ２６を用いずに画像処理ＥＣＵ１８が備えるＲＡＭのみに保存してもよい。

（画像処理ＥＣＵ１８の構成と処理の概要）
図２は、画像処理ＥＣＵ１８で実行されるプログラムが有する機能を機能ブロックとして表し、機能ブロック間の相関を示したものである。以下では、各機能ブロックの処理の概要、および機能ブロック間で授受されるデータの概要、および例を説明する。各機能ブロックの処理の詳細は後に説明する。
画像処理ＥＣＵ１８は、撮影画像が入力される移動ベクトル算出部５１と、同じく撮影画像が入力される足元位置算出部５２と、移動ベクトル算出部５１および足元位置算出部５２の算出結果を対応付ける対応付部５３と、追跡対象とする移動体を確定させる追跡移動体確定部５４と、追跡対象である移動体を追跡する追跡処理部５５とを備える。以下に説明する第１検出結果ＲＥＳ１、第２検出結果ＲＥＳ２、統合物体ＭＯＦ、移動体候補ＣＰＥ、および追跡移動体ＤＭＯは、メモリ２６に確保される記憶領域である。ただし、その記憶領域に保存された情報も同様の名称で呼称する。

画像処理ＥＣＵ１８は、撮影画像が入力されるたびに図２に示す一連の処理を行う。第１検出結果ＲＥＳ１、第２検出結果ＲＥＳ２、および統合物体ＭＯＦは撮影画像が入力されるたびに算出される。一方、移動体候補ＣＰＥおよび追跡移動体ＤＭＯはメモリ２６に記憶され、撮影画像が入力されるたびに追跡移動体確定部５４や追跡処理部５５により更新される。ただし画像処理ＥＣＵ１８が動作を開始した直後は移動体候補ＣＰＥおよび追跡移動体ＤＭＯには何も格納されておらず、後述する処理により移動体候補ＣＰＥおよび追跡移動体ＤＭＯに情報が格納される。

移動ベクトル算出部５１は、カメラ１２から撮影画像が入力され、最新の撮影画像と直前の撮影画像を用いてオプティカルフローを算出し、移動体である可能性がある領域（以下、第１候補領域）を検出する。そして、検出した第１候補領域の座標および移動方向を第１検出結果ＲＥＳ１に出力する。第１検出結果ＲＥＳ１は、移動ベクトル算出部５１が検出する第１候補領域と同数のレコードを有する。第１検出結果ＲＥＳ１は、たとえば次のものである。

図３は、第１検出結果ＲＥＳ１の一例を示す図である。第１検出結果ＲＥＳ１は１以上のレコードから構成され、各レコードには第１候補領域の座標と、その第１候補領域の移動方向が記録される。第１候補領域は矩形で定義され、その座標は、左上の座標と右下の座標により特定される。ただし、第１候補領域は矩形に限定せず、楕円や任意の形状の領域としてもよい。また第１候補領域の移動方向は、左右だけでなく奥行き方向、すなわちカメラ１２から遠ざかる／近づく方向の成分を含み、移動方向が０〜３６０度の角度で表現されてもよい。図２に戻って説明を続ける。

足元位置算出部５２は、最新の撮影画像と直前の撮影画像のそれぞれから俯瞰画像を作成し、その差分から移動体である可能性がある領域（以下、第２候補領域）を検出する。そして、検出した第２候補領域の重心Ｇの俯瞰画像における座標、および車両１０との最接近点Ｈａの俯瞰画像における座標を第２検出結果ＲＥＳ２に出力する。第２検出結果ＲＥＳ２は、足元位置算出部５２が検出する第２候補領域と同数のレコードを有する。さらに足元位置算出部５２は、俯瞰画像の作成とは逆の手順により、平面変換画像において最接近点Ｈａに対応する最接近点Ｈｂを算出し、同様に第２検出結果ＲＥＳ２に出力する。第２検出結果ＲＥＳ２は、たとえば次の構成を有する。

図４は、第２検出結果ＲＥＳ２の一例を示す図である。第２検出結果ＲＥＳ２は１以上のレコードから構成され、各レコードには俯瞰画像における第２候補領域の情報と、正面画像における第２候補領域の情報が記録される。俯瞰画像における第２候補領域の情報とは、第２候補領域の重心Ｇの座標、および第２候補領域のうち車両１０に最も近い点、すなわち最接近点Ｈａの座標である。正面画像における第２候補領域の情報とは、俯瞰画像における最接近点Ｈａに対応する座標であり、俯瞰画像における最接近点Ｈａの座標を座標変換して得られる。図２に戻って説明を続ける。

対応付部５３は、移動ベクトル算出部５１により検出された第１候補領域と、足元位置算出部５２により検出された第２候補領域との対応付けを行い、対応付けができた領域（以下、統合候補領域）、および統合候補領域の移動方向を統合物体ＭＯＦに格納する。すなわち対応付部５３には、第１候補領域が記録された第１検出結果ＲＥＳ１、および第２検出結果ＲＥＳ２が入力され、統合物体ＭＯＦを出力する。さらに対応付部５３は、第１検出結果ＲＥＳ１と第２検出結果ＲＥＳ２から対応付けが行われたレコードを削除して出力する。たとえば、対応付部５３に入力される第１検出結果ＲＥＳ１が３レコード、第２検出結果ＲＥＳ２が５レコードを有し、そのうち２つのレコードが対応付けられた場合は、対応付部５３が出力するそれぞれのレコード数は以下のとおりである。すなわち、統合物体ＭＯＦは２レコード、第１検出結果ＲＥＳ１は１レコード、第２検出結果ＲＥＳ２は３レコードである。統合物体ＭＯＦは、たとえば次の構成を有する。

図５は、統合物体ＭＯＦの一例を示す図である。統合物体ＭＯＦは、１以上のレコードから構成され、各レコードには正面画像における統合候補領域の座標と、その統合候補領域の移動方向が記録される。統合候補領域は矩形で定義され、その座標は、左上の座標と右下の座標により特定される。ただし、統合候補領域は矩形に限定せず、楕円や任意の形状の領域としてもよい。また統合候補領域の移動方向は、左右だけでなく奥行き方向、すなわちカメラ１２から遠ざかる／近づく方向の成分を含んでいてもよい。図２に戻って説明を続ける。

追跡処理部５５は、推定部５５ａと追跡部５５ｂとを備える。推定部５５ａは以下に説明する処理のうち移動体の位置の予測を行い、追跡部５５ｂはそれ以外の処理を行う。追跡処理部５５は、対応付部５３が出力する統合物体ＭＯＦ、第１検出結果ＲＥＳ１、および第１検出結果ＲＥＳ１を読み込み、さらにメモリ２６から追跡移動体ＤＭＯを読み込む。追跡移動体ＤＭＯには、追跡している移動体の情報が移動体ごとに１レコードとして格納される。追跡移動体ＤＭＯの例は後に説明する。追跡処理部５５は、追跡移動体ＤＭＯに格納される移動体の位置の予測、移動体の位置の更新、すなわち移動体の位置の特定、移動体の追跡対象からの削除、すなわち追跡移動体ＤＭＯからの特定のレコードの削除、移動体に関する情報の経路生成部１７への出力、および後述する追跡確信度の変更を行う。更新した追跡移動体ＤＭＯは、メモリ２６に記憶される。追跡処理部５５は、統合物体ＭＯＦに後述する処理を行い出力し、第１検出結果ＲＥＳ１、および第２検出結果ＲＥＳ２は変更することなく出力する。追跡確信度とは、移動体ごとの追跡処理の確からしさを示す指標であり、追跡確信度が所定値以下になると追跡移動体ＤＭＯから削除される。追跡確信度はたとえば０〜１００で表され、初期値である５０から後述する処理により増減され、追跡確信度が０になると追跡移動体ＤＭＯから削除される。

図６は、追跡移動体ＤＭＯの一例を示す図である。追跡移動体ＤＭＯは、１以上のレコードから構成され、各レコードには、移動体の次フレームにおける正面画像の座標である予測位置、移動体の速度、移動体の移動方向、追跡確信度、および移動体の現在のフレームにおける正面画像の座標である更新位置、すなわち特定された移動体の位置が記録される。統合候補領域は矩形で定義され、その座標は、左上の座標と右下の座標により特定される。ただし、統合候補領域は矩形に限定せず、楕円や任意の形状の領域としてもよい。なおここでは、移動体は等速運動を行うとの前提のもとに移動体の速度を記録している。また移動体の移動方向は、左右だけでなく奥行き方向、すなわちカメラ１２から遠ざかる／近づく方向の成分を含んでいてもよい。図２に戻って説明を続ける。

追跡移動体確定部５４は、追跡処理部５５が出力する統合物体ＭＯＦ、第１検出結果ＲＥＳ１、および第２検出結果ＲＥＳ２を読み込み、さらにメモリ２６から移動体候補ＣＰＥを読み込む。移動体候補ＣＰＥには、追跡対象の候補となる移動体候補領域に関する情報がその候補ごとに１レコードとして格納される。移動体候補ＣＰＥの例は後に説明する。追跡移動体確定部５４は、移動体候補ＣＰＥへのレコードの追加や削除、後述する基準を満たしたレコードの追跡移動体ＤＭＯへの追加、および後述する移動体確信度の増減を行う。移動体確信度はたとえば整数で表され、初期値である５０から後述する処理により増減され、移動体確信度が０以下になると当該レコードが統合物体ＭＯＦから削除され、移動体確信度が１００を超えると当該レコードが統合物体ＭＯＦから追跡移動体ＤＭＯに移動される。

図７は、移動体候補ＣＰＥの一例を示す図である。移動体候補ＣＰＥは、１以上のレコードから構成され、各レコードには、移動体候補領域の次フレームにおける複数の予測位置、移動体候補領域の速度、移動体候補領域の移動方向、および移動体確信度が記録される。移動体候補領域の予想位置は矩形で定義され、その座標は、左上の座標と右下の座標により特定される。ただし、予想位置は矩形に限定せず、楕円や任意の形状の領域としてもよい。また移動体候補領域の移動方向は、左右だけでなく奥行き方向、すなわちカメラ１２から遠ざかる／近づく方向の成分を含んでいてもよい。
なお、図２ではメモリ２６に移動体候補ＣＰＥおよび追跡移動体ＤＭＯが保存されているが、画像処理ＥＣＵ１８が動作を開始した直後は移動体候補ＣＰＥおよび追跡移動体ＤＭＯはレコードが含まれない。動作の概要を示したとおり、追跡移動体確定部５４の処理により移動体候補ＣＰＥ、および追跡移動体ＤＭＯにレコードが追加される。すなわち、メモリ２６に格納される移動体候補ＣＰＥおよび追跡移動体ＤＭＯは、すべて追跡移動体確定部５４によりレコードが追加される。

（移動ベクトル算出部）
移動ベクトル算出部５１の動作をフローチャートを用いて説明する。以下に説明する各ステップの実行主体は、画像処理ＥＣＵ１８のＣＰＵである。
図８は、移動ベクトル算出部５１の動作を示すフローチャートである。
ステップＳ３０１において、カメラ１２から受信した撮影画像を、鉛直に起立する仮想的な平面に投影した平面投影画像に変換する。そして、最新の撮影画像を平面投射画像に変換した画像、および直前の撮影画像を平面投射画像に変換した画像とからオプティカルフローを検出する。オプティカルフローは、たとえば以下のように算出される。すなわち、オプティカルフローの算出に用いる２枚の画像のうち一方の画像を複数の小領域に分割して、各小領域と濃淡値の分布がよく似ている小領域（他方の小領域）を、他方の画像の中から探索する処理を行って、対応付けられた一方の小領域がオプティカルフローの始点とされて、他方の小領域がオプティカルフローの終点とされる。次にステップＳ３０２に進む。

ステップＳ３０２において、センサインタフェース２４から出力された車輪速センサ２０および操舵角センサ２２の出力を用いて、直前の画像の撮影から現在までの時間Δｔの間の車両１０の移動に伴って発生すると予想されるオプティカルフローを算出する。次にステップＳ３０３に進む。
ステップＳ３０３では、ステップＳ３０１において算出したオプティカルフローと、ステップＳ３０２において算出したオプティカルフローの差分を算出する。この処理により車両１０が移動したことによる影響を排除したオプティカルフローが算出される。次にステップＳ３０４に進む。

ステップＳ３０４では、ステップＳ３０３において算出したオプティカルフローを用いて、移動体である可能性がある領域、すなわち第１候補領域を検出する。たとえば、オプティカルフローの終点を構成する小領域のうち、オプティカルフロー同士が近接して、同じ方向を向いて同じ長さを有しているときに、これら複数のオプティカルフローの終点となる小領域を併合して、ひとつの第１候補領域として検出する。次にステップＳ３０５に進む。

ステップＳ３０５では、ステップＳ３０４において検出したそれぞれの第１候補領域をラベリングする。ただし、領域の面積が予め定めた面積よりも小さい場合は、その領域をノイズとみなしてラベルを付さなくてもよい。次にステップＳ３０６に進む。
ステップＳ３０６では、ステップＳ３０５においてラベリングしたそれぞれの第１候補領域について、その第１候補領域に外接する矩形を設定し、その矩形の左上および右下の座標を第１検出結果ＲＥＳ１に登録する。さらに、ステップＳ３０３において算出したオプティカルフローを用いて第１候補領域の移動方向を検出し、検出した移動方向を併せて第１検出結果ＲＥＳ１に登録する。

第１検出結果ＲＥＳ１にはラベリングされた第１候補領域ごとに異なるレコードに登録される。たとえば、５つの第１候補領域がラベリングされた場合は、第１検出結果ＲＥＳ１には５つのレコードが登録される。以下では、第１検出結果ＲＥＳ１のｋ個目のレコードをＲＥＳ１［ｋ］と表記する。

（移動ベクトル算出部の処理例）
図９（ａ）〜（ｃ）は、移動ベクトル算出部５１の処理例を説明する図である。図９（ａ）は時刻ｔ-Δｔにおいてカメラ１２が撮像した画像から得た平面投影画像の一例である。図９（ａ）に示すように、この平面投影画像には歩行者Ｘ１と駐車枠線Ｙが撮影されている。
図９（ｂ）は、時刻ｔにおいてカメラ１２が撮像した画像から得た平面投影画像の一例である。図９（ａ）と図９（ｂ）を比較すると、歩行者Ｘ１は時間Δｔの間に前方（図示右側）に移動していることがわかる。また、駐車枠線Ｙの位置が図示しが田和に移動していることから、車両１０が時間Δｔの間に駐車枠線Ｙに接近していることがわかる。

図９（ｃ）は、歩行者Ｘ１の移動に伴って発生したオプティカルフローのみを検出した結果を示す図である。上述のとおり時間Δｔの間に車両１０も移動するが、車輪速センサ２０および操舵角センサ２２の出力を用いて車両１０の移動に伴って発生するオプティカルフローを算出し、図９（ａ）と図９（ｂ）から算出したオプティカルフローから差し引いてその影響を排除している。これにより、図９（ｃ）では歩行者Ｘ１の移動を表したオプティカルフローＯｐのみが検出されている。このようにして検出されたオプティカルフローＯｐを分析して、同一方向に同一量だけ移動している領域を統合して、ひとつの物体であると認識する。
図１０は、このようにして検出された第１候補領域を表す一例である。図１０に示すように、歩行者Ｘ１の領域が物体として検出されて、歩行者Ｘ１に外接する矩形領域Ｒ１の位置が第１検出結果ＲＥＳ１に記憶される。なお、オプティカルフローでは足の検出が困難なので、歩行者Ｘ１の胴体および頭部が第１候補領域として検出される。

以上説明したように、移動ベクトル算出部５１は次のようにして第１候補領域を算出する。複数枚の画像を用いてオプティカルフロー、すなわち、移動ベクトルが複数個算出される。複数個の移動ベクトルの中で同一速度、同一移動方向の移動ベクトルが抽出される。抽出された移動ベクトルの終点にあたる小領域が併合された領域が第１候補領域である。このように、算出したオプティカルフローに基づいて検出された第１候補領域の座標、移動方向は第１検出結果ＲＥＳ１に登録される。

（足元位置算出部）
足元位置算出部５２の動作をフローチャートを用いて説明する。以下に説明する各ステップの実行主体は、画像処理ＥＣＵ１８のＣＰＵである。
図１１は、足元位置算出部５２の動作を示すフローチャートである。

ステップＳ６０１において、カメラ１２から受信した現在時刻ｔにおける撮影画像を、車両１０の真上から見下ろした画像である俯瞰画像に変換する。俯瞰画像の作成、すなわち撮影画像から俯瞰画像への変換には、予めメモリ２６に記憶された不図示の座標変換テーブル、焦点距離ｆなどのカメラ１２の内部パラメータ、および取付け位置や角度であるカメラ１２の外部パラメータを用いて行うことができる。この座標変換テーブルには、原画像の座標と俯瞰画像の座標の対応関係が記憶されている。次にステップＳ６０２に進む。

ステップＳ６０２において、直前の撮影画像、すなわち現在時刻から時間Δｔ遡った、時刻ｔ−Δｔにおける撮影画像を、ステップＳ６０１と同様に俯瞰画像に変換してステップＳ６０３に進む。
ステップＳ６０３において、車両情報、すなわち車輪速センサ２０および操舵角センサ２２の出力を用いて、直前の画像の撮影から現在までの時間Δｔの間の車両１０の移動量と移動方向を算出する。そして、その移動量と移動方向に基づきステップＳ６０２において作成した俯瞰画像を、車両１０の移動の影響を補正する。次にステップＳ６０４に進む。

ステップＳ６０４において、ステップＳ６０１において作成した俯瞰画像と、ステップＳ６０３において補正した俯瞰画像との差分を算出し差分画像を生成する。時間Δｔの間に車両１０は移動しているが、ステップＳ６０３の補正により移動の影響が補正されている。そのため、本ステップにおいて算出される差分には、車両１０の移動の影響が排除されている。次にステップＳ６０５に進む。
ステップＳ６０５において、ステップＳ６０４において算出した差分画像を二値化する。この二値化の閾値は、予め定められた値でもよいし、得られた差分画像に基づき決定される値でもよい。次にステップＳ６０６に進む。

ステップＳ６０６において、ステップＳ６０５において二値化された差分画像中に存在する領域のうち、所定距離以内に存在する差分情報を同一グループに属するものとしてグループ化し、ステップＳ６０７に進む。
ステップＳ６０７において、ステップＳ６０５においてグループ化されたそれぞれの領域にラベル、例えば番号を割り当てるラベリング処理を行い、ステップＳ６０８に進む。ただし、領域の面積が所定値以下の場合にはラベルを割り当てなくてもよい。

ステップＳ６０８において、ラベルが割り当てられた領域（以下、第２候補領域）の重心を算出し、俯瞰画像における重心の座標を第２検出結果ＲＥＳ２に保存する。また、俯瞰画像において、第２候補領域のうちカメラ１２に最も近い座標である最接近点Ｈａを算出して第２検出結果ＲＥＳ２に保存する。さらに、平面変換画像において最接近点Ｈａに対応する最接近点Ｈｂを算出し、同様に第２検出結果ＲＥＳ２に出力する。最接近点Ｈａおよび最接近点Ｈｂの算出方法は、後に図面を併用して説明する。
第２検出結果ＲＥＳ２にはラベリングされた第２候補領域ごとに異なるレコードに登録される。たとえば、５つの第２候補領域がラベリングされた場合は、第２検出結果ＲＥＳ２には５つのレコードが登録される。以下では、第２検出結果ＲＥＳ２のｋ個目のレコードをＲＥＳ２［ｋ］と表記する。

（足元位置算出部の処理例）
図１２〜図１３を用いて足元位置算出部の処理例を説明する。
図１２（ａ）〜図１２（ｅ）は、図１１のステップＳ６０１〜ステップＳ６０４の処理を説明する図である。図１２（ａ）、および図１２（ｂ）は平面変換画像であり、図１２（ｃ）〜図１２（ｅ）は俯瞰画像である。図１２（ａ）は図９（ａ）と同一であり、図１２（ｂ）は図９（ｂ）と同一である。また、図１２（ｃ）は図１２（ａ）を俯瞰画像に変換（ステップＳ６０１）したものであり、図１２（ｄ）は図１２（ｂ）を俯瞰画像に変換（ステップＳ６０２）したものである。

図１２（ａ）、および図１２（ｃ）に示すように、平面変換画像における歩行者Ｘ１は、俯瞰画像において歩行者Ｘ１ａに変換される。また、平面変換画像における駐車枠線Ｙは、俯瞰画像において駐車枠線Ｙａに変換される。図１２（ｂ）は図１２（ａ）の撮影から時間Δｔ経過後に撮影された画像であり、歩行者Ｘ１が図１２（ａ）に比べて図示右側に移動している。時間Δｔの間に車両１０が移動したので、図１２（ａ）と図１２（ｂ）を比較すると駐車枠線Ｙも移動している。したがって、図１２（ａ）〜図１２（ｂ）に対応する俯瞰画像である図１２（ｃ）〜図１２（ｄ）においても、歩行者Ｘ１ａと駐車枠線Ｙａが移動している。

時間Δｔの間における車両１０の移動量および移動方向に基づき図１２（ｃ）を補正し、補正した図１２（ｃ）と図１２（ｄ）の差分を算出すると図１２（ｅ）が得られる（ステップＳ６０４）。図１２（ｅ）では動きがなかった駐車枠線Ｙａは差分算出により消滅し、動きのあった歩行者Ｘ１ａの差分である歩行者差分領域Ｘ１ｂのみが示されている。
図１３（ａ）〜（ｃ）は、算出された第２候補領域から最接近点Ｈａを算出する過程を説明する図である。図１３（ａ）において符号Ｘ１ｃが付されたハッチング領域は、歩行者差分領域Ｘ１ｂが差分のグルーピング（ステップＳ６０５）、２値化（ステップＳ６０６）、およびラベリング（ステップＳ６０７）を経て第２候補領域として決定された領域である。

図１３（ａ）に示すように、俯瞰画像にカメラ１２の位置を表すカメラ位置Ｃ（ｃｘ，ｃｙ）を設定する。このカメラ位置Ｃは、俯瞰画像の表示範囲に応じて一意に決定される。図１３（ａ）の例では、俯瞰画像の下辺上に設置されているものとする。ここで、移動物体を表す領域Ｘ１ｃの重心点Ｇ１の座標をＧ１（ｇｘ１，ｇｙ１）とする。
次に、図１３（ｂ）に示すように、重心点Ｇ１（ｇｘ１，ｇｙ１）とカメラ位置Ｃ（ｃｘ，ｃｙ）を結ぶ線分Ｌ１を設定する。さらに、図１３（ｃ）に示すように、領域Ｘ１ｃに属する点のうち、カメラ位置Ｃ（ｃｘ，ｃｙ）に最も接近した点である最接近点Ｈａ（ｈｘ１，ｈｙ１）を求める。具体的には、線分Ｌ１上を重心点Ｇ１（ｇｘ１，ｇｙ１）からカメラ位置Ｃ（ｃｘ，ｃｙ）に向かって探索して、領域Ｘ１ｃの端部を最接近点Ｈａとする。このようにして探索された最接近点Ｈａ（ｈｘ１，ｈｙ１）は、領域Ｘ１ｃが路面と接地する接地点の位置を表している。さらに、算出した最接近点Ｈａに対応する平面変換画像における最接近点Ｈｂを算出する。最接近点Ｈａから最接近点Ｈｂへの変換、すなわち俯瞰画像におけるある座標に対応する平面投射画像における座標の算出は、俯瞰画像の作成と逆の手順により可能である。

以上説明したように、足元位置算出部５２は次のような演算を行う。
複数枚の俯瞰画像の差分を算出し、差分を有する領域のうち距離が近い小領域同士を第２候補領域としてグループ化する。第２候補領域の重心を算出する。第２候補領域に含まれ、この重心と俯瞰画像上のカメラ位置とを結ぶ線分上であってカメラ１２に最も近い座標を最接近点Ｈａとして算出する。さらに、平面変換画像において最接近点Ｈａに対応する最接近点Ｈｂを算出する。第２候補領域の重心の座標および最接近点Ｈａは第２検出結果ＲＥＳ２に登録される。俯瞰画像から算出された最接近点Ｈａに対応する平面画像上の最接近点Ｈｂも第２検出結果ＲＥＳ２に登録される。

（対応付部）
対応付部５３の動作をフローチャートを用いて説明する。以下に説明する各ステップの実行主体は、画像処理ＥＣＵ１８のＣＰＵである。
図１４は、対応付部５３の動作を示すフローチャートである。
ステップＳ１３０１において、移動ベクトル算出部５１が算出した第１検出結果ＲＥＳ１、および足元位置算出部５２が算出した第２検出結果ＲＥＳ２を読み込みステップＳ１３０２に進む。

ステップＳ１３０２において、ループカウンタｊに初期値１を代入し、ステップＳ１３０３に進む。処理が本ステップに対応するステップＳ１３１１まで進むと、ループカウンタｊを１増加させて再びステップＳ１３０３に進む。この処理はループカウンタが第１検出結果ＲＥＳ１の総レコード数であるＪに到達するまで繰り返される。
ステップＳ１３０３において、第１検出結果ＲＥＳ１の「ｊ」番目のレコードにおける第１候補領域の頂点座標を読み込む。以下では、本ステップにおいて読み込んだ第１候補領域の左上の座標を（ｓｘｊ、ｓｙｊ）、同じく右下の座標を（ｅｘｊ、ｅｙｊ）と呼ぶ。次にステップＳ１３０４に進む。
ステップＳ１３０４において、ループカウンタ「ｍ」に初期値１を代入し、ステップＳ１３０５に進む。

ステップＳ１３０５において、第２検出結果ＲＥＳ２の「ｍ」番目のレコードにおける最接近点Ｈｂの座標を読み込む。以下では、本ステップにおいて読み込んだ最接近点Ｈｂの座標を（ｈｂｘｍ、ｈｂｙｍ）と呼ぶ。次にステップＳ１３０６に進む。
ステップＳ１３０６において、最接近点ＨｂのＸ座標が、所定の範囲内に含まれるか否かを判断する。所定の範囲とは、ステップＳ１３０３において読み込んだ第１候補領域と、所定の閾値ＴＨにより設定される範囲である。より詳細には、平面投影画像におけるＸ座標（水平方向）が矩形領域から距離ＴＨ未満の範囲である。たとえば、最接近点ＨｂのＸ座標が第１候補領域のＸ座標に含まれる場合や、最接近点ＨｂのＸ座標が第１候補領域のＸ座標の端部から距離ＴＨ未満の場合に所定の範囲内に含まれると判断される。所定の範囲内であると判断する場合はステップＳ１３０７に進み、所定の範囲内にないと判断する場合はステップＳ１３１０に進む。

ステップＳ１３０７において、第１検出結果ＲＥＳ１の「ｊ」番目のレコードの移動方向と、第２検出結果ＲＥＳ２の「ｍ」番目のレコードの移動方向が一致しているか否かを判断する。両者が一致していると判断する場合はステップＳ１３０８に進み、両者が一致しないと判断する場合はステップＳ１３１０に進む。ただし本明細書では、移動方向の一致とは厳密に一致する場合だけでなく、２つの移動方向がなす角が予め定めた許容角度以内の場合も含むこととする。

ステップＳ１３０８において、統合物体ＭＯＦに矩形形状を有する統合候補領域の左上の座標を（ｓｘｊ、ｓｙｊ）、同じく右下の座標を（ｅｘｊ、ｈｂｙｍ）として登録する。すなわち、この統合候補領域は、第１検出結果ＲＥＳ１の「ｊ」番目のレコードにおける第１候補領域のＹ座標を、第２検出結果ＲＥＳ２の「ｍ」番目のレコードにおける最接近点ＨｂのＹ座標まで延長したものである。次にステップＳ１３０９に進む。

ステップＳ１３０９において、ステップＳ１３０７において肯定判定された第１候補領域と第２候補領域を削除する。すなわち第１検出結果ＲＥＳ１から「ｊ」番目のレコードを削除し、第２検出結果ＲＥＳ２から「ｍ」番目のレコードを削除する。なお、当該処理により第１検出結果ＲＥＳ１および第２検出結果ＲＥＳ２の総レコード数が減少するが、ステップＳ１３０２およびステップＳ１３０４の処理は影響を受けない。なぜならば、ステップＳ１３０２における総レコード数Ｊ、およびステップＳ１３０４における総レコード数Ｍは、ステップＳ１３０１が実行された際にカウントされるからである。次にステップＳ１３１０に進む。

ステップＳ１３１０はループカウンタ「ｍ」のループ終端であり、ループカウンタ「ｍ」がＭの場合にはステップＳ１３１１に進み、ループカウンタ「ｍ」がＭではない場合は１増加させてステップＳ１３０５に戻る。
ステップＳ１３１１はループカウンタｊのループ終端であり、ループカウンタｊがＪの場合には図１４のフローチャートを終了し、ループカウンタｊがＪではない場合は１増加させてステップＳ１３０３に戻る。

（対応付部の処理例）
図１５は、対応付部５３の処理例を説明する図である。図１５（ａ）は対応付けの成否を示す３つの例を示す図、すなわち図１４のステップＳ１３０６の判断例を示す図であり、図１５（ｂ）は第１候補領域、第２候補領域の最接近点Ｈｂ、および統合候補領域の関係、すなわちステップＳ１３０８の処理例を表す図である。

図１５（ａ）において、符号１３５０は第１候補領域を表し、符号Ｈｂ１〜Ｈｂ３は正面画像における第２検出領域の最接近点Ｈｂの比較対象となる３点を表す。最接近点Ｈｂ１のＸ座標は第１候補領域１３５０のＸ座標の範囲内にある。最接近点Ｈｂ２のＸ座標は第１候補領域１３５０のＸ座標の範囲外であるが、第１候補領域１３５０の端部から距離ＴＨ以内にある。最接近点Ｈｂ３のＸ座標は第１候補領域１３５０のＸ座標の範囲外であり、第１候補領域１３５０の端部から距離ＴＨ以上離れている。この場合は、最接近点Ｈｂ１およびＨｂ２は図１４のステップＳ１３０６において肯定判断され、最接近点Ｈｂ３は同ステップにおいて否定判断される。

図１５（ｂ）において、符号１３５１と符号Ｈｂ４は、図１４のステップＳ１３０６およびステップＳ１３０７において肯定判断された、第１候補領域および第２候補領域の最接近点Ｈｂを表す。符号１３５２は、第１候補領域１３５１および最接近点Ｈｂ４に基づき設定された統合領域を示す。ただし、図１５（ｂ）では第１候補領域１３５１と統合領域１３５２とが重なることを避けるために、統合領域１３５２のＸ座標、およびＹ座標をわずかに＋側にずらして表示している。図１５（ｂ）に示すように、統合領域１３５２は、第１候補領域１３５１を構成する矩形の下辺を最接近点Ｈｂ４のＹ座標まで下方に伸ばした形状を有する。すなわち、統合領域１３５２を表す矩形領域を左上座標と右下座標で特定すると、統合領域１３５２の左上のＸＹ座標および右下のＸ座標は第１候補領域１３５１と一致し、領域１３５２の右下のＹ座標が最接近点Ｈｂ４のＹ座標と一致する。したがって、図１４のステップＳ１３０６のとおりとなる。

以上説明したように、対応付部５３は次のような演算を行う。
第１候補領域と第２候補領域とに基づいて、両者を統合する領域を算出する。オプティカルフロー、すなわち移動ベクトルに基づき算出された第１候補領域と、俯瞰画像に基づき算出された第２候補領域の最接近点Ｈａに対応する平面画像上の最接近点Ｈｂとの水平方向の距離が予め定めた範囲内であり、第１候補領域の移動方向と最接近点Ｈｂの移動方向が一致すると、その第１候補領域と第２候補領域を統合する。すなわち、第１候補領域の垂直方向下端を第２候補領域の最接近点Ｈｂまで拡張し、この領域を統合候補領域とする。この統合候補領域は統合物体ＭＯＦに格納される。

（追跡処理部の動作）
追跡処理部５５の動作をフローチャートを用いて説明する。以下に説明する各ステップの実行主体は、画像処理ＥＣＵ１８のＣＰＵである。
図１６〜１８は、追跡処理部５５の動作を示すフローチャートである。総ステップ数が多いのでフローチャートが３つの図に跨っている。
ステップＳ１４０１において、メモリ２６から追跡移動体ＤＭＯを、対応付部５３から統合物体ＭＯＦ、第１検出結果ＲＥＳ１、および第２検出結果ＲＥＳ２を読み込み、ステップＳ１４０２に進む。

ステップＳ１４０２において、ループカウンタｎに初期値１を代入し、ステップＳ１４０３に進む。処理が本ステップに対応するステップＳ１４２２まで進むと、ループカウンタｉを１増加させて再びステップＳ１４０３に進む。この処理はループカウンタが追跡移動体ＤＭＯの総レコード数であるＮに到達するまで繰り返される。
ステップＳ１４０３において、カウンタｉに初期値０を代入し、ステップＳ１４０４に進む。カウンタｉは、後述する条件に該当した回数をカウントするために使用される。
ステップＳ１４０４において、ループカウンタｋに初期値１を代入し、図１７に示すステップＳ１４０５に進む。処理が本ステップに対応するステップＳ１４１６まで進むと、ループカウンタｋを１増加させて再びステップＳ１４０５に進む。この処理はループカウンタが統合物体ＭＯＦの総レコード数であるＫに到達するまで繰り返される。

図１７のステップＳ１４０５において、追跡移動体ＤＭＯにおける「ｎ」番目のレコードに記録された移動体の予測位置に、統合物体ＭＯＦにおける「ｋ」番目のレコードに記録された統合候補領域が存在するか否かを判断する。換言すると、追跡移動体ＤＭＯにおける「ｎ」番目のレコードの予測位置に、統合物体ＭＯＦにおける「ｋ」番目のレコードの座標が含まれるか否かを判断する。含まれると判断する場合はステップＳ１４０６に進み、含まれないと判断する場合はステップＳ１４０８に進む。なお、本ステップにおいて読み込まれる移動体の予測位置は直前に追跡処理部５５が実行された際に、後述するステップＳ１４２３において算出されたものである。
ステップＳ１４０６において、追跡移動体ＤＭＯにおける「ｎ」番目のレコードの移動方向と、統合物体ＭＯＦにおける「ｋ」番目のレコードの移動方向が一致するか否かを判断する。一致すると判断する場合はステップＳ１４０７に進み、一致しないと判断する場合は図１８のステップＳ１４１６に進む。

ステップＳ１４０７において、追跡移動体ＤＭＯにおける「ｎ」番目のレコードの更新位置、移動方向、追跡確信度を以下のように変更する。すなわち、更新位置に統合物体ＭＯＦにおける「ｋ」番目のレコードの座標を代入し、移動方向に統合物体ＭＯＦにおける「ｋ」番目のレコードの移動方向を代入し、追跡確信度を大幅に増加、たとえば２０増加させる。次に図１８のステップＳ１４１６に進む。

ステップＳ１４０５で否定判断されると実行されるステップＳ１４０８において、追跡移動体ＤＭＯにおける「ｎ」番目のレコードに記録された移動体の予測位置に、第１検出結果ＲＥＳ１の第１候補領域が存在するか否かを判断する。換言すると、追跡移動体ＤＭＯにおける「ｎ」番目のレコードの予測位置に、いずれかの第１候補領域の座標が含まれるか否かを判断する。いずれかの第１候補領域が含まれると判断する場合はステップＳ１４０９に進み、含まれる第１候補領域が存在しないと判断する場合はステップＳ１４１１に進む。なお以下の追跡処理部５５の動作の説明では、本ステップにおいて予測位置に座標が含まれると判断された第１候補領域を、特定第１候補領域と呼ぶ。

ステップＳ１４０９において、追跡移動体ＤＭＯにおける「ｎ」番目のレコードの移動方向と、特定第１候補領域の移動方向が一致するか否かを判断する。移動方向が一致すると判断する場合はステップＳ１４１０に進み、移動方向が一致しないと判断する場合は図１８のステップＳ１４１６に進む。
ステップＳ１４１０において、追跡移動体ＤＭＯにおける「ｎ」番目のレコードの更新位置、移動方向、追跡確信度を以下のように変更する。すなわち、更新位置に同一レコードの移動体の予測位置を代入し、移動方向に特定第１候補領域の移動方向を代入し、追跡確信度を減少、たとえば１０減少させる。次に図１８のステップＳ１４１６に進む。

ステップＳ１４０８で否定判断されると実行されるステップＳ１４１１において、追跡移動体ＤＭＯにおける「ｎ」番目のレコードに記録された移動体の予測位置に、第２検出結果ＲＥＳ２の最接近点Ｈｂが存在するか否かを判断する。換言すると、追跡移動体ＤＭＯにおける「ｎ」番目のレコードの予測位置に、いずれかの第２検出結果ＲＥＳ２の最接近点Ｈｂが含まれるか否かを判断する。いずれかの最接近点Ｈｂが含まれると判断する場合はステップＳ１４１２に進み、含まれる最接近点Ｈｂが存在しないと判断する場合はステップＳ１４１５に進む。なお以下の追跡処理部５５の動作の説明では、本ステップにおいて予測位置に最接近点Ｈｂが含まれると判断された第２候補領域を、特定第２候補領域と呼ぶ。

ステップＳ１４１２において、追跡移動体ＤＭＯにおける「ｎ」番目のレコードの移動方向と、特定第２候補領域の移動方向が一致するか否かを判断する。移動方向が一致すると判断する場合はステップＳ１４１３に進み、移動方向が一致しないと判断する場合はステップＳ１４１４に進む。
ステップＳ１４１３において、追跡移動体ＤＭＯにおける「ｎ」番目のレコードの更新位置、および移動方向を以下のように変更する。すなわち、更新位置に特定第２候補領域の最接近点Ｈｂの座標を代入し、移動方向に特定第２候補領域の移動方向を代入する。次に図１８のステップＳ１４１６に進む。

ステップＳ１４１４において、追跡移動体ＤＭＯにおける「ｎ」番目のレコードの更新位置、および追跡確信度を以下のように変更する。すなわち、更新位置に特定第２候補領域の最接近点Ｈｂの座標を代入し、追跡確信度をわずかに減少、たとえば５減少させる。次に図１８のステップＳ１４１６に進む。
ステップＳ１４０５、Ｓ１４０８、Ｓ１４１１の全てで否定判断されると実行されるステップＳ１４１５において、カウンタｉをインクリメント、すなわちｉを１増加させて図１８のステップＳ１４１６に進む。

図１８のステップＳ１４１６はループカウンタｋのループ終端であり、ループカウンタｋがＫの場合にはステップＳ１４１７に進み、ループカウンタｋがＫではない場合はループカウンタｋを１増加させて図１７のステップＳ１４０５に戻る。
ステップＳ１４１７において、カウンタｉが統合物体ＭＯＦの総レコード数であるＫと等しいか否かを判断する。Ｋと等しいと判断する場合はステップＳ１４１８に進み、Ｋと等しくないと判断する場合はステップＳ１４１９に進む。
ステップＳ１４１８において、追跡移動体ＤＭＯにおける「ｎ」番目のレコードの追跡確信度を大幅に減少、たとえば２０減少させるとともに、更新位置に同一レコードの移動体の予測位置を代入する。次にステップＳ１４１９に進む。

ステップＳ１４１９において、追跡移動体ＤＭＯにおける「ｎ」番目のレコードの追跡確信度が消失閾値、たとえばゼロ以上であるか否かを判断する。消失閾値以上であると判断する場合はステップＳ１４２０に進み、消失閾値未満であると判断する場合はステップＳ１４２１に進む。
ステップＳ１４２０において、追跡移動体ＤＭＯの「ｎ」番目のレコードを削除しない決定を行い、当該レコードの情報である特定された移動体の位置である更新位置、移動方向、および速度を移動体情報として経路生成部１７に出力する。次にステップＳ１４２２に進む。
ステップＳ１４２１において、追跡移動体ＤＭＯにおける「ｎ」番目のレコードを削除し、ステップＳ１４２２に進む。

ステップＳ１４２２はループカウンタｎのループ終端であり、ループカウンタｎがＮの場合にはステップＳ１４２３に進み、ループカウンタｎがＮではない場合はループカウンタｎを１増加させて図１６のステップＳ１４０３に戻る。
ステップＳ１４２３において、追跡移動体ＤＭＯの全てのレコードを対象として、各レコードの速度、移動方向、および更新位置に基づいて新たな予想位置を算出する。この算出した予想位置を追跡移動体ＤＭＯに記録するとともに、各レコードの更新位置をクリア、すなわち削除し、図１６〜図１８のフローチャートにより表されるプログラムを終了する。

（追跡処理部の処理まとめ）
図１６〜図１８を用いて説明した追跡処理部５５の動作による、追跡移動体ＤＭＯの更新位置、移動方向、および追跡確信度の更新を図１９に示す。
図１９は、追跡処理部５５による追跡移動体ＤＭＯの更新処理を示す一覧表である。図１９には、所定の条件に合致すると対応する処理が行われることが示されている。
「条件」欄の「座標の一致」とは、追跡移動体ＤＭＯのあるレコードの予想位置が、統合候補領域、第１候補領域、第２候補領域の座標と一致すること、またはいずれとも一致しないことを示す。「条件」欄の「移動方向」とは、追跡移動体ＤＭＯのあるレコードの移動方向が、座標が一致した統合候補領域、第１候補領域、または第２候補領域の移動方向と一致するか否かを示す。
「処理」欄の「更新位置」、「移動方向」、「追跡確信度」は、追跡移動体ＤＭＯのあるレコードの移動体候補領域のそれぞれの値の更新処理を示す。

以上説明したように、追跡処理部５５は次のような演算を行う。
追跡処理部５５は、統合物体ＭＯＦ、第１検出結果ＲＥＳ１、第１検出結果ＲＥＳ１、および追跡移動体ＤＭＯを読み込む。追跡処理部５５は、追跡移動体ＤＭＯに格納される移動体の位置の更新、すなわち移動体の位置の特定、移動体の追跡対象からの削除、すなわち追跡移動体ＤＭＯからの特定のレコードの削除、移動体に関する情報の経路生成部１７への出力、および追跡確信度の変更を行う。追跡確信度が所定値以下になると追跡移動体ＤＭＯから削除される。

（追跡移動体確定部の動作）
追跡移動体確定部５４の動作の動作をフローチャートを用いて説明する。以下に説明する各ステップの実行主体は、画像処理ＥＣＵ１８のＣＰＵである。
図２０〜２２は、追跡移動体確定部５４の動作を示すフローチャートである。総ステップ数が多いのでフローチャートが３つの図に跨っている。
ステップＳ１５０１において、メモリ２６から移動体候補ＣＰＥを、追跡移動体ＤＭＯから統合物体ＭＯＦ、第１検出結果ＲＥＳ１、および第２検出結果ＲＥＳ２を読み込み、ステップＳ１５０２に進む。

ステップＳ１５０２において、ループカウンタｎに初期値１を代入し、ステップＳ１５０３に進む。処理が本ステップに対応するステップＳ１５２５まで進むと、ループカウンタｉを１増加させて再びステップＳ１５０３に進む。この処理はループカウンタが移動体候補ＣＰＥの総レコード数であるＮに到達するまで繰り返される。
ステップＳ１５０３において、カウンタｉに初期値０を代入し、ステップＳ１５０４に進む。
ステップＳ１５０４において、ループカウンタｋに初期値１を代入し、図２１に示すステップＳ１５０５に進む。処理が本ステップに対応するステップＳ１５１７まで進むと、ループカウンタｋを１増加させて再びステップＳ１５０５に進む。この処理はループカウンタが統合物体ＭＯＦの総レコード数であるＫに到達するまで繰り返される。

図２１のステップＳ１５０５において、移動体候補ＣＰＥにおける「ｎ」番目のレコードに記録された移動体の予測位置に、統合物体ＭＯＦにおける「ｋ」番目のレコードに記録された統合候補領域が存在するか否かを判断する。換言すると、移動体候補ＣＰＥにおける「ｎ」番目のレコードのいずれかの予測位置に、統合物体ＭＯＦにおける「ｋ」番目のレコードの座標が含まれるか否かを判断する。含まれると判断する場合はステップＳ１５０６に進み、含まれないと判断する場合はステップＳ１５０９に進む。なお、本ステップにおいて読み込まれる移動体の予測位置は直前に追跡移動体確定部５４が実行された際に、後述するステップＳ１５２８において算出されたものである。
ステップＳ１５０６において、移動体候補ＣＰＥにおける「ｎ」番目のレコードの移動方向と、統合物体ＭＯＦにおける「ｋ」番目のレコードの移動方向が一致するか否かを判断する。一致すると判断する場合はステップＳ１５０７に進み、一致しないと判断する場合はステップＳ１５０８に進む。

ステップＳ１５０７において、移動体候補ＣＰＥにおける「ｎ」番目のレコードの更新位置、移動方向、移動体確信度を以下のように変更する。すなわち、更新位置に統合物体ＭＯＦにおける「ｋ」番目のレコードの座標を代入し、移動方向に統合物体ＭＯＦにおける「ｋ」番目のレコードの移動方向を代入し、移動体確信度を増加、たとえば１０増加させる。次に図２２のステップＳ１５１７に進む。

ステップＳ１５０８において、統合物体ＭＯＦにおける「ｋ」番目のレコードを、移動体候補ＣＰＥの新規レコードとして登録する。このとき、移動体確信度は予め定められた値、たとえば５０を設定する。また追加されるレコードの予測位置は空欄とし、追加されるレコードの更新位置を統合物体ＭＯＦにおける「ｋ」番目のレコードの座標とする。予測位置は、後述する処理により算出される。次に図２２のステップＳ１５１７に進む。

ステップＳ１５０５で否定判断されると実行されるステップＳ１５０９において、移動体候補ＣＰＥにおける「ｎ」番目のレコードに記録されたいずれかの予測位置に、第１検出結果ＲＥＳ１の第１候補領域が存在するか否かを判断する。換言すると、移動体候補ＣＰＥにおける「ｎ」番目のレコードのいずれかの予測位置に、いずれかの第１候補領域の座標が含まれるか否かを判断する。いずれかの第１候補領域が含まれると判断する場合はステップＳ１５１０に進み、含まれる第１候補領域が存在しないと判断する場合はステップＳ１５１２に進む。なお以下の追跡移動体確定部５４の動作の説明では、本ステップにおいて予測位置に座標が含まれると判断された第１候補領域を、特定第１候補領域と呼ぶ。

ステップＳ１５１０において、移動体候補ＣＰＥにおける「ｎ」番目のレコードの移動方向と、特定第１候補領域の移動方向が一致するか否かを判断する。移動方向が一致すると判断する場合はステップＳ１５１１に進み、移動方向が一致しないと判断する場合は図２２のステップＳ１５１７に進む。
ステップＳ１５１１において、移動体候補ＣＰＥにおける「ｎ」番目のレコードの更新位置、移動方向、移動体確信度を以下のように変更する。すなわち、更新位置に移動体候補ＣＰＥにおける「ｎ」番目のレコードの予測位置を代入し、移動方向に特定第１候補領域の移動方向を代入し、移動体確信度を減少、たとえば１０減少させる。ただし更新位置に代入する予測位置は、同レコードに格納された複数の予測位置のうち、特定第１候補領域との距離が最も短い予測位置とする。次に図２２のステップＳ１５１７に進む。

ステップＳ１５０９で否定判断されると実行されるステップＳ１５１２において、移動体候補ＣＰＥにおける「ｎ」番目のレコードに記録された移動体の予測位置に、第２検出結果ＲＥＳ２の最接近点Ｈｂが存在するか否かを判断する。換言すると、移動体候補ＣＰＥにおける「ｎ」番目のレコードの予測位置に、いずれかの第２検出結果ＲＥＳ２の最接近点Ｈｂが含まれるか否かを判断する。いずれかの最接近点Ｈｂが含まれると判断する場合はステップＳ１５１３に進み、含まれる最接近点Ｈｂが存在しないと判断する場合はステップＳ１５１６に進む。なお以下の追跡移動体確定部５４の動作の説明では、本ステップにおいて予測位置に最接近点Ｈｂが含まれると判断された第２候補領域を、特定第２候補領域と呼ぶ。

ステップＳ１５１３において、移動体候補ＣＰＥにおける「ｎ」番目のレコードの移動方向と、特定第２候補領域の移動方向が一致するか否かを判断する。移動方向が一致すると判断する場合はステップＳ１５１４に進み、移動方向が一致しないと判断する場合はステップＳ１５１５に進む。
ステップＳ１５１４において、移動体候補ＣＰＥにおける「ｎ」番目のレコードの更新位置、移動方向、および移動体確信度を以下のように変更する。すなわち、更新位置に特定第２候補領域の最接近点Ｈｂの座標を代入し、移動方向に特定第２候補領域の移動方向を代入し、移動体確信度をわずかに減少、たとえば５減少させる。次に図２２のステップＳ１５１７に進む。

ステップＳ１５１５において、移動体候補ＣＰＥにおける「ｎ」番目のレコードの更新位置、および移動体確信度を以下のように変更する。すなわち、更新位置に特定第２候補領域の最接近点Ｈｂの座標を代入し、移動体確信度をわずかに減少、たとえば５減少させる。次に図２２のステップＳ１５１７に進む。
ステップＳ１５０５、Ｓ１５０９、Ｓ１５１２の全てで否定判断されると実行されるステップＳ１５１６において、カウンタｉをインクリメント、すなわちｉを１増加させて図２２のステップＳ１５１７に進む。
図２２のステップＳ１５１７はループカウンタｋのループ終端であり、ループカウンタｋがＫの場合にはステップＳ１５１８に進み、ループカウンタｋがＫではない場合はループカウンタｋを１増加させて図２１のステップＳ１５０５に戻る。

ステップＳ１５１８において、カウンタｉが統合物体ＭＯＦの総レコード数であるＫと等しいか否かを判断する。Ｋと等しいと判断する場合はステップＳ１５１９に進み、Ｋと等しくないと判断する場合はステップＳ１５２０に進む。
ステップＳ１５１９において、移動体候補ＣＰＥにおける「ｎ」番目のレコードの移動体確信度を大幅に減少、たとえば２０減少させるとともに、更新位置に同一レコードの移動体候補領域の予測位置を代入する。なお、移動体候補領域は複数の予測位置の候補を有するが、そのうち距離が最も短い予測位置を更新位置に代入する。次にステップＳ１５２０に進む。

ステップＳ１５２０において、移動体候補ＣＰＥにおける「ｎ」番目のレコードの移動体確信度が追跡閾値、たとえば１００以上であるか否かを判断する。追跡閾値以上であると判断する場合はステップＳ１５２１に進み、追跡閾値未満であると判断する場合はステップＳ１５２２に進む。
ステップＳ１５２１において、移動体候補ＣＰＥにおける「ｎ」番目のレコードを追跡移動体ＤＭＯの新規レコードとして登録する。このとき、追跡確信度は予め定められた値、たとえば５０を設定する。また追加されるレコードの予測位置は空欄とし、追加されるレコードの更新位置に移動体候補ＣＰＥにおける「ｎ」番目のレコードの予測位置とする。追加されるレコードの予測位置は、後述する処理により算出される。次にステップＳ１５２５に進む。

ステップＳ１５２２において、移動体候補ＣＰＥにおける「ｎ」番目のレコードの移動体確信度が消失閾値、たとえばゼロ以上であるか否かを判断する。消失閾値以上であると判断する場合はステップＳ１５２５に進み、消失閾値未満であると判断する場合はステップＳ１５２４に進む。
ステップＳ１５２４において、移動体候補ＣＰＥにおける「ｎ」番目のレコードを削除し、ステップＳ１５２５に進む。
ステップＳ１５２５はループカウンタｎのループ終端であり、ループカウンタｎがＮの場合にはステップＳ１５２６に進み、ループカウンタｎがＮではない場合はループカウンタｎを１増加させて図２０のステップＳ１５０３に戻る。

ステップＳ１５２６において、どの移動体候補ＣＰＥにも属さない統合物体ＭＯＦが存在するか否かを判断する。換言すると、移動体候補ＣＰＥの１〜Ｎのいずれのレコードに対しても、ステップＳ１５０５が肯定判断されない統合物体ＭＯＦのレコード（以下、「全否定判断レコード」と呼ぶ）が存在するか否かを判断する。全否定判断レコードが存在すると判断する場合はステップＳ１５２７に進み、全否定判断レコードが存在しないと判断する場合はステップＳ１５２８に進む。

ステップＳ１５２７において、全否定判断レコードを移動体候補ＣＰＥの新規レコードとして登録する。このとき、移動体確信度は予め定められた値、たとえば５０を設定する。また追加されるレコードの予測位置は空欄とし、追加されるレコードの更新位置を全否定判断レコードの座標とする。次にステップＳ１５２８に進む。
ステップＳ１５２８において、移動体候補ＣＰＥの全てのレコードを対象として、各レコードの移動方向および更新位置、ならびに予め定められた複数の速度に基づいて新たな予想位置を複数算出する。予め定められた複数の速度とは、たとえば、徒歩、小走り、全力疾走に対応する速度である。この算出した予想位置を移動体候補ＣＰＥの各レコードに記録するとともに、各レコードの更新位置をクリア、すなわち削除し、図２０〜図２２のフローチャートにより表されるプログラムを終了する。

（追跡移動体確定部の処理まとめ）
図２０〜図２２を用いて説明した追跡移動体確定部５４の動作による、移動体候補ＣＰＥの更新位置、移動方向、および移動体確信度の更新を図２３に示す。
図２３は、追跡移動体確定部５４による移動体候補ＣＰＥの更新処理を示す一覧表である。図２３には、所定の条件に合致すると対応する処理が行われることが示されている。
「条件」欄の「座標の一致」とは、移動体候補ＣＰＥのあるレコードに記録された移動体候補領域の予想位置が、統合候補領域、第１候補領域、第２候補領域の座標と一致すること、またはいずれとも一致しないことを示す。「条件」欄の「移動方向」とは、移動体候補ＣＰＥのあるレコードの移動方向が、座標が一致した統合候補領域、第１候補領域、または第２候補領域の移動方向と一致するか否かを示す。
「処理」欄の「更新位置」、「移動方向」、「移動体確信度」は、移動体候補ＣＰＥのあるレコードの移動体候補領域のそれぞれの値の更新処理を示す。ただし、統合候補領域と座標が一致し移動方向が不一致の場合は、その統合候補領域を追跡移動体ＤＭＯに追加する。

以上説明したように、追跡移動体確定部５４は次のような演算を行う。
追跡移動体確定部５４は、統合物体ＭＯＦ、第１検出結果ＲＥＳ１、第２検出結果ＲＥＳ２、および移動体候補ＣＰＥを読み込む。追跡移動体確定部５４は、移動体候補ＣＰＥへのレコードの追加や削除、後述する基準を満たしたレコードの追跡移動体ＤＭＯへの追加、および後述する移動体確信度の増減を行う。移動体確信度が０以下になると当該レコードが移動体候補ＣＰＥから削除され、移動体確信度が１００を超えると当該レコードが移動体候補ＣＰＥから追跡移動体ＤＭＯに移動される。

以上説明した実施の形態の追跡装置は、撮影画像から第１候補領域を算出する移動ベクトル算出部５１と、俯瞰画像から第２候補領域を算出する足元位置算出部５２と、第１候補領域および第２候補領域を対応付けた統合候補領域を算出する対応付部５３と、第１および第２候補領域、および統合候補領域に基づいて追跡対象である移動体を追跡する追跡処理部５５と、追跡対象とする移動体を確定させる追跡移動体確定部５４とを備える。
撮影画像が入力されるたびに第１候補領域、第２候補領域、および統合候補領域が算出される。一方、移動体候補ＣＰＥおよび追跡移動体ＤＭＯはメモリ２６に記憶され、撮影画像が入力されるたびに追跡移動体確定部５４や追跡処理部５５により更新される。

（経路生成部）
経路生成部１７は、追跡処理部５５が出力する移動体情報に基づき、車両１０の移動経路を算出する。算出した移動経路は表示制御部３２を経由してモニタ３４に表示される。ただし、車両挙動制御ＥＣＵ３０が経路生成部１７の出力に基づき、ブレーキアクチュエータ３６を制御して衝突を防止してもよい。
追跡処理部５５が出力する移動体情報は、移動体の位置、移動方向、および速度から構成される。経路生成部１７は、移動体との衝突を避ける移動経路を算出するが、衝突が回避可能な移動経路が算出できない場合は、停止指示を表示制御部３２に出力する。

（経路生成部の動作例）
図２４は、追跡処理部５５が出力する移動体情報に基づき、経路生成部１７が経路を生成する様子を示した図である。図２４（ａ）、（ｂ）のいずれも、車両１０の左前方に移動体７０が存在し、車両１０の右前方に移動体７１が存在する点が共通する。
図２４（ａ）では、車両１０の左前方に位置する移動体７０が図示左側に移動し、車両１０の右前方に位置する移動体７１が図示右側に移動する。追跡処理部５５から移動体情報を受信した経路生成部１７は、移動体７０と移動体７１の間を進行する、すなわちほぼ直進する経路７２を生成する。

図２４（ｂ）では、車両１０の左前方に位置する移動体７０、および車両１０の右前方に位置する移動体７１が図示左側に移動する。追跡処理部５５から移動体情報を受信した経路生成部１７は、移動体７０と移動体７１の間を回り込むように、図示右側に大きく膨らむ経路７３を生成する。

上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）追跡装置、すなわち画像処理ＥＣＵ１８は、撮像部、すなわちカメラ１２が撮影して得られた画像が入力される画像入力部、すなわち通信部１８ａと、画像入力部に入力された複数の画像を用いてオプティカルフローを算出し、算出したオプティカルフローに基づいて移動体の位置および移動方向を検出する第１移動体検出部、すなわち移動ベクトル算出部５１と、複数の画像に基づいて生成された複数の俯瞰画像に基づいて移動体の位置および移動方向を検出する第２移動体検出部、すなわち足元位置算出部５２と、第１移動体検出部および第２移動体検出部の検出結果を統合し移動体の位置および移動方向を検出する第３移動体検出部、すなわち対応付部５３と、第１〜第３移動体検出部の検出結果に基づいて追跡すべき移動体を決定する追跡移動体確定部５４と、追跡移動体確定部５４が決定した追跡移動体の将来の位置および移動方向を推定する推定部５５ａと、第１〜第３移動体検出部でそれぞれ検出された移動体それぞれの位置、および、推定部５５ａで推定された推定位置のいずれか一つを用いて追跡移動体を追跡し当該追跡移動体の位置を特定する追跡部５５ｂとを備える。
画像処理ＥＣＵ１８をこのように構成したので、移動ベクトル算出部５１によるオプティカルフローを用いた第１候補領域の検出、または足元位置算出部５２による俯瞰画像を用いた第２候補領域の検出が不可能な場合であっても、追跡処理部５５による移動体の追跡を継続できるので、移動体の追跡の継続が容易である。

（２）第２移動体検出部、すなわち足元位置算出部５２は、複数の俯瞰画像の差分である差分領域および当該差分領域の重心Ｇを算出し、差分領域に含まれ、差分領域の重心Ｇと俯瞰画像における撮像部の位置Ｃとを結ぶ線分Ｌ１上であって撮像部の位置Ｃに最も近い点、すなわち最接近点を移動体として検出する。
そのため、オプティカルフローでは算出が困難な移動体の足元位置を精度よく検出することができる。

（３）第３移動体検出部、すなわち対応付部５３は、第１移動体検出部により検出された移動体の位置と、第２移動体検出部により検出された移動体の位置との水平方向の距離が予め定めた範囲内であり、かつ第１移動体検出部により検出された移動体の移動方向と第２移動体検出部により検出された移動体の移動方向とが一致すると、第１移動体検出部が検出した移動体と第２移動体検出部が検出した移動体とを統合する。
そのため、移動体の検出がしやすく水平方向の精度が高いオプティカルフローによる移動体の検出結果と、足元位置の検出精度が高い俯瞰画像による移動体の検出結果を、位置と移動方向の２つの条件を用いることにより精度よく統合することができる。

（４）第１移動体検出部、すなわち移動ベクトル算出部５１、および第３移動体検出部、すなわち対応付部５３により検出される移動体の位置は水平方向および垂直方向に広がりのある領域である。第３移動体検出部は、統合する第１移動体検出部により検出された移動体の領域の垂直方向下端を、統合する第２移動体検出部により検出された移動体の垂直方向下端まで拡張した領域を、第３移動体検出部により検出される移動体の位置とする。
そのため、水平方向の精度が高い移動ベクトル算出部５１により検出された領域を、足元位置の精度が高い足元位置算出部５２により算出された最接近点Ｈｂまで拡張するので、移動体の領域を精度よく把握できる。

（５）追跡移動体確定部５４は、追跡移動体の候補である移動体候補を追跡対象として決定する確からしさを示す指標である移動体確信度を記憶し、移動体候補の将来の位置を推定する。追跡移動体確定部５４はさらに、当該追跡移動体確定部５４により推定された移動体候補の将来の位置と、第３移動体検出部により検出された移動体の位置、第１移動体検出部により検出された移動体の位置、および第２移動体検出部により検出された移動体の位置との関係に基づき移動体確信度を増減させ、移動体確信度が所定値以上になると当該移動体候補を新たな追跡移動体として決定する。
そのため、移動体候補領域の移動体確信度が予め定めた閾値以上になると、その移動体候補領域を追跡処理部５５が追跡する新たな移動体として決定するので、確からしさが高い移動体候補領域を新たに追跡対象とすることができる。

（６）追跡処理部５５の追跡部５５ｂは、推定部５５ａにより推定される追跡移動体の将来の位置と第３移動体検出部により検出される移動体の位置との距離とが所定距離未満であり、かつ推定部５５ａにより推定される追跡移動体の将来の移動方向と第３移動体検出部により検出される移動体の移動方向とが一致すると、第３移動体検出部により検出された移動体の位置を追跡移動体の追跡された位置とする。追跡部５５ｂは、推定部５５ａにより推定される追跡移動体の将来の位置と第３移動体検出部により検出される移動体の位置との距離とが所定距離以上であり、かつ推定部５５ａにより推定される追跡移動体の将来の位置と第１移動体検出部により検出される移動体の位置との距離とが所定距離未満であり、かつ推定部５５ａにより推定される追跡移動体の将来の移動方向と第２移動体検出部により検出される移動体の移動方向とが一致すると、推定部５５ａにより推定された推定位置を追跡移動体の追跡された位置とする。追跡部５５ｂは、推定部５５ａにより推定される追跡移動体の将来の位置と第３移動体検出部により検出される移動体の位置との距離とが所定距離以上であり、かつ推定部５５ａにより推定される追跡移動体の将来の位置と第１移動体検出部により検出される移動体の位置との距離とが所定距離以上であり、かつ推定部５５ａにより推定される追跡移動体の将来の位置と第２移動体検出部により検出される移動体の位置との距離とが所定距離未満であると、第２移動体検出部により検出された移動体の位置を追跡移動体の追跡された位置とする。
そのため、追跡処理部５５が推定する移動体の位置及び移動方向と、追跡移動体の位置を移動ベクトル算出部５１、足元位置算出部５２、および対応付部５３が検出した移動体の位置および移動方向とを比較することにより、移動体を追跡することができる。

（７）追跡部５５ｂは、追跡移動体のそれぞれについて追跡移動体の追跡の確からしさを示す指標である追跡確信度を記憶し、推定部により推定される追跡移動体の将来の位置と、第３移動体検出部により検出される移動体の位置、第１移動体検出部により検出される移動体の位置、および第２移動体検出部により検出される移動体の位置との関係に基づき追跡確信度を増減させ、追跡確信度が所定値以下になると当該追跡移動体を追跡の対象外とする。
そのため、移動体の位置を更新する追跡処理とともに追跡確信度を増減させ、追跡確信度が予め定めた閾値以下になるとその移動体を追跡の対象外とするので、確からしさが低い移動体を追跡する処理負荷を削減することができる。また、追跡処理部５５が追跡する移動体について追跡の確からしさをある一定以上に確保することができる。

（変形例１）
上述した実施の形態では、追跡処理部５５は移動体の移動を等速運動と仮定して、移動体の速度を追跡移動体ＤＭＯに保存した。しかし、追跡処理部５５は移動体の移動をカルマンフィルタを用いて算出し、そのパラメータを追跡移動体ＤＭＯに保存してもよい。
この変形例１によれば、移動体の移動を精度よく推定することができる。

上記では、実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１０ … 車両
１２ … カメラ
１７ … 経路生成部
１８ … 画像処理ＥＣＵ
１８ａ … 通信部
２６ … メモリ
３０ … 車両挙動制御ＥＣＵ
５１ … 移動ベクトル算出部
５２ … 足元位置算出部
５３ … 対応付部
５４ … 追跡移動体確定部
５５ … 追跡処理部
５５ａ … 推定部
５５ｂ … 追跡部
ＣＰＥ … 移動体候補
ＤＭＯ … 追跡移動体
ＥＣＵ … 画像処理
ＭＯＦ … 統合物体
ＲＥＳ１ … 第１検出結果
ＲＥＳ２ … 第２検出結果

Claims (7)

1. 撮像部が撮影して得られた画像が入力される画像入力部と、
   前記画像入力部に入力された複数の画像を用いてオプティカルフローを算出し、前記算出したオプティカルフローに基づいて移動体の位置および移動方向を検出する第１移動体検出部と、
   前記複数の画像に基づいて生成された複数の俯瞰画像に基づいて移動体の位置および移動方向を検出する第２移動体検出部と、
   前記第１移動体検出部および前記第２移動体検出部の検出結果を統合し移動体の位置および移動方向を検出する第３移動体検出部と、
   前記第１〜第３移動体検出部の検出結果に基づいて追跡すべき移動体を決定する追跡移動体確定部と、
   前記追跡移動体確定部が決定した追跡移動体の将来の位置および移動方向を推定する推定部と、
   前記第２〜第３移動体検出部でそれぞれ検出された移動体それぞれの位置、および、前記推定部で推定された推定位置のいずれか一つを用いて前記追跡移動体を追跡し当該追跡移動体の位置を特定する追跡部とを備える、追跡装置。
2. 請求項１に記載の追跡装置において、
   前記第２移動体検出部は、
   前記複数の俯瞰画像の差分である差分領域および当該差分領域の重心を算出し、
   前記差分領域に含まれ、前記差分領域の重心と俯瞰画像における前記撮像部の位置とを結ぶ線分上であって前記撮像部の位置に最も近い点を移動体として検出する、追跡装置。
3. 請求項２に記載の追跡装置において、
   前記第３移動体検出部は、前記第１移動体検出部により検出された移動体の位置と、前記第２移動体検出部により検出された移動体の位置との水平方向の距離が予め定めた範囲内であり、かつ前記第１移動体検出部により検出された移動体の移動方向と前記第２移動体検出部により検出された移動体の移動方向とが一致すると、前記第１移動体検出部が検出した移動体と前記第２移動体検出部が検出した移動体とを統合する、追跡装置。
4. 請求項２に記載の追跡装置において、
   前記第１移動体検出部、および前記第３移動体検出部により検出される移動体の位置は水平方向および垂直方向に広がりのある領域であり、
   前記第３移動体検出部は、統合する前記第１移動体検出部により検出された移動体の領域の垂直方向下端を、統合する前記第２移動体検出部により検出された移動体の垂直方向下端まで拡張した領域を、前記第３移動体検出部により検出される移動体の位置とする、追跡装置。
5. 請求項１に記載の追跡装置において、
   前記追跡移動体確定部は、
   前記追跡移動体の候補である移動体候補を追跡対象として決定する確からしさを示す指標である移動体確信度を記憶し、
   前記移動体候補の将来の位置を推定し、
   当該追跡移動体確定部により推定された前記移動体候補の将来の位置と、前記第３移動体検出部により検出された移動体の位置、前記第１移動体検出部により検出された移動体の位置、および前記第２移動体検出部により検出された移動体の位置との関係に基づき前記移動体確信度を増減させ、前記移動体確信度が所定値以上になると当該移動体候補を新たな前記追跡移動体として決定する、追跡装置。
6. 請求項１に記載の追跡装置において、
   前記追跡部は、
   前記推定部により推定される追跡移動体の将来の位置と前記第３移動体検出部により検出される移動体の位置との距離とが所定距離未満であり、かつ前記推定部により推定される前記追跡移動体の将来の移動方向と前記第３移動体検出部により検出される前記移動体の移動方向とが一致すると、前記第３移動体検出部により検出された移動体の位置を前記追跡移動体の追跡された位置とし、
   前記推定部により推定される追跡移動体の将来の位置と前記第３移動体検出部により検出される移動体の位置との距離とが所定距離以上であり、かつ前記推定部により推定される追跡移動体の将来の位置と前記第１移動体検出部により検出される移動体の位置との距離とが所定距離未満であり、かつ前記推定部により推定される前記追跡移動体の将来の移動方向と前記第２移動体検出部により検出される前記移動体の移動方向とが一致すると、前記推定部により推定された前記推定位置を前記追跡移動体の追跡された位置とし、
   前記推定部により推定される追跡移動体の将来の位置と前記第３移動体検出部により検出される移動体の位置との距離とが所定距離以上であり、かつ前記推定部により推定される追跡移動体の将来の位置と前記第１移動体検出部により検出される移動体の位置との距離とが所定距離以上であり、かつ前記推定部により推定される追跡移動体の将来の位置と前記第２移動体検出部により検出される移動体の位置との距離とが所定距離未満であると、前記第２移動体検出部により検出された移動体の位置を前記追跡移動体の追跡された位置とする、追跡装置。
7. 請求項１に記載の追跡装置において、
   前記追跡部は、
   前記追跡移動体のそれぞれについて前記追跡移動体の追跡の確からしさを示す指標である追跡確信度を記憶し、
   前記推定部により推定される追跡移動体の将来の位置と、前記第３移動体検出部により検出される移動体の位置、前記第１移動体検出部により検出される移動体の位置、および前記第２移動体検出部により検出される移動体の位置との関係に基づき前記追跡確信度を増減させ、前記追跡確信度が所定値以下になると当該追跡移動体を追跡の対象外とする、追跡装置。

Images