JP7334632B2 - 物体追跡装置及び物体追跡方法 - Google Patents
物体追跡装置及び物体追跡方法 Download PDFInfo
- Publication number
- JP7334632B2 JP7334632B2 JP2020010981A JP2020010981A JP7334632B2 JP 7334632 B2 JP7334632 B2 JP 7334632B2 JP 2020010981 A JP2020010981 A JP 2020010981A JP 2020010981 A JP2020010981 A JP 2020010981A JP 7334632 B2 JP7334632 B2 JP 7334632B2
- Authority
- JP
- Japan
- Prior art keywords
- tracked
- unit
- detected
- tracked object
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
図1(a)及び(b)は、本実施形態の物体追跡装置の概要を説明するための図である。図1(a)は、物体追跡装置が搭載された車両の前方を撮像した撮像画像を示す。物体追跡装置は、例えば、ECU(Electronic Control Unit)によって実現される。物体追跡装置は、車両の前方を撮像した撮像画像に含まれるオブジェクトの位置を検出する。図1(a)の例では、オブジェクトは、物体追跡装置が搭載された車両の前方を走行する他の車両である。
図2は、物体追跡装置3が搭載された車両100の構成を示す図である。車両100は、撮像装置1、自動運転装置2及び物体追跡装置3を備える。物体追跡装置3は、記憶部31及び制御部32を備える。撮像装置1は、車両100の前方を撮像する。撮像装置1は、例えば、複数のカメラを備えるステレオカメラであり、複数のカメラの間における視差に基づいて、撮像装置1から検出オブジェクトまでの距離を測定する。撮像装置1は、所定のフレームレートで車両100の前方を撮像する。自動運転装置2は、例えば、物体追跡装置3とは同一又は別のECUにより実現される。自動運転装置2は、車両100の走行を自動制御する。自動運転装置2は、物体追跡装置3が出力した追跡オブジェクトとの衝突の危険が生じないように車両100の走行を制御する。
追跡部322は、物体検出部321が過去に検出したオブジェクトを追跡オブジェクトとして追跡する。記憶部31には、追跡中の追跡オブジェクトの一つ前の推定位置や速度等の状態を含む状態情報に加え、追跡オブジェクトの識別情報が記憶されている。記憶部31には、追跡中の追跡オブジェクトの識別情報と、物体検出部321が過去に検出した検出オブジェクトの位置と、この検出オブジェクトが検出された検出時刻とが関連付けられた履歴を示す履歴情報が記憶されていてもよい。
関連付け部323は、物体検出部321が検出した検出オブジェクトと、追跡部322が追跡している追跡オブジェクトとを関連付ける。関連付け部323は、追跡オブジェクトを示す追跡オブジェクト情報を記憶部31から読み出す。追跡オブジェクト情報に含まれる追跡オブジェクトの状態と特徴は、履歴情報において追跡オブジェクトの識別情報に関連付けられた過去の検出オブジェクトから関連付け部323が抽出することにより作成される。
例えば、関連付け部323は、複数の検出オブジェクトと、複数の追跡オブジェクトとの間において、ハンガリアンアルゴリズムを用いることにより、相違度が最小となる組み合わせを一意に定めることができる。
算出部325は、追跡オブジェクトと検出オブジェクトとが関連付けられたか否かに基づいて、追跡オブジェクトが存在することの確かさを示す存在確信度を増減させる。図3は、算出部325による存在確信度の算出方法について説明するための図である。図3には、時刻k~時刻k+7においてある単一の追跡オブジェクトに対して、算出部325が算出した存在確信度の変化を示す。関連付け部323は、時刻kにおいて検出オブジェクトを追跡するための新たな追跡オブジェクト情報を作成したものとする。図3では一例として、算出部325は、この追跡オブジェクト情報に含まれる追跡オブジェクトの存在確信度に初期値0.5を割り当てる。
出力部326は、追跡オブジェクトの存在確信度が第1閾値以上である場合に、追跡オブジェクトを識別する識別情報に関連付けて、算出部325が算出した出力位置を出力する。図3の例では、第1閾値は1.0である。時刻k+1において追跡オブジェクトの存在確信度は1.0であるため、出力部326は、時刻k+1において追跡オブジェクトの存在確信度が第1閾値以上であると判定し、この追跡オブジェクトの識別情報に関連付けて、自動運転装置2へ出力位置を出力する。同様に、出力部326は、時刻k+2及び時刻k+3において追跡オブジェクトの存在確信度が第1閾値以上であると判定し、この追跡オブジェクトの識別情報に関連付けて、自動運転装置2へ出力位置を出力する。
図2の設定部327は、初期値及び第1閾値等の各種の変数を設定する。検出オブジェクトまでの距離が比較的小さい場合には、車両100と検出オブジェクトとの接触等を抑制するため、出力部326が出力位置を出力しやすくなるように第1閾値を設定することが好ましい。
図6は、物体追跡装置3による追跡オブジェクトの追跡の処理手順を示すフローチャートである。この処理手順は、追跡部322による追跡オブジェクトの追跡中に開始する。追跡部322が複数のオブジェクトを追跡中である場合には、それぞれの追跡オブジェクトについて図6に示す一連の処理を繰り返すものとする。
本実施形態によれば、算出部325は、検出オブジェクトが追跡オブジェクトに関連付けられたか否かに基づいて、追跡オブジェクトの存在確信度を増減させる。算出部325は、繰り返し検出された追跡オブジェクトの存在確信度が比較的大きくなるように存在確信度を算出することにより、一時的にオブジェクトが検出できなかった場合に、繰り返し検出された追跡オブジェクトの出力位置の出力が中断されることを抑制することができる。このため、算出部325は、意図せず追跡オブジェクトに異なる識別情報が付し直されることを抑制することができる。また、一瞬だけ誤検知されたオブジェクトに対して、存在確信度が十分に大きくない場合には追跡オブジェクトの出力位置の出力を抑制することができる。したがって、物体追跡装置は、オブジェクトを追跡する場合に、オブジェクトを追跡する性能を向上させることができる。
2 自動運転装置
3 物体追跡装置
31 記憶部
32 制御部
100 車両
321 物体検出部
322 追跡部
323 関連付け部
324 取得部
325 算出部
326 出力部
327 設定部
Claims (7)
- 撮像装置が撮像した撮像画像に含まれる検出対象のオブジェクトである検出オブジェクトの位置を検出する物体検出部と、
前記物体検出部が過去に検出したオブジェクトを追跡オブジェクトとして追跡し、前記検出オブジェクトの位置に基づいて、カルマンフィルタ又はパーティクルフィルタにより前記追跡オブジェクトの現在位置を推定する追跡部と、
前記物体検出部が検出した前記検出オブジェクトと、前記追跡部が追跡している前記追跡オブジェクトとを関連付ける関連付け部と、
前記検出オブジェクトが前記追跡オブジェクトに関連付けられた場合に、前記追跡オブジェクトが存在することの確かさを示す存在確信度を所定のインクリメント値だけ増加させ、前記検出オブジェクトが前記追跡オブジェクトに関連付けられなかった場合に、前記追跡オブジェクトが存在することの確かさを示す存在確信度を、当該インクリメント値より小さいデクリメント値だけ減少させる算出部と、
前記存在確信度が第1閾値以上である場合に、前記追跡オブジェクトを識別する識別情報に関連付けて、前記追跡オブジェクトの前記現在位置を出力する出力部と、
を備え、
前記追跡部は、前記存在確信度が前記第1閾値より小さな第2閾値以下である場合に、当該追跡オブジェクトの追跡を終了し、
前記出力部は、前記存在確信度が前記第1閾値未満であって前記第2閾値より大きな値となった場合に、前記現在位置の出力を中断し、前記存在確信度が前記第1閾値未満であって前記第2閾値より大きな値となった後に前記存在確信度が前記第1閾値以上となった場合に、前記追跡オブジェクトの前記現在位置の出力を中断する前と同じ前記識別情報に関連付けて、前記追跡オブジェクトの前記現在位置の出力を再開する、
物体追跡装置。 - 前記撮像装置から前記検出オブジェクトまでの距離を取得する取得部と、
前記検出オブジェクトまでの距離が第1距離の場合には、前記検出オブジェクトまでの距離が前記第1距離よりも大きい第2距離の場合に比べて前記第1閾値を相対的に小さく設定する設定部と、をさらに備える、
請求項1に記載の物体追跡装置。 - 前記撮像装置から前記検出オブジェクトまでの距離を取得する取得部と、
前記関連付け部が前記検出オブジェクトと前記追跡オブジェクトとを関連付けない場合に、前記撮像装置から当該検出オブジェクトまでの距離が短いほど、当該検出オブジェクトを前記追跡部が追跡するための新たな追跡オブジェクト情報に含まれる前記存在確信度の初期値を相対的に大きく設定する設定部と、をさらに備える、
請求項1に記載の物体追跡装置。 - 前記算出部は、前記追跡オブジェクトの現在位置が前記撮像画像の端部を含む所定領域内であり、且つ、当該追跡オブジェクトに前記検出オブジェクトが関連付けられなかった場合に、当該追跡オブジェクトが存在することの確かさを示す前記存在確信度を前記第2閾値以下にする、
請求項1に記載の物体追跡装置。 - 前記追跡部は、前記追跡オブジェクトの一つ前の推定位置及び前記追跡オブジェクトの速度を含む状態情報に基づいて、当該追跡オブジェクトの前記現在位置を推定し、
前記出力部は、当該追跡オブジェクトに前記検出オブジェクトが関連付けられず、且つ、前記存在確信度が前記第1閾値以上である場合に、前記追跡部が推定した当該追跡オブジェクトの前記現在位置を出力する、
請求項1から4のいずれか一項に記載の物体追跡装置。 - 前記追跡部は、前記追跡オブジェクトに関連付けられた前記検出オブジェクトの位置の履歴を示す履歴情報に基づいて、当該追跡オブジェクトの前記現在位置を推定し、
前記出力部は、当該追跡オブジェクトに前記検出オブジェクトが関連付けられず、且つ、前記存在確信度が前記第1閾値以上である場合に、前記追跡部が推定した当該追跡オブジェクトの前記現在位置を出力する、
請求項1から4のいずれか一項に記載の物体追跡装置。 - 撮像装置が撮像した撮像画像に含まれる検出対象のオブジェクトである検出オブジェクトの位置を検出するステップと、
過去に検出したオブジェクトを追跡オブジェクトとして追跡し、前記検出オブジェクトの位置に基づいて、カルマンフィルタ又はパーティクルフィルタにより推定された前記追跡オブジェクトの現在位置を推定するステップと、
前記検出オブジェクトと、追跡している前記追跡オブジェクトとを関連付けるステップと、
前記検出オブジェクトが前記追跡オブジェクトに関連付けられた場合に、前記追跡オブジェクトが存在することの確かさを示す存在確信度を所定のインクリメント値だけ増加させ、前記検出オブジェクトが前記追跡オブジェクトに関連付けられなかった場合に、前記追跡オブジェクトが存在することの確かさを示す存在確信度を、当該インクリメント値より小さいデクリメント値だけ減少させるステップと、
前記存在確信度が第1閾値以上である場合に、前記追跡オブジェクトを識別する識別情報に関連付けて、前記追跡オブジェクトの前記現在位置を出力するステップと、
を備え、
前記現在位置を出力するステップでは、
前記存在確信度が前記第1閾値より小さな第2閾値以下である場合に、前記現在位置の出力を終了し、
前記存在確信度が前記第1閾値未満であって前記第2閾値より大きな値となった場合に、前記現在位置の出力を中断し、
前記存在確信度が前記第1閾値未満であって前記第2閾値より大きな値となった後に前記存在確信度が前記第1閾値以上となった場合に、前記追跡オブジェクトの前記現在位置の出力を中断する前と同じ前記識別情報に関連付けて、前記追跡オブジェクトの前記現在位置の出力を再開する、
物体追跡方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020010981A JP7334632B2 (ja) | 2020-01-27 | 2020-01-27 | 物体追跡装置及び物体追跡方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020010981A JP7334632B2 (ja) | 2020-01-27 | 2020-01-27 | 物体追跡装置及び物体追跡方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021117760A JP2021117760A (ja) | 2021-08-10 |
JP7334632B2 true JP7334632B2 (ja) | 2023-08-29 |
Family
ID=77174971
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020010981A Active JP7334632B2 (ja) | 2020-01-27 | 2020-01-27 | 物体追跡装置及び物体追跡方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7334632B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7412614B1 (ja) | 2023-02-07 | 2024-01-12 | 三菱電機インフォメーションシステムズ株式会社 | 追跡装置、追跡方法及び追跡プログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002074368A (ja) | 2000-08-25 | 2002-03-15 | Matsushita Electric Ind Co Ltd | 移動物体認識追跡装置 |
JP2015155878A (ja) | 2014-02-21 | 2015-08-27 | 株式会社デンソー | 車両用障害物検出装置 |
JP2017102824A (ja) | 2015-12-04 | 2017-06-08 | クラリオン株式会社 | 追跡装置 |
JP2019041334A (ja) | 2017-08-28 | 2019-03-14 | 株式会社Soken | 映像出力装置及び映像生成プログラム |
-
2020
- 2020-01-27 JP JP2020010981A patent/JP7334632B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002074368A (ja) | 2000-08-25 | 2002-03-15 | Matsushita Electric Ind Co Ltd | 移動物体認識追跡装置 |
JP2015155878A (ja) | 2014-02-21 | 2015-08-27 | 株式会社デンソー | 車両用障害物検出装置 |
JP2017102824A (ja) | 2015-12-04 | 2017-06-08 | クラリオン株式会社 | 追跡装置 |
JP2019041334A (ja) | 2017-08-28 | 2019-03-14 | 株式会社Soken | 映像出力装置及び映像生成プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2021117760A (ja) | 2021-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7262710B2 (en) | Collision time estimation apparatus for vehicles, collision time estimation method for vehicles, collision alarm apparatus for vehicles, and collision alarm method for vehicles | |
CN109099920B (zh) | 基于多传感器关联的传感器目标精确定位方法 | |
CN110555362B (zh) | 物体识别装置 | |
US11157753B2 (en) | Road line detection device and road line detection method | |
CN108657173B (zh) | Ecu、包含ecu的自主车辆及识别其附近车辆的方法 | |
US11151395B2 (en) | Roadside object detection device, roadside object detection method, and roadside object detection system | |
US20200363809A1 (en) | Method and system for fusing occupancy maps | |
US10275666B2 (en) | Travel lane detection method and travel lane detection device | |
JP5090313B2 (ja) | 路面標示認識装置 | |
JP7334632B2 (ja) | 物体追跡装置及び物体追跡方法 | |
CN111989541B (zh) | 立体摄像机装置 | |
CN113569812A (zh) | 未知障碍物的识别方法、装置和电子设备 | |
CN114037977B (zh) | 道路灭点的检测方法、装置、设备及存储介质 | |
JP2017102832A (ja) | 車両ピッチ角推定装置 | |
WO2022130709A1 (ja) | 物体識別装置、および、物体識別方法 | |
JP7283268B2 (ja) | 情報処理装置及び車載システム | |
JP4151631B2 (ja) | 物体検出装置 | |
US11055545B2 (en) | Object recognition apparatus | |
WO2020036039A1 (ja) | ステレオカメラ装置 | |
CN113538546B (zh) | 用于自动驾驶的目标检测方法、装置及设备 | |
US20240169574A1 (en) | Mobile body, information processing method, and program | |
CN114648559B (zh) | 一种用于计算目标关联距离的方法 | |
CN112906424B (zh) | 图像识别方法、装置及设备 | |
WO2023068034A1 (ja) | 画像処理装置 | |
KR102703479B1 (ko) | 영상 기반 주행거리 측정 시스템의 보정 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220330 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230309 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230322 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230516 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230718 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230731 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7334632 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |