JP6677297B2 - 物体追跡方法及び物体追跡装置 - Google Patents

物体追跡方法及び物体追跡装置 Download PDF

Info

Publication number
JP6677297B2
JP6677297B2 JP2018524655A JP2018524655A JP6677297B2 JP 6677297 B2 JP6677297 B2 JP 6677297B2 JP 2018524655 A JP2018524655 A JP 2018524655A JP 2018524655 A JP2018524655 A JP 2018524655A JP 6677297 B2 JP6677297 B2 JP 6677297B2
Authority
JP
Japan
Prior art keywords
object tracking
area
objects
unit
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018524655A
Other languages
English (en)
Other versions
JPWO2018003056A1 (ja
Inventor
芳 方
芳 方
邦昭 野田
邦昭 野田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of JPWO2018003056A1 publication Critical patent/JPWO2018003056A1/ja
Application granted granted Critical
Publication of JP6677297B2 publication Critical patent/JP6677297B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)

Description

本発明は、物体追跡方法及び物体追跡装置に関する。
従来より、物体が他の物体と重なって隠蔽された場合の追跡方法が知られている(特許文献1)。特許文献1は、隠蔽された物体の予測情報に基づいて物体が再出現したか否かを判断し、再出現した物体に同じ識別番号を付与する。
特開2007−334631号公報
しかしながら、複数の物体が同時に隠蔽され、かつ隠蔽されている間に複数の物体の状態が変化した場合、特許文献1の技術では、予測情報にズレが生じてしまい、再出現した物体に誤った識別番号を付与するおそれがある。
本発明は、上記問題に鑑みて成されたものであり、その目的は、複数の物体が隠蔽領域に入り一時的に消滅した場合でも、隠蔽される前後において誤った識別情報が付与されることを防止できる物体追跡方法及び物体追跡装置を提供することにある。
本発明の一態様に係る物体追跡方法は、複数の物体が隠蔽領域に入った場合、隠蔽領域での複数の物体の位置関係を推定し、隠蔽領域から物体が出てきたとき、推定した位置関係に基づいて、物体の識別情報を決定する。
本発明によれば、複数の物体が隠蔽領域に入り一時的に消滅した場合でも、隠蔽される前後において誤った識別情報を付与することを防止できる。
図1は、本発明の第1実施形態に係る物体追跡装置の構成図である。 図2Aは、本発明の第1実施形態に係る物体の追跡方法を説明する図である。 図2Bは、本発明の第1実施形態に係る物体の追跡方法を説明する図である。 図2Cは、本発明の第1実施形態に係る物体の追跡方法を説明する図である。 図3は、本発明の第1実施形態に係る隠蔽領域を説明する図である。 図4Aは、本発明の第1実施形態に係る物体の識別情報の決定方法について説明する図である。 図4Bは、本発明の第1実施形態に係る物体の識別情報の決定方法について説明する図である。 図4Cは、本発明の第1実施形態に係る物体の識別情報の決定方法について説明する図である。 図4Dは、本発明の第1実施形態に係る物体の識別情報の決定方法について説明する図である。 図5は、本発明の第1実施形態に係る隠蔽領域から出てきた物体のトラッカーを説明する図である。 図6は、本発明の第1実施形態に係る物体追跡装置の一動作例を説明するフローチャートである。 図7Aは、本発明の第2実施形態に係る物体の識別情報の決定方法について説明する図である。 図7Bは、本発明の第2実施形態に係る物体の識別情報の決定方法について説明する図である。 図7Cは、本発明の第2実施形態に係る物体の識別情報の決定方法について説明する図である。 図7Dは、本発明の第2実施形態に係る物体の識別情報の決定方法について説明する図である。 図8Aは、本発明の第2実施形態に係る物体の識別情報の決定方法について説明する図である。 図8Bは、本発明の第2実施形態に係る物体の識別情報の決定方法について説明する図である。 図8Cは、本発明の第2実施形態に係る物体の識別情報の決定方法について説明する図である。 図9は、本発明の第2実施形態に係る隠蔽領域から出てきた物体のトラッカーを説明する図である。 図10は、本発明の第2実施形態に係る物体追跡装置の一動作例を説明するフローチャートである。 図11Aは、本発明の第3実施形態に係る物体の識別情報の決定方法について説明する図である。 図11Bは、本発明の第3実施形態に係る物体の識別情報の決定方法について説明する図である。 図11Cは、本発明の第3実施形態に係る物体の識別情報の決定方法について説明する図である。 図12Aは、本発明の第3実施形態に係る物体の識別情報の決定方法について説明する図である。 図12Bは、本発明の第3実施形態に係る物体の識別情報の決定方法について説明する図である。 図13は、本発明の第3実施形態に係る物体追跡装置の一動作例を説明するフローチャートである。
以下、本発明の実施形態について、図面を参照して説明する。図面の記載において同一部分には同一符号を付して説明を省略する。
[第1実施形態]
図1を参照して、第1実施形態に係る物体追跡装置100について説明する。図1に示すように、物体追跡装置100は、物体検出部10と、地図情報取得部20と、コントローラ30とを備える。
物体検出部10は、周期的に移動体(車両)の周囲の物体を検出するセンサであって、例えばレーザレンジファインダーである。レーザレンジファインダーは、移動体である自車両の周囲(例えば30m以内)に存在する物体(歩行者、自転車、二輪車、他車両など)を検出する。より詳しくは、レーザレンジファインダーは、レーザ光をある角度範囲内で走査し、その時の反射光を受光して、レーザ発射時点と反射光の受光時点との時間差を検出する。これにより、レーザレンジファインダーは、自車両に対する物体の相対距離や相対速度、物体の移動方向などを検出する。物体検出部10は、検出した物体の情報をコントローラ30に出力する。なお、物体検出部10として、赤外線センサや超音波センサ、カメラなどを用いてもよい。物体検出部10は、検出結果をコントローラ30に出力する。
地図情報取得部20は、地図情報を取得する装置であり、例えばナビゲーション装置である。地図情報とは、例えば道路の車線数、合流地点、交通ルールなどである。地図情報取得部20は、取得した地図情報をコントローラ30に出力する。なお、地図情報取得部20は、記憶媒体から地図情報を取得してもよいし、サーバから地図情報を取得してもよい。
コントローラ30は、物体検出部10と地図情報取得部20から取得したデータを処理する回路であり、例えばIC、LSI等により構成される。コントローラ30は、これを機能的に捉えた場合、物体追跡部31と、隠蔽領域算出部32と、位置関係推定部33と、ルート算出部34と、識別番号付与部35とに分類することができる。
物体追跡部31は、現在検出された物体のパラメータと、過去に検出された物体のパラメータとを対応付けして、物体を追跡する。物体のパラメータは、物体の位置、物体の速度、物体の大きさ、物体の移動方向、物体の色などである。物体追跡部31は、物体のパラメータの対応付けができない場合、その物体は消滅したと判断する。また、物体追跡部31は、センサの検出範囲内で物体が消滅した場合、その物体は隠蔽領域に入ったと判断する。
隠蔽領域算出部32は、隠蔽領域を算出する。隠蔽領域とは、障害物によって物体が隠蔽されてしまい、物体検出部10がその物体を検出できない領域である。隠蔽領域の詳細については後述する。
位置関係推定部33は、物体追跡部31によって複数の物体が消滅したと判断された場合、消滅する前における複数の物体のパラメータを用いて、隠蔽されている複数の物体の位置関係を推定する。
ルート算出部34は、地図情報取得部20から取得した地図情報に基づいて、隠蔽されている物体が進路変更可能な車線や経路を算出する。
識別番号付与部35は、物体検出部10によって検出された物体に識別番号を付与する。また、識別番号付与部35は、物体追跡部31によって対応付けされた物体には継続して同じ識別番号を付与し、新たに検出された物体には新しい識別番号を付与する。また、識別番号付与部35は、位置関係推定部33及びルート算出部34から取得した複数の物体の位置関係や進路変更可能な経路などに基づいて、隠蔽領域から出てきた物体に識別番号を付与する。
次に、図2A〜2Cを参照して、物体の追跡方法や物体が消滅した場合の処理を説明する。図2Aに示すように、時刻tにおいて物体検出部10が物体11〜13を検出した場合、物体追跡部31は物体11〜13にトラッカーT1〜T3を設定する。トラッカーとは、物体の位置や速度を示す情報である。また、識別番号付与部35は物体11〜13に識別番号ID1〜ID3を付与する。なお、第1実施形態において、トラッカー及び識別番号は、物体を追跡するための識別情報である。
続いて、図2Bに示すように、物体追跡部31は、物体11〜13の位置情報や速度情報に基づいて、時刻t+1における物体11〜13の位置を予測する。次に、図2Cに示すように、物体追跡部31は、予測した位置に基づいてトラッカーT1〜T3を遷移させる。そして、物体追跡部31は、時刻t+1で検出した物体11〜12、14の情報と、時刻tで遷移させたトラッカーT1〜T3をマッチングする。物体追跡部31は、一定距離(例えば6m)以内に対応するトラッカーが見つからない物体14に対して、新たなトラッカーT4を設定する。また、物体追跡部31は、一定距離内に対応する物体が存在せず、一定回数以上存在しているトラッカーT3に対し、フラグを0から1に設定する。そして、物体追跡部31は、トラッカーT3が有する位置情報や速度情報を用いて予測を続ける。第1実施形態において、トラッカーに設定されるフラグには0と1の2種類がある。フラグが1とは、そのトラッカーの一定距離内に物体が存在しない状態をいう。また、フラグが0とは、そのトラッカーの一定距離内に物体が存在する状態をいう。図2Cに示す例において、トラッカーT1及びT2のフラグは0である。
次に、図3を参照して、隠蔽領域について説明する。図3に示すように、第1実施形態において、物体検出部10の検出範囲は、自車両の前方の160°である。なお、この検出範囲は一例であり、センサを車両側方や後方に取り付けることにより検出範囲は広がる。図3に示す検出範囲において、隠蔽領域算出部32は、隠蔽領域Rを算出する。具体的には、物体検出部10が自車両の左前方に他車両M1を検出した場合、隠蔽領域算出部32は、自車両M0から他車両M1の角部P1,P2に向けて伸ばした直線によって形成された領域のうち、他車両M1によって隠蔽された領域を隠蔽領域Rとして算出する。なお、他車両M1の角部P1,P2は、自車両M0から一番離れている2点である。
次に、図4A〜4D、図5を参照して、複数の物体が隠蔽領域Rに入った場合における識別情報の決定方法について説明する。図4A〜4Dの矢印は、各車両の進行方向を示す。
図4Aに示すように、時刻tにおいて、物体追跡部31は、自車両M0の周囲に存在する他車両M1〜M3に対し、トラッカーT1〜T3を設定する。また、識別番号付与部35は、他車両M1〜M3に対し識別番号ID1〜ID3を付与する。また、隠蔽領域算出部32は、他車両M3によって隠蔽された隠蔽領域Rを算出する。なお、図4AではトラッカーT1〜T3の図示は省略する。また、以後の図面においてもトラッカーの図示は省略する。
次に、図4Bに示すように、時刻t+1において、他車両M1及びM2が隠蔽領域Rに入り、物体追跡部31が他車両M1及びM2を追跡できなくなった場合、物体追跡部31は、他車両M1及びM2に設定したトラッカーT1及びT2に対し、フラグを1に設定する。次に、ルート算出部34は、地図情報に基づいて他車両M1及びM2が隠蔽領域Rから出てくる可能性のあるゾーンを算出する。図4Bに示す例では、他車両M1とM2が隠蔽領域Rから出てくる可能性のあるゾーンは、ゾーンX,Yである。
次に、位置関係推定部33は、隠蔽領域R内での他車両M1及びM2の位置関係を推定する。第1実施形態において、隠蔽領域R内の複数の物体の位置関係とは、隠蔽領域R内の位置の関係だけでなく、ゾーンから出てくる順番も含む。図4Bに示す例では、他車両M1及びM2の位置関係は、他車両M1の前方に他車両M2が存在している。位置関係推定部33は、時刻tにおける他車両M1及びM2の位置情報から、図4Bに示す位置関係を推定できる。次に、位置関係推定部33は、他車両M1及びM2が隠蔽領域RからゾーンX,Yに出てくる順番を推定する。隠蔽領域RからゾーンXに出てくる順番は、他車両M1、M2の順である。また、隠蔽領域RからゾーンYに出てくる順番は、他車両M2、M1の順である。位置関係推定部33は、推定した順番を用いて図5に示すテーブルを作成する。図5に示すテーブルにおいて、1番目ゾーンYとは、1番目にゾーンYから出てくるのはトラッカーT2であることを示す。また、2番目ゾーンY(1番目ゾーンY)とは、1番目にゾーンYから出てきた物体を検出した後に2番目にゾーンYから出てくるのはトラッカーT1であることを示す。
次に、物体検出部10は、隠蔽領域Rから出てくる物体を検出する。図4Cに示すように、時刻t+2において、他車両M2が1番目に隠蔽領域RからゾーンYに出てきた場合、物体追跡部31は、図5に示すテーブルを照合し、他車両M2に対しトラッカーT2の情報を継続する。そして物体追跡部31は、トラッカーT2のフラグを0に設定する。また、識別番号付与部35は、他車両M2に対し識別番号ID2を継続する。
次に、図4Dに示すように、時刻t+3において、他車両M1が2番目に隠蔽領域RからゾーンYに出てきた場合、物体追跡部31は、図5に示すテーブルを照合し、他車両M1に対しトラッカーT1の情報を継続し、トラッカーT1のフラグを0に設定する。また、識別番号付与部35は、他車両M1に対し識別番号ID1を継続する。
次に、図6に示すフローチャートを参照して、第1実施形態に係る物体追跡装置100の一動作例について説明する。このフローチャートは、イグニッションスイッチがオンされたときに開始する。
ステップS101において、物体検出部10は、自車両の周囲の物体を検出する。
ステップS103において、物体追跡部31は、物体にトラッカーを設定し、物体を追跡する。また、識別番号付与部35は物体に識別番号を付与する。
ステップS105において、物体追跡部31は、複数の物体が消滅したか否かを判断する。複数の物体が消滅した場合(ステップS105でYes)、処理がステップS107に進む。一方、複数の物体が消滅していない場合(ステップS105でNo)、処理がステップS103に戻る。また、物体追跡部31は、複数の物体が消滅したと判断した場合、複数の物体のトラッカーのフラグを1に設定する。
ステップS107において、隠蔽領域算出部32は、隠蔽領域を算出する。
ステップS109において、地図情報取得部20は、地図情報を取得する。
ステップS111において、ルート算出部34は、地図情報に基づいて物体が隠蔽領域から出てくる可能性のあるゾーンを算出する。
ステップS113において、位置関係推定部33は、隠蔽領域内における複数の物体の位置関係を推定する。また、位置関係推定部33は、推定した位置関係に基づいて、複数の物体が隠蔽領域からゾーンに出てくる順番を推定する。
ステップS115において、物体検出部10によって隠蔽領域から出てきた物体が検出された場合(ステップS115でYes)、処理がステップS117に進む。一方、物体が検出されない場合(ステップS115でNo)、処理は待機する。
ステップS117において、物体追跡部31は、位置関係推定部33が生成したテーブルを照合する。
ステップS119において、物体追跡部31は、テーブルの照合結果に基づいてトラッカーの情報を継続する。
ステップS121において、物体追跡部31は、継続したトラッカーのフラグを0に設定する。
ステップS123において、識別番号付与部35は、物体の識別番号を決定する。
ステップS125において、物体追跡装置100は、イグニッションスイッチがオフか否かを判定する。イグニッションスイッチがオンの場合(ステップS125でNo)、ステップS101に処理が戻る。イグニッションスイッチがオフの場合(ステップS125でYes)、物体追跡装置100は、一連の処理を終了する。
以上説明したように、第1実施形態に係る物体追跡装置100によれば、以下の作用効果が得られる。
物体追跡装置100は、複数の物体が隠蔽領域に入った場合、隠蔽領域内での複数の物体の位置関係を推定し、隠蔽領域から物体が出たとき、推定した位置関係に基づいて、物体の識別情報を決定する。これにより、物体追跡装置100は、複数の物体が隠蔽領域に入り一時的に消滅した場合でも、隠蔽される前後において誤った識別情報を付与することを防止でき、物体追跡の性能向上を図ることができる。
また、物体追跡装置100は、隠蔽領域内での複数の物体の位置関係を推定できる場合、隠蔽領域に入る前の識別情報を、物体が隠蔽領域から出たときに継続する。これにより、物体追跡装置100は、複数の物体が隠蔽領域に入り一時的に消滅した場合でも、隠蔽される前後において誤った識別情報を付与することを防止でき、物体追跡の性能向上を図ることができる。
[第2実施形態]
次に、本発明の第2実施形態について説明する。第2実施形態に係る物体追跡装置100は、第1実施形態と構成は同一である。第2実施形態では、複数の物体の位置関係が相違する。第1実施形態では、位置関係推定部33が隠蔽領域内の複数の物体の位置関係を推定できる場合を説明した。一方、第2実施形態では、位置関係推定部33が隠蔽領域内の複数の物体の位置関係を推定できない場合を説明する。
図7Aに示すように、時刻tにおいて、物体追跡部31は、自車両M0の周囲に存在する他車両M1〜M3に対し、トラッカーT1〜T3を設定する。また、識別番号付与部35は、他車両M1〜M3に対し識別番号ID1〜ID3を付与する。
次に、図7Bに示すように、時刻t+1において、他車両M1及びM2が隠蔽領域Rに入り、物体追跡部31が他車両M1及びM2を追跡できなくなった場合、物体追跡部31は、他車両M1及びM2に設定したトラッカーT1及びT2に対し、フラグを1に設定する。次に、ルート算出部34は、地図情報に基づいて他車両M1及びM2が隠蔽領域Rから出てくる可能性のあるゾーンとして、ゾーンX,Y,Zを算出する。
次に、位置関係推定部33は、隠蔽領域R内での他車両M1及びM2の位置関係を推定する。位置関係推定部33は、隠蔽領域RからゾーンX,Y,Zに出てくる他車両や、他車両M1及びM2が隠蔽領域RからゾーンZに出てくる順番を推定する。隠蔽領域RからゾーンXに出てくるのは、他車両M1である。また、隠蔽領域RからゾーンYに出てくるのは、他車両M2である。ここで図7Bに示す例では、位置関係推定部33は、隠蔽領域RからゾーンZに出てくる順番を推定できない。その理由は、他車両M1またはM2が車線変更して隠蔽領域Rから出てくる可能性があるからである。位置関係推定部33は、推定した位置関係を用いて図9に示すテーブルを作成する。
次に、物体検出部10は、隠蔽領域Rから出てくる物体を検出する。図7Cに示すように、時刻t+2において、他車両M1が1番目に隠蔽領域RからゾーンXに出てきた場合、物体追跡部31は、図9に示すテーブルを照合し、他車両M1に対しトラッカーT1の情報を継続し、トラッカーT1のフラグを0に設定する。また、識別番号付与部35は、他車両M1に対し識別番号ID1を継続する。
次に、図7Dに示すように、時刻t+3において、他車両M2が2番目に隠蔽領域RからゾーンZに出てきた場合、物体追跡部31は、図9に示すテーブルを照合し、他車両M2に対しトラッカーT2の情報を継続し、トラッカーT2のフラグを0に設定する。また、識別番号付与部35は、他車両M2に対し識別番号ID2を継続する。
一方、図8Aに示すように、時刻t+2において、物体検出部10が1番目に隠蔽領域RからゾーンZに出てきた物体11を検出した場合、物体追跡部31は、この物体11が他車両M1なのか他車両M2なのか判断できない。そこで、物体追跡部31は、図9に示すテーブルを照合し、物体11に対し新たなトラッカーT4を設定する。また、識別番号付与部35は、物体11に対し新たな識別番号ID4を付与する。このとき、物体追跡部31は、トラッカーT1及びT2の情報を削除せずに保持する。
次に、図8Bに示すように、時刻t+3において、物体検出部10が2番目に隠蔽領域RからゾーンZに出てきた物体12を検出した場合、物体追跡部31は、この物体12が他車両M1なのか他車両M2なのか判断できない。そこで、物体追跡部31は、図9に示すテーブルを照合し、物体12に対し新たなトラッカーT5を設定する。また、識別番号付与部35は、物体12に対し新たな識別番号ID5を付与する。このとき、新しい識別番号が隠蔽領域R内にいた物体の数(2つ)だけ付与されたため、物体追跡部31は、隠蔽領域R内には物体が存在しないと判断し、保持していたトラッカーT1及びT2の情報を削除する。つまり、物体追跡部31は、隠蔽領域R内に入った物体の数だけ新しい識別番号が付与された場合、保持情報を削除する。
一方、図8Cに示すように、時刻t+3において、物体検出部10が2番目に隠蔽領域RからゾーンYに出てきた物体12を検出した場合、物体追跡部31は、図9に示すテーブルを照合することにより、物体12が他車両M2であると判断できる。これにより、物体追跡部31は、物体11は他車両M1であると判断できる。よって、物体追跡部31は、他車両M1及びM2に対しトラッカーT1及びT2の情報を継続し、トラッカーT1及びT2のフラグを0に設定する。また、識別番号付与部35は、時刻t+2において、他車両M1に新たに付与した識別番号ID4を削除し、識別番号ID1を継続して付与する。また、識別番号付与部35は、他車両M2に対し識別番号ID2を継続する。
次に、図10に示すフローチャートを参照して、第2実施形態に係る物体追跡装置100の一動作例について説明する。このフローチャートは、イグニッションスイッチがオンされたときに開始する。ただし、ステップS201〜ステップS217,ステップS221〜ステップS223,ステップS233の動作はそれぞれ、図6のステップS101〜117,ステップS121〜ステップS123,ステップS125の動作と同じであるため詳細な説明を省略し、相違点のみ説明する。
ステップS219において、物体追跡部31は、トラッカーの情報を継続するか否かを判断する。物体追跡部31がトラッカーの情報を継続できる場合(ステップS219でYes)、処理がステップS221に進む。一方、物体追跡部31がトラッカーの情報を継続できない場合(ステップS219でNo)、処理がステップS225に進む。
ステップS225において、識別番号付与部35は、隠蔽領域から出てきた物体に対し、新しい識別番号を付与する。
ステップS227において、隠蔽領域Rに入ったすべての物体が検出された場合(ステップS227でYes)、処理がステップS229に進む。一方、隠蔽領域Rに入った物体のうち、検出されない物体が存在する場合(ステップS227でNo)、処理はステップS225に戻る。
ステップS229において、物体追跡部31は、再度トラッカーの情報を継続するか否かを判断する。隠蔽領域から出てくる順番によっては、物体追跡部31は、トラッカーの情報を継続できる。物体追跡部31がトラッカーの情報を継続できる場合(ステップS229でYes)、処理がステップS221に進む。一方、物体追跡部31がトラッカーの情報を継続できない場合(ステップS229でNo)、処理がステップS231に進む。
ステップS231において、物体追跡部31は、保持していたトラッカーの情報を削除する。
以上説明したように、第2実施形態に係る物体追跡装置100によれば、以下の作用効果が得られる。
物体追跡装置100は、隠蔽領域内での複数の物体の位置関係を推定できない場合、物体が隠蔽領域を出たときに新しい識別情報を物体に付与する。これにより、物体追跡装置100は、複数の物体が隠蔽領域に入り一時的に消滅した場合でも、隠蔽される前後において誤った識別情報を付与することを防止できる。また、図8Aに示す例において、特許文献1では、1番目に隠蔽領域Rから出てきたのが他車両M1にもかかわらず、他車両M2が出てきたと判断するおそれがある。この場合、自車両M0は、他車両M3を追い越して左側車線に車線変更できると判断する。他車両M2は隠蔽領域Rから出たと判断しているからである。しかし、実際には他車両M2は隠蔽領域R内にいて、他車両M2が右側車線に車線変更しようとすると、自車両M0の進路と交錯するおそれがある。一方、第2実施形態に係る物体追跡装置100は、出てきた物体11に対し、新しい識別情報を付与し、他車両M1及びM2の情報は削除しない。これにより、物体追跡装置100は、確実な運転行動をとることができる。
また、物体追跡装置100は、隠蔽領域内にいた物体の数だけ新しい識別情報を付与するまで隠蔽領域内に物体が存在すると判定する。そして、物体追跡装置100は、隠蔽領域内にいた物体の数だけ新しい識別情報を付与すると、古い識別情報を削除する。これにより、物体追跡装置100は、複数の物体が隠蔽領域に入り一時的に消滅した場合でも、隠蔽される前後において誤った識別情報を付与することを防止でき、物体追跡の性能向上を図ることができる。
[第3実施形態]
次に、本発明の第3実施形態について説明する。第3実施形態に係る物体追跡装置100は、第1実施形態と構成は同一である。第3実施形態では、走行シーンが相違する。第1実施形態では走行シーンとして分岐がない直線道路を説明したが、第3実施形態では衝突ポイントが存在する道路について説明する。
図11A〜11Cを参照して、合流地点のように衝突ポイントがある道路での物体追跡を説明する。なお、第3実施形態において、衝突ポイントとは、他車両M1及びM2の軌跡の衝突位置である。
図11Aに示すように、時刻tにおいて、物体追跡部31は、自車両M0の周囲に存在する他車両M1〜M3に対し、トラッカーT1〜T3を設定する。また、識別番号付与部35は、他車両M1〜M3に対し識別番号ID1〜ID3を付与する。
次に、図11Bに示すように、時刻t+1において、他車両M1及びM2が隠蔽領域Rに入り、物体追跡部31が他車両M1及びM2を追跡できなくなった場合、物体追跡部31は、他車両M1及びM2に設定したトラッカーT1及びT2に対し、フラグを1に設定する。次に、ルート算出部34は、地図情報に基づいて他車両M1と他車両M2とが衝突する可能性のある衝突ポイントPを算出する。次に、位置関係推定部33は、他車両M1及びM2が衝突ポイントPに到達するまでの時間Tを推定する。この時間Tは、(1)式で表される。
T=L/V・・・(1)
ここで、Lは衝突ポイントPまでの距離であり、Vは隠蔽領域Rに入る前の物体の速度である。なお、第3実施形態において複数の物体の位置関係は、隠蔽領域R内の位置の関係だけでなく、複数の物体が衝突ポイントに到達するまでの時間も含む。
物体追跡部31は、時間Tを用いてトラッカーを継続するか否かを判断する。他車両M1が衝突ポイントPに到達するまでの時間を時間TM1とし、他車両M2が衝突ポイントPに到達するまでの時間を時間TM2とすると、衝突ポイントPに到達するまでの時間差は、時間TM2−時間TM1となる。物体追跡部31は、この時間差が所定時間(例えば2秒)以上か否かを判断する。時間差が所定時間以上の場合、物体追跡部31は、優先車線にいる他車両M2が先に衝突ポイントPへ到達すると判断する。すなわち、図11Cに示すように、時刻t+2において、物体追跡部31は、隠蔽領域Rから出てきた物体は、他車両M2と判断する。物体追跡部31は、他車両M2に対しトラッカーT2の情報を継続し、トラッカーT2のフラグを0に設定する。また、識別番号付与部35は、他車両M2に対し識別番号ID2を継続する。
一方、時間差が所定時間より小さい場合、図12Aに示すように、1番目に隠蔽領域Rから出てきた物体11が検出されたとき、物体追跡部31は、物体11が他車両M1なのか他車両M2なのか判断できない。その理由は、物体追跡部31は、どちらの車両が道を譲ったのか判断できないからである。そこで、物体追跡部31は、物体11に対し新たなトラッカーT4を設定する。また、識別番号付与部35は、物体11に対し新たな識別番号ID4を付与する。このとき、物体追跡部31は、トラッカーT1及びT2の情報を削除せずに保持する。
次に、図12Bに示すように、時刻t+3において、物体検出部10が2番目に隠蔽領域Rから出てきた物体12を検出した場合、物体追跡部31は、この物体12が他車両M1なのか他車両M2なのか判断できない。そこで、物体追跡部31は、物体12に対し新たなトラッカーT5を設定する。また、識別番号付与部35は、物体12に対し新たな識別番号ID5を付与する。このとき、新しい識別番号が隠蔽領域R内にいた物体の数(2つ)だけ付与されたため、物体追跡部31は、隠蔽領域R内には物体が存在しないと判断し、保持していたトラッカーT1及びT2の情報を削除する。
次に、図13に示すフローチャートを参照して、第3実施形態に係る物体追跡装置100の一動作例について説明する。このフローチャートは、イグニッションスイッチがオンされたときに開始する。ただし、ステップS301〜ステップS309,ステップS321〜ステップS327の動作はそれぞれ、図6のステップS101〜109,ステップS119〜ステップS125の動作と同じであるため詳細な説明を省略し、相違点のみ説明する。
ステップS311において、位置関係推定部33は、複数の物体が衝突ポイントに到達するまでの時間を推定する。
ステップS313において、物体追跡部31は、複数の物体が衝突ポイントに到達するまでの時間差が所定時間以上か否かを判断する。時間差が所定時間以上の場合(ステップS313でYes)、処理がステップS321に進む。一方、時間差が所定時間未満の場合(ステップS313でNo)、処理がステップS315に進む。
ステップS315において、識別番号付与部35は、隠蔽領域から出てきた物体に対し、新しい識別番号を付与する。
ステップS317において、隠蔽領域Rに入ったすべての物体が検出された場合(ステップS317でYes)、処理がステップS319に進む。一方、隠蔽領域Rに入った物体のうち、検出されない物体が存在する場合(ステップS317でNo)、処理はステップS315に戻る。
ステップS319において、物体追跡部31は、保持していたトラッカーの情報を削除する。
以上説明したように、第3実施形態に係る物体追跡装置100によれば、以下の作用効果が得られる。
物体追跡装置100は、衝突ポイントまでの時間差を推定し、時間差が所定時間より小さい場合、物体が隠蔽領域を出たときに新しい識別情報を物体に付与する。これにより、物体追跡装置100は、複数の物体が隠蔽領域に入り一時的に消滅した場合でも、隠蔽される前後において誤った識別情報を付与することを防止できる。また、図12Aに示す例において、特許文献1では、1番目に隠蔽領域Rから出てきたのが他車両M1にもかかわらず、他車両M2が出てきたと判断するおそれがある。この場合、自車両M0は、他車両M3を追い越して左側車線に車線変更できると判断する。他車両M2は隠蔽領域Rから出たと判断しているからである。しかし、実際には他車両M2は隠蔽領域Rにいて、他車両M2が右側車線に車線変更しようとすると、自車両M0の進路と交錯するおそれがある。一方、第3実施形態に係る物体追跡装置100は、出てきた物体11に対し、新しい識別情報を付与し、他車両M1及びM2の情報は削除しない。これにより、物体追跡装置100は、確実な運転行動をとることができる。
上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
なお、上述の実施形態の各機能は、1または複数の処理回路により実装され得る。処理回路は、電気回路を含む処理装置等のプログラムされた処理装置を含む。処理回路は、また、実施形態に記載された機能を実行するようにアレンジされた特定用途向け集積回路(ASIC)や従来型の回路部品のような装置を含む。
また、本発明は、走行経路に沿って自動的に走行する自動運転車両に適用することができる。
100 物体追跡装置
10 物体検出部
20 地図情報取得部
30 コントローラ
31 物体追跡部
32 隠蔽領域算出部
33 位置関係推定部
34 ルート算出部
35 識別番号付与部

Claims (6)

  1. 移動体の周囲の物体を検出するセンサと、前記物体の検出結果に基づいて前記物体を追跡するコントローラと、を備えた物体追跡装置の物体追跡方法であって、
    前記センサの検出範囲で、複数の物体が隠蔽領域に入った場合、前記隠蔽領域内での前記複数の物体の位置関係を推定し、前記隠蔽領域から前記物体が出たとき、推定した前記位置関係に基づいて、前記物体の識別情報を決定することを特徴とする物体追跡方法。
  2. 前記隠蔽領域内での前記複数の物体の位置関係を推定できる場合、前記物体が前記隠蔽領域に入る前の識別情報を前記物体が前記隠蔽領域から出たときに継続することを特徴とする請求項1に記載の物体追跡方法。
  3. 前記隠蔽領域内での前記複数の物体の位置関係を推定できない場合、前記物体が前記隠蔽領域を出たときに新しい識別情報を前記物体に付与することを特徴とする請求項1または2に記載の物体追跡方法。
  4. 前記複数の物体の軌跡の衝突位置までに到達する時間差が所定時間より小さい場合、前記物体が前記隠蔽領域を出てきたときに新しい識別情報を前記物体に付与することを特徴とする請求項3に記載の物体追跡方法。
  5. 前記新しい識別情報が前記隠蔽領域内にいた物体の数だけ付与されるまで前記隠蔽領域内に物体が存在すると判定することを特徴とする請求項3または4に記載の物体追跡方法。
  6. 移動体の周囲の物体を検出するセンサと、
    前記センサによって検出された結果に基づいて前記物体を追跡するコントローラと、を備え、
    前記コントローラは、前記センサの検出範囲で、複数の物体が隠蔽領域に入った場合、前記隠蔽領域内での前記複数の物体の位置関係を推定し、前記隠蔽領域から前記物体が出たとき、推定した前記位置関係に基づいて、前記物体の識別情報を決定することを特徴とする物体追跡装置。
JP2018524655A 2016-06-30 2016-06-30 物体追跡方法及び物体追跡装置 Active JP6677297B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/069420 WO2018003056A1 (ja) 2016-06-30 2016-06-30 物体追跡方法及び物体追跡装置

Publications (2)

Publication Number Publication Date
JPWO2018003056A1 JPWO2018003056A1 (ja) 2019-04-04
JP6677297B2 true JP6677297B2 (ja) 2020-04-08

Family

ID=60786130

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018524655A Active JP6677297B2 (ja) 2016-06-30 2016-06-30 物体追跡方法及び物体追跡装置

Country Status (10)

Country Link
US (1) US10482612B2 (ja)
EP (1) EP3480788A1 (ja)
JP (1) JP6677297B2 (ja)
KR (1) KR102091363B1 (ja)
CN (1) CN109313804B (ja)
BR (1) BR112018077393A2 (ja)
CA (1) CA3029395A1 (ja)
MX (1) MX2018015701A (ja)
RU (1) RU2699583C1 (ja)
WO (1) WO2018003056A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6755390B2 (ja) * 2017-05-26 2020-09-16 本田技研工業株式会社 車両制御システムおよび車両制御方法
EP3832261A1 (en) * 2018-04-03 2021-06-09 Mobileye Vision Technologies Ltd. Systems and methods for determining navigational parameters
US11643115B2 (en) 2019-05-31 2023-05-09 Waymo Llc Tracking vanished objects for autonomous vehicles
CN114127822B (zh) * 2019-07-12 2024-05-10 日产自动车株式会社 信息处理装置、信息处理方法以及信息处理程序
TWI736083B (zh) 2019-12-27 2021-08-11 財團法人工業技術研究院 動作預測的方法及系統
DE102022113001A1 (de) 2022-05-24 2023-11-30 Bayerische Motoren Werke Aktiengesellschaft Lichtassistenzsystem, Fahrzeug und Verfahren zum Steuern eines Scheinwerfers eines Fahrzeuges

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7394916B2 (en) * 2003-02-10 2008-07-01 Activeye, Inc. Linking tracked objects that undergo temporary occlusion
JP2007334631A (ja) 2006-06-15 2007-12-27 Sony Corp 画像監視システムおよび物体領域追跡方法
WO2007147171A2 (en) * 2006-06-16 2007-12-21 Verificon Corporation Scalable clustered camera system and method for multiple object tracking
US20090002489A1 (en) * 2007-06-29 2009-01-01 Fuji Xerox Co., Ltd. Efficient tracking multiple objects through occlusion
JP5275059B2 (ja) * 2009-01-28 2013-08-28 三菱電機株式会社 車両検知装置、車両検知システム、車両検知装置の車両検知方法および車両検知プログラム
US8116527B2 (en) * 2009-10-07 2012-02-14 The United States Of America As Represented By The Secretary Of The Army Using video-based imagery for automated detection, tracking, and counting of moving objects, in particular those objects having image characteristics similar to background
GB2477793A (en) * 2010-02-15 2011-08-17 Sony Corp A method of creating a stereoscopic image in a client device
CN101799985B (zh) 2010-03-18 2011-10-26 招商局重庆交通科研设计院有限公司 一种公路隧道交通识别方法
JP5685906B2 (ja) * 2010-11-29 2015-03-18 富士通株式会社 シミュレーション装置およびシミュレーションプログラム
US10109065B2 (en) * 2011-01-25 2018-10-23 Qualcomm Incorporated Using occlusions to detect and track three-dimensional objects
JP6095197B2 (ja) * 2011-04-14 2017-03-15 いすゞ自動車株式会社 車両の物体検出装置
AU2012246152B2 (en) * 2011-04-21 2015-05-28 Konecranes Global Corporation Techniques for positioning a vehicle
US8908915B2 (en) * 2012-02-13 2014-12-09 National Tsing Hua University Devices and methods for tracking moving objects
JP6100581B2 (ja) * 2013-03-29 2017-03-22 株式会社デンソーウェーブ 監視装置
US9904852B2 (en) * 2013-05-23 2018-02-27 Sri International Real-time object detection, tracking and occlusion reasoning
US9390328B2 (en) * 2014-04-25 2016-07-12 Xerox Corporation Static occlusion handling using directional pixel replication in regularized motion environments
JP6648411B2 (ja) * 2014-05-19 2020-02-14 株式会社リコー 処理装置、処理システム、処理プログラム及び処理方法

Also Published As

Publication number Publication date
JPWO2018003056A1 (ja) 2019-04-04
US20190244368A1 (en) 2019-08-08
EP3480788A4 (en) 2019-05-08
WO2018003056A1 (ja) 2018-01-04
CN109313804B (zh) 2021-06-15
EP3480788A1 (en) 2019-05-08
KR102091363B1 (ko) 2020-03-19
BR112018077393A2 (pt) 2019-04-09
CA3029395A1 (en) 2018-01-04
RU2699583C1 (ru) 2019-09-06
CN109313804A (zh) 2019-02-05
US10482612B2 (en) 2019-11-19
KR20190021430A (ko) 2019-03-05
MX2018015701A (es) 2019-05-27

Similar Documents

Publication Publication Date Title
JP6677297B2 (ja) 物体追跡方法及び物体追跡装置
JP6551525B2 (ja) 駐車支援装置及び駐車支援方法
US9767696B2 (en) Method for locating an object in a blind-spot of a vehicle
EP3477614B1 (en) Vehicle control method and vehicle control device
WO2018134973A1 (ja) 車両挙動予測方法及び車両挙動予測装置
JP2005234694A (ja) 車外監視装置
WO2018002985A1 (ja) 物体追跡方法及び物体追跡装置
WO2007102520A1 (ja) 物体検出装置
JP2015001773A (ja) 車線推定装置
JP2018063476A (ja) 運転支援装置、運転支援方法及び運転支援用コンピュータプログラム
WO2017013692A1 (ja) 走行車線判定装置及び走行車線判定方法
JP2016200443A (ja) 障害物検出装置
JP2004082912A (ja) 車間距離計測装置
WO2017216856A1 (ja) 車間距離推定方法及び車間距離推定装置
JP2017174016A (ja) 車両検知装置
JP2007188349A (ja) 後方車両解析装置及び衝突予測装置
JP2014080111A (ja) 駐車支援装置
JP6772588B2 (ja) 物体追跡方法及び物体追跡装置
JP4074550B2 (ja) 物体認識装置及び認識方法
JP6455292B2 (ja) 物体検出装置及び物体検出方法
JP2010079424A (ja) 車両の運転支援装置
JP2002228748A (ja) 先行車両認識方法及び装置
JP2012137362A (ja) 走行道路推定装置、方法およびプログラム
US9495873B2 (en) Other-vehicle detection device and other-vehicle detection method
JP2004206267A (ja) 物標検出装置、及び物標検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200225

R151 Written notification of patent or utility model registration

Ref document number: 6677297

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151