JP6973302B2 - 物標認識装置 - Google Patents

物標認識装置 Download PDF

Info

Publication number
JP6973302B2
JP6973302B2 JP2018108668A JP2018108668A JP6973302B2 JP 6973302 B2 JP6973302 B2 JP 6973302B2 JP 2018108668 A JP2018108668 A JP 2018108668A JP 2018108668 A JP2018108668 A JP 2018108668A JP 6973302 B2 JP6973302 B2 JP 6973302B2
Authority
JP
Japan
Prior art keywords
target
recognition
parallel running
timing
recognized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018108668A
Other languages
English (en)
Other versions
JP2019212107A (ja
Inventor
勇樹 吉浜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018108668A priority Critical patent/JP6973302B2/ja
Priority to CN201910480935.7A priority patent/CN110570452B/zh
Priority to US16/430,527 priority patent/US11055545B2/en
Priority to DE102019115352.2A priority patent/DE102019115352A1/de
Publication of JP2019212107A publication Critical patent/JP2019212107A/ja
Application granted granted Critical
Publication of JP6973302B2 publication Critical patent/JP6973302B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、車両周辺の物標を認識する物標認識装置の技術分野に関する。
この種の装置では、認識していた物標のロスト(即ち、認識できない状態になったこと)を判定する処理が実行される。例えば特許文献1では、追跡していた移動体が遮蔽物の存在によってロストしたことを判定し、後に別の場所で写り込んだ移動体が以前認識していた移動体と同一のものであるか否か、ロスト位置に基づいて判定するという技術が開示されている。特許文献2では、追跡対象が静止したのか、それとも隠蔽された(即ち、壁等によって遮られた状態となった)のかを識別するという技術が開示されている。
特開2006−48338号公報 特開2004−258925号公報
認識範囲に存在する複数の物標が並走している(即ち、並んで同じ方向に移動している)場合、物標同士が重なることで、物標の数が一時的に減ったように認識されるという状況が発生し得る。即ち、並走していることに起因して物標をロストしてしまうことがある。しかしながら、上述した特許文献1及び2に記載された技術では、このような並走する物標のロストについては何ら想定されていない。このため、並走する物標のロストが発生した場合にも、ロストの発生を正確に検出できない、或いはロストの原因を判定できないおそれがある。ロストの原因が判定できない場合、例えばロストした物標の位置を推定することが困難になる、又は誤った位置を推定してしまうという技術的問題点も生ずる。
本発明は、例えば上記問題点に鑑みてなされたものであり、並走する物標の認識ロストを好適に判定することが可能な物標認識装置を提供することを課題とする。
本発明に係る物標認識装置の一態様では、複数の物標を認識可能な認識手段と、前記認識手段により第1のタイミングで認識された前記物標の挙動に関する挙動情報を取得する取得手段と、前記挙動情報に基づいて、前記第1のタイミングで認識された前記物標の中に、互いに並走する第1物標及び第2物標が存在していることを示す並走条件が満たされているか否かを判定する並走判定手段と、前記認識手段により第1のタイミングよりも遅い第2のタイミングで認識された前記物標の中に、前記第2物標が存在していることを示す認識条件が満たされているか否かを判定する認識判定手段と、前記第1のタイミングで認識された前記物標の数と比べて、前記第2のタイミングで認識された前記物標の数が減少していることを示す認識数条件が満たされているか否かを判定する認識数判定手段と、前記第1のタイミングで前記並走条件が満たされた後、前記第2のタイミングで前記認識条件及び前記認識数条件が満たされた場合に、前記第1物標が、前記第2物標との重なりに起因して前記認識手段による認識ができない並走物標ロスト状態になったと判定する並走物標ロスト判定手段とを備える。
本実施形態に係る車両の構成を示すブロック図である。 並走物標の認識結果を時系列で示すマップである。 並走物標同士が重なることに起因する認識ロストの具体例を示す図である。 本実施形態に係る物標認識装置の動作の流れを示すフローチャートである。 並走物標の判定方法を示す概念図である。 並走物標ロスト時の位置推定方法を示すマップである。
以下、図面を参照して物標認識装置の実施形態について説明する。
<装置構成>
まず、本実施形態に係る物標認識装置が搭載される車両の全体構成について、図1を参照して説明する。図1は、本実施形態に係る車両の構成を示すブロック図である。
図1に示すように、本実施形態に係る車両10は、カメラ110、レーダー120、LIDER(LIght Detection And Ranging)130、車内センサ140、物標認識装置200、状況評価部300、及び車両制御部400を備えて構成されている。
カメラ110は、例えば車両10の前方の画像を撮像可能な位置に配置されている。レーダー120及びLIDER130は、例えば車両10の前方に存在する障害物(例えば、歩行者等)を検出可能に構成されている。車内センサ140は、例えば車速センサ、加速度センサ、ヨーレートセンサ等を含んで構成されており、車両10の走行状況を示す各種パラメータを検出する。カメラ110、レーダー120、LIDER130、及び車内センサ140の検出結果は、それぞれ物標認識装置200に出力される構成となっている。
物標認識装置200は、車両10の各部の動作を制御可能なコントローラユニット(例えば、ECU:Electric Control Unit)であり、本実施形態では特に、車両10の周辺に存在する物標を認識し、認識した物標に関する各種情報を出力することが可能に構成されている。物標認識装置200は、その機能を実現するための処理ブロック又は物理的な処理回路として、物標認識部210、物標情報取得部220、並走判定部230、認識判定部240、認識数判定部250、並走ロスト判定部260、及び物標位置推定部270を備えている。
物標認識部210は、カメラ110の検出結果を用いて、撮像画像内(言い換えれば、車両10の周辺)に存在する物標を認識する処理を実行可能に構成されている。物標認識部210は、カメラ110に加えて、レーダー120及びLIDER130の検出結果を用いて、物標を認識する処理を実行してもよい。なお、物標認識部210による物標の具体的な認識方法については、既存の技術を適宜採用することができるため、ここでの詳細な説明は省略する。物標認識部210は、後述する付記における「認識手段」の一具体例である。
物標情報取得部220は、物標認識部210の認識結果から、認識した物標に関する各種情報(例えば、物標の位置、大きさ、速度、及び種類等)を取得することが可能に構成されている。また、本実施形態に係る物標情報取得部220は特に、各物標の移動ベクトル(即ち、移動する方向と速度を示す情報)、及び相異なる2つの物標間の距離を取得することが可能に構成されている。物標情報取得部220は、後述する付記における「取得手段」の一具体例である。また、物標情報取得部220によって検出される各種情報は、後述する付記における「挙動情報」の一具体例である。
並走判定部230は、物標情報取得部220が取得した情報に基づいて、任意の第1のタイミングにおいて物標認識部210が認識した物標の中に、互いに並走する物標(以下、適宜「並走物標」と称する)が含まれているか否かを判定可能に構成されている。なお、並走物標とは、概ね同じ方向に概ね同じ速度で移動する複数の物標である。並走物標は、典型的には、2つの物標でグループを形成しているが、3つ以上の物標を含むグループを形成してもよい。並走判定部230による具体的な並走物標の判定方法については、後に詳述する。並走判定部230の判定結果は、並走ロスト判定部260に出力される構成となっている。並走判定部230は、後述する付記における「並走判定手段」の一具体例である。
認識判定部240は、物標情報取得部220が取得した情報に基づいて、第1タイミング(即ち、並走物標が認識されたタイミング)よりも遅い第2のタイミングにおいて、並走物標に含まれる少なくとも1つの物標が認識されているか否かを判定する。即ち、第1のタイミングにおいて認識された並走物標のうち少なくとも1つの物標が、後の第2タイミングにおいても継続して認識されているか否か(言い換えれば、並走物標がカメラ110の画角内に存在しているか否か)を判定する。認識判定部240の判定結果は、並走ロスト判定部260に出力される構成となっている。認識判定部240は、後述する付記における「認識判定手段」の一具体例である。
認識数判定部250は、物標情報取得部220が取得した情報に基づいて、第2のタイミング(即ち、認識判定部240の判定タイミング)において認識されていた物標の数が、第1のタイミング(即ち、並走判定部230の判定タイミング)において認識されている物標の数と比べて減少しているか否かを判定する。即ち、認識されていた物標の数が、時間経過によって減少したか否かを判定する。なお、認識数判定部250が判定に用いる物標の数は、物標認識部210で認識されたすべての物標の数であってもよいし、並走物標として判定された物標の数であってもよい。認識数判定部250は更に、カメラ110と、並走物標として判定された物標の間に割り込んできた、遮蔽物としての他の物標の存在を検出し、認識されている物標の数の減少が遮蔽物の影響であるか否かを判定することが可能に構成されている。認識数判定部250の判定結果は、並走ロスト判定部260に出力される構成となっている。認識数判定部250は、後述する付記における「認識数判定手段」の一具体例である。
並走ロスト判定部260は、並走判定部230、認識判定部240、及び認識数判定部250の各々の判定結果に基づいて、並走物標と判定された一の物標が、並走していた他の物標と重なることに起因して認識できない状態(以下、適宜「並走物標ロスト」と称する)となっているか否かを判定する。並走ロスト判定部260による具体的な判定方法については、後に詳述する。並走ロスト判定部260は、並走物標ロストとなった物標に対して「並走物標ロスト」等の属性を付与するようにしてもよい。並走ロスト判定部260は、後述する付記における「並走物標ロスト判定手段」の一具体例である。
物標位置推定部270は、並走物標ロストが発生している場合に、並走物標ロストとなった物標の位置を推定することが可能に構成されている。物標位置推定部270による具体的な位置推定方法については、後に詳述する。物標位置推定部270は、後述する付記における「物標位置取得手段」の一具体例である。
状況評価部300は、物体認識装置200の認識結果に基づいて、車両10の走行をどのように制御すべきかを決定する。状況評価部300は、例えば車両10と認識された物体との衝突を回避するために、車両10の走行経路や走行速度、衝突回避制御(例えば、自動ブレーキ制御)等に関するパラメータを決定する。状況評価部300において決定されたパラメータは、車両制御部400に出力される構成となっている。
車両制御部400は、状況評価部300から入力されるパラメータに基づいて、車両10の各部を制御する。車両制御部400は、例えば車両10のブレーキアクチュエータ(図示せず)を制御して、車両10の自動ブレーキ制御を実行したり、車両10のステアリングアクチュエータ(図示せず)を制御して、車両10の自動ステアリング制御を実行したりする。
<並走物標認識時の技術的問題点>
次に、並走物標が認識されている場合に発生し得る技術的問題点について、図2及び図3を参照して説明する。図2は、並走物標の認識結果を時系列で示すマップである。図3は、並走物標同士が重なることに起因する認識ロストの具体例を示す図である。
図2に示すように、車両10のカメラ110の画角内に、互いに並走する第1歩行者51及び第2歩行者52が存在しているとする。なお、第1歩行者51及び第2歩行者52は、カメラ110から見て、左奥から右手前側に、図中の破線に沿うように並んで移動しているものとする。
このような例では、第1歩行者51と第2歩行者52との位置が比較的近いことに起因して、カメラ110から見た第1歩行者51と第2歩行者52が互いに重なり、結果として1つの物標として認識されてしまう状況が生じ得る。具体的には、図3に示すような状況が発生し得る。この場合、追跡していた並走物標の一方が急に消えてしまったように認識される。その結果、認識ロストの発生時においては、第2歩行者52として認識すべき物標を第1歩行者51として認識してしまうという状況が発生し得る。この場合、物標認識装置200は、第1歩行者51が第2歩行者52の位置に移動したと誤認識してしまう可能性がある。
一方で、認識ロストの発生後、第1歩行者51と第2歩行者52の重なりが解消されると、ロストしていた第1歩行者51が正常に認識されるようになる。即ち、第1歩行者51と、第2歩行者52とが別々の物標として認識されるようになる。この場合、物標認識装置200は、第1歩行者51が本来の位置に急に現れたと認識してしまう。その結果、認識ロストの解消直前まで認識していた第1歩行者51(実際には、第2歩行者52)が、急にカメラ110側に(言い換えれば、車両10に向かって)移動してきたような認識が行われてしまう。
上述したように、物標が車両10に向かって移動してきたと認識されてしまうと、状況判定部300により衝突回避制御を実行すべきと判断され、車両制御部400によって自動ブレーキが実行されてしまう可能性がある。しかし、実際には、第1歩行者51は車両10側には移動してきておらず、車両10の右側に向かって移動を続けているだけである。このように、並走物標の認識ロストが発生してしまうと、本来であれば衝突回避制御を実行すべきではないような状況において、不要な衝突回避制御が実行されてしまうことになる。本実施形態に係る物標認識装置200は、このような認識ロストに起因する技術的問題点を解消するために、後述する動作を実行する。
<動作説明>
本実施形態に係る物標認識装置200の動作の流れについて、図4を参照して説明する。図4は、本実施形態に係る物標認識装置の動作の流れを示すフローチャートである。
図4に示すように、本実施形態に係る物標認識装置200の動作時には、まず物標認識部210が、カメラ110の撮像範囲に存在する物標を認識する(ステップS101)。続いて、物標情報取得部220が、物標認識部210で認識された物標の各種情報を取得する(ステップS102)。
その後、並走判定部230が、物標認識部210で認識された物標の中に並走物標が存在しているか否かを判定する(ステップS103)。ここで、並走物標の具体的な判定方法について、図5を参照して詳細に説明する。図5は、並走物標の判定方法を示す概念図である。
図5に示すように、並走判定部230は、物標情報取得部220で取得された情報に基づいて、互いの距離がR以下である複数の物標が存在するか否かを判定する。より具体的には、並走判定部230は、図中の破線で示す半径Rの円の中に、2つ以上の物標が存在するか否かを判定する。なお、距離Rは、物標が並走する際の距離を想定して予め設定される値であり、物標間の距離がR以下であれば、それらの物標は並走している可能性が高いと判断できる。図5の例では、第1歩行者51と第2歩行者52とが半径Rの円の中に存在している。
続いて、並走判定部230は、互いの距離がR以下である複数の物標の移動ベクトルを比較して、その差分が所定の閾値Vr以下であるか否かを判定する。即ち、物標が互いに同じような動きをしているか否かを判定する。図5に示す例では、第1歩行者51の移動ベクトルV1と第2歩行者52の移動ベクトルV2との差分がVr以下であるか否かを判定すればよい。なお、移動ベクトルV1及びV2は、第1歩行者51及び第2歩行者52の過去の位置と現在の位置とを比較することで取得することができる。
並走判定部230は、互いの距離がR以下、且つ、移動ベクトルの差がVr以下である2つ以上の物標が存在している場合に、それらの物標を並走物標であると判定する。なお、上述した判定方法はあくまで一例であり、類似の振る舞いをしている2つ以上の物標の存在を判定できるのであれば、他の判定方法を利用するようにしてもよい。例えば、物標の位置、相対距離、移動ベクトルの向き及び大きさ、並びに移動ベクトル同士のなす角度等の複数の情報(つまり、物標の挙動(言い換えれば、振る舞い)に関する複数の情報)の一つを用いて又は当該複数の情報のうちの少なくとも二つを組み合わせて判定することも可能である。
図4に戻り、並走判定部230で並走物標が存在していないと判定された場合(ステップS103:NO)、以降の処理は省略され、一連の処理は終了する。並走物標が存在していなければ、並走物標ロストは発生し得ないからである。この場合、所定期間後にステップS101から処理が再開される。一方で、並走物標が存在していると判定された場合(ステップS103:YES)、認識判定部240が、並走物標の存在が認識された第1タイミングよりも後の第2タイミングにおいても、並走物標の少なくとも1つがカメラ110の画角内に存在しているか否かを判定する(ステップS104)。
認識判定部240で並走物標の少なくとも1つがカメラ110の画角内に存在していないと判定された場合(ステップS104:NO)、以降の処理は省略され、一連の処理は終了する。並走物標が画角外に出てしまった場合には、並走物標ロストは発生し得ない(そもそも認識できない)からである。一方で、並走物標の少なくとも1つがカメラ110の画角内に存在していると判定された場合(ステップS104:YES)、認識数判定部240が、並走物標とカメラ110との間に遮蔽物(即ち、物標を認識する妨げになるもの)がない状態であるか否かを判定する(ステップS105)。
なお、遮蔽物の有無は、遮蔽物となり得る物標が物標認識部210において認識されているか否かで判定することができる。或いは、遮蔽物の有無は、並走物標からカメラ110までの距離が閾値dよりも小さいか否かで判定されてもよい。ここでの閾値dは、並走物標とカメラ110(言い換えれば、車両10)とが、その間に遮蔽物が割り込む余地がないくらいに近い状態であるか否かを判定するための閾値である。並走物標からカメラ110までの距離が閾値dよりも小さい場合には、遮蔽物が割り込む余地がないと判断できるため、実際に遮蔽物を認識せずとも、遮蔽物の有無を判定する(つまり、遮蔽物がないと判定する)ことができる。
認識数判定部250で遮蔽物があると判定された場合(ステップS105:NO)、以降の処理は省略され、一連の処理は終了する。遮蔽物があると、遮蔽物に起因する認識ロストが発生してしまうため、並走物標ロストを正確に判定できないからである。一方で、遮蔽物がないと判定された場合(ステップS105:YES)、認識数判定部240は更に、第2のタイミング(即ち、認識判定部240の判定タイミング)において認識されていた物標の数が、第1のタイミング(即ち、並走判定部230の判定タイミング)において認識されている物標の数と比べて減少しているか否かを判定する(ステップS106)。この判定は、認識されている並走物標の並走物標ロストが発生したか否かを判定するために実行される。
より具体的には、認識数判定部250は、第1のタイミングにおいて認識されたすべての物標の数と、第2のタイミングで認識されたすべての物標の数とを比較して、認識されている物標の数が減少しているか否かを判定する。この場合、並走物標以外の物標の認識ロストについても判定に含まれてしまうが、並走物標以外の物標については急に認識ロストになる可能性が低いため、判定結果に大きな悪影響はない。なお、並走物標以外の物標の認識ロストを確実に排除したい場合には、並走物標にのみ着目し、第2のタイミングにおいて認識された並走物標の数が、第1のタイミングにおいて認識された並走物標の数よりも減少しているか否かを判定してもよい。例えば、認識判定部240において、並走物標の一方が認識されていると判定され、並走物標の他方が認識されていないと判定された場合には、並走物標の数が減少したと判定できる。なお、並走物標を構成する物標群が複数存在する場合(即ち、複数の並走グループが存在する場合)には、その各々について別々に判定を実施すればよい。
第1のタイミングから第2のタイミングまでに認識されている物標の数が減少していないと判定された場合(ステップS106:NO)、以降の処理は省略され、一連の処理は終了する。物標の数が減少していない場合には、並走物標ロストが発生している可能性は限りなく低いと判断できるからである。一方で、第1のタイミングから第2のタイミングまでに認識されている物標の数が減少していると判定された場合(ステップS106:YES)、並走ロスト判定部260は、並走物標ロストが発生したと判定する。即ち、第1のタイミングで並走物標が存在すると判定された後、第2のタイミングで並走物標の少なくとも1つが画角内に存在しているにもかかわらず、認識されている物標の数が減少した場合には、並走物標ロストが発生していると判定する。例えば、第1のタイミングで、並走物標である第1の歩行者51及び第2の歩行者52が認識された後、第2のタイミングで第2の歩行者52のみが認識され、第1の歩行者51が認識されなかった場合には、第1の歩行者51が並走物標ロスト状態になった(つまり、第2の歩行者52と重なることで認識できなくなった)と判定する。
並走物標ロストが発生したと判定されると、物標位置推定部270が、並走物標ロストした物標の位置を推定する(ステップS108)。ここで、並走物標ロストした物標の位置推定方法について、図6を参照して詳細に説明する。図6は、並走物標ロスト時の位置推定方法を示すマップである。
図6に示すように、物標位置推定部270は、並走物標の位置関係(相対位置)を記憶している。そして、並走物標ロストが発生すると、物標位置推定部270は、ロスト直前の位置関係に基づいて、並走物標ロストした物標の位置を推定する。具体的には、並走物標ロスト状態になった第1歩行者51と、正常に認識されている第2歩行者52との位置関係は並走物標ロストの発生前後で変化しない(即ち、並走を続けている)こと利用して、第2歩行者52の位置から少しだけずれた位置に、並走物標ロストした第1歩行者51も存在していると推定する。
なお、カメラ110の認識結果に並走物標ロストが発生してしまった場合でも、レーダー120やLIDER130の認識結果には並走物標ロストが発生しないこともあり得る。このため、物標の認識にカメラ110のみを利用している状況で並走物標ロストが発生した場合には、カメラ110に加えて又は代えて、レーダー120やLIDER130を用いて物標を認識するようにしてもよい。この場合、レーダー120やLIDER130の認識結果に基づいて、並走物標ロストした物標の位置を推定することができる。
<技術的効果>
次に、本実施形態に係る物標認識装置200によって得られる技術的効果について、説明する。
図1から6で示したように、本実施形態に係る物標認識装置200では、並走物標が存在すると判定された後で、並走物標の少なくとも1つが画角内に存在しているにもかかわらず、遮蔽物がない状況で認識されている物標の数が減少した場合には、並走物標ロストが発生していると判定する。このように、本実施形態に係る物標認識装置200によれば、比較的簡単な方法で、並走物標ロストの発生を判定することができる。即ち、装置の処理負荷を抑制しつつ、認識ロストの発生及び認識ロストの原因を好適に判定することができる。
なお、物標認識装置200で認識されている物標の数は、原則として、いずれかの物標がカメラ110の画角から外れるか、カメラ110と物標との間に遮蔽物が割り込まない限り減少しない。よって、並走物標の少なくとも1つが画角内に存在し続けているにもかかわらず、認識されている物標の数が減少した場合には、並走物標ロストが発生した(即ち、実際に画角内に存在する物標の数は減少していないが、並走物標の認識ロストによって減少しているように見えている)と判定することができる。
<付記>
以上説明した実施形態から導き出される発明の各種態様を以下に説明する。
(付記1)
付記1に記載の物標認識装置は、複数の物標を認識可能な認識手段と、前記認識手段により第1のタイミングで認識された前記物標の挙動に関する挙動情報を取得する取得手段と、前記挙動情報に基づいて、前記第1のタイミングで認識された前記物標の中に、互いに並走する第1物標及び第2物標が存在していることを示す並走条件が満たされているか否かを判定する並走判定手段と、前記認識手段により第1のタイミングよりも遅い第2のタイミングで認識された前記物標の中に、前記第2物標が存在していることを示す認識条件が満たされているか否かを判定する認識判定手段と、前記第1のタイミングで認識された前記物標の数と比べて、前記第2のタイミングで認識された前記物標の数が減少していることを示す認識数条件が満たされているか否かを判定する認識数判定手段と、前記第1のタイミングで前記並走条件が満たされた後、前記第2のタイミングで前記認識条件及び前記認識数条件が満たされた場合に、前記第1物標が、前記第2物標との重なりに起因して前記認識手段による認識ができない並走物標ロスト状態になったと判定する並走物標ロスト判定手段とを備える。
付記1に記載の物標認識装置によれば、第1のタイミングで互いに並走する第1物標及び第2物標が認識された後、第2のタイミングで第2物標が認識され、且つ、第1のタイミングで認識された物標の数よりも、第2のタイミングで認識された物標の数が減少した場合に、第1物標が並走物標ロスト状態になったと判定される。つまり、並走する物標の一方が継続して認識されているにもかかわらず、認識されている物標の数が減少した場合には、並走に起因した認識ロストが発生していると判定される。並走している物標のうち、第1物標だけが急に消えるとは考えにくく、第2物標に重なることで一時的に認識できない状態になっている可能性が高いと判断できるからである。
上述した構成によれば、並走する物標の認識ロストを好適に判定することが可能である。より具体的には、認識ロストの発生及び認識ロストの原因を正確に判定することができる。よって、例えば認識ロストに起因する物標の誤認識を回避したり、認識ロストした物標の位置を精度良く推定したりすることができる。この結果、物標の認識結果に基づく制御(例えば、衝突回避制御等)を好適に実行することが可能となる。
(付記2)
付記2に記載の物標認識装置では、前記認識判定手段は、前記第2のタイミングで前記第1物標が認識されない一方で、前記第2のタイミングで前記第2物標が認識された場合に、前記認識条件を満たすと判定する。
付記2に記載の物標認識装置によれば、認識されている物標の数の減少が、第1物標を認識できなくなったことに起因するものであると判断できる(言い換えれば、第1物標及び第2物標以外の他の物標の認識結果の影響ではないことを確認できる)ため、第1物標の並走物標ロストをより正確に判定することが可能である。
(付記3)
付記3に記載の物標認識装置は、前記第1物標が前記並走物標ロスト状態になったと判定された場合に、前記第2のタイミングにおける前記第2物標の位置情報に基づいて、前記第2のタイミングにおける前記第1物標の位置情報を取得するロスト物標位置取得手段を更に備える。
付記3に記載の物標認識装置によれば、並走物標ロストとなった第1物標が、第2の物標と並走を続けているであろう事実を利用して、認識ロスト後の第1物標位置を正確に推定することができる。
(付記4)
付記4に記載の物標認識装置は、複数の物標を認識可能な認識手段と、前記認識手段により第1のタイミングで認識された前記物標の挙動に関する挙動情報を取得する取得手段と、前記挙動情報に基づいて、前記第1のタイミングで認識された前記物標の中に、互いに並走する複数の並走物標が存在していることを示す並走条件が満たされているか否かを判定する並走判定手段と、前記認識手段により第1のタイミングよりも遅い第2のタイミングで認識された前記物標の中に、前記複数の並走物標の少なくとも一つが存在していることを示す認識条件が満たされているか否かを判定する認識判定手段と、前記第1のタイミングで認識された前記並走物標の数と比べて、前記第2のタイミングで認識された前記並走物標の数が減少していることを示す認識数条件が満たされているか否かを判定する認識数判定手段と、前記第1のタイミングで前記並走条件が満たされた後、前記第2のタイミングで前記認識条件及び前記認識数条件が満たされた場合に、前記複数の並走物標のうちの第1物標が、前記複数の並走物標のうちの第2物標との重なりに起因して前記認識手段による認識ができない並走物標ロスト状態になったと判定する並走物標ロスト判定手段とを備える。
付記4に記載の物標認識装置によれば、第1のタイミングで互いに並走する複数の並走物標が認識された後、第2のタイミングで並走物標の少なくとも一つが認識され、且つ、第1のタイミングで認識された並走物標の数よりも、第2のタイミングで認識された並走物標の数が減少した場合に、第1物標が第2物標との重なりによって並走物標ロスト状態になったと判定される。つまり、並走する物標の少なくとも1つが継続して認識されているにもかかわらず、認識されている並走物標の数が減少した場合には、並走に起因した認識ロストが発生していると判定される。このような構成によれば、並走する物標の認識ロストを好適に判定することが可能である。より具体的には、認識ロストの発生及び認識ロストの原因を正確に判定することができる。
本発明は、上述した実施形態に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う物標認識装置もまた本発明の技術的範囲に含まれるものである。
10 車両
51 第1の歩行者
52 第2の歩行者
110 カメラ
120 レーダー
130 LIDER
140 車内センサ
200 物標認識装置
210 物標認識部
220 物標情報取得部
230 並走判定部
240 認識判定部
250 認識数判定部
260 並走ロスト判定部
270 物標位置推定部
300 状況評価部
400 車両制御部

Claims (3)

  1. 複数の物標を認識可能な認識手段と、
    前記認識手段により第1のタイミングで認識された前記物標の挙動に関する挙動情報を取得する取得手段と、
    前記挙動情報に基づいて、前記第1のタイミングで認識された前記物標の中に、互いに並走する第1物標及び第2物標が存在していることを示す並走条件が満たされているか否かを判定する並走判定手段と、
    前記認識手段により第1のタイミングよりも遅い第2のタイミングで認識された前記物標の中に、前記第2物標が存在していることを示す認識条件が満たされているか否かを判定する認識判定手段と、
    前記第1のタイミングで認識された前記物標の数と比べて、前記第2のタイミングで認識された前記物標の数が減少していることを示す認識数条件が満たされているか否かを判定する認識数判定手段と、
    前記第1のタイミングで前記並走条件が満たされた後、前記第2のタイミングで前記認識条件及び前記認識数条件が満たされた場合に、前記第1物標が、前記第2物標との重なりに起因して前記認識手段による認識ができない並走物標ロスト状態になったと判定する並走物標ロスト判定手段と
    を備えることを特徴とする物標認識装置。
  2. 前記認識判定手段は、前記第2のタイミングで前記第1物標が認識されない一方で、前記第2のタイミングで前記第2物標が認識された場合に、前記認識条件を満たすと判定することを特徴とする請求項1に記載の物標認識装置。
  3. 前記第1物標が前記並走物標ロスト状態になったと判定された場合に、前記第2のタイミングにおける前記第2物標の位置情報に基づいて、前記第2のタイミングにおける前記第1物標の位置情報を取得するロスト物標位置取得手段を更に備えることを特徴とする請求項1又は2に記載の物標認識装置。
JP2018108668A 2018-06-06 2018-06-06 物標認識装置 Active JP6973302B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018108668A JP6973302B2 (ja) 2018-06-06 2018-06-06 物標認識装置
CN201910480935.7A CN110570452B (zh) 2018-06-06 2019-06-04 物标识别装置
US16/430,527 US11055545B2 (en) 2018-06-06 2019-06-04 Object recognition apparatus
DE102019115352.2A DE102019115352A1 (de) 2018-06-06 2019-06-06 Objekterkennungsvorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018108668A JP6973302B2 (ja) 2018-06-06 2018-06-06 物標認識装置

Publications (2)

Publication Number Publication Date
JP2019212107A JP2019212107A (ja) 2019-12-12
JP6973302B2 true JP6973302B2 (ja) 2021-11-24

Family

ID=68651862

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018108668A Active JP6973302B2 (ja) 2018-06-06 2018-06-06 物標認識装置

Country Status (4)

Country Link
US (1) US11055545B2 (ja)
JP (1) JP6973302B2 (ja)
CN (1) CN110570452B (ja)
DE (1) DE102019115352A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220414391A1 (en) * 2021-06-24 2022-12-29 Haier Us Appliance Solutions, Inc. Inventory management system in a refrigerator appliance

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59114681A (ja) * 1982-12-20 1984-07-02 Matsushita Electric Ind Co Ltd 形状認識方式
JP2841640B2 (ja) * 1990-02-28 1998-12-24 住友電気工業株式会社 交通流計測装置
US6118886A (en) * 1993-03-30 2000-09-12 The United States Of America As Represented By The United States Department Of Energy Automatic target recognition apparatus and method
JP4096757B2 (ja) 2003-02-25 2008-06-04 松下電工株式会社 画像追跡装置
JP4396436B2 (ja) * 2004-07-30 2010-01-13 トヨタ自動車株式会社 物標検出装置
JP4107273B2 (ja) 2004-08-04 2008-06-25 日産自動車株式会社 移動体検出装置
JP4522387B2 (ja) * 2006-03-31 2010-08-11 トヨタ自動車株式会社 画像認識装置
KR100951890B1 (ko) * 2008-01-25 2010-04-12 성균관대학교산학협력단 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법
JP5222597B2 (ja) * 2008-03-19 2013-06-26 三洋電機株式会社 画像処理装置及び方法、運転支援システム、車両
JP2009288057A (ja) * 2008-05-29 2009-12-10 Horiba Ltd 形状計測装置
US8762021B2 (en) * 2011-04-08 2014-06-24 Toyota Jidosha Kabushiki Kaisha Driving support system
JP5724955B2 (ja) * 2012-06-22 2015-05-27 トヨタ自動車株式会社 物体検出装置、情報処理装置、物体検出方法
JP5806647B2 (ja) * 2012-07-12 2015-11-10 本田技研工業株式会社 物体認識装置
CN103679742B (zh) * 2012-09-06 2016-08-03 株式会社理光 对象跟踪方法和装置
JP6020321B2 (ja) * 2013-04-11 2016-11-02 株式会社デンソー 物標検出装置及び車両制御システム
JP2015132553A (ja) * 2014-01-14 2015-07-23 トヨタ自動車株式会社 物体検出装置
JP6248778B2 (ja) * 2014-04-18 2017-12-20 株式会社デンソー 物標検出装置
JP6260482B2 (ja) * 2014-07-16 2018-01-17 株式会社デンソー 物標検出装置
JP6396714B2 (ja) * 2014-08-06 2018-09-26 株式会社デンソー 物体認識装置
JP6396838B2 (ja) * 2015-03-31 2018-09-26 株式会社デンソー 車両制御装置、及び車両制御方法
JP6572696B2 (ja) * 2015-09-11 2019-09-11 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP2017072914A (ja) * 2015-10-05 2017-04-13 トヨタ自動車株式会社 物体認識装置
JP6752024B2 (ja) * 2016-02-12 2020-09-09 日立オートモティブシステムズ株式会社 画像処理装置
JP6641633B2 (ja) * 2016-03-10 2020-02-05 スズキ株式会社 移動体検知システムおよびそのデータ整合性判定方法
JP6669090B2 (ja) * 2017-01-30 2020-03-18 株式会社デンソー 車両制御装置

Also Published As

Publication number Publication date
US11055545B2 (en) 2021-07-06
JP2019212107A (ja) 2019-12-12
US20190377960A1 (en) 2019-12-12
DE102019115352A1 (de) 2019-12-12
CN110570452B (zh) 2023-03-28
CN110570452A (zh) 2019-12-13

Similar Documents

Publication Publication Date Title
CN107490794B (zh) 物体辨识处理装置、物体辨识处理方法及自动驾驶系统
US9731728B2 (en) Sensor abnormality detection device
JP6673178B2 (ja) 車両制御装置、車両制御方法
US10871565B2 (en) Object detection apparatus and object detection method
CN111352413B (zh) 全向传感器融合系统和方法及包括该融合系统的车辆
JP6614108B2 (ja) 車両制御装置、車両制御方法
US20150219761A1 (en) Collision determination device and collision determination method
JP6694067B2 (ja) 物体検知装置及びそれを備えた車両制御システム
JP6717240B2 (ja) 物標検出装置
US11407390B2 (en) Vehicle control apparatus and vehicle control method
CN113330448B (zh) 用于车辆的传感器数据融合的方法和装置
JP6973302B2 (ja) 物標認識装置
JP6649047B2 (ja) 車両走行制御装置
JP5067091B2 (ja) 衝突判定装置
JP2017016272A (ja) 衝突予測装置
JP6672750B2 (ja) 物体検出装置
US11210955B2 (en) Collision avoidance assist apparatus
JP6834020B2 (ja) 物体認識装置および物体認識方法
EP2720211B1 (en) Other-vehicle detection device and other-vehicle detection method
CN115017467B (zh) 一种跟车目标的补偿方法、装置及存储介质
JP2020201062A (ja) 物体認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200923

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211018

R151 Written notification of patent or utility model registration

Ref document number: 6973302

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151