JP7217817B2 - 物体認識装置及び物体認識方法 - Google Patents

物体認識装置及び物体認識方法 Download PDF

Info

Publication number
JP7217817B2
JP7217817B2 JP2021561108A JP2021561108A JP7217817B2 JP 7217817 B2 JP7217817 B2 JP 7217817B2 JP 2021561108 A JP2021561108 A JP 2021561108A JP 2021561108 A JP2021561108 A JP 2021561108A JP 7217817 B2 JP7217817 B2 JP 7217817B2
Authority
JP
Japan
Prior art keywords
vehicle
sensor
information sensor
point
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021561108A
Other languages
English (en)
Other versions
JPWO2021106196A1 (ja
Inventor
正憲 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2021106196A1 publication Critical patent/JPWO2021106196A1/ja
Application granted granted Critical
Publication of JP7217817B2 publication Critical patent/JP7217817B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66Radar-tracking systems; Analogous systems
    • G01S13/72Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726Multiple target tracking
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862Combination of radar systems with sonar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865Combination of radar systems with lidar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/08Systems for measuring distance only
    • G01S13/32Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/66Sonar tracking systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details
    • G01S2013/93271Sensor installation details in the front of the vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details
    • G01S2013/93272Sensor installation details in the back of the vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details
    • G01S2013/93275Sensor installation details in the bumper area
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Description

この発明は、物体認識装置及び物体認識方法に関する。
従来、センサが物体を検知したときの検知点の位置を物体の形状モデルに当てはめ、物体の形状モデルにおける検知点の位置に基づいて、物体の航跡を形成する航跡点の位置を特定する物体認識装置が知られている(例えば、特許文献1参照)。
特開2017-215161号公報
しかし、特許文献1に示されている従来の物体認識装置では、センサの分解能によっては、検知点の位置が物体のどの位置なのかを特定することができない場合がある。この場合、検知点の位置を物体の形状モデルに当てはめることができず、物体における航跡点の位置を特定することができない。従って、物体の航跡を示す物体の航跡データの精度が下がる。
この発明は、上記のような課題を解決するためになされたものであり、物体の航跡データの精度を向上させることができる物体認識装置及び物体認識方法を得ることを目的とする。
この発明に係る物体認識装置は、物体を検知したセンサの仕様に基づいて、前記物体における少なくとも1つの候補点の位置を設定する仮設定部と、前記センサが前記物体を検知したときの検知点の前記センサに対する位置を前記物体における前記候補点の位置に基づいて補正し、前記検知点の前記センサに対する補正後の位置に基づいて、前記物体の航跡を示す航跡データを更新する更新処理部と、を備え、前記仮設定部は、前記物体を検知した前記センサの前記仕様に含まれる分解能に基づいて、前記物体における少なくとも1つの前記候補点の位置を設定し、前記分解能には、前記センサの角度分解能及び距離分解能が含まれている
この発明に係る物体認識装置によれば、物体の航跡データの精度を向上させることができる。
実施の形態1による車両制御システムの機能構成例を示すブロック図である。 図1のセンサと物体との相対的な位置関係の一例を示す図である。 図2の車両に対応する車両における検知点の位置の第1の候補となる候補点の一例を示す図である。 図2の車両に対応する車両における検知点の位置Pの第2の候補となる候補点の一例を示す図である。 車両における検知点の位置の他の候補となる候補点の一例を示す図である。 Nを自然数としたとき図3から図5の候補点の信頼度の設定例を示す図である。 図1の航跡データの一例を示す図である。 図1の検知データの補正例を示す図である。 図8の検知データに基づいた図7の航跡データの更新例を示す図である。 図7の航跡データに向きがさらに含まれている一例を示す図である。 図7の航跡データに高さがさらに含まれている一例を示す図である。 図7の航跡データに上端の位置及び下端の位置がさらに含まれている一例を示す図である。 図1の物体認識装置による処理を説明するフローチャートである。 図13のステップS20における位置補正処理を説明するフローチャートである。 図13のステップS22における判定処理の判定結果がYesである場合により分岐された処理を説明するフローチャートである。 図15のステップS51における判定処理の判定結果がNoである場合とステップS54における判定処理の判定結果がYesである場合とにより分岐された処理を説明するフローチャートである。 実施の形態2による図15のステップS51における判定処理の判定結果がNoである場合とステップS54における判定処理の判定結果がYesである場合とにより分岐された処理を説明するフローチャートである。 実施の形態3による図15のステップS51における判定処理の判定結果がNoである場合とステップS54における判定処理の判定結果がYesである場合とにより分岐された処理を説明するフローチャートである。 実施の形態4による図15のステップS51における判定処理の判定結果がNoである場合とステップS54における判定処理の判定結果がYesである場合とにより分岐された処理を説明するフローチャートである。 実施の形態5による図13のステップS20における位置補正処理を説明するフローチャートである。 ハードウェア構成例を説明する図である。 他のハードウェア構成例を説明する図である。
実施の形態1.
図1は、実施の形態1による車両制御システムの機能構成例を示すブロック図である。図1に示すように、車両制御システムは、複数の車外情報センサ1、複数の車両情報センサ2、物体認識装置3、報知制御装置4及び車両制御装置5を備えている。
複数の車外情報センサ1のそれぞれは、自車に取り付けられている。例えば、複数の車外情報センサ1のうち、一部の車外情報センサ1は、フロントバンパーの内部、リアバンパーの内部及びフロントガラスの車室側に個別に取り付けられている。フロントバンパーの内部に取り付けられた車外情報センサ1は、車両の前方又は側方にある物体を観測対象としている。リアバンパーの内部に取り付けられた車外情報センサ1は、車両の後方又は側方にある物体を観測対象としている。
また、フロントガラスの車室側に取り付けられた車外情報センサ1は、インナーリアビューミラーの隣に配置されている。フロントガラスの車室側のうちインナーリアビューミラーの隣に取り付けられた車外情報センサ1は、車両の前方にある物体を観測対象としている。
よって、自車に取り付けられた複数の車外情報センサ1のそれぞれは、自車周辺の物体に関する情報を検知データddとして取得可能なセンサである。複数の車外情報センサ1のそれぞれが取得した自車周辺の物体に関するそれぞれの検知データddは、検知データDDとして統合されて生成されている。検知データDDは、物体認識装置3に供給可能なデータ構成に生成されている。検知データDDには、少なくとも1つの検知点DPの車外情報センサ1に対する位置Pに関する情報が少なくとも1つ含まれている。
車外情報センサ1は、物体の表面におけるいずれかの点を検知点として検知することによって、物体を観測する。各検知点DPは、自車周辺において車外情報センサ1によって観測された物体における各点を示す。例えば、車外情報センサ1は、自車の周囲に光を照射光として照射し、物体における各反射点で反射した反射光を受光する。この各反射点が、各検知点DPに相当する。
また、車外情報センサ1の測定原理によって検知点DPで観測可能な物体に関する情報は異なる。車外情報センサ1の種類としては、ミリ波レーダー、レーザセンサ、超音波センサ、赤外線センサ、カメラ等を用いることができる。なお、超音波センサ及び赤外線センサの説明については省略する。
ミリ波レーダーは、例えば、自車におけるフロントバンパー及びリアバンパーのそれぞれに取り付けられている。ミリ波レーダーは、1つの送信アンテナと、複数の受信アンテナとを有している。ミリ波レーダーは、物体との距離及び相対速度を測定可能である。物体との距離及び相対速度は、例えば、FMCW(Frequency Modulation Continuous Wave)方式によって測定される。従って、ミリ波レーダーによって測定された物体との距離及び相対速度に基づいて、検知点DPの車外情報センサ1に対する位置P及び検知点DPの速度Vが観測可能である。
なお、以後の説明において、検知点DPの速度Vは、自車と物体との相対速度であってもよく、GPSをさらに利用することにより絶対位置を基準とした速度であってもよい。
ミリ波レーダーは、物体の方位角を測定可能である。物体の方位角は、複数の受信アンテナのそれぞれによって受信する各電波の位相差に基づいて測定される。従って、ミリ波レーダーによって測定された物体の方位角に基づいて、物体の向きθが観測可能である。
このように、ミリ波レーダーによれば、物体に関する情報として、検知点DPの車外情報センサ1に対する位置Pの他に、検知点DPの速度V及び物体の向きθを含む検知データDDが観測可能である。検知点DPの車外情報センサ1に対する位置P、検知点DPの速度V及び物体の向きθのうち、検知点DPの速度V及び物体の向きθのそれぞれは、物体の状態を特定する動的要素である。これらの動的要素のそれぞれは、物体特定要素である。
なお、FMCW方式のミリ波レーダーにおいては、物体との相対速度を測定するときに送信信号の周波数と受信信号の周波数とのドップラー効果による周波数シフト、即ちドップラー周波数を検知する。その検知したドップラー周波数は物体との相対速度に比例するため、ドップラー周波数から相対速度が導出可能である。
また、ミリ波レーダーの速度分解能は、ドップラー周波数の分解能によって決定される。ドップラー周波数の分解能は、受信信号の観測時間の逆数となる。よって、観測時間が長くなるほど、ドップラー周波数の分解能は高くなる。従って、観測時間が長くなるほど、ミリ波レーダーの速度分解能は高くなる。
例えば、自車が高速道路を走行中である場合には、自車が一般道路を走行中である場合と比べて、ミリ波レーダーの観測時間を長く設定する。これによって、ミリ波レーダーの速度分解能を高く設定することができる。従って、自車が高速道路を走行中である場合には、自車が一般道路を走行中である場合と比べ、速度の変化をより早く観測することができる。これにより、より早く自車の周囲の物体を観測することができる。
また、ミリ波レーダーの距離分解能は、光速を変調周波数帯域幅で除したもので定義されている。従って、変調周波数帯域幅が拡がるほど、ミリ波レーダーの距離分解能は高くなる。
例えば、自車が駐車場を走行中である場合には、自車が一般道路又は高速道路を走行中である場合と比べて、変調周波数帯域幅を拡げて設定する。これによって、ミリ波レーダーの距離分解能を高く設定することができる。ミリ波レーダーの距離分解能が高く設定された場合、自車の周囲において、検出可能な最小単位距離が細かくなるため、隣接して並んでいる物体同士を区別することができる。
例えば、自車の周囲の物体として、歩行者と車両とが存在する場合、ミリ波レーダーから照射される電磁波に対して、反射強度の低い歩行者と、反射強度の高い車両とが混在する状態である。このような状態であったとしても、歩行者から反射される電磁波が車両から反射される電磁波に吸収されないため、歩行者を検出することができる。
レーザセンサは、例えば、自車のルーフの車外に取り付けられている。レーザセンサとして、例えば、LIDAR(LIght Detection And Ranging)が自車のルーフの車外に取り付けられている。LIDARは、複数の投光部と、1つの受光部と、演算部とを有している。複数の投光部は、自車の移動方向前方に対して、垂直方向に複数の角度で配置されている。
LIDARには、TOF(Time Of Flight)方式が採用されている。具体的には、LIDARにおける複数の投光部は、予め設定された投光時間の間、水平方向に回転しながら放射状にレーザ光を投光する機能を有している。LIDARにおける受光部は、予め設定された受光時間の間、物体からの反射光を受光する機能を有している。LIDARにおける演算部は、複数の投光部における投光時刻と、受光部における受光時刻との差分となる往復時間を求める機能を有している。LIDARにおける演算部は、この往復時間に基づいて物体との距離を求める機能を有している。
LIDARは、物体との距離を求めることによって、物体との方向も測定する機能を有している。従って、LIDARによって測定された測定結果から検知点DPの車外情報センサ1に対する位置P、検知点DPの速度V及び物体の向きθが観測される。
このように、LIDARによれば、物体に関する情報として、検知点DPの車外情報センサ1に対する位置Pの他に、検知点DPの速度V及び物体の向きθを含む検知データDDが観測可能である。検知点DPの車外情報センサ1に対する位置P、検知点DPの速度V及び物体の向きθのうち、検知点DPの速度V及び物体の向きθのそれぞれは、上記で説明したように、物体特定要素である。
また、LIDARの速度分解能は、レーザ光を構成するパルスの発光間隔によって決定される。従って、レーザ光を構成するパルスの発光間隔が短くなるほど、LIDARの速度分解能は高くなる。
例えば、自車が高速道路を走行中である場合には、自車が一般道路を走行中である場合に比べて、LIDARから照射されるレーザ光を構成するパルスの発光間隔を短く設定することによって、LIDARの速度分解能を高く設定することができる。従って、自車が高速道路を走行中である場合には、自車が一般道路を走行中である場合と比べ、速度の変化をより早く観測することができる。これにより、より早く自車の周囲の物体を観測することができる。
また、LIDARの距離分解能は、レーザ光を構成するパルス幅によって決定される。従って、レーザ光を構成するパルス幅が短くなるほど、LIDARの距離分解能は高くなる。
例えば、自車が駐車場を走行中である場合には、自車が一般道路又は高速道路を走行中である場合に比べて、LIDARから照射されるレーザ光を構成するパルス幅を短く設定する。これによって、LIDARの距離分解能を高く設定することができる。LIDARの距離分解能が高く設定された場合、自車の周囲において、検出可能な最小単位距離が細かくなるため、隣接して並んでいる物体同士を区別することができる。
例えば、自車の周囲の物体として、歩行者と車両とが存在する場合、LIDARから照射されるレーザ光に対して、反射強度の低い歩行者と、反射強度の高い車両とが混在する状態である。このような状態であったとしても、歩行者から反射される反射光が車両から反射される反射光に吸収されないため、歩行者を検出することができる。
カメラは、フロントガラスの車室側のうちインナーリアビューミラーの隣に取り付けられている。カメラには、例えば、単眼カメラが用いられている。単眼カメラは、撮像素子を有している。撮像素子は、例えば、CCD(Charge Coupled Device)イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサである。単眼カメラは、撮像素子の撮像方向に対して直交する2次元空間における画素レベルを最小単位として連続的に物体の有無と距離とを検出する。単眼カメラには、例えば、赤、緑及び青の原色のフィルタをレンズに追加させた構造が含まれている。このような構造により、原色のフィルタを用いて分割した光線の視差から距離を求めることができる。従って、カメラによって測定された測定結果から検知点DPの車外情報センサ1に対する位置P、物体の幅W及び長さLが観測される。
このように、カメラによれば、物体に関する情報として、検知点DPの車外情報センサ1に対する位置Pの他に、物体の幅W及び長さLを含む検知データDDが観測可能である。検知点DPの車外情報センサ1に対する位置P、物体の幅W及び長さLのうち、物体の幅W及び長さLのそれぞれは、物体の大きさを特定する静的要素である。これらの静的要素のそれぞれは、物体特定要素である。
なお、カメラには、単眼カメラの他にも、TOFカメラ、ステレオカメラ、赤外線カメラ等が用いられている。
複数の車両情報センサ2は、車速、ステアリング角、ヨーレート等の自車の車両情報を自車データcdとして検出する機能を有している。自車データcdは、物体認識装置3に供給可能なデータ構成に生成されている。
物体認識装置3は、時刻計測部31、データ受信部32、仮設定部33、予測処理部34、相関処理部35及び更新処理部36を備えている。なお、時刻計測部31、データ受信部32、仮設定部33、予測処理部34、相関処理部35及び更新処理部36は、不揮発性メモリ又は揮発性メモリに記憶されたプログラムを実行するCPUによって実現される機能を有している。
時刻計測部31は、物体認識装置3の時刻を計測する機能を有している。時刻計測部31は、計測した時刻を共通時刻CTとして生成する。共通時刻CTは、データ受信部32に供給可能なデータ構成に生成されている。
データ受信部32は、入力インターフェースの機能を有している。
具体的には、データ受信部32は、各車外情報センサ1から検知データddを受信する機能を有している。それぞれの検知データddはデータ受信部32によって検知データDDとして統合されている。データ受信部32は、時刻計測部31によって生成された共通時刻CTを関連時刻RTとして検知データDDに関連付けることによって、検知データDDRTを生成する機能を有している。検知データDDRTは、仮設定部33及び相関処理部35のそれぞれに供給可能なデータ構成に生成されている。
データ受信部32は、車外情報センサ1から検知データddを受信した場合、検知データddを取得できたと判定する。データ受信部32は、該当する車外情報センサ1に不具合が生じていることを示す不具合フラグを0に設定し、検知データDDRTを生成する。
ここで、不具合フラグが0に設定されている場合、該当する車外情報センサ1に不具合が生じていないことを示す。また、不具合フラグが1に設定されている場合、該当する車外情報センサ1に不具合が生じていることを示す。
一方、データ受信部32は、車外情報センサ1から検知データddを受信しない場合、検知データddを取得できないと判定し、不具合フラグを1に設定し、検知データDDRTを生成しない。
また、データ受信部32は、車外情報センサ1から検知データddを受信した場合、検知データddの妥当性を判定する。データ受信部32は、検知データddの妥当性がないと判定する場合、検知データddを取得できないと判定し、該当する車外情報センサ1に対応する検知データddに妥当性がないことを示す妥当性フラグを0に設定する。データ受信部32は、検知データddの妥当性があると判定する場合、検知データddを取得できたと判定し、上記妥当性フラグを1に設定する。
このように、データ受信部32による検知データddを取得できたか否かの判定結果は、不具合フラグ及び妥当性フラグの少なくとも一方を参照することによって、参照可能である。
また、データ受信部32は、車両情報センサ2から自車データcdを受信する機能を有している。データ受信部32は、時刻計測部31によって生成された共通時刻CTを関連時刻RTとして自車データcdに関連付けることによって、自車データCDRTを生成する機能を有している。自車データCDRTは予測処理部34に供給可能なデータ構成に生成されている。
仮設定部33は、物体を検知した車外情報センサ1の分解能に基づいて、物体における少なくとも1つの候補点DPHの位置HPを設定する機能を有している。仮設定部33は、少なくとも1つの候補点DPHの位置HPを含む仮設定データDHを生成する機能を有している。仮設定データDHは、仮設定部33によって相関処理部35に供給可能なデータ構成に生成されている。
なお、車外情報センサ1の分解能は、車外情報センサ1の仕様に含まれている。
具体的には、車外情報センサ1の仕様によって、例えば、車外情報センサ1の動作設定に関する属性、車外情報センサ1の配置状況に関する属性等が特定される。車外情報センサ1の動作設定に関する属性は、観測可能な計測範囲、計測範囲の分解能、サンプリング周波数等である。車外情報センサ1の配置状況に関する属性は、車外情報センサ1の可能配置角度、車外情報センサ1の耐久可能な周囲温度、車外情報センサ1と観測対象との間の測定可能距離等である。
予測処理部34は、データ受信部32から自車データCDRTを受信する機能を有している。予測処理部34は、更新処理部36から航跡データTDRT-1を受信する機能を有している。航跡データTDRT-1には、航跡データTDのうち、今回の関連時刻RTよりも1つ前に相当する前回の関連時刻RT、即ち、関連時刻RT-1が関連付けられている。予測処理部34は、関連時刻RTにおける自車データCDRTと、関連時刻RT-1における航跡データTDRT-1とに基づいて、周知のアルゴリズムによって、関連時刻RTにおける航跡データTDRTの予測データTDRTpredを生成する機能を有している。周知のアルゴリズムは、例えば、カルマンフィルタのように観測値から時系列的に変化する物体における中心点を推定することができるアルゴリズムである。
相関処理部35は、検知データDDRTと、候補点DPHの位置HPを含む仮設定データDHと、航跡データTDRTの予測データTDRTpredとを受信する機能を有している。相関処理部35は、検知データDDRTと航跡データTDの予測データTDRTpredとに相関があるか否かを判定する機能を有している。検知データDDRTと航跡データTDRTの予測データTDRTpredとの相関関係の有無は、SNN(Simple Nearest Neighbor)アルゴリズム、GNN(Global Nearest Neighbor)アルゴリズム、JPDA(Joint Probabilistic Data Association)アルゴリズム等を用いて判定される。
具体的には、検知データDDRTと航跡データTDRTの予測データTDRTpredとの相関関係の有無は、マハラノビス距離がゲート範囲に含まれるか否かに基づいて判定される。マハラノビス距離は、検知データDDRTに含まれる検知点DPの車外情報センサ1に対する位置Pと、航跡データTDRTの予測データTDRTpredに含まれる物体における中心点の位置Pとに基づいて導出される。導出されたマハラノビス距離がゲート範囲に含まれる場合、検知データDDRTと航跡データTDRTの予測データTDRTpredとの相関関係は有ると判定される。導出されたマハラノビス距離がゲート範囲に含まれない場合、検知データDDRTと航跡データTDRTの予測データTDRTpredとの相関関係は無いと判定される。
ゲート範囲は、車外情報センサ1における観測可能範囲に設定されている。車外情報センサ1における観測可能範囲は、車外情報センサ1の種類によって異なっている。従って、ゲート範囲は、車外情報センサ1の種類に応じて異なっている。
相関処理部35は、検知データDDRTと航跡データTDRTの予測データTDRTpredとに相関がある場合、検知データDDRTと航跡データTDRTの予測データTDRTpredとの対応関係があると決定する機能を有している。相関処理部35は、決定した対応関係に関するデータと共に、検知データDDRTと、候補点DPHの位置HPを含む仮設定データDHと、航跡データTDRTの予測データTDRTpredとを統合した相関データRDRTを生成する機能を有している。相関データRDRTは、相関処理部35によって更新処理部36に供給可能なデータ構成に生成されている。
更新処理部36は、相関データRDRTを受信する機能を有している。更新処理部36は、検知点DPの位置Pと、候補点DPHの位置HPと、に基づいて、航跡データTDRTを更新する機能を有している。航跡データTDRTを更新する機能の詳細については後述する。
報知制御装置4は、航跡データTDRTを受信する機能を有している。報知制御装置4は、航跡データTDRTに基づいて、報知データを生成する機能を有している。報知データは、報知内容を特定するデータであって、出力先のデバイスに応じた形式で生成される。報知制御装置4は、報知データを図示しないディスプレイに出力することによって、ディスプレイに報知データの内容を報知させる。これにより、報知データの内容は、車室内にいる運転手に視覚的に報知される。報知制御装置4は、報知データをスピーカに出力することによって、スピーカに報知データの内容を報知させる。これにより、報知データの内容は、車室内にいる運転手に聴覚的に報知される。
車両制御装置5は、更新処理部36によって出力される航跡データTDRTを受信する機能を有している。車両制御装置5は、航跡データTDRTに基づいて、自車の動作を制御する機能を有している。車両制御装置5は、航跡データTDRTに基づいて、自車が物体を回避するように、自車の動作を制御する。
図2は、図1の車外情報センサ1と物体との相対的な位置関係の一例を示す図である。
ここで、車外情報センサ1を正面視したときの中央における点を原点Oとする。原点Oを通る左右方向の水平軸をYs軸とする。Ys軸は、車外情報センサ1を正面視したときに右方向を正の方向に定める。原点Oを通る上下方向の鉛直軸をZs軸とする。Zs軸は、車外情報センサ1を正面視したときに上方向を正の方向に定める。原点Oを通り、Ys軸及びZs軸と直交する前後方向の軸をXs軸とする。Xs軸は、車外情報センサ1の前方を正の方向に定める。
図2の破線によって示すように、車外情報センサ1の観測可能範囲は、複数の仮想的な分解能セルに分割されている。分解能セルは、車外情報センサ1の分解能に基づいて特定されている。分解能セルは、車外情報センサ1の角度分解能及び距離分解能によって車外情報センサ1の観測可能範囲を分割している。車外情報センサ1の角度分解能及び距離分解能は、上記で説明したように、車外情報センサ1の測定原理によって異なっている。
各分解能セルは、最小検知範囲MR(i,j)で特定される。ここで、iは、原点Oを基準とした周方向に沿って分解能セルの場所を特定する。jは、原点Oを基準とした同心円の径方向に沿って分解能セルの場所を特定する。従って、iの数は、車外情報センサ1の角度分解能に応じて変動する。このため、車外情報センサ1の角度分解能が高くなるほど、iの最大数は増加する。一方、jの数は、車外情報センサ1の距離分解能に応じて変動する。このため、車外情報センサ1の距離分解能が高くなるほど、jの最大数は増加する。なお、iの正負の符号については、Xs軸を基準とした時計回りを正の周方向とし、Xs軸を基準とした反時計周りを負の周方向とする。
車外情報センサ1が車両Caを検知したときには、検知点DP(Ca)は、最小検知範囲MR(3,3)に含まれている。最小検知範囲MR(3,3)は、車両Caの後方左側しか含まない大きさに設定されている。よって、検知点DP(Ca)の位置Pと、車両Caとの位置関係が特定されるので、車両Caにおける検知点DP(Ca)の位置Pは、車両Caの後方左側に特定される。また、検知点DP(Ca)が最小検知範囲MR(3,3)に含まれているため、検知点DP(Ca)の車外情報センサ1に対する位置Pは、車外情報センサ1から車両Caまでの距離が最短となる最近点の位置Pであると特定される。
一方、車外情報センサ1が車両Cbを検知したときには、検知点DP(Cb)は、最小検知範囲MR(2,7)に含まれている。原点Oを基準とした同心円の径方向に沿って比較すると、最小検知範囲MR(3,3)よりも最小検知範囲MR(2,7)の方が原点Oから離れている。最小検知範囲MR(i,j)、即ち、分解能セルが同心円の径方向に沿って原点Oから離れるほど、車外情報センサ1の角度分解能は低くなる。このため、最小検知範囲MR(2,7)における車外情報センサ1の角度分解能は、最小検知範囲MR(3,3)における車外情報センサ1の角度分解能よりも低い。
また、最小検知範囲MR(2,7)は、車両Cbの後方全体を含む大きさに設定されている。従って、検知点DP(Cb)の位置Pは、車両Cbの後方全体においてどの位置Pであるかが定まらない。従って、検知点DP(Cb)の位置Pと、車両Cbとの位置関係を特定することができない。これにより、車両Cbにおける検知点DP(Cb)の位置Pを特定することができない。
そこで、車両Cbにおける検知点DP(Cb)の位置Pを特定するための処理について説明する。
図3は、図2の車両Caに対応する車両Cmodel1における検知点DP(Cmodel1)の位置Pの第1の候補となる候補点DPH(1)の一例を示す図である。車外情報センサ1が物体として車両Cmodel1を検知したときには、検知点DP(Cmodel1)は、最小検知範囲MR(3,3)に含まれている。最小検知範囲MR(3,3)は、車両Cmodel1の後方左側しか含まない大きさに設定されている。従って、上記で説明したように、車両Cmodel1における検知点DP(Cmodel1)の位置Pとして、最近点が想定される。車両Cmodel1における検知点DP(Cmodel1)の位置Pとして最近点が想定される場合には、候補点DPH(1)の位置HPが、車両Cmodel1における検知点DP(Cmodel1)の位置Pの第1の候補となる。
換言すれば、図3の一例では、候補点DPH(1)の位置HPは、車両Cmodel1における検知点DP(Cmodel1)の位置Pの第1の候補である。
図4は、図2の車両Cbに対応する車両Cmodel1における検知点DP(Cmodel1)の位置Pの第2の候補となる候補点DPH(2)の一例を示す図である。車外情報センサ1が物体として車両Cmodel1を検知したときには、検知点DP(Cmodel1)は、最小検知範囲MR(2,7)に含まれている。最小検知範囲MR(2,7)は、車両Cmodel1の後方全体を含む大きさに設定されている。従って、上記で説明したように、検知点DP(Cmodel1)の位置Pは、車両Cmodelの後方全体においてどの位置Pであるかが定まらない。検知点DP(Cmodel1)の位置Pが車両Cmodelの後方全体においてどの位置Pであるかが定まらない場合には、候補点DPH(2)の位置HPが、車両Cmodel1における検知点DP(Cmodel1)の位置Pの第2の候補となる。候補点DPH(2)の位置HPは、車両Cmodel1の後部における後面中央点を想定している。後面中央点とは、車両Cmodel1の後部を正面視したときの中央における点である。
換言すれば、図4の一例では、候補点DPH(2)の位置HPは、車両Cmodel1における検知点DP(Cmodel1)の位置Pの第2の候補である。
図5は、車両Cmodel1における検知点DP(Cmodel1)の位置Pの他の候補となる候補点DPH(3)の一例を示す図である。車外情報センサ1が物体として車両Cmodel1を検知したときには、検知点DP(Cmodel1)は、最小検知範囲MR(-1,7)に含まれている。例えば、最小検知範囲MR(-1,3)よりも最小検知範囲MR(-1,7)の方が原点Oから離れている。このため、最小検知範囲MR(-1,7)における車外情報センサ1の角度分解能は、最小検知範囲MR(-1,3)における車外情報センサ1の角度分解能よりも低い。
具体的には、最小検知範囲MR(-1,7)は、車両Cmodel1の前方全体を含む大きさに設定されている。従って、検知点DP(Cmodel1)の位置Pは、車両Cmodel1の前方全体においてどの位置Pであるかが定まらない。検知点DP(Cmodel1)の位置Pが車両Cmodelの前方全体においてどの位置Pであるかが定まらない場合には、候補点DPH(3)の位置HPが、車両Cmodel1における検知点DP(Cmodel1)の位置Pの他の候補となる。候補点DPH(3)の位置HPは、車両Cmodel1の前部における前面中央点を想定している。前面中央点とは、車両Cmodel1の前部を正面視したときの中央における点である。
換言すれば、図5の一例では、候補点DPH(3)の位置HPは、車両Cmodel1における検知点DP(Cmodel1)の位置Pの他の候補である。
図3及び図4を参照すると、車外情報センサ1が自車の前方を監視するミリ波レーダーである場合、候補点DPH(1)及び候補点DPH(2)のそれぞれの位置HPが車両Cmodel1における検知点DP(Cmodel1)の位置Pの候補となる。
また、図4を参照すると、車外情報センサ1が自車の前方を監視するカメラであれば、候補点DPH(2)の位置HPが車両Cmodel1における検知点DP(Cmodel1)の位置Pの候補となる。
また、図3及び図5を参照すると、車外情報センサ1が自車の後方を監視するミリ波レーダーであれば、候補点DPH(1)及び候補点DPH(3)のそれぞれの位置HPが車両Cmodel1における検知点DP(Cmodel1)の位置Pの候補となる。
このように、検知点DP(Cmodel1)の位置Pの候補点DPHが複数ある場合には、複数の候補点DPH(N)のうち、1つの候補点DPHを選択する処理が実行されないと、車両Cmodel1における検知点DP(Cmodel1)の位置Pを特定することができない。そこで、複数ある候補点DPH(N)のうち、1つの候補点DPHを選択して車両Cmodel1における検知点DP(Cmodel1)の位置Pの候補に採用する処理について説明する。
図6は、Nを自然数としたとき図3から図5の候補点DPH(N)の信頼度DOR(N)の設定例を示す図である。図6の一例では、信頼度DOR(N)には、0以上1以下の実数が設定されている。上記で説明したように、車外情報センサ1が自車の前方を監視するミリ波レーダーであれば、候補点DPH(1)及び候補点DPH(2)が車両Cmodel1における検知点DP(Cmodel1)の候補となる。
そこで、候補点DPH(1)に対する信頼度DOR(1)と、候補点DPH(2)に対する信頼度DOR(2)とが比較されることによって、候補点DPH(1)及び候補点DPH(2)のいずれか一方が選択され、車両Cmodel1における検知点DP(Cmodel1)の位置Pの候補として設定される。これにより、候補点DPH(1)及び候補点DPH(2)のいずれか一方が採用される。
具体的には、上記で説明したように、分解能セルが同心円の径方向に沿って原点Oから離れるほど、車外情報センサ1の角度分解能は低くなる。言い換えれば、分解能セルが同心円の径方向に沿って原点Oに近づくほど、車外情報センサ1の角度分解能は高くなる。
従って、車外情報センサ1から検知点DP(Cmodel1)までの距離が近ければ、車両Cmodel1の後部は分解能セルに埋もれない。従って、車外情報センサ1から検知点DP(Cmodel1)までの距離が近ければ、信頼度DORは高い。
換言すれば、候補点DPHの信頼度DORは、車外情報センサ1から検知点DPまでの距離に基づいて求まる。
そこで、車外情報センサ1から検知点DP(Cmodel1)までの距離が図6の判定閾値距離DTH1未満である場合、候補点DPH(1)に対する信頼度DOR(1)が1に設定され、候補点DPH(2)に対する信頼度DOR(2)が0に設定されている。この場合、信頼度DOR(2)よりも信頼度DOR(1)の方が信頼度DORは高いため、信頼度DOR(1)が選択される。信頼度DOR(1)が選択されて設定される場合、信頼度DOR(1)に対応する候補点DPH(1)が採用される。車両Cmodel1における候補点DPH(1)の位置HPは、車両Cmodel1における最近点の位置Pである。
従って、車両Cmodel1における検知点DP(Cmodel1)の位置Pは、採用された候補点DPH(1)の位置HPによって、車両Cmodel1における最近点の位置Pにあると仮定される。
換言すれば、車外情報センサ1から検知点DP(Cmodel1)までの距離が図6の判定閾値距離DTH1未満である場合、車両Cmodel1における検知点DP(Cmodel1)の位置Pの候補として、複数の候補点DPH(N)のうち、候補点DPH(1)の位置HPが採用される。これにより、車両Cmodel1における検知点DP(Cmodel1)の位置Pは、車両Cmodel1における最近点の位置Pにあると仮定される。
一方、車外情報センサ1から検知点DP(Cmodel1)までの距離が遠ければ、車両Cmodel1の後部は分解能セルに埋もれる。従って、車外情報センサ1から検知点DP(Cmodel1)までの距離が遠ければ、信頼度DORは低い。
そこで、車外情報センサ1から検知点DP(Cmodel1)までの距離が図6の判定閾値距離DTH2以上である場合、候補点DPH(1)に対する信頼度DOR(1)が0に設定され、候補点DPH(2)に対する信頼度DOR(2)が1に設定されている。この場合、信頼度DOR(1)よりも信頼度DOR(2)の方が信頼度DORは高いため、信頼度DOR(2)が選択される。信頼度DOR(2)が選択されて設定される場合、信頼度DOR(2)に対応する候補点DPH(2)が採用される。車両Cmodel1における候補点DPH(2)の位置HPは、車両Cmodel1における後面中央点の位置Pである。
従って、車両Cmodel1における検知点DP(Cmodel1)の位置Pは、採用された候補点DPH(2)の位置HPによって、車両Cmodel1における後面中央点の位置Pにあると仮定される。
換言すれば、車外情報センサ1から検知点DP(Cmodel1)までの距離が図6の判定閾値距離DTH2以上である場合、車両Cmodel1における検知点DP(Cmodel1)の位置Pの候補として、複数ある候補点DPH(N)のうち、候補点DPH(2)の位置HPが採用される。これにより、車両Cmodel1における検知点DP(Cmodel1)の位置Pは、車両Cmodel1における後面中央点の位置Pにあると仮定される。
なお、図6の判定閾値距離DTH1は、同心円の径方向に沿った原点Oからの距離のうち、図3又は図5の最小検知範囲MR(3,3)を含む距離に設定されている。つまり、図6の判定閾値距離DTH1は、同心円の径方向に沿った原点Oからの距離のうち、図3、図4及び図5の最小検知範囲MR(i,3)を含む距離に設定されている。
一方、図6の判定閾値距離DTH2は、同心円の径方向に沿った原点Oからの距離のうち、図4の最小検知範囲MR(2,7)を含む距離に設定されている。つまり、図6の判定閾値距離DTH2は、同心円の径方向に沿った原点Oからの距離のうち、図3、図4及び図5の最小検知範囲MR(i,7)を含む距離に設定されている。
換言すれば、判定閾値距離DTH2は、判定閾値距離DTH1よりも原点Oから離れた距離に設定されている。具体的には、信頼度DOR(1)は、判定閾値距離DTH1未満においては1に設定され、判定閾値距離DTH1以降においては下がり始め、判定閾値距離DTH2以降においては0に設定されている。一方、信頼度DOR(2)は、判定閾値距離DTH1未満においては0に設定され、判定閾値距離DTH1以降においては上がり始め、判定閾値距離DTH2以降においては1に設定されている。このように、信頼度DOR(1)及び信頼度DOR(2)のそれぞれは、判定閾値距離DTH1未満と判定閾値距離DTH2以降とでは、互いに逆の傾向を示すように設定されている。判定閾値距離DTH1以上と判定閾値距離DTH2未満における信頼度DOR(1)及び信頼度DOR(2)のそれぞれは、車外情報センサ1における距離分解能と角度分解能との比率に基づいて決定される。
図7は、図1の航跡データTDの一例を示す図である。航跡データTDは、車両Cmodel2における中心点の位置P、車両Cmodel2における中心点の速度V、車両Cmodel2の幅W及び車両Cmodel2の長さLの4つを含んでいる。車両Cmodel2における中心点の位置P、車両Cmodel2における中心点の速度V、車両Cmodel2の幅W及び車両Cmodel2の長さLの4つのうち、車両Cmodel2における中心点の速度V、車両Cmodel2の幅W及び車両Cmodel2の長さLの3つは、物体特定要素である。車両Cmodel2における中心点の位置P及び車両Cmodel2における中心点の速度Vは、ミリ波レーダー又はLIDARによって観測可能な物体の状態を示す。車両Cmodel2の幅W及び車両Cmodel2の長さLは、カメラによって観測可能な物体の大きさを示す。
従って、航跡データTDとは、複数の異なる種類の車外情報センサ1の観測結果が統合されて形成されたデータである。例えば、航跡データTDは、TD(P,V,W,L)のようなベクトルデータとして構成されている。
図8は、図1の検知データDDの補正例を示す図である。検知データDDに含まれる各物体特定要素は、航跡データTDに含まれる各物体特定要素と対応している。具体的には、検知データDDは、検知点DPの車外情報センサ1に対する位置P、検知点DPの速度V、車両Cmodel2の幅W及び車両Cmodel2の長さLのうち、検知点DPの速度V、車両Cmodel2の幅W及び車両Cmodel2の長さLを物体特定要素として含んでいる。
従って、例えば、検知データDDは、航跡データTDと同様に、DD(P,V,W,L)のようなベクトルデータとして構成されている。
図8の一例では、補正前の検知データDDbeforeのうち検知点DPの車外情報センサ1に対する位置Pは、候補点DPH(1)の位置HPに基づいて特定された後、補正後の検知データDDafterとして、物体における中心点に補正されている。この検知データDDafterに含まれる検知点DPの車外情報センサ1に対する補正後の位置Pに基づいて、図7の航跡データTDは更新される。
換言すれば、更新処理部36は、検知点DPの車外情報センサ1に対する位置Pを物体における候補点DPHの位置HPに基づいて補正し、検知点DPの車外情報センサ1に対する補正後の位置Pに基づいて、物体の航跡を示す航跡データTDを更新する。
具体的には、更新処理部36は、1つの検知点DPに対応する候補点DPHの数が複数ある場合、物体の航跡を示す航跡データTDを更新する前段階として、複数の候補点DPHのそれぞれの信頼度DORと、物体における複数の候補点DPHのそれぞれの位置HPとに基づいて、検知点DPの車外情報センサ1に対する位置Pを補正する。
より具体的には、更新処理部36は、物体における複数の候補点DPHのうち、最も信頼度DORの高い候補点DPHの位置HPに基づいて、検知点DPの車外情報センサ1に対する位置Pを補正する。
例えば、最も信頼度DORが高い候補点DPHが候補点DPH(1)である場合、候補点DPH(1)が採用される。候補点DPH(1)の位置HPは、上記で説明したように、車両Cmodel2における最近点の位置Pである。これにより、車両Cmodel2における検知点DPの位置Pは、車両Cmodel2における最近点の位置Pになると仮定される。
この最近点は、図8の一例では、車両Cmodel2における後部左端に該当する。従って、車両Cmodel2における後部左端の位置Pの座標は、車外情報センサ1を原点Oとしている。車両Cmodel2における後部左端の位置Pの座標は、検知点DPの車外情報センサ1に対する位置Pの座標から定まる。車両Cmodel2における後部左端の位置Pの座標が定まれば、車外情報センサ1により検知された車両Cmodel2の幅W及び長さLを用いることにより、車両Cmodel2における後部左端の位置Pから車両Cmodel2における中心点までの補正量が正確に定まる。このように、検知点DPの位置Pから候補点DPH(1)の位置HPを介して車両Cmodel2における中心点の位置Pが特定される。
具体的には、補正前の検知データDDbeforeに含まれる検知点DPの車外情報センサ1に対する位置Pにおいて、Xs軸方向の位置PXsに車両Cmodel2の長さLの1/2が加算される。また、補正前の検知データDDbeforeに含まれる検知点DPの車外情報センサ1に対する位置Pにおいて、Ys軸方向の位置PYsに車両Cmodel2の幅Wの1/2が減算される。この結果、検知点DPの位置Pから候補点DPHの位置HPを介して車両Cmodel2における中心点の位置Pが特定される。
また、例えば、最も信頼度DORが高い候補点DPHが候補点DPH(2)である場合、候補点DPH(2)が採用される。候補点DPH(2)の位置HPは、上記で説明したように、後面中央点の位置Pである。これにより、車両Cmodel2における検知点DPの位置Pは、車両Cmodel2における後面中央点の位置Pに仮定される。
従って、車両Cmodel2における後面中央点の位置Pは、車外情報センサ1を原点Oとしている。車両Cmodel2における後面中央点の位置Pは、検知点DPの車外情報センサ1に対する位置Pの座標から定まる。車両Cmodel2における後面中央点の位置Pの座標が定まれば、車外情報センサ1により検知された車両Cmodel2の幅W及び車外情報センサ1により検知された車両Cmodel2の長さLを用いることにより、車両Cmodel2における後面中央点の位置Pから車両Cmodel2における中心点までの補正量が正確に定まる。このように、検知点DPの位置Pから候補点DPH(2)の位置HPを介して車両Cmodel2における中心点の位置Pが特定される。
具体的には、補正前の検知データDDbeforeに含まれる位置Pにおいて、Xs軸方向の位置PXsに車両Cmodel2の長さLの1/2が加算される。また、補正前の検知データDDbeforeに含まれる位置Pにおいて、Ys軸方向の位置PYsについては、候補点DPH(2)が採用されているため、そのままとなる。この結果、検知された検知点DPの位置Pから候補点DPH(2)の位置HPを介して車両Cmodel2における中心点の位置Pが特定される。
換言すれば、更新処理部36は、物体における検知点DPの位置Pを、選択した候補点DPHの位置HPに仮定する。これにより、物体における検知点DPの位置Pは候補点DPHの位置HPに特定される。この結果、物体と、検知点DPの位置Pとの位置関係が特定されることにより、物体における検知点DPの位置Pが特定される。
また、検知点DPの車外情報センサ1に対する位置Pは観測されている。従って、物体における検知点DPの位置Pと、物体の中心点の位置Pとの位置関係が特定されれば、検知点DPの車外情報センサ1に対する位置Pを物体の中心点の位置Pに補正することができる。
そこで、更新処理部36は、物体における特定された検知点DPの位置Pを物体の中心点の位置Pに補正するための補正量を求める。
更新処理部36は、求めた補正量を用いることによって、物体における検知点DPの位置Pを物体の中心点の位置Pに補正する。これにより、更新処理部36は、検知点DPの車外情報センサ1に対する位置Pを補正する。更新処理部36は、検知点DPの車外情報センサ1に対する補正後の位置Pに基づいて、物体の航跡を示す航跡データTDを更新する。
ただし、詳しくは上記で説明したように、車外情報センサ1の種類、具体的には、車外情報センサ1の測定原理によって、観測可能な検知データDDに含まれる物体特定要素が異なる。物体特定要素は、上記で説明したように、物体の状態及び大きさの少なくとも1つを特定する。
そこで、更新処理部36は、物体の状態及び大きさの少なくとも1つを特定する物体特定要素に基づいて、検知点DPの車外情報センサ1に対する位置Pを補正する。更新処理部36は、検知点DPの車外情報センサ1に対する補正後の位置Pに基づいて、航跡データTDを更新する。
例えば、検知データDDには、検知点DPの車外情報センサ1に対する位置P及び検知点DPの速度Vのみが含まれている場合、検知点DPの位置Pは候補点DPHの位置HPに仮定される。これにより、候補点DPHの位置HPを介して、検知点DPの位置Pと、車両Cmodel2との位置関係が特定される。この結果、車両Cmodel2における検知点DPの位置Pが特定されるので、車両Cmodel2における検知点DPの位置Pを介して、検知点DPの車外情報センサ1に対する位置Pを車両Cmodel2における中心点の位置Pに補正する補正量が求まる。この補正量を用いて、車両Cmodel2における検知点DPの位置Pを車両Cmodel2における中心点の位置Pに補正することにより、検知点DPの車外情報センサ1に対する位置Pが補正される。この中心点の位置Pは、検知点DPの車外情報センサ1に対する補正後の位置Pである。この中心点の位置Pに基づいて、航跡データTDは更新される。
また、例えば、検知データDDには、検知点DPの車外情報センサ1に対する位置P、検知点DPの速度V及び車両Cmodel2の幅Wのみが含まれている場合、検知点DPのYs軸方向の位置PYsについては、車両Cmodel2におけるYs軸方向の中央点の位置Pに特定され、検知点DPのXs軸方向の位置PXsについては、候補点DPHのXs軸方向の位置PXsに仮定される。これにより、車両Cmodel2におけるYs軸方向の中央点の位置Pと、候補点DPHのXs軸方向の位置PXsとを介して、検知点DPの位置Pと、車両Cmodel2との位置関係が特定される。この結果、車両Cmodel2における検知点DPの位置Pが特定されるので、車両Cmodel2における検知点DPの位置Pを介して、検知点DPの車外情報センサ1に対する位置Pを車両Cmodel2における中心点の位置Pに補正する補正量が求まる。この補正量を用いて、車両Cmodel2における検知点DPの位置Pを車両Cmodel2における中心点の位置Pに補正することにより、検知点DPの車外情報センサ1に対する位置Pが補正される。この中心点の位置Pは、検知点DPの車外情報センサ1に対する補正後の位置Pである。この中心点の位置Pに基づいて、航跡データTDは更新される。
また、例えば、検知データDDには、検知点DPの車外情報センサ1に対する位置P、検知点DPの速度V及び車両Cmodel2の長さLのみが含まれている場合、検知点DPのXs軸方向の位置PXsについては、車両Cmodel2におけるXs軸方向の中央点の位置Pに特定され、検知点DPのYs軸方向の位置PYsについては、候補点DPHのYs軸方法の位置PYsに特定される。これにより、車両Cmodel2におけるXs軸方向の中央点の位置Pと、候補点DPHのYs軸方法の位置PYsとを介して、検知点DPの位置Pと、車両Cmodel2との位置関係が特定される。この結果、車両Cmodel2における検知点DPの位置Pが特定されるので、車両Cmodel2における検知点DPの位置Pを介して、検知点DPの車外情報センサ1に対する位置Pを車両Cmodel2における中心点の位置Pに補正する補正量が求まる。この補正量を用いて、車両Cmodel2における検知点DPの位置Pを車両Cmodel2における中心点の位置Pに補正することにより、検知点DPの車外情報センサ1に対する位置Pが補正される。この中心点の位置Pは、検知点DPの車外情報センサ1に対する補正後の位置Pである。この中心点の位置Pに基づいて、航跡データTDは更新される。
また、例えば、検知データDDには、検知点DPの車外情報センサ1に対する位置P、検知点DPの速度V、車両Cmodel2の幅W及び長さLのみが含まれている場合、検知点DPのYs軸方向の位置PYsについては、車両Cmodel2におけるYs軸方向の中央点の位置Pに特定され、検知点DPのXs軸方向の位置PXsについては、車両Cmodel2におけるXs軸方向の中央点の位置Pに特定される。これにより、車両Cmodel2におけるYs軸方向の中央点の位置Pと、車両Cmodel2におけるXs軸方向の中央点の位置Pとを介して、検知点DPの位置Pと、車両Cmodel2との位置関係が特定される。この結果、車両Cmodel2における検知点DPの位置Pが特定されるので、車両Cmodel2における検知点DPの位置Pを介して、検知点DPの車外情報センサ1に対する位置Pを車両Cmodel2における中心点の位置Pに補正する補正量が求まる。この補正量を用いて、車両Cmodel2における検知点DPの位置Pを車両Cmodel2における中心点の位置Pに補正することにより、検知点DPの車外情報センサ1に対する位置Pが補正される。この中心点の位置Pは、検知点DPの車外情報センサ1に対する補正後の位置Pである。この中心点の位置Pに基づいて、航跡データTDは更新される。
航跡データTDは、具体的には、最小二乗法、カルマンフィルタ、粒子フィルタ等の追尾処理によって更新される。
なお、最も信頼度DORの高い候補点DPHの位置HPではなく、複数の候補点DPHのそれぞれの位置Pに対して信頼度DORで重み付け平均した候補点DPHの位置HPを用いてもよい。具体的には、更新処理部36は、各信頼度DORに応じて、物体における複数の候補点DPHのそれぞれの位置Pに対して重み付け平均することにより、検知点DPの車外情報センサ1に対する位置Pを補正する。
次に、検知データDDに含まれる物体特定要素と、航跡データTDに含まれる物体特定要素との組み合わせによって、航跡データTDの更新内容が変わる一例について説明する。図9は、図8の検知データDDに基づいた図7の航跡データTDの更新例を示す図である。図9の一例では、車外情報センサ1から取得できない物体特定要素に対応して個別に予め設定値が設定されている。なお、車外情報センサ1から取得できない場合、物体特定要素が無いものとして処理されている。
更新処理部36は、物体の幅W及び長さLの少なくとも1つを物体特定要素として車外情報センサ1から取得できた場合、検知データDDと航跡データTDとの相関があれば、車外情報センサ1から取得できた物体特定要素に基づいて、航跡データTDを更新する。
一方、更新処理部36は、物体の幅W及び長さLの少なくとも1つを物体特定要素として車外情報センサ1から取得できない場合、物体の幅W及び長さLのそれぞれに対応して個別に予め設定された設定値のうち、車外情報センサ1から取得できない物体特定要素に対応する設定値に基づいて、車外情報センサ1から取得できない物体特定要素の値を特定する。
図10は、図7の航跡データTDに向きθがさらに含まれている一例を示す図である。車両Cmodel2の幅Wは、車両Cmodel2の向きθに対して垂直な車両Cmodel2の大きさとなる。車両Cmodel2の長さLは、車両Cmodel2の向きθに対して平行な車両Cmodel2の大きさとなる。
車外情報センサ1の測定原理によって、車両Cmodel2の向きθが取得できる場合には、検知データDDの物体特定要素として車両Cmodel2の向きθが追加される。車外情報センサ1の測定原理によって、車両Cmodel2の向きθが取得できない場合には、車両Cmodel2、即ち、物体の対地速度に応じて向きθの設定が変わる。
物体の対地速度がゼロでない場合には、対地速度ベクトルの方向として、車両Cmodel2の向きθは観測可能となるので取得できる。一方、物体の対地速度がゼロ、即ち、物体が静止物体である場合には、初期角度0[deg]が予め設定された設定値として仮設定データDHに含まれる。
図11は、図7の航跡データTDに高さHがさらに含まれている一例を示す図である。車両Cmodel2の向きθは路面RSに平行であって、車両Cmodel2の高さHに垂直とする。
車外情報センサ1の測定原理によって、車両Cmodel2の高さHが取得できる場合には、検知データDDの物体特定要素として車両Cmodel2の高さHが追加される。車外情報センサ1の測定原理によって、車両Cmodel2の高さHが取得できない場合には、初期高さ1.5[m]が予め設定された設定値として仮設定データDHに含まれる。
図12は、図7の航跡データTDに上端ZHの位置及び下端ZLの位置がさらに含まれている一例を示す図である。ただし、上端ZHの位置≧下端ZLの位置とする。ここで、下端ZLの位置が0[m]よりも大きい場合には、物体は看板又は道路標識のように物体よりも上方に存在する物であると判定される。
車外情報センサ1の測定原理によって上端ZHの位置及び下端ZLの位置が取得できる場合には、検知データDDの検知要素として上端ZHの位置及び下端ZLの位置が追加される。車外情報センサ1の測定原理によって上端ZHの位置及び下端ZLの位置が取得できない場合には、初期上端ZHDEF=1.5[m]と初期下端ZLDEF=0[m]とが予め設定された設定値として仮設定データDHに含まれる。
図13は、図1の物体認識装置3による処理を説明するフローチャートである。ステップS11において、時刻計測部31は、現在時刻が処理時刻tkに到達したか否かを判定する。時刻計測部31によって現在時刻が処理時刻tkに到達したと判定される場合、ステップS11の処理はステップS12の処理に移行する。時刻計測部31によって現在時刻が処理時刻tkに到達していないと判定される場合、ステップS11の処理は継続する。
ステップS12において、データ受信部32は、それぞれの車外情報センサ1から検知データddを受信する。次に、ステップS12の処理は、ステップS13の処理に移行する。
ステップS13において、データ受信部32は、各車外情報センサ1から検知データddを受信した時刻を今回の関連時刻RTとして検知データDDに関連付ける。次に、ステップS13の処理は、ステップS14の処理に移行する。
ステップS14において、データ受信部32は、全ての車外情報センサ1を未使用にマークする。次に、ステップS14の処理は、ステップS15の処理に移行する。
ステップS15において、データ受信部32は、未使用の車外情報センサ1が存在するか否かを判定する。データ受信部32によって未使用の車外情報センサ1が存在すると判定される場合、ステップS15の処理は、ステップS16の処理に移行する。データ受信部32によって未使用の車外情報センサ1が存在しないと判定される場合、ステップS15の処理は、別の処理に移行せず、終了する。
ステップS16において、予測処理部34は、前回の関連時刻RTにおける航跡データTDから今回の関連時刻RTにおける航跡データTDの予測データTDRTpredを計算する。次に、ステップS16の処理は、ステップS17の処理に移行する。
ステップS17において、仮設定部33は、使用する車外情報センサ1を選択する。次に、ステップS17の処理は、ステップS18の処理に移行する。
ステップS18において、仮設定部33は、選択した車外情報センサ1の分解能に基づいて、選択した車外情報センサ1が検知した物体における少なくとも1つの候補点DPHの位置HPを設定する。次に、ステップS18の処理は、ステップS19の処理に移行する。
ステップS19において、相関処理部35は、検知データDDRTと航跡データTDの予測データTDRTpredとに相関があるか否かを判定する。相関処理部35によって検知データDDRTと航跡データTDの予測データTDRTpredとに相関があると判定される場合、ステップS19の処理は、ステップS20の処理に移行する。相関処理部35によって検知データDDRTと航跡データTDの予測データTDRTpredとに相関がないと判定される場合、ステップS19の処理は、ステップS22の処理に移行する。
ステップS20において、更新処理部36は、図14を用いて後述する位置補正処理を実行する。次に、ステップS20の処理は、ステップS21の処理に移行する。
ステップS21において、更新処理部36は、今回の関連時刻RTにおいて検知点DPの車外情報センサ1に対する補正後の位置Pに基づいて、今回の関連時刻RTにおける航跡データTDを更新する。次に、ステップS21の処理は、ステップS22の処理に移行する。
ステップS22において、仮設定部33は、検知データDDには物体特定要素が含まれているか否かを判定する。仮設定部33によって検知データDDには物体特定要素が含まれていると判定される場合、ステップS22の処理は、図15を用いて後述されるステップS51の処理に移行する。仮設定部33によって検知データDDには物体特定要素が含まれていないと判定される場合、ステップS22の処理は、ステップS23の処理に移行する。
ステップS23において、データ受信部32は、選択した車外情報センサ1を使用済みにマークする。次に、ステップS23の処理は、ステップS15の処理に移行する。
図14は、図13のステップS20における位置補正処理を説明するフローチャートである。ステップS31において、更新処理部36は、候補点DPHの数が複数あるか否かを判定する。更新処理部36によって候補点DPHの数が複数あると判定される場合、ステップS31の処理は、ステップS32の処理に移行する。更新処理部36によって候補点DPHの数が複数ないと判定される場合、ステップS31の処理は、ステップS37の処理に移行する。
ステップS32において、更新処理部36は、選択された車外情報センサ1から検知点DPまでの距離に基づいて、複数の候補点DPHのそれぞれの信頼度DORを求める。次に、ステップS32の処理は、ステップS33の処理に移行する。
ステップS33において、更新処理部36は、重み付け平均を実行するか否かを判定する。仮設定部33によって重み付け平均を実行すると判定される場合、ステップS33の処理は、ステップS34の処理に移行する。仮設定部33によって重み付け平均を実行しないと判定される場合、ステップS33の処理は、ステップS36の処理に移行する。
ステップS34において、更新処理部36は、各信頼度DORに応じて、物体における複数の候補点DPHのそれぞれの位置Pに対して重み付け平均することにより、検知点DPの車外情報センサ1に対する位置Pに対する補正量を求める。次に、ステップS34の処理は、ステップS35の処理に移行する。
ステップS35において、更新処理部36は、検知点DPの車外情報センサ1に対する位置Pに対する補正量に基づいて、今回の関連時刻RTにおける検知データDDに含まれる検知点DPの車外情報センサ1に対する位置Pを補正する。次に、ステップS35の処理は、別の処理に移行せず、位置補正処理を終了する。
ステップS36において、更新処理部36は、複数の候補点DPHの位置HPのうち、最も信頼度DORの高い候補点DPHの位置HPに基づいて、検知点DPの車外情報センサ1に対する位置Pに対する補正量を求める。次に、ステップS36の処理は、ステップS35の処理に移行する。
ステップS37において、更新処理部36は、設定された候補点DPHを採用する。次に、ステップS37の処理は、ステップS38の処理に移行する。
ステップS38において、更新処理部36は、採用した候補点DPHの位置HPに基づいて、検知点DPの車外情報センサ1に対する位置Pに対する補正量を求める。次に、ステップS38の処理は、ステップS35の処理に移行する。
図15は、図13のステップS22における判定処理の判定結果がYesである場合により分岐された処理を説明するフローチャートである。ステップS51において、仮設定部33は、選択した車外情報センサ1から受信した検知データddには検知点DPの速度Vが含まれているか否かを判定する。仮設定部33によって、選択した車外情報センサ1から受信した検知データddには検知点DPの速度Vが含まれていると判定される場合、ステップS51の処理は、ステップS52の処理に移行する。仮設定部33によって、選択した車外情報センサ1から受信した検知データddには検知点DPの速度Vが含まれていないと判定される場合、ステップS51の処理は、図16を用いて後述されるステップS81の処理に移行する。
ステップS52において、相関処理部35は、検知データDDRTと航跡データTDの予測データTDRTpredとに相関があるか否かを判定する。相関処理部35によって検知データDDRTと航跡データTDの予測データTDRTpredとに相関があると判定される場合、ステップS52の処理は、ステップS53の処理に移行する。相関処理部35によって検知データDDRTと航跡データTDの予測データTDRTpredとに相関がないと判定される場合、ステップS52の処理は、ステップS54の処理に移行する。
ステップS53において、更新処理部36は、今回の関連時刻RTにおける検知点DPの速度Vに基づいて、今回の関連時刻RTにおける航跡データTDに含まれる物体における中心点の速度Vを更新する。次に、ステップS53の処理は、ステップS54の処理に移行する。
ステップS54において、仮設定部33は、選択した車外情報センサ1から受信した検知データddには他の物体特定要素が含まれているか否かを判定する。仮設定部33によって、選択した車外情報センサ1から受信した検知データddには他の物体特定要素が含まれていると判定される場合、ステップS54の処理は、図16を用いて後述されるステップS81の処理に移行する。仮設定部33によって、選択した車外情報センサ1から受信した検知データddには他の物体特定要素が含まれていないと判定される場合、ステップS54の処理は、ステップS55の処理に移行する。
ステップS55において、データ受信部32は、選択した車外情報センサ1を使用済みにマークする。次に、ステップS55の処理は、図13のステップS15の処理に戻る。
図16は、図15のステップS51における判定処理の判定結果がNoである場合とステップS54における判定処理の判定結果がYesである場合とにより分岐された処理を説明するフローチャートである。ステップS81において、仮設定部33は、選択した車外情報センサ1から受信した検知データddに含まれる残りの物体特定要素である物体の幅W及び長さLの少なくとも1つを物体特定要素として車外情報センサ1から取得できたか否かを判定する。仮設定部33によって、選択した車外情報センサ1から受信した検知データddに含まれる残りの物体特定要素である物体の幅W及び長さLの少なくとも1つを物体特定要素として車外情報センサ1から取得できたと判定される場合、ステップS81の処理は、ステップS82の処理に移行する。仮設定部33によって、選択した車外情報センサ1から受信した検知データddに含まれる残りの物体特定要素である物体の幅W及び長さLの少なくとも1つを物体特定要素として車外情報センサ1から取得できないと判定される場合、ステップS81の処理は、ステップS85の処理に移行する。
ステップS82において、相関処理部35は、検知データDDRTと航跡データTDの予測データTDRTpredとに相関があるか否かを判定する。相関処理部35によって、検知データDDRTと航跡データTDの予測データTDRTpredとに相関があると判定される場合、ステップS82の処理は、ステップS83の処理に移行する。相関処理部35によって、検知データDDRTと航跡データTDの予測データTDRTpredとに相関がないと判定される場合、ステップS82の処理は、ステップS84の処理に移行する。
ステップS83において、更新処理部36は、今回の関連時刻RTにおける物体の幅W及び長さLのうち、車外情報センサ1から取得できた物体特定要素に基づいて、今回の関連時刻RTにおける航跡データTDに含まれる物体特定要素のうち、車外情報センサ1から取得できた物体特定要素に対応する物体特定要素を更新する。次に、ステップS83の処理は、ステップS84の処理に移行する。
ステップS84において、データ受信部32は、選択した車外情報センサ1を使用済みにマークする。次に、ステップS84の処理は、図13のステップS15の処理に戻る。
ステップS85において、更新処理部36は、物体の幅W及び長さLのそれぞれに対応して個別に予め設定された設定値のうち、車外情報センサ1から取得できない物体特定要素に対応する設定値に基づいて、車外情報センサ1から取得できない物体特定要素を特定する。次に、ステップS85の処理は、ステップS86の処理に移行する。
ステップS86において、更新処理部36は、特定した物体特定要素の値に基づいて、今回の関連時刻RTにおける航跡データTDに含まれる物体特定要素のうち、特定した物体特定要素に対応する物体特定要素を更新する。次に、ステップS86の処理は、ステップS84の処理に移行する。
以上の説明から、物体認識装置3において、仮設定部33は、物体を検知した車外情報センサ1の仕様に基づいて、物体における少なくとも1つの候補点DPHの位置HPを設定する。また、物体認識装置3において、更新処理部36は、車外情報センサ1が物体を検知したときの検知点DPの車外情報センサ1に対する位置を物体における候補点DPHの位置HPに基づいて補正する。更新処理部36は、検知点DPの車外情報センサ1に対する補正後の位置Pに基づいて、物体の航跡を示す航跡データTDを更新する。
車外情報センサ1は、上記で説明したように、車外情報センサ1の仕様によって異なる分解能となる。そこで、更新処理部36は、航跡データTDを更新する前段階で、候補点DPHの位置に基づいて、検知点DPの位置Pを補正する。仮設定部33は、更新処理部36により検知点DPの位置Pが補正される前段階で、物体を検知した車外情報センサ1の仕様に基づいて、物体における少なくとも1つの候補点DPHの位置HPを設定する。従って、車外情報センサ1の仕様に含まれる分解能に起因するずれを補正した検知点DPの車外情報センサ1に対する補正後の位置Pに基づいて、航跡データTDを更新することができる。これにより、物体の航跡データTDの精度を向上させることができる。
更新処理部36は、1つの検知点DPに対応する候補点DPHの数が複数ある場合、複数の候補点DPHのそれぞれの信頼度DORと、物体における複数の候補点DPHのそれぞれの位置Pとに基づいて、検知点DPの車外情報センサ1に対する位置Pを補正する。従って、候補点DPHの位置HPの信頼度DORも考慮された上で、検知点DPの車外情報センサ1に対する位置Pを補正する。これにより、複数の候補点DPHのそれぞれを効果的に利用することができる。
また、更新処理部36は、物体における複数の候補点DPHの位置HPのうち、最も信頼度DORの高い候補点DPHの位置HPに基づいて、検知点DPの車外情報センサ1に対する位置Pを補正する。
1つの物体における候補点DPHが複数あれば、1つの物体における複数の候補点DPHの位置HPのそれぞれの設定精度は、異なる可能性がある。よって、更新処理部36は、1つの物体における複数の候補点DPHの位置HPのうち、信頼度DORが最大の候補点DPHの位置HPに基づいて、検知点DPの車外情報センサ1に対する位置Pを補正する。従って、1つの物体における最も設定精度の高い候補点DPHの位置HPを利用することができる。これにより、同一の車外情報センサ1の分解能に基づいて設定された1つの物体における複数の候補点DPHの位置HPのうち最も設定精度の高い候補点DPHの位置HPを利用することができる。
また、更新処理部36は、各信頼度DORに応じて、1つの物体における複数の候補点DPHのそれぞれの位置Pに対して重み付け平均することにより、検知点DPの車外情報センサ1に対する位置Pを補正する。
1つの物体における候補点DPHが複数あれば、1つの物体における複数の候補点DPHの位置HPのそれぞれの設定精度は異なる。よって、更新処理部36は、1つの物体における複数の候補点DPHの位置HPに対して重み付け平均することにより、検知点DPの車外情報センサ1に対する位置Pを補正する。従って、1つの物体における複数の候補点DPHのうち、信頼度DORの低い候補点DPHの影響を弱め、信頼度DORの高い候補点DPHの影響を強めた上で、検知点DPの車外情報センサ1に対する位置Pを補正することができる。これにより、同一の車外情報センサ1の分解能に基づいて設定された1つの物体における複数の候補点DPHの位置HPのそれぞれの信頼度DORを反映させた上で検知点DPの車外情報センサ1に対する位置Pを補正することができる。
また、更新処理部36は、車外情報センサ1から検知点DPまでの距離に基づいて、各信頼度DORを求める。
車外情報センサ1の分解能は、車外情報センサ1から検知点DPまでの距離によって異なる分解能となる。例えば、車外情報センサ1がミリ波レーダーから構成されている場合には、検知点DPまでの距離が近ければ、検知点DPが最近点である可能性が高い。一方、検知点DPまでの距離が遠ければ、検知点DPが分解能セルに埋もれる。よって、検知点DPは、物体の中央から反射されている反射点として仮定される。従って、更新処理部36は、車外情報センサ1から検知点DPまでの距離に基づいて、各信頼度を求める。これにより、車外情報センサ1の性能に基づいて信頼度DORを求めることができる。
また、更新処理部36は、物体の幅W及び長さLの少なくとも1つを物体特定要素として車外情報センサ1から取得できない場合、物体の幅W及び長さLのそれぞれに対応して個別に予め設定された設定値のうち、車外情報センサ1から取得できない物体特定要素に対応する設定値に基づいて、車外情報センサ1から取得できない物体特定要素の値を特定する。
従って、車外情報センサ1から物体の幅W及び長さLを取得できなかったとしても、誤差を抑えて航跡データTDを更新することができる。これにより、自車と、物体との相対的な位置関係を大きく外すことがないので、自車の自動運転の精度の低下を最小限に抑えることができる。
実施の形態2.
実施の形態2において、実施の形態1と同一又は同等の構成及び機能については、その説明を省略する。実施の形態2は、図15のステップS51における判定処理の判定結果がNoである場合とステップS54における判定処理の判定結果がYesである場合とにより分岐された処理が実施の形態1と異なる。他の構成は、実施の形態1と同様である。つまり、その他の構成は実施の形態1と同一又は同等の構成及び機能であり、これらの部分には同一符号を付している。
図17は、実施の形態2による図15のステップS51における判定処理の判定結果がNoである場合とステップS54における判定処理の判定結果がYesである場合とにより分岐された処理を説明するフローチャートである。ステップS91において、仮設定部33は、選択した車外情報センサ1から受信した検知データddに含まれる残りの物体特定要素である物体の幅W、長さL及び向きθの少なくとも1つを物体特定要素として車外情報センサ1から取得できたか否かを判定する。仮設定部33によって、選択した車外情報センサ1から受信した検知データddに含まれる残りの物体特定要素である物体の幅W、長さL及び向きθの少なくとも1つを物体特定要素として車外情報センサ1から取得できたと判定される場合、ステップS91の処理は、ステップS92の処理に移行する。仮設定部33によって、選択した車外情報センサ1から受信した検知データddに含まれる残りの物体特定要素である物体の幅W、長さL及び向きθの少なくとも1つを物体特定要素として車外情報センサ1から取得できないと判定される場合、ステップS91の処理は、ステップS95の処理に移行する。
ステップS92において、相関処理部35は、検知データDDRTと航跡データTDの予測データTDRTpredとに相関があるか否かを判定する。相関処理部35によって、検知データDDRTと航跡データTDの予測データTDRTpredとに相関があると判定される場合、ステップS92の処理は、ステップS93の処理に移行する。相関処理部35によって、検知データDDRTと航跡データTDの予測データTDRTpredとに相関がないと判定される場合、ステップS92の処理は、ステップS94の処理に移行する。
ステップS93において、更新処理部36は、今回の関連時刻RTにおける物体の幅W、長さL及び向きθのうち、車外情報センサ1から取得できた物体特定要素に基づいて、今回の関連時刻RTにおける航跡データTDに含まれる物体特定要素のうち、車外情報センサ1から取得できた物体特定要素に対応する物体特定要素を更新する。次に、ステップS93の処理は、ステップS94の処理に移行する。
ステップS94において、データ受信部32は、選択した車外情報センサ1を使用済みにマークする。次に、ステップS94の処理は、図13のステップS15の処理に戻る。
ステップS95において、更新処理部36は、物体の幅W、長さL及び向きθのそれぞれに対応して個別に予め設定された設定値のうち、車外情報センサ1から取得できない物体特定要素に対応する設定値に基づいて、車外情報センサ1から取得できない物体特定要素を特定する。次に、ステップS95の処理は、ステップS96の処理に移行する。
ステップS96において、更新処理部36は、特定した物体特定要素の値に基づいて、今回の関連時刻RTにおける航跡データTDに含まれる物体特定要素のうち、特定した物体特定要素に対応する物体特定要素を更新する。次に、ステップS96の処理は、ステップS94の処理に移行する。
以上の説明によれば、物体認識装置3において、更新処理部36は、物体の幅W、長さL及び向きθの少なくとも1つを物体特定要素として車外情報センサ1から取得できない場合、物体の幅W、長さL及び向きθのそれぞれに対応して個別に予め設定された設定値のうち、車外情報センサ1から取得できない物体特定要素に対応する設定値に基づいて、車外情報センサ1から取得できない物体特定要素の値を特定する。
従って、車外情報センサ1から物体の幅W、長さL及び向きθを取得できなかったとしても、誤差を抑えて航跡データTDを更新することができる。これにより、自車と、物体との相対的な位置関係を大きく外すことがないので、自車の自動運転の精度の低下を最小限に抑えることができる。
実施の形態3.
実施の形態3において、実施の形態1並びに実施の形態2と同一又は同等の構成及び機能については、その説明を省略する。実施の形態3は、図15のステップS51における判定処理の判定結果がNoである場合とステップS54における判定処理の判定結果がYesである場合とにより分岐された処理が実施の形態1並びに実施の形態2と異なる。他の構成は、実施の形態1並びに実施の形態2と同様である。つまり、その他の構成は実施の形態1並びに実施の形態2と同一又は同等の構成及び機能であり、これらの部分には同一符号を付している。
図18は、実施の形態3による図15のステップS51における判定処理の判定結果がNoである場合とステップS54における判定処理の判定結果がYesである場合とにより分岐された処理を説明するフローチャートである。ステップS101において、仮設定部33は、選択した車外情報センサ1から受信した検知データddに含まれる残りの物体特定要素である物体の幅W、長さL、向きθ及び高さHの少なくとも1つを物体特定要素として車外情報センサ1から取得できたか否かを判定する。仮設定部33によって、選択した車外情報センサ1から受信した検知データddに含まれる残りの物体特定要素である物体の幅W、長さL、向きθ及び高さHの少なくとも1つを物体特定要素として車外情報センサ1から取得できたと判定される場合、ステップS101の処理は、ステップS102の処理に移行する。仮設定部33によって、選択した車外情報センサ1から受信した検知データddに含まれる残りの物体特定要素である物体の幅W、長さL、向きθ及び高さHの少なくとも1つを物体特定要素として車外情報センサ1から取得できないと判定される場合、ステップS101の処理は、ステップS105の処理に移行する。
ステップS102において、相関処理部35は、検知データDDRTと航跡データTDの予測データTDRTpredとに相関があるか否かを判定する。相関処理部35によって、検知データDDRTと航跡データTDの予測データTDRTpredとに相関があると判定される場合、ステップS102の処理は、ステップS103の処理に移行する。相関処理部35によって、検知データDDRTと航跡データTDの予測データTDRTpredとに相関がないと判定される場合、ステップS102の処理は、ステップS104の処理に移行する。
ステップS103において、更新処理部36は、今回の関連時刻RTにおける物体の幅W、長さL、向きθ及び高さHのうち、車外情報センサ1から取得できた物体特定要素に基づいて、今回の関連時刻RTにおける航跡データTDに含まれる物体特定要素のうち、車外情報センサ1から取得できた物体特定要素に対応する物体特定要素を更新する。次に、ステップS103の処理は、ステップS104の処理に移行する。
ステップS104において、データ受信部32は、選択した車外情報センサ1を使用済みにマークする。次に、ステップS104の処理は、図13のステップS15の処理に戻る。
ステップS105において、更新処理部36は、物体の幅W、長さL、向きθ及び高さHのそれぞれに対応して個別に予め設定された設定値のうち、車外情報センサ1から取得できない物体特定要素に対応する設定値に基づいて、車外情報センサ1から取得できない物体特定要素を特定する。次に、ステップS105の処理は、ステップS106の処理に移行する。
ステップS106において、更新処理部36は、特定した物体特定要素の値に基づいて、今回の関連時刻RTにおける航跡データTDに含まれる物体特定要素のうち、特定した物体特定要素に対応する物体特定要素を更新する。次に、ステップS106処理は、ステップS104の処理に移行する。
以上の説明によれば、物体認識装置3において、更新処理部36は、物体の幅W、長さL、向きθ及び高さHの少なくとも1つを物体特定要素として車外情報センサ1から取得できない場合、物体の幅W、長さL、向きθ及び高さHのそれぞれに対応して個別に予め設定された設定値のうち、車外情報センサ1から取得できない物体特定要素に対応する設定値に基づいて、車外情報センサ1から取得できない物体特定要素の値を特定する。
従って、車外情報センサ1から物体の幅W、長さL、向きθ及び高さHを取得できなかったとしても、誤差を抑えて航跡データTDを更新することができる。これにより、自車と、物体との相対的な位置関係を大きく外すことがないので、自車の自動運転の精度の低下を最小限に抑えることができる。
実施の形態4.
実施の形態4において、実施の形態1、実施の形態2並びに実施の形態3と同一又は同等の構成及び機能については、その説明を省略する。実施の形態4は、図15のステップS51における判定処理の判定結果がNoである場合とステップS54における判定処理の判定結果がYesである場合とにより分岐された処理が実施の形態1、実施の形態2並びに実施の形態3と異なる。他の構成は、実施の形態1、実施の形態2並びに実施の形態3と同様である。つまり、その他の構成は実施の形態1、実施の形態2並びに実施の形態3と同一又は同等の構成及び機能であり、これらの部分には同一符号を付している。
図19は、実施の形態4による図15のステップS51における判定処理の判定結果がNoである場合とステップS54における判定処理の判定結果がYesである場合とにより分岐された処理を説明するフローチャートである。ステップS111において、仮設定部33は、選択した車外情報センサ1から受信した検知データddに含まれる残りの物体特定要素である物体の幅W、長さL、向きθ、上端ZHの位置P及び下端ZLの位置Pの少なくとも1つを物体特定要素として車外情報センサ1から取得できたか否かを判定する。仮設定部33によって、選択した車外情報センサ1から受信した検知データddに含まれる残りの物体特定要素である物体の幅W、長さL、向きθ、上端ZHの位置P及び下端ZLの位置Pの少なくとも1つを物体特定要素として車外情報センサ1から取得できたと判定される場合、ステップS111の処理は、ステップS112の処理に移行する。仮設定部33によって、選択した車外情報センサ1から受信した検知データddに含まれる残りの物体特定要素である物体の幅W、長さL、向きθ、上端ZHの位置P及び下端ZLの位置Pの少なくとも1つを物体特定要素として車外情報センサ1から取得できないと判定される場合、ステップS111の処理は、ステップS115の処理に移行する。
ステップS112において、相関処理部35は、検知データDDRTと航跡データTDの予測データTDRTpredとに相関があるか否かを判定する。相関処理部35によって、検知データDDRTと航跡データTDの予測データTDRTpredとに相関があると判定される場合、ステップS112の処理は、ステップS113の処理に移行する。相関処理部35によって、検知データDDRTと航跡データTDの予測データTDRTpredとに相関がないと判定される場合、ステップS112の処理は、ステップS114の処理に移行する。
ステップS113において、更新処理部36は、今回の関連時刻RTにおける物体の幅W、長さL、向きθ、上端ZHの位置及び下端ZLの位置のうち、車外情報センサ1から取得できた物体特定要素に基づいて、今回の関連時刻RTにおける航跡データTDに含まれる物体特定要素のうち、車外情報センサ1から取得できた物体特定要素に対応する物体特定要素を更新する。次に、ステップS113の処理は、ステップS114の処理に移行する。
ステップS114において、データ受信部32は、選択した車外情報センサ1を使用済みにマークする。次に、ステップS114の処理は、図13のステップS15の処理に戻る。
ステップS115において、更新処理部36は、物体の幅W、長さL、向きθ、上端ZHの位置及び下端ZLの位置のそれぞれに対応して個別に予め設定された設定値のうち、車外情報センサ1から取得できない物体特定要素に対応する設定値に基づいて、車外情報センサ1から取得できない物体特定要素を特定する。次に、ステップS115の処理は、ステップS116の処理に移行する。
ステップS116において、更新処理部36は、特定した物体特定要素の値に基づいて、今回の関連時刻RTにおける航跡データTDに含まれる物体特定要素のうち、特定した物体特定要素に対応する物体特定要素を更新する。次に、ステップS116の処理は、ステップS114の処理に移行する。
以上の説明によれば、物体認識装置3において、更新処理部36は、物体の幅W、長さL、向きθ、上端ZHの位置及び下端ZLの位置の少なくとも1つを物体特定要素として車外情報センサ1から取得できない場合、物体の幅W、長さL、向きθ、上端ZHの位置及び下端ZLの位置のそれぞれに対応して個別に予め設定された設定値のうち、車外情報センサ1から取得できない物体特定要素に対応する設定値に基づいて、車外情報センサ1から取得できない物体特定要素の値を特定する。
従って、車外情報センサ1から物体の幅W、長さL、向きθ、上端ZHの位置及び下端ZLの位置を取得できなかったとしても、誤差を抑えて航跡データTDを更新することができる。これにより、自車と、物体との相対的な位置関係を大きく外すことがないので、自車の自動運転の精度の低下を最小限に抑えることができる。
また、物体の幅W、長さL、向きθに加え、上端ZHの位置及び下端ZLの位置も補正されていれば、物体が静止物体であるか否かを特定できる。静止物体は、例えば、看板である。静止物体は、道路標識であってもよい。従って、物体の種類を特定できる。これにより、自車の自動運転の精度をさらに高めることができる。
実施の形態5.
実施の形態5において、実施の形態1、実施の形態2、実施の形態3並びに実施の形態4と同一又は同等の構成及び機能については、その説明を省略する。実施の形態5は、複数の候補点DPHを絞り込む点が実施の形態1と異なる。他の構成は、実施の形態1、実施の形態2、実施の形態3並びに実施の形態4と同様である。つまり、その他の構成は実施の形態1、実施の形態2、実施の形態3並びに実施の形態4と同一又は同等の構成及び機能であり、これらの部分には同一符号を付している。
図20は、実施の形態5による図13のステップS20における位置補正処理の他の例を説明するフローチャートである。ステップS161において、更新処理部36は、候補点DPHの数が複数あるか否かを判定する。更新処理部36によって、候補点DPHの数が複数あると判定される場合、ステップS161の処理は、ステップS162の処理に移行する。更新処理部36によって、候補点DPHの数が複数ないと判定される場合、ステップS161の処理は、ステップS170の処理に移行する。
ステップS162において、更新処理部36は、航跡データTDの更新履歴を参照する。次に、ステップS162の処理は、ステップS163の処理に移行する。
ステップS163において、更新処理部36は、今回の関連時刻RTにおける検知データDDを観測した車外情報センサ1の種類が前回の関連時刻RTにおける検知データDDを観測した車外情報センサ1の種類と異なるか否かを判定する。更新処理部36によって、今回の関連時刻RTにおける検知データDDを観測した車外情報センサ1の種類が前回の関連時刻RTにおける検知データDDを観測した車外情報センサ1の種類と異なると判定される場合、ステップS163の処理は、ステップS164の処理に移行する。更新処理部36によって、今回の関連時刻RTにおける検知データDDを観測した車外情報センサ1の種類が前回の関連時刻RTにおける検知データDDを観測した車外情報センサ1の種類と異ならないと判定される場合、即ち今回の関連時刻RTにおける検知データDDを観測した車外情報センサ1の種類が前回の関連時刻RTにおける検知データDDを観測した車外情報センサ1の種類と同じであると判定される場合、ステップS163の処理は、ステップS168の処理に移行する。
ステップS164において、更新処理部36は、航跡データTDの予測データTDRTpredに含まれる物体における中心点の位置Pと、検知データDDに含まれる検知点DPの車外情報センサ1に対する位置Pとに基づいて、複数の候補点DPHのそれぞれの正確度を決める。次に、ステップS164の処理は、ステップS165の処理に移行する。
ステップS165において、更新処理部36は、複数の候補点DPHのうち、正確度の最も低い候補点DPHを破棄する。次に、ステップS165の処理は、ステップS166の処理に移行する。
ステップS166において、更新処理部36は、破棄されていない候補点DPHのうち、正確度の最も高い候補点DPHを採用する。次に、ステップS166の処理は、ステップS167の処理に移行する。
ステップS167において、更新処理部36は、採用した候補点DPHの位置HPに基づいて、今回の関連時刻RTにおける検知データDDに含まれる検知点DPの車外情報センサ1に対する位置Pを補正する。次に、ステップS167の処理は、別の処理に移行せず、位置補正処理を終了する。
ステップS168において、更新処理部36は、候補点DPHの信頼度DORを計算する。次に、ステップS168の処理は、ステップS169の処理に移行する。
ステップS169において、更新処理部36は、信頼度DORに基づいて、候補点DPHを採用する。次に、ステップS169の処理は、ステップS167の処理に移行する。
ステップS170において、更新処理部36は、設定した候補点DPHを採用する。次に、ステップS170の処理は、ステップS167の処理に移行する。
例えば、車外情報センサ1がカメラである場合、検知データddには、検知点DPの車外情報センサ1に対する位置P、検知点DPの速度V及び物体の幅Wが含まれている。また、車外情報センサ1がカメラである場合、候補点DPH(2)が物体における検知点DPの位置Pの候補になる。よって、ステップS161の処理、ステップS170の処理及びステップS167の処理によって、候補点DPH(2)の位置HPに基づいて、検知点DPの車外情報センサ1に対する位置Pが補正される。
一方、車外情報センサ1がミリ波レーダーである場合、検知データddには、検知点DPの車外情報センサ1に対する位置P及び検知点DPの速度Vが含まれている。また、車外情報センサ1がミリ波レーダーである場合、候補点DPH(1)及び候補点DPH(2)のそれぞれが物体における検知点DPの位置Pの候補になる。
ここで、カメラの検知データddと航跡データTDとが相関関係が成立することによって、ステップS161の処理、ステップS170の処理及びステップS167の処理が実行された後、ミリ波レーダーの検知データddと航跡データTDとの相関が成立する場合もある。
さらに、検知点DPの車外情報センサ1に対する位置Pと、物体の中心点の位置Pとに基づいて、候補点DPH(2)の正確度よりも候補点DPH(1)の正確度が高いと判定される場合がある。このような正確度が判定された場合には、ステップS164の処理、ステップS165の処理及びステップS166の処理によって、物体における検知点DPの位置Pの候補から候補点DPH(2)が破棄され、候補点DPH(1)が採用される。
以上の説明から、物体認識装置3において、更新処理部36は、航跡データTDの更新履歴に基づいて、複数の候補点DPHの一部を破棄する。
航跡データTDの更新履歴には、物体の移動に伴い少なくとも物体の中心点の位置Pが更新された履歴が含まれている。物体の中心点の位置Pが更新された履歴は、物体を検知した車外情報センサ1と関連付けられている。従って、航跡データTDの更新履歴が参照されれば、物体の中心点の位置Pが更新された履歴を介して検知点DPの車外情報センサ1に対する位置Pが補正されたときに使用された車外情報センサ1の種類が参照可能である。これにより、物体を検知点DPで検知したときの車外情報センサ1の種類が特定されれば、検知点DPの車外情報センサ1に対する位置Pを補正したときに使用した候補点DPHが特定可能である。
上記で説明したように、車外情報センサ1がミリ波レーダーから構成されていれば、最近点及び中央点が、候補点DPHになると考えられる。また、上記で説明したように、車外情報センサ1が単眼カメラから構成されていれば、中央点が候補点DPHになると考えられる。
ここで、複数の候補点DPHのそれぞれの正確度は、物体の中心点の位置Pと、検知点DPの車外情報センサ1に対する位置Pとに基づいて決まる。物体の中心点の位置P及び検知点DPの車外情報センサ1に対する位置Pは、物体の航跡に応じて変化する。例えば、物体の中心点の位置Pと、検知点DPの車外情報センサ1に対する位置Pとの位置関係から、物体の中心点の位置Pと検知点DPの車外情報センサ1に対する位置Pとの間のユークリッド距離が図6の判定閾値距離DTH1未満である場合には、正確度が高い候補点DPHは、中央点よりも最近点であるとみなせる。この場合には、候補点DPHのうち、中央点の方を破棄し、最近点の方が採用される。
なお、図6の判定閾値距離DTH1は、検知点DPの位置Pが車外情報センサ1の分解能セルに埋もれない範囲に定められている。
また、中央点は、自車の前方を移動中の物体であれば、物体の後面中央点である。中央点は、自車の後方を移動中の物体であれば、物体の前面中央点である。
以上の説明から、更新処理部36は、航跡データTDの更新履歴に基づき、複数の候補点DPHの一部を破棄する。これにより、正確度の高い候補点DPHを航跡データTDの更新に利用することができる。
また、各実施の形態について、物体認識装置3を実行するための処理回路を備えている。処理回路は、専用のハードウェアであっても、メモリに格納されるプログラムを実行するCPU(Central Processing Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、DSPともいう)であってもよい。
図21は、ハードウェア構成例を説明する図である。図21においては、処理回路201がバス202に接続されている。処理回路201が専用のハードウェアである場合、処理回路201は、例えば、単一回路、複合回路、プログラム化したプロセッサ、ASIC、FPGA又はこれらを組み合わせたものが該当する。物体認識装置3の各部の機能のそれぞれは、処理回路201で実現されてもよいし、各部の機能はまとめて処理回路201で実現されてもよい。
図22は、他のハードウェア構成例を説明する図である。図22においては、プロセッサ203及びメモリ204がバス202に接続されている。処理回路がCPUの場合、物体認識装置3の各部の機能は、ソフトウェア、ファームウェア又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアはプログラムとして記述され、メモリ204に格納される。処理回路は、メモリ204に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、物体認識装置3は、処理回路により実行されるときに、時刻計測部31、データ受信部32、仮設定部33、予測処理部34、相関処理部35及び更新処理部36を制御するステップが結果的に実行されることになるプログラムを格納するためのメモリ204を備えている。また、これらのプログラムは、時刻計測部31、データ受信部32、仮設定部33、予測処理部34、相関処理部35及び更新処理部36を実行する手順又は方法をコンピュータに実行させるものであるといえる。ここで、メモリ204とは、RAM、ROM、フラッシュメモリ、EPROM、EEPROM等の、不揮発性若しくは揮発性の半導体メモリ又は、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD等が該当する。
なお、物体認識装置3の各部の機能は、一部が専用のハードウェアで実現され、他の一部がソフトウェア又はファームウェアで実現されるようにしてもよい。例えば、専用のハードウェアとしての処理回路で仮設定部33の機能を実現させることができる。また、処理回路がメモリ204に格納されたプログラムを読み出して実行することによって相関処理部35の機能を実現させることが可能である。
このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせによって、上記の各機能を実現することができる。
以上、実施の形態1においては、検知データDDRTと航跡データTDRTの予測データTDRTpredとの相関関係の有無を、SNNアルゴリズム、GNNアルゴリズム、JPDAアルゴリズム等によって求める処理の一例について説明したが、特にこれに限定されない。
例えば、検知データDDRTに含まれる各検知要素と、航跡データTDRTの予測データTDRTpredとに含まれる各航跡要素との差分が、予め定めた誤差量eの範囲内であるか否かによって、検知データDDRTと航跡データTDRTの予測データTDRTpredとの相関関係の有無が判定されてもよい。
具体的には、相関処理部35は、検知データDDRTに含まれる車外情報センサ1に対する位置Pと、航跡データTDRTの予測データTDRTpredに含まれる位置Pとの距離差を導く。
相関処理部35は、検知データDDRTに含まれる速度Vと、航跡データTDRTの予測データTDRTpredに含まれる速度Vとの速度差を導く。
相関処理部35は、検知データDDRTに含まれる方位角と、航跡データTDRTの予測データTDRTpredに含まれる方位角との方位角差を導く。
相関処理部35は、距離差、速度差及び方位角差のそれぞれを二乗したものを加算したものの平方根を求める。相関処理部35は、求めた平方根が誤差量eを超える場合には相関関係が無いと判定する。相関処理部35は、求めた平方根が誤差量e以下である場合には相関関係が有ると判定する。このような判定処理によって、検知データDDRTと航跡データTDRTの予測データTDRTpredとの相関関係の有無が判定されてもよい。
また、例えば、検知点DPの速度Vに基づいて検知点DPにおける対地速度が求められてもよい。検知点DPにおける対地速度が求められていれば、検知点DPにおける対地速度に基づいて、車外情報センサ1によって検知された物体が車両Cmodel2であると判別できたとき、検知データDDの物体特定要素に車両Cmodel2の幅W及び長さLが含まれていない場合がある。このような場合には、車両Cmodel2の幅Wが2[m]に設定され、車両Cmodel2の長さLが4.5[m]に設定される。このように設定された車両Cmodel2の幅W及び長さLも、車外情報センサ1から取得できない物体特定要素に対応して個別に予め設定された設定値である。
なお、更新処理部36は、車外情報センサ1によって物体が検知されたときの検知点DPの速度Vに基づいて、航跡データTDを更新してもよい。これにより、車外情報センサ1によって観測された観測結果を考慮した検知点DPの速度Vに基づいて、航跡データTDを更新することができる。これにより、自車と、物体との相対的な位置関係を正確に捉えることができるので、自車の自動運転の精度をさらに高めることができる。
なお、実施の形態1における図16に示すステップS81~ステップS86の処理、実施の形態2における図17に示すステップS91~ステップS96の処理、実施の形態3における図18に示すステップS101~ステップS106の処理及び実施の形態4における図19に示すステップS111~ステップS116の処理のそれぞれは、CPUによって並列的に実行されることが可能である。
1 車外情報センサ、2 車両情報センサ、3 物体認識装置、4 報知制御装置、5 車両制御装置、31 時刻計測部、32 データ受信部、33 仮設定部、34 予測処理部、35 相関処理部、36 更新処理部。

Claims (12)

  1. 物体を検知したセンサの仕様に基づいて、前記物体における少なくとも1つの候補点の位置を設定する仮設定部と、
    前記センサが前記物体を検知したときの検知点の前記センサに対する位置を前記物体における前記候補点の位置に基づいて補正し、前記検知点の前記センサに対する補正後の位置に基づいて、前記物体の航跡を示す航跡データを更新する更新処理部と、
    を備え
    前記仮設定部は、前記物体を検知した前記センサの前記仕様に含まれる分解能に基づいて、前記物体における少なくとも1つの前記候補点の位置を設定し、前記分解能には、前記センサの角度分解能及び距離分解能が含まれている物体認識装置。
  2. 前記更新処理部は、1つの前記検知点に対応する前記候補点の数が複数ある場合、複数の前記候補点のそれぞれの信頼度と、前記物体における複数の前記候補点のそれぞれの位置とに基づいて、前記検知点の前記センサに対する位置を補正する請求項1に記載の物体認識装置。
  3. 前記更新処理部は、前記物体における複数の前記候補点の位置のうち、最も信頼度の高い前記候補点の位置に基づいて、前記検知点の前記センサに対する位置を補正する請求項に記載の物体認識装置。
  4. 前記更新処理部は、各前記信頼度に応じて、前記物体における複数の前記候補点のそれぞれの位置に対して重み付け平均することにより、前記検知点の前記センサに対する位置を補正する請求項に記載の物体認識装置。
  5. 前記更新処理部は、前記センサから前記検知点までの距離に基づいて、各前記信頼度を求める請求項から請求項のいずれか一項に記載の物体認識装置。
  6. 前記更新処理部は、前記航跡データの更新履歴に基づいて、複数の前記候補点のうち、一部の前記候補点を破棄する請求項から請求項のいずれか一項に記載の物体認識装置。
  7. 前記更新処理部は、前記物体の状態及び大きさの少なくとも1つを特定する物体特定要素に基づいて、前記検知点の前記センサに対する位置を補正する請求項1から請求項のいずれか一項に記載の物体認識装置。
  8. 前記更新処理部は、前記物体の幅及び長さの少なくとも1つを前記物体特定要素として前記センサから取得できない場合、前記物体の幅及び長さのそれぞれに対応して個別に予め設定された設定値のうち、前記センサから取得できない前記物体特定要素に対応する前記設定値に基づいて、前記センサから取得できない前記物体特定要素の値を特定する請求項に記載の物体認識装置。
  9. 前記更新処理部は、前記物体の幅、長さ及び向きの少なくとも1つを前記物体特定要素として前記センサから取得できない場合、前記物体の幅、長さ及び向きのそれぞれに対応して個別に予め設定された設定値のうち、前記センサから取得できない前記物体特定要素に対応する前記設定値に基づいて、前記センサから取得できない前記物体特定要素の値を特定する請求項に記載の物体認識装置。
  10. 前記更新処理部は、前記物体の幅、長さ、向き及び高さの少なくとも1つを前記物体特定要素として前記センサから取得できない場合、前記物体の幅、長さ、向き及び高さのそれぞれに対応して個別に予め設定された設定値のうち、前記センサから取得できない前記物体特定要素に対応する前記設定値に基づいて、前記センサから取得できない前記物体特定要素の値を特定する請求項に記載の物体認識装置。
  11. 前記更新処理部は、前記物体の幅、長さ、向き、上端の位置及び下端の位置の少なくとも1つを前記物体特定要素として前記センサから取得できない場合、前記物体の幅、長さ、向き、上端の位置及び下端の位置のそれぞれに対応して個別に予め設定された設定値のうち、前記センサから取得できない前記物体特定要素に対応する前記設定値に基づいて、前記センサから取得できない前記物体特定要素の値を特定する請求項に記載の物体認識装置。
  12. 物体を検知したセンサの仕様に基づいて、前記物体における少なくとも1つの候補点の位置を設定する工程と、
    前記センサが前記物体を検知したときの検知点の前記センサに対する位置を前記物体における前記候補点の位置に基づいて補正し、前記検知点の前記センサに対する補正後の位置に基づいて、前記物体の航跡を示す航跡データを更新する工程と、
    を含み、
    前記少なくとも1つの前記候補点の位置を設定する工程において、前記物体を検知した前記センサの前記仕様に含まれる分解能に基づいて、前記物体における少なくとも1つの前記候補点の位置を設定し、前記分解能には、前記センサの角度分解能及び距離分解能が含まれている物体認識方法。
JP2021561108A 2019-11-29 2019-11-29 物体認識装置及び物体認識方法 Active JP7217817B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/046806 WO2021106196A1 (ja) 2019-11-29 2019-11-29 物体認識装置及び物体認識方法

Publications (2)

Publication Number Publication Date
JPWO2021106196A1 JPWO2021106196A1 (ja) 2021-06-03
JP7217817B2 true JP7217817B2 (ja) 2023-02-03

Family

ID=76129423

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021561108A Active JP7217817B2 (ja) 2019-11-29 2019-11-29 物体認識装置及び物体認識方法

Country Status (5)

Country Link
US (1) US20220414920A1 (ja)
JP (1) JP7217817B2 (ja)
CN (1) CN114730014A (ja)
DE (1) DE112019007921T5 (ja)
WO (1) WO2021106196A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210391908A1 (en) * 2020-06-10 2021-12-16 Peking University Method, system, computer device, and storage medium for non-contact determination of a sensing boundary

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002122669A (ja) 2000-10-18 2002-04-26 Nissan Motor Co Ltd 物体位置検出方法
JP2008298543A (ja) 2007-05-30 2008-12-11 Toyota Motor Corp 物体検出装置、及び車両用制御装置
JP2009014479A (ja) 2007-07-04 2009-01-22 Honda Motor Co Ltd 車両用物体検知装置
JP2016148514A (ja) 2015-02-10 2016-08-18 国立大学法人金沢大学 移動物体追跡方法および移動物体追跡装置
JP2017215161A (ja) 2016-05-30 2017-12-07 株式会社東芝 情報処理装置、および、情報処理方法
WO2019206863A1 (en) 2018-04-27 2019-10-31 Veoneer Sweden Ab Generic object tracking based on significant points

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002122669A (ja) 2000-10-18 2002-04-26 Nissan Motor Co Ltd 物体位置検出方法
JP2008298543A (ja) 2007-05-30 2008-12-11 Toyota Motor Corp 物体検出装置、及び車両用制御装置
JP2009014479A (ja) 2007-07-04 2009-01-22 Honda Motor Co Ltd 車両用物体検知装置
JP2016148514A (ja) 2015-02-10 2016-08-18 国立大学法人金沢大学 移動物体追跡方法および移動物体追跡装置
JP2017215161A (ja) 2016-05-30 2017-12-07 株式会社東芝 情報処理装置、および、情報処理方法
WO2019206863A1 (en) 2018-04-27 2019-10-31 Veoneer Sweden Ab Generic object tracking based on significant points

Also Published As

Publication number Publication date
US20220414920A1 (en) 2022-12-29
CN114730014A (zh) 2022-07-08
DE112019007921T5 (de) 2022-10-13
JPWO2021106196A1 (ja) 2021-06-03
WO2021106196A1 (ja) 2021-06-03

Similar Documents

Publication Publication Date Title
US10935643B2 (en) Sensor calibration method and sensor calibration apparatus
CN107144839B (zh) 通过传感器融合检测长对象
US9151626B1 (en) Vehicle position estimation system
US10836388B2 (en) Vehicle control method and apparatus
CN111712731A (zh) 目标检测方法、系统及可移动平台
EP3521962B1 (en) Self-position estimation method and self-position estimation device
CN111352110A (zh) 处理雷达数据的方法和装置
JP7134368B2 (ja) 物体認識装置及び物体認識方法
US11884299B2 (en) Vehicle traveling control device, vehicle traveling control method, control circuit, and storage medium
US20170364775A1 (en) Object recognition integration device and object recognition integration method
JP7155284B2 (ja) 計測精度算出装置、自己位置推定装置、制御方法、プログラム及び記憶媒体
US11961306B2 (en) Object detection device
GB2370706A (en) Determining the position of a vehicle
JP7217817B2 (ja) 物体認識装置及び物体認識方法
US11914028B2 (en) Object detection device for vehicle
JP6604052B2 (ja) 走路境界推定装置及び走路境界推定方法
US20220179077A1 (en) Method for supplementary detection of objects by a lidar system
US11914679B2 (en) Multispectral object-detection with thermal imaging
US20240053438A1 (en) Multipath Object Identification For Navigation
US20240077623A1 (en) Host vehicle position measuring device and host vehicle position measuring method
JP6834920B2 (ja) 物標判別装置
WO2020079942A1 (ja) 物体検知装置、物体検知方法およびプログラム
CN112485807A (zh) 物体识别装置
JPH09161063A (ja) 先行車両識別装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230124

R150 Certificate of patent or registration of utility model

Ref document number: 7217817

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150