JP7285923B2 - 車両制御システム - Google Patents

車両制御システム Download PDF

Info

Publication number
JP7285923B2
JP7285923B2 JP2021519364A JP2021519364A JP7285923B2 JP 7285923 B2 JP7285923 B2 JP 7285923B2 JP 2021519364 A JP2021519364 A JP 2021519364A JP 2021519364 A JP2021519364 A JP 2021519364A JP 7285923 B2 JP7285923 B2 JP 7285923B2
Authority
JP
Japan
Prior art keywords
information
time
sensor
series
grouping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021519364A
Other languages
English (en)
Other versions
JPWO2020230619A1 (ja
Inventor
尚登 青木
哲 栗山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Publication of JPWO2020230619A1 publication Critical patent/JPWO2020230619A1/ja
Application granted granted Critical
Publication of JP7285923B2 publication Critical patent/JP7285923B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/023—Avoiding failures by using redundant parts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/20—Data confidence level
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/25—Data precision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/30—Data update rate
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/35—Data fusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Description

本開示は、車両制御システムに関する。
従来鉱山用作業機械に用いるキャリブレーション装置に関する発明が知られている（下記特許文献１を参照）。特許文献１は、次の構成を備えたキャリブレーション装置を開示している。キャリブレーション装置は、「第１計測装置１１の計測した幾何学的形状に基づいて、障害物が第１計測装置１１と第２計測装置１２との位置ずれを検出するのに適した障害物か否かを判定する位置ずれ判定許可部１１４と、位置ずれ判定許可部１１４によって位置ずれを検出するのに適した障害物であると判定された障害物に対する第１計測装置１１による検出位置と、前記障害物に対する第２計測装置１２による検出位置とに基づいて、第１計測装置１１と第２計測装置１２との位置ずれ量を検出するセンサ間キャリブレーション部１１７とを備える。」（同文献、要約欄を参照）。
また、行動認識装置および行動認識方法に関する発明が知られている（下記特許文献２を参照）。特許文献２の行動認識装置３０は、「人物ｐについて、第１のセンサ１０で検知したセンサデータＸｐおよび第２のセンサ２０で検知したセンサデータＹｐとのペア（Ｘｐ，Ｙｐ）の集合である訓練データを記憶する記憶部３２と、訓練データに基づき、任意のセンサデータＸｐ´に対するセンサデータＹｐ´の推定値Ｙｅ（Ｘｐ´）を計算する推定部３３２と、推定値Ｙｅ（Ｘｐ´）と、収集したセンサデータＹｊとの類似度Ｃｉｊを計算し、計算した類似度Ｃｉｊの時間的推移に基づき、人物ｉと人物ｊとが同一人物である可能性の高さを示す照合スコアＰｉｊを計算するセンサデータ照合部３３３と、照合スコアＰｉｊの値に基づき人物ｉと人物ｊとが同一人物であるか否かを判定する人物判定部３３４とを備える。」（同文献、要約欄を参照）。
特開２０１６－２２３９６３号公報 特開２０１８－１３８５５号公報
前記特許文献１に記載された従来の障害物検知装置は、ｔ、ｔ＋１、ｔ＋２、…、ｔ＋ｎの各時刻において、第１計測装置の検出した障害物位置と第２計測装置の検出した障害物位置とが重なっている場合に、二つの障害物が同一障害物であると判定する（同文献、第００３４段落等を参照）。しかし、この従来の障害物検知装置のように、複数の計測装置が検出した障害物が同一であるか否かを各時刻において判定する瞬時値グルーピングは、判定結果に誤りが含まれるおそれがあり、高精度のグルーピングが困難である。
一方、前記特許文献２に記載された従来の行動認識装置では、推定部が、複数のセンサデータの類似度の時間的推移に基づき、複数のセンサで検知した人物が同一人物である可能性の高さを示す照合スコアを計算する。このように、複数のセンサデータの時間的推移に基づく時系列グルーピングによれば、上記瞬時値グルーピングよりも高精度のグルーピングが可能になる。しかし、時系列グルーピングは、時系列データを必要とするため、時系列データを必要としない瞬時値グルーピングと比較して長時間を要する。
本開示は、複数のセンサによって検出した同一の物体の複数の検知結果のグルーピングを高精度かつ短時間に行うことが可能な車両制御システムを提供する。
本開示の一態様は、車両の周囲の物体を検知する第１センサおよび第２センサと、同一の物体を検知した前記第１センサと前記第２センサの検知結果である第１検知情報と第２検知情報をグルーピングして統合された統合検知情報を出力する情報統合装置と、前記統合検知情報に基づいて車両を制御する車両制御装置と、を備えた車両制御システムであって、前記情報統合装置は、演算装置と記憶装置を含み、前記演算装置は、前記第１検知情報の時系列情報である第１時系列情報と前記第２検知情報の時系列情報である第２時系列情報とを前記記憶装置に記憶させ、前記第１センサと前記第２センサが同一の物体を検知したときの前記第１時系列情報と前記第２時系列情報とをグルーピングして前記第１検知情報の補正パラメータを算出し、前記補正パラメータを用いて前記第１検知情報を補正した補正情報を算出し、前記補正情報と前記第２検知情報とを用いた瞬時値グルーピングによって前記統合検知情報を出力することを特徴とする車両制御システムである。
本開示の上記一態様によれば、複数のセンサによって検出した同一の物体の複数の検知結果のグルーピングを高精度かつ短時間に行うことが可能な車両制御システムを提供することができる。
本開示の実施形態１に係る車両制御システムの構成を示すブロック図。 図１の車両制御システムを構成する情報統合装置の処理を示すフロー図。 図２に示す情報統合装置の処理に含まれる検知情報統合のフロー図。 図３に示す検知情報統合に含まれる補正のフロー図。 図３に示す検知情報統合に含まれる補正パラメータ算出のフロー図。 図１の車両制御システムの外界センサの時系列情報の一例を示すグラフ。 従来の障害物検知装置のグルーピング結果を示すグラフ。 従来の障害物検知装置のグルーピング結果を示すグラフ。 図１の車両制御システムの情報統合装置のグルーピング結果を示すグラフ。 図１の車両制御システムの情報統合装置のグルーピング結果を示すグラフ。 本開示の実施形態２に係る車両制御システムによる校正判断のフロー図。 本開示の実施形態３に係る車両制御システムのグルーピングのフロー図。
以下、図面を参照して本開示の車両制御システムの実施形態を説明する。
［実施形態１］
以下では、まず、図１および図２を参照して、本開示の実施形態１に係る車両制御システム１００の構成を説明し、次に、図３を参照して、情報統合装置１２０による検知情報統合Ｓ２００の流れを説明する。
（車両制御システム）
図１は、本実施形態の車両制御システム１００の構成例を示すブロック図である。車両制御システム１００は、たとえば自動車などの車両に搭載され、車両の先進運転支援システム（ＡＤＡＳ）や自動運転（ＡＤ）システムを構成する。車両制御システム１００は、たとえば、外界センサ１１０と、情報統合装置１２０と、車両制御装置１３０と、を備えている。また、車両制御システム１００は、たとえば、車両センサ１４０と、測位システム１５０と、地図ユニット１６０と、アクチュエータ１７０とを備えてもよい。
外界センサ１１０は、車両制御システム１００が搭載された車両の周囲の物体を検知するためのセンサである。外界センサ１１０は、たとえば、車両制御システム１００が搭載された車両の周囲の物体の相対位置、相対速度、物体の形状および種別などを検出する。車両の周囲の物体には、たとえば、他の車両、歩行者、道路、歩道、白線などの道路標示、標識、信号、縁石、ガードレール、建造物、その他の障害物が含まれる。
外界センサ１１０は、たとえば、第１センサ１１１と第２センサ１１２との二つのセンサを含む。第１センサ１１１と第２センサ１１２とは、たとえば、物体の検出原理が相違する異なる種類のセンサである。また、外界センサ１１０は、三つ以上の異なる種類のセンサを含んでいてもよく、複数の同種のセンサを含んでいてもよい。外界センサ１１０は、たとえば、ＣＡＮ（Controller Area Network）、イーサネット(登録商標)、無線通信などの通信網１８０を介して情報統合装置１２０および車両制御装置１３０にデータ通信可能に接続されている。
外界センサ１１０に含まれる複数のセンサとしては、たとえば、ミリ波レーダ装置、単眼カメラやステレオカメラを含む撮像装置、超音波ソナー、レーザレーダ装置などを例示することができる。第１センサ１１１は、たとえば、車両の周囲の物体の三次元形状および物体までの距離を検出するセンサである。具体的には、第１センサ１１１は、たとえば撮像装置である。第２センサ１１２は、たとえば、車両の周囲の物体までの距離を計測するセンサである。具体的には、第２センサ１１２は、たとえば、ミリ波レーダ装置やレーザレーダ装置などの測距装置である。
情報統合装置１２０は、外界センサ１１０に含まれる複数のセンサのうち、同一の物体を検知したいくつかのセンサの検知結果をグルーピングして、これらの検知結果が統合された統合検知情報を出力する。より具体的には、情報統合装置１２０は、たとえば、同一の物体を検知した第１センサ１１１と第２センサ１１２の検知結果である第１検知情報と第２検知情報をグルーピングして、統合された統合検知情報を出力する。情報統合装置１２０は、たとえば、通信網１８０を介して、車両センサ１４０、外界センサ１１０、測位システム１５０、地図ユニット１６０、および車両制御装置１３０に対して、データ通信可能に接続されている。
情報統合装置１２０は、たとえば、演算装置１２１と記憶装置１２２とを含んでいる。演算装置１２１は、たとえば、一つまたは複数の中央処理装置（ＣＰＵ）である。記憶装置１２２は、たとえば、一つまたは複数の主記憶装置および補助記憶装置を含む。記憶装置１２２は、たとえば、ハードディスクやメモリによって構成することができる。また、情報統合装置１２０は、たとえば、信号の入出力を行う端子部や、設定値などを入力するための入力装置を含む。
図２は、情報統合装置１２０の処理の一例を示すフロー図である。情報統合装置１２０の演算装置１２１は、まず、情報記憶Ｓ１００において、通信網１８０を介して各種の情報を取得して記憶装置１２２に記憶させる。これにより、記憶装置１２２には、車両制御システム１００が搭載された車両の挙動情報および位置情報、ならびに、車両の周囲における物体の検知情報、道路情報、および地図情報などの各種の情報が記憶される。
演算装置１２１は、検知情報統合Ｓ２００において、記憶装置１２２に記憶された外界センサ１１０の複数のセンサの検知情報のうち、同一の物体の複数の検知情報を統合した統合検知情報を出力する。ここで、統合される複数の検知情報には、たとえば、第１センサ１１１および第２センサ１１２による物体の検知結果である第１検知情報および第２検知情報が含まれる。
演算装置１２１は、環境情報統合Ｓ３００において、上記の統合検知情報と、記憶装置１２２から取得した各種の情報、たとえば、車両の挙動情報および位置情報ならびに車両の周囲の道路情報および地図情報を統合して環境情報を出力する。出力された環境情報は、図１に示す車両制御装置１３０に入力される。
車両制御装置１３０は、情報統合装置１２０から出力された統合検知情報に基づいて車両を制御する。より具体的には、車両制御装置１３０は、物体の統合検知情報と他の各種情報が統合された車両の周囲の環境情報に基づいて車両を制御する。車両制御装置１３０は、たとえば、車両センサ１４０と、外界センサ１１０と、測位システム１５０と、地図ユニット１６０と、情報統合装置１２０と、アクチュエータ１７０とに対して、データ通信可能に接続されている。
車両制御装置１３０は、たとえば、車両センサ１４０、外界センサ１１０、測位システム１５０、地図ユニット１６０、および情報統合装置１２０からの出力に基づいて、車両制御システム１００を搭載した車両の走行経路、速度、加速度などを含む走行計画を生成する。車両制御装置１３０は、生成した走行計画に基づいてアクチュエータ１７０を制御することで、ＡＤＡＳやＡＤを実現する。
車両センサ１４０は、車両制御システム１００が搭載された車両の速度、加速度、操舵角、ヨーレートなどを計測するセンサである。具体的には、車両センサ１４０は、たとえば、ジャイロセンサ、車輪速度センサ、舵角センサ、加速度センサ、ブレーキセンサ、アクセルセンサ、変速センサ等を含む。車両センサ１４０は、たとえば、通信網１８０を介して、情報統合装置１２０および車両制御装置１３０にデータ通信可能に接続されている。
測位システム１５０は、車両制御システム１００が搭載された車両の位置を測定する。測位システム１５０としては、たとえばＧＮＳＳ(Global Navigation Satellite System)やＧＰＳ（Global Positioning System）などの衛星測位システムを用いることができる。測位システム１５０は、たとえば、通信網１８０を介して、情報統合装置１２０、車両制御装置１３０、および地図ユニット１６０にデータ通信可能に接続されている。
地図ユニット１６０は、たとえば、演算装置および記憶装置によって構成され、車両制御システム１００が搭載された車両の位置を測位システム１５０から取得し、車両の周囲の地図情報を選別して出力する。地図ユニット１６０は、たとえば、通信網１８０を介して、情報統合装置１２０、車両制御装置１３０、および測位システム１５０にデータ通信可能に接続されている。
アクチュエータ１７０は、たとえば、車両制御装置１３０からの命令情報に従って、車両制御システム１００が搭載された車両を走行させる。具体的には、アクチュエータ１７０は、たとえば、車両制御装置１３０からの命令情報に従って、車両のアクセル、ブレーキ、変速機、ステアリング、方向指示器などを操作することで、車両のＡＤＡＳやＡＤを実現する。
（検知情報統合）
次に、図１に示す情報統合装置１２０による処理に含まれる検知情報統合Ｓ２００について、詳細に説明する。図３は、図２に示す情報統合装置１２０の処理に含まれる検知情報統合Ｓ２００の詳細を示すフロー図である。
検知情報統合Ｓ２００は、たとえば、補正Ｓ２０１と、瞬時値グルーピングＳ２０２と、統合更新Ｓ２０３と、統合検知情報の時系列化Ｓ２０４と、統合時系列情報の記憶Ｓ２０５と、統合時系列情報の瞬時値化Ｓ２０６と、統合検知情報の予測更新Ｓ２０７と、を含む。また、検知情報統合Ｓ２００は、たとえば、検知情報の時系列化Ｓ２０８と、時系列情報の記憶Ｓ２０９と、校正判断Ｓ２１０と、校正Ｓ２２０と、補正パラメータの記憶Ｓ２１１と、を含んでいる。
まず、補正Ｓ２０１において、情報統合装置１２０の演算装置１２１は、記憶装置１２２に記憶された外界センサ１１０の複数のセンサによる物体の検知結果である複数の検知情報のうち、特定のセンサの検知情報を補正する。より具体的には、演算装置１２１は、たとえば、第１センサ１１１の第１検知情報と、第２センサ１１２の第２検知情報とを含む複数の検知情報のうち、第１センサ１１１の第１検知情報を補正する。
前述のように、第１センサ１１１は、たとえばステレオカメラなどの撮像装置であり、第１検知情報は、撮像装置によって検出された物体の位置や速度である。また、第２センサ１１２は、たとえばミリ波レーダ装置であり、第２検知情報は、ミリ波レーダ装置によって検出された物体の位置や速度である。
図４は、図３の検知情報統合Ｓ２００に含まれる補正Ｓ２０１のフロー図である。補正Ｓ２０１は、たとえば、検知情報選択Ｓ２０１ａと、センサ観測量算出Ｓ２０１ｂと、センサ観測量補正Ｓ２０１ｃと、補正情報算出Ｓ２０１ｄと、終了判定Ｓ２０１ｅとを含む。
演算装置１２１は、検知情報選択Ｓ２０１ａにおいて、外界センサ１１０の複数のセンサのうち、一つのセンサの検知情報を選択する。より具体的には、演算装置１２１は、検知情報選択Ｓ２０１ａにおいて、たとえば、第１センサ１１１の第１検知情報を選択する。次に、演算装置１２１は、センサ観測量算出Ｓ２０１ｂにおいて、選択した一つのセンサの検知情報からそのセンサの観測量を算出する。次に、演算装置１２１は、センサ観測量補正Ｓ２０１ｃにおいて、記憶装置１２２から取得した補正パラメータを用いてセンサの観測量を補正する。次に、演算装置１２１は、補正情報算出Ｓ２０１ｄにおいて、補正後のセンサの観測量を用いて、補正された検知情報である補正情報を算出する。
より具体的には、演算装置１２１は、センサ観測量算出Ｓ２０１ｂにおいて、たとえば、撮像素子である第１センサ１１１の第１検知情報である物体の位置と速度から、センサ観測量であるピクセル位置を算出する。次に、演算装置１２１は、センサ観測量補正Ｓ２０１ｃにおいて、たとえば、記憶装置１２２から取得した補正パラメータを用いて、撮像素子である第１センサ１１１の観測量であるピクセル位置を補正する。次に、演算装置１２１は、補正情報算出Ｓ２０１ｄにおいて、たとえば、補正後のピクセル位置に基づく物体の位置と速度を補正情報として算出する。なお、たとえばミリ波レーダ装置である第２センサ１１２の観測量は、たとえば、第２センサ１１２から物体までの距離と角度である。
演算装置１２１は、選択した一つのセンサの補正情報の算出後に、終了判定Ｓ２０１ｅにおいて、補正情報を算出する対象となるすべてのセンサの補正情報の算出が終了したか否かを判定する。演算装置１２１は、補正情報を算出する対象となるすべてのセンサに対して、補正情報の算出が終了していない（ＮＯ）と判定すると、検知情報選択Ｓ２０１ａに戻る。演算装置１２１は、補正情報を算出する対象となるすべてのセンサに対して、補正情報の算出が終了した（ＹＥＳ）と判定すると補正Ｓ２０１を終了する。
たとえば初期状態において、記憶装置１２２には、補正Ｓ２０１で用いられる補正パラメータとして、外界センサ１１０を構成する第１センサ１１１を含む複数のセンサの製品出荷時の補正パラメータが記憶されている。この記憶装置１２２に記憶された補正パラメータは、たとえば後述する補正パラメータの記憶Ｓ２１１において更新される。
演算装置１２１は、図３および図４に示す補正Ｓ２０１の終了後、瞬時値グルーピングＳ２０２において次の処理を行う。演算装置１２１は、外界センサ１１０を構成する複数のセンサのうち、補正Ｓ２０１において対象となるセンサに対して算出された補正情報と、補正Ｓ２０１の対象外であるセンサからの検知情報とを用いた瞬時値グルーピングを行う。これにより、演算装置１２１は、外界センサ１１０を構成する複数のセンサで検出した同一の物体の統合検知情報を出力する。
より具体的には、演算装置１２１は、瞬時値グルーピングＳ２０２において、たとえば撮像装置である第１センサ１１１の第１検知情報を補正した補正情報と、たとえばミリ波レーダ装置である第２センサ１１２の第２検知情報とを用いて瞬時値グルーピングを行う。ここで、瞬時値グルーピングは、センサの検知情報および補正情報の時系列情報、すなわち検知情報および補正情報の時間的推移に基づく時系列グルーピングとは異なる手法を用いる。瞬時値グルーピングでは、センサの検知情報の瞬時値、すなわち一回のサンプリングで取得された検知情報およびその補正情報を用いて、複数のセンサの検知情報および補正情報をグルーピングする。
演算装置１２１は、たとえば、記憶装置１２２に記憶された下記の式（１）を用いて、外界センサ１１０を構成する複数のセンサの検知情報および補正情報の瞬時値グルーピングを行う。式（１）は、マハラノビス距離を表している。演算装置１２１は、瞬時値グルーピングＳ２０２において、たとえば、外界センサ１１０を構成する複数のセンサの検知情報および補正情報の予測情報を用いる。この予測情報は、後述する統合検知情報の予測更新Ｓ２０７において算出される。
Figure 0007285923000001
式（１）において、ｘｓ，ｊ，ｔは、たとえば、検知情報または補正情報であり、ｘｐ，ｉ，ｔは、これら検知情報および補正情報の予測情報である。たとえば、検知情報または補正情報は、予測値を平均とした正規分布に従い、その共分散はＰｐ，ｉ，ｔ，ｓ，ｊ，ｔであるという情報が得られたとする。なお、添え字のｐは予測を表し、ｓはセンサを表し、ｉは予測値の識別番号を表し、ｊは検知情報または補正情報の識別番号を表し、ｔは時点を表す。
この場合、検知情報および補正情報とそれらの予測値との間のマハラノビス距離は、上記式（１）で表される。演算装置１２１は、瞬時値グルーピングＳ２０２において、たとえば、このマハラノビス距離がしきい値以下である場合に、複数のセンサの検知情報または補正情報をグルーピングの対象とする。そして、演算装置１２１は、検知情報および補正情報のそれぞれの予測値と、グルーピングの対象となった複数のセンサの検知情報または補正情報の識別番号とを記憶装置１２２に記憶させる。
演算装置１２１は、瞬時値グルーピングＳ２０２の完了後、統合更新Ｓ２０３において、たとえば、外界センサ１１０を構成する複数のセンサの検知情報および補正情報と、グルーピング対象の検知情報または補正情報の識別番号とに基づいて、統合検知情報を出力する。この統合検知情報は、たとえば、外界センサ１１０を構成する複数のセンサによって検知された物体がどのような状態にあるかを推定した情報である。演算装置１２１は、統合更新Ｓ２０３で出力した統合検知情報を用い、図２に示す環境情報統合Ｓ３００において、前述のように環境情報を出力する。
また、演算装置１２１は、図３に示す統合検知情報の時系列化Ｓ２０４において、記憶装置１２２に記憶された過去の統合検知情報の時系列である統合時系列情報に、統合更新Ｓ２０３で出力した最新の統合検知情報を追加する。そして、演算装置１２１は、この最新の統合検知情報が追加された最新の統合時系列情報を出力する。また、演算装置１２１は、統合時系列情報の記憶Ｓ２０５において、この最新の統合時系列情報を記憶装置１２２に記憶させる。
また、演算装置１２１は、たとえば、統合時系列情報の瞬時値化Ｓ２０６において、記憶装置１２２に記憶された統合時系列情報を瞬時値化し、統合検知情報の予測更新Ｓ２０７において、瞬時値化された統合検知情報を用いて予測情報を出力する。この予測情報は、たとえば、センサフュージョンを実施する時間間隔分の時間が経過した後に、外界センサ１１０を構成する複数のセンサによって検知された物体がどのような状態になっているかを予測した結果である。この予測情報は、たとえば、前述のように瞬時値グルーピングＳ２０２において用いられる。
また、記憶装置１２２には、たとえば、外界センサ１１０を構成する複数のセンサの過去の検知情報の時系列である時系列情報が記憶されている。演算装置１２１は、検知情報の時系列化Ｓ２０８において、たとえば、記憶装置１２２に記憶された時系列情報に、外界センサ１１０を構成する複数のセンサの最新の検知情報を追加した最新の時系列情報を出力する。さらに、演算装置１２１は、時系列情報の記憶Ｓ２０９において、この最新の時系列情報を記憶装置１２２に記憶させる。
また、演算装置１２１は、校正判断Ｓ２１０において、外界センサ１１０を構成する複数のセンサの少なくとも一つの校正の要否を判定する。演算装置１２１は、校正判断Ｓ２１０において、たとえば、瞬時値グルーピングＳ２０２の不安定性に基づく校正判断指数を算出し、その校正判断指数がしきい値以上になったときに、校正Ｓ２２０において補正パラメータを算出する。この校正判断指数は、たとえば、瞬時値グルーピングＳ２０２の不安定性を表す指標を時間で積算したものである。
すなわち、演算装置１２１は、たとえば、校正判断Ｓ２１０における校正判断指数がしきい値以下の通常時には、上述の補正Ｓ２０１から校正判断Ｓ２１０までの処理を所定の周期で繰り返す。そして、演算装置１２１は、たとえば、校正判断Ｓ２１０における校正判断指数がしきい値を超えた異常時にのみ、校正Ｓ２２０において補正パラメータを算出する。校正Ｓ２２０は、たとえば、グルーピングＳ２２１と、補正パラメータ算出Ｓ２２２とを含む。
校正判断指数は、たとえば、初期値がゼロの変数とすることができる。この場合、演算装置１２１は、たとえば一回の処理毎に校正判断指数に１を加算して記憶装置１２２に記憶させる。演算装置１２１は、たとえば、校正判断Ｓ２１０において、校正判断指数が所定のしきい値以上であるか否かの二値情報を出力する。演算装置１２１は、たとえば、校正判断指数の二値情報が真である場合、すなわち校正判断指数が所定のしきい値以上である場合、校正判断指数を初期化してゼロとして記憶装置１２２に記憶させる。
演算装置１２１は、校正判断Ｓ２１０でセンサの校正が必要と判断すると、グルーピングＳ２２１において、たとえば、時系列グルーピングを開始する。図３に示す例において、演算装置１２１は、時系列グルーピングの入力として、次の二つの情報を用いる。一つは検知情報の時系列化Ｓ２０８で出力された複数のセンサの検知情報の時系列すなわち時系列情報である。もう一つは、統合検知情報の時系列化Ｓ２０４で出力された統合時系列情報である。演算装置１２１は、グルーピングＳ２２１において、これらの二つの情報を用い、複数のセンサの時系列情報のうち同一の物体を検知した情報を推定してそれらを統合し、統合時系列情報として出力する。
演算装置１２１は、このグルーピングＳ２２１において、たとえば、記憶装置１２２に記憶された上記の式（１）と下記の式（２）を用いて、複数のセンサの時系列情報の時系列グルーピングを行う。式（２）は、時平均マハラノビス距離を表している。時平均マハラノビス距離は、たとえば、複数のセンサの時系列情報と、予測情報を含む統合時系列情報との間の距離である。この時平均マハラノビス距離は、上記の式（１）のマハラノビス距離を、二つの物体の検知情報が存在していたｔ＝ｔ１からｔ＝ｔ２までの共通の時間範囲で平均化したものである。
Figure 0007285923000002
演算装置１２１は、グルーピングＳ２２１において、たとえば上記式（２）の時平均マハラノビス距離がしきい値以下である場合に、検知情報の時系列化Ｓ２０８で出力されたセンサの時系列情報と、統合検知情報の時系列化Ｓ２０４で出力された統合時系列情報とをグルーピングする。そして、演算装置１２１は、統合時系列情報にグルーピングされたセンサの時系列情報の識別番号を記憶装置１２２に記憶させる。
図５は、図３の検知情報統合Ｓ２００に含まれる補正パラメータ算出Ｓ２２２の一例を示すフロー図である。補正パラメータ算出Ｓ２２２は、たとえば、センサ選択Ｓ２２２ａと、グルーピング判定Ｓ２２２ｂと、基準時系列情報の算出Ｓ２２２ｃと、センサ観測量時系列情報の算出Ｓ２２２ｄと、補正パラメータの算出Ｓ２２２ｅと、終了判定Ｓ２２２ｆと、時系列情報の削除Ｓ２２２ｇとを含む。
演算装置１２１は、センサ選択Ｓ２２２ａにおいて、たとえば、外界センサ１１０を構成する複数のセンサのうち、補正パラメータを算出する対象となるセンサを選択する。より具体的には、演算装置１２１は、センサ選択Ｓ２２２ａにおいて、たとえば、撮像センサである第１センサ１１１を選択する。次に、演算装置１２１は、グルーピング判定Ｓ２２２ｂにおいて、選択したセンサについて、統合時系列情報にグルーピングされた検知情報の時系列情報が存在するか否かを判定する。
演算装置１２１は、グルーピング判定Ｓ２２２ｂにおいて、統合時系列情報にグルーピングされた検知情報の時系列情報が存在しない場合（ＮＯ）、後述する終了判定Ｓ２２２ｆへ進む。また、演算装置１２１は、グルーピング判定Ｓ２２２ｂにおいて、統合時系列情報にグルーピングされた検知情報の時系列情報が存在する場合（ＹＥＳ）、基準時系列情報の算出Ｓ２２２ｃへ進む。より具体的には、演算装置１２１は、グルーピング判定Ｓ２２２ｂにおいて、選択した第１センサ１１１について、統合時系列情報にグルーピングされた検知情報の時系列情報が存在するか否かを判定する。
演算装置１２１は、基準時系列情報の算出Ｓ２２２ｃにおいて、選択されたセンサについて、補正の基準となるセンサの観測量の時系列情報を、基準時系列情報として算出する。より具体的には、演算装置１２１は、基準時系列情報の算出Ｓ２２２ｃにおいて、選択されたた撮像装置である第１センサ１１１について、統合時系列情報に基づいて、補正の基準となるピクセル位置の時系列情報を、基準時系列情報として算出する。
演算装置１２１は、センサ観測量時系列情報の算出Ｓ２２２ｄにおいて、選択されたセンサについて、検知情報の時系列である時系列情報に基づいて、センサの観測量の時系列情報を、センサ観測量時系列情報として算出する。より具体的には、演算装置１２１は、センサ観測量時系列情報の算出Ｓ２２２ｄにおいて、選択された撮像装置である第１センサ１１１について、時系列情報に基づいて、補正の対象となるピクセル位置の時系列情報を、センサ観測量時系列情報として算出する。
演算装置１２１は、補正パラメータの算出Ｓ２２２ｅにおいて、選択されたセンサにつて、基準時系列情報とセンサ観測量時系列情報との各時点の差分の平均を算出し、この差分の平均を補正パラメータとして記憶装置１２２に記憶させる。より具体的には、演算装置１２１は、補正パラメータの算出Ｓ２２２ｅにおいて、選択された撮像素子である第１センサ１１１について、基準時系列情報とセンサ観測量時系列情報との各時点のピクセル位置の差分の平均を算出し、このピクセル位置の差分の平均を補正パラメータとして記憶装置１２２に記憶させる。
演算装置１２１は、終了判定Ｓ２２２ｆにおいて、外界センサ１１０を構成する複数のセンサのうち、選択される対象のすべてのセンサについて補正パラメータの算出が終了したか否かを判定する。演算装置１２１は、選択される対象のすべてのセンサについて補正パラメータの算出が終了していない場合（ＮＯ）、センサ選択Ｓ２２２ａへ戻り、選択される対象のすべてのセンサについて補正パラメータの算出が終了している場合（ＹＥＳ）、時系列情報の削除Ｓ２２２ｇへ進む。
演算装置１２１は、時系列情報の削除Ｓ２２２ｇにおいて、時系列情報の記憶Ｓ２０９で記憶装置１２２に記憶されたセンサの時系列情報のうち、所定の時間よりも前の時系列情報を削除して、補正パラメータの算出Ｓ２２２を終了する。その後、演算装置１２１は、図３に示す補正パラメータの記憶Ｓ２１１において、補正パラメータの算出Ｓ２２２ｅで算出された補正パラメータを、記憶装置１２２へ記憶させる。
以下、本実施形態の車両制御システム１００の作用を、従来技術との対比に基づいて説明する。図６は、図１の車両制御システム１００の外界センサ１１０に含まれる複数のセンサの時系列情報の一例を示すグラフである。図７Ａおよび図７Ｂは、従来の障害物検知装置のグルーピング結果を示すグラフである。図８Ａおよび図８Ｂは、図１の車両制御システム１００の情報統合装置１２０によるグルーピング結果を示すグラフである。
各グラフにおいて、横軸ｔは時間であり、縦軸ｘは、たとえばセンサによって検知した物体の距離、角度などの検知情報である。また、各グラフにおいて、実線と点線は、たとえば異なる種類のセンサによって検知した同一の物体の検知情報の時系列情報であり、破線は、これらのセンサとは異なる種類のセンサによって検知した別の物体の検知情報の時系列情報である。
車両制御システム１００は、たとえばＡＤを行う自動車の外界センシングのために、外界センサ１１０の異なる種類の複数のセンサが検知した物体についての情報を統合するセンサ認識統合を行う。ＡＤでは、センサによる車両周囲の物体の認識結果に基づいて、走行計画立案および走行判断を行う。物体を検知するためのセンサは、レーダ、カメラ、ソナー、レーザレーダなど多岐にわたる。
これらのセンサは、検知範囲、検知可能な物体、検知精度、コストなどの条件が様々である。そのため、目的に応じて複数のセンサを組み合わせる必要がある。複数のセンサを組み合わせる際に、同一の物体を検知した情報が複数発生することがある。それらの検知情報が同一の物体についての情報であると判定し、それらを統合して高精度の統合検知情報を出力することが要求される。このように、複数のセンサの検知情報のうち、同一の物体の検知情報を同定することを、グルーピングと呼ぶ。
前述のように、従来の障害物検知装置は、図６のような複数の時系列情報に対し、ｔ、ｔ＋１、ｔ＋２、…、ｔ＋ｎの各時刻において、第１計測装置の検出した障害物位置と第２計測装置の検出した障害物位置とが重なっている場合に、二つの障害物が同一障害物であると判定する。センサの観測パラメータは、たとえば振動や熱応力の影響などにより、経時的に変化に変化することがある。
そのため、たとえばセンサの観測パラメータが経時的に変化した場合、複数の計測装置が検出した障害物が同一であるか否かを各時刻において判定する従来の障害物検知装置の瞬時値グルーピングでは、判定結果に誤りが含まれるおそれがある。具体的には、たとえば図７Ａおよび図７Ｂに示すように、複数の異なる物体の検知情報が、同一の物体の検知情報としてグルーピングされるおそれがあり、高精度のグルーピングが困難である。このようにグルーピングに誤りが生じている状況下でセンサの校正を行うと、センサの校正精度が低下するおそれがある。
また、前述の従来の行動認識装置では、複数のセンサデータの時間的推移に基づく時系列グルーピングにより、上記瞬時値グルーピングよりも高精度のグルーピングが可能になる。しかし、この従来の行動認識装置では、センサの校正を行っていないため、各センサによって検知した物体の検知情報の誤差を除去することができない。そこで、従来の障害物検知装置において、瞬時値グルーピングに代えて、時系列グルーピングによるセンサの校正を行うことが考えられる。しかし、時系列グルーピングは、時系列情報を必要とするため、時系列データを必要としない瞬時値グルーピングと比較して長時間を要する。
このような従来技術の課題を解決するために、本実施形態の車両制御システム１００は、外界センサ１１０を構成する第１センサ１１１および第２センサ１１２と、情報統合装置１２０と、車両制御装置１３０と、を備える。第１センサ１１１および第２センサ１１２は、車両の周囲の物体を検知する。情報統合装置１２０は、同一の物体を検知した第１センサ１１１と第２センサ１１２の検知結果である第１検知情報と第２検知情報をグルーピングして統合された統合検知情報を出力する。車両制御装置１３０は、統合検知情報に基づいて車両を制御する。情報統合装置１２０は、演算装置１２１と記憶装置１２２とを含む。演算装置１２１は、図３に示す時系列情報の記憶Ｓ２０９において、第１検知情報の時系列情報である第１時系列情報と第２検知情報の時系列情報である第２時系列情報とを記憶装置１２２に記憶させる。また、演算装置１２１は、図３に示す校正Ｓ２２０において、第１センサ１１１と第２センサ１１２が同一の物体を検知したときの第１時系列情報と第２時系列情報とをグルーピングして第１検知情報の補正パラメータを算出する。また、演算装置１２１は、図３に示す補正Ｓ２０１において、補正パラメータを用いて第１検知情報を補正した補正情報を算出する。そして、演算装置１２１は、図３に示す瞬時値グルーピングＳ２０２および統合更新Ｓ２０３において、補正情報と第２検知情報とを用いた瞬時値グルーピングによって統合検知情報を出力する。
この構成により、本実施形態の車両制御システム１００は、通常の運転時において、第１センサ１１１の第１検知情報を補正した補正情報を用いて、情報統合装置１２０による瞬時値グルーピングＳ２０２を実行することができる。換言すると、本実施形態の車両制御システム１００は、情報統合装置１２０の演算装置１２１により校正判断Ｓ２１０において校正が必要と判断された場合にのみ校正Ｓ２２０を実行し、グルーピングＳ２２１において時系列グルーピングを実行することができる。すなわち、車両制御システム１００は、通常の運転時に時系列グルーピングを実行しないため、センサの検知情報の時系列情報が揃うのを待つ必要がない。
これにより、通常の運転時に、外界センサ１１０に含まれる複数のセンサ、たとえば第１センサ１１１および第２センサ１１２の検知情報のグルーピングの処理時間を、時系列グルーピングと比較して短縮することが可能になる。また、演算装置１２１によって校正が必要と判断された場合に、第１センサ１１１の第１検知情報の補正パラメータを第１検知情報の時系列情報を用いて算出することで、第１センサ１１１の観測パラメータの経時的な変化によらず、第１検知情報の補正情報を正確に算出することができる。この補正情報を用いることで、図８Ａおよび図８Ｂに示すように、複数の異なる物体の検知情報が、同一の物体の検知情報としてグルーピングされることが防止され、従来の障害物検知装置と比較して、高精度のグルーピングが可能になる。
また、本実施形態の車両制御システム１００において、情報統合装置１２０の演算装置１２１は、たとえば図３に示すように、統合更新Ｓ２０３において統合検知情報の出力を所定の周期で繰り返す。また、演算装置１２１は、統合検知情報の時系列化Ｓ２０４および統合時系列情報の記憶Ｓ２０５において、統合検知情報の時系列情報である統合時系列情報を記憶装置１２２に記憶させる。
この構成により、本実施形態の車両制御システム１００は、情報統合装置１２０の演算装置１２１による校正Ｓ２２０を行うときに、記憶装置１２２に記憶された統合時系列情報を用いたグルーピングＳ２２１を行うことができる。そのため、グルーピングＳ２２１において、統合検知情報が揃うのを待つことなく、記憶装置１２２に記憶された統合時系列情報を用いてグルーピングＳ２２１を行うことができる。また、演算装置１２１は、統合検知情報の予測更新Ｓ２０７において、外界センサ１１０を構成する複数のセンサの検知情報および補正情報の予測情報を算出し、瞬時値グルーピングＳ２０２において、予測情報を用いた瞬時値グルーピングを行うことができる。これにより、瞬時値グルーピングＳ２０２をより容易かつ高精度に行うことができる。
また、本実施形態の車両制御システム１００において、情報統合装置１２０の演算装置１２１は、たとえば図３に示す校正判断Ｓ２１０において、瞬時値グルーピングの不安定性に基づく校正判断指数を算出する。そして、演算装置１２１は、校正判断指数がしきい値以上になったときに、校正Ｓ２２０を行って補正パラメータを算出する。
この構成により、本実施形態の車両制御システム１００は、情報統合装置１２０の演算装置１２１により、第１センサ１１１等、外界センサ１１０に含まれるセンサの観測パラメータの経時的な変化を、校正判断指数に基づいて検出することができる。これにより、センサの観測パラメータの経時的な変化に応じて、補正パラメータを自動的に更新することができ、演算装置１２１による瞬時値グルーピングＳ２０２を、より高精度に行うことができる。
また、本実施形態の車両制御システム１００において、情報統合装置１２０の演算装置１２１は、第１センサ１１１の第１時系列情報の時間的推移と第２センサ１１２の第２時系列情報の時間的推移とに基づくグルーピングによって補正パラメータを算出する。
より具体的には、図３に示すように、演算装置１２１は、グルーピングＳ２２１において、検知情報の時系列化Ｓ２０８で出力した複数のセンサの検知情報の時系列である時系列情報を用い、図８Ａおよび図８Ｂに示す時系列グルーピングを行う。そして、演算装置１２１は、図５に示す補正パラメータ算出Ｓ２２２において、補正パラメータを算出する。この構成により、より正確な補正パラメータを算出することができ、演算装置１２１による瞬時値グルーピングＳ２０２を、より高精度に行うことができる。
以上説明したように、本実施形態によれば、複数のセンサによって検出した同一の物体の複数の検知結果のグルーピングを高精度かつ短時間に行うことが可能な車両制御システム１００を提供することができる。
［実施形態２］
次に、前述の実施形態１の図１から図８を援用し、図９を参照して本開示の実施形態２に係る車両制御システム１００を説明する。本実施形態の車両制御システム１００は、情報統合装置１２０の構成が前述の実施形態１と異なっている。本実施形態の車両制御システム１００のその他の点は、前述の実施形態１に係る車両制御システム１００と同様であるので、同様の部分には同一の符号を付して説明を省略する。
本実施形態の車両制御システム１００において、情報統合装置１２０の演算装置１２１は、次の特徴を有する。演算装置１２１は、第１センサ１１１の最新の補正情報と第２センサ１１２の第２検知情報とを用いた瞬時値グルーピングＳ２０２の結果が過去の補正情報と第２検知情報とを用いた瞬時値グルーピングＳ２０２の結果と異なる場合に、最新の瞬時値グルーピングＳ２０２の結果と過去の瞬時値グルーピングＳ２０２の結果との間の異なる情報の個数に基づいて校正判断指数を算出する。そして、演算装置１２１は、校正判断指数がしきい値以上になったときに補正パラメータを算出する。
図９は、本実施形態の演算装置１２１による校正判断Ｓ２１０のフロー図である。校正判断Ｓ２１０は、たとえば、検知情報選択Ｓ２１０ａと、グルーピング解除加算Ｓ２１０ｂと、グルーピング追加加算Ｓ２１０ｃと、選択終了判定Ｓ２１０ｄと、二値情報出力設定Ｓ２１０ｅと、指数初期化Ｓ２１０ｆとを含む。
演算装置１２１は、検知情報選択Ｓ２１０ａにおいて、前回および最新の瞬時値グルーピングＳ２０２でグルーピングされた統合検知情報の一つを選択する。演算装置１２１は、グルーピング解除加算Ｓ２１０ｂにおいて、前回の瞬時値グルーピングＳ２０２で一つの統合検知情報に統合された複数のセンサの最新の検知情報のうち、最新の瞬時値グルーピングＳ２０２でグルーピングの対象外になった検知情報の数を、校正判断指数に加算する。
演算装置１２１は、グルーピング追加加算Ｓ２１０ｃにおいて、前回の瞬時値グルーピングＳ２０２でグルーピングされていなかった複数のセンサの最新の検知情報のうち、最新の瞬時値グルーピングＳ２０２でグルーピングの対象になった検知情報の数を、校正判断指数に加算する。演算装置１２１は、選択終了判定Ｓ２１０ｄにおいて、前回および最新の瞬時値グルーピングＳ２０２でグルーピングされた統合検知情報のすべてを選択したか否かを判定する。
演算装置１２１は、選択終了判定Ｓ２１０ｄにおいて、前回および最新の瞬時値グルーピングＳ２０２でグルーピングされたすべての統合検知情報の選択が終了していない場合（ＮＯ）、検知情報選択Ｓ２１０ａへ戻る。演算装置１２１は、選択終了判定Ｓ２１０ｄにおいて、前回および最新の瞬時値グルーピングＳ２０２でグルーピングされたすべての統合検知情報の選択が終了している場合（ＹＥＳ）、二値情報出力設定Ｓ２１０ｅへ進む。
演算装置１２１は、二値情報出力設定Ｓ２１０ｅにおいて、校正判断指数がしきい値以上であるか否かを判定し、たとえば真と偽の二値情報を出力として設定する。具体的には、演算装置１２１は、二値情報出力設定Ｓ２１０ｅにおいて、校正判断指数がしきい値未満である場合に偽を出力として設定し、校正判断指数がしきい値以上である場合に真を出力として設定し、指数初期化Ｓ２１０ｆへ進む。演算装置１２１は、二値情報出力設定ＳＳ２１０ｅにおいて真が出力として設定された場合に、指数初期化Ｓ２１０ｆにおいて校正判断指数をゼロに初期化して、真偽の二値情報のうち真を出力し、校正判断Ｓ２１０を終了する。
本実施形態の車両制御システム１００によれば、情報統合装置１２０において補正パラメータが適切でない場合に、前述の実施形態１に係る車両制御システム１００よりも早期に補正パラメータを適切な値に更新することができる。一方、情報統合装置１２０において補正パラメータが適切である場合、前述の実施形態１に係る車両制御システム１００よりも補正パラメータを更新するまでの時間を延長することができる。その結果、演算装置１２１による校正判断Ｓ２１０の頻度を低減し、処理時間を低減することができる。
［実施形態３］
次に、前述の実施形態１の図１から図８を援用し、図１０を参照して本開示の実施形態２に係る車両制御システム１００を説明する。本実施形態の車両制御システム１００は、情報統合装置１２０の構成が前述の実施形態１と異なっている。本実施形態の車両制御システム１００のその他の点は、前述の実施形態１に係る車両制御システム１００と同様であるので、同様の部分には同一の符号を付して説明を省略する。
本実施形態の車両制御システム１００において、情報統合装置１２０の演算装置１２１は、第１センサ１１１の第１時系列情報と第２センサ１１２の第２時系列情報の時系列距離に基づくグルーピングによって補正パラメータを算出する。すなわち、本実施形態において、情報統合装置１２０の演算装置１２１は、第１時系列情報の時間的推移と第２時系列情報の時間的推移を用いるグルーピングＳ２２１に代えて、第１時系列情報と第２時系列情報の時系列距離に基づくグルーピングＳ２２１を行う。換言すると、本実施形態において、演算装置１２１は、グルーピングＳ２２１において、教師なし学習手法の一つであるクラスタリングによって、複数のセンサの検知情報の時系列である時系列情報を統合する。
図１０は、本実施形態の演算装置１２１による校正Ｓ２２０におけるグルーピングＳ２２１のフロー図である。校正Ｓ２２０のグルーピングＳ２２１は、たとえば、優先度付き待ち行列作成Ｓ２２１ａと、時平均マハラノビス距離算出Ｓ２２１ｂと、最小値出力Ｓ２２１ｃと、最小値判定Ｓ２２１ｄと、時系列情報統合Ｓ２２１ｅと、時平均マハラノビス距離更新Ｓ２２１ｆと、を含む。
演算装置１２１は、優先度付き待ち行列作成Ｓ２２１ａにおいて、記憶装置１２２に空の優先度付き待ち行列（priority queue）を作成する。優先度付き待ち行列は、たとえば、最小値を優先的に取り出すことが可能なコレクションである。演算装置１２１は、時平均マハラノビス距離算出Ｓ２２１ｂにおいて、前記式（２）を用いて複数のセンサの時系列情報の間の時平均マハラノビス距離を算出し、記憶装置１２２の優先度付き待ち行列に追加する。
演算装置１２１は、最小値出力Ｓ２２１ｃにおいて、優先度付き待ち行列から出力された時平均マハラノビス距離が最小となるセンサの時系列情報の組み合わせを抽出する。演算装置１２１は、最小値判定Ｓ２２１ｄにおいて、抽出された時系列情報の組み合わせの時平均マハラノビス距離がしきい値以下であるか否かを判定する。演算装置１２１は、最小値判定Ｓ２２１ｄにおいて時平均マハラノビス距離がしきい値を超えている場合（ＮＯ）、グルーピングＳ２２１を終了する。一方、演算装置１２１は、最小値判定Ｓ２２１ｄにおいて時平均マハラノビス距離がしきい値以下である場合（ＹＥＳ）、時系列情報統合Ｓ２２１ｅへ進む。
演算装置１２１は、時系列情報統合Ｓ２２１ｅにおいて、時平均マハラノビス距離がしきい値以下であるセンサの時系列情報を統合する。演算装置１２１は、時平均マハラノビス距離更新Ｓ２２１ｆにおいて、複数のセンサの時系列情報の間の時平均マハラノビス距離を更新する。さらに、演算装置１２１は、統合前のセンサの時系列情報の組み合わせに係る時平均マハラノビス距離を優先度付き待ち行列から削除し、統合後の時系列情報に係る時平均マハラノビス距離を優先度付き待ち行列に追加して、最小値出力Ｓ２２１ｃへ戻る。
本実施形態の車両制御システム１００によれば、情報統合装置１２０の演算装置１２１による校正Ｓ２２０のグルーピングＳ２２１において、統合時系列情報を使用しない。その結果、瞬時値グルーピングＳ２０２において、仮に誤ったグルーピングが行われた場合でも、グルーピング結果の誤りが統合時系列情報の記憶Ｓ２０５や補正パラメータの記憶Ｓ２１１に伝播するのを防止できる。したがって、補正パラメータ算出Ｓ２２２において誤差の影響を排除することができ、補正Ｓ２０１においてセンサの検知情報を高精度に補正することが可能になる。
以上、図面を用いて本開示に係る車両制御システムの実施形態を詳述してきたが、具体的な構成はこの実施形態に限定されるものではなく、本開示の要旨を逸脱しない範囲における設計変更等があっても、それらは本開示に含まれるものである。
１００ 車両制御システム
１１１ 第１センサ
１１２ 第２センサ
１２０ 情報統合装置
１２１ 演算装置
１２２ 記憶装置
１３０ 車両制御装置

Claims (2)

  1. 車両の周囲の物体を検知する第１センサおよび第２センサと、前記第１センサと前記第２センサのそれぞれによって検出された同一の物体の位置や速度である第１検知情報と第２検知情報をグルーピングして統合された統合検知情報を出力する情報統合装置と、前記統合検知情報に基づいて前記車両を制御する車両制御装置と、を備えた車両制御システムであって、
    前記情報統合装置は、演算装置と記憶装置を含み、
    前記演算装置は、
    前記第１検知情報の時系列情報である第１時系列情報と前記第２検知情報の時系列情報である第２時系列情報とを前記記憶装置に記憶させ、
    前記第１センサと前記第２センサが同一の物体を検知したときの前記第１時系列情報と前記第２時系列情報とをグルーピングして前記第１検知情報の補正パラメータを算出し、
    前記補正パラメータを用いて前記第１検知情報を補正した補正情報を算出し、
    前記補正情報と前記第２検知情報とを用いた瞬時値グルーピングによって前記統合検知情報を出力することを所定の周期で繰り返し、前記統合検知情報の時系列情報である統合時系列情報を前記記憶装置に記憶させ、
    前記瞬時値グルーピングの不安定性に基づく校正判断指数を算出し、前記校正判断指数がしきい値以上になったときに前記補正パラメータを算出することを特徴とする
    車両制御システム。
  2. 車両の周囲の物体を検知する第１センサおよび第２センサと、前記第１センサと前記第２センサのそれぞれによって検出された同一の物体の位置や速度である第１検知情報と第２検知情報をグルーピングして統合された統合検知情報を出力する情報統合装置と、前記統合検知情報に基づいて前記車両を制御する車両制御装置と、を備えた車両制御システムであって、
    前記情報統合装置は、演算装置と記憶装置を含み、
    前記演算装置は、
    前記第１検知情報の時系列情報である第１時系列情報と前記第２検知情報の時系列情報である第２時系列情報とを前記記憶装置に記憶させ、
    前記第１センサと前記第２センサが同一の物体を検知したときの前記第１時系列情報と前記第２時系列情報とをグルーピングして前記第１検知情報の補正パラメータを算出し、
    前記補正パラメータを用いて前記第１検知情報を補正した補正情報を算出し、
    前記補正情報と前記第２検知情報とを用いた瞬時値グルーピングによって前記統合検知情報を出力することを所定の周期で繰り返し、前記統合検知情報の時系列情報である統合時系列情報を前記記憶装置に記憶させ、
    新たな前記補正情報と前記第２検知情報とを用いた新たなグルーピング結果が過去の前記補正情報と前記第２検知情報とを用いた過去のグルーピング結果と異なる場合に、前記新たなグルーピング結果と前記過去のグルーピング結果との間の異なる情報の個数に基づいて校正判断指数を算出し、前記校正判断指数がしきい値以上になったときに前記補正パラメータを算出することを特徴とする
    車両制御システム。
JP2021519364A 2019-05-13 2020-04-28 車両制御システム Active JP7285923B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019090353 2019-05-13
JP2019090353 2019-05-13
PCT/JP2020/018068 WO2020230619A1 (ja) 2019-05-13 2020-04-28 車両制御システム

Publications (2)

Publication Number Publication Date
JPWO2020230619A1 JPWO2020230619A1 (ja) 2020-11-19
JP7285923B2 true JP7285923B2 (ja) 2023-06-02

Family

ID=73290021

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021519364A Active JP7285923B2 (ja) 2019-05-13 2020-04-28 車両制御システム

Country Status (4)

Country Link
US (1) US11891086B2 (ja)
JP (1) JP7285923B2 (ja)
DE (1) DE112020001776T5 (ja)
WO (1) WO2020230619A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11572082B2 (en) * 2020-10-27 2023-02-07 Automotive Research & Testing Center Driving risk assessment and control decision-making method for autonomous vehicle

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003099762A (ja) 2001-09-25 2003-04-04 Daihatsu Motor Co Ltd 前方車両認識装置及び認識方法
JP2010249613A (ja) 2009-04-14 2010-11-04 Toyota Motor Corp 障害物認識装置及び車両制御装置
JP2010276529A (ja) 2009-05-29 2010-12-09 Panasonic Corp 物体同定装置および物体同定方法
US20130151135A1 (en) 2010-11-15 2013-06-13 Image Sensing Systems, Inc. Hybrid traffic system and associated method
WO2016027652A1 (ja) 2014-08-18 2016-02-25 株式会社デンソー 物体認識装置
JP2016516977A (ja) 2013-02-21 2016-06-09 アイシス・イノベーション・リミテッドＩｓｉｓ Ｉｎｎｏｖａｔｉｏｎ Ｌｉｍｉｔｅｄ 環境の３ｄモデルの生成
US20160203374A1 (en) 2015-01-14 2016-07-14 GM Global Technology Operations LLC Target grouping techniques for object fusion
WO2019039279A1 (ja) 2017-08-22 2019-02-28 ソニー株式会社 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム
US20190120955A1 (en) 2017-10-20 2019-04-25 Texas Instruments Incorporated System and method for camera radar fusion

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6523050B2 (ja) 2015-06-02 2019-05-29 日立建機株式会社 鉱山用作業機械
JP6611257B2 (ja) 2016-07-19 2019-11-27 日本電信電話株式会社 行動認識装置、および、行動認識方法
JPWO2018212346A1 (ja) * 2017-05-18 2020-03-19 パイオニア株式会社 制御装置、走査システム、制御方法、およびプログラム
CN111417869B (zh) * 2017-11-20 2024-08-20 三菱电机株式会社 障碍物识别装置及障碍物识别方法
US11698440B2 (en) * 2019-04-02 2023-07-11 Universal City Studios Llc Tracking aggregation and alignment

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003099762A (ja) 2001-09-25 2003-04-04 Daihatsu Motor Co Ltd 前方車両認識装置及び認識方法
JP2010249613A (ja) 2009-04-14 2010-11-04 Toyota Motor Corp 障害物認識装置及び車両制御装置
JP2010276529A (ja) 2009-05-29 2010-12-09 Panasonic Corp 物体同定装置および物体同定方法
US20130151135A1 (en) 2010-11-15 2013-06-13 Image Sensing Systems, Inc. Hybrid traffic system and associated method
JP2016516977A (ja) 2013-02-21 2016-06-09 アイシス・イノベーション・リミテッドＩｓｉｓ Ｉｎｎｏｖａｔｉｏｎ Ｌｉｍｉｔｅｄ 環境の３ｄモデルの生成
WO2016027652A1 (ja) 2014-08-18 2016-02-25 株式会社デンソー 物体認識装置
US20160203374A1 (en) 2015-01-14 2016-07-14 GM Global Technology Operations LLC Target grouping techniques for object fusion
WO2019039279A1 (ja) 2017-08-22 2019-02-28 ソニー株式会社 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム
US20190120955A1 (en) 2017-10-20 2019-04-25 Texas Instruments Incorporated System and method for camera radar fusion

Also Published As

Publication number Publication date
US20220227386A1 (en) 2022-07-21
WO2020230619A1 (ja) 2020-11-19
DE112020001776T5 (de) 2022-01-27
US11891086B2 (en) 2024-02-06
JPWO2020230619A1 (ja) 2020-11-19

Similar Documents

Publication Publication Date Title
US20230079730A1 (en) Control device, scanning system, control method, and program
EP3647728B1 (en) Map information system
WO2018181974A1 (ja) 判定装置、判定方法、及び、プログラム
JP6224370B2 (ja) 車両用コントローラ、車両システム
EP2600328B1 (en) Driving assistance device
CN105264586B (zh) 用于车辆的占用地图
US8055445B2 (en) Probabilistic lane assignment method
EP3644294A1 (en) Vehicle information storage method, vehicle travel control method, and vehicle information storage device
JP2020053094A (ja) 道路の車線識別子を決定する方法及び装置
US11507107B2 (en) Map information system
KR102086270B1 (ko) 주행 제어 장치의 제어 방법 및 주행 제어 장치
JP4899657B2 (ja) 道路形状取得装置
JP2017224168A (ja) 運転支援装置及び運転支援方法
RU2660425C1 (ru) Устройство вычисления маршрута движения
JP5904226B2 (ja) 車両挙動予測装置及びプログラム
JP2024103654A (ja) 計測精度算出装置、自己位置推定装置、制御方法、プログラム及び記憶媒体
JPWO2020044512A1 (ja) 車載装置、情報処理方法及び情報処理プログラム
CN114170274A (zh) 目标跟踪方法和装置、电子设备和存储介质
CN111204342B (zh) 地图信息系统
JP7285923B2 (ja) 車両制御システム
WO2021112078A1 (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
JP2019174191A (ja) データ構造、情報送信装置、制御方法、プログラム及び記憶媒体
US11468767B2 (en) Map information system
JP2015069288A (ja) 自車位置認識装置
CN112652006A (zh) 感测车辆周围环境中的物体的方法，数据处理设备，计算机程序产品和计算机可读数据介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230523

R150 Certificate of patent or registration of utility model

Ref document number: 7285923

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150