WO2021049233A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2021049233A1
WO2021049233A1 PCT/JP2020/030582 JP2020030582W WO2021049233A1 WO 2021049233 A1 WO2021049233 A1 WO 2021049233A1 JP 2020030582 W JP2020030582 W JP 2020030582W WO 2021049233 A1 WO2021049233 A1 WO 2021049233A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
data
information
information processing
sensor
Prior art date
Application number
PCT/JP2020/030582
Other languages
English (en)
French (fr)
Inventor
石川 達也
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/633,738 priority Critical patent/US20220324468A1/en
Priority to CN202080062295.9A priority patent/CN114341869A/zh
Priority to JP2021545172A priority patent/JPWO2021049233A1/ja
Publication of WO2021049233A1 publication Critical patent/WO2021049233A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205Diagnosing or detecting failures; Failure detection models
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865Combination of radar systems with lidar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87Combinations of radar systems, e.g. primary radar and secondary radar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40Means for monitoring or calibrating
    • G01S7/4052Means for monitoring or calibrating by simulation of echoes
    • G01S7/4082Means for monitoring or calibrating by simulation of echoes using externally generated reference signals, e.g. via remote reflector or transponder
    • G01S7/4091Means for monitoring or calibrating by simulation of echoes using externally generated reference signals, e.g. via remote reflector or transponder during normal radar operation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • G01S7/4972Alignment of sensor
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205Diagnosing or detecting failures; Failure detection models
    • B60W2050/0215Sensor drifts or sensor failures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • B60W2420/408
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/15Road slope
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402Type
    • B60W2554/4029Pedestrians
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4041Position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle for navigation systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9316Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles combined with communication equipment with other vehicles or with base stations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323Alternative operation using light waves
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]

Abstract

【課題】車両に搭載されるセンサの異常を検知することが可能な情報処理装置、情報処理方法、及びプログラムを提供する。 【解決手段】情報処理装置は、第1のデータ取得部と、第2のデータ取得部と、比較部と、検知部とを具備する。第1のデータ取得部は、車両に搭載されたセンサのセンシングデータを用いて生成された車両の周囲環境に存在する物体の位置情報及び路面の傾き情報の少なくとも一方と、タイムスタンプとを含む第1のデータを取得する。第2のデータ取得部は、車両以外のセンサのセンシングデータを用いて生成された車両の周囲環境に存在する物体の位置情報及び路面の傾き情報の少なくとも一方と、タイムスタンプとを含む第2のデータを取得する。比較部は第1のデータと第2のデータをそれぞれに含まれるタイムスタンプに基づいて比較する。検知部は比較部による比較結果に基づいて車両に搭載されたセンサに関する異常を検知する。

Description

情報処理装置、情報処理方法、及びプログラム
 本技術は、自動車等の車両に搭載されるセンサの異常検知に係る情報処理装置、情報処理方法及びプログラムに関する。
 特許文献1には、自動車等の自車両における異常診断装置が記載されている。特許文献1では、自車両のセンサによって取得された自車両の周囲環境に関する環境情報と、当該環境情報と類似する過去環境情報とを比較して、誤差が閾値以上の場合に自車両のセンサが故障していることを検知している。
特開2010-126130号公報
 特許文献1においては、移動物を特定し移動物領域を除外して環境情報を比較しているため、移動物を除外する処理ステップが必要となり、瞬時にセンサ異常を検知することが難しい。
 本開示では、車両に搭載されるセンサの異常を検知することが可能な情報処理装置、情報処理方法、及びプログラムを提供する。
 本技術の一形態に係る情報処理装置は、第1のデータ取得部と、第2のデータ取得部と、比較部と、検知部と、を具備する。
 上記第1のデータ取得部は、車両に搭載された1以上のセンサのセンシングデータを用いて生成された車両の周囲環境に存在する物体の位置情報及び路面の傾き情報の少なくとも一方と、上記情報を取得した日時を示すタイムスタンプと、を含む第1のデータを取得する。
 上記第2のデータ取得部は、上記車両以外の1以上のセンサのセンシングデータを用いて生成された上記車両の周囲環境に存在する物体の位置情報及び路面の傾き情報の少なくとも一方と、上記情報を取得した日時を示すタイムスタンプと、を含む第2のデータを取得する。
 上記比較部は、上記第1のデータと上記第2のデータをそれぞれに含まれるタイムスタンプに基づいて比較する。
 上記検知部は、上記比較部による比較結果に基づいて、上記車両に搭載されたセンサに関する異常を検知する。
 このような構成によれば、ある共通の対象物に対するセンシングデータをシェアリングして比較することにより、センサの異常を瞬時に検知することができる。
 上記位置情報は3次元位置情報であってもよい。
 上記タイムスタンプは、GNSS(Global Navigation Satellite System)又は路車間通信システムにより取得されてもよい。
 上記センサは、カメラ、ミリ波レーダ、LiDAR(Light Detection and Ranging)の少なくとも1つであってもよい。
 上記第2のデータ取得部は、上記車両とは異なる他の車両又は路側器の少なくとも一方から上記第2のデータを取得してもよい。
 上記第2のデータ取得部は、上記路側器から、上記路側器が予め取得している上記車両が位置する路面の傾きの情報を、上記第2のデータとして取得してもよい。
 上記第2のデータ取得部は、上記路側器に搭載されているセンサのセンシングデータを用いて生成された物体の位置情報を上記第2のデータとして取得し、上記比較部は、上記路側器から取得した上記第2のデータをマスターデータとして用いて上記第1のデータと上記第2のデータを比較してもよい。
 上記比較部は、それぞれ所定の時間に亘って取得された上記第1のデータと上記第2のデータを比較してもよい。
 上記車両の周囲環境に存在する物体は、位置が既知の固定のマーカーであってもよい。
 上記第2のデータ取得部は、上記マーカーの位置情報を予め取得している路側器から、上記マーカーの位置情報を上記第2のデータとして取得してもよい。
 上記車両の周囲環境に存在する物体の位置情報は、上記物体の特徴量の検出を用いて生成されてもよい。
 上記検知部は、上記センサが正位置から傾いている異常を検知してもよい。
 上記検知部は、検知結果に基づいて上記車両を制御してもよい。
 上記検知部は、検知結果に基づいて、上記センサの正位置からの傾きを補正するように上記車両を制御してもよい。
 上記検知部は、検知結果に基づいて上記センサの使用の有無を制御してもよい。
 上記検知部は、検知結果に基づいて、センサの異常発生通知、上記車両の緊急停止、上記車両の運転モードの切り替え、上記車両の運転モードの切り替え通知の少なくとも1つの制御を行ってもよい。
 本技術の一形態に係る情報処理方法は、車両に搭載された1以上のセンサのセンシングデータを用いて生成された車両の周囲環境に存在する物体の位置情報及び路面の傾き情報の少なくとも一方と、上記情報を取得した日時を示すタイムスタンプと、を含む第1のデータを取得し、
 上記車両以外の1以上のセンサのセンシングデータを用いて生成された上記車両の周囲環境に存在する物体の位置情報及び路面の傾き情報の少なくとも一方と、上記情報を取得した日時を示すタイムスタンプと、を含む第2のデータを取得し、
 上記第1及び上記第2のデータを、それぞれに含まれるタイムスタンプに基づいて比較し、
 上記比較結果に基づいて、上記車両に搭載されたセンサに関する異常を検知する。
 本技術の一形態に係るプログラムは、車両に搭載された1以上のセンサのセンシングデータを用いて生成された車両の周囲環境に存在する物体の位置情報及び路面の傾き情報の少なくとも一方と、上記情報を取得した日時を示すタイムスタンプと、を含む第1のデータを取得するステップと、上記車両以外の1以上のセンサのセンシングデータを用いて生成された上記車両の周囲環境に存在する物体の位置情報及び路面の傾き情報の少なくとも一方と、上記情報を取得した日時を示すタイムスタンプと、を含む第2のデータを取得するステップと、上記第1及び上記第2のデータを、それぞれに含まれるタイムスタンプに基づいて比較するステップと、上記比較結果に基づいて、上記車両に搭載されたセンサに関する異常を検知するステップ、を含む処理を情報処理装置に実行させる。
本技術の第1の実施形態に係る異常検知システムの概略構成図である。 第1の実施形態の異常検知システムを用いた異常検知方法の第1例を説明するフロー図である。 第1の実施形態の異常検知システムを用いた異常検知方法の第2例を説明するフロー図である。 第1の実施形態の異常検知システムを用いた異常検知方法の第3例を説明するフロー図である。 本技術の第2の実施形態に係る異常検知システムの概略構成図である。 第2の実施形態の異常検知システムを用いた異常検知方法の第4例を説明するフロー図である。 図6のフロー図に続くフロー図である。 第2の実施形態の異常検知システムを用いた異常検知方法の第5例を説明するフロー図である。 図8のフロー図に続くフロー図である。 本技術の第3の実施形態に係る異常検知システムの概略構成図である。 本技術の異常検知システムが適用される環境例を説明する模式図である。 3台の車両それぞれからみた、車両と周囲に存在する物体(車両、人物)との関係を示す図である。 車両以外の物体を用いて仮想平面9を生成する例を説明する図である。 センサの異常による誤認識を説明する図である。 センサのセンシングデータに基づく認識について説明するための図である。 車両制御例を説明するための図である。 異常検知方法の第3例を説明するための環境例の模式図である。 センサがヨー方向に傾いた場合の車両間位置関係を説明する模式図である。
 <第1の実施形態>
 [異常検知システムの概略構成]
 図1を参照して本技術の一実施形態に係る異常検知システムについて説明する。
 図1は、異常検知システム1の概略構成図であり、情報処理装置となる車両2及び路側機(以下、RSU(Road Side Unit)と称する。)3の構成を示すブロック図である。
 図1に示すように、異常検知システム1は、1以上の車両2と、RSU3と、を有する。
 本実施形態における異常検知システム1は、GPS受信機(測位部)と、全方位レーダや全方位カメラ等の車両の周囲情報を取得するセンサと、RSU3との通信が可能な車両2が存在する、例えば図11に示すような環境での使用を想定している。
 図11は、RSU3が設置された道路7に複数台の車両2A~2Cが走っている様子を示す模式図である。図11に示すように、道路7に沿ってRSU3が設置される。本実施形態では、信号機6にRSU3が設置される例をあげているが、これに限定されない。また、RSU3の近辺には複数、図11においては2つの、位置が既知の固定のマーカー5が配置される。マーカー5は、車両2がマーカー5を検出しやすい位置に配置される。図11において、道路7に沿って位置する歩道には人物8が位置している。
 図11において、複数の車両2を区別するために、車両2A,車両2B、車両2Cの符号を付したが、特に区別する必要がない場合は車両2と称して説明する。また、2つのマーカー5のうち、RSU3に最も近く位置するマーカーに5Aの符号を付し、道路7を挟んでマーカー5Aと対向して位置するマーカーに5Bの符号を付したが、特に区別する必要がない場合はマーカー5と称して説明する。
 車両2において、車両2に搭載されるレーダやカメラなどの周囲を認識するセンサを利用して自車両周囲の環境に存在する車両、人物といった物体を検知することができる。
 異常検知システム1では、各車両2に搭載されたセンサにより取得されたセンシングデータに基づいて生成された車両の周囲環境に存在する物体の3次元物体位置情報を用いて、車両に搭載されるセンサの異常を検知する。
 更に、車両2により生成された3次元物体位置情報に加え、RSU3に搭載されたセンサにより取得されたセンシングデータに基づいて生成された物体位置情報を用いて、車両に搭載されるセンサの異常を検知してもよい。
 詳細については後述する。
 センサの異常検知に係る一連の処理を行う後述する演算部は、車両にあってもよいし、RSUにあってもよいし、更に設けたサーバにあってもよい。
 第1の実施形態では、演算部が車両にある例をあげ、後述する第2の実施形態では演算部がサーバにある例をあげ、第3の実施形態では演算部がRSUにある例をあげて説明する。
 [車両(情報処理装置)の構成]
 図1に示すように、車両2は、センサ群20と、専用通信I/F21と、測位部22と、データ取得部23と、3次元物体位置情報生成部24と、制御部25と、演算部26と、汎用通信I/F27と、記憶部28と、を有する。
 センサ群20は、撮像部としてのステレオカメラ(以下、カメラと称する。)201と、ミリ波レーダ202やLiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)203といった反響定位法を用いたレーダ等を有する。これらのセンサは全方位を検知可能に車両2に設置され、車両2の周囲情報を取得する。
 カメラ201は、例えば車両のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられるカメラ及び車室内のフロントガラスの上部に備えられるカメラは、主として車両の前方の画像を取得する。サイドミラーに備えられるカメラは、主として車両の側方の画像を取得する。リアバンパ又はバックドアに備えられるカメラは、主として車両の後方の画像を取得する。車室内のフロントガラスの上部に備えられるカメラは、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
 カメラ201から得られる画像データを用いて主に物体検出が行われる。
 ミリ波レーダ202は、例えば車両のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる。LiDAR203は、例えば車両のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる。ミリ波レーダ202やLiDAR203は、主として先行車両、歩行者又は障害物等の検出に用いられる。
 ミリ波レーダ202やLiDAR203を用いて、自車両から物体までの距離、方位、物体の速度を検出することができる。検出には、パルス方式やFMCW(Frequency Modulated Continuous Wave)方式等が一般的に使われる。ミリ波レーダ202は、検出する距離精度が高い。ミリ波レーダ202やLiDAR203を用いることにより、自車両2と物体との距離等の位置関係を取得することができる。
 ミリ波レーダ202は主に長距離を観測し、カメラ201やLiDAR203は主に短中距離を観測する。
 専用通信I/F21は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/Fは、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、DSRC(Dedicated Short Range Communications)、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信I/F21は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
 専用通信I/F21により、車車間でデータの送受信が可能となっている。
 例えば、車両2は、他車両へ、自車両に搭載されたセンサ群20で取得されたセンシングデータを用いて生成された3次元物体位置情報、路面の傾き情報を送信する。
 車両2は、他車両から、他車両に搭載されたセンサ群20で取得されたセンシングデータを用いて生成された3次元物体位置情報、路面の傾き情報を受信する。受信された情報は、自車両の演算部26に出力される。
 車両2は、他車両へ、自車両の演算部26で処理された異常通知情報を送信する。
 車両2は、他車両から、他車両の演算部26で処理された異常通知情報を受信する。受信された情報は、制御部25に出力される。
 専用通信I/F21により、車両2とRSU3との間でデータの送受信が可能となっている。
 例えば、車両2は、RSU3へ、後述する測位部22で取得されたタイムスタンプを含むGPS情報を送信する。
 車両2は、RSU3から、データマッチング処理時のデータ同期に用いる基準時間データを受信する。
 車両2は、RSU3から、データマッチング処理時に用いる車両の車両IDの組の情報を受信する。
 車両2は、RSU3へ、自車両の演算部26で処理された異常検知情報を送信する。
 測位部22は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部22は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
 測位部22では、当該測位部22が搭載されている車両2の位置情報とともに、位置測定が行われた時刻であるタイムスタンプ(時間情報)が得られる。測位部22で得られる情報を、タイムスタンプを含むGPS情報と称する。
 タイムスタンプを含むGPS情報は、専用通信I/F21を介してRSU3に送信される。
 データ取得部23は、カメラ201、ミリ波レーダ202、LiDAR203、測位部22等で取得されたセンシングデータを取得する。
 カメラ201で取得されるセンシングデータは画像データである。
 ミリ波レーダ202やLiDAR203で取得されるセンシングデータはミリ波や光の反射波に係るデータである。
 3次元物体位置情報生成部24は、データ取得部23で取得されたセンシングデータを用いて、物体検出処理、自車両と周囲の物体との間の距離検出処理を行って、車両2の周囲環境に存在する3次元物体位置情報を生成する。
 車両2の周囲環境に存在する物体には、例えば、他車両、人物等の動体、マーカー5、標識、建物といった静止している静止体がある。
 物体検出処理では、物体の特徴量を検出することにより、個々の物体の識別が行われる。
 例えば、物体が車両の場合、ナンバープレート、トラック又は自家用車といった車種、車の形状、色、大きさ等を特徴量として検出し識別することができる。ここでは、車両毎に異なる各車両固有の情報であるナンバープレートを用いる。
 また、物体が人物の場合、身長、服の色のヒストグラム、歩く様子(歩容認証)等を特徴量として検出し識別することができる。ここでは、人物の高さ、服の色を用いる。
 マーカー5は、RSU3の近辺に配置され、位置が既知の固定された静止体である。マーカー5はリファレンスマーカーとして機能してもよく、この場合、マーカー5の位置情報はリファレンスデータとして後述するRSU3の記憶部37に予め記憶される。
 更に、3次元物体位置情報生成部24は、車両2の周囲環境に存在する3次元物体位置情報に基づいて車両2が走行する路面の傾き情報を生成してもよい。
 図11に示す例において、車両2Aに搭載されるセンサ群20のセンシングデータを用いて、車両2Aの周囲環境に存在する物体である、車両2B、車両2C、マーカー5A、マーカー5B、人物8、それぞれの3次元物体位置情報を生成することができる。
 複数の3次元物体位置情報を3次元物体情報集合と称する。この3次元物体情報集合には路面の傾き情報も含まれるとする。3次元物体情報集合にはタイムスタンプが含まれている。
 路面の傾き情報の生成例について説明する。
 車両2Aの周囲環境に存在する物体の3次元物体位置情報を用いることにより、車両2Aと周囲環境に存在する物体との相対位置関係を取得することができる。
 例えば、図11に示すように、3次元物体位置情報を用いて、車両2Aと車両2Bと車両2Cを結んで形成される三角形の3次元の仮想平面9を生成することができる。この仮想平面9は路面の傾き情報を表す。
 尚、ここでは、自車両と2台の他車両によって仮想平面9を生成する例をあげたが、自車両以外の物体、例えばマーカー5、人物8、ランドマーク等の物体を用いて仮想平面9を生成してもよい。本実施形態では、センサ異常検知処理におけるデータの比較の際、タイムスタンプを用いて比較するデータを同期するので、比較するデータに使われるセンシング対象が動体であっても静止体であってもよく、環境によるロバスト性が高い。
 図12は、3台の車両それぞれからみた、車両と周囲に存在する物体(車両、人物)との関係を示す図である。
 図13は、車両以外の物体を用いて仮想平面9を生成する例を説明する図である。
 図12に示すように、各車両2は、車両2に搭載されるセンサのセンシングデータを用いて、自車両と2台の他車両と人物8との相互の位置関係を示す3次元物体位置情報を取得することができる。
 従って、3つの物体を結ぶ仮想平面を複数生成することができる。
 例えば、図13(A)に示すように、2台の車両2A、2Bと人物8によって仮想平面9を生成することができる。そして、各車両2A~2Cで、2台の車両2A、2Bと人物8からなる仮想平面9を生成し、比較することができる。
 図13(B)に示すように、2台の車両2A、2Bとマーカー5によって仮想平面9を生成することができる。そして、各車両2A~2Cで、2台の車両2A、2Bとマーカー5からなる仮想平面9を生成し、比較することができる。
 図13(C)に示すように、1台車両2Aとマーカー5と人物8によって仮想平面9を生成することができる。そして、各車両2A~2Cで、車両2Aとマーカー5と人物8からなる仮想平面9を生成し、比較することができる。
 このように、車両以外の物体を用いて路面の傾き情報を生成してもよく、上記異なる仮想平面毎の比較結果を用いて、センサの異常を検知することができる。
 図11に示す例において、車両2A、車両2B、車両2C毎に、自身に搭載されるセンサ群20のセンシングデータを用いて周囲環境に存在する物体の3次元物体位置情報及び路面の傾き情報が得られる。
 そして、ある共通のセンシング対象に対する3次元物体位置情報、路面の傾き情報を比較することにより、センサの異常を検知することができる。
 例えば、3台の車両2A~2Cの相対位置関係を共通のセンシング対象として、車両2A~2Cそれぞれで仮想平面9を生成し、仮想平面9の傾きを比較する。
 仮想平面9の傾き情報がいずれの車両2A~2Cにおいても同じである場合(マッチングしている場合)、センサの異常はないと判定することができる。
 一方、取得した路面の傾き情報が1台だけ異なっていた場合(マッチングしない場合)、その車両に搭載される周囲環境情報を取得するセンサに異常が生じている可能性があると判定することができる。
 制御部25は、各種プログラムにしたがって、車両2を制御する。
 制御部25は、取得される車両2の周囲環境情報に基づいて、車両の駆動力発生装置(図示せず)、ステアリング機構(図示せず)又は制動装置(図示せず)等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。この自動運転では高精度な自己位置推定が必要であり、自己位置推定には周囲環境を取得するセンサが用いられるため、安全な車両走行のために、センサの異常を検知することは重要である。
 また、制御部25は、センサの異常が検知された場合、演算部26の検知部265で処理された異常通知情報に基づき、センサ異常通知をするとともに、車両を制御する。センサ異常通知は、センサの異常の発生をドライバーが認識できるように行われ、典型的には音声、表示装置への表示の少なくとも一方を用いて通知が行われる。
 ここで、カメラ201、ミリ波レーダ202、LiDAR203といったセンサは、軽衝突などで光軸が正位置から傾く場合がある。また、センサの取り付け位置が正位置と異なる場合がある。このような正位置から傾いてセンサが位置することをセンサの異常とする。
 後述する検知部265で生成される異常通知情報には、センサ異常通知、運転モード切り替え通知、車両制御情報等が含まれる。
 センサ異常通知(機能異常通知)は、センサの異常が発生したことを通知するものである。異常が検知されたセンサが搭載された車両2のドライバーに対してセンサ異常通知が行われる。
 運転モード切り替え通知は、例えば自動運転から手動運転への切り替えを通知するものである。センサの異常が検知された車両2の運転モードがセンサの異常によって変更した場合、その旨の通知がドライバーに対して行われる。
 車両制御情報(機能制限指示情報)には、センサの使用の停止指示情報、補正データの情報、車両2の緊急停止指示情報、車両2の運転モードの切り替え指示情報等が含まれる。
 センサの使用の停止指示とは、異常が検知されたセンサの使用を停止する指示である。
 補正データは、異常が検知されたセンサの正位置からの傾き分を補正するための補正データである。補正データを用いて、自動運転等に係る車両制御が行われてもよい。
 運転モードの切り替え指示とは、例えば自動運転から手動運転へ切り替えるように車両を制御する指示である。
 汎用通信I/F27は、外部環境に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F27は、GSM(登録商標)(Global System of Mobile communications)、WiMAX(登録商標)、LTE(登録商標)(Long Term Evolution)若しくはLTE-A(LTE-Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi-Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F27は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F27は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
 記憶部28は、センサの異常検知に係る一連の処理を情報処理装置に実行させるためのプログラムを格納する。
 演算部26は、第1のデータ取得部261と、第2のデータ取得部262と、処理開始判定部263と、比較部264と、検知部265と、指示部266と、を有する。
 第1のデータ取得部261は、第1のデータを取得する。
 第1のデータは、センサの異常検知処理を行う車両に搭載されたセンサで取得されたセンシングデータに基づいて生成された3次元位置情報としての3次元物体位置情報及び路面の傾き情報と、当該情報を取得した日時を示すタイムスタンプと、を含む。
 第2のデータ取得部262は、第2のデータを取得する。
 第2のデータは、他車両から取得されたデータ及びRSU3から取得されたデータのうちすくなくとも1つを含む。
 他車両から取得された第2のデータは、他車両に搭載されたセンサで取得されたセンシングデータに基づいて生成された3次元位置情報としての3次元物体位置情報及び路面の傾き情報と、当該情報を取得した日時を示すタイムスタンプと、を含む。
 RSU3から取得された第2のデータは、RSU3に搭載されたセンサで取得されたセンシングデータに基づいて生成された物体位置情報及び予めRSU3に記憶されている路面の傾き情報と、物体位置情報を取得した日時を示すタイムスタンプと、を含む。後述するが、RSU3は予め路面の傾き情報を有している。
 処理開始判定部263は、センサの異常検知処理を開始するか否かを判定する。例えば、処理開始判定部263は、互いに比較する第1のデータと第2のデータが3つ以上あるか否かを判定し、3つ以上であれば処理を開始し、2つ以下であれば処理は開始しない。
 比較部264は、第1のデータと第2のデータとを、タイムスタンプに基づいて比較する。
 検知部265は、比較部264での比較結果に基づいてセンサの異常を検知する。更に、検知部265は、検知結果に基づき異常通知情報を生成する(異常通知処理)。
 指示部266は、車両2及びRSU3に対して、センサの異常検知のためのセンシングデータ取得を開始する指示をする。
 ここで、上述したように、センサの異常とは、センサが正位置から傾いている状態にあることをいう。
 図14は、センサの異常による誤認識を説明する図である。
 図14(A)は、車両2Aに搭載されるカメラ201の画像データから検出される、車両Aからみた他車両2B、2Cとの位置関係を示す。図中、破線はカメラ201が正位置に位置している場合に検出される正しい車両位置を示し、実線はカメラ201がピッチ方向に下向きに傾いている場合に検出される誤認識された車両位置を示す。
 図に示すように、カメラ201の光軸がピッチ方向に下向きに傾いている場合、車両2B及び2Cの位置は、車両2Aからみて正しい位置よりもより前方遠くに位置するように誤認識される。このように、カメラ201による認識結果はカメラ201の傾きに影響をうける。
 図14(B)は、車両2Aに搭載されるミリ波レーダ202の検出結果に基づく車両2Aからみた他車両2Bの認識結果を説明する図である。
 ミリ波レーダ202が正位置に位置している場合、車両2Bは車両2Aの右斜め前方に位置するように認識される。これに対し、ミリ波レーダ202がヨー方向に右に傾いている場合、車両2Bが車両2Aの正面前方に位置するように誤認識される。このように、ミリ波レーダ202の認識結果はミリ波レーダ202の傾きの影響をうける。
 LiDAR203においても、ミリ波レーダ202と同様に傾きの影響を強くうける。
 このように、センサが正位置から傾き、光軸ずれが生じることによって、生成される物体位置情報は実際のものと異なり、物体間の正確な相対的位置関係を得ることができなくなる。このため、センサのセンシングデータを用いた例えば自動走行等において、安全走行のためにセンサの異常を検出することは非常に重要となってくる。
 第1のデータと第2のデータとを比較することによって異常データを検出し、ひいては異常なセンサを検知する。この検知結果に基づいて、センサ異常通知とともに車両制御指示等が行われる。
 また、カメラ、ミリ波レーダ、LiDARといったセンサにおいて、センサが正位置から傾いた異常であるのか、或いは、路面状況等の道路構造などが起因するセンサデータのノイズであるのかを区別することは非常に難しい。
 例えば、図15に示すように、1台の車両2が水平の路面71に位置し、カメラ201を用いて、車両2の走行方向前方の水平の路面71に対して斜度を有する斜面72にペイントされた止まれの標示を撮影したとする。この画像データと、斜面のない水平の路面に位置する車両に搭載された正位置からピッチ方向に傾いたカメラ201を用いて、走行方向前方の水平の路面にペイントされた止まれの標示を撮影した画像データとが一致する場合がある。
 このように、カメラから得られる画像データが、路面状況等の道路構造などが起因するセンサデータのノイズを有しているのか、或いは、センサが傾いているというセンサの異常に起因したデータを有しているのかを区別することは非常に難しい。一般的には、路面を長時間検出することによって、路面状況に起因するものなのか、センサの異常によるものなのかを検出するが、これには時間がかかる。
 これに対し、本実施形態では、各車両の、車両に搭載されるセンサのセンシングデータを用いて生成された3次元物体位置情報及び路面の傾き情報の少なくとも一方を比較することによって、異常なセンサを瞬時に検知するこができる。
 路面の傾き情報の比較には、上述のように、複数の車両それぞれで生成された路面の傾き情報を比較する他、RSU3が予め取得し記憶しているRSU3の通信が及ぶエリア内の路面の傾き情報を用いて、センサの異常を検知することもできる。
 また、センサの光軸の正位置からの傾きによる異常以外に、センサの誤作動を検知することもできる。
 例えば、ミリ波レーダの前方に金属素材の表示板やガードレールなどの透過が一律でない物体がある場合、この物体に電波が当たって予期しない反射が起こってミリ波レーダが誤作動する場合がある。
 このような場合においても、同様に、車両、RSUに搭載されるセンサのセンシングデータを用いて生成された各車両の3次元物体位置情報、路面の傾き情報を比較することによって、誤作動が生じている異常なセンサを瞬時に検知するこができる。
 尚、検知精度を向上させるために、数秒間取得したセンシングデータを使用して、検知処理することが好ましい。車両の振動により1Hz未満の誤差が生じるため、検出周期は10Hz程度以上が好ましい。
 [RSUの構成]
 RSU3は、例えば信号機等に設置されて、道路の側に配置される。路車間通信システムを用いて、RSU3と車両2に搭載された機器との間の通信が可能となっており、車両2のドライバーは交通情報や安全運転支援情報等を、RSU3により得ることが可能となっている。
 図1に示すように、RSU3は、センサ30と、データ取得部31と、物体位置情報生成部32と、通信部34と、判定部35と、基準時間送信部36と、記憶部37と、を有する。
 センサ30は、例えばステレオカメラであり、周囲情報となる画像データを撮像する。
 データ取得部31はセンサ30で取得されたデータを取得する。
 通信部34は、情報処理装置としての車両2と送受信可能に構成され、各種データを送受信する。
 物体位置情報生成部32は、データ取得部31で取得されたデータを用いて、物体検出処理、物体との距離検出処理を行って、物体間の位置関係を示す物体位置情報を生成する。
 例えば、図11に示す例において、RSU3に搭載されたセンサ(カメラ)で取得した画像データを画像処理して3台の車両2A~2Cの位置関係である物体位置情報を生成する。尚、この物体位置情報には路面の傾きの情報は含まれていない。
 判定部35は、センサの異常検知のためのセンシングデータ取得を開始するか否かを判定する。本実施形態では、判定部35は、センサの異常検知処理のために比較する3次元物体位置情報及び路面の傾き情報を生成する車両が3台以上あるか否かを判定する。3台以上であればセンシングデータ取得を開始し、2台以下であれば開始しない。
 判定部35は、3台以上であると判定すると、通信部34を介して各車両2へ、センサの異常検知のためのセンシングデータ取得を開始するよう通知する。
 また、判定部35は、車両2から受信したGPS情報を用いてリファレンスデータ範囲内に車両2が位置するか否かを判定する。「リファレンスデータ範囲内に車両が位置する」とは、RSU3が予め位置情報を取得しているマーカー5の位置情報を取得できる位置に車両が存在することを示す。
 判定部35は、リファレンスデータ範囲内に車両があると判定すると、通信部34を介して車両2へ、センサの異常検知のためのデータ取得を開始するよう通知する。
 基準時間送信部36は、通信部34を介して車両2へ、第1のデータと第2のデータを比較する際のデータ同期のための基準時間を送信する。
 記憶部37は、RSU3が通信可能なエリアの路面の傾き情報を格納している。また、記憶部37は、2つのマーカー5Aと5Bの位置情報を予め取得している。
 尚、本実施形態では、タイムスタンプをGPS(測位部)により取得しているが、路車間通信システムにより取得してもよい。
 [車両制御例]
 制御例を、図16を用いて説明する。
 図16(A)~(C)はいずれも同じ道路状況をセンシングした図である。
 図16(A)は、車両2A~2Cの正しい位置関係を示す。
 図16(B)において、実線は、車両2Aに搭載されたカメラのセンシングデータを用いて生成された車両2A~2Cの位置関係を示す。破線は図16(A)と同じ正しい車両の位置関係を示す。
 図16(C)において、実線は、車両2Aに搭載されたカメラのセンシングデータを用いて生成された車両2A~2Cの位置関係の他の例を示す。破線は図16(A)と同じ正しい車両の位置関係を示す。
 車両2Aに搭載されるセンサに異常があり、車両2B,2Cに搭載されるセンサには異常がない例をあげる。
 図16(B)を用いて、車両制御に係る補正データの算出について説明する。
 演算部26により、各車両2で生成された3次元物体位置情報及び路面の傾き情報が比較され、他のデータとは異なる異常のあるデータ(3次元物体位置情報及び路面の傾き情報)が抽出される。
 車両2B及び2Cで生成された車両2A~2Cの位置関係は、図16(A)に示すように正しい位置関係であり、互いの3次元物体位置情報と路面の傾き情報は一致している。
 ここでは、車両2Aに搭載されるカメラのセンシングデータを用いて生成された図16(B)の実線で示す車両2A~2Cの位置関係のデータが異常のあるデータとして抽出される。
 図16(B)の実線で示す車両の位置関係は、図16(A)に示す正しい位置関係と比べて、車両2Aからみて、車両2B、2Cがより遠くに離れて前方に位置している。このような場合はカメラがピッチ方向に傾いていることが想定される。
 次に、車両2Aで生成された車両2A~2Cを結ぶ仮想平面の傾きと、車両2B及び2Cで生成された車両2A~2Cを結ぶ仮想平面の傾きとが比較され、その差分から車両2Aに搭載されるカメラの傾きが推定される。この推定結果を用いて仮の補正データが算出され、仮の補正データを用いてデータを補正したときの車両2A~2Cの位置関係と、正しい位置関係との誤差が小さくなっていれば、この補正データが採用される。このように算出された補正データはセンサ異常検知された車両に送信される。或いは、フェイル情報を車両に送信してセンサ停止指示や運転モードの切り替え指示などをしてもよい。
 ミリ波センサ、LiDARについても、同様に補正データを算出することができる。
 図16(C)を用いて他の車両制御例について説明する。
 演算部26により、各車両2で生成された3次元物体位置情報及び路面の傾き情報が比較され、他のデータとは異なる異常のあるデータ(3次元物体位置情報及び路面の傾き情報)が抽出される。
 車両2B及び2Cで生成された車両2A~2Cの位置関係は、図16(A)に示すように正しい位置関係である。
 ここでは、車両2Aに搭載されるカメラのセンシングデータを用いて生成された図16(C)の実線で示す車両2A~2Cの位置関係のデータが異常のあるデータとして抽出される。ここでは、車両2Aで生成された車両2A~2Cを結ぶ仮想平面の傾きと、車両2B及び2Cで生成された車両2A~2Cを結ぶ仮想平面の傾きとはほぼ一致し、路面の傾きについては問題がないものの、車両2Bの位置情報が大きく異なっている場合を想定している。
 図16(C)の実線で示す車両の位置関係は、図16(A)に示す正しい位置関係と比べて、車両2Aからみた車両2Bの位置誤差は車両2Cの位置誤差よりも大きくなっている。このような場合は車両の左側に位置するカメラのセンシングデータに異常があることが想定される。このような場合、左側に位置するカメラの使用を停止するようセンサ制御が行われる。
 図18は、センサがヨー方向に傾いた場合の車両間位置関係を説明する図である。
 図18(A)及び(B)はいずれも同じ道路状況をセンシングした図である。
 図18(A)は、RSU3のセンサ(カメラ)のセンシングデータに基づいて生成された車両2A~2Cの正しい位置関係を示す。
 図18(B)は、ヨー方向に傾いたカメラが搭載された車両2Aのセンシングデータに基づいて生成された車両2A~2Cの位置関係を示す。
 車両2A~2Cを結んで形成される平面を仮想平面9とする。
 カメラがヨー方向に傾いている場合、車両2Aが推定する仮想平面9は、正しい位置関係にある仮想平面9と同じ傾きとなるので、車両2Aで検出した物体の位置情報を、RSU3で生成されたデータと比較することで、ヨー方向の回転角度(傾き)が推定される。回転角度が一定値以上の場合、センサの取り付けが間違っているとして、傾きを補正する補正データを対応する車両に送信してもよいし、フェイル情報を車両に送信してセンサ停止指示や運転モードの切り替え指示などをしてもよい。
 ミリ波センサ、LiDARについても、同様である。
 以下、異常検知システム1による異常検知方法の例について説明するが、これらに限定されることはない。
 (第1例)
 本例では、各車両2で取得された3次元物体位置情報及び路面の傾き情報の同期(第1のデータと第2のデータの同期)をRSU3が行う場合を例にあげ、図2及び図11を用いて説明する。
 図2は、第1例における異常検知方法のフローを説明する図である。図2では、便宜上、車両は車両2Aと車両2Bの2台を図示し、車両2Cについては省略しているが、車両2Cおいても車両2Bと同様のフローとなる。
 ここでは便宜的に車両2A~2Cの3台を用いて説明するが、車両の台数は限定されない。台数が多いほど検知精度が高くなる。また、車両Aが異常検知処理を行う例をあげるが、他の車両で異常検知処理を行ってもよい。また、図2では、車両Bに異常がある例を挙げて説明している。
 車両2A~2CがRSU3と通信可能なエリア内に入ると、各車両2A~2Cそれぞれのデータ取得部23により、搭載された測位部22で取得された車両2のGPS情報(位置情報及びタイムスタンプ)が取得される(S1)。
 取得された各車両2A~2Cのタイムスタンプを含むGPS情報はRSU3に送信される。
 次に、RSU3の判定部35により、センサ異常検知処理のためのデータ取得を開始するか否かが判定される(S2)。ここでは、判定部35は、車両が3台以上あるか否かを判定する。3台以上であると判定されると(YES)、S3へ進む。3台未満であると判定されると(NO)、S1に戻り、処理が繰り返される。
 S3では、判定部35により、各車両2へ、センサ異常検知処理のためのデータ取得を開始する指示がなされる。
 各車両2において、データ取得開始指示を受信すると、各車両2のデータ取得部23により、測位部22からタイムスタンプ付きGPS情報が取得され、更にセンサ群20から画像データ及び反射波のデータが取得される(S4)。この周囲に存在する物体のセンシングデータの取得は、所定の時間、例えば数秒間に亘って行われる。
 次に、各車両2の3次元物体位置情報生成部24により、データ取得部23で取得したデータを用いて3次元物体位置情報、路面の傾き情報が生成される(S5)。3次元物体位置情報、路面の傾き情報には、測位部22から得たGPS時刻(タイムスタンプ)が付与されている。
 次に、各車両2で生成された3次元物体位置情報、路面の傾き情報は、センサの異常検知を行う車両2、ここでは車両2Aに送信される(S6)。ここでは、センサ異常検知処理を実行する車両2Aで取得された3次元物体位置情報及び路面の傾き情報を第1のデータとする。車両2A以外、ここでは、車両2B及び2Cで取得された3次元物体位置情報及び路面の傾き情報を第2のデータとする。
 次に、車両2Aの演算部26の第1のデータ取得部261により、車両2Aが取得した第1のデータが取得される。第2のデータ取得部262により、車両2B、2Cそれぞれが取得した第2のデータが取得される。
 次に、RSU3から、データマッチング処理時のデータ同期に用いる基準時間データが、センサの異常検知を行う車両2Aへ送信される(S7)。
 次に、処理開始判定部263により、車両が3台以上あるか否かが判定され、更に、第1データ及び第2データに付与されているタイムスタンプと基準時間データを用いて基準時間内か否かが判定される(S8)。
 車両2が3台以上であると判定され、かつ、基準時間内と判定されると(YES)、S9へ進む。
 車両2が3台未満、或いは、基準時間外、の少なくとも一方を満たすと判定されると(NO)、S6に戻り、処理が繰り返される。
 S9では、比較部264により、取得された第1のデータと第2のデータとが比較される(データマッチング処理)。
 比較部264での比較結果に基づいて検知部265により異常データありと判定されると(YES)、S11に進む。異常データなしと判定されると(NO)、センサの異常検知処理が終了する。「異常データあり」とは、正位置から傾いたセンサが存在することを意味する。
 S11では、検知部265により、検知結果に基づく異常通知処理が行われる。
 異常通知処理では、異常データありと判定されたセンサを搭載する車両に対して、センサの異常の発生を通知する(センサ異常通知)とともに、車両制御を指示する異常通知情報が生成される。異常通知情報はRSU3へ送信される。
 RSU3は、受信した異常通知情報に基づいて、異常データありと判定されたセンサが搭載されている車両を特定する(S12)。RSU3は、特定した車両(ここでは車両2B)に対して、センサ異常通知をするとともに、センサ停止指示等の車両制御指示の情報を送信する。
 通知を受け取った車両2の制御部25は、指示に基づいて、車両制御を実行する(S13)。
 尚、第1例では、RSU3は、通信部34と、判定部35と、基準時間送信部36と、を少なくも有すればよい。
 また、本例では、車車間で、それぞれに搭載されたセンサ等の検出結果に基づいて取得された3次元物体位置情報及び路面の傾き情報を直接送受信する例をあげたが、例えば、RSUを介して送受信が行われてもよい。
 (第2例)
 上記第1例では、車両2Aが生成した異常通知情報はRSUを介して他車両に送信される例をあげたが、RSUを介さずに車車間通信で、異常通知情報が異常センサを備える車両に直接送信されてもよい。第2例では、異常通知情報を車車間通信で送信する例をあげる。
 更に、第2例では、車両2で生成される3次元物体位置情報及び路面の傾き情報に加え、RSU3が有するセンサ30のセンシングデータを用いて生成した物体位置情報及び予めRSU3が有している路面の傾き情報を用いる例をあげる。
 以下、図3及び図11を用いて説明する。
 図3は、第2例における異常検知のフローを説明する図である。図3では、便宜上、車両は車両2Aと車両2Bの2台を図示し、車両2Cについては省略しているが、車両2Cおいても車両2Bと同様のフローとなる。
 ここでは便宜的に車両2A~2Cの3台を用いて説明するが、車両の台数は限定されない。また、車両Aが異常検知処理を行う例をあげるが、他の車両で異常検知処理を行ってもよい。また、図3では、車両2Bに異常がある例を挙げて説明している。
 車両2A~2CがRSU3と通信可能なエリア内に入ると、各車両2A~2Cのデータ取得部23により、搭載された測位部22で取得された車両2のGPS情報(位置情報及びタイムスタンプ)と、各車両に個別に付与されている車両IDが取得される(S21)。
 取得された各車両2A~2Cのタイムスタンプを含むGPS情報及び車両IDはRSU3に送信される。
 次に、RSU3の判定部35により、センサ異常検知処理のためのデータ取得を開始するか否かが判定される(S22)。ここでは、判定部35は、車両が3台分以上あるか否かを判定する。3台以上であると判定されると(YES)、S23へ進む。3台未満であると判定されると(NO)、S21に戻り、処理が繰り返される。
 S23では、判定部35により、後述するデータマッチング処理(S29)で、互いにデータを比較する車両IDの組が決定される(S23)。この決定された組の各車両で生成された3次元物体位置情報及び路面の傾き情報を用いてセンサの異常検知処理が行われることになる。
 決定された車両IDの組の情報は、異常検知処理を行う情報処理装置としての車両2Aに送信される。
 車両2AがRSU3から車両IDの組の情報を受信すると、指示部266は、組に所属する各車両2とRSU3に対して、センサの異常検知のためのセンシングデータ取得を開始する指示をする(S24)。
 各車両2において、データ取得開始指示を受信すると、各車両2のデータ取得部23により、測位部22からタイムスタンプ付きGPS情報が取得され、更にセンサ群20から画像データ及び反射波のデータが取得される(S25)。
 RSU3において、センシングデータ取得開始指示を受信すると、データ取得部31によりセンサ30からタイムスタンプ付き画像データが取得される(S25)。
 これらの周囲に存在する物体のセンシングデータの取得は、所定の時間、例えば数秒間に亘って行われる。
 次に、各車両2において、3次元物体位置情報生成部24により、データ取得部23で取得したセンシングデータを用いて3次元物体位置情報及び路面の傾き情報が生成される(S26)。3次元物体位置情報及び路面の傾き情報にはタイムスタンプが付与されている。
 RSU3において、物体位置情報生成部32により、データ取得部31で取得したデータを用いて物体位置情報が生成される(S26)。物体位置情報には、タイムスタンプが付与されている。
 次に、各車両2で生成された3次元物体位置情報及び路面の傾き情報は、センサの異常検知を行う車両2、ここでは車両2Aに送信される(S27)。3次元物体位置情報及び路面の傾き情報にはタイムスタンプが付与されている。
 更に、RSU3で生成された物体位置情報及びRSU3の記憶部37に記憶されている路面の傾き情報は、車両2Aに送信される(S27)。物体位置情報にはタイムスタンプが付与されている。
 ここでは、車両2Aで取得された3次元物体位置情報及び路面の傾き情報を第1のデータとする。車両2A以外の車両2B、2Cで取得された3次元物体位置情報及び路面の傾き情報を第2のデータとする。RSU3で取得された物体位置情報及び路面の傾き情報を第2のデータとする。
 次に、車両2Aの演算部26の第1のデータ取得部261により第1のデータが取得される。第2のデータ取得部262により、車両2B,2Cそれぞれが取得した第2のデータ、RSU3が取得した第2のデータが取得される。
 次に、処理開始判定部263により、車両が3台以上あるか否かが判定される(S28)。3台以上であると判定されると(YES)、S29へ進む。3台未満であると判定されると(NO)、S27に戻り、処理が繰り返される。
 S29では、比較部264により、取得された第1のデータと第2のデータが比較される(データマッチング処理)。
 次に、比較部264での比較結果に基づいて検知部265により異常データの有無が判定される(S30)。
 S30で異常データありと判定されると(YES)、S31に進む。異常データなしと判定されると(NO)、センサの異常検知処理が終了する。
 比較部264での比較結果に基づいて検知部265により異常データありと判定されると(YES)、S31に進む。異常データなしと判定されると(NO)、センサの異常検知処理が終了する。
 S31では、検知部265により、検知結果に基づく異常通知処理が行われる。
 異常通知処理では、異常データありと判定されたセンサを搭載する車両に対して、センサの異常の発生を通知する(センサ異常通知)とともに、車両制御を指示する。本例では、検知部265は、車車間通信で、異常ありと判定されたセンサを搭載する車両2Bに対し、センサ異常通知をするとともに、車両制御指示の情報を送信する。
 通知を受け取った車両2Bの制御部25は、指示に基づいて、車両を制御する(S32)。
 尚、RSU3で取得されるデータがグランドトゥルースであるとした場合、RSU3が取得した3次元物体位置情報はマスターデータ、すなわちリファレンスデータ(正しい参照データ)となり得る。また、RSU3が予め有している路面の傾き情報は、リファレンスデータ(正しい参照データ)である。
 RSU3のリファレンスデータと、車両2で取得したデータとを、タイムスタンプに基づいて比較することにより、車両2に搭載されるセンサの異常を検出することができる。また、データの差分から補正データを算出することができる。
 (第3例)
 本例では、1台の車両のみで、RSU3から受信したリファレンスデータを用いて異常検知処理を行う。リファレンスデータはマーカー5A、5Bの位置情報である。
 以下、図4及び図17を用いて説明する。
 図4は、第3例における異常検知のフローを説明する図である。
 図17は、RSU3が設置された道路7に1台の車両2が走っている様子を示す模式図である。RSU3の近辺には2つの、位置が既知の固定のマーカー5が配置されている。マーカー5は、車両2がマーカー5を検出しやすい位置に配置され、かつ、RSU3が通信可能なエリア内に位置する。
 以下、図4のフローに従って説明する。
 図4に示すように、車両2AがRSU3と通信可能なエリア内に入ると、車両2のデータ取得部23により、搭載された測位部22で取得された車両2のGPS情報(位置情報及びタイムスタンプ)が取得される(S41)。
 取得されたタイムスタンプを含むGPS情報はRSU3に送信される。
 次に、RSU3の判定部35により、車両2がリファレンスデータ範囲内にあるか否かが判定される(S42)。範囲内にないと判定されると(NO)、S41に戻る。範囲内にあると判定されると(YES)、S43へ進む。
 S43では、判定部35により、車両2Aへセンサ異常検知処理のためのデータ取得を開始する指示が行われる。
 車両2AがRSU3からデータ取得開始指示を受信すると、データ取得部23により、センサ群20で取得された周囲基準マーカーであるマーカー5に関する画像データ及び反射波のデータが取得される(S44)。この周囲に存在する物体のセンシングデータの取得は、所定の時間、例えば数秒間に亘って行われる。
 次に、車両2において、3次元物体位置情報生成部24により、データ取得部23で取得したデータを用いて3次元物体位置情報が生成される(S45)。
 3次元物体位置情報の生成が完了すると、RSU3に対してセンシング完了の通知が送信される(S46)。
 RSU3は、センシング完了の通知を受信すると、RSU3が予め有しているマーカー5の位置情報(リファレンスデータ)を車両2Aへ送信する(S47)。
 次に、車両2Aの演算部26の第1のデータ取得部261により、車両2Aが取得した第1のデータであるマーカー5に関する3次元物体位置情報が取得される。第2のデータ取得部262により、RSU3が予め有している第2のデータであるマーカー5の位置情報(リファレンスデータ)が取得される。
 次に、比較部264により、第1のデータと第2のデータとが比較され、誤差が算出される。
 次に、検知部265により、比較部264での比較結果により算出された誤差が許容範囲外か否かが判定される。検知部265により、誤差許容範囲外と判定されると(YES)、センサに異常があるとしてS49に進む。誤差許容範囲内と判定されると(NO)、センサに異常はないとして、センサの異常検知処理が終了する。
 S49では、制御部25により、車両2のドライバーに対しセンサ異常の通知がなされるとともに、車両制御の指示が行われる。
 以下の第2及び第3の実施形態においても、第1の実施形態と同様に、第1のデータと第2のデータとを比較することによって、異常なセンサを瞬時に検知するこができる。以下、図面を用いて説明するが、主に上述の実施形態と異なる点について説明し、上述の実施形態と同様の構成については同様の符号を付して説明を省略する場合がある。
 <第2の実施形態>
 [異常検知システムの概略構成]
 図5を参照して本技術の一実施形態に係る異常検知システムについて説明する。
 本実施形態では、演算部26が車両以外のサーバ4にある例をあげる。図5は、第2の実施系形態に係る異常検知システム101の概略構成図である。
 図5に示すように、異常検知システム101は、1以上の車両2と、RSU3と、情報処理装置となるサーバ4と、を有する。本実施形態における異常検知システム101においても、第1の実施形態と同様に例えば図11に示すような環境での使用を想定している。
 [車両の構成]
 図5に示すように、車両2は、センサ群20と、専用通信I/F21と、測位部22と、データ取得部23と、3次元物体位置情報生成部24と、制御部25と、汎用通信I/F27と、記憶部28と、を有する。
 専用通信I/F21により、車両2とRSU3との間でデータの送受信が可能となっている。
 例えば、車両2は、RSU3へ、測位部22で取得されたタイムスタンプを含むGPS情報を送信する。
 車両2は、RSU3から、データ取得開始処理指示を受信する。
 車両2は、RSU3から、異常通知情報を受信する。
 制御部25は、各種プログラムにしたがって、車両2を制御する。
 制御部25は、取得される車両2の周囲の情報に基づいて、車両の駆動力発生装置(図示せず)、ステアリング機構(図示せず)又は制動装置(図示せず)等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
 また、制御部25は、サーバ4の演算部26の検知部265で処理された異常通知情報に基づき、センサ異常通知をするとともに、車両を制御する。
 汎用通信I/F27は、外部環境に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F27は、GSM(登録商標)(Global System of Mobile communications)、WiMAX(登録商標)、LTE(登録商標)(Long Term Evolution)若しくはLTE-A(LTE-Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi-Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F27は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F27は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
 汎用通信I/F27により、車両2とサーバ4とのデータの送受信が行われる。
 例えば、車両2は、サーバ4へ、3次元物体位置情報及び路面の傾き情報を送信する。
 車両2は、サーバ4から、データ取得開始指示を受信する。
 車両2は、サーバ4から異常通知情報を受信する。
 [サーバの構成]
 サーバ4は、通信部41と、演算部26と、を有する。
 通信部41を介して、サーバ4と、車両2又はRSU3とのデータの送受信が行われる。
 サーバ4は、RSU3から、データマッチング処理時のデータ同期に用いる基準時間データを受信する。
 サーバ4は、RSU3から、データマッチング処理時に用いる車両の車両IDの組の情報を受信する。
 サーバ4は、車両2及びRSU3へ、データ取得開始指示を送信する。
 サーバ4は、車両2及びRSU3から、3次元物体位置情報及び路面の傾き情報を受信する。
 サーバ4は、RSU3へ、演算部26で行われたセンサ異常通知情報を送信する。
 演算部26は、記憶部28に記憶される、センサの異常検知に係る一連の処理を実行するプログラムによって、センサの異常を検知する。演算部26を有するサーバ4は、センサの異常検知処理を行う情報処理装置である。
 演算部26は、第1のデータ取得部261と、第2のデータ取得部262と、処理開始判定部263と、比較部264と、検知部265と、指示部266と、を有する。
 第1のデータ取得部261は、第1のデータを取得する。
 第1のデータは、任意の1つの車両に搭載されたセンサで取得されたセンシングデータに基づいて生成された3次元物体位置情報及び路面の傾き情報と、当該情報を取得した日時を示すタイムスタンプと、を含む。
 第2のデータ取得部262は、第2のデータを取得する。
 第2のデータは、任意の1つの車両以外の車両から取得されたデータ及びRSU3から取得されたデータのうち少なくとも1つを含む。
 任意の1つの車両以外の車両から取得された第2のデータは、車両に搭載されたセンサで取得されたセンシングデータに基づいて生成された3次元物体位置情報及び路面の傾き情報と、当該情報を取得した日時を示すタイムスタンプと、を含む。
 RSU3から取得された第2のデータは、RSU3に搭載されたセンサで取得されたセンシングデータに基づいて生成された物体位置情報及び予めRSU3に記憶されている路面の傾き情報と、物体位置情報を取得した日時を示すタイムスタンプと、を含む。
 [RSUの構成]
 図5に示すように、RSU3は、センサ30と、データ取得部31と、物体位置情報生成部32と、通信部34と、判定部35と、基準時間送信部36と、記憶部37と、を有する。
 以下、異常検知システム101による異常検知方法について説明するが、これらに限定されることはない。
 (第4例)
 本例では、各車両2で取得された3次元物体位置情報及び路面の傾き情報の同期(第1のデータと第2のデータの同期)をRSU3が行う場合を例にあげ、図6、図7及び図11を用いて説明する。
 図6は第4例における異常検知方法のフローを説明する図であり、図7は図6に続くフロー図である。図6及び図7では、便宜上、車両は車両2Aと車両2Bの2台を図示し、車両2Cについては省略しているが、車両2Cおいても車両2Bと同様のフローとなる。
 ここでは便宜的に車両2A~2Cの3台を用いて説明するが、車両の台数は限定されない。また、車両Aが異常検知処理を行う例をあげるが、他の車両で異常検知処理を行ってもよい。また、図2では、車両Bに異常がある例を挙げて説明している。
 車両2A~2CがRSU3と通信可能なエリア内に入ると、各車両2A~2Cそれぞれのデータ取得部23により、搭載された測位部22で取得された車両2のGPS情報(位置情報及びタイムスタンプ)が取得される(S51)。
 取得された各車両2A~2Cのタイムスタンプを含むGPS情報はRSU3に送信される。
 次に、RSU3の判定部35により、センサ異常検知処理のためのデータ取得を開始するか否かが判定される(S52)。ここでは、判定部35は、車両が3台以上あるか否かを判定する。3台以上であると判定されると(YES)、S53へ進む。3台未満であると判定されると(NO)、S51に戻り、処理が繰り返される。
 S53では、判定部35により、各車両2へ、センサ異常検知処理のためのデータ取得を開始する指示がなされる。
 各車両2において、データ取得開始指示を受信すると、各車両2のデータ取得部23により、測位部22からタイムスタンプ付きGPS情報が取得され、更にセンサ群20から画像データ及び反射波のデータが取得される(S54)。この周囲に存在する物体のセンシングデータの取得は、所定の時間、例えば数秒間に亘って行われる。
 次に、各車両2の3次元物体位置情報生成部24により、データ取得部23で取得したデータを用いて3次元物体位置情報、路面の傾き情報が生成される(S55)。3次元物体位置情報、路面の傾き情報には、測位部22から得たGPS時刻(タイムスタンプ)が付与されている。
 次に、各車両2で生成された3次元物体位置情報及び路面の傾き情報は、サーバ4に送信される(S56)。ここでは、車両2Aで取得された3次元物体位置情報及び路面の傾き情報を第1のデータとする。車両2A以外、ここでは、車両2B及び2Cで取得された3次元物体位置情報及び路面の傾き情報を第2のデータとする。
 次に、車両2Aの演算部26の第1のデータ取得部261により、車両2Aが取得した第1のデータが取得される。第2のデータ取得部262により、車両2B、2Cそれぞれが取得した第2のデータが取得される。
 次に、RSU3から、データマッチング処理時のデータ同期に用いる基準時間データが、サーバ4へ送信される(S57)。
 次に、処理開始判定部263により、車両が3台以上あるか否かが判定され、更に、3次元物体位置情報及び路面の傾き情報に付与されているタイムスタンプと基準時間データを用いて基準時間内か否かが判定される(S58)。
 車両2が3台以上であると判定され、かつ、基準時間内と判定されると(YES)、S59へ進む。
 車両2が3台未満、或いは、基準時間外、の少なくとも一方を満たすと判定されると(NO)、S56に戻り、処理が繰り返される。
 S59では、比較部264により、取得された第1のデータと第2のデータが比較される(データマッチング処理)。
 次に、比較部264での比較結果に基づいて検知部265により異常データの有無が判定される(S60)。
 S60で異常データありと判定されると(YES)、S61に進む。異常データなしと判定されると(NO)、センサの異常検知処理が終了する。「異常データあり」とは、正位置から傾いたセンサが存在することを意味する。
 S61では、検知部265により、検知結果に基づく異常通知処理が行われる。
 異常通知処理では、異常データありと判定されたセンサを搭載する車両に対して、センサの異常の発生を通知する(センサ異常通知)とともに、車両制御を指示する。これらの異常通知情報はRSU3へ送信される。
 RSU3は、受信した情報に基づいて、異常データありと判定されたセンサが搭載されている車両を特定する(S62)。RSU3は、特定した車両(ここでは車両2B)に対して、センサ異常通知をするとともに、車両制御指示の情報を送信する。
 通知を受け取った車両2の制御部25は、指示に基づいて、車両を制御する(S63)。
 尚、第4例では、RSU3は、通信部34と、判定部35と、基準時間送信部36と、を少なくも有すればよい。
 (第5例)
 上記第4例では、サーバ4が処理した異常通知情報がRSU3を介して車両2に送信される例をあげたが、サーバ4を介さずに車車間通信で、異常センサを備える車両に直接送信されてもよい。第5例では、異常通知情報を車車間通信で送信する例をあげる。
 更に、第5例では、車両2で生成される3次元物体位置情報及び路面の傾き情報に加え、RSU3が有するセンサ30のセンシングデータを用いて生成した物体位置情報及び予めRSU3が有している路面の傾き情報を用いる例をあげる。
 以下、図8、図9及び図11を用いて説明する。
 図8は第5例における異常検知のフローを説明する図であり、図9は図8に続くフロー図である。図8及び図9では、便宜上、車両は車両2Aと車両2Bの2台を図示し、車両2Cについては省略しているが、車両2Cおいても車両2Bと同様のフローとなる。
 ここでは便宜的に車両2A~2Cの3台を用いて説明するが、車両の台数は限定されない。また、車両Aが異常検知処理を行う例をあげるが、他の車両で異常検知処理を行ってもよい。また、図8及び図9では、車両Bに異常がある例を挙げて説明している。
 車両2A~2CがRSU3と通信可能なエリア内に入ると、各車両2A~2Cのデータ取得部23により、搭載された測位部22で取得された車両2のGPS情報(位置情報及びタイムスタンプ)と、各車両に個別に付与されている車両IDが取得される(S71)。
 取得された各車両2A~2Cのタイムスタンプを含むGPS情報及び車両IDはRSU3に送信される。
 次に、RSU3の判定部35により、センサ異常検知処理のためのデータ取得を開始するか否かが判定される(S72)。ここでは、判定部35は、車両が3台以上あるか否かを判定する。3台以上であると判定されると(YES)、S73へ進む。3台未満であると判定されると(NO)、S71に戻り、処理が繰り返される。
 S73では、判定部35により、後述するデータマッチング処理(S79)で、互いにデータを比較する車両IDの組が決定される(S73)。この決定された組の各車両で生成された3次元物体情報集合を用いてセンサの異常検知処理が行われることになる。
 決定された車両IDの組の情報は、サーバ4に送信される。
 サーバ4がRSU3から車両IDの組の情報を受信すると、指示部266は、組に所属する各車両2とRSU3に対して、センサの異常検知のためのセンシングデータ取得を開始する指示をする(S74)。
 各車両2において、データ取得開始指示を受信すると、各車両2のデータ取得部23により、測位部22からタイムスタンプ付きGPS情報が取得され、更にセンサ群20から画像データ及び反射波のデータが取得される(S75)。
 RSU3において、センシングデータ取得開始指示を受信すると、データ取得部31によりセンサ30からタイムスタンプ付き画像データが取得される(S75)。
 これらの周囲に存在する物体のセンシングデータの取得は、所定の時間、例えば数秒間に亘って行われる。
 次に、各車両2において、3次元物体位置情報生成部24により、データ取得部23で取得したセンシングデータを用いて3次元物体位置情報、路面の傾き情報が生成される(S76)。3次元物体位置情報及び路面の傾き情報にはタイムスタンプが付与されている。
 RSU3においても、物体位置情報生成部32により、データ取得部31で取得したデータを用いて物体位置情報が生成される(S76)。物体位置情報には、タイムスタンプが付与されている。
 次に、各車両2で生成された3次元物体位置情報及び路面の傾き情報は、サーバ4に送信される(S77)。3次元物体位置情報及び路面の傾き情報にはタイムスタンプが付与されている。
 更に、RSU3で生成された物体位置情報及びRSU3の記憶部37に記憶されている路面の傾き情報は、サーバ4に送信される(S77)。物体位置情報にはタイムスタンプが付与されている。
 ここでは、任意の1つの車両、ここでは車両2Aで取得された3次元物体位置情報及び路面の傾き情報を第1のデータとする。車両2A以外の車両2B、2Cで取得された3次元物体位置情報及び路面の傾き情報を第2のデータとする。RSU3で取得された物体位置情報及び路面の傾き情報を第2のデータとする。
 次に、演算部26の第1のデータ取得部261により、車両2Aが取得した第1のデータが取得される。第2のデータ取得部262により、車両2B、2Cそれぞれが取得した第2のデータと、RSU3が取得した第2のデータが取得される。
 次に、処理開始判定部263により、車両が3台以上あるか否かが判定される(S78)。3台以上であると判定されると(YES)、S79へ進む。3台未満であると判定されると(NO)、S77に戻り、処理が繰り返される。
 S79では、比較部264により、取得された第1のデータと第2のデータが比較される(データマッチング処理)。
 比較部264での比較結果に基づいて検知部265により異常データの有無が判定される(S80)。
 S80で異常データありと判定されると(YES)、S81に進む。異常データなしと判定されると(NO)、センサの異常検知処理が終了する。
 S81では、検知部265により、検知結果に基づく異常通知処理が行われる。
 異常通知処理では、異常データありと判定されたセンサを搭載する車両に対して、センサの異常の発生を通知する(センサ異常通知)とともに、車両制御を指示する。本例では、検知部265は、異常ありと判定されたセンサを搭載する車両2Bに対し、センサ異常通知をするとともに、車両制御指示の情報を送信する。
 通知を受け取った車両2Bの制御部25は、指示に基づいて、車両を制御する(S82)。
 <第3の実施形態>
 上述の実施形態では、演算部が車両、サーバにある場合を例あげて説明したが、図10に示す第3の実施形態のように演算部26がRSU3にあってもよく、以下説明する。
 図10に示すように、本実施形態の異常検知システム121は、1以上の車両2と、情報処理装置としてのRSU3と、を有する。
 RSU3は、センサ30と、データ取得部31と、物体位置情報生成部32と、通信部34と、判定部35と、基準時間送信部36と、記憶部37と、演算部26と、を有する。
 車両2は、センサ群20と、専用通信I/F21と、測位部22と、データ取得部23と、3次元物体位置情報生成部24と、制御部25と、を有する。
 以上のように、本技術では、センシングデータのシェアリングを行うことにより、センサの異常の検知を瞬時に実行でき、車両運転の安全性を高めることができる。
 本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
 例えば、上述の実施形態においては、車両に搭載されるカメラがステレオカメラである例をあげたが、これに限定されず、例えば単眼カメラ、RGBカメラ、ToFカメラであってもよい。例えば単眼カメラを用いる場合、単眼カメラのセンシングデータから生成された2次元物体位置情報を用いて検知する場合においても本技術を適用できる。尚、上述の実施形態のように、位置情報として3次元物体位置情報を用いてセンサの異常検知を行うことにより、より精度の高い検知を行うことができる。
 また、例えば、上述の実施形態においては、センサとしてカメラ、ミリ波レーダ、LiDARを例にあげて説明したが、これらのうち少なくとも1つのセンサを用いる場合に適用してもよい。
 また、複数のセンサを用いる場合には、センサフュージョンと呼ばれる技術を用いて生成される、複数のセンサのそれぞれから得られるセンサデータを統合したフュージョンデータを用いてもよい。これにより、より高精度な物体認識が可能となる。
 統合されるセンサデータとしては、処理データと呼ばれる、個々のセンサそれぞれにおいてローカルで事前処理されたデータを用いてもよいし、ローデータ(未処理データ、生データ)と呼ばれる、個々のセンサそれぞれにおいてローカルでの事前処理がなされていないデータを用いてもよい。
 処理データを用いる場合には、ローカルにおいて事前に処理がなされノイズなどの余計な情報が省かれているため、後段の処理にかかる負担が少なく、比較的高速に処理を行うことができる。
 一方で、ローデータを用いる場合には、ローデータはローカルにおいて事前に何らの処理もなされていないため情報量が豊富であり、処理データを用いる場合と比較して情報量が豊富なフュージョンデータを生成することができる。
 また、複数のセンサのうちのいずれかについては処理データを用いて、他のいずれかについてはローデータを用いてフュージョンデータを生成するようにしてもよい。
 また、例えば、上述の実施形態においては、車両に搭載されるセンサの異常を検知する例をあげたが、RSU3に搭載されるセンサの異常を検知することも可能である。
 RSU3に搭載されるセンサのセンシングデータを用いて生成した物体位置情報と、車両2に搭載されるセンサのセンシングデータを用いて生成した3次元物体位置情報を比較することにより、RSU3に搭載されるセンサの異常を検知することができる。
 RSU3自体、又は、RSU3が設置されている信号機等が、地震などの地殻変動、強風、いたずらなどによって傾いた場合に、その傾きと連動して、RSU3に搭載されるセンサが傾くことがある。
 また、上述の実施形態においては、例えばRSU3に対する車両2A~2Cの位置関係を、RSU3に搭載されるセンサ(カメラ)30の画像データの画像処理を用いて取得する例をあげたが、これに限定されない。例えば、路面状況によっては各車両2A~2CのGPS情報から位置関係を取得してもよい。また、路車間通信システムを用いて、RSU3と車両2との位置関係を取得してもよい。
 なお、本技術は以下のような構成もとることができる。
 (1)
 車両に搭載された1以上のセンサのセンシングデータを用いて生成された車両の周囲環境に存在する物体の位置情報及び路面の傾き情報の少なくとも一方と、上記情報を取得した日時を示すタイムスタンプと、を含む第1のデータを取得する第1のデータ取得部と、
 上記車両以外の1以上のセンサのセンシングデータを用いて生成された上記車両の周囲環境に存在する物体の位置情報及び路面の傾き情報の少なくとも一方と、上記情報を取得した日時を示すタイムスタンプと、を含む第2のデータを取得する第2のデータ取得部と、
 上記第1のデータと上記第2のデータをそれぞれに含まれるタイムスタンプに基づいて比較する比較部と、
 上記比較部による比較結果に基づいて、上記車両に搭載されたセンサに関する異常を検知する検知部と
 を具備する情報処理装置。
 (2)
 上記(1)に記載の情報処理装置であって、
 上記位置情報は3次元位置情報である
 情報処理装置。
 (3)
 上記(1)又は(2)に記載の情報処理装置であって、
 上記タイムスタンプは、GNSS(Global Navigation Satellite System)又は路車間通信システムにより取得される
 情報処理装置。
 (4)
 上記(1)~(3)のいずれか1つに記載の情報処理装置であって、
 上記センサは、カメラ、ミリ波レーダ、LiDAR(Light Detection and Ranging)の少なくとも1つを含む
 情報処理装置。
 (5)
 上記(1)~(4)のいずれか1つに記載の情報処理装置であって、
 上記第2のデータ取得部は、上記車両とは異なる他の車両又は路側器の少なくとも一方から上記第2のデータを取得する
 情報処理装置。
 (6)
 上記(5)に記載の情報処理装置であって、
 上記第2のデータ取得部は、上記路側器から、上記路側器が予め取得している上記車両が位置する路面の傾きの情報を、上記第2のデータとして取得する
 情報処理装置。
 (7)
 上記(5)又は(6)に記載の情報処理装置であって、
 上記第2のデータ取得部は、上記路側器に搭載されているセンサのセンシングデータを用いて生成された物体の位置情報を上記第2のデータとして取得し、
 上記比較部は、上記路側器から取得した上記第2のデータをマスターデータとして用いて上記第1のデータと上記第2のデータを比較する
 情報処理装置。
 (8)
 上記(1)から(7)のいずれか1つに記載の情報処理装置であって、
 上記比較部は、それぞれ所定の時間に亘って取得された上記第1のデータと上記第2のデータを比較する
 情報処理装置。
 (9)
 上記(1)から(8)のいずれか1つに記載の情報処理装置であって、
 上記車両の周囲環境に存在する物体は、位置が既知の固定のマーカーである
 情報処理装置。
 (10)
 上記(1)から(9)のいずれか1つに記載の情報処理装置であって、
 上記第2のデータ取得部は、上記マーカーの位置情報を予め取得している路側器から、上記マーカーの位置情報を上記第2のデータとして取得する
 情報処理装置。
 (11)
 上記(1)から(10)のいずれか1つに記載の情報処理装置であって、
 上記車両の周囲環境に存在する物体の位置情報は、上記物体の特徴量の検出を用いて生成される
 情報処理装置。
 (12)
 上記(1)から(11)のいずれか1つに記載の情報処理装置であって、
 上記検知部は、上記センサが正位置から傾いている異常を検知する
 情報処理装置。
 (13)
 上記(1)から(10)のいずれか1つに記載の情報処理装置であって、
 上記検知部は、検知結果に基づいて上記車両を制御する
 情報処理装置。
 (14)
 上記(13)に記載の情報処理装置であって、
 上記検知部は、検知結果に基づいて、上記センサの正位置からの傾きを補正するように上記車両を制御する
 情報処理装置。
 (15)
 上記(13)に記載の情報処理装置であって、
 上記検知部は、検知結果に基づいて上記センサの使用の有無を制御する
 情報処理装置。
 (16)
 上記(13)に記載の情報処理装置であって、
 上記検知部は、検知結果に基づいて、センサの異常発生通知、上記車両の緊急停止、上記車両の運転モードの切り替え、上記車両の運転モードの切り替え通知の少なくとも1つの制御を行う
 情報処理装置。
 (17)
 車両に搭載された1以上のセンサのセンシングデータを用いて生成された車両の周囲環境に存在する物体の位置情報及び路面の傾き情報の少なくとも一方と、上記情報を取得した日時を示すタイムスタンプと、を含む第1のデータを取得し、
 上記車両以外の1以上のセンサのセンシングデータを用いて生成された上記車両の周囲環境に存在する物体の位置情報及び路面の傾き情報の少なくとも一方と、上記情報を取得した日時を示すタイムスタンプと、を含む第2のデータを取得し、
 上記第1及び上記第2のデータを、それぞれに含まれるタイムスタンプに基づいて比較し、
 上記比較結果に基づいて、上記車両に搭載されたセンサに関する異常を検知する
 情報処理方法。
 (18)
 車両に搭載された1以上のセンサのセンシングデータを用いて生成された車両の周囲環境に存在する物体の位置情報及び路面の傾き情報の少なくとも一方と、上記情報を取得した日時を示すタイムスタンプと、を含む第1のデータを取得するステップと、
 上記車両以外の1以上のセンサのセンシングデータを用いて生成された上記車両の周囲環境に存在する物体の位置情報及び路面の傾き情報の少なくとも一方と、上記情報を取得した日時を示すタイムスタンプと、を含む第2のデータを取得するステップと、
 上記第1及び上記第2のデータを、それぞれに含まれるタイムスタンプに基づいて比較するステップと、
 上記比較結果に基づいて、上記車両に搭載されたセンサに関する異常を検知するステップ
 を含む処理を情報処理装置に実行させるためのプログラム。
 2…車両(情報処理装置)
 3…RSU(情報処理装置)
 4…サーバ(情報処理装置)
 261…第1のデータ取得部
 262…第2のデータ取得部
 254…比較部
 265…検知部

Claims (18)

  1.  車両に搭載された1以上のセンサのセンシングデータを用いて生成された車両の周囲環境に存在する物体の位置情報及び路面の傾き情報の少なくとも一方と、前記情報を取得した日時を示すタイムスタンプと、を含む第1のデータを取得する第1のデータ取得部と、
     前記車両以外の1以上のセンサのセンシングデータを用いて生成された前記車両の周囲環境に存在する物体の位置情報及び路面の傾き情報の少なくとも一方と、前記情報を取得した日時を示すタイムスタンプと、を含む第2のデータを取得する第2のデータ取得部と、
     前記第1のデータと前記第2のデータをそれぞれに含まれるタイムスタンプに基づいて比較する比較部と、
     前記比較部による比較結果に基づいて、前記車両に搭載されたセンサに関する異常を検知する検知部と
     を具備する情報処理装置。
  2.  請求項1に記載の情報処理装置であって、
     前記位置情報は3次元位置情報である
     情報処理装置。
  3.  請求項1に記載の情報処理装置であって、
     前記タイムスタンプは、GNSS(Global Navigation Satellite System)又は路車間通信システムにより取得される
     情報処理装置。
  4.  請求項1に記載の情報処理装置であって、
     前記センサは、カメラ、ミリ波レーダ、LiDAR(Light Detection and Ranging)の少なくとも1つである
     情報処理装置。
  5.  請求項1に記載の情報処理装置であって、
     前記第2のデータ取得部は、前記車両とは異なる他の車両又は路側器の少なくとも一方から前記第2のデータを取得する
     情報処理装置。
  6.  請求項5に記載の情報処理装置であって、
     前記第2のデータ取得部は、前記路側器から、前記路側器が予め取得している前記車両が位置する路面の傾きの情報を、前記第2のデータとして取得する
     情報処理装置。
  7.  請求項5に記載情報処理装置であって、
     前記第2のデータ取得部は、前記路側器に搭載されているセンサのセンシングデータを用いて生成された物体の位置情報を前記第2のデータとして取得し、
     前記比較部は、前記路側器から取得した前記第2のデータをマスターデータとして用いて前記第1のデータと前記第2のデータを比較する
     情報処理装置。
  8.  請求項1に記載の情報処理装置であって、
     前記比較部は、それぞれ所定の時間に亘って取得された前記第1のデータと前記第2のデータを比較する
     情報処理装置。
  9.  請求項1に記載の情報処理装置であって、
     前記車両の周囲環境に存在する物体は、位置が既知の固定のマーカーである
     情報処理装置。
  10.  請求項1に記載の情報処理装置であって、
     前記第2のデータ取得部は、前記マーカーの位置情報を予め取得している路側器から、前記マーカーの位置情報を前記第2のデータとして取得する
     情報処理装置。
  11.  請求項1に記載の情報処理装置であって、
     前記車両の周囲環境に存在する物体の位置情報は、前記物体の特徴量の検出を用いて生成される
     情報処理装置。
  12.  請求項1に記載の情報処理装置であって、
     前記検知部は、前記センサが正位置から傾いている異常を検知する
     情報処理装置。
  13.  請求項12に記載の情報処理装置であって、
     前記検知部は、検知結果に基づいて前記車両を制御する
     情報処理装置。
  14.  請求項13に記載の情報処理装置であって、
     前記検知部は、検知結果に基づいて、前記センサの正位置からの傾きを補正するように前記車両を制御する
     情報処理装置。
  15.  請求項13に記載の情報処理装置であって、
     前記検知部は、検知結果に基づいて前記センサの使用の有無を制御する
     情報処理装置。
  16.  請求項13に記載の情報処理装置であって、
     前記検知部は、検知結果に基づいて、センサの異常発生通知、前記車両の緊急停止、前記車両の運転モードの切り替え、前記車両の運転モードの切り替え通知の少なくとも1つの制御を行う
     情報処理装置。
  17.  車両に搭載された1以上のセンサのセンシングデータを用いて生成された車両の周囲環境に存在する物体の位置情報及び路面の傾き情報の少なくとも一方と、前記情報を取得した日時を示すタイムスタンプと、を含む第1のデータを取得し、
     前記車両以外の1以上のセンサのセンシングデータを用いて生成された前記車両の周囲環境に存在する物体の位置情報及び路面の傾き情報の少なくとも一方と、前記情報を取得した日時を示すタイムスタンプと、を含む第2のデータを取得し、
     前記第1及び前記第2のデータを、それぞれに含まれるタイムスタンプに基づいて比較し、
     前記比較結果に基づいて、前記車両に搭載されたセンサに関する異常を検知する
     情報処理方法。
  18.  車両に搭載された1以上のセンサのセンシングデータを用いて生成された車両の周囲環境に存在する物体の位置情報及び路面の傾き情報の少なくとも一方と、前記情報を取得した日時を示すタイムスタンプと、を含む第1のデータを取得するステップと、
     前記車両以外の1以上のセンサのセンシングデータを用いて生成された前記車両の周囲環境に存在する物体の位置情報及び路面の傾き情報の少なくとも一方と、前記情報を取得した日時を示すタイムスタンプと、を含む第2のデータを取得するステップと、
     前記第1及び前記第2のデータを、それぞれに含まれるタイムスタンプに基づいて比較するステップと、
     前記比較結果に基づいて、前記車両に搭載されたセンサに関する異常を検知するステップ
     を含む処理を情報処理装置に実行させるためのプログラム。
PCT/JP2020/030582 2019-09-11 2020-08-11 情報処理装置、情報処理方法、及びプログラム WO2021049233A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/633,738 US20220324468A1 (en) 2019-09-11 2020-08-11 Information processing apparatus, information processing method, and program
CN202080062295.9A CN114341869A (zh) 2019-09-11 2020-08-11 信息处理装置、信息处理方法和程序
JP2021545172A JPWO2021049233A1 (ja) 2019-09-11 2020-08-11

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019165365 2019-09-11
JP2019-165365 2019-09-11

Publications (1)

Publication Number Publication Date
WO2021049233A1 true WO2021049233A1 (ja) 2021-03-18

Family

ID=74866511

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/030582 WO2021049233A1 (ja) 2019-09-11 2020-08-11 情報処理装置、情報処理方法、及びプログラム

Country Status (4)

Country Link
US (1) US20220324468A1 (ja)
JP (1) JPWO2021049233A1 (ja)
CN (1) CN114341869A (ja)
WO (1) WO2021049233A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022190500A1 (ja) * 2021-03-10 2022-09-15 株式会社デンソー 走行支援制御装置、走行支援制御方法、走行支援制御プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116461539A (zh) * 2023-04-10 2023-07-21 北京辉羲智能科技有限公司 一种采集传感器时序数据的自动驾驶SoC芯片

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015075382A (ja) * 2013-10-08 2015-04-20 株式会社デンソー 物体検出装置
JP2016045150A (ja) * 2014-08-26 2016-04-04 株式会社トプコン 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法およびプログラム
JP2016053563A (ja) * 2014-02-10 2016-04-14 株式会社デンソー 軸ずれ検出装置
WO2018212346A1 (ja) * 2017-05-18 2018-11-22 パイオニア株式会社 制御装置、走査システム、制御方法、およびプログラム
US20190086512A1 (en) * 2017-09-15 2019-03-21 GM Global Technology Operations LLC Method and apparatus for vehicular radar calibration
JP2019066240A (ja) * 2017-09-29 2019-04-25 株式会社デンソーテン レーダ装置及び情報処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015075382A (ja) * 2013-10-08 2015-04-20 株式会社デンソー 物体検出装置
JP2016053563A (ja) * 2014-02-10 2016-04-14 株式会社デンソー 軸ずれ検出装置
JP2016045150A (ja) * 2014-08-26 2016-04-04 株式会社トプコン 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法およびプログラム
WO2018212346A1 (ja) * 2017-05-18 2018-11-22 パイオニア株式会社 制御装置、走査システム、制御方法、およびプログラム
US20190086512A1 (en) * 2017-09-15 2019-03-21 GM Global Technology Operations LLC Method and apparatus for vehicular radar calibration
JP2019066240A (ja) * 2017-09-29 2019-04-25 株式会社デンソーテン レーダ装置及び情報処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022190500A1 (ja) * 2021-03-10 2022-09-15 株式会社デンソー 走行支援制御装置、走行支援制御方法、走行支援制御プログラム

Also Published As

Publication number Publication date
CN114341869A (zh) 2022-04-12
US20220324468A1 (en) 2022-10-13
JPWO2021049233A1 (ja) 2021-03-18

Similar Documents

Publication Publication Date Title
JP7160040B2 (ja) 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム
CN108693876B (zh) 用于具有控制部件的车辆的目标跟踪系统及方法
CN108139202B (zh) 图像处理装置、图像处理方法和程序
WO2017057044A1 (ja) 情報処理装置及び情報処理方法
CN109658684B (zh) 车辆调度系统、自主驾驶车辆以及车辆调度方法
JP4434224B2 (ja) 走行支援用車載装置
JP4569652B2 (ja) 認識システム
KR101622028B1 (ko) 차량 통신을 이용한 차량 제어 장치 및 제어 방법
JP6468062B2 (ja) 物体認識システム
WO2017057055A1 (ja) 情報処理装置、情報端末、及び、情報処理方法
US20220215751A1 (en) Moving object and driving support system for moving object
CN108028883B (zh) 图像处理装置和图像处理方法
US20200322585A1 (en) Image processing device, image processing method, and vehicle
JPWO2016038931A1 (ja) 運転支援装置
CN110574357B (zh) 成像控制设备、用于控制成像控制设备的方法以及移动体
US11878711B2 (en) Method of sharing and using sensor data
KR20160040911A (ko) V2x 통신 기반의 차량 주변환경 인식 장치 및 그 동작 방법
KR102091327B1 (ko) 자율주행 자동차의 자율주행 시스템
WO2021049233A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20180350107A1 (en) Image processing apparatus and image processing method
KR20220020804A (ko) 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램
WO2020261838A1 (ja) 画像処理装置と画像処理方法およびプログラム
KR20220077125A (ko) 정보 처리 장치, 및 정보 처리 시스템, 그리고 정보 처리 방법
US20220371597A1 (en) Driving support system
US20220410904A1 (en) Information processing device, information processing system and information processing method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20863454

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021545172

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20863454

Country of ref document: EP

Kind code of ref document: A1