JP7298323B2 - 外部環境認識装置 - Google Patents

外部環境認識装置 Download PDF

Info

Publication number
JP7298323B2
JP7298323B2 JP2019111072A JP2019111072A JP7298323B2 JP 7298323 B2 JP7298323 B2 JP 7298323B2 JP 2019111072 A JP2019111072 A JP 2019111072A JP 2019111072 A JP2019111072 A JP 2019111072A JP 7298323 B2 JP7298323 B2 JP 7298323B2
Authority
JP
Japan
Prior art keywords
external environment
unit
recognition
vehicle
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019111072A
Other languages
English (en)
Other versions
JP2020204822A (ja
Inventor
大介 堀籠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Priority to JP2019111072A priority Critical patent/JP7298323B2/ja
Priority to PCT/JP2020/011539 priority patent/WO2020250528A1/ja
Priority to CN202080043208.5A priority patent/CN113994405A/zh
Priority to US17/618,496 priority patent/US20220237899A1/en
Priority to EP20821845.3A priority patent/EP3985635A4/en
Publication of JP2020204822A publication Critical patent/JP2020204822A/ja
Application granted granted Critical
Publication of JP7298323B2 publication Critical patent/JP7298323B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52004—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G01S7/412—Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

ここに開示する技術は、移動体の外部の環境を認識する外部環境認識装置に関する。
特許文献１には、車両に搭載される画像処理装置が開示されている。この画像処理装置は、カメラで撮影して得られた撮影画像に基づく入力画像から路面領域を検出する路面検出部と、入力画像における路面領域の検出結果を時系列で検証する時系列検証を行う時系列検証部と、路面検出部による路面領域の検出結果と時系列検証部による時系列検証の結果とに基づいて対象物を検知するための検知領域を入力画像内に設定する検知領域選択部と、検知領域において対象物を検知する検知部とを備える。
特開２０１８－２２２３４号公報
ところで、特許文献１のような装置に設けられたデータ処理系統の異常を検出するために、異常検出の対象となるデータ処理系統を二重化することが考えられる。具体的には、同一のデータ処理を行う２つの処理部を設け、２つの処理部に同一のデータを入力して２つの処理部の出力を比較し、２つの処理部の出力が互いに異なる場合にデータ処理に異常があると判定する、という方式（いわゆるデュアルロックステップ方式）を採用することが考えられる。しかしながら、データ処理系統を二重化すると、冗長な構成が追加されることになるので、データ処理系統の回路規模および消費電力が増加してしまう。
ここに開示する技術は、かかる点に鑑みてなされたものであり、その目的とするところは、異常検出機能の追加に伴う回路規模および消費電力の増加を低減することが可能な外部環境認識装置を提供することにある。
ここに開示する技術は、移動体の外部環境を認識する外部環境認識装置に関する。この外部環境認識装置は、前記移動体の外部環境を撮像する撮像部により得られた画像データに基づいて、該移動体の外部環境を認識する認識処理部と、前記認識処理部の認識結果と前記移動体の外部環境を検出する検出部の検出結果とに基づいて、該認識処理部により認識された外部環境を表現するオブジェクトデータを生成するオブジェクトデータ生成部と、前記認識処理部により認識された外部環境と前記検出部により検出された外部環境との同一性に基づいて、前記撮像部と前記認識処理部と前記検出部とを含むデータ処理系統の異常を検出する異常検出部とを備える。
前記の構成では、異常検出の対象となるデータ処理系統の全体を二重化することなく、データ処理系統の異常を検出することができる。これにより、異常検出の対象となるデータ処理系統の全体を二重化する場合よりも、異常検出機能の追加に伴う回路規模および消費電力の増加を低減することができる。
なお、前記検出部は、前記移動体の外部環境へ向けて探知波を送信して該外部環境からの反射波を受信することで該移動体の外部環境を検出するように構成されてもよい。前記異常検出部は、前記認識処理部により認識された外部環境に含まれる物標と前記検出部により検出された外部環境に含まれる物標との同一性に基づいて、前記データ処理系統の異常を検出するように構成されてもよい。
前記の構成では、異常検出部は、認識処理部により認識された物標と検出部により検出された物標との同一性に基づいて、データ処理系統の異常を検出する。なお、検出部において、移動体の外部環境に含まれる物標（例えば車両）は、移動体の外部環境に含まれる移動可能領域（例えば車道）よりも検出されやすい。したがって、認識処理部により認識された物標と検出部により検出された物標との同一性に基づいてデータ処理系統の異常を検出することにより、認識処理部により認識された移動可能領域と検出部により検出された移動可能領域との同一性に基づいてデータ処理系統の異常を検出する場合よりも、データ処理系統の異常の検出精度を向上させることができる。
また、前記異常検出部は、前記移動体の外部環境に含まれる物標のうち該移動体との間の距離が予め定められた距離範囲内となる物標に関する前記認識処理部の認識結果と前記検出部の検出結果との同一性に基づいて、前記データ処理系統の異常を検出するように構成されてもよい。
前記の構成では、移動体との間の距離が撮像部による撮像および検出部による検出を適切に行うことができる距離となる物標を、異常検出部の処理の対象とすることができる。これにより、認識処理部により適切に認識された物標と検出部により適切に検出された物標との同一性に基づいてデータ処理系統の異常を検出することができるので、データ処理系統の異常の検出精度を向上させることができる。
また、前記異常検出部は、前記認識処理部により認識された外部環境と前記検出部により検出された外部環境との同一性の破綻の継続時間に基づいて、前記データ処理系統の異常を検出するように構成されてもよい。
前記の構成では、認識処理部により認識された外部環境と検出部により検出された外部環境との同一性の破綻の継続時間に基づいて、データ処理系統の異常を検出することにより、データ処理系統の異常の過検出を低減することができる。これにより、データ処理系統の異常の検出を適切に行うことができる。
ここに開示する技術によれば、異常検出機能の追加に伴う回路規模および消費電力の増加を低減することができる。
実施形態による車両制御システムの構成を例示するブロック図である。 外部環境認識部の構成を例示するブロック図である。 外部環境認識部の基本動作を例示するフローチャートである。 画像データを例示する図である。 画像データの分類結果を例示する図である。 統合データの概念を例示する図である。 二次元データを例示する図である。 異常検出部による異常検出動作を例示するフローチャートである。
以下、実施の形態を図面を参照して詳しく説明する。なお、図中同一または相当部分には同一の符号を付しその説明は繰り返さない。以下では、移動体の動作を制御する移動体制御システムの一例である車両制御システム１０を例に挙げて説明する。
（実施形態）
図１は、車両制御システム１０の構成を例示する。車両制御システム１０は、移動体の一例である車両（この例では自動四輪車）に設けられる。この車両は、マニュアル運転とアシスト運転と自動運転とに切り換え可能である。マニュアル運転は、ドライバの操作（例えばアクセルの操作など）に応じて走行する運転である。アシスト運転は、ドライバの操作を支援して走行する運転である。自動運転は、ドライバの操作なしに走行する運転である。車両制御システム１０は、自動運転およびアシスト運転において、車両に設けられたアクチュエータ１０１を制御することで車両の動作を制御する。例えば、アクチュエータ１０１は、エンジン、トランスミッション、ブレーキ、ステアリングなどを含む。
なお、以下の説明では、車両制御システム１０が設けられている車両を「自車両」と記載し、自車両の周囲に存在する他の車両を「他車両」と記載する。
この例では、車両制御システム１０は、複数のカメラ１１と、複数のレーダ１２と、位置センサ１３と、車両状態センサ１４と、ドライバ状態センサ１５と、運転操作センサ１６と、通信部１７と、コントロールユニット１８と、ヒューマンマシンインターフェース１９と、演算装置２０とを備える。演算装置２０は、外部環境認識装置の一例である。
〔カメラ（撮像部）〕
複数のカメラ１１は、互いに同様の構成を有する。カメラ１１は、自車両の外部環境を撮像することで、自車両の外部環境を示す画像データを取得する。カメラ１１により得られた画像データは、演算装置２０に送信される。なお、カメラ１１は、移動体の外部環境を撮像する撮像部の一例である。
この例では、カメラ１１は、広角レンズを有する単眼カメラである。そして、複数のカメラ１１による自車両の外部環境の撮像範囲が自車両の周囲の全周に渡るように、複数のカメラ１１が自車両に配置されている。例えば、カメラ１１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary metal-oxide-semiconductor）などの固体撮像素子を用いて構成される。なお、カメラ１１は、通常のレンズを有する単眼カメラであってもよいし、ステレオカメラであってもよい。
〔レーダ（検出部）〕
複数のレーダ１２は、互いに同様の構成を有する。レーダ１２は、自車両の外部環境を検出する。具体的には、レーダ１２は、自車両の外部環境へ向けて電波（探知波の一例）を送信して自車両の外部環境からの反射波を受信することで、自車両の外部環境を検出する。レーダ１２の検出結果は、演算装置２０に送信される。なお、レーダ１２は、移動体の外部環境を検出する検出部の一例である。検出部は、移動体の外部環境へ向けて探知波を送信して移動体の外部環境からの反射波を受信することで、移動体の外部環境を検出する。
この例では、複数のレーダ１２による自車両の外部環境の検出範囲が自車両の周囲の全周に渡るように、複数のレーダ１２が自車両に配置されている。例えば、レーダ１２は、ミリ波（探知波の一例）を送信するミリ波レーダであってもよいし、レーザ光（探知波の一例）を送信するライダ（Light Detection and Ranging）であってもよいし、赤外線（探知波の一例）を送信する赤外線レーダであってもよいし、超音波（探知波の一例）を送信する超音波センサであってもよい。
〔位置センサ〕
位置センサ１３は、自車両の位置（例えば緯度および経度）を検出する。例えば、位置センサ１３は、全地球測位システムからのＧＰＳ情報を受信し、ＧＰＳ情報に基づいて自車両の位置を検出する。位置センサ１３により検出された自車両の位置は、演算装置２０に送信される。
〔車両状態センサ〕
車両状態センサ１４は、自車両の状態（例えば速度や加速度やヨーレートなど）を検出する。例えば、車両状態センサ１４は、自車両の速度を検出する車速センサ、自車両の加速度を検出する加速度センサ、自車両のヨーレートを検出するヨーレートセンサなどにより構成される。車両状態センサ１４により検出された自車両の状態は、演算装置２０に送信される。
〔ドライバ状態センサ〕
ドライバ状態センサ１５は、自車両を運転するドライバの状態（例えばドライバの健康状態や感情や身体挙動など）を検出する。例えば、ドライバ状態センサ１５は、ドライバを撮像する車内カメラ、ドライバの生体情報を検出する生体情報センサなどにより構成される。ドライバ状態センサ１５により検出されたドライバの状態は、演算装置２０に送信される。
〔運転操作センサ〕
運転操作センサ１６は、自車両に加えられる運転操作を検出する。例えば、運転操作センサ１６は、自車両のハンドルの操舵角を検出する操舵角センサ、自車両のアクセルの操作量を検出するアクセルセンサ、自車両のブレーキの操作量を検出するブレーキセンサなどにより構成される。運転操作センサ１６により検出された運転操作は、演算装置２０に送信される。
〔通信部〕
通信部１７は、自車両の外部に設けられた外部装置との間で通信を行う。例えば、通信部１７は、自車両の周囲に位置する他車両（図示を省略）からの通信情報、ナビゲーションシステム（図示を省略）からの交通情報などを受信する。通信部１７により受信された情報は、演算装置２０に送信される。
〔コントロールユニット〕
コントロールユニット１８は、演算装置２０により制御され、自車両に設けられたアクチュエータ１０１を制御する。例えば、コントロールユニット１８は、パワートレイン装置、ブレーキ装置、ステアリング装置などを含む。パワートレイン装置は、後述する駆動指令値に示された目標駆動力に基づいて、アクチュエータ１０１に含まれるエンジンおよびトランスミッションを制御する。ブレーキ装置は、後述する制動指令値に示された目標制動力に基づいて、アクチュエータ１０１に含まれるブレーキを制御する。ステアリング装置は、後述する操舵指令値に示された目標操舵量に基づいてアクチュエータ１０１に含まれるステアリングを制御する。
〔ヒューマンマシンインターフェース〕
ヒューマンマシンインターフェース１９は、演算装置２０と自車両の乗員（特にドライバ）との間において情報の入出力を行うために設けられる。例えば、ヒューマンマシンインターフェース１９は、情報を表示するディスプレイ、情報を音声出力するスピーカ、音声を入力するマイク、自車両の乗員（特にドライバ）による操作が与えられる操作部などを含む。操作部は、タッチパネルやボタンである。
〔演算装置〕
演算装置２０は、自車両に設けられたセンサ類の出力および車外から送信された情報などに基づいて、自車両が走行すべき経路である目標経路を決定し、目標経路を走行するために必要となる自車両の運動である目標運動を決定する。そして、演算装置２０は、自車両の運動が目標運動となるように、コントロールユニット１８を制御してアクチュエータ１０１の動作を制御する。例えば、演算装置２０は、１つまたは複数の演算チップを有する電子制御ユニット（ＥＣＵ）により構成される。言い換えると、演算装置２０は、１つまたは複数のプロセッサ、１つまたは複数のプロセッサを動作させるためのプログラムやデータを記憶する１つまたは複数のメモリなどを有する電子制御ユニット（ＥＣＵ）により構成される。
この例では、演算装置２０は、外部環境認識部２１と、候補経路生成部２２と、車両挙動認識部２３と、ドライバ挙動認識部２４と、目標運動決定部２５と、運動制御部２６とを有する。これらは、演算装置２０の機能の一部である。
外部環境認識部２１は、自車両の外部環境を認識する。候補経路生成部２２は、外部環境認識部２１の出力に基づいて１つまたは複数の候補経路を生成する。候補経路は、自車両が走行可能な経路であり、目標経路の候補である。
車両挙動認識部２３は、車両状態センサ１４の出力に基づいて自車両の挙動（例えば速度や加速度やヨーレートなど）を認識する。例えば、車両挙動認識部２３は、深層学習により生成された学習モデルを用いて車両状態センサ１４の出力から自車両の挙動を認識する。ドライバ挙動認識部２４は、ドライバ状態センサ１５の出力に基づいてドライバの挙動（例えばドライバの健康状態や感情や身体挙動など）を認識する。例えば、ドライバ挙動認識部２４は、深層学習により生成された学習モデルを用いてドライバ状態センサ１５の出力からドライバの挙動を認識する。
目標運動決定部２５は、車両挙動認識部２３の出力と、ドライバ挙動認識部２４の出力に基づいて、候補経路生成部２２により生成された１つまたは複数の候補経路の中から目標経路となる候補経路を選択する。例えば、目標運動決定部２５は、複数の候補経路のうちドライバが最も快適であると感じる候補経路を選択する。そして、目標運動決定部２５は、目標経路として選択された候補経路に基づいて目標運動を決定する。
運動制御部２６は、目標運動決定部２５により決定された目標運動に基づいてコントロールユニット１８を制御する。例えば、運動制御部２６は、目標運動を達成するための駆動力と制動力と操舵量である目標駆動力と目標制動力と目標操舵量をそれぞれ導出する。そして、運動制御部２６は、目標駆動力を示す駆動指令値と目標制動力を示す制動指令値と目標操舵量を示す操舵指令値をコントロールユニット１８に含まれるパワートレイン装置とブレーキ装置とステアリング装置にそれぞれ送信する。
〔外部環境認識部〕
図２は、外部環境認識部２１の構成を例示する。この例では、外部環境認識部２１は、画像処理チップ３１と、人工知能アクセラレータ３２と、制御チップ３３とにより構成される。画像処理チップ３１と人工知能アクセラレータ３２と制御チップ３３の各々は、プロセッサと、プロセッサを動作させるためのプログラムやデータなどを記憶するメモリとにより構成される。
この例では、外部環境認識部２１は、前処理部４０と、認識処理部４１と、統合データ生成部４２と、二次元データ生成部４３と、異常検出部４４とを有する。これらは、外部環境認識部２１の機能の一部である。この例では、画像処理チップ３１に前処理部４０が設けられ、人工知能アクセラレータ３２に認識処理部４１と統合データ生成部４２が設けられ、制御チップ３３に二次元データ生成部４３と異常検出部４４が設けられる。
〈前処理部〉
前処理部４０は、カメラ１１により得られた画像データに対して前処理を行う。前処理には、画像データに示された画像の歪みを補正する歪み補正処理、画像データに示された画像の明度を調整するホワイトバランス調整処理などが含まれる。
〈認識処理部〉
認識処理部４１は、前処理部４０により前処理された画像データに基づいて、自車両の外部環境を認識する。
〈統合データ生成部〉
統合データ生成部４２は、認識処理部４１の認識結果に基づいて、統合データを生成する。統合データは、認識処理部４１により認識された自車両の外部環境に含まれる移動可能領域および物標が統合されたデータである。この例では、統合データ生成部４２は、認識処理部４１の認識結果と、レーダ１２の検出結果（すなわちレーダ１２により検出された自車両の外部環境）とに基づいて、統合データを生成する。
〈二次元データ生成部〉
二次元データ生成部４３は、統合データ生成部４２により生成された統合データに基づいて、二次元データを生成する。二次元データは、統合データに含まれる移動可能領域および物標が二次元化されたデータである。
〈オブジェクトデータ生成部〉
なお、この例では、統合データ生成部４２と二次元データ生成部４３がオブジェクトデータ生成部４５を構成している。オブジェクトデータ生成部４５は、認識処理部４１の認識結果に基づいてオブジェクトデータを生成する。オブジェクトデータは、認識処理部４１により認識された自車両の外部環境を表現するデータである。この例では、オブジェクトデータ生成部４５は、認識処理部４１の認識結果と、レーダ１２の検出結果（すなわちレーダ１２により検出された自車両の外部環境）とに基づいて、オブジェクトデータを生成する。
〈異常検出部〉
異常検出部４４は、認識処理部４１により認識された車両の外部環境とレーダ１２により検出された車両の外部環境との同一性に基づいて、カメラ１１と認識処理部４１とレーダ１２とを含むデータ処理系統の異常を検出する。この例では、カメラ１１と認識処理部４１とレーダ１２とを含むデータ処理系統は、カメラ１１から前処理部４０を経由して認識処理部４１に至る第１系統とレーダ１２から認識処理部４１に至る第２系統とを含む。例えば、異常検出部４４は、データ処理系統の異常を検出する異常検出処理において、深層学習により生成された学習モデルを用いて認識処理部４１の認識結果とレーダ１２の検出結果との同一性を検出するように構成されてもよい。この学習モデルは、認識処理部４１の認識結果とレーダ１２の検出結果との同一性を検出するための学習モデルである。なお、異常検出部４４は、他の周知の同一性検出技術を用いて認識処理部４１の認識結果とレーダ１２の検出結果との同一性を検出するように構成されてもよい。
〔外部環境認識部の基本動作〕
次に、図３を参照して、外部環境認識部２１の基本動作について説明する。
〈ステップＳ１１〉
まず、前処理部４０は、カメラ１１により得られた画像データに対して前処理を行う。この例では、前処理部４０は、複数のカメラ１１により得られた複数の画像データの各々に対して前処理を行う。前処理には、画像データに示された画像の歪み（この例ではカメラ１１の広角化による歪み）を補正する歪み補正処理や、画像データに示された画像のホワイトバランスを調整するホワイトバランス調整処理などが含まれる。なお、カメラ１１により得られた画像データに歪みがない場合（例えば通常のレンズを有するカメラを用いる場合）は、歪み補正処理が省略されてもよい。
図４に示すように、画像データＤ１に示された自車両の外部環境には、車道５０と歩道７１と空地７２が含まれている。車道５０は、自車両が移動することができる移動可能領域の一例である。また、この画像データＤ１に示された自車両の外部環境には、他車両６１と標識６２と街路樹６３と建物８０が含まれている。他車両６１（自動四輪車）は、時間経過により変位する動体の一例である。動体の他の例としては、自動二輪車、自転車、歩行者などが挙げられる。標識６２と街路樹６３は、時間経過により変位しない静止体の一例である。静止体の他の例としては、中央分離帯、センターポール、建物などが挙げられる。動体と静止体は、物標６０の一例である。
図４の例では、車道５０の外側に歩道７１が設けられ、歩道７１の外側（車道５０から遠い側）に空地７２が設けられている。また、図４の例では、車道５０のうち自車両が走行する車線を１台の他車両６１が走行し、車道５０のうち自車両が走行する車線の対向車線を２台の他車両６１が走行している。そして、歩道７１の外側に沿うように標識６２と街路樹６３が並んでいる。また、自車両の前方の遠い位置に建物８０が設けられている。
〈ステップＳ１２〉
次に、認識処理部４１は、画像データＤ１に対して分類処理を行う。この例では、認識処理部４１は、複数のカメラ１１により得られた複数の画像データの各々に対して分類処理を行う。分類処理では、認識処理部４１は、画像データＤ１に示された画像を画素単位で分類し、その分類結果を示す分類情報を画像データＤ１に付加する。この分類処理により、認識処理部４１は、画像データＤ１に示された画像（自車両の外部環境を示す画像）の中から移動可能領域および物標を認識する。例えば、認識処理部４１は、深層学習により生成された学習モデルを用いて分類処理を行う。この学習モデルは、画像データＤ１に示された画像を画素単位で分類するための学習モデルである。なお、認識処理部４１は、他の周知の分類技術を用いて分類処理を行うように構成されてもよい。
図５は、画像データＤ１に示される画像の分類結果を例示するセグメンテーション画像Ｄ２を示す。図５の例では、画像データＤ１に示される画像は、画素単位で、車道と車両と標識と街路樹と歩道と空地と建物のいずれかに分類されている。
〈ステップＳ１３〉
次に、認識処理部４１は、画像データに対して、移動可能領域データ生成処理を行う。移動可能領域データ生成処理では、認識処理部４１は、画像データＤ１に示される画像の中から分類処理により移動可能領域（この例では車道５０）に分類された画素領域を特定し、その特定された画素領域に基づいて移動可能領域データを生成する。移動可能領域データは、認識処理部４１により認識された移動可能領域を表現するデータ（この例では二次元マップデータ）である。この例では、認識処理部４１は、同一の時点において複数のカメラ１１により取得された複数の画像データの各々において特定された移動可能領域に基づいて、移動可能領域データを生成する。例えば、移動可能データ生成処理には、周知の二次元データ生成技術が用いられてもよい。
〈ステップＳ１４〉
また、認識処理部４１は、物標情報生成処理を行う。物標情報生成処理では、認識処理部４１は、第１情報生成処理と、第２情報生成処理と、情報統合処理とを行う。
第１情報生成処理は、画像データに対して行われる。この例では、認識処理部４１は、複数のカメラ１１により得られた複数の画像データの各々に対して第１情報生成処理を行う。第１情報生成処理では、認識処理部４１は、画像データＤ１に示される画像の中から分類処理により物標６０に分類された画素領域を特定し、その特定された画素領域に基づいて物標情報を生成する。なお、画像データＤ１に示された画像において複数の物標６０が認識された場合、認識処理部４１は、複数の物標６０の各々に対して第１情報生成処理を行う。物標情報は、物標６０に関する情報であり、物標６０の種別、物標６０の形状、自車両から物標６０までの距離および方向、自車両を基準とする物標６０の位置、自車両の移動速度に対する物標６０の相対速度の大きさおよび向きなどを示す。例えば、認識処理部４１は、深層学習により生成された学習モデルを用いて第１情報生成処理を行う。この学習モデルは、画像データＤ１に示される画像の中から特定された画素領域（物標６０に分類された画素領域）に基づいて物標情報を生成ための学習モデルである。なお、認識処理部４１は、他の周知の情報生成技術を用いて第１情報生成処理を行うように構成されてもよい。
第２情報生成処理は、レーダ１２の出力に対して行われる。この例では、認識処理部４１は、複数のレーダ１２の各々の出力に基づいて第２情報生成処理を行う。第２情報生成処理では、認識処理部４１は、レーダ１２の検出結果に基づいて物標情報を生成する。例えば、認識処理部４１は、レーダ１２の検出結果（自車両の外部環境を表現する反射波の強度分布）に対して解析処理を行うことで、物標情報（具体的には物標６０の種別、物標６０の形状、自車両から物標６０までの距離および方向、自車両を基準とする物標６０の位置、自車両の移動速度に対する物標６０の相対速度の大きさおよび向きなど）を導出する。なお、認識処理部４１は、深層学習により生成された学習モデル（レーダ１２の検出結果に基づいて物標情報を生成するための学習モデル）を用いて第２情報生成処理を行うように構成されてもよいし、他の周知の解析技術を用いて第２情報生成処理を行うように構成されてもよい。
情報統合処理では、認識処理部４１は、第１情報生成処理により得られた物標情報と、第２情報生成処理により得られた物標情報とを統合することにより、新たな物標情報を生成する。例えば、認識処理部４１は、物標情報に含まれる複数のパラメータ（具体的には物標６０の種別、物標６０の形状、自車両から物標６０までの距離および方向、自車両を基準とする物標６０の位置、自車両の移動速度に対する物標６０の相対速度の大きさおよび向きなど）の各々について、第１情報生成処理により得られた物標情報のパラメータと第２情報生成処理により得られた物標情報のパラメータとを比較し、２つのパラメータのうち精度が高いほうのパラメータを新たな物標情報に含まれるパラメータとする。
〈ステップＳ１５〉
次に、統合データ生成部４２は、ステップＳ１３において生成された移動可能領域データと、ステップＳ１４において生成された物標情報とを統合することにより、統合データＤ３を生成する。統合データＤ３は、認識処理部４１により認識された移動可能領域（この例では車道５０）および物標６０が統合されたデータ（この例では三次元マップデータ）である。例えば、統合データ生成部４２は、周知のデータ統合技術を用いて、移動可能領域データと物標情報とから統合データＤ３を生成するように構成されてもよい。
図６は、統合データＤ３の概念を例示する。図６に示すように、統合データＤ３では、物標６０が抽象化されている。
〈ステップＳ１６〉
次に、二次元データ生成部４３は、統合データＤ３を二次元化することにより、二次元データＤ４を生成する。二次元データＤ４は、統合データＤ３に含まれる移動可能領域（この例では車道５０）および物標６０が二次元化されたデータ（この例では二次元マップデータ）である。例えば、二次元データ生成部４３は、周知の二次元化技術を用いて、統合データＤ３から二次元データＤ４を生成するように構成されてもよい。
図７に示すように、二次元データＤ４では、移動可能領域（この例では車道５０）と物標６０（この例では自車両１００）とが二次元化されている。この例では、二次元データＤ４は、自車両１００の俯瞰図（上空から自車両１００を見下ろした図）に対応する。二次元データＤ４には、車道５０と他車両６１と自車両１００とが含まれている。
〔異常検出処理〕
次に、図８を参照して、異常検出部４４による異常検出処理（データ処理系統の異常を検出する処理）について説明する。
〈ステップＳ２１〉
まず、異常検出部４４は、認識処理部４１の認識結果とレーダ１２の検出結果とを取得する。例えば、異常検出部４４は、認識処理部４１の第１情報生成処理により得られた物標情報（認識処理部４１の認識結果の一例）と、認識処理部４１の第２情報生成処理により得られた物標情報（レーダ１２の検出結果の一例）とを取得する。
〈ステップＳ２２〉
次に、異常検出部４４は、認識処理部４１により認識された外部環境とレーダ１２により検出された外部環境とに同一性があるか否かを判定する。同一性がある場合には、ステップＳ２３の処理が行われ、そうでない場合には、ステップＳ２４の処理が行われる。
〈ステップＳ２３〉
認識処理部４１により認識された外部環境とレーダ１２により検出された外部環境とに同一性がある場合、異常検出部４４は、カメラ１１と認識処理部４１とレーダ１２とを含むデータ処理系統の異常が発生していないと判定する。
〈ステップＳ２４〉
一方、認識処理部４１により認識された外部環境とレーダ１２により検出された外部環境とに同一性がない場合、異常検出部４４は、カメラ１１と認識処理部４１とレーダ１２とを含むデータ処理系統の異常が発生していると判定する。
〔異常の因果関係〕
次に、カメラ１１と認識処理部４１とレーダ１２とを含むデータ処理系統の異常と、認識処理部４１の認識結果とレーダ１２の検出結果との同一性の破綻との因果関係について説明する。カメラ１１と認識処理部４１とレーダ１２とを含むデータ処理系統に異常が発生していない場合、認識処理部４１の認識結果およびレーダ１２の検出結果の両方が正常となるので、認識処理部４１の認識結果とレーダ１２の検出結果とが互いに一致しているとみなすことができ、認識処理部４１の認識結果とレーダ１２の検出結果との同一性が成立する。一方、カメラ１１と認識処理部４１とレーダ１２とを含むデータ処理系統に異常が発生すると、認識処理部４１の認識結果およびレーダ１２の検出結果のうち少なくとも一方が異常となるので、認識処理部４１の認識結果とレーダ１２の検出結果とが互いに一致しているとみなすことができず、認識処理部４１の認識結果とレーダ１２の検出結果との同一性が破綻する。
〔同一性の判定の具体例〕
次に、異常検出部４４による同一性（認識処理部４１の認識結果とレーダ１２の検出結果との同一性）の判定について具体例を挙げて説明する。同一性を判定するパラメータとして、移動可能領域（この例では車道５０）の形状、自車両を基準とする移動可能領域の位置、物標６０の種別、物標６０の形状、自車両から物標６０までの距離および方向、自車両を基準とする物標６０の位置、自車両の移動速度に対する物標６０の相対速度の大きさおよび向きなどが挙げられる。
移動可能領域（または物標６０）の形状に基づいて同一性を判定する場合、異常検出部４４は、認識処理部４１により認識された移動可能領域（または物標６０）の形状とレーダ１２により検出された移動可能領域（または物標６０）の形状との差（例えば面積の差）が予め定められた閾値を下回る場合に、認識処理部４１の認識結果とレーダ１２の検出結果との同一性があると判定し、そうでない場合に、認識処理部４１の認識結果とレーダ１２の検出結果との同一性がない（破綻している）と判定する。
自車両を基準とする移動可能領域（または物標６０）の位置に基づいて同一性を判定する場合、異常検出部４４は、認識処理部４１により認識された移動可能領域（または物標６０）の位置とレーダ１２により検出された移動可能領域（または物標６０）の位置との差（位置ずれ量）が予め定められた閾値を下回る場合に、認識処理部４１の認識結果とレーダ１２の検出結果との同一性があると判定し、そうでない場合に、認識処理部４１の認識結果とレーダ１２の検出結果との同一性がない（破綻している）と判定する。
物標６０の種別に基づいて同一性を判定する場合、異常検出部４４は、認識処理部４１により認識された物標６０の種別とレーダ１２により検出された物標６０の種別とが互いに一致する場合に、認識処理部４１の認識結果とレーダ１２の検出結果との同一性があると判定し、そうでない場合に、認識処理部４１の認識結果とレーダ１２の検出結果との同一性がない（破綻している）と判定する。
自車両から物標６０までの距離および方向に基づいて同一性を判定する場合、異常検出部４４は、認識処理部４１により認識された物標６０の距離および方向とレーダ１２により検出された物標６０の距離および方向との差（距離ずれ量および方向ずれ量）が予め定められた閾値を下回る場合に、認識処理部４１の認識結果とレーダ１２の検出結果との同一性があると判定し、そうでない場合に、認識処理部４１の認識結果とレーダ１２の検出結果との同一性がない（破綻している）と判定する。
自車両の移動速度に対する物標６０の相対速度の大きさおよび向きに基づいて同一性を判定する場合、異常検出部４４は、認識処理部４１により認識された物標６０の相対速度の大きさおよび向きとレーダ１２により検出された物標６０の相対速度の大きさおよび向きとの差（速度ずれ量および方向ずれ量）が予め定められた閾値を下回る場合に、認識処理部４１の認識結果とレーダ１２の検出結果との同一性があると判定し、そうでない場合に、認識処理部４１の認識結果とレーダ１２の検出結果との同一性がない（破綻している）と判定する。
なお、異常検出部４４は、上記の複数のパラメータのうちいずれか１つに基づいて同一性（認識処理部４１の認識結果とレーダ１２の検出結果との同一性）を判定するように構成されてもよいし、上記の複数のパラメータのうち２つ以上のパラメータに基づいて同一性を判定するように構成されてもよい。
また、上記の複数のパラメータのうち２つ以上のパラメータに基づいて同一性を判定する場合、異常検出部４４は、２つ以上のパラメータのうち同一性があると判定されるパラメータの数が予め定められた数を上回る場合に、認識処理部４１の認識結果とレーダ１２の検出結果との同一性があると判定するように構成されてもよい。
〔実施形態の効果〕
以上のように、この実施形態の演算装置２０では、異常検出の対象となるデータ処理系統の全体を二重化することなく、データ処理系統の異常を検出することができる。これにより、異常検出の対象となるデータ処理系統の全体を二重化する場合よりも、異常検出機能の追加に伴う回路規模および消費電力の増加を低減することができる。
（実施形態の変形例１）
なお、異常検出部４４は、認識処理部４１により認識された車両の外部環境に含まれる物標と、レーダ１２により検出された車両の外部環境に含まれる物標との同一性に基づいて、データ処理系統の異常を検出するように構成されることが好ましい。特に、異常検出部４４は、車両の外部環境に含まれる物標のうち車両との間の距離が予め定められた距離範囲内となる物標に関する認識処理部４１の認識結果とレーダ１２の検出結果との同一性に基づいて、データ処理系統の異常を検出するように構成されることが好ましい。
〔実施形態の変形例１の効果〕
この実施形態の変形例１の演算装置２０では、異常検出部４４は、認識処理部４１により認識された物標６０と、レーダ１２により検出された物標６０との同一性に基づいて、データ処理系統の異常を検出する。なお、レーダ１２において、自車両の外部環境に含まれる物標６０（例えば他車両６１）は、自車両の外部環境に含まれる移動可能領域（例えば車道５０）よりも検出されやすい。したがって、認識処理部４１により認識された物標６０とレーダ１２により検出された物標６０との同一性に基づいてデータ処理系統の異常を検出することにより、認識処理部４１により認識された移動可能領域（この例では車道５０）とレーダ１２により検出された移動可能領域との同一性に基づいてデータ処理系統の異常を検出する場合よりも、データ処理系統の異常の検出精度を向上させることができる。
また、この実施形態の変形例１の演算装置２０では、自車両との間の距離がカメラ１１による撮像およびレーダ１２による検出を適切に行うことができる距離となる物標６０を、異常検出部４４の処理の対象とすることができる。これにより、認識処理部４１により適切に認識された物標６０とレーダ１２により適切に検出された物標６０との同一性に基づいてデータ処理系統の異常を検出することができるので、データ処理系統の異常の検出精度を向上させることができる。
（実施形態の変形例２）
なお、異常検出部４４は、認識処理部４１により認識された外部環境とレーダ１２により検出された外部環境との同一性の破綻の継続時間に基づいて、データ処理系統の異常を検出するように構成されてもよい。具体的には、この変形例２では、異常検出部４４は、認識処理部４１により認識された外部環境とレーダ１２により検出された外部環境との同一性の破綻の継続時間が予め定められた正常時間を上回る場合に、データ処理系統の異常が発生していると判定し、この同一性の破綻の継続時間が正常時間を上回らない場合に、データ処理系統の異常が発生していないと判定する。
〔実施形態の変形例２の効果〕
この実施形態の変形例２の演算装置２０では、異常検出部４４は、認識処理部４１により認識された外部環境とレーダ１２により検出された外部環境との同一性の破綻の継続時間に基づいて、データ処理系統の異常を検出する。これにより、データ処理系統の異常の過検出を低減することができる。例えば、データ処理系統の異常ではない別の原因（例えば瞬時的なノイズなど）により認識処理部４１により認識された外部環境とレーダ１２により検出された外部環境との同一性が僅かな時間だけ破綻する場合に、データ処理系統の異常が誤検出される、という事態を回避することができる。これにより、データ処理系統の異常の検出を適切に行うことができる。
（その他の実施形態）
以上の説明では、移動体として車両（自動四輪車）を例に挙げたが、これに限定されない。例えば、移動体は、船舶、列車、航空機、自動二輪車、自立移動型のロボット、掃除機、ドローンなどであってもよい。
また、以上の説明では、二次元データ生成部４３が制御チップ３３に設けられる場合を例に挙げたが、これに限定されない。例えば、二次元データ生成部４３は、人工知能アクセラレータ３２に設けられてもよいし、その他の演算チップに設けられてもよい。これと同様に、異常検出部４４は、制御チップ３３に設けられてもよいし、人工知能アクセラレータ３２に設けられてもよいし、その他の演算チップに設けられてもよい。なお、外部環境認識部２１の他の構成（例えば前処理部４０など）および演算装置２０の他の構成（例えば候補経路生成部２２など）についても同様のことがいえる。
また、以上の説明では、外部環境認識部２１が画像処理チップ３１と人工知能アクセラレータ３２と制御チップ３３とにより構成される場合を例に挙げたが、これに限定されない。例えば、外部環境認識部２１は、２つ以下の演算チップにより構成されてもよいし、４つ以上の演算チップにより構成されてもよい。なお、外部環境認識部２１の他の構成（例えば前処理部４０など）および演算装置２０の他の構成（例えば候補経路生成部２２など）についても同様のことがいえる。
また、以上の実施形態および変形例を適宜組み合わせて実施してもよい。以上の実施形態および変形例は、本質的に好ましい例示であって、この発明、その適用物、あるいはその用途の範囲を制限することを意図するものではない。
以上説明したように、ここに開示する技術は、移動体の外部環境を認識する外部環境認識装置として有用である。
１０ 車両制御システム（移動体制御システム）
１１ カメラ（撮像部）
１２ レーダ（検出部）
１３ 位置センサ
１４ 車両状態センサ
１５ ドライバ状態センサ
１６ 運転操作センサ
１７ 通信部
１８ コントロールユニット
１９ ヒューマンマシンインターフェース
２０ 演算装置
２１ 外部環境認識部
２２ 候補経路生成部
２３ 車両挙動認識部
２４ ドライバ挙動認識部
２５ 目標運動決定部
２６ 運動制御部
３１ 画像処理チップ
３２ 人工知能アクセラレータ
３３ 制御チップ
４０ 前処理部
４１ 認識処理部
４２ 統合データ生成部
４３ 二次元データ生成部
４４ 異常検出部
４５ オブジェクトデータ生成部
５０ 車道（移動可能領域）
６０ 物標
６１ 他車両
６２ 標識
６３ 街路樹
７１ 歩道
７２ 空地
８０ 建物
１００ 車両（移動体）
１０１ アクチュエータ

Claims (4)

  1. 移動体の外部環境を認識する外部環境認識装置であって、
    前記移動体の外部環境を撮像する撮像部により得られた画像データに基づいて、該移動体の外部環境を認識する認識処理部と、
    前記認識処理部の認識結果と、前記移動体の外部環境を検出する検出部の検出結果とに基づいて、該認識処理部により認識された外部環境を表現するオブジェクトデータを生成するオブジェクトデータ生成部と、
    前記認識処理部により認識された外部環境と前記検出部により検出された外部環境との同一性に基づいて、前記撮像部と前記認識処理部と前記検出部とを含むデータ処理系統の異常を検出する異常検出部とを備え、
    前記認識処理部により認識された外部環境および前記検出部により検出された外部環境の各々は、前記移動体が移動することができる移動可能領域を含み、
    前記同一性は、前記移動可能領域の形状および前記移動体を基準とする前記移動可能領域の位置の少なくとも１つに関する同一性を含む
    ことを特徴とする外部環境認識装置。
  2. 請求項１において、
    前記検出部は、前記移動体の外部環境へ向けて探知波を送信して該外部環境からの反射波を受信することで該移動体の外部環境を検出し、
    前記異常検出部は、前記認識処理部により認識された外部環境に含まれる物標と前記検出部により検出された外部環境に含まれる物標との同一性に基づいて、前記データ処理系統の異常を検出する
    ことを特徴とする外部環境認識装置。
  3. 請求項２において、
    前記異常検出部は、前記移動体の外部環境に含まれる物標のうち該移動体との間の距離が予め定められた距離範囲内となる物標に関する前記認識処理部の認識結果と前記検出部の検出結果との同一性に基づいて、前記データ処理系統の異常を検出する
    ことを特徴とする外部環境認識装置。
  4. 請求項１～３のいずれか１つにおいて、
    前記異常検出部は、前記認識処理部により認識された外部環境と前記検出部により検出された外部環境との同一性の破綻の継続時間に基づいて、前記データ処理系統の異常を検出する
    ことを特徴とする外部環境認識装置。
JP2019111072A 2019-06-14 2019-06-14 外部環境認識装置 Active JP7298323B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019111072A JP7298323B2 (ja) 2019-06-14 2019-06-14 外部環境認識装置
PCT/JP2020/011539 WO2020250528A1 (ja) 2019-06-14 2020-03-16 外部環境認識装置
CN202080043208.5A CN113994405A (zh) 2019-06-14 2020-03-16 外部环境识别装置
US17/618,496 US20220237899A1 (en) 2019-06-14 2020-03-16 Outside environment recognition device
EP20821845.3A EP3985635A4 (en) 2019-06-14 2020-03-16 OUTDOOR ENVIRONMENT RECOGNITION DEVICE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019111072A JP7298323B2 (ja) 2019-06-14 2019-06-14 外部環境認識装置

Publications (2)

Publication Number Publication Date
JP2020204822A JP2020204822A (ja) 2020-12-24
JP7298323B2 true JP7298323B2 (ja) 2023-06-27

Family

ID=73781765

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019111072A Active JP7298323B2 (ja) 2019-06-14 2019-06-14 外部環境認識装置

Country Status (5)

Country Link
US (1) US20220237899A1 (ja)
EP (1) EP3985635A4 (ja)
JP (1) JP7298323B2 (ja)
CN (1) CN113994405A (ja)
WO (1) WO2020250528A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7568536B2 (ja) 2021-02-17 2024-10-16 古河電気工業株式会社 レーダー処理装置、プログラム、レーダー処理方法及びレーダーシステム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014010546A1 (ja) 2012-07-10 2014-01-16 本田技研工業株式会社 故障判定装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0676195A (ja) * 1992-08-27 1994-03-18 Hitachi Ltd 異常事象検出装置
JPH09142236A (ja) * 1995-11-17 1997-06-03 Mitsubishi Electric Corp 車両の周辺監視方法と周辺監視装置及び周辺監視装置の故障判定方法と周辺監視装置の故障判定装置
US8803966B2 (en) * 2008-04-24 2014-08-12 GM Global Technology Operations LLC Clear path detection using an example-based approach
US9472097B2 (en) * 2010-11-15 2016-10-18 Image Sensing Systems, Inc. Roadway sensing systems
CN103026395A (zh) * 2010-11-15 2013-04-03 图像传感系统有限公司 混合交通传感器系统和相关的方法
US9052393B2 (en) * 2013-01-18 2015-06-09 Caterpillar Inc. Object recognition system having radar and camera input
US9279881B2 (en) * 2013-03-12 2016-03-08 Escort Inc. Radar false alert reduction
CN107226091B (zh) * 2016-03-24 2021-11-26 松下电器（美国）知识产权公司 物体检测装置、物体检测方法以及记录介质
JP6611353B2 (ja) * 2016-08-01 2019-11-27 クラリオン株式会社 画像処理装置、外界認識装置
JP6751691B2 (ja) * 2017-06-15 2020-09-09 ルネサスエレクトロニクス株式会社 異常検出装置及び車両システム
US10559140B2 (en) * 2017-06-16 2020-02-11 Uatc, Llc Systems and methods to obtain feedback in response to autonomous vehicle failure events
DE102017210151A1 (de) * 2017-06-19 2018-12-20 Zf Friedrichshafen Ag Vorrichtung und Verfahren zur Ansteuerung eines Fahrzeugmoduls in Abhängigkeit eines Zustandssignals
DE102017210156B4 (de) * 2017-06-19 2021-07-22 Zf Friedrichshafen Ag Vorrichtung und Verfahren zum Ansteuern eines Fahrzeugmoduls
JP7036633B2 (ja) * 2018-03-15 2022-03-15 株式会社デンソーテン 異常検出装置、異常検出方法および異常検出システム
US10935652B2 (en) * 2018-06-26 2021-03-02 GM Global Technology Operations LLC Systems and methods for using road understanding to constrain radar tracks
US11199413B2 (en) * 2018-07-19 2021-12-14 Qualcomm Incorporated Navigation techniques for autonomous and semi-autonomous vehicles

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014010546A1 (ja) 2012-07-10 2014-01-16 本田技研工業株式会社 故障判定装置

Also Published As

Publication number Publication date
JP2020204822A (ja) 2020-12-24
CN113994405A (zh) 2022-01-28
EP3985635A1 (en) 2022-04-20
US20220237899A1 (en) 2022-07-28
EP3985635A4 (en) 2022-07-27
WO2020250528A1 (ja) 2020-12-17

Similar Documents

Publication Publication Date Title
US11657604B2 (en) Systems and methods for estimating future paths
CN113767389A (zh) 从用于自主机器应用的经变换的真实世界传感器数据模拟逼真的测试数据
US20210403037A1 (en) Arithmetic operation system for vehicles
CN112989914A (zh) 具有自适应加权输入的注视确定机器学习系统
WO2020250526A1 (ja) 外部環境認識装置
JP7298323B2 (ja) 外部環境認識装置
WO2020250519A1 (ja) 外部環境認識装置
JP7330911B2 (ja) 車両用制御装置
CN113609888A (zh) 利用平面单应性和自监督的场景结构理解进行对象检测
US20230245468A1 (en) Image processing device, mobile object control device, image processing method, and storage medium
WO2020250527A1 (ja) 外部環境認識装置
CN113291289B (zh) 车辆用控制系统
CN113875223B (zh) 外部环境识别装置
JP7139300B2 (ja) 認識装置、認識方法、およびプログラム
JP2021123232A (ja) 車両用制御装置
JP7554699B2 (ja) 画像処理装置および画像処理方法、車両用制御装置、プログラム
CN112581793A (zh) 操作具有立体摄像机系统和lidar传感器的机动车辆的方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230529

R150 Certificate of patent or registration of utility model

Ref document number: 7298323

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150