JPWO2020116195A1 - 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体 - Google Patents

情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体 Download PDF

Info

Publication number
JPWO2020116195A1
JPWO2020116195A1 JP2020559917A JP2020559917A JPWO2020116195A1 JP WO2020116195 A1 JPWO2020116195 A1 JP WO2020116195A1 JP 2020559917 A JP2020559917 A JP 2020559917A JP 2020559917 A JP2020559917 A JP 2020559917A JP WO2020116195 A1 JPWO2020116195 A1 JP WO2020116195A1
Authority
JP
Japan
Prior art keywords
image
unit
sensor
geometric transformation
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020559917A
Other languages
English (en)
Other versions
JP7320001B2 (ja
Inventor
達也 阪下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JPWO2020116195A1 publication Critical patent/JPWO2020116195A1/ja
Priority to JP2023118853A priority Critical patent/JP2023126642A/ja
Application granted granted Critical
Publication of JP7320001B2 publication Critical patent/JP7320001B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/295—Means for transforming co-ordinates or for evaluating data, e.g. using computers
    • G01S7/2955—Means for determining the position of the radar coordinate system for evaluating the position data of the target in another coordinate system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/16—Spatio-temporal transformations, e.g. video cubism
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本技術は、対象物の認識精度を向上させることができるようにする情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体に関する。
情報処理装置は、イメージセンサにより得られる撮影画像、及び、前記イメージセンサとセンシング範囲の少なくとも一部が重なるセンサのセンシング結果を表すセンサ画像のうち少なくとも１つを変換し、前記撮影画像と前記センサ画像の座標系を合わせる幾何変換部と、座標系を合わせた前記撮影画像及び前記センサ画像に基づいて、対象物の認識処理を行う物体認識部とを備える。本技術は、例えば、車両の周囲の対象物を認識するシステムに適用できる。

Description

本技術は、情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体に関し、特に、対象物の認識精度を向上させるようにした情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体に関する。
従来、レーダ平面と撮影画像平面との射影変換を利用して、ミリ波レーダにより検出された障害物の位置情報を撮影画像上に重ねて表示することが提案されている（例えば、特許文献１参照）。
特開２００５−１７５６０３号公報
しかしながら、特許文献１では、カメラとミリ波レーダとを用いて、車両等の対象物の認識精度を向上させることは検討されていない。
本技術は、このような状況に鑑みてなされたものであり、対象物の認識精度を向上させるようにするものである。
本技術の第１の側面の情報処理装置は、イメージセンサにより得られる撮影画像、及び、前記イメージセンサとセンシング範囲の少なくとも一部が重なるセンサのセンシング結果を表すセンサ画像のうち少なくとも１つを変換し、前記撮影画像と前記センサ画像の座標系を合わせる幾何変換部と、座標系を合わせた前記撮影画像及び前記センサ画像に基づいて、対象物の認識処理を行う物体認識部とを備える。
本技術の第１の側面の情報処理方法は、情報処理装置が、イメージセンサにより得られる撮影画像、及び、前記イメージセンサとセンシング範囲の少なくとも一部が重なるセンサのセンシング結果を表すセンサ画像のうち少なくとも１つを変換し、前記撮影画像と前記センサ画像の座標系を合わせ、座標系を合わせた前記撮影画像及び前記センサ画像に基づいて、対象物の認識処理を行う。
本技術の第１の側面のプログラムは、イメージセンサにより得られる撮影画像、及び、前記イメージセンサとセンシング範囲の少なくとも一部が重なるセンサのセンシング結果を表すセンサ画像のうち少なくとも１つを変換し、前記撮影画像と前記センサ画像の座標系を合わせ、座標系を合わせた前記撮影画像及び前記センサ画像に基づいて、対象物の認識処理を行う処理をコンピュータに実行させる。
本技術の第２の側面の移動体制御装置は、移動体の周囲を撮影するイメージセンサにより得られる撮影画像、及び、前記イメージセンサとセンシング範囲の少なくとも一部が重なるセンサのセンシング結果を表すセンサ画像のうち少なくとも１つを変換し、前記撮影画像と前記センサ画像の座標系を合わせる幾何変換部と、座標系を合わせた前記撮影画像及び前記センサ画像に基づいて、対象物の認識処理を行う物体認識部と、前記対象物の認識結果に基づいて、前記移動体の動作を制御する動作制御部とを備える。
本技術の第３の側面の移動体制御装置は、イメージセンサと、前記イメージセンサとセンシング範囲の少なくとも一部が重なるセンサと、前記イメージセンサにより得られる撮影画像、及び、前記センサのセンシング結果を表すセンサ画像のうち少なくとも１つを変換し、前記撮影画像と前記センサ画像の座標系を合わせる幾何変換部と、座標系を合わせた前記撮影画像及び前記センサ画像に基づいて、対象物の認識処理を行う物体認識部と、前記対象物の認識結果に基づいて、動作の制御を行う動作制御部とを備える。
本技術の第１の側面においては、イメージセンサにより得られる撮影画像、及び、前記イメージセンサとセンシング範囲の少なくとも一部が重なるセンサのセンシング結果を表すセンサ画像のうち少なくとも１つが変換され、前記撮影画像と前記センサ画像の座標系が合わせられ、座標系が合わせられた前記撮影画像及び前記センサ画像に基づいて、対象物の認識処理が行われる。
本技術の第２の側面においては、移動体の周囲を撮影するイメージセンサにより得られる撮影画像、及び、前記イメージセンサとセンシング範囲の少なくとも一部が重なるセンサのセンシング結果を表すセンサ画像のうち少なくとも１つが変換され、前記撮影画像と前記センサ画像の座標系が合わせられ、座標系が合わせられた前記撮影画像及び前記センサ画像に基づいて、対象物の認識処理が行われ、前記対象物の認識結果に基づいて、前記移動体の動作が制御される。
本技術の第３の側面においては、イメージセンサにより得られる撮影画像、及び、前記イメージセンサとセンシング範囲の少なくとも一部が重なるセンサのセンシング結果を表すセンサ画像のうち少なくとも１つが変換しされ、前記撮影画像と前記センサ画像の座標系が合わせられ、座標系が合わせられた前記撮影画像及び前記センサ画像に基づいて、対象物の認識処理が行われ、前記対象物の認識結果に基づいて、動作の制御が行われる。
本技術を適用した車両制御システムの構成例を示すブロック図である。 データ取得部の第１の実施の形態及び車外情報検出部の第１の実施の形態を示すブロック図である。 物体認識モデルの構成例を示す図である。 学習システムの構成例を示す図である。 物体認識モデル学習処理を説明するためのフローチャートである。 低解像度画像の例を示す図である。 正解データの例を示す図である。 ミリ波画像の例を示す図である。 幾何変換信号強度画像及び幾何変換速度画像の例を示す図である。 ミリ波レーダのみを用いた物体認識処理の結果の例を示す図である。 対象物認識処理の第１の実施の形態を説明するためのフローチャートである。 対象物の認識結果の例を示す図である。 本技術の効果を説明するための図である。 車外情報検出部の第２の実施の形態を示すブロック図である。 対象物認識処理の第２の実施の形態を説明するためのフローチャートである。 撮影画像とクロップ画像の関係の例を示す図である。 データ取得部の第２の実施の形態及び車外情報検出部の第３の実施の形態を示すブロック図である。 車外情報検出部の第４の実施の形態を示すブロック図である。 車外情報検出部の第５の実施の形態を示すブロック図である。 データ取得部の第３の実施の形態及び車外情報検出部の第６の実施の形態を示すブロック図である。 データ取得部の第４の実施の形態及び車外情報検出部の第７の実施の形態を示すブロック図である。 コンピュータの構成例を示す図である。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．第１の実施の形態（カメラとミリ波レーダを用いる第１の例）
２．第２の実施の形態（画像の切出しを行う例）
３．第３の実施の形態（カメラ、ミリ波レーダ、及び、ＬｉＤＡＲを用いる第１の例）
４．第４の実施の形態（カメラとミリ波レーダを用いる第２の例）
５．第５の実施の形態（カメラ、ミリ波レーダ、及び、ＬｉＤＡＲを用いる第２の例）
６．第６の実施の形態（カメラとミリ波レーダを用いる第３の例）
７．第７の実施の形態（カメラとミリ波レーダを用いる第４の例）
８．変形例
９．その他
＜＜１．第１の実施の形態＞＞
まず、図１乃至図１３を参照して、本技術の第１の実施の形態について説明する。
＜車両制御システム１００の構成例＞
図１は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。
なお、以下、車両制御システム１００が設けられている車両１０を他の車両と区別する場合、自車又は自車両と称する。
車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。
例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。
さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。
車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。
マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する。
動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。
緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
＜データ取得部１０２Ａ及び車外情報検出部１４１Ａの構成例＞
図２は、図１の車両制御システム１００のデータ取得部１０２及び車外情報検出部１４１の第１の実施の形態であるデータ取得部１０２Ａ及び車外情報検出部１４１Ａの構成例の一部を示している。
データ取得部１０２Ａは、カメラ２０１及びミリ波レーダ２０２を備える。車外情報検出部１４１Ａは、情報処理部２１１を備える。情報処理部２１１は、画像処理部２２１、信号処理部２２２、幾何変換部２２３、及び、物体認識部２２４を備える。
カメラ２０１は、イメージセンサ２０１Ａを備える。イメージセンサ２０１Ａには、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ等の任意の種類のイメージセンサを用いることができる。カメラ２０１（イメージセンサ２０１Ａ）は、車両１０の前方を撮影し、得られた画像（以下、撮影画像と称する）を画像処理部２２１に供給する。
ミリ波レーダ２０２は、車両１０の前方のセンシングを行い、カメラ２０１とセンシング範囲の少なくとも一部が重なる。例えば、ミリ波レーダ２０２は、ミリ波からなる送信信号を車両１０の前方に送信し、車両１０の前方の物体（反射体）により反射された信号である受信信号を受信アンテナにより受信する。受信アンテナは、例えば、車両１０の横方向（幅方向）に所定の間隔で複数設けられる。また、受信アンテナを高さ方向にも複数設けるようにしてもよい。ミリ波レーダ２０２は、各受信アンテナにより受信した受信信号の強度を時系列に示すデータ（以下、ミリ波データと称する）を信号処理部２２２に供給する。
画像処理部２２１は、撮影画像に対して所定の画像処理を行う。例えば、画像処理部２２１は、物体認識部２２４が処理できる画像のサイズに合わせて、撮影画像の画素の間引き処理又はフィルタリング処理等を行い、撮影画像の画素数を削減する（解像度を下げる）。画像処理部２２１は、解像度を下げた撮影画像（以下、低解像度画像と称する）を物体認識部２２４に供給する。
信号処理部２２２は、ミリ波データに対して所定の信号処理を行うことにより、ミリ波レーダ２０２のセンシング結果を示す画像であるミリ波画像を生成する。なお、信号処理部２２２は、例えば、信号強度画像及び速度画像の２種類のミリ波画像を生成する。信号強度画像は、車両１０の前方の各物体の位置及び各物体により反射された信号（受信信号）の強度を示すミリ波画像である。速度画像は、車両１０の前方の各物体位置及び各物体の車両１０に対する相対速度を示すミリ波画像である。信号処理部２２２は、信号強度画像及び速度画像を幾何変換部２２３に供給する。
幾何変換部２２３は、ミリ波画像の幾何変換を行うことにより、ミリ波画像を撮影画像と同じ座標系の画像に変換する。換言すれば、幾何変換部２２３は、ミリ波画像を撮影画像と同じ視点から見た画像（以下、幾何変換ミリ波画像と称する）に変換する。より具体的には、幾何変換部２２３は、信号強度画像及び速度画像の座標系をミリ波画像の座標系から撮影画像の座標系に変換する。なお、以下、幾何変換後の信号強度画像及び速度画像を、幾何変換信号強度画像及び幾何変換速度画像と称する。幾何変換部２２３は、幾何変換信号強度画像及び幾何変換速度画像を物体認識部２２４に供給する。
物体認識部２２４は、低解像度画像、幾何変換信号強度画像、及び、幾何変換速度画像に基づいて、車両１０の前方の対象物の認識処理を行う。物体認識部２２４は、対象物の認識結果を示すデータを、例えば、自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。対象物の認識結果を示すデータは、例えば、撮影画像上の対象物の位置、サイズ、及び、物体の種類を含む。
なお、対象物とは、物体認識部２２４により認識する対象となる物体であり、任意の物体を対象物とすることが可能である。ただし、ミリ波レーダ２０２の送信信号の反射率が高い部分を含む物体を対象物とすることが望ましい。以下、対象物が車両である場合を適宜例に挙げながら説明を行う。
＜物体認識モデル２５１の構成例＞
図３は、物体認識部２２４に用いられる物体認識モデル２５１の構成例を示している。
物体認識モデル２５１は、機械学習により得られるモデルである。具体的には、物体認識モデル２５１は、ディープニューラルネットワークを用い、機械学習の１つであるディープラーニングにより得られるモデルである。より具体的には、物体認識モデル２５１は、ディープニューラルネットワークを用いた物体認識モデルの１つであるＳＳＤ（Single Shot Multibox Detector）により構成される。物体認識モデル２５１は、特徴量抽出部２６１及び認識部２６２を備える。
特徴量抽出部２６１は、畳み込みニューラルネットワークを用いた畳み込み層であるＶＧＧ１６ ２７１ａ乃至ＶＧＧ１６ ２７１ｃ、及び、加算部２７２を備える。
ＶＧＧ１６ ２７１ａは、撮影画像Ｐａの特徴量を抽出し、特徴量の分布を２次元で表す特徴マップ（以下、撮影画像特徴マップと称する）を生成する。ＶＧＧ１６ ２７１ａは、撮影画像特徴マップを加算部２７２に供給する。
ＶＧＧ１６ ２７１ｂは、幾何変換信号強度画像Ｐｂの特徴量を抽出し、特徴量の分布を２次元で表す特徴マップ（以下、信号強度画像特徴マップと称する）を生成する。ＶＧＧ１６ ２７１ｂは、信号強度画像特徴マップを加算部２７２に供給する。
ＶＧＧ１６ ２７１ｃは、幾何変換速度画像Ｐｃの特徴量を抽出し、特徴量の分布を２次元で表す特徴マップ（以下、速度画像特徴マップと称する）を生成する。ＶＧＧ１６ ２７１ｃは、速度画像特徴マップを加算部２７２に供給する。
加算部２７２は、撮影画像特徴マップ、信号強度画像特徴マップ、及び、速度画像特徴マップを加算することにより、合成特徴マップを生成する。加算部２７２は、合成特徴マップを認識部２６２に供給する。
認識部２６２は、畳み込みニューラルネットワークを備える。具体的には、認識部２６２は、畳み込み層２７３ａ乃至畳み込み層２７３ｃを備える。
畳み込み層２７３ａは、合成特徴マップの畳み込み演算を行う。畳み込み層２７３ａは、畳み込み演算後の合成特徴マップに基づいて、対象物の認識処理を行う。畳み込み層２７３ａは、畳み込み演算後の合成特徴マップを畳み込み層２７３ｂに供給する。
畳み込み層２７３ｂは、畳み込み層２７３ａから供給される合成特徴マップの畳み込み演算を行う。畳み込み層２７３ｂは、畳み込み演算後の合成特徴マップに基づいて、対象物の認識処理を行う。畳み込み層２７３ａは、畳み込み演算後の合成特徴マップを畳み込み層２７３ｃに供給する。
畳み込み層２７３ｃは、畳み込み層２７３ｂから供給される合成特徴マップの畳み込み演算を行う。畳み込み層２７３ｂは、畳み込み演算後の合成特徴マップに基づいて、対象物の認識処理を行う。
物体認識モデル２５１は、畳み込み層２７３ａ乃至畳み込み層２７３ｃによる対象物の認識結果を示すデータを出力する。
なお、合成特徴マップのサイズ（画素数）は、畳み込み層２７３ａから順に小さくなり、畳み込み層２７３ｃで最小になる。そして、合成特徴マップのサイズが大きくなるほど、車両１０から見てサイズが小さい対象物の認識精度が高くなり、合成特徴マップのサイズが小さくなるほど、車両１０から見てサイズが大きい対象物の認識精度が高くなる。従って、例えば、対象物が車両である場合、サイズが大きい合成特徴マップでは、遠方の小さな車両が認識されやすくなり、サイズが小さい合成特徴マップでは、近くの大きな車両が認識されやすくなる。
＜学習システム３０１の構成例＞
図４は、学習システム３０１の構成例を示すブロック図である。
学習システム３０１は、図３の物体認識モデル２５１の学習処理を行う。学習システム３０１は、入力部３１１、画像処理部３１２、正解データ生成部３１３、信号処理部３１４、幾何変換部３１５、教師データ生成部３１６、及び、学習部３１７を備える。
入力部３１１は、各種の入力デバイスを備え、教師データの生成に必要なデータの入力、及び、ユーザ操作等に用いられる。例えば、入力部３１１は、撮影画像が入力された場合、撮影画像を画像処理部３１２に供給する。例えば、入力部３１１は、ミリ波データが入力された場合、ミリ波データを信号処理部３１４に供給する。例えば、入力部３１１は、ユーザ操作により入力されたユーザの指示を示すデータを正解データ生成部３１３及び教師データ生成部３１６に供給する。
画像処理部３１２は、図２の画像処理部２２１と同様の処理を行う。すなわち、画像処理部３１２は、撮影画像に対して所定の画像処理を行うことにより、低解像度画像を生成する。画像処理部３１２は、低解像度画像を正解データ生成部３１３及び教師データ生成部３１６に供給する。
正解データ生成部３１３は、低解像度画像に基づいて、正解データを生成する。例えば、ユーザは、入力部３１１を介して、低解像度画像内の車両の位置を指定する。正解データ生成部３１３は、ユーザにより指定された車両の位置に基づいて、低解像度画像内の車両の位置を示す正解データを生成する。正解データ生成部３１３は、正解データを教師データ生成部３１６に供給する。
信号処理部３１４は、図２の信号処理部２２２と同様の処理を行う。すなわし、信号処理部３１４は、ミリ波データに対して所定の信号処理を行い、信号強度画像及び速度画像を生成する。信号処理部３１４は、信号強度画像及び速度画像を幾何変換部３１５に供給する。
幾何変換部３１５は、図２の幾何変換部２２３と同様の処理を行う。すなわち、幾何変換部３１５は、信号強度画像及び速度画像の幾何変換を行う。幾何変換部３１５は、幾何変換後の幾何変換信号強度画像及び幾何変換速度画像を教師データ生成部３１６に供給する。
教師データ生成部３１６は、低解像度画像、幾何変換信号強度画像、及び、幾何変換速度画像を含む入力データ、並びに、正解データを含む教師データを生成する。教師データ生成部３１６は、教師データを学習部３１７に供給する。
学習部３１７は、教師データを用いて、物体認識モデル２５１の学習処理を行う。学習部３１７は、学習済みの物体認識モデル２５１を出力する。
＜物体認識モデル学習処理＞
次に、図５のフローチャートを参照して、学習システム３０１により実行される物体認識モデル学習処理について説明する。
なお、この処理の開始前に、教師データの生成に用いられるデータが収集される。例えば、車両１０が実際に走行した状態で、車両１０に設けられたカメラ２０１及びミリ波レーダ２０２が車両１０の前方のセンシングを行う。具体的には、カメラ２０１は、車両１０の前方の撮影を行い、得られた撮影画像を記憶部１１１に記憶させる。ミリ波レーダ２０２は、車両１０の前方の物体の検出を行い、得られたミリ波データを記憶部１１１に記憶させる。この記憶部１１１に蓄積された撮影画像及びミリ波データに基づいて教師データが生成される。
ステップＳ１において、学習システム３０１は、教師データを生成する。
例えば、ユーザは、入力部３１１を介して、略同時に取得された撮影画像及びミリ波データを学習システム３０１に入力する。すなわち、略同じ時刻にセンシングすることにより得られた撮影画像及びミリ波データが、学習システム３０１に入力される。撮影画像は、画像処理部３１２に供給され、ミリ波データは、信号処理部３１４に供給される。
画像処理部３１２は、撮影画像に対して間引き処理等の画像処理を行い、低解像度画像を生成する。画像処理部３１２は、低解像度画像を正解データ生成部３１３及び教師データ生成部３１６に供給する。
図６は、低解像画像の例を示している。
正解データ生成部３１３は、入力部３１１を介してユーザにより指定された対象物の位置に基づいて、低解像度画像の対象物の位置を示す正解データを生成する。正解データ生成部３１３は、正解データを教師データ生成部３１６に供給する。
図７は、図６の低解像度画像に対して生成された正解データの例を示している。白の矩形の枠で囲まれる領域が、対象物である車両の位置を示している。
信号処理部３１４は、ミリ波データに対して所定の信号処理を行うことにより、車両１０の前方において送信信号を反射した物体の位置及び速度を推定する。物体の位置は、例えば、車両１０から物体までの距離、及び、ミリ波レーダ２０２の光軸方向（車両１０の進行方向）に対する物体の方向（角度）により表される。なお、ミリ波レーダ２０２の光軸方向は、例えば、送信信号が放射状に送信される場合、放射される範囲の中心方向と等しくなり、送信信号が走査される場合、走査される範囲の中心方向と等しくなる。物体の速度は、例えば、車両１０に対する物体の相対速度により表される。
信号処理部３１４は、物体の位置及び速度の推定結果に基づいて、信号強度画像及び速度画像を生成する。信号処理部３１４は、信号強度画像及び速度画像を幾何変換部３１５に供給する。
図８は、信号強度画像の例を示している。信号強度画像のｘ軸が横方向（車両１０の幅方向）を示し、ｙ軸がミリ波レーダ２０２の光軸方向（車両１０の進行方向、奥行き方向）を示している。信号強度画像は、車両１０の前方の物体の位置、及び、各物体の反射強度、すなわち、車両１０の前方の物体により反射された受信信号の強度の分布を鳥瞰図により表している。
なお、図示は省略するが、速度画像は、車両１０の前方の物体の位置、及び、各物体の相対速度の分布を、信号強度画像と同様に、鳥瞰図により表した画像である。
幾何変換部３１５は、信号強度画像及び速度画像の幾何変換を行い、信号強度画像及び速度画像を撮影画像と同じ座標系の画像に変換することにより、幾何変換信号強度画像及び幾何変換速度画像を生成する。幾何変換部３１５は、幾何変換信号強度画像及び幾何変換速度画像を教師データ生成部３１６に供給する。
図９は、幾何変換信号強度画像及び幾何変換速度画像の例を示している。図９のＡは、幾何変換信号強度画像の例を示し、図９のＢは、幾何変換速度画像の例を示している。なお、図９の幾何変換信号強度画像及び幾何変換速度画像は、図７の低解像度画像の元になる撮影画像と略同時に取得されたミリ波データに基づいて生成されたものである。
幾何変換信号強度画像では、信号強度が強い部分ほど明るくなり、信号強度が弱い部分ほど暗くなる。幾何変換速度画像では、相対速度が速い部分ほど明るくなり、相対速度が遅い部分ほど暗くなり、相対速度が検出不能な（物体が存在しない）部分は黒く塗りつぶされる。
このように、ミリ波画像（信号強度画像及び速度画像）の幾何変換を行うことにより、横方向及び奥行き方向の物体の位置だけでなく、高さ方向の物体の位置も表される。
ただし、ミリ波レーダ２０２は、距離が遠くなるほど高さ方向の分解能が低下する。そのため、距離が遠い物体の高さが、実際より大きく検出される場合がある。
これに対して、幾何変換部３１５は、ミリ波画像の幾何変換を行う場合に、所定の距離以上離れた物体の高さを制限する。具体的には、幾何変換部３１５は、ミリ波画像の幾何変換を行う場合に、所定の距離以上離れた物体の高さが所定の上限値を超えるとき、その物体の高さを上限値に制限して、幾何変換を行う。これにより、例えば、対象物が車両の場合、遠方の車両の高さが実際より大きく検出されることにより誤認識が発生することが防止される。
教師データ生成部３１６は、撮影画像、幾何変換信号強度画像、及び、幾何変換速度画像を含む入力データ、並びに、正解データを含む教師データを生成する。教師データ生成部３１６は、生成した教師データを学習部３１７に供給する。
ステップＳ２において、学習部３１７は、物体認識モデル２５１の学習を行う。具体的には、学習部３１７は、教師データに含まれる入力データを物体認識モデル２５１に入力する。物体認識モデル２５１は、対象物の認識処理を行い、認識結果を示すデータを出力する。学習部３１７は、物体認識モデル２５１の認識結果と正解データとを比較し、誤差が小さくなるように、物体認識モデル２５１のパラメータ等を調整する。
ステップＳ３において、学習部３１７は、学習を継続するか否かを判定する。例えば、学習部３１７は、物体認識モデル２５１の学習が収束していない場合、学習を継続すると判定し、処理はステップＳ１に戻る。
その後、ステップＳ３において、学習を終了すると判定されるまで、ステップＳ１乃至ステップＳ３の処理が繰り返し実行される。
一方、ステップＳ３において、例えば、学習部３１７は、物体認識モデル２５１の学習が収束している場合、学習を終了すると判定し、物体認識モデル学習処理を終了する。
以上のようにして、学習済みの物体認識モデル２５１が生成される。
なお、図１０は、撮影画像を用いずに、ミリ波データのみを用いて学習した物体認識モデル２５１の認識結果の例を示している。
図１０のＡは、ミリ波データに基づいて生成された幾何変換信号強度画像の例を示している。
図１０のＢは、物体認識モデル２５１の認識結果の例を示している。具体的には、図１０のＡの視点変換強度画像の元になるミリ波データと略同時に取得された撮影画像に、図１０のＡの視点変換強度画像が重畳されるとともに、矩形の枠により、対象物である車両が認識された位置が示されている。
この例に示されるように、物体認識モデル２５１は、ミリ波データ（幾何変換信号強度画像及び幾何変換速度画像）のみを用いても、所定の精度以上で対象物である車両の認識が可能である。
＜対象物認識処理＞
次に、図１１のフローチャートを参照して、車両１０により実行される対象物認識処理について説明する。
この処理は、例えば、車両１０を起動し、運転を開始するための操作が行われたとき、例えば、車両１０のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオンされたとき開始される。また、この処理は、例えば、車両１０の運転を終了するための操作が行われたとき、例えば、車両１０のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオフされたとき終了する。
ステップＳ１０１において、カメラ２０１及びミリ波レーダ２０２は、車両１０の前方のセンシングを行う。
具体的には、カメラ２０１は、車両１０の前方を撮影し、得られた撮影画像を画像処理部２２１に供給する。
ミリ波レーダ２０２は、車両１０の前方に送信信号を送信し、車両１０の前方の物体により反射された信号である受信信号を複数の受信アンテナにより受信する。ミリ波レーダ２０２は、各受信アンテナにより受信した受信信号の強度を時系列に示すミリ波データを信号処理部２２２に供給する。
ステップＳ１０２において、画像処理部２２１は、撮影画像の前処理を行う。具体的には、画像処理部２２１は、撮影画像に対して間引き処理等を行うことにより低解像度画像を生成し、物体認識部２２４に供給する。
ステップＳ１０３において、信号処理部２２２は、ミリ波画像を生成する。具体的には、信号処理部２２２は、図５のステップＳ１の信号処理部３１４と同様の処理を行うことにより、ミリ波データに基づいて、信号強度画像及び速度画像を生成する。信号処理部２２２は、信号強度画像及び速度画像を幾何変換部２２３に供給する。
ステップＳ１０４において、幾何変換部２２３は、ミリ波画像の幾何変換を行う。具体的には、幾何変換部２２３は、図５のステップＳ１の幾何変換部３１５と同様の処理を行うことにより、信号強度画像及び速度画像を幾何変換信号強度画像及び幾何変換速度画像に変換する。幾何変換部２２３は、幾何変換信号強度画像及び幾何変換速度画像を物体認識部２２４に供給する。
ステップＳ１０５において、物体認識部２２４は、低解像度画像及び幾何変換後のミリ波画像に基づいて、対象物の認識処理を行う。具体的には、物体認識部２２４は、低解像度画像、幾何変換信号強度画像、及び、幾何変換速度画像を含む入力データを物体認識モデル２５１に入力する。物体認識モデル２５１は、入力データに基づいて、車両１０の前方の対象物の認識処理を行う。
図１２は、対象物が車両の場合の認識結果の例を示している。図１２のＡは、撮影画像の例を示している。図１２のＢは、車両の認識結果の例を示している。図１２のＢにおいて、車両が認識された領域が、矩形の枠により囲まれている。
物体認識部２２４は、対象物の認識結果を示すデータを、例えば、自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
自己位置推定部１３２は、対象物の認識結果等に基づいて、車両１０の位置及び姿勢等の推定処理を行う。
マップ解析部１５１は、対象物の認識結果等に基づいて、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。
交通ルール認識部１５２は、対象物の認識結果等に基づいて、車両１０の周囲の交通ルールの認識処理を行う。
状況認識部１５３は、対象物の認識結果等に基づいて、車両１０の周囲の状況の認識処理を行う。
緊急事態回避部１７１は、対象物の認識結果等に基づいて、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための車両１０の動作を計画する。
その後、処理はステップＳ１０１に戻り、ステップＳ１０１以降の処理が実行される。
以上のようにして、車両１０の前方の対象物の認識精度を向上させることができる。
具体的には、撮影画像のみを用いて対象物の認識処理を行った場合、例えば、悪天候（例えば、雨や霧等）、夜間、又は、障害物等により視界が悪いときに、対象物の認識精度が低下する。一方、ミリ波レーダは、悪天候、夜間、又は、障害物等により視界が悪い状況でも、対象物の検出精度はほとんど低下しない。従って、カメラ２０１とミリ波レーダ２０２（撮影画像とミリ波データ）をフュージョンして対象物の認識処理を行うことにより、撮影画像のみを用いた場合の欠点を補うことができ、認識精度が向上する。
また、図１３のＡに示されるように、撮影画像は、ｘ軸及びｚ軸からなる座標系により表される。ｘ軸は、横方向（車両１０の幅方向）を示し、ｚ軸は高さ方向を示す。一方、図１３のＢに示されるように、ミリ波画像は、ｘ軸及びｙ軸からなる座標系により表される。ｘ軸は、撮影画像の座標系のｘ軸と同様である。なお、ｘ軸は、ミリ波レーダ２０２の送信信号が平面状に広がる方向と一致する。ｙ軸は、ミリ波レーダ２０２の光軸方向（車両１０の進行方向、奥行き方向）を示す。
このように、撮影画像とミリ波画像の座標系が異なると、撮影画像とミリ波画像の相関関係が分かりにくい。例えば、撮影画像の各画素と、ミリ波画像の反射ポイント（受信信号の強度が強い位置）のマッチングが困難である。そのため、撮影画像と図１３のＡのミリ波画像を用いて、ディープラーニングにより物体認識モデル２５１を学習する場合、学習の難易度が高くなり、学習精度が低下するおそれがある。
一方、本技術では、ミリ波画像（信号強度画像及び速度画像）を幾何変換し、撮影画像と座標系を合わせた画像（幾何変換信号強度画像及び幾何変換速度画像）を用いて、物体認識モデル２５１の学習が行われる。その結果、撮影画像の各画素と、ミリ波画像の反射ポイントのマッチングが容易になり、学習精度が向上する。また、実際の車両の認識処理においても、幾何変換信号強度画像及び幾何変換速度画像を用いることにより、対象物の認識精度が向上する。
＜＜２．第２の実施の形態＞＞
次に、図１４乃至図１６を参照して、本技術の第２の実施の形態について説明する。
＜車外情報検出部１４１Ｂの構成例＞
図１４は、図１の車両制御システム１００の車外情報検出部１４１の第２の実施の形態である車外情報検出部１４１Ｂの構成例を示している。なお、図中、図２と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。
車外情報検出部１４１Ｂは、情報処理部４０１を備える。情報処理部４０１は、図２の情報処理部２１１と比較して、信号処理部２２２及び幾何変換部２２３を備える点で一致する。一方、情報処理部４０１は、情報処理部２１１と比較して、画像処理部２２１及び物体認識部２２４の代わりに画像処理部４２１及び物体認識部４２２が設けられ、合成部４２３が追加されている点が異なる。物体認識部４２２は、物体認識部４３１ａ及び物体認識部４３１ｂを備える。
画像処理部４２１は、画像処理部２２１と同様に、撮影画像に基づいて、低解像度画像を生成する。画像処理部４２１は、低解像度画像を物体認識部４３１ａに供給する。
また、画像処理部４２１は、物体認識部４３１ｂが処理できる画像のサイズに合わせて、撮影画像の一部を切出す。画像処理部４２１は、撮影画像から切出した画像（以下、クロップ画像と称する）を物体認識部４３１ｂに供給する。
物体認識部４３１ａ及び物体認識部４３１ｂには、図２の物体認識部２２４と同様に、図３の物体認識モデル２５１が用いられる。
物体認識部４３１ａは、図２の物体認識部２２４と同様に、低解像度画像、幾何変換信号強度画像、及び、幾何変換速度画像に基づいて、車両１０の前方の対象物の認識処理を行う。物体認識部４３１ａは、対象物の認識処理の結果を示すデータを合成部４２３に供給する。
物体認識部４３１ｂは、クロップ画像、幾何変換信号強度画像、及び、幾何変換速度画像に基づいて、車両１０の前方の対象物の認識処理を行う。物体認識部４３１ｂは、対象物の認識処理の結果を示すデータを合成部４２３に供給する。
なお、詳細な説明は省略するが、物体認識部４３１ａに用いられる物体認識モデル２５１と、物体認識部４３１ｂに用いられる物体認識モデル２５１とは、異なる教師データを用いて学習処理が行われる。具体的には、物体認識部４３１ａに用いられる物体認識モデル２５１は、低解像度画像、幾何変換信号強度画像、及び、幾何変換速度画像を含む入力データ、並びに、低解像画像に基づいて生成された正解データを含む教師データを用いて学習される。一方、物体認識部４３１ｂに用いられる物体認識モデル２５１は、クロップ画像、幾何変換信号強度画像、及び、幾何変換速度画像を含む入力データ、並びに、クロップ画像に基づいて生成された正解データを含む教師データを用いて学習される。
合成部４２３は、物体認識部４３１ａによる対象物の認識結果と、物体認識部４３１ｂによる対象物の認識結果を合成する。合成部４２３は、合成後の対象物の認識結果を示すデータを、例えば、自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
＜対象物認識処理＞
次に、図１５のフローチャートを参照して、対象物認識処理の第２の実施の形態について説明する。
この処理は、例えば、車両１０を起動し、運転を開始するための操作が行われたとき、例えば、車両１０のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオンされたとき開始される。また、この処理は、例えば、車両１０の運転を終了するための操作が行われたとき、例えば、車両１０のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオフされたとき終了する。
ステップＳ２０１において、図１１のステップＳ１０１の処理と同様に、車両１０の前方のセンシングが行われる。
ステップＳ２０２において、画像処理部４２１は、撮影画像の前処理を行う。具体的には、画像処理部４２１は、図１１のステップＳ１０２と同様の処理により、撮影画像に基づいて低解像度画像を生成する。画像処理部４２１は、低解像度画像を物体認識部４３１ａに供給する。
また、画像処理部４２１は、例えば、撮影画像内の道路の消失点を検出する。画像処理部４２１は、消失点を中心とする所定の大きさの矩形の領域内の画像を撮影画像から切出す。画像処理部４２１は、切出したクロップ画像を物体認識部４３１ｂに供給する。
図１６は、撮影画像とクロップ画像の関係の例を示している。具体的には、図１６のＡは、撮影画像の例を示している。そして、図１６のＢの点線の枠で示されるように、撮影画像内の道路の消失点を中心とする所定の大きさの矩形の領域がクロップ画像として切出される。
ステップＳ２０３において、図１１のステップＳ１０３の処理と同様に、ミリ波画像、すなわち、信号強度画像及び速度画像が生成される。
ステップＳ２０４において、図１１のステップＳ１０４の処理と同様に、ミリ波画像の幾何変換が行われる。これにより、幾何変換信号強度画像及び幾何変換速度画像が生成される。幾何変換部２２３は、幾何変換信号強度画像及び幾何変換速度画像を物体認識部４３１ａ及び物体認識部４３１ｂに供給する。
ステップＳ２０５において、物体認識部４３１ａは、低解像度画像及び幾何変換後のミリ波画像に基づいて、対象物の認識処理を行う。具体的には、物体認識部４３１ａは、図１１のステップＳ１０５と同様の処理により、低解像度画像、幾何変換信号強度画像、及び、幾何変換速度画像に基づいて、車両１０の前方の対象物の認識処理を行う。物体認識部４３１ａは、対象物の認識結果を示すデータを合成部４２３に供給する。
ステップＳ２０６において、物体認識部４３１ｂは、クロップ画像及び幾何変換後のミリ波画像に基づいて、車両の認識処理を行う。具体的には、物体認識部２２４は、クロップ画像、並びに、幾何変換信号強度画像及び幾何変換速度画像を含む入力データを物体認識モデル２５１に入力する。物体認識モデル２５１は、入力データに基づいて、車両１０の前方の対象物の認識処理を行う。物体認識部４３１ｂは、対象物の認識結果を示すデータを合成部４２３に供給する。
ステップＳ２０７において、合成部４２３は、対象物の認識結果を合成する。具体的には、合成部４２３は、物体認識部４３１ａによる対象物の認識結果と、物体認識部４３１ｂによる対象物の認識結果を合成する。合成部４２３は、合成後の対象物の認識結果を示すデータを、例えば、自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
自己位置推定部１３２は、対象物の認識結果等に基づいて、車両１０の位置及び姿勢等の推定処理を行う。
マップ解析部１５１は、対象物の認識結果等に基づいて、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。
交通ルール認識部１５２は、対象物の認識結果等に基づいて、車両１０の周囲の交通ルールの認識処理を行う。
状況認識部１５３は、対象物の認識結果等に基づいて、車両１０の周囲の状況の認識処理を行う。
緊急事態回避部１７１は、対象物の認識結果等に基づいて、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための車両１０の動作を計画する。
その後、処理はステップＳ２０１に戻り、ステップＳ２０１以降の処理が実行される。
以上のようにして、車両１０の前方の対象物の認識精度を向上させることができる。具体的には、撮影画像ではなく低解像度画像を用いることにより、特に遠方の対象物の認識精度が低下する。しかし、道路の消失点付近を切出した高解像度のクロップ画像を用いて対象物の認識処理を行うことにより、対象物が車両である場合、消失点付近の遠方の車両の認識精度を向上させることができる。
＜＜３．第３の実施の形態＞＞
次に、図１７を参照して、本技術の第３の実施の形態について説明する。
＜データ取得部１０２Ｂ及び車外情報検出部１４１Ｃの構成例＞
図１７は、図１の車両制御システム１００のデータ取得部１０２の第２の実施の形態であるデータ取得部１０２Ｂ、及び、車外情報検出部１４１の第３の実施の形態である車外情報検出部１４１Ｃの構成例を示している。なお、図中、図２と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。
データ取得部１０２Ｂは、図２のデータ取得部１０２Ａと比較して、カメラ２０１及びミリ波レーダ２０２を備える点で一致し、ＬｉＤＡＲ５０１を備える点が異なる。
車外情報検出部１４１Ｃは、情報処理部５１１を備える。情報処理部５１１は、図２の情報処理部２１１と比較して、画像処理部２２１、信号処理部２２２、及び、幾何変換部２２３を備える点で一致する。一方、情報処理部５１１は、情報処理部２１１と比較して、物体認識部２２４の代わりに物体認識部５２３が設けられ、信号処理部５２１及び幾何変換部５２２が追加されている点が異なる。
ＬｉＤＡＲ５０１は、車両１０の前方のセンシングを行い、カメラ２０１とセンシング範囲の少なくとも一部が重なる。例えば、ＬｉＤＡＲ５０１は、レーザパルスを車両１０の前方において、横方向及び高さ方向に走査し、レーザパルスの反射光を受光する。ＬｉＤＡＲ５０１は、反射光の受光に要した時間に基づいて、車両１０の前方の物体までの距離を計算し、計算した結果に基づいて、車両１０の前方の物体の形状や位置を示す３次元の点群データ（ポイントクラウド）を生成する。ＬｉＤＡＲ５０１は、点群データを信号処理部５２１に供給する。
信号処理部５２１は、点群データに対して所定の信号処理（例えば、補間処理又は間引き処理）を行い、信号処理後の点群データを幾何変換部５２２に供給する。
幾何変換部５２２は、点群データの幾何変換を行うことにより、撮影画像と同じ座標系の２次元の画像（以下、２次元点群データと称する）を生成する。幾何変換部５２２は、２次元点群データを物体認識部５２３に供給する。
物体認識部５２３は、低解像度画像、幾何変換信号強度画像、幾何変換速度画像、及び、２次元点群データに基づいて、車両１０の前方の対象物の認識処理を行う。物体認識部５２３は、対象物の認識結果を示すデータを、例えば、自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。対象物の認識結果を示すデータは、例えば、撮影画像上の対象物の位置、サイズ、及び、物体の種類に加えて、３次元空間上の対象物の位置及び速度を含む。
なお、詳細な説明は省略するが、物体認識部５２３には、例えば、図３の物体認識モデル２５１と同様の構成の物体認識モデルが用いられる。ただし、２次元点群データ用にＶＧＧ１６が１つ追加される。そして、物体認識部５２３用の物体認識モデルは、低解像度画像、幾何変換信号強度画像、幾何変換速度画像、及び、２次元点群データを含む入力データ、並びに、低解像画像に基づいて生成された正解データを含む教師データを用いて学習される。
このように、ＬｉＤＡＲ５０１を加えることにより、さらに対象物の認識精度が向上する。
＜＜４．第４の実施の形態＞＞
次に、図１８を参照して、本技術の第４の実施の形態について説明する。
＜車外情報検出部１４１Ｄの構成例＞
図１８は、図２の車両制御システム１００の車外情報検出部１４１の第４の実施の形態である車外情報検出部１４１Ｄの構成例を示している。なお、図中、図２と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。
車外情報検出部１４１Ｄは、情報処理部６１１を備える。情報処理部６１１は、図２の情報処理部２１１と比較して、画像処理部２２１及び信号処理部２２２を備える点で一致する。一方、情報処理部６１１は、情報処理部２１１と比較して、物体認識部２２４の代わりに物体認識部６２２が設けられ、幾何変換部６２１が追加され、幾何変換部２２３が削除されている点が異なる。
幾何変換部６２１は、画像処理部２２１から供給される低解像度画像の幾何変換を行うことにより、低解像度画像を信号処理部２２２から出力されるミリ波画像と同じ座標系の画像（以下、幾何変換低解像度画像と称する）に変換する。例えば、幾何変換部６２１は、低解像度画像を鳥瞰図に変換する。幾何変換部６２１は、幾何変換低解像度画像を物体認識部６２２に供給する。
物体認識部６２２は、幾何変換低解像度画像、並びに、信号処理部２２２から供給される信号強度画像及び速度画像に基づいて、車両１０の前方の対象物の認識処理を行う。物体認識部６２２は、対象物の認識結果を示すデータを、例えば、自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
このように、撮影画像をミリ波画像と同じ座標系の画像に変換して、物体の認識処理を行うようにしてもよい。
＜＜５．第５の実施の形態＞＞
次に、図１９を参照して、本技術の第５の実施の形態について説明する。
＜車外情報検出部１４１Ｅの構成例＞
図１９は、図２の車両制御システム１００の車外情報検出部１４１の第５の実施の形態である車外情報検出部１４１Ｅの構成例を示している。なお、図中、図１７と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。
車外情報検出部１４１Ｅは、情報処理部７１１を備える。情報処理部７１１は、図１７の情報処理部５１１と比較して、画像処理部２２１、信号処理部２２２、及び、信号処理部５２１を備える点で一致する。一方、情報処理部７１１は、情報処理部５１１と比較して、幾何変換部２２３及び物体認識部５２３の代わりに幾何変換部７２２及び物体認識部７２３が設けられ、幾何変換部７２１が追加され、幾何変換部５２２が削除されている点が異なる。
幾何変換部７２１は、画像処理部２２１から供給される低解像度画像の幾何変換を行うことにより、低解像度画像を信号処理部５２１から出力される点群データと同じ座標系の３次元の点群データ（以下、画像点群データと称する）に変換する。幾何変換部７２１は、画像点群データを物体認識部７２３に供給する。
幾何変換部７２２は、信号処理部２２２から供給される信号強度画像及び速度画像の幾何変換を行うことにより、信号強度画像及び速度画像を信号処理部５２１から出力される点群データと同じ座標系の３次元の点群データ（以下、信号強度点群データ及び速度点群データと称する）に変換する。幾何変換部７２２は、信号強度点群データ及び速度点群データを物体認識部７２３に供給する。
物体認識部７２３は、画像点群データ、信号強度点群データ、速度点群データ、及び、信号処理部５２１から供給される、ＬｉＤＡＲ５０１によるセンシングに基づく点群データに基づいて、車両１０の前方の対象物の認識処理を行う。物体認識部７２３は、対象物の認識結果を示すデータを、例えば、自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
このように、撮影画像及びミリ波画像を点群データに変換して、物体の認識処理を行うようにしてもよい。
＜＜６．第６の実施の形態＞＞
次に、図２０を参照して、本技術の第６の実施の形態について説明する。
＜データ取得部１０２Ｃ及び車外情報検出部１４１Ｆの構成例＞
図２０は、図１の車両制御システム１００のデータ取得部１０２の第３の実施の形態であるデータ取得部１０２Ｃ、及び、車外情報検出部１４１の第６の実施の形態である車外情報検出部１４１Ｆの構成例を示している。なお、図中、図２と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。
データ取得部１０２Ｃは、図２のデータ取得部１０２Ａと比較して、カメラ２０１を備える点で一致し、ミリ波レーダ２０２の代わりにミリ波レーダ８１１を備える点が異なる。
車外情報検出部１４１Ｆは、情報処理部８３１を備える。情報処理部８３１は、図２の情報処理部２１１と比較して、画像処理部２２１、幾何変換部２２３、及び、物体認識部２２４を備える点で一致し、信号処理部２２２が削除されている点が異なる。
ミリ波レーダ８１１は、信号処理部２２２と同等の機能を有する信号処理部８２１を備える。信号処理部８２１は、ミリ波データに対して所定の信号処理を行うことにより、ミリ波レーダ８１１のセンシング結果を示す信号強度画像及び速度画像の２種類のミリ波画像を生成する。信号処理部８２１は、信号強度画像及び速度画像を幾何変換部２２３に供給する。
このように、ミリ波レーダ８１１において、ミリ波データをミリ波画像に変換するようにしてもよい。
＜＜７．第７の実施の形態＞＞
次に、図２１を参照して、本技術の第７の実施の形態について説明する。
＜データ取得部１０２Ｄ及び車外情報検出部１４１Ｇの構成例＞
図２１は、図１の車両制御システム１００のデータ取得部１０２の第４の実施の形態であるデータ取得部１０２Ｄ、及び、車外情報検出部１４１の第７の実施の形態である車外情報検出部１４１Ｇの構成例を示している。なお、図中、図２０と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。
データ取得部１０２Ｄは、図２０のデータ取得部１０２Ｃと比較して、カメラ２０１を備える点で一致し、ミリ波レーダ８１１の代わりにミリ波レーダ９１１を備える点が異なる。
車外情報検出部１４１Ｇは、情報処理部９３１を備える。情報処理部９３１は、図２０の情報処理部８３１と比較して、画像処理部２２１及び物体認識部２２４を備える点で一致し、幾何変換部２２３が削除されている点が異なる。
ミリ波レーダ９１１は、信号処理部８２１に加え、幾何変換部２２３と同等の機能を有する幾何変換部９２１を備える。
幾何変換部９２１は、信号強度画像及び速度画像の座標系をミリ波画像の座標系から撮影画像の座標系に変換し、変換後の幾何変換信号強度画像及び幾何変換速度画像を物体認識部２２４に供給する。
このように、ミリ波レーダ９１１において、ミリ波データをミリ波画像に変換し、さらにミリ波画像の幾何変換を行うようにしてもよい。
＜＜８．変形例＞＞
以下、上述した本技術の実施の形態の変形例について説明する。
以上では、車両を認識対象とする例を中心に説明したが、上述したように、車両以外の任意の物体を認識対象とすることができる。例えば、認識対象にしたい対象物の位置を示す正解データを含む教師データを用いて、物体認識モデル２５１の学習処理を行うようにすればよい。
また、本技術は、複数の種類の対象物を認識する場合にも適用することが可能である。例えば、各対象物の位置とラベル（対象物の種類）を示す正解データを含む教師データを用いて、物体認識モデル２５１の学習処理を行うようにすればよい。
さらに、物体認識モデル２５１が処理できる画像のサイズが十分である場合、撮影画像をそのまま物体認識モデル２５１に入力して、対象物の認識処理を行うようにしてもよい。
また、以上の説明では、車両１０の前方の対象物を認識する例を示したが、本技術は、車両１０の周囲の他の方向の対象物を認識する場合にも適用することができる。
さらに、本技術は、車両以外の移動体の周囲の対象物を認識する場合にも適用することが可能である。例えば、自動二輪車、自転車、パーソナルモビリティ、飛行機、船舶、建設機械、農業機械（トラクター）等の移動体が想定される。また、本技術が適用可能な移動体には、例えば、ドローン、ロボット等のユーザが搭乗せずにリモートで運転（操作）する移動体も含まれる。
また、本技術は、例えば、監視システム等、固定された場所で対象物の認識処理を行う場合にも適用することができる。
さらに、図３の物体認識モデル２５１は、その一例であり、機械学習により生成される他のモデルを用いることも可能である。
また、本技術は、カメラ（イメージセンサ）とＬｉＤＡＲを組み合わせて対象物の認識処理を行う場合にも適用することができる。
さらに、本技術は、ミリ波レーダ及びＬｉＤＡＲ以外の物体を検出するセンサを用いる場合にも適用することができる。
また、例えば、第２の実施の形態と、第３乃至第７の実施の形態とを組み合わせることが可能である。
さらに、例えば、全ての画像の座標系を変換して、各画像とは異なる新たな座標系に各画像の座標系を合わせるようにしてもよい。
＜＜９．その他＞＞
＜コンピュータの構成例＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータ１０００において、CPU（Central Processing Unit）１００１，ROM（Read Only Memory）１００２，RAM（Random Access Memory）１００３は、バス１００４により相互に接続されている。
バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記録部１００８、通信部１００９、及びドライブ１０１０が接続されている。
入力部１００６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記録部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
以上のように構成されるコンピュータ１０００では、CPU１００１が、例えば、記録部１００８に記録されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ１０００では、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記録部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記録部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記録部１００８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。
（１）
イメージセンサにより得られる撮影画像、及び、前記イメージセンサとセンシング範囲の少なくとも一部が重なるセンサのセンシング結果を表すセンサ画像のうち少なくとも１つを変換し、前記撮影画像と前記センサ画像の座標系を合わせる幾何変換部と、
座標系を合わせた前記撮影画像及び前記センサ画像に基づいて、対象物の認識処理を行う物体認識部と
を備える情報処理装置。
（２）
前記幾何変換部は、前記センサ画像を前記撮影画像と同じ座標系の幾何変換センサ画像に変換し、
前記物体認識部は、前記撮影画像及び前記幾何変換センサ画像に基づいて、前記対象物の認識処理を行う
前記（１）に記載の情報処理装置。
（３）
前記物体認識部は、機械学習により得られる物体認識モデルを用いて、前記対象物の認識処理を行う
前記（２）に記載の情報処理装置。
（４）
前記物体認識モデルは、前記撮影画像及び前記幾何変換センサ画像を含む入力データ、並びに、前記撮影画像における物体の位置を示す正解データを含む教師データを用いて学習される
前記（３）に記載の情報処理装置。
（５）
前記物体認識モデルは、ディープニューラルネットワークを用いたモデルである
前記（４）に記載の情報処理装置。
（６）
前記物体認識モデルは、
前記撮影画像及び前記幾何変換センサ画像の特徴量を抽出する第１の畳み込みニューラルネットワークと、
前記撮影画像及び前記幾何変換センサ画像の特徴量に基づいて前記対象物を認識する第２の畳み込みニューラルネットワークと
を備える前記（５）に記載の情報処理装置。
（７）
前記センサは、ミリ波レーダを含み、
前記センサ画像は、前記ミリ波レーダからの送信信号を反射した物体の位置を示す
前記（２）乃至（６）のいずれかに記載の情報処理装置。
（８）
前記センサ画像の座標系は、前記送信信号が平面状に広がる方向を示す軸、及び、前記ミリ波レーダの光軸方向を示す軸により表される
前記（７）に記載の情報処理装置。
（９）
前記幾何変換部は、前記物体の位置及び前記物体により反射された信号の強度を示す第１のセンサ画像、並びに、前記物体の位置及び速度を示す第２のセンサ画像を、第１の幾何変換センサ画像及び第２の幾何変換センサ画像にそれぞれ変換し、
前記物体認識部は、前記撮影画像、前記第１の幾何変換センサ画像、及び、前記第２の幾何変換センサ画像に基づいて、前記対象物の認識処理を行う
前記（７）又は（８）に記載の情報処理装置。
（１０）
前記撮影画像の解像度を下げた低解像度画像、及び、前記撮影画像の一部を切出したクロップ画像を生成する画像処理部を
さらに備え、
前記物体認識部は、前記低解像度画像、前記クロップ画像、及び、前記幾何変換センサ画像に基づいて、前記対象物の認識処理を行う
前記（２）乃至（９）のいずれかに記載の情報処理装置。
（１１）
前記物体認識部は、
前記低解像度画像及び前記幾何変換センサ画像に基づいて、前記対象物の認識処理を行う第１の物体認識部と、
前記クロップ画像及び前記幾何変換センサ画像に基づいて、前記対象物の認識処理を行う第２の物体認識部と
を備え、
前記第１の物体認識部による前記対象物の認識結果と前記第２の物体認識部による前記対象物の認識結果とを合成する合成部を
さらに備える前記（１０）に記載の情報処理装置。
（１２）
前記イメージセンサ及び前記センサは、車両の周囲のセンシングを行い、
前記画像処理部は、前記撮影画像内の道路の消失点に基づいて前記クロップ画像を切出す
前記（１０）又は（１１）に記載の情報処理装置。
（１３）
前記幾何変換部は、前記撮影画像を前記センサ画像と同じ座標系の幾何変換撮影画像に変換し、
前記物体認識部は、前記幾何変換撮影画像及び前記センサ画像に基づいて、前記対象物の認識処理を行う
前記（１）に記載の情報処理装置。
（１４）
前記センサは、ミリ波レーダ及びＬｉＤＡＲ（Light Detection and Ranging）のうち少なくとも１つを含み、
前記センサ画像は、前記ミリ波レーダからの送信信号を反射した物体の位置を示す画像、及び、前記ＬｉＤＡＲにより得られる点群データのうち少なくとも１つを含む
前記（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５）
前記イメージセンサ及び前記センサは、移動体の周囲のセンシングを行い、
前記物体認識部は、前記移動体の周囲の前記対象物の認識処理を行う
前記（１）乃至（１４）のいずれかに記載の情報処理装置。
（１６）
情報処理装置が、
イメージセンサにより得られる撮影画像、及び、前記イメージセンサとセンシング範囲の少なくとも一部が重なるセンサのセンシング結果を表すセンサ画像のうち少なくとも１つを変換し、前記撮影画像と前記センサ画像の座標系を合わせ、
座標系を合わせた前記撮影画像及び前記センサ画像に基づいて、対象物の認識処理を行う
情報処理方法。
（１７）
イメージセンサにより得られる撮影画像、及び、前記イメージセンサとセンシング範囲の少なくとも一部が重なるセンサのセンシング結果を表すセンサ画像のうち少なくとも１つを変換し、前記撮影画像と前記センサ画像の座標系を合わせ、
座標系を合わせた前記撮影画像及び前記センサ画像に基づいて、対象物の認識処理を行う
処理をコンピュータに実行させるためのプログラム。
（１８）
移動体の周囲を撮影するイメージセンサにより得られる撮影画像、及び、前記イメージセンサとセンシング範囲の少なくとも一部が重なるセンサのセンシング結果を表すセンサ画像のうち少なくとも１つを変換し、前記撮影画像と前記センサ画像の座標系を合わせる幾何変換部と、
座標系を合わせた前記撮影画像及び前記センサ画像に基づいて、対象物の認識処理を行う物体認識部と、
前記対象物の認識結果に基づいて、前記移動体の動作を制御する動作制御部と
を備える移動体制御装置。
（１９）
イメージセンサと、
前記イメージセンサとセンシング範囲の少なくとも一部が重なるセンサと、
前記イメージセンサにより得られる撮影画像、及び、前記センサのセンシング結果を表すセンサ画像のうち少なくとも１つを変換し、前記撮影画像と前記センサ画像の座標系を合わせる幾何変換部と、
座標系を合わせた前記撮影画像及び前記センサ画像に基づいて、対象物の認識処理を行う物体認識部と、
前記対象物の認識結果に基づいて、動作の制御を行う動作制御部と
を備える移動体。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
１０ 車両， １００ 車両制御システム， １０２，１０２Ａ乃至１０２Ｄ データ取得部， １０７ 駆動系制御部， １０８ 駆動系システム， １３５ 動作制御部， １４１，１４１Ａ乃至１４１Ｇ 車外情報検出部， ２０１ カメラ， ２０１Ａ イメージセンサ， ２０２ ミリ波レーダ， ２１１ 情報処理部， ２２１ 画像処理部， ２２２ 信号処理部， ２２３ 幾何変換部， ２２４ 物体認識部， ２５１ 物体認識モデル， ２６１ 特徴量抽出部， ２６２ 認識部， ３０１ 学習システム， ３１６ 教師データ生成部， ３１７ 学習部， ４０１ 情報処理部， ４２１ 画像処理部， ４２２ 物体認識部， ４２３ 合成部， ４３１ａ，４３１ｂ 物体認識部， ５０１ ＬｉＤＡＲ， ５１１ 情報処理部， ５２１ 信号処理部， ５２２ 幾何変換部， ５２３ 物体認識部， ６１１ 情報処理部， ６２１ 幾何変換部， ６２２ 物体認識部， ７１１ 情報処理部， ７２１，７２２ 幾何変換部， ７２３ 物体認識部， ８１１ ミリ波レーダ， ８２１ 信号処理部， ８３１ 情報処理部， ９１１ ミリ波レーダ， ９２１ 幾何変換部

Claims (19)

  1. イメージセンサにより得られる撮影画像、及び、前記イメージセンサとセンシング範囲の少なくとも一部が重なるセンサのセンシング結果を表すセンサ画像のうち少なくとも１つを変換し、前記撮影画像と前記センサ画像の座標系を合わせる幾何変換部と、
    座標系を合わせた前記撮影画像及び前記センサ画像に基づいて、対象物の認識処理を行う物体認識部と
    を備える情報処理装置。
  2. 前記幾何変換部は、前記センサ画像を前記撮影画像と同じ座標系の幾何変換センサ画像に変換し、
    前記物体認識部は、前記撮影画像及び前記幾何変換センサ画像に基づいて、前記対象物の認識処理を行う
    請求項１に記載の情報処理装置。
  3. 前記物体認識部は、機械学習により得られる物体認識モデルを用いて、前記対象物の認識処理を行う
    請求項２に記載の情報処理装置。
  4. 前記物体認識モデルは、前記撮影画像及び前記幾何変換センサ画像を含む入力データ、並びに、前記撮影画像における物体の位置を示す正解データを含む教師データを用いて学習される
    請求項３に記載の情報処理装置。
  5. 前記物体認識モデルは、ディープニューラルネットワークを用いたモデルである
    請求項４に記載の情報処理装置。
  6. 前記物体認識モデルは、
    前記撮影画像及び前記幾何変換センサ画像の特徴量を抽出する第１の畳み込みニューラルネットワークと、
    前記撮影画像及び前記幾何変換センサ画像の特徴量に基づいて前記対象物を認識する第２の畳み込みニューラルネットワークと
    を備える請求項５に記載の情報処理装置。
  7. 前記センサは、ミリ波レーダを含み、
    前記センサ画像は、前記ミリ波レーダからの送信信号を反射した物体の位置を示す
    請求項２に記載の情報処理装置。
  8. 前記センサ画像の座標系は、前記送信信号が平面状に広がる方向を示す軸、及び、前記ミリ波レーダの光軸方向を示す軸により表される
    請求項７に記載の情報処理装置。
  9. 前記幾何変換部は、前記物体の位置及び前記物体により反射された信号の強度を示す第１のセンサ画像、並びに、前記物体の位置及び速度を示す第２のセンサ画像を、第１の幾何変換センサ画像及び第２の幾何変換センサ画像にそれぞれ変換し、
    前記物体認識部は、前記撮影画像、前記第１の幾何変換センサ画像、及び、前記第２の幾何変換センサ画像に基づいて、前記対象物の認識処理を行う
    請求項７に記載の情報処理装置。
  10. 前記撮影画像の解像度を下げた低解像度画像、及び、前記撮影画像の一部を切出したクロップ画像を生成する画像処理部を
    さらに備え、
    前記物体認識部は、前記低解像度画像、前記クロップ画像、及び、前記幾何変換センサ画像に基づいて、前記対象物の認識処理を行う
    請求項２に記載の情報処理装置。
  11. 前記物体認識部は、
    前記低解像度画像及び前記幾何変換センサ画像に基づいて、前記対象物の認識処理を行う第１の物体認識部と、
    前記クロップ画像及び前記幾何変換センサ画像に基づいて、前記対象物の認識処理を行う第２の物体認識部と
    を備え、
    前記第１の物体認識部による前記対象物の認識結果と前記第２の物体認識部による前記対象物の認識結果とを合成する合成部を
    さらに備える請求項１０に記載の情報処理装置。
  12. 前記イメージセンサ及び前記センサは、車両の周囲のセンシングを行い、
    前記画像処理部は、前記撮影画像内の道路の消失点に基づいて前記クロップ画像を切出す
    請求項１０に記載の情報処理装置。
  13. 前記幾何変換部は、前記撮影画像を前記センサ画像と同じ座標系の幾何変換撮影画像に変換し、
    前記物体認識部は、前記幾何変換撮影画像及び前記センサ画像に基づいて、前記対象物の認識処理を行う
    請求項１に記載の情報処理装置。
  14. 前記センサは、ミリ波レーダ及びＬｉＤＡＲ（Light Detection and Ranging）のうち少なくとも１つを含み、
    前記センサ画像は、前記ミリ波レーダからの送信信号を反射した物体の位置を示す画像、及び、前記ＬｉＤＡＲにより得られる点群データのうち少なくとも１つを含む
    請求項１に記載の情報処理装置。
  15. 前記イメージセンサ及び前記センサは、移動体の周囲のセンシングを行い、
    前記物体認識部は、前記移動体の周囲の前記対象物の認識処理を行う
    請求項１に記載の情報処理装置。
  16. 情報処理装置が、
    イメージセンサにより得られる撮影画像、及び、前記イメージセンサとセンシング範囲の少なくとも一部が重なるセンサのセンシング結果を表すセンサ画像のうち少なくとも１つを変換し、前記撮影画像と前記センサ画像の座標系を合わせ、
    座標系を合わせた前記撮影画像及び前記センサ画像に基づいて、対象物の認識処理を行う
    情報処理方法。
  17. イメージセンサにより得られる撮影画像、及び、前記イメージセンサとセンシング範囲の少なくとも一部が重なるセンサのセンシン
    グ結果を表すセンサ画像のうち少なくとも１つを変換し、前記撮影画像と前記センサ画像の座標系を合わせ、
    座標系を合わせた前記撮影画像及び前記センサ画像に基づいて、対象物の認識処理を行う
    処理をコンピュータに実行させるためのプログラム。
  18. 移動体の周囲を撮影するイメージセンサにより得られる撮影画像、及び、前記イメージセンサとセンシング範囲の少なくとも一部が重なるセンサのセンシング結果を表すセンサ画像のうち少なくとも１つを変換し、前記撮影画像と前記センサ画像の座標系を合わせる幾何変換部と、
    座標系を合わせた前記撮影画像及び前記センサ画像に基づいて、対象物の認識処理を行う物体認識部と、
    前記対象物の認識結果に基づいて、前記移動体の動作を制御する動作制御部と
    を備える移動体制御装置。
  19. イメージセンサと、
    前記イメージセンサとセンシング範囲の少なくとも一部が重なるセンサと、
    前記イメージセンサにより得られる撮影画像、及び、前記センサのセンシング結果を表すセンサ画像のうち少なくとも１つを変換し、前記撮影画像と前記センサ画像の座標系を合わせる幾何変換部と、
    座標系を合わせた前記撮影画像及び前記センサ画像に基づいて、対象物の認識処理を行う物体認識部と、
    前記対象物の認識結果に基づいて、動作の制御を行う動作制御部と
    を備える移動体。
JP2020559917A 2018-12-07 2019-11-22 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体 Active JP7320001B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023118853A JP2023126642A (ja) 2018-12-07 2023-07-21 情報処理装置、情報処理方法、及び、情報処理システム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018230061 2018-12-07
JP2018230061 2018-12-07
PCT/JP2019/045743 WO2020116195A1 (ja) 2018-12-07 2019-11-22 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023118853A Division JP2023126642A (ja) 2018-12-07 2023-07-21 情報処理装置、情報処理方法、及び、情報処理システム

Publications (2)

Publication Number Publication Date
JPWO2020116195A1 true JPWO2020116195A1 (ja) 2021-10-21
JP7320001B2 JP7320001B2 (ja) 2023-08-02

Family

ID=70975030

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020559917A Active JP7320001B2 (ja) 2018-12-07 2019-11-22 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
JP2023118853A Pending JP2023126642A (ja) 2018-12-07 2023-07-21 情報処理装置、情報処理方法、及び、情報処理システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023118853A Pending JP2023126642A (ja) 2018-12-07 2023-07-21 情報処理装置、情報処理方法、及び、情報処理システム

Country Status (6)

Country Link
US (1) US20220036043A1 (ja)
EP (1) EP3893194A4 (ja)
JP (2) JP7320001B2 (ja)
KR (1) KR20210098972A (ja)
CN (1) CN113168691A (ja)
WO (1) WO2020116195A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI766560B (zh) * 2021-01-27 2022-06-01 國立臺灣大學 結合語義分割與光達點雲之物件辨識與測距系統
US11733369B2 (en) * 2021-02-11 2023-08-22 Waymo Llc Methods and systems for three dimensional object detection and localization
CN112926476B (zh) * 2021-03-08 2024-06-18 京东鲲鹏(江苏)科技有限公司 车辆识别方法、装置及存储介质
CN116997821A (zh) * 2021-03-17 2023-11-03 索尼半导体解决方案公司 感测系统
WO2023085017A1 (ja) * 2021-11-09 2023-05-19 ソニーセミコンダクタソリューションズ株式会社 学習方法、学習プログラム、情報処理装置、情報処理方法、および情報処理プログラム
WO2024024471A1 (ja) * 2022-07-28 2024-02-01 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及び、情報処理システム
DE102022211766A1 (de) 2022-11-08 2024-05-08 Continental Autonomous Mobility Germany GmbH Verfahren zur Erzeugung einer Umfeldinformation, Steuereinrichtung, Fahrzeug und Computerprogramm
US11907841B1 (en) 2023-05-01 2024-02-20 Ian Truitner Machine learning based consumer product identification system and method therefor

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017102838A (ja) * 2015-12-04 2017-06-08 トヨタ自動車株式会社 物体認識アルゴリズムの機械学習のためのデータベース構築システム
WO2018101247A1 (ja) * 2016-11-29 2018-06-07 マクセル株式会社 画像認識撮像装置
JP2018120373A (ja) * 2017-01-24 2018-08-02 株式会社安川電機 産業機器用の画像認識装置及び画像認識方法
WO2018173819A1 (ja) * 2017-03-22 2018-09-27 パナソニックＩｐマネジメント株式会社 画像認識装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005175603A (ja) 2003-12-08 2005-06-30 Suzuki Motor Corp レーダを用いた障害物の表示方法及び表示システム
JP5632762B2 (ja) * 2011-01-25 2014-11-26 パナソニック株式会社 測位情報形成装置、検出装置、及び測位情報形成方法
US20140205139A1 (en) * 2013-01-18 2014-07-24 Caterpillar Inc. Object recognition system implementing image data transformation
JP6544257B2 (ja) * 2016-02-09 2019-07-17 株式会社リコー 情報処理システム、情報処理方法及び情報処理プログラム
KR101920281B1 (ko) * 2017-06-26 2018-11-21 (주)넥스트칩 차량 내에서 입력 영상 데이터로부터 객체를 검출하는 장치 및 방법
EP3525000B1 (en) * 2018-02-09 2021-07-21 Bayerische Motoren Werke Aktiengesellschaft Methods and apparatuses for object detection in a scene based on lidar data and radar data of the scene

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017102838A (ja) * 2015-12-04 2017-06-08 トヨタ自動車株式会社 物体認識アルゴリズムの機械学習のためのデータベース構築システム
WO2018101247A1 (ja) * 2016-11-29 2018-06-07 マクセル株式会社 画像認識撮像装置
JP2018120373A (ja) * 2017-01-24 2018-08-02 株式会社安川電機 産業機器用の画像認識装置及び画像認識方法
WO2018173819A1 (ja) * 2017-03-22 2018-09-27 パナソニックＩｐマネジメント株式会社 画像認識装置

Also Published As

Publication number Publication date
US20220036043A1 (en) 2022-02-03
WO2020116195A1 (ja) 2020-06-11
JP2023126642A (ja) 2023-09-07
JP7320001B2 (ja) 2023-08-02
EP3893194A4 (en) 2022-01-26
EP3893194A1 (en) 2021-10-13
KR20210098972A (ko) 2021-08-11
CN113168691A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
JP7320001B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
WO2019111702A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JPWO2019188389A1 (ja) 信号処理装置、および信号処理方法、プログラム、並びに移動体
JP7497298B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
WO2019073920A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
US11812197B2 (en) Information processing device, information processing method, and moving body
WO2021193099A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US11363212B2 (en) Exposure control device, exposure control method, program, imaging device, and mobile body
WO2020116206A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2021241189A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2019150918A1 (ja) 情報処理装置、情報処理方法、プログラム、及び移動体
US20200230820A1 (en) Information processing apparatus, self-localization method, program, and mobile body
JP2019045364A (ja) 情報処理装置、自己位置推定方法、及び、プログラム
US20220277556A1 (en) Information processing device, information processing method, and program
WO2022004423A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
US20230289980A1 (en) Learning model generation method, information processing device, and information processing system
JP7487178B2 (ja) 情報処理方法、プログラム、及び、情報処理装置
JP7483627B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
WO2022019117A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2021065510A1 (ja) 情報処理装置、情報処理方法、情報処理システム及びプログラム
WO2020195969A1 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230721

R150 Certificate of patent or registration of utility model

Ref document number: 7320001

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150