JPWO2020116194A1 - 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体 - Google Patents

情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体 Download PDF

Info

Publication number
JPWO2020116194A1
JPWO2020116194A1 JP2020559916A JP2020559916A JPWO2020116194A1 JP WO2020116194 A1 JPWO2020116194 A1 JP WO2020116194A1 JP 2020559916 A JP2020559916 A JP 2020559916A JP 2020559916 A JP2020559916 A JP 2020559916A JP WO2020116194 A1 JPWO2020116194 A1 JP WO2020116194A1
Authority
JP
Japan
Prior art keywords
image
unit
sensor
estimated position
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020559916A
Other languages
English (en)
Inventor
大 松永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JPWO2020116194A1 publication Critical patent/JPWO2020116194A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T3/18—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本技術は、対象物の認識精度を向上させることができるようにする情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体に関する。
情報処理装置は、イメージセンサとセンシング範囲の少なくとも一部が重なるセンサのセンシング結果を第１の座標系により表すセンサ画像に基づいて、前記イメージセンサにより得られる撮影画像と同じ第２の座標系における対象物の推定位置を示す推定位置画像を生成する画像処理部と、前記撮影画像及び前記推定位置画像に基づいて、前記対象物の認識処理を行う物体認識部とを備える。本技術は、例えば、車両の周囲の対象物を認識するシステムに適用できる。

Description

本技術は、情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体に関し、特に、対象物の認識精度を向上させるようにした情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体に関する。
従来、レーダ平面とカメラ画像平面との射影変換を利用して、ミリ波レーダにより検出された障害物の位置情報をカメラ画像上に重ねて表示することが提案されている（例えば、特許文献１参照）。
特開２００５−１７５６０３号公報
しかしながら、特許文献１では、カメラとミリ波レーダとを用いて、車両等の対象物の認識精度を向上させることは検討されていない。
本技術は、このような状況に鑑みてなされたものであり、対象物の認識精度を向上させるようにするものである。
本技術の第１の側面の情報処理装置は、イメージセンサとセンシング範囲の少なくとも一部が重なるセンサのセンシング結果を第１の座標系により表すセンサ画像に基づいて、前記イメージセンサにより得られる撮影画像と同じ第２の座標系における対象物の推定位置を示す推定位置画像を生成する画像処理部と、前記撮影画像及び前記推定位置画像に基づいて、前記対象物の認識処理を行う物体認識部とを備える。
本技術の第１の側面の情報処理方法は、情報処理装置が、イメージセンサとセンシング範囲の少なくとも一部が重なるセンサのセンシング結果を第１の座標系により表すセンサ画像に基づいて、前記イメージセンサにより得られる撮影画像と同じ第２の座標系における対象物の推定位置を示す推定位置画像を生成し、前記撮影画像及び前記推定位置画像に基づいて、前記対象物の認識処理を行う。
本技術の第１の側面のプログラムは、イメージセンサとセンシング範囲の少なくとも一部が重なるセンサのセンシング結果を第１の座標系により表すセンサ画像に基づいて、前記イメージセンサにより得られる撮影画像と同じ第２の座標系における対象物の推定位置を示す推定位置画像を生成し、前記撮影画像及び前記推定位置画像に基づいて、前記対象物の認識処理を行う処理をコンピュータに実行させる。
本技術の第２の側面の移動体制御装置は、移動体の周囲を撮影するイメージセンサとセンシング範囲の少なくとも一部が重なるセンサのセンシング結果を第１の座標系により表すセンサ画像に基づいて、前記イメージセンサにより得られる撮影画像と同じ第２の座標系における対象物の推定位置を示す推定位置画像を生成する画像処理部と、前記撮影画像及び前記推定位置画像に基づいて、前記対象物の認識処理を行う物体認識部と、前記対象物の認識結果に基づいて、前記移動体の動作の制御を行う動作制御部とを備える。
本技術の第３の側面の移動体制御装置は、イメージセンサと、前記イメージセンサとセンシング範囲の少なくとも一部が重なるセンサと、前記センサのセンシング結果を第１の座標系により表すセンサ画像に基づいて、前記イメージセンサにより得られる撮影画像と同じ第２の座標系における対象物の推定位置を示す推定位置画像を生成する画像処理部と、前記撮影画像及び前記推定位置画像に基づいて、前記対象物の認識処理を行う物体認識部と、前記対象物の認識結果に基づいて、動作の制御を行う動作制御部とを備える。
本技術の第１の側面においては、イメージセンサとセンシング範囲の少なくとも一部が重なるセンサのセンシング結果を第１の座標系により表すセンサ画像に基づいて、前記イメージセンサにより得られる撮影画像と同じ第２の座標系における対象物の推定位置を示す推定位置画像が生成され、前記撮影画像及び前記推定位置画像に基づいて、前記対象物の認識処理が行われる。
本技術の第２の側面においては、移動体の周囲を撮影するイメージセンサとセンシング範囲の少なくとも一部が重なるセンサのセンシング結果を第１の座標系により表すセンサ画像に基づいて、前記イメージセンサにより得られる撮影画像と同じ第２の座標系における対象物の推定位置を示す推定位置画像が生成され、前記撮影画像及び前記推定位置画像に基づいて、前記対象物の認識処理が行われ、前記対象物の認識結果に基づいて、前記移動体の動作の制御が行われる。
本技術の第３の側面においては、イメージセンサとセンシング範囲の少なくとも一部が重なるセンサのセンシング結果を第１の座標系により表すセンサ画像に基づいて、前記イメージセンサにより得られる撮影画像と同じ第２の座標系における対象物の推定位置を示す推定位置画像が生成され、前記撮影画像及び前記推定位置画像に基づいて、前記対象物の認識処理が行われ、前記対象物の認識結果に基づいて、動作の制御が行われる。
本技術を適用した車両制御システムの構成例を示すブロック図である。 データ取得部及び車外情報検出部の第１の実施の形態を示すブロック図である。 画像処理モデルの構成例を示す図である。 物体認識モデルの構成例を示す図である。 画像処理モデルの学習システムの構成例を示す図である。 物体認識モデルの学習システムの構成例を示す図である。 画像処理モデルの学習処理を説明するためのフローチャートである。 画像処理モデルの学習処理を説明するための図である。 物体認識モデルの学習処理を説明するためのフローチャートである。 物体認識モデルの学習処理を説明するための図である。 対象物認識処理を説明するためのフローチャートである。 本技術の効果を説明するための図である。 本技術の効果を説明するための図である。 本技術の効果を説明するための図である。 データ取得部及び車外情報検出部の第２の実施の形態を示すブロック図である。 ミリ波レーダが高さ方向の分解能を有する場合の処理について説明するための図である。 ミリ波画像の変形例を示す図である。 コンピュータの構成例を示す図である。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．第１の実施の形態（カメラとミリ波レーダを用いた例）
２．第２の実施の形態（ＬｉＤＡＲを追加した例）
３．変形例
４．その他
＜＜１．第１の実施の形態＞＞
まず、図１乃至図１４を参照して、本技術の第１の実施の形態について説明する。
＜車両制御システム１００の構成例＞
図１は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。
なお、以下、車両制御システム１００が設けられている車両１０を他の車両と区別する場合、自車又は自車両と称する。
車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。
例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。
さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。
車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。
マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する。
動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。
緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
＜データ取得部１０２Ａ及び車外情報検出部１４１Ａの構成例＞
図２は、図１の車両制御システム１００のデータ取得部１０２及び車外情報検出部１４１の第１の実施の形態であるデータ取得部１０２Ａ及び車外情報検出部１４１Ａの構成例の一部を示している。
データ取得部１０２Ａは、カメラ２０１及びミリ波レーダ２０２を備える。車外情報検出部１４１Ａは、情報処理部２１１を備える。情報処理部２１１は、画像処理部２２１、信号処理部２２２、画像処理部２２３、及び、物体認識部２２４を備える。
カメラ２０１は、イメージセンサ２０１Ａを備える。イメージセンサ２０１Ａには、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ等の任意の種類のイメージセンサを用いることができる。カメラ２０１（イメージセンサ２０１Ａ）は、車両１０の前方を撮影し、得られた画像（以下、撮影画像と称する）を画像処理部２２１に供給する。
ミリ波レーダ２０２は、車両１０の前方のセンシングを行い、カメラ２０１とセンシング範囲の少なくとも一部が重なる。例えば、ミリ波レーダ２０２は、ミリ波からなる送信信号を車両１０の前方に送信し、車両１０の前方の物体（反射体）により反射された信号である受信信号を受信アンテナにより受信する。受信アンテナは、例えば、車両１０の横方向（幅方向）に所定の間隔で複数設けられる。また、受信アンテナを高さ方向にも複数設けるようにしてもよい。ミリ波レーダ２０２は、各受信アンテナにより受信した受信信号の強度を時系列に示すデータ（以下、ミリ波データと称する）を信号処理部２２２に供給する。
画像処理部２２１は、撮影画像に対して所定の画像処理を行う。例えば、画像処理部２２１は、撮影画像の各画素のＲ（赤）成分、Ｇ（緑）成分、及び、Ｂ（青）成分の補間処理を行い、撮影画像のＲ成分からなるＲ画像、Ｇ成分からなるＧ画像、及び、Ｂ成分からなるＢ画像を生成する。画像処理部２２１は、Ｒ画像、Ｇ画像、及び、Ｂ画像を物体認識部２２４に供給する。
信号処理部２２２は、ミリ波データに対して所定の信号処理を行うことにより、ミリ波レーダ２０２のセンシング結果を示す画像であるミリ波画像を生成する。信号処理部２２２は、ミリ波画像を画像処理部２２３に供給する。
画像処理部２２３は、ミリ波画像に対して所定の画像処理を行うことにより、撮影画像と同じ座標系における対象物の推定位置を示す推定位置画像を生成する。画像処理部２２３は、推定位置画像を物体認識部２２４に供給する。
物体認識部２２４は、Ｒ画像、Ｇ画像、Ｂ画像、及び、推定位置画像に基づいて、車両１０の前方の対象物の認識処理を行う。物体認識部２２４は、対象物の認識結果を示すデータを、自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
なお、対象物とは、物体認識部２２４により認識する対象となる物体であり、任意の物体を対象物とすることが可能である。ただし、ミリ波レーダ２０２の送信信号の反射率が高い部分を含む物体を対象物とすることが望ましい。以下、対象物が車両である場合を適宜例に挙げながら説明を行う。
＜画像処理モデル３０１の構成例＞
図３は、画像処理部２２３に用いられる画像処理モデル３０１の構成例を示している。
画像処理モデル３０１は、機械学習により得られるモデルである。具体的には、画像処理モデル３０１は、ディープニューラルネットワークを用い、機械学習の１つであるディープラーニングにより得られるモデルである。画像処理モデル３０１は、特徴量抽出部３１１、幾何変換部３１２、及び、デコンボリューション部３１３を備える。
特徴量抽出部３１１は、畳み込みニューラルネットを備える。具体的には、特徴量抽出部３１１は、畳み込み層３２１ａ乃至畳み込み層３２１ｃを備える。畳み込み層３２１ａ乃至畳み込み層３２１ｃは、畳み込み演算を行うことにより、ミリ波画像の特徴量を抽出し、ミリ波画像と同じ座標系における特徴量の分布を示す特徴マップを生成し、幾何変換部３１２に供給する。
幾何変換部３１２は、幾何変換層３２２ａ及び幾何変換層３２２ｂを備える。幾何変換層３２２ａ及び幾何変換層３２２ｂは、特徴マップの幾何変換を行い、特徴マップの座標系をミリ波画像の座標系から撮影画像の座標系に変換する。幾何変換部３１２は、幾何変換後の特徴マップをデコンボリューション部３１３に供給する。
デコンボリューション部３１３は、デコンボリューション層３２３ａ乃至デコンボリューション層３２３ｃを備える。デコンボリューション層３２３ａ乃至デコンボリューション層３２３ｃは、幾何変換後の特徴マップのデコンボリューションを行うことにより、推定位置画像を生成し、出力する。
＜物体認識モデル３５１の構成例＞
図４は、物体認識部２２４に用いられる物体認識モデル３５１の構成例を示している。
物体認識モデル３５１は、機械学習により得られるモデルである。具体的には、物体認識モデル３５１は、ディープニューラルネットワークを用い、機械学習の１つであるディープラーニングにより得られるモデルである。より具体的には、物体認識モデル３５１は、ディープニューラルネットワークを用いた物体認識モデルの１つであるＳＳＤ（Single Shot Multibox Detector）により構成される。物体認識モデル３５１は、特徴量抽出部３６１及び認識部３６２を備える。
特徴量抽出部３６１は、畳み込みニューラルネットワークを用いた畳み込み層であるＶＧＧ１６ ３７１を備える。ＶＧＧ１６ ３７１には、Ｒ画像、Ｇ画像、Ｂ画像、及び、推定位置画像を含む４チャネルの画像データＰが入力される。ＶＧＧ１６ ３７１は、Ｒ画像、Ｇ画像、Ｂ画像、及び、推定位置画像の特徴量をそれぞれ抽出し、各画像から抽出した特徴量を合成した特徴量の分布を２次元で表す合成特徴マップを生成する。合成特徴マップは、撮影画像と同じ座標系における特徴量の分布を示す。ＶＧＧ１６ ３７１は、合成特徴マップを認識部３６２に供給する。
認識部３６２は、畳み込みニューラルネットワークを備える。具体的には、認識部３６２は、畳み込み層３７２ａ乃至畳み込み層３７２ｆを備える。
畳み込み層３７２ａは、合成特徴マップの畳み込み演算を行う。畳み込み層３７２ａは、畳み込み演算後の合成特徴マップに基づいて、対象物の認識処理を行う。畳み込み層３７２ａは、畳み込み演算後の合成特徴マップを畳み込み層３７２ｂに供給する。
畳み込み層３７２ｂは、畳み込み層３７２ａから供給される合成特徴マップの畳み込み演算を行う。畳み込み層３７２ｂは、畳み込み演算後の合成特徴マップに基づいて、対象物の認識処理を行う。畳み込み層３７２ｂは、畳み込み演算後の合成特徴マップを畳み込み層３７２ｃに供給する。
畳み込み層３７２ｃは、畳み込み層３７２ｂから供給される合成特徴マップの畳み込み演算を行う。畳み込み層３７２ｃは、畳み込み演算後の合成特徴マップに基づいて、対象物の認識処理を行う。畳み込み層３７２ｃは、畳み込み演算後の合成特徴マップを畳み込み層３７２ｄに供給する。
畳み込み層３７２ｄは、畳み込み層３７２ｃから供給される合成特徴マップの畳み込み演算を行う。畳み込み層３７２ｄは、畳み込み演算後の合成特徴マップに基づいて、対象物の認識処理を行う。畳み込み層３７２ｄは、畳み込み演算後の合成特徴マップを畳み込み層３７２ｅに供給する。
畳み込み層３７２ｅは、畳み込み層３７２ｄから供給される合成特徴マップの畳み込み演算を行う。畳み込み層３７２ｅは、畳み込み演算後の合成特徴マップに基づいて、対象物の認識処理を行う。畳み込み層３７２ｅは、畳み込み演算後の合成特徴マップを畳み込み層３７２ｆに供給する。
畳み込み層３７２ｆは、畳み込み層３７２ｅから供給される合成特徴マップの畳み込み演算を行う。畳み込み層３７２ｆは、畳み込み演算後の合成特徴マップに基づいて、対象物の認識処理を行う。
物体認識モデル３５１は、畳み込み層３７２ａ乃至畳み込み層３７２ｆによる対象物の認識結果を示すデータを出力する。
なお、合成特徴マップのサイズ（画素数）は、畳み込み層３７２ａから順に小さくなり、畳み込み層３７２ｆで最小になる。そして、合成特徴マップのサイズが大きくなるほど、車両１０から見てサイズが小さい対象物の認識精度が高くなり、合成特徴マップのサイズが小さくなるほど、車両１０から見てサイズが大きい対象物の認識精度が高くなる。従って、例えば、対象物が車両である場合、サイズが大きい合成特徴マップでは、遠方の小さな車両が認識されやすくなり、サイズが小さい合成特徴マップでは、近くの大きな車両が認識されやすくなる。
＜学習システム４０１の構成例＞
図５は、学習システム４０１の構成例を示すブロック図である。
学習システム４０１は、図３の画像処理モデル３０１の学習処理を行う。学習システム４０１は、入力部４１１、正解データ生成部４１２、信号処理部４１３、教師データ生成部４１４、及び、学習部４１５を備える。
入力部４１１は、各種の入力デバイスを備え、教師データの生成に必要なデータの入力、及び、ユーザ操作等に用いられる。例えば、入力部４１１は、撮影画像が入力された場合、撮影画像を正解データ生成部４１２に供給する。例えば、入力部４１１は、ミリ波データが入力された場合、ミリ波データを信号処理部４１３に供給する。例えば、入力部４１１は、ユーザ操作により入力されたユーザの指示を示すデータを正解データ生成部４１２及び教師データ生成部４１４に供給する。
正解データ生成部４１２は、撮影画像に基づいて、正解データを生成する。例えば、ユーザは、入力部４１１を介して、撮影画像内の車両の位置を指定する。正解データ生成部４１２は、ユーザにより指定された車両の位置に基づいて、撮影画像内の車両の位置を示す正解データを生成する。正解データ生成部４１２は、正解データを教師データ生成部４１４に供給する。
信号処理部４１３は、図２の信号処理部２２２と同様の処理を行う。すなわし、信号処理部４１３は、ミリ波データに対して所定の信号処理を行い、ミリ波画像を生成する。信号処理部４１３は、ミリ波画像を教師データ生成部４１４に供給する。
教師データ生成部４１４は、ミリ波画像を含む入力データ、及び、正解データを含む教師データを生成する。教師データ生成部４１４は、教師データを学習部４１５に供給する。
学習部４１５は、教師データを用いて、画像処理モデル３０１の学習処理を行う。学習部４１５は、学習済みの画像処理モデル３０１を出力する。
＜学習システム４５１の構成例＞
図６は、学習システム４５１の構成例を示すブロック図である。
学習システム４５１は、図４の物体認識モデル３５１の学習処理を行う。学習システム４５１は、入力部４６１、画像処理部４６２、正解データ生成部４６３、信号処理部４６４、画像処理部４６５、教師データ生成部４６６、及び、学習部４６７を備える。
入力部４６１は、各種の入力デバイスを備え、教師データの生成に必要なデータの入力、及び、ユーザ操作等に用いられる。例えば、入力部４６１は、撮影画像が入力された場合、撮影画像を画像処理部４６２及び正解データ生成部４６３に供給する。例えば、入力部４６１は、ミリ波データが入力された場合、ミリ波データを信号処理部４６４に供給する。例えば、入力部４６１は、ユーザ操作により入力されたユーザの指示を示すデータを正解データ生成部４６３及び教師データ生成部４６６に供給する。
画像処理部４６２は、図２の画像処理部２２１と同様の処理を行う。すなわち、画像処理部４６２は、撮影画像に対して所定の画像処理を行うことにより、Ｒ画像、Ｇ画像、及び、Ｂ画像を生成する。画像処理部４６２は、Ｒ画像、Ｇ画像、及び、Ｂ画像を教師データ生成部４６６に供給する。
正解データ生成部４６３は、撮影画像に基づいて、正解データを生成する。例えば、ユーザは、入力部４６１を介して、撮影画像内の車両の位置を指定する。正解データ生成部４６３は、ユーザにより指定された車両の位置に基づいて、撮影画像内の車両の位置を示す正解データを生成する。正解データ生成部４６３は、正解データを教師データ生成部４６６に供給する。
信号処理部４６４は、図２の信号処理部２２２と同様の処理を行う。すなわし、信号処理部４６４は、ミリ波データに対して所定の信号処理を行い、ミリ波画像を生成する。信号処理部４６４は、ミリ波画像を画像処理部４６５に供給する。
画像処理部４６５は、図２の画像処理部２２３と同様の処理を行う。すなわち、画像処理部４６５は、ミリ波画像に基づいて、推定位置画像を生成する。画像処理部４６５は、推定位置画像を教師データ生成部４６６に供給する。
なお、画像処理部４６５には、学習済みの画像処理モデル３０１が用いられる。
教師データ生成部４６６は、Ｒ画像、Ｇ画像、Ｂ画像、及び、推定位置画像を含む４チャネルの画像データを含む入力データ、並びに、正解データを含む教師データを生成する。教師データ生成部４６６は、教師データを学習部４６７に供給する。
学習部４６７は、教師データを用いて、物体認識モデル３５１の学習処理を行う。学習部４６７は、学習済みの物体認識モデル３５１を出力する。
＜画像処理モデル学習処理＞
次に、図７のフローチャートを参照して、学習システム４０１により実行される画像処理モデル学習処理について説明する。
なお、この処理の開始前に、教師データの生成に用いられるデータが収集される。例えば、車両１０が実際に走行した状態で、車両１０に設けられたカメラ２０１及びミリ波レーダ２０２が車両１０の前方のセンシングを行う。具体的には、カメラ２０１は、車両１０の前方の撮影を行い、得られた撮影画像を記憶部１１１に記憶させる。ミリ波レーダ２０２は、車両１０の前方の物体の検出を行い、得られたミリ波データを記憶部１１１に記憶させる。この記憶部１１１に蓄積された撮影画像及びミリ波データに基づいて教師データが生成される。
ステップＳ１において、学習システム４０１は、教師データを生成する。
例えば、ユーザは、入力部４１１を介して、略同時に取得された撮影画像及びミリ波データを学習システム４０１に入力する。すなわち、略同じ時刻にセンシングすることにより得られた撮影画像及びミリ波データが、学習システム４０１に入力される。撮影画像は、正解データ生成部４１２に供給され、ミリ波データは、信号処理部４１３に供給される。
また、ユーザは、入力部４１１を介して、撮影画像内の対象物が存在する領域を指定する。正解データ生成部４１２は、ユーザにより指定された対象物が存在する領域を示す２値画像からなる正解データを生成する。
例えば、ユーザは、入力部４１１を介して、図８の撮影画像５０２内の対象物である車両が存在する領域を矩形の枠で囲む。正解データ生成部４１２は、枠で囲まれた部分を白で塗り潰し、その他の部分を黒で塗り潰すことにより２値化した画像である正解データ５０３を生成する。
正解データ生成部４１２は、正解データを教師データ生成部４１４に供給する。
信号処理部４１３は、ミリ波データに対して所定の信号処理を行うことにより、車両１０の前方において送信信号を反射した物体の位置及び速度を推定する。物体の位置は、例えば、車両１０から物体までの距離、及び、ミリ波レーダ２０２の光軸方向（車両１０の進行方向）に対する物体の方向（角度）により表される。なお、ミリ波レーダ２０２の光軸方向は、例えば、送信信号が放射状に送信される場合、放射される範囲の中心方向と等しくなり、送信信号が走査される場合、走査される範囲の中心方向と等しくなる。物体の速度は、例えば、車両１０に対する物体の相対速度により表される。信号処理部４１３は、物体の位置の推定結果に基づいて、ミリ波画像を生成する。
例えば、図８のミリ波画像５０１が生成される。ミリ波画像５０１のｘ軸は、ミリ波レーダ２０２の光軸方向（車両１０の進行方向）に対する物体の角度を示し、ｙ軸は、物体までの距離を示している。また、ミリ波画像５０１において、ｘ軸及びｙ軸により示される位置の物体により反射された信号（受信信号）の強度が、色又は濃度により示される。
信号処理部４１３は、ミリ波画像を教師データ生成部４１４に供給する。
教師データ生成部４１４は、ミリ波画像を含む入力データ、及び、正解データを含む教師データを生成する。例えば、ミリ波画像５０１を含む入力データ、及び、正解データ５０３を含む教師データが生成される。教師データ生成部４１４は、生成した教師データを学習部４１５に供給する。
ステップＳ２において、学習部４１５は、画像処理モデルの学習を行う。具体的には、学習部４１５は、画像処理モデル３０１に入力データを入力する。画像処理モデル３０１は、入力データに含まれるミリ波画像に基づいて、推定位置画像を生成する。
例えば、図８のミリ波画像５０１に基づいて、推定位置画像５０４が生成される。推定位置画像５０４は、撮影画像５０２と同じ座標系のグレースケールの画像である。撮影画像５０２と推定位置画像５０４とは、車両１０の前方を略同じ視点から見た画像となる。推定位置画像５０４においては、対象物が存在する領域に含まれる可能性が高い画素ほど明るくなり、対象物が存在する領域に含まれる可能性が低い画素ほど暗くなる。
学習部４１５は、推定位置画像と正解データとを比較し、比較した結果に基づいて、画像処理モデル３０１のパラメータ等を調整する。例えば、学習部４１５は、推定位置画像５０４を正解データ５０３と比較し、誤差が小さくなるように、画像処理モデル３０１のパラメータ等を調整する。
ステップＳ３において、学習部４１５は、学習を継続するか否かを判定する。例えば、学習部４１５は、画像処理モデル３０１の学習が収束していない場合、学習を継続すると判定し、処理はステップＳ１に戻る。
その後、ステップＳ３において、学習を終了すると判定されるまで、ステップＳ１乃至ステップＳ３の処理が繰り返し実行される。
一方、ステップＳ３において、例えば、学習部４１５は、画像処理モデル３０１の学習が収束している場合、学習を終了すると判定し、画像処理モデル学習処理を終了する。
以上のようにして、学習済みの画像処理モデル３０１が生成される。
＜物体認識モデル学習処理＞
次に、図９のフローチャートを参照して、学習システム４５１により実行される物体認識モデル学習処理について説明する。
なお、この処理の開始前に、図７の画像処理モデル学習処理の開始前と同様に、教師データの生成に用いられるデータが収集される。なお、画像処理モデル学習処理と物体認識モデル学習処理とで、同じ撮影画像及びミリ波データを用いることが可能である。
ステップＳ５１において、学習システム４５１は、教師データを生成する。
例えば、ユーザは、入力部４６１を介して、略同時に取得された撮影画像及びミリ波データを学習システム４５１に入力する。すなわち、略同じ時刻にセンシングすることにより得られた撮影画像及びミリ波データが、学習システム４５１に入力される。撮影画像は、画像処理部４６２及び正解データ生成部４６３に供給され、ミリ波データは、信号処理部４６４に供給される。
画像処理部４６２は、撮影画像の各画素のＲ成分、Ｇ成分、及び、Ｂ成分の補間処理を行い、撮影画像のＲ成分からなるＲ画像、Ｇ成分からなるＧ画像、及び、Ｂ成分からなるＢ画像を生成する。例えば、図１０の撮影画像５５１から、Ｒ画像５５２Ｒ、Ｇ画像５５２Ｇ、及び、Ｂ画像５５２Ｂが生成される。画像処理部４６２は、Ｒ画像、Ｇ画像、及び、Ｂ画像を教師データ生成部４６６に供給する。
信号処理部４６４は、図７のステップＳ１の信号処理部４１３と同様の処理により、ミリ波データに基づいて、ミリ波画像を生成する。例えば、図１０のミリ波画像５５３が生成される。信号処理部４６４は、ミリ波画像を画像処理部４６５に供給する。
画像処理部４６５は、画像処理モデル３０１にミリ波画像を入力することにより、推定位置画像を生成する。例えば、図１０のミリ波画像５５３から推定位置画像５５４が生成される。画像処理部４６２は、推定位置画像を教師データ生成部４６６に供給する。
また、ユーザは、入力部４６１を介して、撮影画像内の対象物が存在する位置を指定する。正解データ生成部４６３は、ユーザにより指定された対象物の位置に基づいて、撮影画像内の車両の位置を示す正解データを生成する。例えば、図１０の撮影画像５５１から、撮影画像５５１内の対象物である車両を枠で囲んだ正解データ５５５が生成される。正解データ生成部４６３は、正解データを教師データ生成部４６６に供給する。
教師データ生成部４６６は、Ｒ画像、Ｂ画像、Ｇ画像、及び、推定位置画像の４チャネルの画像データを含む入力データ、並びに、正解データを含む教師データを生成する。例えば、Ｒ画像５５２Ｒ、Ｇ画像５５２Ｇ、Ｂ画像５５２Ｂ、及び、推定位置画像５５４の４チャネルの画像データを含む入力データ、並びに、正解データ５５５を含む教師データが生成される。教師データ生成部４６６は、教師データを学習部４６７に供給する。
ステップＳ５２において、学習部４６７は、物体認識モデル３５１の学習を行う。具体的には、学習部４６７は、教師データに含まれる入力データを物体認識モデル３５１に入力する。物体認識モデル３５１は、入力データに含まれるＲ画像、Ｇ画像、Ｂ画像、及び、推定位置画像に基づいて、撮影画像５５１内の対象物を認識し、認識結果を示す認識結果データを生成する。例えば、図１０の認識結果データ５５６が生成される。認識結果データ５５６では、認識した対象物である車両が枠で囲まれている。
学習部４６７は、認識結果データを正解データと比較し、比較した結果に基づいて、物体認識モデル３５１のパラメータ等を調整する。例えば、学習部４６７は、認識結果データ５５６を正解データ５５５と比較し、誤差が小さくなるように、物体認識モデル３５１のパラメータ等を調整する。
ステップＳ５３において、学習部４６７は、学習を継続するか否かを判定する。例えば、学習部４６７は、物体認識モデル３５１の学習が収束していない場合、学習を継続すると判定し、処理はステップＳ５１に戻る。
その後、ステップＳ５３において、学習を終了すると判定されるまで、ステップＳ５１乃至ステップＳ５３の処理が繰り返し実行される。
一方、ステップＳ５３において、例えば、学習部４６７は、物体認識モデル３５１の学習が収束している場合、学習を終了すると判定し、物体認識モデル学習処理を終了する。
以上のようにして、学習済みの物体認識モデル３５１が生成される。
＜対象物認識処理＞
次に、図１１のフローチャートを参照して、車両１０により実行される対象物認識処理について説明する。
この処理は、例えば、車両１０を起動し、運転を開始するための操作が行われたとき、例えば、車両１０のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオンされたとき開始される。また、この処理は、例えば、車両１０の運転を終了するための操作が行われたとき、例えば、車両１０のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオフされたとき終了する。
ステップＳ１０１において、カメラ２０１及びミリ波レーダ２０２は、車両１０の前方のセンシングを行う。
具体的には、カメラ２０１は、車両１０の前方を撮影し、得られた撮影画像を画像処理部２２１に供給する。
ミリ波レーダ２０２は、車両１０の前方に送信信号を送信し、車両１０の前方の物体により反射された信号である受信信号を複数の受信アンテナにより受信する。ミリ波レーダ２０２は、各受信アンテナにより受信した受信信号の強度を時系列に示すミリ波データを信号処理部２２２に供給する。
ステップＳ１０２において、画像処理部２２１は、撮影画像の前処理を行う。具体的には、画像処理部２２１は、図９のステップＳ５１の画像処理部４６２と同様の処理を行うことにより、撮影画像に基づいて、Ｒ画像、Ｇ画像、及び、Ｂ画像を生成する。画像処理部２２１は、Ｒ画像、Ｇ画像、及び、Ｂ画像を物体認識部２２４に供給する。
ステップＳ１０３において、信号処理部２２２は、ミリ波画像を生成する。具体的には、信号処理部２２２は、図７のステップＳ１の信号処理部４１３と同様の処理を行うことにより、ミリ波データに基づいて、ミリ波画像を生成する。信号処理部２２２は、ミリ波画像を画像処理部２２３に供給する。
ステップＳ１０４において、画像処理部２２３は、ミリ波画像に基づいて、推定位置画像を生成する。具体的には、画像処理部２２３は、図９のステップＳ５１の画像処理部４６５と同様の処理を行うことにより、ミリ波画像に基づいて、推定位置画像を生成する。画像処理部２２３は、推定位置画像を物体認識部２２４に供給する。
ステップＳ１０５において、物体認識部２２４は、撮影画像及び推定位置画像に基づいて、対象物の認識処理を行う。具体的には、物体認識部２２４は、Ｒ画像、Ｇ画像、Ｂ画像、及び、推定位置画像の４チャネルの画像データを含む入力データを物体認識モデル３５１に入力する。物体認識モデル３５１は、入力データに基づいて、車両１０の前方の対象物の認識処理を行う。
物体認識部２２４は、対象物の認識結果を示すデータを、例えば、自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
自己位置推定部１３２は、対象物の認識結果等に基づいて、車両１０の位置及び姿勢等の推定処理を行う。
マップ解析部１５１は、対象物の認識結果等に基づいて、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。
交通ルール認識部１５２は、対象物の認識結果等に基づいて、車両１０の周囲の交通ルールの認識処理を行う。
状況認識部１５３は、対象物の認識結果等に基づいて、車両１０の周囲の状況の認識処理を行う。
緊急事態回避部１７１は、対象物の認識結果等に基づいて、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための車両１０の動作を計画する。
その後、処理はステップＳ１０１に戻り、ステップＳ１０１以降の処理が実行される。
以上のようにして、車両１０の前方の対象物の認識精度を向上させることができる。
図１２は、カメラ２０１（イメージセンサ２０１Ａ）のみを用いた場合、ミリ波レーダ２０２のみを用いた場合、及び、カメラ２０１とミリ波レーダ２０２の両方を用いた場合の対象物の認識特性を比較したレーダチャートである。チャート６０１は、カメラ２０１のみを用いた場合の認識特性を示している。チャート６０２は、ミリ波レーダ２０２のみを用いた場合の認識特性を示している。チャート６０３は、カメラ２０１とミリ波レーダ２０２の両方を用いた場合の認識特性を示している。
このレーダチャートは、距離精度、非干渉性能、物質非依存性、悪天候、夜間走行、及び、水平角度分解能の６つの軸により表されている。
距離精度の軸は、物体の距離の検出精度を示している。この軸の値は、物体の距離の検出精度が高くなるほど大きくなり、物体の距離の検出精度が低くなるほど小さくなる。
非干渉性能の軸は、他の電磁波による干渉の受けにくさを示している。この軸の値は、他の電磁波による干渉を受けにくくなるほど大きくなり、他の電磁波による干渉を受けやすくなるほど小さくなる。
物質非依存性の軸は、物質の種類による認識精度の影響の受けにくさを示している。この軸の値は、物質の種類により認識精度が影響を受けにくくなるほど大きくなり、物質の種類により認識精度が影響を受けやすくなるほど小さくなる。
悪天候の軸は、悪天候時の物体の認識精度を示している。この軸の値は、悪天候時の物体の認識精度が高くなるほど大きくなり、悪天候時の物体の認識精度が低くなるほど小さくなる。
夜間走行の軸は、夜間走行時の物体の認識精度を示している。この軸の値は、夜間走行時の物体の認識精度が高くなるほど大きくなり、夜間走行時の物体の認識精度が低くなるほど小さくなる。
水平角度分解能の軸は、認識した物体の位置の水平方向（横方向）の角度分解能を示している。この軸の値は、水平角度分解能が高くなるほど大きくなり、水平角度分解能が低くなるほど小さくなる。
カメラ２０１は、非干渉性能、物質非依存性、及び、水平角度分解能の項目において、ミリ波レーダ２０２より優れている。一方、ミリ波レーダ２０２は、距離精度、悪天候時の認識精度、及び、夜間走行時の認識精度の項目において、カメラ２０１より優れている。従って、カメラ２０１とミリ波レーダ２０２の両方を用いて、認識結果をフュージョンすることにより、お互いの弱点を補うことができ、対象物の認識精度が向上する。
例えば、図１３のＡは、カメラ２０１のみを用いて車両の認識処理を行った場合の認識結果の例を示し、図１３のＢは、カメラ２０１とミリ波レーダ２０２の両方を用いて車両の認識処理を行った場合の認識結果の例を示している。
両方の場合とも、車両６２１乃至車両６２３は認識されている。一方、カメラ２０１のみを用いた場合、車両６２２及び車両６２３により一部が隠れている車両６２４の認識に失敗している。これに対して、カメラ２０１及びミリ波レーダ２０２の両方を用いた場合、車両６２４の認識に成功している。
例えば、図１４のＡは、カメラ２０１のみを用いて車両の認識処理を行った場合の認識結果の例を示し、図１４のＢは、カメラ２０１とミリ波レーダ２０２の両方を用いて車両の認識処理を行った場合の認識結果の例を示している。
両方の場合とも、車両６４１は認識されている。一方、カメラ２０１のみを用いた場合、色及び形状が特殊な車両６４２の認識に失敗している。これに対して、カメラ２０１及びミリ波レーダ２０２の両方を用いた場合、車両６４２の認識に成功している。
また、ミリ波画像の代わりに、推定位置画像を用いて対象物の認識処理を行うことにより、対象物の認識精度が向上する。
具体的には、ミリ波画像を幾何変換し、撮影画像と座標系を合わせた推定位置画像を用いて、物体認識モデル３５１の学習が行われる。その結果、撮影画像の各画素と、推定位置画像の反射ポイント（受信信号の強度が強い位置）のマッチングが容易になり、学習精度が向上する。また、推定位置画像では、ミリ波画像に含まれる、車両１０の前方の対象物以外から反射された受信信号の成分（すなわち、対象物の認識処理に不要な成分）が削減される。従って、推定位置画像を用いることにより、対象物の認識精度が向上する。
＜＜２．第２の実施の形態＞＞
次に、図１５を参照して、本技術の第２の実施の形態について説明する。
＜データ取得部１０２Ｂ及び車外情報検出部１４１Ｂの構成例＞
図１５は、図１の車両制御システム１００のデータ取得部１０２及び車外情報検出部１４１の第２の実施の形態であるデータ取得部１０２Ｂ及び車外情報検出部１４１Ｂの構成例を示している。なお、図中、図２と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。
データ取得部１０２Ｂは、データ取得部１０２Ａと比較して、カメラ２０１及びミリ波レーダ２０２を備える点で一致し、ＬｉＤＡＲ７０１を備える点が異なる。
車外情報検出部１４１Ｂは、車外情報検出部１４１Ａと比較して、情報処理部２１１の代わりに情報処理部７１１を備える点が異なる。情報処理部７１１は、情報処理部２１１と比較して、画像処理部２２１、信号処理部２２２、及び、画像処理部２２３を備える点で一致する。一方、情報処理部７１１は、情報処理部２１１と比較して、物体認識部２２４の代わりに物体認識部７２３が設けられ、信号処理部７２１及び画像処理部７２２が追加されている点が異なる。
ＬｉＤＡＲ７０１は、車両１０の前方のセンシングを行い、カメラ２０１とセンシング範囲の少なくとも一部が重なる。例えば、ＬｉＤＡＲ７０１は、レーザパルスを車両１０の前方において、横方向及び高さ方向に走査し、レーザパルスの反射光を受光する。ＬｉＤＡＲ７０１は、反射光の受光に要した時間に基づいて、車両１０の前方の物体までの距離を計算し、計算した結果に基づいて、車両１０の前方の物体の形状や位置を示す３次元の点群データ（ポイントクラウド）を生成する。ＬｉＤＡＲ７０１は、点群データを信号処理部７２１に供給する。
信号処理部７２１は、点群データに対して所定の信号処理（例えば、補間処理又は間引き処理等）を行い、信号処理後の点群データを画像処理部７２２に供給する。
画像処理部７２２は、点群データに対して所定の画像処理を行うことにより、画像処理部２２３と同様に、撮影画像と同じ座標系における対象物の推定位置を示す推定位置画像を生成する。画像処理部７２２は、推定位置画像を物体認識部７２３に供給する。
なお、詳細な説明は省略するが、画像処理部７２２には、例えば、図３の画像処理モデル３０１と同様の画像処理モデルが用いられる。画像処理部７２２用の画像処理モデルは、点群データを含む入力データ、並びに、撮影画像に基づいて生成された正解データを含む教師データを用いて学習される。
なお、以下、画像処理部２２３によりミリ波画像に基づいて生成される推定位置画像をミリ波推定位置画像と称し、画像処理部７２２により点群データに基づいて生成される推定位置画像を点群推定位置画像と称する。
物体認識部７２３は、Ｒ画像、Ｇ画像、Ｂ画像、ミリ波推定位置画像、及び、点群推定位置画像に基づいて、車両１０の前方の対象物の認識処理を行う。物体認識部７２３は、対象物の認識結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
なお、詳細な説明は省略するが、物体認識部７２３には、例えば、図４の物体認識モデル３５１と同様の物体認識モデルが用いられる。物体認識部７２３用の物体認識モデルは、Ｒ画像、Ｇ画像、Ｂ画像、ミリ波推定位置画像、及び、点群推定位置画像の５チャネルの画像データを含む入力データ、並びに、撮影画像に基づいて生成された正解データを含む教師データを用いて学習される。
このように、ＬｉＤＡＲ７０１を加えることにより、さらに対象物の認識精度が向上する。
＜＜３．変形例＞＞
以下、上述した本技術の実施の形態の変形例について説明する。
以上では、車両を認識対象とする例を中心に説明したが、上述したように、車両以外の任意の物体を認識対象とすることができる。例えば、認識対象にしたい対象物の位置を示す正解データを含む教師データを用いて、画像処理モデル３０１及び物体認識モデル３５１の学習処理を行うようにすればよい。
また、本技術は、複数の種類の対象物を認識する場合にも適用することが可能である。例えば、各対象物の位置とラベル（対象物の種類）を示す正解データを含む教師データを用いて、画像処理モデル３０１及び物体認識モデル３５１の学習処理を行うようにすればよい。
さらに、図７及び図９では、教師データを生成しながら学習処理を行う例を示したが、例えば、事前に必要な教師データを作成してから、学習処理を行うようにしてもよい。
また、以上の説明では、車両１０の前方の対象物を認識する例を示したが、本技術は、車両１０の周囲の他の方向の対象物を認識する場合にも適用することができる。
さらに、本技術は、車両以外の移動体の周囲の対象物を認識する場合にも適用することが可能である。例えば、自動二輪車、自転車、パーソナルモビリティ、飛行機、船舶、建設機械、農業機械（トラクター）等の移動体が想定される。また、本技術が適用可能な移動体には、例えば、ドローン、ロボット等のユーザが搭乗せずにリモートで運転（操作）する移動体も含まれる。
また、本技術は、例えば、監視システム等、固定された場所で対象物の認識処理を行う場合にも適用することができる。
さらに、図３の画像処理モデル３０１及び図４の物体認識モデル３５１は、その一例であり、機械学習により生成される他のモデルを用いることも可能である。
また、本技術は、カメラ（イメージセンサ）とＬｉＤＡＲを組み合わせて対象物の認識処理を行う場合にも適用することができる。
さらに、本技術は、ミリ波レーダ及びＬｉＤＡＲ以外の物体の検出を行うセンサを用いる場合にも適用することができる。
また、本技術は、ミリ波レーダが高さ方向の分解能を持つ場合、すなわち、ミリ波レーダが、物体の高さ方向の位置（角度）を検出することが可能な場合にも適用することができる。
例えば、ミリ波レーダの高さ方向の分解能が６である場合、図１６に示されるように、ミリ波データに基づいて、異なる高さに対応するミリ波画像８０１ａ乃至ミリ波画像８０１ｆが生成される。この場合、例えば、ミリ波画像８０１ａ乃至ミリ波画像８０１ｆの６チャネルの画像データ８０２を含む入力データを含む教師データを用いて、画像処理モデル３０１の学習を行うようにすればよい。
或いは、例えば、ミリ波画像８０１ａ乃至ミリ波画像８０１ｆを合成する等により１つのミリ波画像を生成し、生成したミリ波画像を含む入力データを含む教師データを用いて、画像処理モデル３０１の学習を行うようにしてもよい。
さらに、例えば、図１７のＡのミリ波画像８２１の代わりに、図１７のＢのミリ波画像８２２を用いるようにしてもよい。
ミリ波画像８２１では、図８のミリ波画像５０１と同様に、ｘ軸がミリ波レーダ２０２の光軸方向に対する物体の角度を示し、ｙ軸が物体までの距離を示している。
一方、ミリ波画像８２２では、ｘ軸が横方向（車両１０の幅方向）を示し、ｙ軸がミリ波レーダ２０２の光軸方向（車両１０の進行方向）を示している。ミリ波画像８２２は、車両１０の前方の物体の位置、及び、各物体の反射強度、すなわち、車両１０の前方の物体により反射された受信信号の強度の分布を鳥瞰図により表している。
ミリ波画像８２２は、ミリ波画像８２１に基づいて生成され、ミリ波画像８２１と比較して、車両１０の前方の物体の位置を視覚的に把握しやすい。しかし、ミリ波画像８２１からミリ波画像８２２に変換する際に、情報の一部が失われるため、ミリ波画像８２１をそのまま用いた方が、対象物の認識精度が高くなる。
＜＜４．その他＞＞
＜コンピュータの構成例＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータ１０００において、CPU（Central Processing Unit）１００１，ROM（Read Only Memory）１００２，RAM（Random Access Memory）１００３は、バス１００４により相互に接続されている。
バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記録部１００８、通信部１００９、及びドライブ１０１０が接続されている。
入力部１００６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記録部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
以上のように構成されるコンピュータ１０００では、CPU１００１が、例えば、記録部１００８に記録されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ１０００では、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記録部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記録部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記録部１００８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。
（１）
イメージセンサとセンシング範囲の少なくとも一部が重なるセンサのセンシング結果を第１の座標系により表すセンサ画像に基づいて、前記イメージセンサにより得られる撮影画像と同じ第２の座標系における対象物の推定位置を示す推定位置画像を生成する画像処理部と、
前記撮影画像及び前記推定位置画像に基づいて、前記対象物の認識処理を行う物体認識部と
を備える情報処理装置。
（２）
前記画像処理部は、機械学習により得られる画像処理モデルを用いて前記推定位置画像を生成する
前記（１）に記載の情報処理装置。
（３）
前記画像処理モデルは、前記センサ画像を含む入力データ、並びに、前記撮影画像における前記対象物の位置を示す正解データを含む教師データを用いて学習される
前記（２）に記載の情報処理装置。
（４）
前記正解データは、前記撮影画像において前記対象物が存在する領域を示す２値画像である
前記（３）に記載の情報処理装置。
（５）
前記画像処理モデルは、ディープニューラルネットワークを用いたモデルである
前記（３）又は（４）に記載の情報処理装置。
（６）
前記画像処理モデルは、
前記センサ画像の特徴量を抽出し、前記第１の座標系における前記特徴量の分布を示す特徴マップを生成する特徴量抽出部と、
前記第１の座標系の前記特徴マップを前記第２の座標系の前記特徴マップに変換する幾何変換部と、
前記第２の座標系の前記特徴マップのデコンボリューションを行い、前記推定位置画像を生成するデコンボリューション部と
を備える前記（５）に記載の情報処理装置。
（７）
前記物体認識部は、機械学習により得られる物体認識モデルを用いて、前記対象物の認識処理を行う
前記（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
前記物体認識モデルは、前記撮影画像及び前記推定位置画像を含む入力データ、並びに、前記撮影画像における前記対象物の位置を示す正解データを含む教師データを用いて学習される
前記（７）に記載の情報処理装置。
（９）
前記物体認識モデルは、ディープニューラルネットワークを用いたモデルである
前記（８）に記載の情報処理装置。
（１０）
前記物体認識モデルは、
前記撮影画像及び前記推定位置画像の特徴量を抽出する第１の畳み込みニューラルネットワークと、
前記撮影画像及び前記推定位置画像の特徴量に基づいて前記対象物を認識する第２の畳み込みニューラルネットワークと
を備える前記（９）に記載の情報処理装置。
（１１）
前記イメージセンサ及び前記センサは、移動体の周囲のセンシングを行い、
前記物体認識部は、前記移動体の周囲の前記対象物の認識処理を行う
前記（１）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
前記センサは、ミリ波レーダを含み、
前記センサ画像は、前記ミリ波レーダからの送信信号を反射した物体の位置を示す
前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
前記第１の座標系は、前記ミリ波レーダの光軸方向に対する角度を示す軸、及び、前記物体までの距離を示す軸により表される
前記（１２）に記載の情報処理装置。
（１４）
前記ミリ波レーダは、高さ方向の分解能を持ち、
前記画像処理部は、異なる高さに対応する複数の前記センサ画像に基づいて、前記推定位置画像を生成する
前記（１２）に記載の情報処理装置。
（１５）
前記センサは、ＬｉＤＡＲ（Light Detection and Ranging）を含み、
前記センサ画像は、前記ＬｉＤＡＲにより得られる点群データである
前記（１）乃至（１４）のいずれかに記載の情報処理装置。
（１６）
情報処理装置が、
イメージセンサとセンシング範囲の少なくとも一部が重なるセンサのセンシング結果を第１の座標系により表すセンサ画像に基づいて、前記イメージセンサにより得られる撮影画像と同じ第２の座標系における対象物の推定位置を示す推定位置画像を生成し、
前記撮影画像及び前記推定位置画像に基づいて、前記対象物の認識処理を行う
情報処理方法。
（１７）
イメージセンサとセンシング範囲の少なくとも一部が重なるセンサのセンシング結果を第１の座標系により表すセンサ画像に基づいて、前記イメージセンサにより得られる撮影画像と同じ第２の座標系における対象物の推定位置を示す推定位置画像を生成し、
前記撮影画像及び前記推定位置画像に基づいて、前記対象物の認識処理を行う
処理をコンピュータに実行させるためのプログラム。
（１８）
移動体の周囲を撮影するイメージセンサとセンシング範囲の少なくとも一部が重なるセンサのセンシング結果を第１の座標系により表すセンサ画像に基づいて、前記イメージセンサにより得られる撮影画像と同じ第２の座標系における対象物の推定位置を示す推定位置画像を生成する画像処理部と、
前記撮影画像及び前記推定位置画像に基づいて、前記対象物の認識処理を行う物体認識部と、
前記対象物の認識結果に基づいて、前記移動体の動作の制御を行う動作制御部と
を備える移動体制御装置。
（１９）
イメージセンサと、
前記イメージセンサとセンシング範囲の少なくとも一部が重なるセンサと、
前記センサのセンシング結果を第１の座標系により表すセンサ画像に基づいて、前記イメージセンサにより得られる撮影画像と同じ第２の座標系における対象物の推定位置を示す推定位置画像を生成する画像処理部と、
前記撮影画像及び前記推定位置画像に基づいて、前記対象物の認識処理を行う物体認識部と、
前記対象物の認識結果に基づいて、動作の制御を行う動作制御部と
を備える移動体。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
１０ 車両， １００ 車両制御システム， １０２，１０２Ａ，１０２Ｂ データ取得部， １０７ 駆動系制御部， １０８ 駆動系システム， １３５ 動作制御部， １４１，１４１Ａ，１４１Ｂ 車外情報検出部， ２０１ カメラ， ２０１Ａ イメージセンサ， ２０２ ミリ波レーダ， ２１１ 情報処理部， ２２１ 画像処理部， ２２２ 信号処理部， ２２３ 画像処理部， ２２４ 物体認識部， ３０１ 画像処理モデル， ３１１ 特徴量抽出部， ３１２ 幾何変換部， ３１３ デコンボリューション部， ３５１ 物体認識モデル， ３６１ 特徴量抽出部， ３６２ 認識部， ４０１ 学習システム， ４１４ 教師データ生成部， ４１５ 学習部， ４５１ 学習システム， ４６６ 教師データ生成部， ４６７ 学習部， ７０１ ＬｉＤＡＲ， ７１１ 情報処理部， ７２１ 信号処理部， ７２２ 画像処理部， ７２３ 物体認識部

Claims (19)

  1. イメージセンサとセンシング範囲の少なくとも一部が重なるセンサのセンシング結果を第１の座標系により表すセンサ画像に基づいて、前記イメージセンサにより得られる撮影画像と同じ第２の座標系における対象物の推定位置を示す推定位置画像を生成する画像処理部と、
    前記撮影画像及び前記推定位置画像に基づいて、前記対象物の認識処理を行う物体認識部と
    を備える情報処理装置。
  2. 前記画像処理部は、機械学習により得られる画像処理モデルを用いて前記推定位置画像を生成する
    請求項１に記載の情報処理装置。
  3. 前記画像処理モデルは、前記センサ画像を含む入力データ、並びに、前記撮影画像における前記対象物の位置を示す正解データを含む教師データを用いて学習される
    請求項２に記載の情報処理装置。
  4. 前記正解データは、前記撮影画像において前記対象物が存在する領域を示す２値画像である
    請求項３に記載の情報処理装置。
  5. 前記画像処理モデルは、ディープニューラルネットワークを用いたモデルである
    請求項３に記載の情報処理装置。
  6. 前記画像処理モデルは、
    前記センサ画像の特徴量を抽出し、前記第１の座標系における前記特徴量の分布を示す特徴マップを生成する特徴量抽出部と、
    前記第１の座標系の前記特徴マップを前記第２の座標系の前記特徴マップに変換する幾何変換部と、
    前記第２の座標系の前記特徴マップのデコンボリューションを行い、前記推定位置画像を生成するデコンボリューション部と
    を備える請求項５に記載の情報処理装置。
  7. 前記物体認識部は、機械学習により得られる物体認識モデルを用いて、前記対象物の認識処理を行う
    請求項１に記載の情報処理装置。
  8. 前記物体認識モデルは、前記撮影画像及び前記推定位置画像を含む入力データ、並びに、前記撮影画像における前記対象物の位置を示す正解データを含む教師データを用いて学習される
    請求項７に記載の情報処理装置。
  9. 前記物体認識モデルは、ディープニューラルネットワークを用いたモデルである
    請求項８に記載の情報処理装置。
  10. 前記物体認識モデルは、
    前記撮影画像及び前記推定位置画像の特徴量を抽出する第１の畳み込みニューラルネットワークと、
    前記撮影画像及び前記推定位置画像の特徴量に基づいて前記対象物を認識する第２の畳み込みニューラルネットワークと
    を備える請求項９に記載の情報処理装置。
  11. 前記イメージセンサ及び前記センサは、移動体の周囲のセンシングを行い、
    前記物体認識部は、前記移動体の周囲の前記対象物の認識処理を行う
    請求項１に記載の情報処理装置。
  12. 前記センサは、ミリ波レーダを含み、
    前記センサ画像は、前記ミリ波レーダからの送信信号を反射した物体の位置を示す
    請求項１に記載の情報処理装置。
  13. 前記第１の座標系は、前記ミリ波レーダの光軸方向に対する角度を示す軸、及び、前記物体までの距離を示す軸により表される
    請求項１２に記載の情報処理装置。
  14. 前記ミリ波レーダは、高さ方向の分解能を持ち、
    前記画像処理部は、異なる高さに対応する複数の前記センサ画像に基づいて、前記推定位置画像を生成する
    請求項１２に記載の情報処理装置。
  15. 前記センサは、ＬｉＤＡＲ（Light Detection and Ranging）を含み、
    前記センサ画像は、前記ＬｉＤＡＲにより得られる点群データである
    請求項１に記載の情報処理装置。
  16. 情報処理装置が、
    イメージセンサとセンシング範囲の少なくとも一部が重なるセンサのセンシング結果を第１の座標系により表すセンサ画像に基づいて、前記イメージセンサにより得られる撮影画像と同じ第２の座標系における対象物の推定位置を示す推定位置画像を生成し、
    前記撮影画像及び前記推定位置画像に基づいて、前記対象物の認識処理を行う
    情報処理方法。
  17. イメージセンサとセンシング範囲の少なくとも一部が重なるセンサのセンシング結果を第１の座標系により表すセンサ画像に基づいて、前記イメージセンサにより得られる撮影画像と同じ第２の座標系における対象物の推定位置を示す推定位置画像を生成し、
    前記撮影画像及び前記推定位置画像に基づいて、前記対象物の認識処理を行う
    処理をコンピュータに実行させるためのプログラム。
  18. 移動体の周囲を撮影するイメージセンサとセンシング範囲の少なくとも一部が重なるセンサのセンシング結果を第１の座標系により表すセンサ画像に基づいて、前記イメージセンサにより得られる撮影画像と同じ第２の座標系における対象物の推定位置を示す推定位置画像を生成する画像処理部と、
    前記撮影画像及び前記推定位置画像に基づいて、前記対象物の認識処理を行う物体認識部と、
    前記対象物の認識結果に基づいて、前記移動体の動作の制御を行う動作制御部と
    を備える移動体制御装置。
  19. イメージセンサと、
    前記イメージセンサとセンシング範囲の少なくとも一部が重なるセンサと、
    前記センサのセンシング結果を第１の座標系により表すセンサ画像に基づいて、前記イメージセンサにより得られる撮影画像と同じ第２の座標系における対象物の推定位置を示す推定位置画像を生成する画像処理部と、
    前記撮影画像及び前記推定位置画像に基づいて、前記対象物の認識処理を行う物体認識部と、
    前記対象物の認識結果に基づいて、動作の制御を行う動作制御部と
    を備える移動体。
JP2020559916A 2018-12-07 2019-11-22 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体 Pending JPWO2020116194A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018230060 2018-12-07
JP2018230060 2018-12-07
PCT/JP2019/045742 WO2020116194A1 (ja) 2018-12-07 2019-11-22 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体

Publications (1)

Publication Number Publication Date
JPWO2020116194A1 true JPWO2020116194A1 (ja) 2021-10-21

Family

ID=70975025

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020559916A Pending JPWO2020116194A1 (ja) 2018-12-07 2019-11-22 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体

Country Status (6)

Country Link
US (1) US20220058428A1 (ja)
EP (1) EP3893195A4 (ja)
JP (1) JPWO2020116194A1 (ja)
KR (1) KR20210098445A (ja)
CN (1) CN113168692A (ja)
WO (1) WO2020116194A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210071584A (ko) * 2019-12-06 2021-06-16 팅크웨어(주) 위성 항법 시스템 측정 위치의 보정을 통해 위치를 판단하는 위치 측정 방법, 위치 측정 장치 및 이를 수행하는 전자 기기
JP2022067928A (ja) * 2020-10-21 2022-05-09 株式会社Subaru 対象物推定装置、その対象物推定方法、および、車両
WO2023079669A1 (ja) * 2021-11-05 2023-05-11 三菱電機株式会社 レーダ画像から関心領域を自動検出するための学習方法、及び自動検出装置
CN114895363A (zh) * 2022-05-07 2022-08-12 上海恒岳智能交通科技有限公司 一种路基两侧视觉成像监测入侵物态势识别方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005175603A (ja) 2003-12-08 2005-06-30 Suzuki Motor Corp レーダを用いた障害物の表示方法及び表示システム
US11047976B2 (en) * 2015-09-30 2021-06-29 Sony Corporation Information processing apparatus, information processing method and program
JP6682833B2 (ja) * 2015-12-04 2020-04-15 トヨタ自動車株式会社 物体認識アルゴリズムの機械学習のためのデータベース構築システム
JP6275362B1 (ja) * 2016-04-01 2018-02-07 株式会社ｗｉｓｅ ３ｄグラフィック生成、人工知能の検証・学習システム、プログラム及び方法
CN109716362B (zh) * 2016-07-21 2024-01-09 电装It研究所 神经网络装置、车辆控制系统、分解处理装置以及程序
US10495753B2 (en) * 2016-09-19 2019-12-03 Nec Corporation Video to radar
DE102018208992A1 (de) * 2018-06-07 2019-12-12 Robert Bosch Gmbh Radarsensorsystem
US20200177798A1 (en) * 2018-12-03 2020-06-04 Nvidia Corporation Machine Learning of Environmental Conditions to Control Positioning of Visual Sensors

Also Published As

Publication number Publication date
EP3893195A1 (en) 2021-10-13
CN113168692A (zh) 2021-07-23
US20220058428A1 (en) 2022-02-24
KR20210098445A (ko) 2021-08-10
WO2020116194A1 (ja) 2020-06-11
EP3893195A4 (en) 2022-01-26

Similar Documents

Publication Publication Date Title
JP6984215B2 (ja) 信号処理装置、および信号処理方法、プログラム、並びに移動体
US11860640B2 (en) Signal processing device and signal processing method, program, and mobile body
JP7320001B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
WO2019130945A1 (ja) 情報処理装置、情報処理方法、プログラム、及び移動体
US20200231176A1 (en) Control apparatus, control method, program, and moving body
WO2019073920A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JPWO2020116194A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
US11812197B2 (en) Information processing device, information processing method, and moving body
JPWO2019082669A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
JP7257737B2 (ja) 情報処理装置、自己位置推定方法、及び、プログラム
WO2020116206A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2021193099A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2021241189A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20200230820A1 (en) Information processing apparatus, self-localization method, program, and mobile body
US11615628B2 (en) Information processing apparatus, information processing method, and mobile object
WO2021024805A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2020261838A1 (ja) 画像処理装置と画像処理方法およびプログラム
US20240056694A1 (en) Imaging device, image processing method, and image processing program
WO2022004423A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2021193103A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2020203241A1 (ja) 情報処理方法、プログラム、及び、情報処理装置
WO2020116204A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
WO2022107532A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2022019117A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2022085479A1 (ja) 情報処理装置、情報処理方法、及び、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240318