WO2018198823A1 - 車両電子制御装置 - Google Patents

車両電子制御装置 Download PDF

Info

Publication number
WO2018198823A1
WO2018198823A1 PCT/JP2018/015511 JP2018015511W WO2018198823A1 WO 2018198823 A1 WO2018198823 A1 WO 2018198823A1 JP 2018015511 W JP2018015511 W JP 2018015511W WO 2018198823 A1 WO2018198823 A1 WO 2018198823A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
vehicle
electronic control
control device
vehicle electronic
Prior art date
Application number
PCT/JP2018/015511
Other languages
English (en)
French (fr)
Inventor
光博 木谷
昌義 石川
祖父江 恒夫
浩朗 伊藤
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to CN201880024484.XA priority Critical patent/CN110494868B/zh
Priority to US16/607,486 priority patent/US20200143670A1/en
Priority to DE112018001596.3T priority patent/DE112018001596T5/de
Publication of WO2018198823A1 publication Critical patent/WO2018198823A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/285Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/042Knowledge-based neural networks; Logical representations of neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816Indicating performance data, e.g. occurrence of a malfunction
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/048Detecting movement of traffic to be counted or controlled with provision for compensation of environmental or other condition, e.g. snow, vehicle stopped at detector
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/006Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • G06N5/046Forward inferencing; Production systems

Abstract

車両の状態を取得する状態取得部と、前記状態取得部で取得された車両の状態に基づいて人工知能モデルを構成するか否かを判定する判定部と、を備え、前記判定部が前記人工知能モデルを構成すると判定した場合に、演算ユニットを複数組み合わせて所定の処理を実行する人工知能モデルを構成する、車両電子制御装置。

Description

車両電子制御装置
 本発明は、車両電子制御装置に関する。
 近年、自動運転システムの開発が活発化している。自動運転システムにおいて、複雑な走行環境を走行するためには、カメラ、レーザレーダ、ミリ波レーダ等の様々なセンサからの情報を基にした自車両周辺環境をセンシングする「認識」や、センサで検出された自車両周辺のオブジェクトが今後どのように行動するのかを推定する「認知」や、認識と認知の結果に基づき今後の自車両の行動を計画する「判断」といった機能の高度化が必要になる。そのため、これらの機能に対して、Neural NetworkやDeep Learning等のAI
(Artificial Intelligence )モデルを導入することで更なる高度化が期待されている。例えば、ステレオカメラの撮像画像から障害物の種類(人、自動車等)を特定するオブジェクト認識処理にAIモデルを適用する場合、ステレオビジョンによる視差に基づいた「構造推定」によってオブジェクト(障害物)を抽出し、抽出したそれぞれのオブジェクトに対する画像データからAIモデルの一種であるCNN(Convolutional Neural Network)によって、各障害物の特徴量を算出し、それに応じた障害物の種類の特定を行う一連の処理手順が考えられる。その場合、構造推定処理で抽出された障害物毎にCNNによる種類の特定処理を行うため、抽出された障害物の数が増加すると、CNN処理に要する負荷や時間が増加する。自動運転システムでは車両の走行制御を行う「操作」の一連の処理がリアルタイムに実行される必要がある。よって、「操作」のリアルタイムな周期処理に影響を与えないよう、AIモデルを適用した場合においても「認識」「認知」「判断」の各処理が「操作」の周期実行開始までのデッドライン内に完了していなければならない。
 特許文献1には、カメラを用いた自車両前方の撮像画像から障害物を検出することが記載されている。この特許文献1に記載された装置は、歩行者を障害物として検出する際に、実際の歩行者の動きパターンを学習したニューラルネットワークを用いて障害物が歩行者かどうかを高精度に判断している。
日本国特開2004-145660号公報
 特許文献1に記載の技術は、ニューラルネットワークによる演算の対象となる歩行者などのオブジェクトの数が多くなった場合に、演算処理に要する処理時間が増加する問題があった。
 本発明の第1の態様によると、車両電子制御装置は、車両の状態を取得する状態取得部と、前記状態取得部で取得された車両の状態に基づいて人工知能モデルを構成するか否かを判定する判定部と、を備え、前記判定部が前記人工知能モデルを構成すると判定した場合に、演算ユニットを複数組み合わせて所定の処理を実行する人工知能モデルを構成するのが好ましい。
 本発明によれば、オブジェクトの数が多くなった場合等の車両の状態に応じて、演算処理に要する処理時間を少なくすることができる。
図1は、ニューラルネットワークの概略構成図である。 図2は、第1の実施形態における車両電子制御装置の構成図である。 図3(a)、図3(b)、図3(c)、図3(d)、図3(e)は、AIモデルの選択に使用する第1の実施形態における状態テーブルである。 図4は、AIモデルを構成する演算ユニットの一例を示す図である。 図5は、演算ユニットにより構成されるAIモデルを示す図である。 図6は、AIモデル情報をアクセラレータに反映する際に使用するテーブル情報である。 図7は、第1の実施形態における車両電子制御装置の処理動作を示すフローチャートである。 図8は、第1の実施形態における車両電子制御装置の構成の変形例を示す構成図である。 図9は、第1の実施形態における車両電子制御装置の変形例の処理動作を示すフローチャートである。 図10は、第2の実施形態における車両電子制御装置の構成図である。 図11(a)、図11(b)、図11(c)は、AIモデルの選択に使用する第2の実施形態における状態テーブルである。 図12は、第2の実施形態における車両電子制御装置の処理動作を示すフローチャートである。 図13は、第2の実施形態における車両電子制御装置の構成の変形例を示す構成図である。 図14は、AIモデルの選択に使用する第2の実施形態の変形例におけるテーブル情報である。 図15は、第2の実施形態における車両電子制御装置の変形例の処理動作を示すフローチャートである。 図16は、第3の実施形態における車両電子制御装置の構成図である。 図17は、第3の実施形態における車両電子制御装置の構成の変形例を示す構成図である。
 以下、本発明の実施形態について図面を参照して説明する。なお、以下に示す各実施形態について、同じ構成要素、処理内容等については、同一の番号を記載してその説明を簡略にする。各実施形態は、人工知能処理を用いたAIモデル(予測モデル)を備えた車両電子制御装置について、AIモデルは、Neural Networkの例で説明するが、機械学習やDeep Learning、さらには強化学習に関するモデルであってもよく、演算ユニットの構成を可変にして組み合わせることにより、本実施形態を適用できる。
-第1の実施形態-
 本実施形態では、AIモデルを複数の演算ユニットにより構成し、その演算ユニットの組み合わせパターンを車両電子制御装置20の状態に応じて一意に選択する。以下、図1~図9を用いて説明する。なお、車両電子制御装置20の状態とは、例えば、オブジェクト数、走行シーン、天候、時間帯、装置状態などの自車両走行環境である。
<AIモデル>
 図1は、AIモデルの構造の一例を示す図である。
 図1に示すように、ニューラルネットワークモデル1は、入力層10と、中間層11と、出力層12より構成され、各層はそれぞれI個、J個、K個の演算ユニットuを持つ。それぞれの演算ユニットuは、演算ユニットu間の結合情報を基に接続され、入力層10より入力された情報は、その結合情報に従って中間層11内を伝搬されて、最終的に出力層12より予測結果に相当する情報が出力される。演算ユニットu間の接続に関する結合情報を実施形態では「AIモデル構造情報」として記載する。結合情報は結合係数を含み、その結合係数をパラメータとする演算を施行しながら情報は伝搬される。AIモデルの演算で使用される結合係数のことを実施形態では「AIモデルパラメータ情報」として記載する。演算の内容は、結合情報に含まれる層の種類によって特定される。結合情報に含まれる層は、例えば、畳込み層、バッチ正規化、活性化関数、プーリング層、全結合層、LSTM(Long Short Term Memory)層などである。
 なお、演算ユニットuの数や、中間層11を構成する層の数は、実施形態とは無関係であるため、任意の値とする。また、AIモデルの構造もこれに限ることはなく、演算ユニットu間の結合に再帰性や双方向性を持つものであっても良い。さらに教師有り、教師無しのいずれの機械学習モデル、及び強化学習モデル等、何れのAIモデルに対しても、車両電子制御装置20の状態に応じてAIモデルを選択する観点で適用できる。
<車両制御装置の構成>
 図2は、第1の実施形態における車両電子制御装置20の構成図である。本実施形態では、AIモデルを複数の演算ユニット2300から構成し、その演算ユニット2300の組み合わせパターンを車両電子制御装置20の状態に応じて一意に選択する。
 車両電子制御装置20はホストデバイス21と、記憶部22と、アクセラレータ23から構成される。なお、車両電子制御装置20は、図示しないCPU(Central Processing Unit)をハードウェアとして少なくとも備えており、CPUは記憶部22に格納されたプログラムに従って、車両電子制御装置20の動作の制御を行うことで本実施形態に関わる機能が実現される。ただし、本実施形態はこのような構成に限定されるものではなく、上述の機能の全部または一部をハードウェアとして構成してもよい。
 ホストデバイス21は、予測実行制御部210を備え、CPUにより、予測実行制御部210の各処理に相当するプログラムを実行することで、アクセラレータ23を制御して、本実施形態に関わる機能を実現する。なお、予測実行制御部210の各処理は全部または一部をハードウェアとして搭載しても良い。また、アクセラレータ23にCPUを備え、予測実行制御部210の全部または一部をアクセラレータ23で制御する構成としても良い。
 予測実行制御部210は、AIモデルによる演算処理時間を算出する算出部(AIモデル演算処理時間算出部)2100と、AIモデルによる演算処理時間が所定時間を超過するか否かを判定する判定部(AIモデル演算処理時間超過判定部)2101と、電子制御装置の状態を取得する取得部(電子制御装置状態取得部)2102と、AIモデルを選択する選択部2103と、AIモデル演算処理に使用するユニットは有効化し、使用しないユニットは有効化しないことを設定する有効化可否設定部2104と、AIモデル演算処理実行制御部2105と、AIモデル使用判定部2106から構成される。
 AIモデル演算処理時間算出部2100は、後述の図4(e)に示すAIモデル71による演算処理時間の見積もりを算出する。この見積もり算出には、予めAIモデルの設計段階で事前に求めたAIモデルの演算処理の評価結果を用いる。AIモデルは、その設計を完了した時点で、AIモデル構造情報やAIモデルパラメータ情報が一意に定まっている。また、演算処理は専用のアクセラレータを用いる。このため、AIモデル演算処理時間の見積もりが可能である。AIモデルとその演算処理時間は処理時間対応テーブル(図示省略)に記憶されている。
 AIモデル演算処理時間超過判定部2101は、AIモデル演算を含む自動運転や運転支援に関わるアプリケーション処理が予め設定された所定時間内に(デッドラインまでに)完了できるかどうかの判定を行う。デッドラインを設けるアプリケーションの処理単位は任意とする。例えば、自車両周辺に存在する各障害物の位置情報を算出してから各障害物の種類を分類するまでの処理や、各障害物の位置情報や種類情報を算出してからそれらが将来どのように移動するかの行動を予測するまでの処理が一例としてあげられる。
 電子制御装置状態取得部2102は、AIモデルを構成する演算ユニットの組み合わせパターンを選択してAIモデルを決定するために必要な車両電子制御装置20の状態に関する情報を取得する。
 AIモデル選択部2103は、電子制御装置状態取得部2102の情報と、AIモデル演算処理時間超過判定部2101の判定結果情報から、AIモデルの演算ユニットの組み合わせパターンを特定する。そして、その組み合わせパターンから、後述の図3に示す状態テーブル221を参照して、一意に決定されるAIモデルを選択する。
 AIモデル演算処理ユニット有効化可否設定部2104は、AIモデル選択部2103で選択されたAIモデルを使用するため、アクセラレータ23に対して、演算ユニットの組み合わせパターンを有効化するための設定を行う。
 AIモデル演算処理実行制御部2105は、AIモデルの演算処理を実行するため、アクセラレータ23に対して、AIモデルの演算に必要な入力データを転送し、演算実行開始に関わる制御命令を送出する。
 AIモデル使用判定部2106は、電子制御装置状態取得部2102からの出力結果を受けて、AIモデルを使用するかどうかを判定し、その判定結果をAIモデル選択部2103へ出力する。
 記憶部22は、状態テーブル221、AIモデル演算処理ユニット有効化可否テーブル220を備える。状態テーブル221は、車両電子制御装置20の状態に関する情報とAIモデルとを対応付けた情報を保持する。図3は、本テーブルの一例を示したものであり、詳細は後述する。AIモデル演算処理ユニット有効化可否テーブル220は、AIモデル演算処理部230の演算ユニット2300の組み合わせパターン情報を保持する。組み合わせパターン情報に基づきアクセラレータ23に対して設定を行う。図6は、本テーブルの一例を示したものであり、詳細を後述する。
 アクセラレータ23はFPGA(Field-Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)、GPU(Graphics Processing Unit)等のAIモデルの演算処理を高速に実行するためのハードウェアデバイスを備える。図2に示す例では、アクセラレータ23はFPGAまたはASICを備え、AIモデル演算処理部230とAIモデルパラメータ情報231から構成される。
 AIモデル演算処理部230はAIモデルの演算処理を実行し、1つ以上の演算ユニット2300から構成される。AIモデルパラメータ情報231は、AIモデルの演算処理で使用するパラメータ情報であり、例えば図1で述べた各演算ユニットu間の結合係数を指す。なお、AIモデルパラメータ情報231はアクセラレータ23のハードウェアデバイス内外どちらで保持しても良い。デバイス外で保持する場合は、記憶部22に格納しても良いし、アクセラレータ23と接続された図示しない別の記憶部に格納しても良い。
 なお、AIモデルの演算処理の全部または一部をアクセラレータ23ではなくCPUで実行するようにしても良い。また、異なるAIモデルを用いる複数のアプリケーションが車両電子制御装置20に搭載される場合、AIモデル演算処理部230に複数のAIモデルのAIモデル構造情報やAIモデルパラメータ情報231に応じた演算ユニット2300の組み合わせを設けてもよい。
<AIモデル選択部で使用する状態テーブル>
 図3は、車両電子制御装置20の状態に関する情報とAIモデルとを対応付けて管理するための状態テーブル221の例を示したものである。状態テーブル221に従ってAIモデル選択部2103がAIモデルを選択する。車両電子制御装置20の状態に関する情報は、例えば、オブジェクト数、走行シーン、天候、時間帯、装置状態などの自車両走行環境を示す情報である。この状態テーブル221は、図2に示す記憶部22に記憶される。
 図3(a)は、モデルID600とオブジェクト数601の情報を対応付けたオブジェクト数・モデルID対応テーブル60である。モデルID600は、演算ユニットの組み合わせパターンで一意に定められるAIモデルを識別するためのID情報である。ここでは演算ユニットの組み合わせパターンで定められるAIモデルが3種類あることを示しているが、AIモデルの種類の数は任意であり、1種類以上であれば良い。また、AIモデルの替わりに、AIを用いずに人手でロジック設計されたルールベースのモデルを用いるようにしても良い。
 図3(a)に示すオブジェクト数601は外界センシングによって検出された自車両周辺のオブジェクト(障害物)の個数を示す。検出されたそれぞれのオブジェクトはAIモデルを用いることで、車両、自転車、歩行者等のオブジェクトの種類を識別したり、それぞれのオブジェクトが将来どのように移動するかの行動予測をしたりする。
 なお、外界センシングによって検出されたオブジェクトの個数ではなく、外界センシングによって検出されたオブジェクトのうちAIモデルの演算の対象となるオブジェクトの個数であっても良い。これは対向車線上の障害物など、自車両の走行軌道計画とは明らかに無関係のオブジェクトを含めないようにすることを意図したものである。
 図3(a)に示すオブジェクト数とAIモデルとの組み合わせにおいて、例えば、オブジェクト数nが10≦nの場合、即ちAIモデル演算処理の繰り返し実行回数が多い場合は、AIモデル演算に要する処理時間を抑制するため、演算精度は若干低下するが処理時間の短いAIモデルであるID=M003を使用する。オブジェクト数nが0≦n<5の場合、ID=M003に比べて、処理時間が長く演算精度の高いAIモデルであるID=M001を使用する。オブジェクト数nが5≦n<10の場合、中間のID=M002を使用する。この図3(a)に示すオブジェクト数やAIモデルとの組み合わせは一例であり、これに限るものではない。
 図3(b)は、モデルID600と走行シーン611の情報を対応付けた走行シーン・モデルID対応テーブル61である。モデルID600は、演算ユニットの組み合わせパターンで一意に定められるAIモデルを識別するためのID情報である。
 図3(b)に示す走行シーン611は自車両の走行路に関する情報を示す。この情報は、高速道路、一般道路、交差点、事故多発地点、駐車場などが挙げられ、これらの情報に基づいて、AIモデルを選択する。例えば、高速道路と一般道路において、走行に関わるアクチュエータ制御の処理周期が同一とした場合、自動運転ロジックの処理時間の内訳を変更する例を考える。一般道路走行における自車両の走行軌道生成処理は、高速道路に比べて、より複雑な走行路に対応するため、処理時間を高速道路走行時に比べて大きく確保する。その場合、一般道路走行は、高速道路走行に比べてAIモデルを用いたオブジェクト認識や、オブジェクトの行動予測を演算精度は若干低下するが処理時間を小さくしなければならない。よって、一般道路走行時は、高速道路走行時に比べて処理時間の小さいAIモデルであるM005を選択し、高速道路走行時は、一般道走行時に比べて演算精度が高く処理時間の大きいAIモデルであるM004を選択する。交差点では、一般道路よりも更に処理時間の小さいAIモデルであるM006を選択する。事故多発地点では、一般道路よりも若干処理時間の小さいAIモデルであるM007を選択する。駐車場では、高速道路よりも処理時間の大きいAIモデルであるM008を選択する。
 なお、図3(b)に示す走行シーンとAIモデルとの組み合わせは一例であり、これに限るものではない。また、図3(b)に示す全ての走行シーンに応じてAIモデルを切替える必要はなく、図3(b)に示すものの中から選んだいくつかの走行シーン毎にAIモデルを切替えるようにしても良いし、図3(b)に示していないものを含む走行シーンの組み合わせに応じてAIモデルを切り替えるようにしても良い。
 また、走行路情報は、自車両位置情報による地図情報とのマップマッチングにより特定したり、交通インフラやテレマティクスセンタから送信される情報を用いて特定する。
 図3(c)は、モデルID600と天候621の情報を対応付けた天候・モデルID対応テーブル62である。モデルID600は、演算ユニットの組み合わせパターンで一意に定められるAIモデルを識別するためのID情報である。
 図3(c)に示す天候621は自車両の走行地点での天候に関する情報を示し、晴、曇、雨、雪などの天候種別が考えられる。例えば、雨や雪などの天候が不良な場合は、天候が良好なときと比べて外界センシングの精度が低下することを想定して、次のように設計する。すなわち、AIモデルを用いたオブジェクト認識や、オブジェクトの行動予測の演算精度は若干低下するが処理時間を小さくするような設計を行う。これにより、AIモデルの演算の出力結果の妥当性に関する診断と、その診断結果のAIモデルを用いるアプリケーションに対するフィードバックのサイクルを短くする。よって、晴や曇の天候が良好な場合は、雨や雪の時に比べて処理時間の大きいAIモデルであるM009を、雨などの天候が不良な場合は、晴れや曇りの時に比べて処理時間の小さいAIモデルであるM010を、雪などの天候が不良な場合は、晴れや曇りの時に比べて処理時間の小さいAIモデルであるM011を使用する。なお、天候情報の種別やAIモデルとの組み合わせパターンは一例であり、これに限るものではない。また、天候情報はカメラ画像によるセンシング結果や、ワイパ稼働情報、降雨・降雪センサ情報、他車のセンシング結果情報等を用いて判定する。
 図3(d)は、モデルID600と時間帯631の情報を対応付けた時間帯・モデルID対応テーブル63である。モデルID600は、演算ユニットの組み合わせパターンで一意に定められるAIモデルを識別するためのID情報である。
 図3(d)に示す時間帯631は自車両が走行中の時間帯に関する情報を示し、朝・昼と夜の種別が考えられる。例えば、夜の場合は、朝・昼の時と比べて外界センシングの精度が低下することを想定して、AIモデルの演算の出力結果の妥当性に関する診断とその診断結果のAIモデルを用いるアプリケーションに対するフィードバックのサイクルを短くする。このため、AIモデルを用いたオブジェクト認識や、オブジェクトの行動予測の演算精度は若干低下するが処理時間を小さくするように設計する。よって、走行時間帯が昼の場合は、夜間に比べて処理時間の大きいAIモデルであるM012を、夜間の場合は、昼に比べて処理時間の小さいAIモデルであるM013を使用する。なお、時間帯の種別やAIモデルとの組み合わせパターンは一例であり、これに限るものではない。また、時間帯情報は照度センサ情報やGPS時刻情報等を用いて検出する。
 図3(e)は、モデルID600と装置状態641の情報を対応付けた装置状態・モデルID対応テーブル64である。モデルID600は、演算ユニットの組み合わせパターンで一意に定められるAIモデルを識別するためのID情報である。
 図3(e)に示す装置状態641は、車両電子制御装置20のハードウェア及びソフトウェアの装置状態に関する情報を示し、車両電子制御装置20の障害発生有無や、CPUまたはアクセラレータの負荷状態による種別を含む。例えば、車両電子制御装置20に障害発生した場合や高負荷の場合は、通常時に使用しているAIモデルであるM016やM017に対して、演算精度は若干低下するが処理時間が小さく軽量なAIモデルであるM014やM015を使用する。なお、装置状態の種別やAIモデルとの組み合わせパターンは一例であり、これに限るものではない。
 なお、図示はしないが、図3(a)から図3(e)に示すオブジェクト数601と、走行シーン611と、天候621と、時間帯631、装置状態641の情報の全て又はいくつかを組み合わせて、AIモデルと対応付けたテーブルを作成し、それらの情報の組み合わせに応じてAIモデルを選択するようにしても良い。更には、AIモデルの組み合わせである必要はなく、AIを用いずに人手でロジック設計されたルールベースのモデルとAIモデルの組み合わせであっても良い。
<AIモデルを構成する演算ユニット>
 図4は、AIモデルを構成する演算ユニット70の一例を示す図である。なお、演算ユニット70は、図2に示すAIモデル演算処理部230に実装されるか、または、後述する図8に示すAIモデル構造情報421に格納されるものである。
 図4(a)は畳み込み層700と、バッチ正規化701と、活性化関数702から構成される演算ユニット70の一例である。図4(b)は畳み込み層700と、バッチ正規化701と、活性化関数702と、プーリング層703から構成される演算ユニット70の一例である。図4(c)は全結合層704から構成される演算ユニット70の一例である。図4(d)はLSTM層705から構成される演算ユニット70の一例である。
 AIモデル71は、図4(e)に示す通り、中間層は1つ以上の演算ユニット70から構成される。演算ユニット70の個数は任意であり、演算ユニット70の種別の組み合わせパターンも自由である。例えば、図4(b)を10個組み合わせてAIモデル71を構成しても良いし、図4(a)と(b)と(c)をそれぞれ複数個ずつ組み合わせてAIモデル71を構成しても良い。なお、図4で示した以外の演算ユニット70を組み合わせてAIモデル71を構成しても良い。
<演算ユニットにより構成されるAIモデルの構成例>
 図5は、演算ユニット70により構成されるAIモデルを示す図である。図5(a)は、演算ユニット70を有効とするか、無効とするかの切替え機能付き演算ユニット(有効無効切替え機能付き演算ユニット)80の一例を示す。このような演算ユニット80は、演算ユニット70の処理を有効にしたり、無効にしたりして、演算ユニット70を切替え可能にしたものである。図5(b)は演算ユニット70の処理を有効にした場合を示し、図5(c)は演算ユニット70の処理を無効にした場合を示す。図5(d)は、中間層として有効無効切替え機能付き演算ユニット80を1つ以上組み合わせて構成した有効無効切替え機能付きAIモデル83を示す。ここでは演算ユニット80を5個組み合わせたものを例としているが、その組み合わせの数は任意である。
 図5(e)は、有効無効切替え機能付きAIモデル83において、演算ユニット70の処理を全て有効にした場合のAIモデル84を示す図である。図5(f)は、有効無効切替え機能付きAIモデル83において、左から4番目の演算ユニット70の処理のみを無効にし、その他の演算ユニット70を全て有効にした場合のAIモデル85を示す図である。図5(g)は、有効無効切替え機能付きAIモデル83において、左から2番目と4番目の演算ユニット70の処理を無効にし、その他の演算ユニット70を全て有効にした場合のAIモデル86を示す図である。
 図5(f)に示すAIモデル85は一部の演算ユニットの処理を実行しないため、図5(e)に示すAIモデル84に比べて処理時間を短くすることができる。図5(g)に示すAIモデル86は同様の理由で、図5(e)7や図5(f)に示すAIモデル84やAIモデル85に比べて処理時間を短くすることができる。
 これらのAIモデルを図3で示したような車両電子制御装置20の状態に応じて使い分けることで、車両電子制御装置20の状態に応じた所望の処理完了の所定時間内(デッドライン内)に処理を完了させることができる。例えば、オブジェクト数が多い場合は図5(g)に示すAIモデル86を用いる。なお、本実施形態のAIモデルを専用回路として実装する場合は図5(d)に示す有効無効切替え機能付きAIモデル83のみを搭載すればよく、AIモデル84と、AIモデル85と、AIモデル86は有効無効切替えのためのスイッチの設定変更のみで実現することができる。これにより種類の完全に異なるAIモデルを複数実装する場合に比べて専用回路を作成するためのハードウェアリソースの増加を抑制することが可能となる。
 図6は、AIモデル情報をアクセラレータに反映する際に使用するテーブル情報である。このテーブル情報は、図2に示すAIモデル演算処理ユニット有効化可否テーブル220に記憶される。このテーブル情報に基づいて、図5(d)に示す有効無効切替え機能付きAIモデル83に対して、有効無効切替えスイッチを設定する。図6に示すテーブル情報は一例である。
 図6に示すAIモデル演算ユニット有効化可否テーブル220は、モデルID1320に示すAIモデルの識別情報と、演算ユニット有効化可否情報1501に示す各演算ユニット毎の有効・無効情報を対応付けて管理するためのテーブル情報である。
 図5(e)に示すAIモデル84は、図6のモデルID=M001に相当する設定となり、全ての演算ユニットを有効にするため、全ての演算ユニットIDであるU1からU5を「ON」にする。
 図5(f)に示すAIモデル85は、図6のモデルID=M002の設定となり、左から4番目の演算ユニットのみを無効にするため、演算ユニットIDのU4のみを「OFF」にし、それ以外の演算ユニットIDを「ON」にする。
 図5(g)に示すAIモデル86は、図6のモデルID=M003の設定となり、左から2番目と4番目の演算ユニットを無効にするため、演算ユニットIDのU2とU4を「OFF」にし、それ以外の演算ユニットIDを「ON」にする。
 図6に示すテーブル情報ではモデルIDを3つ例示したが、図3に示したモデルID=M001~モデルID=M017に対応して、テーブル情報には複数の演算ユニット有効化可否情報1501が記憶されており、オブジェクトの数などにより選択された図3に示したモデルIDにより、図6に示す対応するモデルIDが参照され、演算ユニットの有効・無効が設定される。
<車両電子制御装置の動作>
 図7は、本実施形態における車両電子制御装置20の処理動作を示すフローチャートである。本フローはAIモデルによる演算処理を実行する際に開始される。
 ステップS29に遷移し、電子制御装置状態取得部2102は、AIモデルを決定するために必要な車両電子制御装置20の状態に関する情報を取得する。この車両電子制御装置20の状態に関する情報の一例は図3を参照して説明したとおりである。その後ステップ30に遷移し、AIモデル使用判定部2106によって、車両電子制御装置20の状態に関する情報を基にAIモデルを使用するかどうかの判定を行う。ステップS30においてAIモデルを使用しないと判定された場合は、本処理フローを終了し、図示しないルールベースモデルを用いた処理を実行する。一方、ステップS30においてAIモデルを使用すると判定された場合は、ステップS31に遷移する。
 ステップS31では、AIモデル演算処理時間算出部2100によって、AIモデル演算処理に必要な時間を見積もる。AIモデルとその演算処理時間とは処理時間対応テーブルに記憶されており、AIモデル演算処理時間算出部2100によって、演算処理時間がオブジェクトの数等に応じた処理回数と乗算された結果がAIモデル演算処理時間として求められる。
 その後、ステップS32に遷移し、AIモデル演算処理時間超過判定部2101は、AIモデル演算を含むアプリケーション処理が予め設定された処理完了のための所定時間(以下、デッドライン)を超過するかどうかの判定を行う。高速道路、一般道路などの走行シーンでそれぞれ異なるデッドラインを設定してもよく、その他に、車両電子制御装置20の状態に応じて異ならせてもよい。
 ステップS32で、デッドラインを超過しないと判定された場合は、ステップS35に遷移する。この場合、AIモデルの演算ユニットの組み合わせパターンによって一意に定められるAIモデルの種類を選択せずに、デフォルトで設定されているAIモデルを選択することになる。ステップS32で、デッドラインを超過すると判定された場合は、ステップS33に遷移し、AIモデル選択部2103は、電子制御装置状態取得部2102が取得した車両電子制御装置20の状態に関する情報と、AIモデル演算処理時間超過判定部2101の判定結果から、AIモデルの演算ユニットの組み合わせパターンによって一意に定められるAIモデルの種類を選択する。具体的には、車両電子制御装置20の状態に関する情報と対応するモデルIDを図3に示す状態テーブルより読み出し、読み出したモデルIDを基に図6に示すAIモデル演算処理ユニット有効化可否テーブル220を参照して、演算処理ユニット有効化可否情報を選択する。以下、この処理を「AIモデルの選択」と記載する。この場合、所定の処理が所定の時間に完了するように演算処理ユニット有効化可否情報を選択する。
 そして、ステップS34では、AIモデル演算処理ユニット有効化可否設定部2104は、記憶部22に格納されたAIモデル演算処理ユニット有効化可否テーブル220の情報に従い、アクセラレータ23に対して、演算ユニットの組み合わせパターンの設定を行う。
 その後、ステップS35に遷移し、AIモデル演算処理実行制御部2105は、アクセラレータ23に対して、AIモデルの演算に必要な入力データを転送し、演算実行開始に関わる制御命令を送出することでAIモデルの演算処理を実行する。この演算処理において、例えば、オブジェクトの数に応じて、演算精度は若干低下するが処理時間の短いAIモデルや処理時間が長く演算精度の高いAIモデルが選択されることにより、所定の処理が所定の時間に完了する。
 なお、ステップS30とステップS31の処理は省略して車両電子制御装置20の状態に関する情報のみを用いてAIモデルの選択をしても良い。これは、車両電子制御装置20の状態が、AIモデル演算の処理単位でその都度動的に変わらないケースに対して有効であり、その場合、ステップS30とステップS31の処理は不要となる。
<車両制御装置の変形例>
 図8は、図2に示した第1の実施形態における車両電子制御装置20の構成の変形例を示す構成図である。図2に示したアクセラレータ23は、GPUを備えることにより、予測実行制御部210と、記憶部22と、アクセラレータ23の一部が変更になる。
 図8では、予測実行制御部210は、図2に示したAIモデル演算処理ユニット有効化可否設定部2104が削除され、替わりにAIモデル情報設定部4100を備える。また、AIモデル演算処理実行制御部2105が削除され、替わりにAIモデル演算処理実行制御部4101を備える。
 AIモデル情報設定部4100は、AIモデル選択部2103で選択されたAIモデルの情報に合致したAIモデルパラメータ情報420と、AIモデル構造情報421を記憶部22から読み出して、CPUがプログラム実行の際に使用するメモリ(RAM:Random Access Memory)に格納する。
 AIモデル演算処理実行制御部4101はメモリ上に展開されたAIモデルパラメータ情報420とAIモデル構造情報421、及び、AIモデルの演算処理の対象となる入力データをアクセラレータ23に転送し、演算実行開始に関わる制御命令を送出する。
 記憶部22は、AIモデルパラメータ情報420とAIモデル構造情報421を新たに格納する。AIモデルパラメータ情報とAIモデル構造情報の内容については上述の通りである。
 アクセラレータ23は、図2に示したAIモデルパラメータ情報231が削除された構成となる。これはアクセラレータ23でAIモデルパラメータ情報を保持し続けるのではなく、AIモデル演算処理実行の度にアクセラレータ23へAIモデルパラメータ情報が転送される。但し、アクセラレータ23に本情報を保持し続けるような構成としても良い。
 また、図2に示したAIモデル演算処理部230が削除され、替わりにAIモデル演算処理実行部430が追加される。AIモデル演算処理実行部430はAIモデル演算処理部230と異なり、車両電子制御装置20に搭載されるAIモデルに特化した専用回路、即ち、複数の演算ユニット2300から構成されるのではなく、様々なAIモデルに関わる演算を高速に実行可能な汎用の演算器を複数搭載した構成となる。但し、複数の演算ユニット2300に相当する演算処理を実行することは可能であるためAIモデル演算処理部230とAIモデル演算処理実行部430の間で同じAIモデルの演算処理を実行できる。
<車両電子制御装置の変形例の動作>
 図9は、第1の実施形態における車両電子制御装置20の変形例(図8)の処理動作を示すフローチャートである。
 図9のフローチャートは、図7で説明したものと比べて、ステップS34が削除され、その替わりに、ステップS50が追加される。このステップS50では、ステップS33にてAIモデルが選択された後、AIモデル演算処理実行制御部4101が、AIモデル情報設定部4100によってメモリに展開されたAIモデルパラメータ情報とAIモデル構造情報をアクセラレータ23のAIモデル演算処理実行部430に転送する。その後、ステップS35に遷移してAIモデル演算処理対象の入力データを転送し、演算実行開始に関わる制御命令を送出することでAIモデルの演算処理を実行する。
 第1の実施形態によれば、ニューラルネットワークを含むAIモデル演算処理を所望の時間内に完了させ、また、AIモデル演算処理を実行するハードウェアアクセラレータのハードウェアリソース消費の増加を極力抑えて実現することができる。
-第2の実施形態-
 第2の実施形態では、車両電子制御装置20の状態に応じて、AIモデルの演算処理対象となる入力データ毎にAIモデルを選択する。以下、図10~図15を用いて説明する。なお、図1に示したニューラルネットワークの概略構成図、図4に示したAIモデルの構成図、図5に示したAIモデルを構成する演算ユニットの構成図、図6に示したAIモデル情報をアクセラレータに反映する際に使用するテーブル情報は、本実施形態でも同様であるのでその説明を省略する。
 本実施形態は、例えば、外界センシングによって検出された複数のオブジェクト(障害物)に対して、各オブジェクトデータを個別にAIモデルに入力して、それぞれのオブジェクトの種別(車両、人、自転車等)を判定する場合や、それぞれのオブジェクトの将来の行動(移動後の位置位置情報等)を予測する場合に適用する。そして各オブジェクトデータをAIモデルにそれぞれ入力して演算する際、オブジェクトデータ毎にAIモデルを選択する。
<車両制御装置の構成>
 図10は、第2の実施形態における車両電子制御装置20の構成図である。図10に示した構成は、図2に示した第1の実施形態の構成と比較して、予測実行制御部210にAIモデル選択用スコア算出部9100と、AIモデル演算処理実行完了判定部9101と、オブジェクト毎AIモデル選択部9102を新たに追加し、AIモデル選択部2103を削除した構成となっている。本実施形態における車両電子制御装置20の構成は、アクセラレータ23にFPGAまたはASICを備える。
 AIモデル選択用スコア算出部9100は、AIモデル演算処理の対象となる入力データ(例えば、外界センシングされた自車両周辺のオブジェクトデータ)毎にAIモデルを選択するためのスコア値の算出を行う。スコア値の算出は、AIモデル演算処理の対象となる入力データだけでなく、最終的に演算処理の対象とならないような外界センシングされた自車両周辺の全オブジェクトを対象としても良い。
 AIモデル演算処理実行完了判定部9101は、AIモデル演算処理の対象となる全ての入力データに対してAIモデルの演算処理が完了したかどうかの判定を行う。なお、スコア値算出とAIモデル選択の具体例は、図11および図12を用いて後述する。
 オブジェクト毎AIモデル選択部9102は、AIモデル選択用スコア算出部9100にて算出されたAIモデル演算処理の対象となる入力データ毎のスコア値に基づいて、演算処理に使用するAIモデルを選択する。
<AIモデルの選択に使用する状態テーブル>
 図11(a)(b)(c)は、AIモデルの選択に使用する第2の実施形態における状態テーブル130~132である。この状態テーブル130~132は、記憶部22に記憶され、AIモデル選択用スコア算出部9100と、オブジェクト毎AIモデル選択部9102で使用するテーブル情報を記憶する。
 AIモデル選択用スコア算出部9100と、オブジェクト毎AIモデル選択部9102は、外界センシングによって検出された自車両周辺のオブジェクト(障害物)に対して、各オブジェクトにスコア値を算出する。これにより、オブジェクト毎に使用する演算ユニットの組み合わせ、即ちAIモデルを選択する。テーブル情報はこのために用いる。
 図11(a)は、検出されたオブジェクトと自車両間の相対距離からスコア値を算出するためのスコアD値テーブル130である。スコア値は走行シーンに応じて異なる値とすることができるよう管理される。スコアD値テーブル130は、車両電子制御装置状態1300と、相対距離D1301とスコアD値1302を対応付けて記憶する。
 スコアD値テーブル130の車両電子制御装置状態1300は、本実施形態では走行シーンを表し、高速道路走行と一般道道路走行で、それぞれに応じたスコア値を表す。相対距離D1301は検出されたオブジェクトと自車両間の相対距離の値によって、管理されるスコア値である。本実施形態では5種類の相対距離値のレンジによって、スコア値を管理している。なお、スコア値を管理する相対距離以外の別の例として、検出されたオブジェクトと自車両間の相対速度や、衝突余裕時間(Time To Collision:TTC)で管理してもよい。また、車両電子制御装置状態1300の他の例として、図3で説明した走行シーン611、天候621、時間帯631、装置状態641といった情報に応じてスコア値を管理してもよい。
 スコアD値1302はオブジェクトと自車両間の相対距離の値に応じて割り当てるスコア値である。このスコア値はユーザが予めスコアD値テーブル130の設計値として設定する。
 図11(b)は、検出されたオブジェクトが、自車両の走行計画の軌道上に存在するかどうかの情報を用いてスコア値を算出するためのテーブルを示したものである。スコアP値テーブル131は、車両電子制御装置状態1300と、将来軌道存在有無情報1310とスコアP値1311を対応付けて管理するテーブルである。
 スコアP値テーブル131の車両電子制御装置状態1300は、本実施形態では走行シーンを表し、高速道路走行と一般道道路走行で、それぞれに応じたスコア値を表す。将来軌道存在有無情報1310は、検出されたオブジェクトが自車両の走行計画の軌道上に存在するかどうかによって、管理されるスコア値である。軌道上に存在する場合を「EXIST」、存在しない場合を「NOT EXIST」としている。スコアP値1311は車の走行計画の軌道上に存在するかどうかの情報に応じて割り当てるスコア値である。このスコア値はユーザが予めスコアP値テーブル131の設計時に設定する。
 図11(c)は、スコアD値1302と、スコアP値1311のそれぞれの値から算出されたスコアS値に応じて、AIモデルを選択するためのテーブルを示したものである。スコアS値テーブル132は、モデルID1320とスコアS値1321を対応付けて管理するテーブルである。
 スコアS値テーブル132のモデルID1320は、演算ユニットの組み合わせパターンで表現されるAIモデルを識別するためのID情報である。スコアS値1321はスコアD値1302と、スコアP値1311の値から算出され、AIモデルを選択するために使用されるスコア値である。
 スコアS値の算出方法はユーザが予めスコアS値テーブル132の設計時に設定することとし、例えば、スコアS値=W1*スコアD値+W2*スコアP値のような評価式で算出する。ここで、W1とW2は任意の定数値である。そしてAIモデルを用いるアプリケーションの設計段階で、モデル毎にスコアS値の取り得る値の範囲を決定して、スコアS値テーブル132を作成する。またW1とW2は車両電子制御装置状態1300に応じてそれぞれ設定するようにしても良い。
 図11(c)に示すスコアS値テーブル132の例では、高速道路を走行している場合は、自車両との相対距離が大きく、走行計画の軌道上に存在するオブジェクトに対してはスコアS値132が大きくなり、一般道路を走行している場合は、自車両との相対距離が小さく、走行計画の軌道上に存在するオブジェクトに対してはスコアS値132が大きくなる。これは、高速道路走行の場合は自車両から遠方にあるオブジェクトほど優先的に処理時間の大きい高精度なAIモデルを割り当て、一般道路走行の場合は自車両に近いオブジェクトほど優先的に処理時間の大きい高精度なAIモデルを割り当てるように作成したスコア値テーブルの例である。高速道路走行の場合、一般道路走行時に比べて、オブジェクトの種類は車両や二輪車に限定され、かつ、走行進路は道路上に描かれた白線内を直進するという比較的単純なものであるため、自車両に近いオブジェクトについては、処理時間の小さい簡易なAIモデルやルールベースモデルを割り当てる。一方、一般道道路走行の場合は高速道路走行時に比べてオブジェクトの種類が、車両や二輪車に加えて、歩行者(子供、お年寄り)や自転車、更には一時的に設置された障害物など多岐にわたり、かつ、走行進路も交差点を右左折したり、道路上の白線が無い場所も走行する等無数にあるため、自車両に近いオブジェクトであっても安全のために処理時間の大きい高精度なAIモデルを割り当てる。このように、自車両とオブジェクト間の相対関係に基づいて、オブジェクトに優先度を付与し、オブジェクトの優先度に応じて、複数の演算ユニットの構成を選択する。
 なお、モデルID1320は全てAIモデルである必要なく、AIを用いずに人手でロジック設計されたルールベースのモデルであっても良い。即ち、スコア値によって選択できるモデルはAIベースのものでも、人手でロジックが設計されたルールベースのものであっても良い。
<車両電子制御装置の動作>
 図12は、第2の実施形態における車両電子制御装置20の処理動作を示すフローチャートである。図7に示す第1の実施形態におけるフローチャートと同一部分には同一の符号を付して説明を簡略にする。
 図12に示すステップS32の終了後、ステップS100に遷移し、AIモデル選択用スコア算出部9100は、AIモデル演算処理の対象となる全オブジェクト、または、センシングされた自車両周辺の全オブジェクトに対して、それぞれのオブジェクト毎にAIモデルを選択するためのスコア値の算出を行う。
 そしてステップS101に遷移し、オブジェクト毎AIモデル選択部9102は、ステップS100で算出されたオブジェクト毎のスコア値に基づいて、オブジェクト毎にAIモデルにおける演算ユニットの組み合わせパターン、即ちAIモデルを選択する。その後ステップS34とステップS35を経て、ステップS102に遷移する。
 ステップS102では、AIモデル演算処理実行完了判定部9101が、全てのオブジェクトについてAIモデルの演算処理が完了したと判定した場合、本処理フローは終了となる。ステップS102で、AIモデル演算処理実行完了判定部9101が、全てのオブジェクトについてAIモデルの演算処理が完了していないと判定された場合、ステップS34に遷移し、オブジェクト毎に選択されたAIモデルに合わせてアクセラレータ23の設定を行い、AIモデルによる演算処理を実行して、ステップS102の判定がYesになるまで繰り返し実行する。
<車両制御装置の変形例>
 図13は、図10の車両電子制御装置20の構成の変形例を示す構成図である。この場合、アクセラレータ23がGPUを備えることにより、図10の車両電子制御装置20と比較して、ホストデバイス21、記憶部22、アクセラレータ23の構成の一部が変更になる。
 図13では、予測実行制御部210は、図10に示したAIモデル演算処理ユニット有効化可否設定部2104が削除され、替わりにAIモデル情報設定部4100を備える。また、AIモデル演算処理実行制御部2105が削除され、替わりにAIモデル演算処理実行制御部4101を備える。
 AIモデル情報設定部4100およびAIモデル演算処理実行制御部4101は、第1の実施形態における車両電子制御装置20の構成の変形例で説明したものと同様であるので説明を省略する。
 アクセラレータ23は、図10に示したAIモデルパラメータ情報231が削除された構成となる。これはアクセラレータ23でAIモデルパラメータ情報を保持し続けるのではなく、AIモデル演算処理実行の度にアクセラレータ23へAIモデルパラメータ情報が転送される。但し、アクセラレータ23に本情報を保持し続けるような構成としても良い。また、図10に示したAIモデル演算処理部230が削除され、替わりにAIモデル演算処理実行部330が追加される。AIモデル演算処理実行部330は車両電子制御装置20に搭載されるAIモデルに特化した専用回路、即ち、様々なAIモデルに関わる演算を高速に実行可能な汎用の演算器を複数搭載した構成となる。
<第2の実施形態の変形例におけるAIモデルの選択に使用するテーブル情報>
 図14は、AIモデルの選択に使用する第2の実施形態の変形例におけるテーブル情報である。このテーブル情報は、AIモデル選択用スコア算出部9100と、オブジェクト毎AIモデル選択部9102で使用する。
 図14は、AIモデル選択のためのスコア値を管理するテーブルについて、図11と異なる例を示したものである。図14に示すスコアT値テーブル140は、車両電子制御装置状態1300と、オブジェクト検出経過時間1401と、スコアT値1402を対応付けて管理するテーブルである。
 スコアT値テーブル140の車両電子制御装置状態1300は、本実施形態では走行シーンを表し、高速道路走行と一般道道路走行で、それぞれに応じたスコア値を表す。オブジェクト検出経過時間1401は外界センシングによって、自車両周辺に存在するオブジェクトが検出されてからの経過時間を示す情報である。
 図14に示すスコアT値1402はオブジェクト検出経過時間1401の情報に応じて割り当てるスコア値である。なお、スコアT値1402に任意の定数を乗算して、図11(c)に示したスコアS値1321を算出することでAIモデルを選択しても良く、図11(a)~図11(b)に示したスコアD値1302とスコアP値1311と、スコアT値1402から成る任意の評価式によって、スコアS値を算出してAIモデルを選択しても良い。
 本実施形態では、スコアT値によって、センシングによって新規に検出されたオブジェクトに対しては、処理時間が大きく高精度なAIモデルを割り当てることができる。新規の検出から時間が経過しているオブジェクトについてはトラッキング等の既存手法を併用することで、センシング結果の補正ができるため、処理時間が小さく、負荷の観点で軽量なAIモデルやルールベースのモデルを割り当てる。また、オブジェクト検出経過時間1401は、時間情報以外に、センサから周期的に入力されるデータの受信回数であったり、画像データの場合、フレーム枚数によって、経過時間を算出してもよい。
 また、オブジェクト検出から一定時間経過した後は、定期的にスコアT値1402を変動させることによって、周期的に処理時間の大きい高精度なAIモデルと処理時間の小さい軽量なAIモデルやルールベースのモデルを切り替えながら併用することができる。この際、自車両周辺の全オブジェクトに対して、同一のAIモデルを選択するのではなく、いくつかのオブジェクトは処理時間大きい高精度なAIモデルを、いくつのかのオブジェクトは処理時間の小さい軽量なAIモデルを選択し、周期的に互いに使用するモデルを入れ替えることで、オブジェクトそれぞれに対する予測精度と、オブジェクト全体の処理時間の両立を図ることが可能になる。
<車両電子制御装置の変形例の動作>
 図15は、第2の実施形態における車両電子制御装置20の変形例の処理動作を示すフローチャートである。図15では、図7に示す第1の実施形態におけるフローチャートと同一部分には同一の符号を付して説明を簡略にする。
 図15に示すステップS32の終了後、ステップS100に遷移し、モデル選択用スコア算出部9100は、AIモデル演算処理の対象となる全オブジェクト、または、センシングされた自車両周辺の全オブジェクトに対して、それぞれのオブジェクト毎にAIモデルを選択するためのスコア値の算出を行う。
 そしてステップS101に遷移し、オブジェクト毎AIモデル選択部9102は、ステップS100で算出されたオブジェクト毎のスコア値に基づいて、オブジェクト毎にAIモデルにおける演算ユニットの組み合わせパターン、即ちAIモデルを選択する。その後ステップS50に遷移し、AIモデルが選択された後、AIモデル演算処理実行制御部4101が、AIモデル情報設定部4100によってメモリに展開されたAIモデルパラメータ情報とAIモデル構造情報をアクセラレータ23のAIモデル演算処理実行部330に転送する。その後、ステップS35に遷移してAIモデル演算処理対象の入力データを転送し、演算実行開始に関わる制御命令を送出することでAIモデルの演算処理を実行する。その後、ステップS102に遷移する。
 ステップS102では、AIモデル演算処理実行完了判定部9101が、全てのオブジェクトについてAIモデルの演算処理が完了したと判定した場合、本処理フローは終了となる。ステップS102で、全てのオブジェクトについてAIモデルの演算処理が完了していないと判定された場合、ステップS50に遷移し、上述の処理をステップS102の判定がYesになるまで繰り返し実行する。
 第2の実施形態によれば、自車両とオブジェクトの間の相対関係に基づいてオブジェクトに優先度を付与し、オブジェクトの優先度に応じて、複数の演算ユニットの構成を選択するので、オブジェクトの優先度を考慮して、ニューラルネットワークを含むAIモデル演算処理を所望の時間内に完了させることができる。
-第3の実施形態-
 図16は、第3の実施形態における車両電子制御装置20の構成図である。第3の実施形態では、第1の実施形態と第2の実施形態の車両電子制御装置20に対して、AIモデルパラメータ情報231ないしAIモデルパラメータ情報321のデータを学習して更新する機能を備える。実施形態における車両電子制御装置20の構成は、アクセラレータ23にFPGAまたはASICを備える。
<車両制御装置の構成>
 図16に示した実施形態における車両電子制御装置20の構成は、図2に示した車両電子制御装置20の構成と比較して、ホストデバイス21に学習制御部1600を新たに追加し、アクセラレータ23にAIモデル合計予測誤差算出部1610と、更新用AIモデル演算パラメータ算出部1620を新たに追加する構成である。
 学習制御部1600はAIモデル演算パラメータ更新判定部16000と、AIモデル演算パラメータ更新部16001から構成される。
 AIモデル合計予測誤差算出部1610は、AIモデルパラメータ情報を更新するためのAIモデルによる出力値と正解値の予測誤差値を最小二乗誤差や交差エントロピー誤差等の損失関数を用いて算出する。更新用AIモデル演算パラメータ算出部1620は、AIモデル合計予測誤差算出部1610で算出された予測誤差値から誤差逆伝播法と呼ばれる公知の手法を用いて、予測誤差値が最小になるようにAIモデルパラメータ情報の更新、即ち学習を行う。具体的には、AIモデルによる現在の出力値と期待される出力値との間に誤差があった場合に、その誤差が小さくなるように、すなわち信頼度が向上するようにAIモデルパラメータ情報の更新を行う。
 AIモデル演算パラメータ更新判定部16000は、アクセラレータ23から受信した新たなAIモデルパラメータ情報について、AIモデルの予測精度を評価するための評価用データを用いて予測精度を評価することで、AIモデルパラメータ情報231に格納されているAIモデルパラメータ情報を更新するかどうかの判定を行う。なお、評価用データから予測精度を算出する方法は、これまでに説明したAIモデルの演算処理と同様の手順であり、AIモデルの演算処理対象となる入力データを評価用データとすれば良い。
 AIモデル演算パラメータ更新部16001は、AIモデルパラメータ情報231のAIモデルパラメータ情報を更新制御する。AIモデル演算パラメータ更新判定部16000からの判定結果を基に、AIモデルパラメータ情報231のAIモデルパラメータ情報を更新する。また、後述のAIモデル合計予測誤差算出部1610に対して、AIモデルパラメータ情報の更新、即ち学習を要求する。
<車両電子制御装置の構成の変形例>
 図17は、第3の実施形態における車両電子制御装置20の構成の変形例を示す構成図である。実施形態では、アクセラレータ23がGPUを備えることにより、図16に示した車両電子制御装置20と比較して、ホストデバイス21、記憶部22、アクセラレータ23の構成の一部が変更になるが、何れの処理部も第1の実施形態において説明したものと同様であり、その説明を省略する。
 なお、本実施形態において図16および図17におけるAIモデルパラメータ情報の学習について、演算ユニットの組み合わせに応じて複数のAIモデルを演算に使用することを説明してきたが、それらの複数のAIモデルにおける各演算ユニット間でAIモデルパラメータ情報が共通になるように学習することもできる。具体的には、AIモデル合計予測誤差算出部1610は、車両電子制御装置20に搭載する全てのAIモデルそれぞれについて予測誤差を算出する。そして、それぞれのAIモデル毎に算出された予測誤差の合計を算出し、その値が最小になるようにAIモデルパラメータ情報の更新を行うことで実現することができる。こうすることで、複数のAIモデルにおける各演算ユニット間でAIモデルパラメータを共通化でき、AIモデル毎にAIモデルパラメータ情報を保持する必要がなくなるため、記憶部に必要な容量の増大を回避し、ハードウェアコストを抑制することができる。
 以上説明した実施形態によれば、次の作用効果が得られる。
(1)車両電子制御装置20は、車両の状態を取得する状態取得部2102と、状態取得部2102で取得された車両の状態に基づいて人工知能モデルを構成するか否かを判定する判定部2106と、を備え、判定部2106が人工知能モデルを構成すると判定した場合に、演算ユニットを複数組み合わせて所定の処理を実行する人工知能モデルを構成する。れにより、車両の状態に基づいて人工知能モデルを構成し、演算処理に要する処理時間を少なくすることができる。
(2)車両電子制御装置20は、所定の処理が所定の時間内に完了しない場合に、複数の演算ユニットのいずれを用いて人工知能モデルを構成するかを決定して所定の処理を実行する。これにより、人工知能モデルを構成して、演算処理に要する処理時間を少なくすることができる。
(3)車両電子制御装置20の人工知能モデは、外部からの信号を受付ける入力層10と、外部に演算結果を出力する出力層12と、複数の演算ユニット2300から構成され、入力層10から受付けた情報に対して所定の処理を施し、出力層12に所定の処理の処理結果を出力する中間層11とから構成されるニューラルネットワークであり、状態取得部2102で取得された車両の状態に応じて中間層11の構成を選択する。これにより、ニューラルネットワークを含むAIモデル演算処理に要する処理時間を少なくし、また、AIモデル演算処理を実行するハードウェアアクセラレータのハードウェアリソース消費の増加を極力増加させずに実現することができる。
(4)車両電子制御装置20の車両の状態は、車両の周辺に存在するオブジェクトの個数を含む自車両走行環境である。これにより、オブジェクトの個数に応じたAIモデルを構築できる。
(5)車両電子制御装置20の車両の状態は、車両の走行シーンを含む自車両走行環境である。これにより、走行シーンに応じたAIモデルを構築できる。
(6)車両電子制御装置20の車両の状態は、車両の走行地点の天候を含む自車両走行環境である。これにより、車両の走行地点の天候に応じたAIモデルを構築できる。
(7)車両電子制御装置20の車両の状態は、車両の走行中の時間帯を含む自車両走行環境である。これにより、車両の走行中の時間帯に応じたAIモデルを構築できる。
(8)車両電子制御装置20の車両の状態は、車両の装置状態を含む自車両走行環境である。これにより、車両の装置状態、例えば、障害発生有無や、CPUまたはアクセラレータの負荷状態に応じたAIモデルを構築できる。
(9)車両電子制御装置は、演算ユニットの有効化可否が車両の状態に応じて設定された有効ユニットテーブルを備え、ニューラルネットワークは、有効ユニットテーブルに基づいて、演算ユニットを有効化して複数の演算ユニットを組み合わせて構成される。これにより、複数の演算ユニットを組み合わせることができる。
(10)ニューラルネットワークは、オブジェクトの個数に応じて、複数の演算ユニットのいずれを用いて構成されるかを決定する。これにより、オブジェクトの数が多くなった場合等においても、演算処理に要する処理時間を少なくすることができる。
(11)車両の状態に基づいて、オブジェクトに優先度を付与し、ニューラルネットワークは、オブジェクトの優先度に応じて、複数の演算ユニットのいずれを用いて構成されるかを決定する。これにより、オブジェクトの優先度を考慮して、ニューラルネットワークを含むAIモデル演算処理に要する処理時間を少なくすることができる。
(12)優先度は、自車両とオブジェクトの間の相対関係に基づいて付与する。これにより、オブジェクトの優先度を考慮して、ニューラルネットワークを含むAIモデル演算処理に要する処理時間を少なくすることができる。
(13)複数の演算ユニットの演算パラメータを記憶する記憶部を備え、ニューラルネットワークは、車両の状態における出力層からの出力値の信頼度が向上するように演算パラメータが更新される。これにより、AIモデル演算処理の演算誤差を少なくすることができる。
 本発明は、上記の実施形態に限定されるものではなく、本発明の特徴を損なわない限り、本発明の技術思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。また、上述の実施形態を組み合わせた構成としてもよい。
 次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
 日本国特許出願2017年第089825号(2017年4月28日出願)
1 ニューラルネットワークモデル
10 入力層
11 中間層
12 出力層
20 車両電子制御装置
21 ホストデバイス
22 記憶部
23 アクセラレータ
210 予測実行制御部
220 AIモデル演算処理ユニット有効化可否テーブル
230 AIモデル演算処理部
231 AIモデルパラメータ情報
2100 AIモデル演算処理時間算出部
2101 AIモデル演算処理時間超過判定部
2102 電子制御装置状態取得部
2103 AIモデル選択部
2104 AIモデル演算処理ユニット有効化可否設定部
2105 AIモデル演算処理実行制御部
2106 AIモデル使用有無判定部
2300 演算ユニット
S30 アプリ処理時間見積もり処理
S31 デッドライン超過判定処理
S32 電子制御装置状態取得処理
S33 AIモデル選択処理
S34 演算ユニット有効化可否設定処理
S35 AIモデル演算処理実行開始命令処理
420 AIモデルパラメータ情報
421 AIモデル構造情報
4100 AIモデル情報設定部
430 AIモデル演算処理実行部
S50 AIモデルデータ転送
60 オブジェクト数・モデルID対応テーブル
61 走行シーン・モデルID対応テーブル
600 モデルID
601 オブジェクト数情報
611 走行シーン情報
62 天候・モデルID対応テーブル
621 天候情報
63 時間帯・モデルID対応テーブル
631 時間帯情報
64 装置状態・モデルID対応テーブル
641 装置状態
70 演算ユニット
71 AIモデル
700 畳み込み層
701 バッチ正規化
702 活性化関数
703 プーリング層
704 全結合層
705 LSTM層
80 有効無効切替え機能付き演算ユニット
81 有効切替え時演算ユニット
82 無効切替え時演算ユニット
83 有効無効切替え機能付AIモデル
84 モデルパターン1
85 モデルパターン2
86 モデルパターン3
9100 AIモデル選択用スコア算出部
9101 AIモデル演算処理実行完了判定部
9102 オブジェクト毎AIモデル選択部
S100 ニューラルネットモデル選択用スコア算出処理
S101 ニューラルネットモデル演算完了判定処理
130 スコアT値テーブル
1300 車両電子制御装置状態
1301 相対距離D       
1302 スコアT値
131 スコアP値テーブル
1310 将来軌道存在有無情報
1311 スコアP値
132 スコアS値テーブル
1320 モデルID
1321 スコアS値
140 スコアT値テーブル
1401 オブジェクト検出経過時間
1402 スコアT値
1500 演算ユニットID
1501 演算ユニット有効化可否情報
1600 学習制御部
1610 AIモデル合計予測誤差算出部
1620 更新用AIモデル演算パラメータ算出部
16000 AIモデル演算パラメータ更新判定部
16001 AIモデル演算パラメータ更新部

Claims (13)

  1.  車両の状態を取得する状態取得部と、
     前記状態取得部で取得された車両の状態に基づいて人工知能モデルを構成するか否かを判定する判定部と、を備え、
     前記判定部が前記人工知能モデルを構成すると判定した場合に、演算ユニットを複数組み合わせて所定の処理を実行する人工知能モデルを構成する、車両電子制御装置。
  2.  請求項1に記載の車両電子制御装置において、
     前記所定の処理が所定の時間内に完了しない場合に、複数の前記演算ユニットのいずれを用いて前記人工知能モデルを構成するかを決定して前記所定の処理を実行する、
     車両電子制御装置。
  3.  請求項2に記載の車両電子制御装置において、
     前記人工知能モデルは、外部からの信号を受付ける入力層と、外部に演算結果を出力する出力層と、複数の前記演算ユニットから構成され、前記入力層から受付けた情報に対して前記所定の処理を施し、前記出力層に前記所定の処理の処理結果を出力する中間層とから構成されるニューラルネットワークであり、前記状態取得部で取得された車両の状態に応じて前記中間層の構成を選択する車両電子制御装置。
  4.  請求項3に記載の車両電子制御装置において、
     前記車両の状態は、前記車両の周辺に存在するオブジェクトの個数を含む自車両走行環境である車両電子制御装置。
  5.  請求項3に記載の車両電子制御装置において、
     前記車両の状態は、前記車両の走行シーンを含む自車両走行環境である車両電子制御装置。
  6.  請求項3に記載の車両電子制御装置において、
     前記車両の状態は、前記車両の走行地点の天候を含む自車両走行環境である車両電子制御装置。
  7.  請求項3に記載の車両電子制御装置において、
     前記車両の状態は、前記車両の走行中の時間帯を含む自車両走行環境である車両電子制御装置。
  8.  請求項3に記載の車両電子制御装置において、
     前記車両の状態は、前記車両の装置状態を含む自車両走行環境である車両電子制御装置。
  9.  請求項3に記載の車両電子制御装置において、
     前記演算ユニットの有効化可否が前記車両の状態に応じて設定された有効ユニットテーブルを備え、
     前記ニューラルネットワークは、有効ユニットテーブルに基づいて、前記演算ユニットを有効化して複数の前記演算ユニットを組み合わせて構成される車両電子制御装置。
  10.  請求項4に記載の車両電子制御装置において、
     前記ニューラルネットワークは、前記オブジェクトの個数に応じて、複数の前記演算ユニットのいずれを用いて構成されるかを決定する車両電子制御装置。
  11.  請求項4に記載の車両電子制御装置において、
     前記車両の状態に基づいて、オブジェクトに優先度を付与し、
     前記ニューラルネットワークは、前記オブジェクトの優先度に応じて、複数の前記演算ユニットのいずれを用いて構成されるかを決定する車両電子制御装置。
  12.  請求項11に記載の車両電子制御装置において、
     前記優先度は、自車両と前記オブジェクトの間の相対関係に基づいて付与する車両電子制御装置。
  13.  請求項3に記載の車両電子制御装置において、
     前記複数の前記演算ユニットの演算パラメータを記憶する記憶部を備え、
     前記ニューラルネットワークは、前記車両の状態における前記出力層からの出力値の信頼度が向上するように前記演算パラメータが更新される車両電子制御装置。
PCT/JP2018/015511 2017-04-28 2018-04-13 車両電子制御装置 WO2018198823A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880024484.XA CN110494868B (zh) 2017-04-28 2018-04-13 车辆电子控制装置
US16/607,486 US20200143670A1 (en) 2017-04-28 2018-04-13 Vehicle electronic controller
DE112018001596.3T DE112018001596T5 (de) 2017-04-28 2018-04-13 Elektronische fahrzeugsteuerung

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017089825A JP6756661B2 (ja) 2017-04-28 2017-04-28 車両電子制御装置
JP2017-089825 2017-04-28

Publications (1)

Publication Number Publication Date
WO2018198823A1 true WO2018198823A1 (ja) 2018-11-01

Family

ID=63919841

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/015511 WO2018198823A1 (ja) 2017-04-28 2018-04-13 車両電子制御装置

Country Status (5)

Country Link
US (1) US20200143670A1 (ja)
JP (1) JP6756661B2 (ja)
CN (1) CN110494868B (ja)
DE (1) DE112018001596T5 (ja)
WO (1) WO2018198823A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020100408A1 (ja) * 2018-11-13 2020-05-22 日本電気株式会社 危険シーン予測装置、危険シーン予測方法および危険シーン予測プログラム
WO2021001326A1 (en) 2019-07-02 2021-01-07 Wista Laboratories Ltd. Methylthioninium for use in the treatment of synaptopathies
JP2022017993A (ja) * 2020-07-14 2022-01-26 エッジコーティックス ピーティーイー. リミテッド ハードウェアとニューラルアーキテクチャとの共同探索
KR20220079692A (ko) 2019-12-12 2022-06-13 미쓰비시덴키 가부시키가이샤 데이터 처리 실행 장치, 데이터 처리 실행 방법 및 기록 매체에 저장된 데이터 처리 실행 프로그램
JP7471602B2 (ja) 2021-01-14 2024-04-22 株式会社アイビス・キャピタル・パートナーズ 情報処理装置及び情報処理方法

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018220851A1 (ja) 2017-06-02 2018-12-06 本田技研工業株式会社 自動運転車の制御のための車両制御装置及び方法
CN110692094B (zh) * 2017-06-02 2022-02-01 本田技研工业株式会社 用于自动驾驶车的控制的车辆控制装置及方法
JP6979648B2 (ja) * 2018-02-02 2021-12-15 Kddi株式会社 車載制御装置
JP7177609B2 (ja) * 2018-06-13 2022-11-24 株式会社デンソーテン 画像認識装置、画像認識方法、機械学習モデル提供装置、機械学習モデル提供方法、機械学習モデル生成方法、および機械学習モデル装置
DE102018221063A1 (de) * 2018-12-05 2020-06-10 Volkswagen Aktiengesellschaft Konfiguration eines Steuerungssystems für ein zumindest teilautonomes Kraftfahrzeug
JP7174243B2 (ja) * 2018-12-21 2022-11-17 富士通株式会社 情報処理装置、ニューラルネットワークプログラム、ニューラルネットワークの処理方法
DE102018222720B4 (de) 2018-12-21 2022-01-05 Continental Teves Ag & Co. Ohg Überwachung von auf neuronalen Netzwerken basierten Fahrfunktionen
KR102166811B1 (ko) * 2019-01-21 2020-10-19 한양대학교 산학협력단 심층강화학습과 운전자보조시스템을 이용한 자율주행차량의 제어 방법 및 장치
JP7145770B2 (ja) * 2019-01-25 2022-10-03 株式会社デンソーアイティーラボラトリ 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム
JP7099368B2 (ja) * 2019-03-07 2022-07-12 株式会社デンソー 支援時間提示システム
JP2021032563A (ja) * 2019-08-13 2021-03-01 ソニーセミコンダクタソリューションズ株式会社 装置、測定装置および測距システム
US11588796B2 (en) 2019-09-11 2023-02-21 Baidu Usa Llc Data transmission with obfuscation for a data processing (DP) accelerator
JP7373387B2 (ja) 2019-12-20 2023-11-02 株式会社デンソーテン 情報処理装置
JP2021105798A (ja) * 2019-12-26 2021-07-26 パナソニックIpマネジメント株式会社 人工知能システム
WO2021153049A1 (ja) * 2020-01-30 2021-08-05 日立Astemo株式会社 情報処理装置
US20230037499A1 (en) * 2020-02-17 2023-02-09 Mitsubishi Electric Corporation Model generation device, in-vehicle device, and model generation method
EP4149061A4 (en) * 2020-05-07 2023-11-01 NEC Communication Systems, Ltd. NETWORK CONTROL DEVICE, NETWORK CONTROL METHOD AND NETWORK CONTROL PROGRAM
WO2022004184A1 (ja) * 2020-07-01 2022-01-06 日立Astemo株式会社 電子制御装置
JPWO2022009542A1 (ja) * 2020-07-10 2022-01-13
US11938941B2 (en) * 2020-08-31 2024-03-26 Denso International America, Inc. Mode selection according to system conditions
JPWO2022070781A1 (ja) * 2020-09-29 2022-04-07
JP2022178465A (ja) * 2021-05-20 2022-12-02 日立Astemo株式会社 演算装置、認識装置および制御装置
US20230064500A1 (en) * 2021-09-02 2023-03-02 Hitachi, Ltd. Optimizing machine learning as-a-service performance for cellular communication systems
JP2023057871A (ja) * 2021-10-12 2023-04-24 キヤノン株式会社 医用画像処理装置、医用画像処理方法およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07333242A (ja) * 1994-06-13 1995-12-22 Mazda Motor Corp 車両のヨーレート推定方法及びその装置
JP2011100338A (ja) * 2009-11-06 2011-05-19 Hitachi Automotive Systems Ltd 車載用マルチアプリ実行装置
JP2011248640A (ja) * 2010-05-27 2011-12-08 Honda Motor Co Ltd 車両の周辺監視装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5142612A (en) * 1990-08-03 1992-08-25 E. I. Du Pont De Nemours & Co. (Inc.) Computer neural network supervisory process control system and method
US7426437B2 (en) * 1997-10-22 2008-09-16 Intelligent Technologies International, Inc. Accident avoidance systems and methods
JPH09230935A (ja) * 1996-02-28 1997-09-05 Zexel Corp 車両の自走制御方法
JP6230620B2 (ja) * 2013-12-10 2017-11-15 三菱電機株式会社 走行制御装置
KR101555444B1 (ko) * 2014-07-10 2015-10-06 현대모비스 주식회사 차량탑재 상황감지 장치 및 그 방법
EP3234867A4 (en) * 2014-12-17 2018-08-15 Nokia Technologies Oy Object detection with neural network
US20160328644A1 (en) * 2015-05-08 2016-11-10 Qualcomm Incorporated Adaptive selection of artificial neural networks
JP2017089825A (ja) 2015-11-13 2017-05-25 日本精工株式会社 ボールねじ及びこれを備えるアクチュエータ
US20180157972A1 (en) * 2016-12-02 2018-06-07 Apple Inc. Partially shared neural networks for multiple tasks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07333242A (ja) * 1994-06-13 1995-12-22 Mazda Motor Corp 車両のヨーレート推定方法及びその装置
JP2011100338A (ja) * 2009-11-06 2011-05-19 Hitachi Automotive Systems Ltd 車載用マルチアプリ実行装置
JP2011248640A (ja) * 2010-05-27 2011-12-08 Honda Motor Co Ltd 車両の周辺監視装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020100408A1 (ja) * 2018-11-13 2020-05-22 日本電気株式会社 危険シーン予測装置、危険シーン予測方法および危険シーン予測プログラム
JPWO2020100408A1 (ja) * 2018-11-13 2021-09-24 日本電気株式会社 危険シーン予測装置、危険シーン予測方法および危険シーン予測プログラム
JP7176573B2 (ja) 2018-11-13 2022-11-22 日本電気株式会社 危険シーン予測装置、危険シーン予測方法および危険シーン予測プログラム
WO2021001326A1 (en) 2019-07-02 2021-01-07 Wista Laboratories Ltd. Methylthioninium for use in the treatment of synaptopathies
KR20220079692A (ko) 2019-12-12 2022-06-13 미쓰비시덴키 가부시키가이샤 데이터 처리 실행 장치, 데이터 처리 실행 방법 및 기록 매체에 저장된 데이터 처리 실행 프로그램
DE112019007851T5 (de) 2019-12-12 2022-10-27 Mitsubishi Electric Corporation Datenverarbeitungsausführungseinrichtung, Datenverarbeitungsausführungsverfahren und Datenverarbeitungsausführungsprogramm
KR102467126B1 (ko) 2019-12-12 2022-11-14 미쓰비시덴키 가부시키가이샤 데이터 처리 실행 장치, 데이터 처리 실행 방법 및 기록 매체에 저장된 데이터 처리 실행 프로그램
JP2022017993A (ja) * 2020-07-14 2022-01-26 エッジコーティックス ピーティーイー. リミテッド ハードウェアとニューラルアーキテクチャとの共同探索
US11521052B2 (en) 2020-07-14 2022-12-06 Edgecortix Pte. Ltd. Hardware and neural architecture co-search
JP7471602B2 (ja) 2021-01-14 2024-04-22 株式会社アイビス・キャピタル・パートナーズ 情報処理装置及び情報処理方法

Also Published As

Publication number Publication date
CN110494868A (zh) 2019-11-22
DE112018001596T5 (de) 2020-01-02
CN110494868B (zh) 2023-10-24
US20200143670A1 (en) 2020-05-07
JP2018190045A (ja) 2018-11-29
JP6756661B2 (ja) 2020-09-16

Similar Documents

Publication Publication Date Title
WO2018198823A1 (ja) 車両電子制御装置
US11714417B2 (en) Initial trajectory generator for motion planning system of autonomous vehicles
US11480972B2 (en) Hybrid reinforcement learning for autonomous driving
CN113805572B (zh) 运动规划的方法与装置
CN110244701B (zh) 用于基于自动生成的课程序列的自主车辆的强化学习的方法和装置
JP2023510136A (ja) 知覚、予測又は計画のための地理的位置特定モデル
CN112292719B (zh) 使自我车辆的轨迹与运动的外来对象适配
CN110914641A (zh) 自主导航的导航信息的融合构架和分批对齐
US11872929B2 (en) Collaborative vehicle headlight directing
CN112567439B (zh) 一种交通流信息的确定方法、装置、电子设备和存储介质
US11300957B2 (en) Multiple objective explanation and control interface design
CN113844451B (zh) 行驶设备控制方法、装置、电子设备及存储介质
CN112088117A (zh) 用于运行机动车以改善机动车的评估单元的工作条件的方法、用于执行这种方法的控制系统和带有这种控制系统的机动车
JP2022041923A (ja) 接続されたデータ分析プラットフォームを用いた車両経路指定
CN112394725A (zh) 用于自动驾驶的基于预测和反应视场的计划
WO2023023336A1 (en) Detected object path prediction for vision-based systems
JP7350188B2 (ja) 運転支援装置、学習装置、運転支援方法、運転支援プログラム、学習済モデルの生成方法、学習済モデル生成プログラム
CN113306554A (zh) 车辆让路决策
JP2021193003A (ja) 自動運転システム
JP7391136B2 (ja) 車両制御装置、車両管制装置、車両制御システム、車両運行システム及び車両運行方法
JP7338582B2 (ja) 軌道生成装置、軌道生成方法、および軌道生成プログラム
JP7083433B1 (ja) 情報提供システム
WO2023119800A1 (ja) 車載演算処理装置、および、演算処理方法
KR20240055023A (ko) 자동차의 운행 환경을 모델링하는 방법
CN116225026A (zh) 自动驾驶车辆操作方法、电子设备以及计算机可读介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18791791

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18791791

Country of ref document: EP

Kind code of ref document: A1