JP7296899B2 - 車両用制御装置 - Google Patents

車両用制御装置 Download PDF

Info

Publication number
JP7296899B2
JP7296899B2 JP2020017988A JP2020017988A JP7296899B2 JP 7296899 B2 JP7296899 B2 JP 7296899B2 JP 2020017988 A JP2020017988 A JP 2020017988A JP 2020017988 A JP2020017988 A JP 2020017988A JP 7296899 B2 JP7296899 B2 JP 7296899B2
Authority
JP
Japan
Prior art keywords
unit
vehicle
recognition
processing
external environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020017988A
Other languages
English (en)
Other versions
JP2021123232A (ja
Inventor
永一 寳神
浄之 土山
真人 石橋
大輔 濱野
智嗣 布田
大介 堀籠
篤 田崎
陽介 橋本
裕介 木原
ヴァン デン ボッシュ アーノルド
マーシャル レイ
スリコ レオナルド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NXP BV
Original Assignee
NXP BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NXP BV filed Critical NXP BV
Priority to JP2020017988A priority Critical patent/JP7296899B2/ja
Priority to CN202110094910.0A priority patent/CN113212331B/zh
Priority to US17/159,175 priority patent/US11697413B2/en
Priority to EP21154037.2A priority patent/EP3862239A1/en
Publication of JP2021123232A publication Critical patent/JP2021123232A/ja
Application granted granted Critical
Publication of JP7296899B2 publication Critical patent/JP7296899B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • B60R16/0232—Circuits relating to the driving or the functioning of the vehicle for measuring vehicle parameters and indicating critical, abnormal or dangerous conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/143—Speed control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Atmospheric Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Description

ここに開示された技術は、車両用制御装置に関する技術分野に属する。
従来より、車両の走行を制御する制御装置が知られている。例えば、特許文献１には、自動運転を行う車両の制御装置として、自動運転制御装置が設けられている。
特許文献１の自動運転制御装置は、車両の自動運転制御を実行する制御部と、車両の運転に用いられる電力を供給するバッテリの温度を検出するバッテリ温度検出部と、を備え、制御部はバッテリ温度検出部が正常であって、バッテリ温度が適正範囲にないときには、自動運転制御の機能の少なくとも一部を制限する第１制限制御、及びバッテリから自動運転制御のために供給される電力を増加させるために車両の機能のうち自動運転制御に必要ではない機能である非自動運転機能の少なくとも一部を制限する第２制限制御のうちの一方又は両方を実行する。
特開２０１８－１８１４７５号公報
ところで、車両の外部環境に応じて車両の走行を制御する場合、まず、カメラ等により取得された画像データに基づいて外部環境の認識が行われるのが一般的である。この外部環境の認識には膨大な画像データを処理する必要がある。このため、制御装置における外部環境の認識処理を行う部分には大きな演算負荷がかかる。制御装置の演算負荷が大きいと、制御装置での消費電力が大きくなるとともに、制御装置の温度が上昇しやすくなる。
また、車両の外部環境に応じて車両の走行を制御する場合、外部環境の認識処理を行う部分が失陥したときには、車両の走行制御を適切に行うことが困難になる。
ここに開示された技術は、斯かる点に鑑みてなされたものであり、その目的とするとこは、車両の走行を制御する車両用制御装置において、消費電力を抑制するとともに、外部環境の認識機能が失陥したとしても適切な走行制御を実行できるようにすることにある。
前記課題を解決するために、ここに開示された技術では、車両に搭載され、車両の外部環境に応じて該車両の走行を制御可能な車両用制御装置を対象として、前記車両に搭載されかつ該車両の外部環境を撮影するカメラの出力に対して画像処理を行って、該画像処理により得られる画像処理データを出力する第１ＩＣ（Integrated Circuit）ユニットと、前記第１ＩＣユニットとは別のユニットで構成され、前記画像処理データに基づいて前記車両の外部環境の認識処理を行って、該認識処理により得られる外部環境データを出力する第２ＩＣユニットと、前記第１ＩＣユニット及び前記第２ＩＣユニットとは別のチップで構成され、前記画像処理データ又は前記外部環境データに基づいて、前記車両の走行制御のための判断処理を行う第３ＩＣユニットと、前記車両の状況に応じて、前記第２ＩＣユニットにおける前記車両の外部環境の認識機能のオン及びオフを制御可能なパワーマネジメントユニットと、前記第２ＩＣユニットによる前記車両の外部環境の認識処理を行わずに、前記第１ＩＣユニットから前記第３ＩＣユニットへのデータ通信を可能にするバイパス経路とを備える、という構成とした。
すなわち、車両が都市部を走行しているときには、周囲に物標が多いため、第２ＩＣユニットにより認識処理された詳細な外部環境データを算出することが望ましい。一方で、車両が高速道路を走行しているときや駐車場に駐車するときは、詳細な外部環境データはなくてもよい。つまり、車両がこれらの状況にあるときには、認識処理を行っていない外部環境データ（外部環境を撮影した画像データ等）から車両の走行に関するパラメータを算出する程度の制御でも、車両の走行に大きな影響を与えない。前記構成では、第３ＩＣユニットは、バイパス経路を介して第１ＩＣユニットから画像処理データを取得できるとともに、該画像処理データに基づいて車両の走行に関するパラメータを算出できる。このため、車両の状況に応じて、第２ＩＣユニットの認識機能を適宜オフ状態にしても、車両の走行に大きな影響を与えない。したがって、第２ＩＣユニットの認識機能を適宜オフ状態にして、第２ＩＣユニットでの膨大な演算処理を抑制することで、車両用制御装置での消費電力を抑制することができる。また、第２ＩＣユニットの発熱を抑えることができ、発熱による消費電力の増加も抑制することができる。
また、第３ＩＣユニットは、画像処理データから車両の走行に関するパラメータを算出することができる。このため、第２ＩＣユニットが故障する等にして外部環境の認識機能が失陥したとしても、第３ＩＣユニットは、バイパス経路を介して取得した画像処理データにより適切な走行制御を実行できる。
前記車両用制御装置において、前記第２ＩＣユニットは、前記画像処理データを基に深層学習を利用して外部環境の認識を行うように構成されている、というものでもよい。
この構成によると、第２ＩＣユニットが深層学習を利用するため、第２ＩＣユニットによる外部環境の認識処理は演算負荷が大きい。したがって、第２ＩＣユニットにおける外部環境の認識機能を適宜オフ状態にすることで、消費電力をより効果的に抑制することができる。
前記車両用制御装置において、前記バイパス経路は、前記第２ＩＣユニットを構成するチップを迂回して、第１ＩＣユニットと第３ＩＣユニットとを接続する通信線で構成されている、というものでもよい。
この構成によると、第２ＩＣユニットの全機能をオフ状態にしたとしても、第３ＩＣユニットは第１ＩＣユニットから画像処理データを取得することができる。これにより、消費電力を一層効果的に抑制することができる。
前記車両用制御装置において、前記車両の乗員の意思により前記第２ＩＣユニットの前記認識機能をオン状態にするか又はオフ状態にするかを選択可能なスイッチを更に備え、前記制御部は、前記スイッチにより前記第２ＩＣユニットの前記認識機能をオフ状態にすることが選択されたときには、前記第２ＩＣユニットの前記認識機能をオフ状態にする、という構成でもよい。
この構成によると、車両の乗員の意思によって第２ＩＣユニットの認識機能をオフ状態にすることが可能であるため、例えば、車両が都市部を走行しているときであっても、第２ＩＣユニットの認識機能を適宜オフ状態にすることができる。この結果、消費電力をより一層効果的に抑制することができる。
前記車両用制御装置において、前記第２ＩＣユニットに異常があるか否かを判定する異常診断部を更に備え、前記制御部は、前記異常診断部により前記第２ＩＣユニットに異常があると判定されたときには、前記車両の状況に関わらず、前記第２ＩＣユニットの前記認識機能をオフ状態にする、という構成でもよい。
すなわち、第２ＩＣユニットに異常があるときには、第２ＩＣユニットが出力する外部環境データに誤りが含まれる可能性が高くなる。このため、第２ＩＣユニットに異常があるときにまで、第２ＩＣユニットが出力する外部環境データに基づいて車両の走行に関するパラメータを算出すると、車両の走行制御を適切に行うことができなくなるおそれがある。前記の構成では、第２ＩＣユニットに異常があると判定されたときには、車両の状況に関わらず、第２ＩＣユニットの認識機能をオフ状態にする。これにより、第３ＩＣユニットが誤った外部環境データに基づいて車両の走行に関するパラメータを算出することを抑制することができる。したがって、外部環境の認識機能が失陥したとしても適切な走行制御をより効果的に実行できるようになる。
以上説明したように、ここに開示された技術によると、第２ＩＣユニットによる外部環境の認識処理を行わずに、第１ＩＣユニットから第３ＩＣユニットへのデータ通信を可能にするバイパス経路を備える。これにより、第２ＩＣユニットの外部環境の認識機能をオフ状態にしたとしても、第３ＩＣユニットは画像処理データに基づいて車両の走行に関するパラメータを算出することができる。この結果、消費電力を抑制するとともに、外部環境の認識機能が失陥したとしても適切な走行制御を実行できるようになる。
例示的な実施形態に係る車両用走行制御装置の機能構成を示すブロック図である。 各ＩＣユニットの具体的な構成例を示すブロック図である。 信号処理ＩＣユニットによる画像処理により得られる画像処理データの一例を示す図である。 認識処理ＩＣユニットによる認識処理により生成されるセグメンテーション画像の一例を示す図である。 判断処理ＩＣユニットにより外部環境の推定を行って得られる統合データの一例を示す図である。 第２パワーマネジメントユニットによる認識処理ＩＣユニットのオン／オフ制御を示すフローチャートである。 車両用走行制御装置の変形例を示すブロック図である。
以下、例示的な実施形態について、図面を参照しながら詳細に説明する。
図１は、本実施形態に係る車両用走行制御装置１（以下、単に走行制御装置１という）の機能構成を概略的に示す。この走行制御装置１は、４輪自動車などの車両に設けられる。この車両は、マニュアル運転と自動運転とに切り換え可能である。マニュアル運転は、ドライバの操作（例えばアクセルの操作など）に応じて走行する運転である。アシスト運転は、ドライバの操作を支援して走行する運転である。自動運転は、ドライバの操作なしに走行する完全自動運転と車両の運転者による走行を支援するアシスト運転とを含む。走行制御装置１は、自動運転において、車両に設けられたアクチュエータを制御することで車両の動作を制御する。例えば、アクチュエータは、エンジン、トランスミッション、ブレーキ、ステアリングなどを含む。
信号処理ＩＣ（Integrated Circuit）ユニット１０と、認識処理ＩＣユニット２０と、判断処理ＩＣユニット３０の３チップ構成となっている。具体的な図示は省略するが、信号処理ＩＣユニット１０、認識処理ＩＣユニット２０及び判断処理ＩＣユニット３０は、例えば、乗員の座席下部やトランクルーム等、車両内の特定の場所に設置された単一の筐体内に格納されている。信号処理ＩＣユニット１０、認識処理ＩＣユニット２０及び判断処理ＩＣユニット３０は、それぞれ、単一のＩＣ（Integrated Circuit）チップで構成されてもよいし、複数のＩＣチップにより１つのユニットが構成されていてもよい。また、各ＩＣチップ内には、単一のコアまたはダイが収容されていてもよく、連携する複数のコアまたはダイが収容されていてもよい。
信号処理ＩＣユニット１０は、外部環境を撮像するカメラ１０１から受信された撮像信号の画像処理を行い、画像処理データとして出力する。カメラ１０１は、例えば、自動車の周囲を水平方向に３６０°撮影できるようにそれぞれ配置されている。各カメラ１０１の撮像データは、信号処理ＩＣユニット１０に集約される。信号処理ＩＣユニット１０では、集約された撮像データの画像処理を行い、画像処理データＤ１として認識処理ＩＣユニット２０に出力する。信号処理ＩＣユニット１０は、第１パワーマネジメントユニット４１によりオン／オフ制御される。信号処理ＩＣユニット１０は第１ＩＣユニットに相当する。図２には、信号処理ＩＣユニット１０の具体的なブロック構成例を示している。図２については、後ほど説明する。
認識処理ＩＣユニット２０は、信号処理ＩＣユニット１０から出力された画像処理データを受信するとともに、レーダ１０２の検出結果を受信する。認識処理ＩＣユニット２０は、取得したデータを基に深層学習を利用して、画像処理データを基に道路と障害物を含む外部環境を推定する。深層学習では、例えば、多層ニューラルネットワーク（ＤＮＮ：Deep Neural Network）が用いられる。多層ニューラルネットワークとして、例えば、ＣＮＮ（Convolutional Neural Network）がある。各レーダ１０２は、自車両の外部環境を自車両の周囲３６０°に渡って検出ように、自車両の車体に配置されている。レーダ１０２は、例えば、ミリ波（探知波の一例）を送信するミリ波レーダで構成されている。尚、レーザ光（探知波の一例）を送信するライダ（Light Detection and Ranging）であってもよいし、赤外線（探知波の一例）を送信する赤外線レーダであってもよいし、超音波（探知波の一例）を送信する超音波センサであってもよい。認識処理ＩＣユニット２０は第２ＩＣユニットに相当する。
認識処理ＩＣユニット２０は、推定された外部環境に基づいて道路上であって障害物を回避する少なくとも１つの経路候補を生成し、経路候補データとして出力する。複数のレーダ１０２は、互いに同様の構成を有する。図２には、認識処理ＩＣユニット２０の具体的なブロック構成例を示している。図２については後ほど説明する。
認識処理ＩＣユニット２０は、第２パワーマネジメントユニット４２によりオン／オフ制御される。本実施形態では、第２パワーマネジメントユニット４２により、認識処理ＩＣユニット２０自体がオン／オフ制御されることで、認識処理ＩＣユニット２０における車両の外部環境の認識機能がオン／オフ制御される。
判断処理ＩＣユニット３０は、認識処理ＩＣユニット２０から出力された経路候補データを受信し、経路候補データを基に自動車の走行経路を決定する。また、判断処理ＩＣユニット３０は、決定された走行経路に沿って走行する際の自動車の目標運動を決定する。その後、判断処理ＩＣユニット３０は、決定された目標運動を実現するための駆動力と制動力と操舵角を算出する。判断処理ＩＣユニット３０は、第３パワーマネジメントユニット４３によりオン／オフ制御される。判断処理ＩＣユニット３０は第３ＩＣユニットに相当する。図２には、判断処理ＩＣユニット３０の具体的なブロック構成例を示している。図２については後ほど説明する。
〈信号処理ＩＣユニット〉
信号処理ＩＣユニット１０は、図２に示すように、２つの画像処理部１４１，１５１を有する。画像処理部１４１，１５１は、カメラ１０１の撮影した画像に対して、画像の歪み（この例ではカメラ１０１の広角化による歪み）を補正する歪み補正処理や、画像のホワイトバランスを調整するホワイトバランス調整処理などを行う。また、画像処理部１４１，１５１は、画像を構成する素子のうち認識処理ＩＣユニット２０での処理（物体の認定など）に不要な画素を削除したり、色彩に関するデータを間引いたり（車両を全て同じ色で表すなど）して、画像処理データＤ１を生成する。画像処理部１４１で作成された画像処理データＤ１は、認識処理ＩＣユニット２０の物体認識部２４１に入力される。画像処理部１５１で作成された画像処理データＤ１は、判断処理ＩＣユニット３０の物体認識部２５１に入力される。尚、詳しくは後述するが、走行制御装置１は、認識処理ＩＣユニット２０による自車両の外部環境の認識処理を行わずに、信号処理ＩＣユニット１０から判断処理ＩＣユニット３０へのデータ通信を可能にするバイパス経路９０を有している。
図３は、画像処理データＤ１の一例を示す。この画像処理データＤ１に示された自車両の外部環境には、車道５０と歩道７１と空地７２が含まれている。車道５０は、自車両が移動することができる移動可能領域である。車道５０には、センターライン５１が含まれている。また、このマップに示された自車両の外部環境には、他車両６１と標識６２と街路樹６３と建物８０が含まれている。他車両６１（自動四輪車）は、時間経過により変位する動体の一例である。動体の他の例としては、自動二輪車、自転車、歩行者などが挙げられる。標識６２と街路樹６３は、時間経過により変位しない静止体の一例である。静止体の他の例としては、中央分離帯、センターポール、建物などが挙げられる。動体と静止体は、物標６０の一例である。
図３に示す例では、車道５０の外側に歩道７１が設けられ、歩道７１の外側（車道５０から遠い側）に空地７２が設けられている。また、図３に示す例では、車道５０においてセンターライン５１で分けられる２つの車線のうち自車両が走行する車線を１台の他車両６１が走行し、２つの車線のうち対向車線を２台の他車両６１が走行している。そして、歩道７１の外側に沿うように標識６２と街路樹６３が並んでいる。また、自車両の前方の遠い位置に建物８０が設けられている。
〈認識処理ＩＣユニット〉
認識処理ＩＣユニット２０は、図２に示すように、物体認識部２４１と、マップ生成部２４２と、外部環境推定部２４３と、外部環境モデル２４４と、経路探索部２４６と、経路生成部２４７とを備える。
物体認識部２４１は、信号処理ＩＣユニット１０から出力される画像処理データＤ１（映像データを含む）と、レーダ７２で検出された反射波のピークリストとを受信する。物体認識部２４１は、受信した画像処理データＤ１及びピークリストに基づいて車外の物体を認識する。従来から知られている画像や電波に基づく物体認識技術を適用することができる。物体認識部２４１で認識処理された結果は、マップ生成部２４２に送られる。
マップ生成部２４２では、自車両の周囲を複数の領域（例えば、前方、左右方向、後方）に分け、その領域毎のマップを作成する処理を行う。具体的には、マップ生成部２４２では、それぞれの領域に対して、カメラ１０１で認識された物体情報と、レーダ１０２で認識された物体情報とを統合し、マップに反映させる。
マップ生成部２４２で生成されたマップは、外部環境推定部２４３において、深層学習を用いた画像認識処理により外部環境の推定に使用される。具体的に、外部環境推定部２４３では、深層学習を利用して構築された外部環境モデル２４４に基づく画像認識処理により外部環境を表す３Ｄマップを作成する。深層学習では、多層ニューラルネットワークが用いられる。多層ニューラルネットワークとして、例えば、ＣＮＮがある。
より具体的に、外部環境推定部２４３では、（１）領域毎のマップが結合され、自車両の周囲を表した統合マップが生成され、（２）その統合マップ内の動体物及び静止体に対し、動体物及び静止体の種類、自車両との距離、方向、相対速度の変位が予測され、（３）その結果が、外部環境モデル２４４に組み込まれる。さらに、外部環境推定部２４３では、（４）車内または車外から取り込んだ高精度地図情報（図２ではExternal Input１０４と記載している）、ＧＰＳ１０３等で取得された位置情報・車速情報・６軸情報の組み合わせによって統合マップ上での自車両の位置を推定するとともに、（５）前述の経路コストの計算を行い、（６）その結果が、各種センサで取得された自車両の運動情報とともに外部環境モデル２４４に組み込まれる。これらの処理により、外部環境推定部２４３では、随時、外部環境モデル２４４が更新され、経路生成部２４７による経路生成に使用される。
図４は、外部環境推定部２４３の認識処理により得られるセグメンテーション画像Ｄ２の一例を示す。このセグメンテーション画像Ｄ２では、画素単位で、車道５０、センターライン５１、車両６１、標識６２、街路樹６３、歩道７１、空地７２、及び建物８０のいずれかに分類されている。また、セグメンテーション画像Ｄ２では、各物標６０に対して、形状に関する情報まで認識されている。このセグメンテーション画像Ｄ２は認識処理データの一例である。
ＧＰＳ１０３等の測位システムの信号、車外ネットワークから送信される例えばカーナビゲーション用のデータは、経路探索部２４６に送られる。経路探索部２４６は、ＧＰＳ等の測位システムの信号、車外ネットワークから送信される例えばナビゲーション用のデータを用いて、車両の広域経路を探索する。
経路生成部２４７では、前述の外部環境モデル２４４と、経路探索部２４６の出力とを基にして、車両の走行経路を生成する。走行経路は、例えば、安全性、燃費等をスコア化し、そのスコアが小さくなるような走行経路が少なくとも１つ生成される。また、経路生成部２４７は、例えば、上記走行経路とドライバの操作量に応じて調整した走行経路、のように複数の観点に基づいた走行経路を生成するように構成されてもよい。この経路生成部２４７により生成される走行経路に関する情報は外部環境データに含まれる。
また、認識処理ＩＣユニット２０は、図２に示すように、第１車両モデル２４８と、第２車両モデル２４９とを有する。
第１車両モデル２４８は、車両の挙動を示す車両６軸モデルである。車両６軸モデルとは、走行中の車両の「前後」「左右」「上下」の３軸方向の加速度と、「ピッチ」「ロール」「ヨー」の３軸方向の角速度を、モデル化したものである。すなわち、車両の動きを古典的な車両運動工学的な平面上のみ（車両の前後左右（Ｘ－Ｙ移動）とヨー運動（Ｚ軸）のみ）で捉えるのではなく、４つの車輪にサスペンションを介して乗っている車体のピッチング（Ｙ軸）およびロール（Ｘ軸）運動とＺ軸の移動（車体の上下動）の、合計６軸を用いて車両の挙動を再現する数値モデルである。この第１車両モデル２４８は、後述する目標運動決定部３４３において、車両の目標運動量を算出する際に用いられる。
第２車両モデル２４９は、車両のエネルギー消費を示すモデルである。具体的には、車両のアクチュエータ類ＡＣの動作に対する燃費や電費を示すモデルである。より詳しくは、第２車両モデル２４９は、例えば、所定量のエンジントルクを出力する上で、最も燃費が向上するような、吸排気バルブ（図示省略）の開閉タイミング、インジェクタ（図示省略）の燃料噴射タイミング、排気環流システムのバルブ開閉タイミング等がモデル化されたものである。この第２車両モデル２４９は、後述するエネルギーマネジメント部３４５において、車両のアクチュエータの制御量を算出する際に用いられる。
〈判断処理ＩＣユニット〉
判断処理ＩＣユニット３０は、認識処理ＩＣユニット２０とは別に、車両の走行経路を算出する機能を有している。判断処理ＩＣユニット３０での経路生成は、従来より自動車等に採用されている方法で、車両が安全に通過できる安全領域を設定し、その安全領域を通過するような経路を自動車が通過すべき走行経路として設定する。具体的には、判断処理ＩＣユニット３０は、物体認識部２５１と、分類部３５１と、前処理部３５２と、フリースペース探索部３５３と、予備経路生成部３５４とを備える。
物体認識部２５１は、物体認識部２４１と同様に、信号処理ＩＣユニット１０から出力される画像処理データＤ１（映像データを含む）と、レーダ１０２で検出された反射波のピークリストとを受信する。物体認識部２５１は、受信した画像処理データＤ１及びピークリストに基づいて車外の物体を認識する。従来から知られている画像や電波に基づく物体認識技術を適用することができる。
分類部３５１では、物体認識部２５１による物体の認識結果を受信し、認識された物体を動体と静止体とに分類する。具体的に、分類部３５１では、（１）自車両の周囲が複数の領域（例えば、前方、左右方向、後方）に分けられ、（２）各領域で、カメラ１０１からの画像に基づいて物体情報と、レーダ１０２からの情報に基づいて認識された物体情報（物体の大きさ等）とが統合され、（３）各領域に対する動体及び静止体の分類情報が生成される。
前処理部３５２では、分類部３５１において生成された領域毎の分類結果を統合する。また、前処理部３５２では、動体物について、自車両との距離、方向、相対速度が予測され、その結果が動体物の付属情報として組み込まれる。さらに、前処理部３５２では、車内外から取得された高精度地図情報、位置情報、車速情報、６軸情報等を組み合わせて、動体・静止体に対する自車両の位置を推定する。
前述のように、分類部３５１や前処理部３５２では、深層学習等を用いずに、画像処理データＤ１とレーダ１０２からの情報とにより外部環境を推定する。図５は、前処理部３５２での処理により得られる統合データＤ３を示す。この統合データＤ３では、物体の種類等については認識されず、自車両周囲の物体は一律に物標６０と認識される（厳密には、動体と静止体とは分けられている）。また、各物標の細かい形状は認識されず、図５に示すように、大雑把な各物標の大きさや相対位置等が認識される。
フリースペース探索部３５３は、前処理部３５２で位置が推定された動体・静止体（以下、対象物ともいう）との衝突を回避可能なフリースペースを探索する。例えば、フリースペース探索部３５３は、対象物の周囲数ｍを回避不能範囲とみなす等の所定のルールに基づいて設定される。フリースペース探索部３５３は、対象物が動体の場合には、移動速度を考慮してフリースペースを設定する。フリースペースとは、例えば、道路上であって、他の車両や歩行者等の動的な障害物、及び中央分離体やセンターポールなどの静的な障害物が存在しない領域をいう。フリースペースは、緊急駐車が可能な路肩のスペースを含んでいてもよい。
予備経路生成部３５４は、フリースペース探索部３５３で探索されたフリースペースを通るような経路を算出する。予備経路生成部３５４による経路の算出方法は、特に限定されないが、例えば、フリースペースを通過する複数の経路を生成し、その複数の経路の中から経路コストが最も小さい経路を選択する。予備経路生成部３５４で算出された経路は、後述する目標運動決定部３４３に出力される。
判断処理ＩＣユニット３０は、車両が走行すべき走行経路を決定して、該走行経路を追従するための車両の目標運動を算出する。具体的には、判断処理ＩＣユニット３０は、危険状態判断部３４１と、経路決定部３４２と、目標運動決定部３４３と、車両運動エネルギー設定部３４４と、エネルギーマネジメント部３４５とを備える。
危険状態判断部３４１では、外部環境モデル２４４を基に、対象物との衝突や、車線の逸脱の可能性があると判断した場合に、それを回避するための走行経路（例えば、目標位置と車速）を設定する。
経路決定部３４２では、認識処理ＩＣユニット２０の経路生成部２４７で設定された走行経路と、判断処理ＩＣユニット３０の予備経路生成部３５４で設定された走行経路と、ドライバの操作量とに基づいて、車両の走行経路を決定する。この走行経路の決定方法は、特に限定されないが、例えば、通常走行時は、経路生成部２４７で設定された走行経路を最優先するとしてもよい。また、経路生成部２４７で設定された走行経路が、フリースペース探索部３５３で探索されたフリースペースを通らない場合に、予備経路生成部３５４で設定された走行経路を選択するとしてもよい。また、ドライバの操作量や操作方向に応じて、選択された走行経路に調整を加えたり、ドライバの操作を優先したりするようにしてもよい。
目標運動決定部３４３では、例えば、経路決定部３４２で決定された走行経路に対して、６軸の目標運動（例えば、加速度、角速度等）を決定する。目標運動決定部３４３は、６軸の目標運動の決定に際し、所定の第１車両モデル２４８を用いるようにしてもよい。第１車両モデル２４８は、例えば、車両毎に設定された車両の６軸の運動状態（例えば、加速度、角速度）をモデル化したものである。第１車両モデル２４８は、例えば、あらかじめ設定された車両の基本運動機能、車内外の環境情報等に基づいて生成され、適宜更新される。
車両運動エネルギー設定部３４４では、目標運動決定部３４３で決定された６軸の目標運動に対して、駆動系、操舵系、制動系に要求するトルクを計算する。駆動系とは、例えば、エンジンシステム、モータ、トランスミッションである。操舵系とは、例えば、ステアリングである。制動系とは、例えば、ブレーキである。
エネルギーマネジメント部３４５は、目標運動決定部３４３で決定された目標運動を達成する上で、最もエネルギー効率がよくなるようにアクチュエータ類ＡＣの制御量を算出する。具体的に例示すると、エネルギーマネジメント部３４５は、目標運動決定部３４３で決定されたエンジントルクを達成する上で、最も燃費が向上するような、吸排気バルブ（図示省略）の開閉タイミングやインジェクタ（図示省略）の燃料噴射タイミング等を算出する。アクチュエータ類ＡＣには、例えば、エンジンシステムと、ブレーキと、ステアリングと、トランスミッションとが含まれる。エネルギーマネジメント部３４５は、エネルギーマネジメントを行うのに際して、所定の第２車両モデル２４９を用いるようにしてもよい。第２車両モデル２４９は、例えば、現在または所定の指定時間先のプラント状態（例えば、トルク、電力、熱量等）をモデル化したものである。第２車両モデル２４９は、例えば、車両の走行中に生成され、適宜更新される。
判断処理ＩＣユニット３０は、認識処理ＩＣユニット２０に与える自車両の運動情報を生成するために車両状態検出部３４６を有する。車両状態検出部３４６は、各種メカセンサー１０５から入力される情報に基づいて、自車両の現在の運動状態を検出する。メカセンサー１０５は、例えば、車速センサやヨーセンサ等である。
判断処理ＩＣユニット３０は、走行経路を決定するための情報としてドライバの操作量や操作方向を認識するドライバ操作認識部３４７を有する。ドライバ操作認識部３４７は、ドライバの操作を反映するセンサ情報を取得して、ドライバの操作量や操作方向に関する情報を経路決定部３４２に入力する。ドライバの操作を反映するセンサは、アクセルペダル、ブレーキペダル、ステアリング、各種スイッチ等の各種操作対象物への運転者の操作を検出するセンサを含むものである。
判断処理ＩＣユニット３０は、認識処理ＩＣユニット２０の故障、特に、認識処理ＩＣユニット２０の認識処理機能に異常があるか否かを診断する故障診断部３５６を有する。故障診断部３５６は、認識処理ＩＣユニット２０の認識処理機能に異常があると判断したときには、第２パワーマネジメントユニット４２に情報を伝達する。該情報を受信した第２パワーマネジメントユニット４２は、車両の状況に関わらず認識処理ＩＣユニット２０をオフ状態にする。故障診断部３５６は、例えば、マップ生成部２４２により作成されたマップにおいて、対向車両の位置が大きくずれていたり、経路生成部２４７により生成された走行経路が、フリースペース探索部３５３で探索されたフリースペースを通らない場合が所定回数以上あったりしたときに、認識処理ＩＣユニット２０の認識処理機能に異常があると判断するように構成することができる。
判断処理ＩＣユニット３０は、外部環境に基づいて車両のシーンを認識するシーン認識部３５７を有する。シーン認識部３５７は、外部環境推定部２４３や前処理部３５２からの情報に基づいて、車両のシーンを認識する。ここで認識される車両のシーンは、例えば、車両の走行場所、走行状態（前進走行、駐車のためのバック走行等）、自車両周囲の物標の量等である。
〈認識処理ＩＣユニットのオン／オフ制御〉
ここで、走行制御装置１の中でも認識処理ＩＣユニット２０は、外部環境を認識するために膨大な量の画像データやレーダ１０２の情報を処理するため、演算負荷が大きい。特に、本実施形態では、認識処理ＩＣユニット２０は、深層学習を利用した外部環境の認識をするとともに、認識後の外部環境から経路生成を行うため、演算負荷がかなり大きい。このため、認識処理ＩＣユニット２０は消費電力が大きく、さらに温度が上昇しやすい。したがって、認識処理ＩＣユニット２０を常に稼働状態にすると、走行制御装置１の発熱及び過剰な電力消費を招くおそれがある。
そこで、本実施形態では、第２パワーマネジメントユニット４２により、車両の状況に応じて認識処理ＩＣユニット２０における車両の外部環境の認識機能のオン／オフ制御できるようにした。尚、ここでいう「車両の状況」とは、車両が属するシーン（高速道路の走行中、駐車のためのバック走行中等）に限らず、ドライバの意思による車両の運転状況（自動運転機能をオフにしてマニュアル運転を実行中）や、認識処理ＩＣユニット２０の失陥も含まれる。
具体的には、車両が都市部における市街地を自動運転で走行中であるとする。このときには、交通量が多く、周囲に物標が多数存在するため、認識処理ＩＣユニット２０を用いて車両の外部環境の認識をすることが好ましい。このため、車両の状況が前記の状況であるときには、第２パワーマネジメントユニット４２は、認識処理ＩＣユニット２０をオン状態にする。
一方で、車両が高速道路を自動運転で走行中であるとする。このときには、周囲に物標が少なく、走行経路も単純なものでいいため、認識処理ＩＣユニット２０を利用してまで車両の外部環境を認識する必要はない。このときには、第２パワーマネジメントユニット４２は、認識処理ＩＣユニット２０をオフ状態にする。
認識処理ＩＣユニット２０をオフ状態にして自動運転を継続するときには、走行制御装置１は、認識処理ＩＣユニット２０を用いずに外部環境をある程度認識する必要がある。そこで、本実施形態では、信号処理ＩＣユニット１０から判断処理ＩＣユニットへのデータ通信を可能にするために、認識処理ＩＣユニット２０を迂回して、信号処理ＩＣユニット１０と判断処理ＩＣユニット３０とを接続する通信線で構成されるバイパス経路９０を設けた。また、判断処理ＩＣユニット３０に車両の外部環境を認識して経路を生成する機能として、前述したように、物体認識部２５１と、分類部３５１と、前処理部３５２と、フリースペース探索部３５３と、予備経路生成部３５４とを設けた。
すなわち、認識処理ＩＣユニット２０をオフ状態にして自動運転を継続するときには、信号処理ＩＣユニット１０の画像処理部１５１で画像処理された後の画像処理データＤ１が、バイパス経路９０を通って、判断処理ＩＣユニット３０の物体認識部２５１に入力される。そして、物体認識部２５１に入力された画像処理データＤ１に基づいて、前述したような分類処理により外部環境を表す統合データＤ３が生成される。そして、前述したように、この統合データＤ３に基づいて走行経路が生成される。したがって、認識処理ＩＣユニット２０をオフ状態にしたとしても簡易的な自動運転を継続することができる。
このように、車両の状況に応じて、認識処理ＩＣユニット２０の認識機能を適宜オフ状態にすれば、認識処理ＩＣユニット２０での膨大な演算処理が抑制されて、認識処理ＩＣユニット２０の発熱を抑えることができる。これにより、走行制御装置１の消費電力を抑制することができる。
車両の状況のうち、外部環境に基づく車両のシーンについては、本実施形態では、判断処理ＩＣユニット３０のシーン認識部３５７により特定される。そして、図示は省略しているが、第２パワーマネジメントユニット４２には、認識処理ＩＣユニット２０をオフにすべきシーン（以下、特定シーンという）を規定したテーブルが格納されている。第２パワーマネジメントユニット４２は、シーン認識部３５７で特定されたシーンと該テーブルとを対比して、認識処理ＩＣユニット２０をオフにする。尚、該テーブルを判断処理ＩＣユニット３０に格納させてもよい。この場合、判断処理ＩＣユニット３０が、シーン認識部３５７で特定されたシーンと該テーブルとを対比して、第２パワーマネジメントユニット４２に認識処理ＩＣユニット２０をオフにするように制御信号を出力する。
尚、「特定シーン」は、例えば、前述した「高速道路を走行中」、「駐車のためのバック走行中」の他にも、「郊外を走行中」、「深夜帯に走行中」等、基本的には、自車両の周囲に物標が少ない状況が主に含まれる。また、「イグニッションオンの状態で駐車場に停車中」等、認識処理自体を行う必要がない状況も含まれる。
本実施形態では、図１に示すように、走行制御装置１は、ドライバの意思により認識処理ＩＣユニット２０の認識機能をオン状態にするか又はオフ状態にするかを選択可能なスイッチ１０８を備える。このスイッチ１０８は、例えば、車両の自動運転機能をオン又はオフするためのスイッチとして構成されている。このスイッチ１０８からの信号は、判断処理ＩＣユニット３０及び第２パワーマネジメントユニット４２に入力される。スイッチ１０８から自動運転機能をオフにする信号を受信した判断処理ＩＣユニット３０は、物体認識部２５１等による処理を停止させる。また、第２パワーマネジメントユニット４２は、認識処理ＩＣユニット２０をオフ状態にする。これにより、認識処理ＩＣユニット２０の認識機能をオフ状態にすることができる。
次に、図６を用いて、第２パワーマネジメントユニット４２による認識処理ＩＣユニット２０のオン／オフ制御の処理動作について説明する。
まず、ステップＳ１において、第２パワーマネジメントユニット４２は、各種情報を取得する。この各種情報には、スイッチ１０８からの信号やシーン認識部３５７からの車両のシーンに関する情報が含まれる。
次に、ステップＳ２において、第２パワーマネジメントユニット４２は、自動運転のスイッチ１０８がオン状態であるか否かを判定する。スイッチ１０８がオン状態であって、自動運転機能が作動中であるＹＥＳのときには、ステップＳ３に進む一方、スイッチ１０８がオフ状態であって、自動運転機能が非作動であるＮＯのときには、ステップＳ５に進む。
次いで、ステップＳ３において、第２パワーマネジメントユニット４２は、車両の状況が特定シーンに該当しないか否かを判定する。車両の状況が特定シーンに該当しないＹＥＳのときには、ステップＳ３に進む一方、車両の状況が特定シーンに該当するＮＯのときには、ステップＳ５に進む。
前記ステップＳ４では、第２パワーマネジメントユニット４２は、認識処理ＩＣユニット２０の電源をオン状態に維持する。ステップＳ４の後はリターンする。
一方、前記ステップＳ５では、第２パワーマネジメントユニット４２は、認識処理ＩＣユニット２０の電源をオフ状態する。ステップＳ５の後はリターンする。
したがって、本実施形態では、車両に搭載されかつ該車両の外部環境を撮影するカメラ１０１の出力に対して画像処理を行って、該画像処理により得られる画像処理データＤ１を出力する信号処理ＩＣユニット１０と、信号処理ＩＣユニット１０とは別のユニットで構成され、画像処理データＤ１に基づいて車両の外部環境の認識処理を行って、該認識処理により得られる外部環境データを出力する認識処理ＩＣユニット２０と、信号処理ＩＣユニット１０及び認識処理ＩＣユニット２０とは別のユニットで構成され、画像処理データＤ１又は外部環境データに基づいて、車両の走行制御のための判断処理を行う判断処理ＩＣユニット３０と、車両の状況に応じて、認識処理ＩＣユニット２０における車両の外部環境の認識機能のオン及びオフを制御可能な第２パワーマネジメントユニット４２と、認識処理ＩＣユニット２０による車両の外部環境の認識処理を行わずに、信号処理ＩＣユニット１０から判断処理ＩＣユニット３０へのデータ通信を可能にするバイパス経路９０とを備える。これにより、判断処理ＩＣユニット３０は、バイパス経路９０を介して信号処理ＩＣユニット１０から画像処理データＤ１を取得できるとともに、該画像処理データＤ１に基づいて車両の走行に関するパラメータを算出できる。このため、車両の状況に応じて、認識処理ＩＣユニット２０の認識機能を適宜オフ状態にして、認識処理ＩＣユニット２０での膨大な演算処理を抑制することで、走行制御装置１での消費電力を抑制することができる。また、認識処理ＩＣユニット２０の発熱を抑えることができ、消費電力の増加を抑制することもできる。
また、判断処理ＩＣユニット３０は、画像処理データＤ１から車両の走行に関するパラメータを算出することができる。このため、認識処理ＩＣユニット２０が故障する等にして外部環境の認識機能が失陥したとしても、判断処理ＩＣユニット３０は、バイパス経路９０を介して取得した画像処理データＤ１により適切な走行制御を実行できる。
特に、本実施形態では、認識処理ＩＣユニット２０は、画像処理データＤ１を基に深層学習を利用して外部環境の認識処理を行うように構成されている。認識処理ＩＣユニット２０が深層学習を利用するため、認識処理ＩＣユニット２０による外部環境の認識処理は演算負荷が大きい。したがって、認識処理ＩＣユニット２０における外部環境の認識機能を適宜オフ状態にすることで、消費電力をより効果的に抑制することができる。
また、本実施形態では、車両のドライバの意思により認識処理ＩＣユニット２０の認識機能をオン状態にするか又はオフ状態にするかを選択可能なスイッチ１０８を更に備え、第２パワーマネジメントユニット４２は、スイッチ１０８により認識処理ＩＣユニット２０の認識機能をオフ状態にすることが選択されたときには、認識処理ＩＣユニット２０の認識機能をオフ状態にする。これにより、車両のドライバの意思によって認識処理ＩＣユニット２０の認識機能をオフ状態にすることが可能であるため、例えば、車両が都市部を走行しているときであっても、認識処理ＩＣユニット２０の認識機能を適宜オフ状態にすることができる。この結果、消費電力をより一層効果的に抑制することができる。
また、本実施形態では、認識処理ＩＣユニット２０に異常があるか否かを診断する故障診断部３５６を更に備え、第２パワーマネジメントユニット４２は、故障診断部３５６により認識処理ＩＣユニット２０に異常があると判定されたときには、車両の状況に関わらず、認識処理ＩＣユニット２０の認識機能をオフ状態にする。すなわち、認識処理ＩＣユニット２０に異常があるときには、認識処理ＩＣユニット２０が出力する外部環境データに誤りが含まれる可能性が高くなる。このため、認識処理ＩＣユニット２０に異常があるときにまで、認識処理ＩＣユニット２０が出力する外部環境データに基づいて車両の走行に関するパラメータを算出すると、車両の走行制御を適切に行うことができなくなるおそれがある。そこで、認識処理ＩＣユニット２０に異常があると判定されたときには、車両の状況に関わらず、認識処理ＩＣユニット２０の認識機能をオフ状態にする。これにより、判断処理ＩＣユニット３０が誤った外部環境データに基づいて車両の走行に関するパラメータを算出することを抑制することができる。したがって、外部環境の認識機能が失陥したとしても適切な走行制御をより効果的に実行できるようになる。
図７は、本実施形態に係る走行制御装置１の変形例を示す。この変形例では、バイパス経路２９０は、認識処理ＩＣユニット２０を迂回するのではなく、認識処理ＩＣユニット２０内に形成されている。具体的には、認識処理ＩＣユニット２０内に認識処理を行う通信経路と認識処理を行わない通信経路であるバイパス経路２９０が設けられている。認識処理を行う通信経路は、物体認識部２４１等の各プロセッサ２４１～２４７による演算処理が実行されて、演算後の認識処理データ（走行経路のデータ等）が判断処理ＩＣユニット３０に伝達されるようになっている。一方で、バイパス経路２９０では、各認識処理が実行されずに画像処理データＤ１がそのまま判断処理ＩＣユニット３０に伝達されるようになっている。
そして、この変形例では、特定シーンであっても認識処理ＩＣユニット２０自体はオフされず、認識処理ＩＣユニット２０における認識処理用の各プロセッサ２４１～２４７の作動がオフされる。また、スイッチ１０８操作により自動運転機能をオフするときも同様に、認識処理ＩＣユニット２０自体はオフされず、認識処理ＩＣユニット２０における認識処理用の各プロセッサ２４１～２４７の作動がオフされる。このとき、図７に示すように、認識処理ＩＣユニット２０における車両の外部環境の認識機能のオン及びオフを制御可能なパワーマネジメントユニットは、認識処理ＩＣユニット２０内に組み込まれている。
この構成であっても、認識処理ＩＣユニット２０の認識機能を適宜オフ状態にして、認識処理ＩＣユニット２０での膨大な演算処理を抑制することができるため、走行制御装置１での消費電力を抑制することができる。
ここに開示された技術は、前述の実施形態に限られるものではなく、請求の範囲の主旨を逸脱しない範囲で代用が可能である。
例えば、前述の実施形態では、認識処理ＩＣユニット２０と判断処理ＩＣユニット３０との両方で、同時進行で走行経路の生成がされる場合について説明した。これに限らず。基本的には認識処理ＩＣユニット２０により走行経路の生成を行うようにして、認識処理ＩＣユニット２０による認識機能をオフにしたときのみ、判断処理ＩＣユニット３０による走行経路の生成を行うようにしてもよい。
また、前述の実施形態では、認識処理ＩＣユニット２０による認識機能のオン／オフに関わらず、バイパス経路９０，２９０を通って信号処理ＩＣユニット１０から判断処理ＩＣユニット３０に画像処理データＤ１が送信される場合について説明した。これに限らず、認識処理ＩＣユニット２０による認識機能をオフにしたときのみ、バイパス経路９０，２９０を通って信号処理ＩＣユニット１０から判断処理ＩＣユニット３０に画像処理データＤ１が送信されるようにしてもよい。
また、前述の実施形態では、シーン認識部３５７は判断処理ＩＣユニット３０に設けられていた。これに限らず、シーン認識部３５７が認識処理ＩＣユニット２０に設けられていてもよい。
また、前述の実施形態では、パワーマネジメントユニットは、ＩＣユニット１０，２０，３０毎に設けられていた。これに限らず、１つのパワーマネジメントユニットにより、各ＩＣユニット１０，２０，３０のオン／オフ制御を実行するようにしてもよい。
前述の実施形態は単なる例示に過ぎず、本開示の範囲を限定的に解釈してはならない。本開示の範囲は請求の範囲によって定義され、請求の範囲の均等範囲に属する変形や変更は、全て本開示の範囲内のものである。
ここに開示された技術は、車両に搭載され、車両の外部環境に応じて該車両の走行を制御可能な車両用制御装置として有用である。
１ 車両用走行制御装置
１０ 信号処理ＩＣユニット（第１ＩＣユニット）
２０ 認識処理ＩＣユニット（第２ＩＣユニット）
３０ 判断処理ＩＣユニット（第３ＩＣユニット）
４２ 第２パワーマネジメントユニット
９０ バイパス経路
１０１ カメラ
１０８ スイッチ
２９０ バイパス経路
３５６ 故障診断部（異常診断部）

Claims (5)

  1. 車両に搭載され、車両の外部環境に応じて該車両の走行を制御可能な車両用制御装置であって、
    前記車両に搭載されかつ該車両の外部環境を撮影するカメラの出力に対して画像処理を行って、該画像処理により得られる画像処理データを出力する第１ＩＣ（Integrated Circuit）ユニットと、
    前記第１ＩＣユニットとは別のユニットで構成され、前記画像処理データに基づいて前記車両の外部環境の認識処理を行って、該認識処理により得られる外部環境データを出力する第２ＩＣユニットと、
    前記第１ＩＣユニット及び前記第２ＩＣユニットとは別のユニットで構成され、前記画像処理データ又は前記外部環境データに基づいて、前記車両の走行制御のための判断処理を行う第３ＩＣユニットと、
    前記車両の状況に応じて、前記第２ＩＣユニットにおける前記車両の外部環境の認識機能のオン及びオフを制御可能なパワーマネジメントユニットと、
    前記第２ＩＣユニットによる前記車両の外部環境の認識処理を行わずに、前記第１ＩＣユニットから前記第３ＩＣユニットへのデータ通信を可能にするバイパス経路とを備えることを特徴とする車両用制御装置。
  2. 請求項１に記載の車両用制御装置において、
    前記第２ＩＣユニットは、前記画像処理データを基に深層学習を利用して外部環境の認識処理を行うように構成されていることを特徴とする車両用制御装置。
  3. 請求項１又は２に記載の車両用制御装置において、
    前記バイパス経路は、前記第２ＩＣユニットを迂回して、第１ＩＣユニットと第３ＩＣユニットとを接続する通信線で構成されていることを特徴とする車両用制御装置。
  4. 請求項１～３のいずれか１つに記載の車両用制御装置において、
    前記車両の乗員の意思により前記第２ＩＣユニットの前記認識機能をオン状態にするか又はオフ状態にするかを選択可能なスイッチを更に備え、
    前記パワーマネジメントユニットは、前記スイッチにより前記第２ＩＣユニットの前記認識機能をオフ状態にすることが選択されたときには、前記第２ＩＣユニットの前記認識機能をオフ状態にすることを特徴とする車両用制御装置。
  5. 請求項１～４のいずれか１つに記載の車両用制御装置において、
    前記第２ＩＣユニットに異常があるか否かを診断する異常診断部を更に備え、
    前記パワーマネジメントユニットは、前記異常診断部により前記第２ＩＣユニットに異常があると判定されたときには、前記車両の状況に関わらず、前記第２ＩＣユニットの前記認識機能をオフ状態にすることを特徴とする車両用制御装置。
JP2020017988A 2020-02-05 2020-02-05 車両用制御装置 Active JP7296899B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020017988A JP7296899B2 (ja) 2020-02-05 2020-02-05 車両用制御装置
CN202110094910.0A CN113212331B (zh) 2020-02-05 2021-01-25 车辆用控制装置
US17/159,175 US11697413B2 (en) 2020-02-05 2021-01-27 Vehicle control device
EP21154037.2A EP3862239A1 (en) 2020-02-05 2021-01-28 Vehicle control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020017988A JP7296899B2 (ja) 2020-02-05 2020-02-05 車両用制御装置

Publications (2)

Publication Number Publication Date
JP2021123232A JP2021123232A (ja) 2021-08-30
JP7296899B2 true JP7296899B2 (ja) 2023-06-23

Family

ID=74346988

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020017988A Active JP7296899B2 (ja) 2020-02-05 2020-02-05 車両用制御装置

Country Status (4)

Country Link
US (1) US11697413B2 (ja)
EP (1) EP3862239A1 (ja)
JP (1) JP7296899B2 (ja)
CN (1) CN113212331B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021003154A1 (de) * 2021-06-18 2022-12-22 Mercedes-Benz Group AG Verfahren zum Betrieb eines für einen automatisierten Fahrbetrieb eingerichteten Fahrzeugs

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020142770A (ja) 2019-03-08 2020-09-10 マツダ株式会社 自動車用演算システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4149429B2 (ja) * 2004-10-26 2008-09-10 本田技研工業株式会社 車両の走行安全装置
US8095816B1 (en) * 2007-04-05 2012-01-10 Marvell International Ltd. Processor management using a buffer
JP2010049535A (ja) * 2008-08-22 2010-03-04 Mazda Motor Corp 車両の走行支援装置
JP5680573B2 (ja) * 2012-01-18 2015-03-04 富士重工業株式会社 車両の走行環境認識装置
JP6468204B2 (ja) * 2016-01-15 2019-02-13 スズキ株式会社 小型車両の進路変更時における予防安全装置
JP6885165B2 (ja) 2017-04-06 2021-06-09 株式会社デンソー 自動運転制御装置
US10318822B2 (en) * 2017-04-06 2019-06-11 GM Global Technology Operations LLC Object tracking
JP2019079126A (ja) * 2017-10-20 2019-05-23 トヨタ自動車株式会社 車両
JP6985176B2 (ja) * 2018-02-16 2021-12-22 本田技研工業株式会社 車両制御装置
US10457294B1 (en) * 2018-06-27 2019-10-29 Baidu Usa Llc Neural network based safety monitoring system for autonomous vehicles
US11308338B2 (en) * 2018-12-28 2022-04-19 Nvidia Corporation Distance to obstacle detection in autonomous machine applications

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020142770A (ja) 2019-03-08 2020-09-10 マツダ株式会社 自動車用演算システム

Also Published As

Publication number Publication date
JP2021123232A (ja) 2021-08-30
US11697413B2 (en) 2023-07-11
CN113212331A (zh) 2021-08-06
US20210241028A1 (en) 2021-08-05
EP3862239A1 (en) 2021-08-11
CN113212331B (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
CN113508069B (zh) 汽车用运算系统
JP7048353B2 (ja) 走行制御装置、走行制御方法およびプログラム
JP7429143B2 (ja) 移動体制御装置、移動体制御方法、およびプログラム
JP2019137185A (ja) 車両制御システム、車両制御方法、およびプログラム
JP7330911B2 (ja) 車両用制御装置
US11565637B2 (en) Vehicle control device and vehicle control system
US11364921B2 (en) Object recognition apparatus, object recognition method, and vehicle
JP7296899B2 (ja) 車両用制御装置
WO2020250519A1 (ja) 外部環境認識装置
US20210241001A1 (en) Vehicle control system
JP7131440B2 (ja) 自動車用演算装置
JP7139300B2 (ja) 認識装置、認識方法、およびプログラム
JP7288409B2 (ja) 車両用制御装置
JP7228549B2 (ja) 制御装置、制御方法、およびプログラム
JP2024039776A (ja) 移動体制御装置、移動体制御方法、およびプログラム
JP2022152206A (ja) 車両制御装置、車両制御方法、およびプログラム
JP2022139069A (ja) 運転支援装置、運転支援方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230530

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230613

R150 Certificate of patent or registration of utility model

Ref document number: 7296899

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150