JP7380409B2 - 車両用記録装置、情報記録方法 - Google Patents

車両用記録装置、情報記録方法 Download PDF

Info

Publication number
JP7380409B2
JP7380409B2 JP2020079895A JP2020079895A JP7380409B2 JP 7380409 B2 JP7380409 B2 JP 7380409B2 JP 2020079895 A JP2020079895 A JP 2020079895A JP 2020079895 A JP2020079895 A JP 2020079895A JP 7380409 B2 JP7380409 B2 JP 7380409B2
Authority
JP
Japan
Prior art keywords
recording
vehicle
mode
automatic driving
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020079895A
Other languages
English (en)
Other versions
JP2021174413A5 (ja
JP2021174413A (ja
Inventor
憲明 市田
貴弘 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2020079895A priority Critical patent/JP7380409B2/ja
Priority to PCT/JP2021/015694 priority patent/WO2021220845A1/ja
Publication of JP2021174413A publication Critical patent/JP2021174413A/ja
Publication of JP2021174413A5 publication Critical patent/JP2021174413A5/ja
Priority to US18/049,447 priority patent/US20230063930A1/en
Priority to JP2023134129A priority patent/JP2023160848A/ja
Application granted granted Critical
Publication of JP7380409B2 publication Critical patent/JP7380409B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0053Handover processes from vehicle to occupant
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/507Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking specific to autonomous vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18163Lane change; Overtaking manoeuvres
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/221Physiology, e.g. weight, heartbeat, health or special needs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/223Posture, e.g. hand, foot, or seat position, turned or inclined
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/225Direction of gaze
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/229Attention level, e.g. attentive to driving, reading or sleeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4046Behavior, e.g. aggressive or erratic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Traffic Control Systems (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Description

本開示は、車両の走行時の車両内及び車室外の少なくともいずれか一方の状況を示すデータを記録する車両用記録装置及び情報記録方法に関する。
これまで車両用記録装置として、衝突や急ブレーキ等の所定のイベントが発生した場合にイベント発生時点の前後所定時間の車載カメラの撮影映像を記録する装置や、車載カメラの映像を常時記録するドライブレコーダなどが提案されている。例えば、特許文献1には、常時記録型のドライブレコーダとして、フロントカメラの映像データと、車室内音声データと、運転モード情報と、を対応付けて保存する構成が開示されている。特許文献1における運転モード情報は、自動運転か手動運転かを示すものである。
特開2018-124823号公報
自動運転機能が搭載されている車両では、自動運転時の事故の発生原因や、事故責任がシステムにあるのかドライバにあるのか等を後から客観的に解析可能に構成されていることが要求されている。そのため、従来技術では記録対象に含まれていなかったようなセンサ/ECUのデータも記録する必要性が生じている。また、自動運転機能を備えた車両には、より一層多くのセンサ/ECUが搭載されることが想定される。つまり、これまで以上に多くのデータを記録する必要がある。そのような需要に対して従来技術をそのまま転用すると、保存すべきデータ量が膨大となってしまう。
本開示は、この事情に基づいて成されたものであり、その目的とするところは、データの保存量を抑制しつつ、事故原因の解析性を高めることができる車両用記録装置、及び情報記録方法を提供することにある。
その目的を達成するための第1の車両用記録装置は、自動運転機能を提供するコンピュータであって、動作モードとして、自動運転レベル0から2の何れかに相当する乗員関与モードと自動運転レベル3に相当するレベル3モードとを備える、自動運転処理部(20)の作動状態を記録する車両用記録装置であって、車両に搭載されたセンサ類から記録対象となりうる複数種類の情報を取得する情報取得部(G1)と、自動運転処理部の動作モードを示す信号を取得するモード取得部(G11)と、動作モードに応じて記録対象を変更する記録対象設定部(G2)と、記録対象設定部が設定した記録対象に該当する情報を所定の記憶媒体を用いて実現されているデータ格納部(Mm)に保存する処理を実行する記録処理部(G3)と、を備え、記録対象となり得る複数種類の情報には、運転席乗員の状態を示す乗員状態データが含まれ、情報取得部は、乗員状態データの1つとして、運転席乗員の顔画像を取得可能に構成されており、記録対象設定部は、自動運転処理部がレベル3モードで動作している場合には顔画像を記録対象に含める一方、自動運転処理部が乗員関与モードで動作している場合には顔画像を記録対象から除外する。
また、上記目的を達成するための第2の車両用記録装置は、自動運転機能を提供するコンピュータであって、動作モードとして、自動運転レベル0から2の何れかに相当する乗員関与モードと車両を自律的に走行させる自律走行モードとを備える、自動運転処理部(20)の作動状態を記録する車両用記録装置であって、自律走行モードは、自動運転処理部が運転席乗員に運転操作の引き継ぎを要求する処理である引継ぎ要求処理を実行している状態である権限移譲モードを含み、車両に搭載されたセンサ類から記録対象となりうる複数種類の情報を取得する情報取得部(G1)と、自動運転処理部の動作モードを示す信号を取得するモード取得部(G11)と、動作モードに応じて記録対象を変更する記録対象設定部(G2)と、記録対象設定部が設定した記録対象に該当する情報を所定の記憶媒体を用いて実現されているデータ格納部(Mm)に保存する処理を実行する記録処理部(G3)と、を備え、記録対象となり得る複数種類の情報には、運転席乗員の状態を示す乗員状態データが含まれ、情報取得部は、乗員状態データの1つとして、運転席乗員の顔画像を取得可能に構成されており、モード取得部は、自動運転処理部との通信により、自動運転処理部が引き継ぎ要求処理を実行中であるかを取得し、記録対象設定部は、自動運転処理部が継ぎ要求処理を実施している場合には顔画像を記録対象に含める一方、自動運転処理部が乗員関与モードで動作している場合には顔画像を記録対象から除外する。
上記の構成では、運転モードに応じて運転席乗員の状態を示すデータ(例えば顔部画像)を記録対象とするか否かが変更される。このような構成によれば、運転席乗員の状態を常時記録するわけでない。例えば運転席乗員に運転責任が発生しない運転モードでは、運転席乗員の状態を示すデータを記録対象から除外することが可能となる。故に、保存されるデータ量を抑制できる。また、例えば所定の運転モードにおいては、運転席乗員の状態が記録されるため、事故が生じた際の運転席乗員の状態を特定可能となる。ひいては、事故原因や責任所在の事後解析性を高めることができる。つまり、上記構成によれば、データの保存量を抑制しつつ、事故原因の解析性を高めることができる。
また、上記目的を達成するための情報記録方法は、自動運転機能を提供するコンピュータであって、動作モードとして、自動運転レベル0から2の何れかに相当する乗員関与モードと自動運転レベル3に相当するレベル3モードとを備える、自動運転処理部(20)の作動状態を記録するための、プロセッサ(31)によって実行される情報記録方法であって、車両に搭載されたセンサ類から、記録対象となりうる複数種類の情報を取得するとともに、自動運転処理部の動作モードを示す信号を取得するモード取得ステップ(S1)と、動作モードに応じて記録対象を変更する記録対象設定ステップ(S2)と、記録対象設定ステップで設定された記録対象に該当する情報を、所定の記憶媒体を用いて実現されているデータ格納部(Mm)に保存する記録ステップ(S3、S5)と、を備え、記録対象となり得る複数種類の情報には、運転席乗員の顔画像のデータが含まれており、記録対象設定ステップは、レベル3モードが適用されている場合には顔画像を記録対象に含める一方、乗員関与モードが適用されている場合には顔画像を記録対象から除外するように構成されている
上記構成によれば、車両用記録装置と同様の作用により、データの保存量を抑制しつつ、事故原因の解析性を向上可能となる。
なお、特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
自動運転システム1の全体構成を示すブロック図である。 周辺監視センサ11の一例を示した図である。 乗員状態センサ12の一例を示す図である。 ロケータ14の構成を示すブロック図である。 HMIシステム15の構成を示すブロック図である。 運転モード通知画像80の一例を示す図である。 自動運転ECU20の構成を示すブロック図である。 運行記録ユニット30の構成を示すブロック図である。 データ格納部Mmの構成を説明するための概念図である。 運転モードと記録対象とする項目の対応関係の一例を示した図である。 記録処理部G3によるイベント記録処理の記録対象期間を示した図である。 運行記録ユニット30の作動を示すフローチャートである。 ODD内外判定部F51と運行記録ユニット30の相互作動について説明するための図である。 自動運転ECU20の変形例を示すブロック図である。 周辺監視センサ11の搭載数の変形例を示す図である。 自律走行モード時における予定行動と、観測データを記録対象とする周辺監視センサ11の対応関係の一例を示す図である。 自動運転システム1の構成の変形例を示す図である。 運行記録ユニット30の構成の変形例を示すブロック図である。 運行記録ユニット30によるデータの記録態様の一例を示す図である。 運行記録ユニット30によるデータの記録態様の他の例を示す図である。 システム構成の変形例を示す図である。 システム構成の変形例を示す図である。 システム構成の変形例を示す図である。 システム構成の変形例を示す図である。
以下、本開示の実施形態について図を用いて説明する。図1は、本開示の車両用記録装置を適用してなる自動運転システム1の概略的な構成の一例を示す図である。図1に示すように自動運転システム1は、周辺監視センサ11、乗員状態センサ12、車両状態センサ13、ロケータ14、HMIシステム15、V2X車載器16、ボディECU17、自動運転ECU20、及び、運行記録ユニット30を備える。なお、部材名称中のECUは、Electronic Control Unitの略であり、電子制御装置を意味する。また、HMIは、Human Machine Interfaceの略である。V2XはVehicle to X(Everything)の略で、車を様々なものをつなぐ通信技術を指す。単にシステムと記載した場合には、自動運転システム1を指すものとする。
自動運転システム1を構成する上記の種々の装置またはセンサは、ノードとして、車両内に構築された通信ネットワーク(以降、LAN:Local Area Network)99に接続されている。LAN99に接続されたこれらのノードは相互に通信可能である。なお、特定の装置同士は、LAN99を介することなく直接的に通信可能に構成されていてもよい。例えば自動運転ECU20と運行記録ユニット30とは専用線によって直接的に電気接続されていても良い。また、図1においてLAN99はバス型に構成されているが、これに限らない。ネットワークトポロジは、メッシュ型や、スター型、リング型などであってもよい。ネットワーク形状は適宜変更可能である。LAN99の規格としては、例えばController Area Network(以降、CAN:登録商標)や、イーサネット(イーサネットは登録商標)、FlexRay(登録商標)など、多様な規格を採用可能である。
以降では自動運転システム1が搭載されている車両を自車両とも記載するとともに、自車両の運転席に着座している乗員(つまり運転席乗員)をユーザとも記載する。なお、以下の説明における前後、左右、上下の各方向は、自車両を基準として規定される。具体的に、前後方向は、自車両の長手方向に相当する。左右方向は、自車両の幅方向に相当する。上下方向は、車両高さ方向に相当する。別の観点によれば、上下方向は、前後方向及び左右方向を規定した水平面の鉛直方向に沿って規定される。
<各構成要素の概要>
周辺監視センサ11は、自車両周辺の外部環境についての情報を収集する装置である。周辺監視センサ11としては、例えば、カメラ、ミリ波レーダ、LiDAR(Light Detection and Ranging/Laser Imaging Detection and Ranging)、ソナー等を採用することができる。なお、ミリ波レーダは、所定方向に向けてミリ波又は準ミリ波を送信するとともに、当該送信波が物体で反射されて返ってきた反射波の受信データを解析することにより、自車両に対する物体の相対位置や相対速度を検出するデバイスである。ミリ波レーダは、検出結果として、例えば検出方向及び距離毎の受信強度及び相対速度を示すデータまたは検出物の相対位置及び受信強度を示すデータを生成する。LiDARは、レーザ光を照射することによって、検出方向ごとの反射点の位置を示す3次元点群データを生成するデバイスである。
ここでは一例として自動運転システム1は図2に示すように、前方カメラ11a、後方カメラ11b、右側方カメラ11c、左側方カメラ11d、前方レーダ11e、右後方レーダ11f、及び左後方レーダ11gを周辺監視センサ11として備える。前方カメラ11a、後方カメラ11b、右側方カメラ11c、及び左側方カメラ11dは周辺監視カメラとも称することができる。
前方カメラ11aは、車両前方を所定の画角で撮像するカメラである。前方カメラ11aは、例えばフロントガラスの車室内側の上端部や、フロントグリル等に配置されている。前方カメラ11aとして、フロントガラスの車室内側の上端部に配置されてあって相対的に遠方を撮像可能に構成されたカメラとは別に、相対的に広角かつ近距離を撮像するように構成された周辺監視用のカメラを備えていても良い。後方カメラ11bは、車両後方を所定の画角で撮像するカメラである。後方カメラ11bは、例えばリアナンバープレート付近やリアウインドウ付近など、ボディ背面部の所定位置に配置されている。なお、周辺監視センサ11の搭載位置の説明において、或る部材の「付近」とは、当該部材から例えば30cm以内となる範囲を指す。例えばナンバープレート付近とはナンバープレートから30cm以内となる範囲を指す。右側方カメラ11c及び左側方カメラ11dは、車両側方を所定の画角で撮像するカメラであって、例えばサイドミラーやボディの左右側面の所定位置(例えばAピラーの付け根付近)に配置されている。
前方レーダ11eは、車両前方に向けて探査波を送信することにより、車両前方の所定範囲を検出範囲とするミリ波レーダであって、例えば、フロントグリルや、フロントバンパに設置されている。右後方レーダ11fは、車両右後方に向けて探査波を送信することにより、車両右後方の所定範囲を検出範囲とするミリ波レーダであって、例えば、リアバンパの右側コーナー部に設置されている。左後方レーダ11gは、車両左後方に向けて探査波を送信することにより、車両左後方の所定範囲を検出範囲とするミリ波レーダであって、例えば、リアバンパの左側コーナー部に設置されている。
上記の種々の周辺監視センサ11は、例えば、所定の検出対象物を検出するとともに、当該検出物の自車両に対する相対位置等を特定する。そして、検出物の位置や種別等を示す検出結果データを、自動運転ECU20及び運行記録ユニット30(以降、自動運転ECU20等)に逐次提供する。ここでの検出対象物とは、例えば、歩行者、人間以外の動物、他車両、道路沿いに設置される構造物などである。他車両には自転車や原動機付き自転車、オートバイも含まれる。道路沿いに設置される構造物とは、例えば、ガードレール、縁石、樹木、電柱、道路標識、信号機などである。また、本実施形態ではより好ましい態様として、走行区画線等の路面標示や、路上の落下物なども周辺監視カメラの検出対象物として登録されているものとする。
周辺監視センサ11は、例えば画像データなど、物体認識に用いた観測データも、LAN99を介して自動運転ECU20等に提供する。例えば前方カメラ11aは、車両の前方を撮影した観測データとしての画像データと、画像データの解析結果を出力する。また、ミリ波レーダの観測データとは、検出方向及び距離毎の受信強度及び相対速度を示すデータまたは検出物の相対位置及び受信強度を示すデータを指す。超音波センサの観測データとは、測距結果を指す。LiDARの観測データとは3次元点群データである。観測データは、センサが観測した生のデータ、あるいは認識処理が実行される前のデータに相当する。
なお、観測データに基づく物体認識処理は、自動運転ECU20など、センサ外のECUが実行しても良い。その場合、周辺監視センサ11としてのカメラやミリ波レーダは、画像データや測距データといった観測データを検出結果データとして自動運転ECU20に提供すればよい。各種周辺監視センサ11は、内部故障等が生じると、エラー信号をLAN99に出力する。例えば前方カメラ11aは、撮像素子や処理回路の異常を検出すると、エラー信号を出力する。
乗員状態センサ12は、運転席乗員の状態を示す指標情報を逐次検出するセンサである。運転席乗員の状態を示す指標情報としては、運転席乗員の顔画像や、上半身画像、運転席の着座面に作用する圧力の分布、ハンドルの把持状態などを採用することができる。また、心拍数、呼吸間隔、脳波などの生体情報もまた、運転席乗員の状態を示す指標情報として採用可能である。例えば自動運転システム1は乗員状態センサ12として、図3に示すように、ドライバステータスモニタ(以降、DSM:Driver Status Monitor)12a、シートセンサ12b、及びハンドルセンサ12cを備える。なお、自動運転システム1はこれらすべてのセンサを備えている必要はない。また、これら以外のセンサを乗員状態センサ12として備えていても良い。例えば、体温や脈拍を測る腕時計型のウェアラブルデバイスを乗員状態センサ12として備えていても良い。
DSM12aは、運転席乗員の顔画像に基づいて運転席乗員の状態を逐次検出する。具体的には、DSM12aは、近赤外カメラを用いて運転席乗員の顔部を撮影し、その撮像画像に対して画像認識処理を施すことで、運転席乗員の顔の向きや視線方向、瞼の開き度合い等を逐次検出する。DSM12aは、運転席に着座している乗員の顔を撮影可能なように、例えば運転席のヘッドレスト部に近赤外カメラを向けた姿勢にて、ステアリングコラムカバーの上面や、インストゥルメントパネルの上面、ルームミラー等に配置されている。
近赤外カメラによる撮像画像は、図示しない制御ユニットによって画像解析される。また、DSM12aの制御ユニットは、顔の向きや視線方向、瞼の開き度合い、瞬きの頻度や間隔等を総合的に鑑みて、運転席乗員の覚醒度合いを推定する。DSM12aは、撮影画像から特定した運転席乗員の顔の向きや、視線方向、瞼の開き度合い、覚醒度合い等を示す情報を乗員状態データとしてLAN99へ逐次出力する。また、本実施形態ではより好ましい態様として、DSM12は、運転席乗員の顔画像データを自動運転ECU20に提供する。運転席乗員の顔画像データは運転席乗員の覚醒度合い等の判断材料であって、DSM12aを構成する近赤外カメラの観測データに相当する。なお、近赤外カメラによる撮像画像を解析する機能は、自動運転ECU20が備えていても良い。その場合、DSM12aは、近赤外カメラによる撮像画像を出力するように構成されていればよい。画像データは映像信号の形式で出力されてもよい。
シートセンサ12bは、運転席の背もたれ部や着座面に作用する圧力の分布に基づいて運転席乗員の状態を逐次検出する。シートセンサ12bの出力信号は、運転席乗員が運転可能な姿勢で着座しているか否かを推定するための材料として利用可能である。シートセンサ12bは、運転席の背もたれ部や着座部の表面の内側に埋設されている。ハンドルセンサ12cは、ハンドルに設けられてあって、ドライバがハンドルを握る圧力を検出する。なお、ハンドルセンサ12cは、静電容量の変化に基づいて乗員がハンドルを握っていることを検出する、静電容量式のセンサであってもよい。ハンドルセンサ12cはハンドルに作用するトルクを検出するもの(例えばトーションバー)であっても良い。ハンドルにトルクがかかっていることはユーザがハンドルを把持していることを示すためである。ハンドルセンサ12cの出力信号は、ドライバが両手でハンドルを把持しているか否かを示す信号として利用可能である。シートセンサ12b及びハンドルセンサ12cの検出結果は、例えばLAN99を介して自動運転ECU20などに提供される。
車両状態センサ13は、自車両の走行制御に関わる状態量を検出するセンサである。車両状態センサ13には、ブレーキセンサ、アクセルセンサ、シフトポジションセンサ、操舵角センサ、車速センサ、転舵角センサ、加速度センサなどが含まれる。ブレーキセンサは、ブレーキペダルの位置、換言すれば、運転席乗員によってブレーキペダルが踏み込まれている量(以降、ブレーキ踏込量)を検出するセンサである。アクセルセンサは、アクセルペダルの位置、換言すれば、アクセルペダルが運転席乗員によって踏み込まれている量(以降、アクセル踏込量)を検出するセンサである。シフトポジションセンサは、シフトレバーのポジションを検出するセンサである。操舵角センサは、ハンドルの回転角(いわゆる操舵角)を検出するセンサである。ブレーキセンサ、アクセルセンサ、シフトポジションセンサ、及び操舵角センサは、運転席乗員による運転操作の内容を示す物理状態量を検出するセンサに相当する。
車速センサは、自車両の走行速度を検出するセンサである。転舵角センサは、車両前後方向又は車軸に対するタイヤの角度(いわゆる転舵角)を検出するセンサである。加速度センサは、自車両に作用する車両前後方向の加速度や、横方向の加速度を検出するセンサである。車速センサ、転舵角センサ、及び加速度センサは、運転席乗員の運転操作又は自動運転ECU20による制御の結果として生じる車両の挙動を示す物理状態量を検出するセンサに相当する。
各センサは、検出対象とする物理状態量の現在の値(つまり検出結果)を示すデータをLAN99に出力する。各センサの出力データは、LAN99を介して自動運転ECU20等に取得される。なお、車両状態センサ13として自動運転システム1が使用するセンサの種類は適宜設計されればよく、上述した全てのセンサを備えている必要はない。また、自動運転システム1は、上述した以外のセンサ、例えばヨーレートセンサや方位センサ、エンジン回転速度センサ等を車両状態センサ13として備えていても良い。ヨーレートセンサは自車両の垂直軸周りの回転角速度(すなわち、ヨーレート)を検出するセンサである。方位センサは、自車両が向いている方位角を検出するセンサである。エンジン回転速度センサはエンジンの回転速度を検出するセンサである。なお、自車両が駆動源としてモータを備える車両である場合には、当該モータの回転速度/出力トルクを検出するセンサを備えていても良い。
ロケータ14は、複数の情報を組み合わせる複合測位により、自車両の高精度な位置情報等を生成する装置である。ロケータ14は、例えば図4に示すように、GNSS受信機141、慣性センサ142、高精度地図データベース(以下、データベースはDBと記載)143、及び位置演算部144を用いて実現されている。GNSS受信機141は、GNSS(Global Navigation Satellite System)を構成する測位衛星から送信される航法信号を受信することで、当該GNSS受信機141の現在位置を逐次(例えば100ミリ秒毎に)検出するデバイスである。GNSSとしては、GPS、GLONASS、Galileo、IRNSS、QZSS、Beidou等を採用可能である。慣性センサ142は、例えば3軸ジャイロセンサ及び3軸加速度センサである。
高精度地図DB143は、高精度地図データを記憶している不揮発性メモリである。ここでの高精度地図データは、道路構造、及び、道路沿いに配置されている地物についての位置座標等を、自動運転に利用可能な精度で示す地図データに相当する。高精度地図データは、例えば、道路の三次元形状データや、車線データ、地物データ等を備える。上記の道路の三次元形状データには、複数の道路が交差、合流、分岐する地点(以降、ノード)に関するノードデータと、その地点間を結ぶ道路(以降、リンク)に関するリンクデータが含まれる。リンクデータには、自動車専用道路であるか、一般道路であるかといった、道路種別を示すデータも含まれている。ここでの自動車専用道路とは、歩行者や自転車の進入が禁止されている道路であって、例えば高速道路などの有料道路などを指す。道路種別は、自律走行が許容される道路であるか否かを示す属性情報を含んでもよい。車線データは、車線数や、車線区画線(いわゆるレーンマーカー)の敷設位置座標、車線ごとの進行方向、車線レベルでの分岐/合流地点を示す。レーンマーカーには、黄色又は白色の塗料を用いて破線又は連続線状に形成されているペイントの他、道路鋲なども含まれる。地物データは、一時停止線などの路面表示の位置及び種別情報や、ランドマークの位置、形状、及び種別情報を含む。ランドマークには、交通標識や信号機、ポール、商業看板など、道路沿いに設置された立体構造物が含まれる。
位置演算部144は、GNSS受信機141の測位結果と、慣性センサ142での計測結果とを組み合わせることにより、自車両の位置を逐次測位する。測位した車両位置はLAN99に出力され、自動運転ECU20等で利用される。また、ロケータ14は高精度地図DB143から、現在位置を基準として定まる所定範囲の地図データを読み出し、LAN99を介して自動運転ECU20等に提供する。なお、地図データは、V2X車載器16を介して外部サーバ等から取得する構成としてもよい。さらに、ロケータ14(主として位置演算部144)は、ローカライズ処理を実施可能に構成されていても良い。ローカライズ処理は、前方カメラ11aなどの周辺監視カメラで撮像された画像に基づいて特定されたランドマークの座標と、高精度地図データに登録されているランドマークの座標とを照合することによって自車両の詳細位置を特定する処理を指す。ロケータ14が備える一部又は全部の機能は、自動運転ECU20に内在していてもよい。
HMIシステム15は、ユーザ操作を受け付ける入力インターフェース機能と、ユーザへ向けて情報を提示する出力インターフェース機能とを提供するシステムである。HMIシステム15は、図5に示すように、HCU(HMI Control Unit)151、入力装置152、及び、ディスプレイ153を備える。
HCU151は、ユーザが入力装置152を介して入力した操作情報の取得と、ディスプレイ153を用いたユーザへの情報提示とを統合的に制御する構成である。なお、ユーザへの情報提示は、スピーカや、バイブレータ、照明装置(例えばLED)等を用いて実現されてもよい。HCU151は、例えばCPUやGPUなどのプロセッサと、RAMと、フラッシュメモリ等を用いて実現されている。HCU151の詳細は入力装置152及びディスプレイ153の説明後に記載する。
入力装置152は、例えばナビゲーション装置等の自車両に搭載されている種々の電子機器(以降、車載機器)に対するユーザの指示操作を受け付けるためのデバイスである。ここでの車載機器には自動運転ECU20や運行記録ユニット30も含まれる。本実施形態では一例としてHMIシステム15は、入力装置152として、ハンドル等に設けられたメカニカルなスイッチ(つまり、ステアリングスイッチ)を備える。また、HMIシステム15は、運転モードスイッチとして機能する入力装置152を備える。運転モードスイッチは、自動運転機能を作動させたり停止させたりするためのスイッチである。このような運転モードスイッチは、運転席乗員が運転モードを切り替えるためのスイッチに相当する。なお、入力装置152は、ディスプレイ153の表面に積層されたタッチパネルであってもよいし、周知の音声認識技術を用いて実現される音声入力装置であってもよい。また、センターコンソールに配置されたハプティックデバイスであってもよい。車両制御システム100は上述した複数種類のデバイスを入力装置152として備えていても良い。
ディスプレイ153は、HCU151から入力された画像を表示するデバイスである。本実施形態では一例としてディスプレイ153は、インストゥルメントパネルの車幅方向中央部(以降、中央領域)の最上部に設けられたディスプレイ(いわゆるセンターディスプレイ)とする。ディスプレイ153は、フルカラー表示が可能なものであり、液晶ディスプレイ、OLED(Organic Light Emitting Diode)ディスプレイ、プラズマディスプレイ等を用いて実現することができる。なお、HMIシステム15は、ディスプレイ153として、フロントガラスの運転席前方の一部分に虚像を映し出すヘッドアップディスプレイを備えていてもよい。また、ディスプレイ153は、インストゥルメントパネルにおいて運転席の正面に位置する領域に配置されたディスプレイ(いわゆるメータディスプレイ)であってもよい。
HCU151は、自動運転ECU20から提供される情報に基づき、自動運転機能の動作状態を示す画像(以降、運転モード通知画像80)をディスプレイ153に表示する。運転モード通知画像80は、例えば図6に示すように、モードアイコン画像81、路面認識状態画像82、及び移動体認識状態画像83を含んでいても良い。モードアイコン画像81は運転モードを明示する画像である。路面認識状態画像82は、自動運転ECU20における車線区画線または道路端の認識状態を示す画像である。移動体認識状態画像83は、自動運転ECU20における他の移動体の認識状態を示す画像である。予定行動通知画像84は、自動運転ECU20が次に予定している行動を示す画像である。HCU151は、例えば路面認識状態画像82を構成する線画像の表示態様(例えば色合い)の変更によって、車線区画線または道路端を認識できているか否かを表現してもよい。移動体認識状態画像83についても同様である。また、HCU151は、自動運転システム1から、運転席乗員へ運転操作の権限移譲(いわゆる引継ぎ要求)を行う際には、画像や光、音を用いた所定の通知態様で運転席乗員に運転操作を引き継ぐように要求する。
HCU151は、運行記録ユニット30からの要求に基づき、ディスプレイ153の表示画面のスクリーンショットを提供する。また、HCU151は、運転モードに関する乗員への通知状態を示すデータを運行記録ユニット30に逐次提供する。運転モードに関する乗員への通知状態を構成する要素には、運転モードを示す画像としてディスプレイ153に表示していた内容(例えば画像ID)や、スピーカから出力させたメッセージまたは警告音のデータID及び音量などを含めることができる。
V2X車載器16は、自車両が他の装置と無線通信を実施するための装置である。なお、V2Xの「V」は自車両としての自動車を指し、「X」は、歩行者や、他車両、道路設備、ネットワーク、サーバなど、自車両以外の多様な存在を指しうる。V2X車載器16は、通信モジュールとして広域通信部と狭域通信部を備える。広域通信部は、所定の広域無線通信規格に準拠した無線通信を実施するための通信モジュールである。ここでの広域無線通信規格としては例えばLTE(Long Term Evolution)や4G、5Gなど多様なものを採用することができる。なお、広域通信部は、無線基地局を介した通信のほか、広域無線通信規格に準拠した方式によって、他の装置との直接的に(換言すれば基地局を介さずに)無線通信を実施可能に構成されていても良い。つまり、広域通信部はセルラーV2Xを実施するように構成されていても良い。自車両は、V2X車載器16の搭載により、インターネットに接続可能なコネクテッドカーとなる。例えばロケータ14は、V2X車載器16との協働により、所定のサーバから最新の地図データをダウンロードして、高精度地図DB143に格納されている地図データを更新できる。
V2X車載器16が備える狭域通信部は、通信距離が数十m~数百m程度に限定される通信規格(以降、狭域通信規格)によって、自車両周辺に存在する他の移動体や路側機と直接的に無線通信を実施するための通信モジュールである。他の移動体としては、車両のみに限定されず、歩行者や、自転車などを含めることができる。狭域通信規格としては、IEEE1609にて開示されているWAVE(Wireless Access in Vehicular Environment)規格や、DSRC(Dedicated Short Range Communications)規格など、任意のものを採用可能である。
ボディECU17は、車両に搭載されたボディ系の車載機器を統合的に制御するECUである。ボディ系の車載機器には、ヘッドライトや方向指示器などの灯火装置、サイドミラーの角度を変更するサイロミラーモータ、窓を開閉させるウインドウモータ、ドアロックモータ、ワイパーブレードモータなどが含まれる。ボディECU17は、例えば運転席乗員によるライトスイッチの操作や、照度センサの検出値、又は自動運転ECU20からの指示に基づき、ヘッドライトの点灯状態を制御する。また、ボディECU17は、ヘッドライトや方向指示器などの灯火機器の作動状態や、ワイパーの作動状態、ドアの開閉及び施錠状態を示す各種信号をLAN99に出力する。なお、自車両が運転モード(例えば自律走行中であること)を歩行者等の外部に通知する照明設備である運転モード通知灯を備える場合には、運転モード通知灯もまたボディ系の車載機器に含めることができる。
自動運転ECU20は、周辺監視センサ11などの検出結果をもとに走行用のアクチュエータ類(以降、走行アクチュエータ18)を制御することにより、運転操作の一部または全部を運転席乗員の代わりに実行するECUである。自動運転ECU20は自動運転機能を提供する、自動運転装置に相当する。走行アクチュエータ18とは、例えば制動装置(いわゆるブレーキアクチュエータ)や、電子スロットル、操舵アクチュエータなどを含む。走行アクチュエータ18は、車両の加速、減速、及び操舵の少なくとも何れかに係るハードウェア要素である。
ここでの自動運転の概念には、車両の走行に係る操作のすべてを自動で実行する態様に限定されず、運転操作の一部を自動で行う態様も含めることができる。すなわち、米国自動車技術会(SAE International)の規定する自動運転レベル1からレベル2までの制御も含めることができる。なお、自動運転レベル1は、ステアリング操作と加減速操作のうちの何れか1つをシステムがサポートするレベルを指し、自動運転レベル2は、ステアリング操作と加減速操作のうちの複数をシステムがサポートするレベルを指す。自動運転レベル3は、自動運転を実行可能な条件(つまり自動運転許可条件)を規定する運行設計領域(ODD:Operational Design Domain)内においてシステムが全ての運転操作を実行する一方、緊急時にはシステムからドライバに操作権限が移譲されるレベルを指す。レベル4は、ODD内においてシステムが全ての運転操作を実行するレベルを指す。レベル5は、場所の限定がなくシステムが全ての運転操作を実行するレベルを指す。レベル3以上が車両の走行に係る制御のすべてを自動で実行する、自律走行レベルに相当する。
ここでは一例として自動運転ECU20は、自動運転レベル5までを実行可能に構成されており、各自動化レベルに対応する動作モードを切り替え可能に構成されている。以降では便宜上、自動運転レベルN(N=0~5)に対応する動作モードを、レベルNモードと称する。例えば、レベル3モードとは、自動運転レベル3で自車両を自律走行させる動作モードを指す。また、本明細書では、レベル3~5モードのことを自律走行モードとも称するとともに、レベル1~2モードのことを運転支援モードと称する。レベル0~2モードは、運転操作の少なくとも一部を運転席乗員に任せる乗員関与モードに相当する。自動運転ECU20の動作モードは、乗員からすれば運転モードに相当する。
動作モードの切り替えは、ユーザ操作の他、システム限界や、ODDの退出等に起因して自動的に実行される。なお、自律走行モードにおいては、自動運転ECU20は、運転席乗員またはオペレータによって設定された目的地まで、道路に沿って自車両が走行するように、車両の操舵、加速、減速(換言すれば制動)等を自動で実施する。
自動運転ECU20は、処理部21、RAM22、ストレージ23、通信インターフェース24、及びこれらを接続するバス等を備えたコンピュータを主体として構成されている。処理部21は、RAM22と結合された演算処理のためのハードウェアである。処理部21は、CPU(Central Processing Unit)等の演算コアを少なくとも一つ含む構成である。処理部21は、RAM22へのアクセスにより、後述する各機能部の機能を実現するための種々の処理を実行する。ストレージ23は、フラッシュメモリ等の不揮発性の記憶媒体を含む構成である。ストレージ23には、処理部21によって実行されるプログラム(以降、自動運転プログラム)が格納されている。処理部21が自動運転プログラムを実行することは、自動運転プログラムに対応する方法が実行されることに相当する。通信インターフェース24は、LAN99を介して他の装置と通信するための回路である。通信インターフェース24は、アナログ回路素子やICなどを用いて実現されればよい。自動運転ECU20の詳細については別途後述する。
運行記録ユニット30は、車両の走行時の車両内の状況、及び、車室外の状況の少なくとも何れか一方を示すデータを記録する装置である。車両の走行時の車両内の状況には、自動運転ECU20の作動状態や、運転席乗員の状態を含めることができる。さらに、自動運転ECU20の作動状態を示すデータには、自動運転ECU20における周辺環境の認識結果や、走行計画、各走行アクチュエータの目標制御量などの算出結果も含まれる。記録対象とするデータは、LAN99等を介して、自動運転ECU20や周辺監視センサ11など、車両に搭載されているECUやセンサから取得する。
運行記録ユニット30もまた、処理部31、RAM32、ストレージ33、通信インターフェース34、及びこれらを接続するバス等を備えたコンピュータを主体として構成されている。処理部31は、RAM32と結合された演算処理のためのハードウェアである。処理部31は、CPU等のプロセッサを少なくとも一つ含む構成である。処理部31は、RAM32へのアクセスにより、後述する各機能部の機能を実現するための種々の処理を実行する。ストレージ33は、フラッシュメモリ等の不揮発性の記憶媒体を含む構成である。ストレージ33には、処理部21によって実行されるプログラム(以降、運行状況記録プログラム)が格納されている。処理部31が運行状況記録プログラムを実行することは、運行状況記録プログラムに対応する方法(情報記録方法に相当)が実行されることに相当する。通信インターフェース34は、LAN99に接続し、LAN99を介して他の装置と通信するための回路である。通信インターフェース34は、アナログ回路素子やICなどを用いて実現されている。運行記録ユニット30の詳細については別途後述する。
<自動運転ECU20について>
ここでは図7を用いて自動運転ECU20の機能及び作動について説明する。自動運転ECU20は、ストレージ23に保存されている自動運転プログラムを実行することにより、図7に示す種々の機能ブロックに対応する機能を提供する。すなわち、自動運転ECU20は機能ブロックとして、周辺環境認識部F1、乗員状態認識部F2、自車状態取得部F3、操作内容取得部F4、モード制御部F5、行動計画部F6、制御実行部F7、異常検出部F8、及び作動状態出力部F9を備える。
周辺環境認識部F1は、周辺監視センサ11での検出結果等に基づいて、自車両の周囲の環境である周辺環境を認識する。ここでの周辺環境には、現在位置や走行レーン、道路種別、制限速度、地物の相対位置などの静的な環境要因だけでなく、他の移動体の位置や移動速度、天候、明るさ、気温などの動的な環境要素も含まれる。他の移動体には、他車両としての自動車や、歩行者、自転車などが含まれる。
例えば周辺環境認識部F1は、ロケータ14から最新の自車位置及び進行方向、自車両Aの周辺範囲の高精度地図データを取得する。また、周辺環境認識部F1は、複数の周辺監視センサ11のそれぞれから検出結果を取得し、それらを相補的に組み合わせる(つまりフュージョンする)ことにより、自車周辺に存在する物体の位置及び種別を認識する。つまり、自動運転ECU20の環境認識結果には、自車両の周辺に存在する物体についての認識結果も含まれる。認識対象とする物体には、地物や移動体が含まれる。物体の認識結果には、検出物の位置や、種別、移動速度などを含めることができる。なお、位置や速度は、自車両を基準とする相対位置、相対速度であっても良いし、地面を基準とする絶対位置、絶対速度であってもよい。
加えて、周辺環境認識部F1は、自車両周辺に存在する物体との衝突の可能性を評価する。衝突可能性を示す指標としては、衝突残余時間(いわゆるTTC:Time-To-Collision)や、衝突余裕度(MTC: Margin-To-Collision)、及び車間時間(THW:Time-Head Way)などを採用可能である。なお、TTCの概念には、自車両及び他車両の少なくとも何れか一方の加速度やジャークを利用するものも含まれる。また、周辺環境認識部F1は、周辺監視センサ11の検出結果や高精度地図データをもとに、自車周辺の路面標示や標識の位置や種別、信号機の点灯状態を認識する。
加えて、周辺環境認識部F1は、周辺監視センサ11の検出結果と高精度地図データの少なくともいずれか一方を用いて、走路の境界に関する境界情報として、自車両が現在走行する車線の左右の区画線又は道路端の相対位置及び形状を特定する。なお、周辺環境認識部F1が各周辺監視センサ11から取得するデータは、解析結果ではなく、画像データ等の観測データであってもよい。その場合、周辺環境認識部F1は、種々の周辺監視センサ11の観測データに基づき、左右の区画線又は道路端の位置や形状を含む周辺環境を特定すればよい。
その他、周辺環境認識部F1はV2X車載器16が他車両から受信した他車両情報や、路車間通信にて路側機から受信した交通情報、サーバから受信した天候情報等を用いて周辺環境を特定しても良い。
乗員状態認識部F2は、乗員状態センサ12から提供される情報に基づいて、運転席乗員の状態を判断する。例えば乗員状態認識部F2は、DSM12aから提供されるデータに基づいて、運転席乗員の覚醒度合いを判断する。覚醒度合いは、覚醒状態であるか否かの2段階評価であってもよいし、3段階以上に区分して評価してもよい。また、乗員状態認識部F2は、DSM12aから提供されるデータに基づいて、運転席乗員が車両前方を見ている前方注視状態であるか否かを判断する。例えば、乗員状態認識部F2は、瞼の開度が所定のしきい値以上であって、かつ、運転席乗員の視線方向が車両前方に向けられている場合に、前方注視状態であると判断する。なお、本明細書では前方注視状態のことをアイズオン(eyes on)、非前方注視状態のことをアイズオフ(eyes off)とも記載する。覚醒度合いやアイズオン/オフはDSM12aとシートセンサ12bといった、複数種類のセンサのセンシング情報を組み合わせて判断しても良い。
さらに、乗員状態認識部F2は、ハンドルセンサ12cの出力信号に基づいて、運転席乗員がハンドルを把持しているハンドル把持状態であるか否かを判断する。例えばハンドルセンサ12cが所定のしきい値以上の圧力や静電容量の変化を検出している場合に、ハンドル把持状態であると判断する。なお、本明細書ではハンドル把持状態のことをハンズオン(hands on)、非ハンドル把持状態のことをハンズオフ(hands off)とも記載する。
その他、乗員状態認識部F2は、DSM12a及びシートセンサ12bの少なくとも出力信号に基づいて、デッドマン状態であるか否かを判断するように構成されていてもよい。デッドマン状態とは、脳卒中等の体調の急変によって、正常に運転可能な状態への復帰が困難な状態を示す。デッドマン状態であるかの判断材料としては、運転席乗員の姿勢や脈拍、瞳孔の開度の有無、車両挙動等を採用することができる。
自車状態取得部F3は、車両状態センサ13及びボディECU17の出力データに基づいて、自車両の状態を認識する。自車両の状態には、車速や、加速度、ヨーレート、シフトポジション、エンジン回転速度、転舵角などが含まれる。また、自車状態取得部F3は、ボディECU17の出力信号に基づきボディ系車載機器の作動状態を取得する。例えば、自車状態取得部F3は、ボディECU17と通信することにより、方向指示器の作動状態や、ヘッドランプの点灯状態、ワイパーの作動状態などを示すデータを取得する。
操作内容取得部F4は、車両に設けられているペダルや、レバー、スイッチ、入力装置152からの出力信号(換言すれば操作信号)をもとに、これらの操作部材への運転席乗員の操作の有無/操作量を検出する。例えば操作内容取得部F4は、自動運転スイッチに対する乗員の操作内容や、ブレーキ踏込量などを取得する。
モード制御部F5は、周辺環境、乗員状態、自車両状態、及びユーザ操作の少なくとも何れか1つに基づき、運転モードを切り替える。例えばモード制御部F5はユーザ操作に基づいて運転モードを切り替える。例えばモード制御部F5は、レベル2以下のモードで動作している際に、入力装置152を介してレベル3モードへ移行させるユーザ操作を受け付けた場合、自動運転レベル3を実行可能な周辺環境であることを条件として、レベル3モードへと移行する。レベル2以下のモードからレベル4モードへの移行も同様である。自動運転レベル3~4を実行可能な周辺環境であるか否かは周辺環境認識部F1の認識結果をもとに判断されればよい。例えば周辺環境の認識結果が、自車両に規定されているODDを充足している場合に、自動運転レベル3~4を実行可能な周辺環境であると判定できる。また、モード制御部F5は、例えばレベル2以下のモードで動作している状況下において、入力装置152を介してレベル3モードへ移行させるユーザ操作を受け付けた場合、動作モードをレベル5モードへと切り替える。
一方、自律走行モードで走行中に、自律走行モードを維持することが困難となった場合には、権限移譲処理を挟んでレベル2モードに移行する。自律走行モードを維持できなくなる場合とは、センサ不良や動的環境要因などによりODDを充足しなくなった場合や、ODDとして設計されている道路区間を離脱する場合などである。
権限移譲処理は、運転権限をシステムから運転席乗員に移譲するための処理であって、主として行動計画部F6の計画のもと、自動運転ECU20とHMIシステム15と連携して実行される。権限移譲モードでは、所定期間、運転席乗員に運転操作を引き継ぐように要求し、当該処理中に乗員がハンドルを握るなどの所定操作を実行した場合に、移譲完了となる。なお、権限移譲処理を実行している状態を権限移譲モードと称する。権限移譲モードには、運転席乗員からシステムに運転権限を移譲する過程の動作モードも含めることができる。
その他、モード制御部F5は、正常に動作している周辺監視センサ11の数の減少や、環境の悪化によって、モード制御部F5は、自動運転レベルを5→4→3→2→1→0の順に徐々に低下させてもよい。例えば霧や雨に由来する前方カメラ11aの認識可能距離が所定値以下となった場合、モード制御部F5は動作モードをレベル4モードからレベル3モードへと切り替えても良い。環境の悪化とは、例えば降雨量の増加や、逆光等などを指す。降雨量の概念には降雪量も含まれる。
なお、自動運転ECU20は、自律走行モード中に運転席乗員がデッドマン状態となった場合や、権限移譲処理に運転席乗員が応答しない場合には、安全に停車させるMRM(Minimum Risk Maneuver)処理を実行する。MRM処理の内容は、例えば、周囲に警報を発しながら安全な場所まで車両を自律走行させて駐車させる処理とすることができる。安全な場所としては、所定値以上の幅を有する路肩や、緊急退避エリアとして規定されている場所などである。なお、MRMの内容は、緩やかな減速で走行中の車線内に停止するものであってもよい。その際の減速度としては、例えば2[m/s^2]や3[m/s^2]など、4[m/s^2]以下の値を採用することが好ましい。もちろん、先行車両との衝突等を回避する必要がある場合には、4[m/s^2]を超過する減速度も採用可能である。MRM時の減速度は、例えば10秒以内に停止できる範囲で、MRM開始時点の走行速度や、後続車両との車間距離を鑑みて動的に決定及び逐次更新されてもよい。
その他、モード制御部F5は、操作内容取得部F4の取得情報に基づいて、例えば運転席乗員によるオーバーライド等を検出した場合には、ユーザ設定に基づき、レベル0~2の何れかの動作モードへと移行させる。モード制御部F5は、自動運転ECU20の動作モードを示すステータス情報を通信ネットワークに出力する。ステータス情報は、別の観点によれば自車両の走行モードが自律走行モードであるか手動運転モードであるかを示すデータに相当する。
行動計画部F6は、自動運転ECU20が自律走行モードである場合、周辺環境認識部F1が認識した周辺環境に基づき、自車両の走行計画(換言すれば行動計画)を作成する。走行計画は、長期的な計画と、短期的な計画とが含まれる。長期的な計画には、道路単位または車線単位での目的地までの走行ルートの選定が含まれる。短期的な計画には、長期計画をもとに、現時点から所定時間(例えば10秒)以内に行う行動の内容と、当該計画行動を実現するための具体的な制御目標値(例えば目標車速や、目標加速度、目標操舵量など)の決定が含まれる。短期的な計画には、現時点の次に行う行動(以降、予定行動)の選定が含まれる。予定行動の選択肢としては、車速維持、加速、減速、停止、発進、直線路走行、カーブ旋回、車線変更、交差点直進、左折、右折などがある。また、予定行動としては、追い越しや、駐車などといった複数の行動を組み合わせてなる複合行動も設定可能であってもよい。その他、行動計画部F6は、自動運転ECU20が運転支援モードである場合には、システムが支援すべき操作項目(例えば速度調整)に対応する制御目標値を算出する。
なお、行動計画部F6は、自動運転機能を提供するための要素機能(アプリケーション)として、ACC(Adaptive Cruise Control)機能、LTC(Lane Trace Control)機能、AEB(Automatic Emergency Braking)機能などを備える。ACC機能は、目標車速で自車両を定速走行させるか、又は前走車との車間距離を維持しつつ自車両を追従走行させる機能である。LTC機能は、自車走行レーンに沿って自車走行レーン内で自車両を走行させる機能であって、自車走行レーンに沿った予定走行ラインを生成する。AEB機能(いわゆる衝突被害軽減ブレーキ)は、車両前方に存在する物体との衝突を予見した場合に制動を自動的に実施する。
制御実行部F7は、行動計画部F6が策定した走行計画に基づいて各種走行アクチュエータ18の具体的な制御量を決定する。そして、各走行アクチュエータ18に対して制御量に応じた制御信号を出力する。なお、制御実行部F7は、方向指示器やヘッドライト、ハザードランプ等の点灯/消灯なども、走行計画や外部環境に応じて制御する。また、制御実行部F7は、自車両の走行モードがレベル2以下の動作モードである場合には、運転席乗員が行うべき運転操作に対応する操作情報に基づいて走行アクチュエータ18を統合的に作動させ、自車両の挙動を制御する。
異常検出部F8は、周辺監視センサ11やロケータ14、運行記録ユニット30といった、自動運転に必要な構成の異常を検出する構成である。例えば異常検出部F8は、前方カメラ11aからエラー信号が入力されたことに基づいて前方カメラ11aの異常を検出する。また、異常検出部F8は、運行記録ユニット30と相互に通信することで、運行記録ユニット30の動作状態を診断する。異常の検出方法としては、ウォッチドッグタイマ方式や宿題回答方式などといった、周知の方法を援用可能である。ウォッチドッグタイマ方式とは、監視側の装置が備えるウォッチドッグタイマが、被監視側の装置から入力されるウォッチドッグパルスによってクリアされずに満了した場合に、被監視側装置は正常に動作していない判定する方式である。ここでは自動運転ECU20(具体的には異常検出部F8)が監視側装置に相当し、運行記録ユニット30が被監視側装置に相当する。
また、宿題回答方式とは、監視側装置が予め定められた監視用の信号を被監視側装置に送るとともに、被監視側装置から返送されてきた回答が正解であるか否かによって監視側装置が正常に動作しているか否かを判定する方式である。宿題回答方式において被監視側装置は、監視側装置から入力される監視用信号に応じた応答信号を生成して監視側装置に返送する。監視側装置は、被監視側装置から受け取った応答信号の内容が、送信した監視用信号に対応するデータと異なる場合、あるいは所定の制限時間内に応答信号が返送されてこない場合に、被監視側装置は異常動作していると判定する。なお、自動運転ECU20は、運行記録ユニット30の異常動作を検知した場合には、運行記録ユニット30にリセットをかけてもよい。また、運行記録ユニット30が正常に動作していないことを検知した場合には、運転モードをレベル2以下(つまり運転支援モード)にダウンさせてもよい。運行記録ユニット30が正常に動作していないことに基づいて動作モードをレベル2以下に制限する構成によれば、各種データが記録されない可能性がある状況下で自律走行を実施する恐れを低減できる。
なお、異常検出部F8は自動運転ECU20の内部異常を検出するように構成されていてもよい。例えば、自動運転ECU20が複数21の処理部を備える場合には、それら複数の処理部21が双方向通信をすることで、互いの動作状況を診断するように構成されていても良い。
作動状態出力部F9は、周辺環境認識部F1による周辺環境の認識結果、乗員状態認識部F2による運転席乗員の認識結果、行動計画データ、及び、走行アクチュエータ18の制御データなどを、運行記録ユニット30に逐次出力する。行動計画データは、行動計画部F6が選定した次に実施予定の行動内容や、目標車速、目標加速度、目標走行位置などの制御目標値が含まれる。走行アクチュエータ18の制御データは、各走行アクチュエータ18へ出力した制御信号の内容を表す。制御データは、例えば各種走行アクチュエータ18の制御量に相当する、各種走行アクチュエータ18への出力電圧/電流値などを示す。
<運行記録ユニット30について>
ここでは図8を用いて運行記録ユニット30の機能及び作動について説明する。運行記録ユニット30は、ストレージ33に保存されているプログラムを実行することにより、図8に示す種々の機能ブロックに対応する機能を提供する。すなわち、運行記録ユニット30は機能ブロックとして、情報取得部G1、記録対象設定部G2、記録処理部G3、及び異常検出部G4を備える。情報取得部G1はモード取得部G11を備える。また、運行記録ユニット30は、記録対象設定記憶部Mdと、データ格納部Mmと、を備える。
記録対象設定記憶部Mdは、運転モード毎の記録対象を示すデータ(以降、記録対象設定データD1)を記憶している記憶媒体である。データ格納部Mmは、記録処理部G3によるデータの保存先である。記録対象設定記憶部Md及びデータ格納部Mmはそれぞれストレージ33が備える記憶領域の一部を用いて実現されている。なお、記録対象設定記憶部Md及びデータ格納部Mmはそれぞれ物理的に独立した記憶媒体を用いて実現されていても良い。また、データ格納部Mmの一部または全部はサーバなどの車両外部に設けられていても良い。
データ格納部Mmは図9に示すように、上書き可能領域M1と、上書き禁止領域M2とを備える。上書き可能領域M1は、保存されているデータを別のデータで上書き可能、換言すれば保存データの削除が可能な領域である。上書き禁止領域M2は保存データの上書きが実行不可能/禁止に構成されている領域である。上書き可能領域M1と上書き禁止領域M2とはパーティション技術を用いて論理的に仕切られていても良いし、物理的に独立していても良い。上書き禁止領域M2は、書き換え不可能な記憶媒体を用いて実現されていても良いし、ソフトウェア的にデータの削除が禁止に構成されていても良い。ここでは一例として、上書き禁止領域M2は、ソフトウェア的に自動的なデータの上書きが実行できないように設定されている記憶領域とする。
なお、上書き禁止領域M2は必須の要素ではない。データ格納部Mmにおいて上書き可能領域M1と、上書き禁止領域M2は明確に区分されている必要もない。上書き可能領域M1と上書き禁止領域M2はフォルダの概念で区分されていても良い。上書き禁止領域M2は、ユーザ又は専門の業者による操作、又は、所定のサーバからの指示信号により、保存データが削除可能に構成されていても良い。
また、ここでは一例として、上書き可能領域M1及び上書き禁止領域M2それぞれは、例えば後述するイベント記録処理によって記録されるデータセットを2500回分記録可能な容量を有していることが好ましい。ここでは一例として、上書き禁止領域M2は前方カメラ11aの映像信号35秒分を、2500セット記録可能な容量を有しているものとする。記録可能回数は2000回以上であれば良い。当該容量によれば、概ね6ヶ月分のデータを蓄積可能となる。
情報取得部G1は、自動運転ECU20や周辺監視センサ11などの各種車載装置から、記録対象となりうる複数種類の情報を逐次取得し、その取得した時間を示す情報(いわゆるタイムスタンプ)を付与して、記録処理部G3に提供する。
記録対象となりうる情報の大分類としては、例えば図10に示すように、運転モード、時刻情報、運転席乗員の状態、乗員の操作内容、ボディ信号、モード通知状態、走行場所、周辺監視センサ11の観測データ、自動運転ECU20の作動状態情報が含まれる。乗員状態データには、運転席乗員が覚醒しているか否か、アイズオン/オフ、ハンズオン/オフ、運転席乗員の顔部の撮像画像データといった項目が含まれる。乗員状態データには、シートセンサ12bが検出した圧力分布や、ハンドルセンサ12cの出力値(例えばハンドルトルク)などを含めることができる。
モード通知状態とは、自動運転ECU20の動作状態についての乗員への通知状況を指す。例えば、運転モード通知画像80としての表示内容を指す。情報取得部G1は、モード通知状態として、運転モード通知画像80を表示させているディスプレイ153のスクリーンショットをHMIシステム15が取得する。なお、自動運転ECU20からHMIシステム15への出力信号や、HCU151から各種報知デバイス(例えばディスプレイ153)への出力信号をモード通知状態に含めてもよい。
走行場所には、位置座標と、道路種別といった項目が含まれる。自動運転ECU20の作動状態には、例えば、周辺環境認識部F1による他車両や区画線等の認識結果情報、行動計画部F6による計画行動情報、及び、制御実行部F7が決定している制御値といった項目が含まれる。モード取得部G11は、自動運転ECU20から動作モード情報を取得して記録対象設定部G2に提供する。
情報取得部G1による運転モードや、覚醒状態、アイズオン/オフ、ハンズオン/オフ、操作内容、ボディ信号、モード通知状態、走行場所、自動運転ECU20の作動状態などの各種データの取得間隔は、例えば100ミリ秒とすることができる。データの取得間隔の具体的な値は適宜変更可能である。情報取得部G1によるデータの取得間隔は、後述する記録処理部G3によるデータの保存間隔に対応する。データの取得間隔は、状況に応じて動的に変更されても良い。周辺監視カメラやDSM12aが撮像した画像データに関しては、連続的な映像信号として取得してもよい。
その他、記録対象となりえる情報の大分類としては、車両状態が含まれていても良い。車両状態には、車速や、加速度、ヨーレート、シフトポジション、エンジン回転速度、転舵角、ボディ系車載機器の作動状態といった項目が含まれる。これらの情報は、車両状態センサ13及びボディECU17から取得可能である。
記録対象設定部G2は、現在の自動運転ECU20の動作モードに応じて、記録対象とする情報項目を設定する。ここでは一例として図10に示す態様で動作モードごとの記録対象を変更する。具体的には、レベル0~2モード時には、運転モードと、時刻と、運転席乗員の操作内容と、HMIの通知状態と、を記録対象に設定する。
権限移譲モード時では、運転モード、時刻、乗員の覚醒レベル、アイズオン/オフ、ハンズオン/オフ、顔部画像、乗員の操作内容、HMIの通知状態、走行位置座標、道路種別、白線等の認識結果、及びアクチュエータ制御値を記録対象に設定する。レベル3モード時には、運転モード、時刻、乗員覚醒状態、顔部画像、ボディ信号、モード通知状態、走行位置座標、道路種別、前方カメラ映像、白線等の認識結果、予定行動、及びアクチュエータ制御値を記録対象に設定する。レベル4モード時には、運転モード、時刻、ボディ信号、モード通知状態、走行位置座標、道路種別、前方カメラ11aを含む複数の周辺監視センサ11の観測データ、白線等の認識結果、予定行動、及びアクチュエータ制御値を記録対象に設定する。レベル5モード時には、運転モード、時刻、ボディ信号、モード通知状態、走行位置座標、前方カメラ11aを含む複数の周辺監視センサ11の観測データ、白線等の認識結果、予定行動、及びアクチュエータ制御値を記録対象に設定する。
記録処理部G3は、記録対象設定部G2によって記録対象に設定されている項目のデータをデータ格納部Mmに保存する構成である。本実施形態では一例として、記録処理部G3は、常時録画方式とイベント記録方式の2つの方式で動作するように構成されている。すなわち、記録処理部G3は、常時録画方式として、情報取得部G1が取得した記録対象データを逐次、上書き可能領域M1に保存する。順次取得したデータは、例えば、最新のデータが先頭となるように時系列順に保存する。上書き可能領域の容量が一杯となっている場合には、記録処理部G3は古いデータを削除して新たなデータを保存することができる。
また、記録処理部G3は、イベント記録方式として、所定の記録イベントが発生した場合、イベント記録処理を実行する。イベント記録処理は、イベント発生時点の前後所定時間以内の記録対象データを、上書き禁止な形式でデータ格納部Mmに保存する処理である。例えば、記録処理部G3は、イベント記録処理として、イベント発生時点の前後所定時間以内の記録対象データを、上書き禁止領域M2に保存する。なお、記録イベント発生に伴うデータの記録先は、必ずしも上書き禁止領域M2でなくともよい。上書き可能領域M1であってもよい。また、記録イベント発生に伴うデータの保存形式も、新たなデータによる上書きを許容する形式であってもよい。
記録イベントとしては、例えばユーザ操作、システム限界、またはODDの退出により自動運転レベルを下げた場合や、AEB作動時、MRMを開始した場合等を採用可能である。自動運転レベルを下げる場合には、例えばレベル3モードなどの自律走行モードから、レベル2モードなどの乗員関与モードへと移行する場合も含まれる。また、衝突センサが所定のしきい値以上の衝撃を感知した場合や、加速度センサの出力値が所定の閾値以上となった場合、ヨーレートセンサの出力値が所定の閾値以上となった場合なども記録イベントとして採用可能である。加えて、ACCやLTCなどのアプリケーションの実行を開始したことを記録イベントに含めて良い。また、運転モードの切替を記録イベントに含めてもよい。
加えて記録イベントとしては、自動運転ECU20が算出したTTCまたはMTCが所定の記録閾値以下となったことを採用してもよい。記録閾値は例えば衝突の可能性が高い状態を表す値に設定されていることが好ましい。例えば衝突被害軽減ブレーキが作動する値を採用可能である。より具体的にはTTCに関する記録閾値としては、1.4秒~1.6秒とすることができる。TTCに関する記録閾値としては、1.4秒~1.6秒とすることができる。MTCに関する記録閾値としては1.0以下の値(例えば0.8秒)とすることができる。TTCまたはMTCの低下を記録イベントとして採用することで、実際に衝突が発生する前に記録を実行することができ、衝突の衝撃による記録失敗等の恐れを低減できる。
記録対象期間は、例えば、図11に示すように、イベント発生時点の事前時間Tα前から、事後時間Tβ経過するまでの期間とする。事前時間Tαは例えば30秒に設定されており、事後時間Tβは5秒に設定されている。このような構成によれば、イベント発生時点の前後35秒間のデータを保存することができる。なお、事前時間Tαはもちろん、15秒や、30秒、45秒、60秒などであってもよい。また、事後時間Tβは3秒や10秒、15とすることもできる。事前時間Tαや事後時間Tβを長くするほど、事故等のイベントが生じた原因の解析性は向上することが期待できるが、記憶容量の不足が生じる恐れが高まる。また、事前時間Tαや事後時間Tβを短くするほど、記憶容量不足が生じる恐れは低減できるが、事故等の原因究明に必要な情報が欠けてしまう恐れが生じる。上述したイベント前30秒、イベント後5秒という設定によれば、記憶容量の不足を低減しつつ、イベント発生原因の解析性を十分に確保可能となることが期待できる。また、そのような態様によれば、自律走行モードにおいて記録イベントが発生した場合には前後35秒間の周辺監視センサ11の観測データが上書き禁止な態様で保存されるため、客観的な事実に基づいて事故原因等を解析可能となる。イベント発生時点前のデータに関しては、例えば上書き可能領域M1に保存されている各種データを上書き禁止領域M2にコピーすればよい。イベント発生後のデータに関しては、順次、上書き禁止領域M2に追加保存していけばよい。データ格納部Mmに保存されたデータは、データ分析業者が使用する所定のソフトウェアを用いなければ中身を参照できないように暗号化されて保存されてもよい。
また、記録対象期間の長さは、記録イベントの種類及び特性に応じて変更されてもよい。AEB作動時の記録対象期間は、事故経緯前後を確実に捉えるために、ACC開始時の記録対象期間よりも長く設定されていてもよい。ACC開始の記録対象期間は、その移行前後が確実に含まれていればよく、例えば、事前時間5秒、事後時間3秒などとすることができる。また、レベル5モードからレベル4モードへの移行時の記録対象期間は、レベル3モードからレベル2モードへの移行時の記録対象期間よりも短く設定されていても良い。レベル4モードからレベル5モードへの以降は、システム内で完結する(換言すれば乗員が関与しない)ため、相対的に短く設定されても問題は生じにくい。一方、レベル3モードからレベル2モードへの移行時の記録対象期間は相対的に長めに設定することにより、権限移譲前後の経緯が確実に捉えられるようになる。
すなわち、記録対象期間の長さは、複数パターン用意されてあって、記録イベントの深刻度合いや、乗員の関与度合いに応じた長さのものが選定されるように構成されていても良い。深刻度合いや乗員の関与度合いが高いものほど記録対象期間を長く設定することが好ましい。深刻度合いが高い記録イベントとは、例えば衝突発生や、AEBの作動、MRMの実行などである。乗員の関与度合いが高い記録イベントとは、例えば、レベル3モードからレベル2モードへの移行である。レベル3モードに限らず、乗員のオーバーライドによる自律走行モードから乗員関与モードへの移行も、乗員の関与度合いは相対的に高い。システム限界に由来する突発的なレベル3モードから乗員関与モードへの移行は、事前に計画され且つ乗員に予告されていたレベル3モードから乗員関与モードへの移行時よりも、相対的に深刻度合いは高い。イベントごとの記録対象期間の長さは、上述したような深刻度合いや乗員関与度合いを鑑みて設定されうる。そのようにイベントの特性に応じて記録対象期間を変更する構成によれば、事後解析に必要な分だけのデータを保存可能となる。例えば、相対的に深刻度合いや乗員関与度合いが低いイベントの記録対象期間は短く設定でき、不要なデータを保存するおそれを低減することができる。
なお、本実施形態では記録処理部G3は、常時録画方式とイベント記録方式の2つの方式で動作するように構成されているものとするが、これに限らない。記録処理部G3は、所定の記録イベントが生じた場合のみデータの記録を実行するように構成されていても良い。イベント記録処理のみを実行する構成によれば、常時録画方式を採用する構成よりも、例えば1ヶ月あたりのデータ保存量を抑制できる。また、記録処理部G3は常時録画方式でのみ動作するように構成されていても良い。
異常検出部G4は、運行記録ユニット30自身及び自動運転ECU20が正常に動作しているか否かを判定する構成である。異常の検出方法としては、ウォッチドッグタイマ方式や宿題回答方式などといった、前述の方法を援用可能である。例えば、異常検出部G4は、自身が備えるウォッチドッグタイマが自動運転ECU20から入力されるウォッチドッグパルスによってクリアされずに満了した場合に、自動運転ECU20が異常動作していると判定してもよい。
また、異常検出部G4は、運行記録ユニット30の内部異常を検出すると、自動運転ECU20にその旨を通知する。内部異常の発生は、演算結果が正常範囲を逸脱したこと、異常電圧の発生、異常コードの出力などに基づいて検出されればよい。なお、運行記録ユニット30が正常に動作しているか否かは、車載式故障診断装置(OBD:On-Board Diagnostics)によって診断されてもよい。異常検出部G4はOBDを用いて実現されていても良い。なお、本実施形態のように自動運転機能を提供する処理部21とデータの記録処理を担当する処理部31とが独立した構成によれば、相互に動作状態を監視可能となるため、どちらかに不具合が生じた場合にはその旨を速やかに検出可能となる。その結果、処理部21と処理部31のどちらかに不具合が生じた場合には、速やかに自律走行モードの中断等を実施可能となる。
<運行記録ユニット30の作動の詳細説明>
次に、図12に示すフローチャートを用いて運行記録ユニット30の作動の流れについて説明する。図12に示すフローチャートは、例えば車両の走行用電源がオンとなったタイミングで開始されればよい。走行用電源は、例えばエンジン車両においてはイグニッション電源である。電気自動車においてはシステムメインリレーが走行用電源に相当する。なお、図12での図示は省略しているが、情報取得部G1は、各種データや映像信号を逐次取得している。情報取得部G1による各種情報の取得はステップS1に含めることもできる。
まずステップS1ではモード取得部G11が自動運転ECU20から運転モード情報を取得してステップS2に移る。ステップS1がモード取得ステップに相当する。ステップS2では記録対象設定部G2が、ステップS1で取得した運転モード情報と、記録対象設定記憶部Mdに保存されている記録対象設定データD1に基づいて、記録対象とするデータ種別を決定する。ステップS2が記録対象設定ステップに相当する。なお、前回ステップS2を実施したときから運転モードに変更がない場合にはステップS2は省略可能である。
ステップS3では記録処理部G3が記録対象に設定されている複数種類のデータを、取得時刻を示すタイムスタンプとともに上書き可能な形式でデータ格納部Mmに保存する。例えば上書き可能領域M1に記録対象データをタイムスタンプとともに保存する。ステップS3が記録ステップに相当する。ステップS3が完了するとステップS4を実行する。
ステップS4では記録処理部G3が、情報取得部G1が取得している各種情報(例えば加速度等)を元に、記録イベントが発生したか否かを判断する。記録イベントが発生したと判定した場合にはステップS5を実行する。一方、記録イベントが発生したと判定しなかった場合にはステップS6を実行する。ステップS5では記録処理部G3が、現在から前後所定時間分の記録対象データを上書き禁止な形式でデータ格納部Mmに保存する。例えば、上記データセットを上書き禁止領域M2に保存する。ステップS5の処理が完了するとステップS8に移る。なお、ステップS5もまた記録ステップの一例に相当する。
ステップS6では異常検出部G4が、運行記録ユニット30に異常が生じているか否かを判定する。運行記録ユニット30に異常が生じている場合にはステップS7を実行する。一方、運行記録ユニット30に異常が生じていない場合には、ステップS8を実行する。ステップS7では異常検出部G4が、運行記録ユニット30が正常に動作していないことを示す信号をLAN99に出力する。なお、自動運転ECU20は自律走行モード中に、例えばLAN99等を介して運行記録ユニット30が正常に動作していないことを示す信号を受信すると、権限移譲処理を実行してレベル2以下の動作モードへと移行する。HMIシステム15は、運行記録ユニット30が正常に動作していないことを示す信号を受信すると、その旨をディスプレイ153等に表示出力する。HMIシステム15は、運行記録ユニット30が正常に動作していない場合には、当該事象に起因して自律走行モードが利用不可である旨を乗員に通知しても良い。
ステップS6では走行用電源がオフとなったか否かを判定する。走行用電源がオフとなっている場合には本フローを終了する。一方、走行用電源がオフではない場合、つまりまだ走行用電源がオンである場合にはステップS1に戻り、ステップS1以降の処理を繰り返す。このような構成によれば走行用電源がオンである間は、常時録画方式とイベント記録方式の両方で動作モードに応じた種々の情報を記録することができる。
<上記構成の効果>
上記の構成では、運転モードに応じて記録対象とする項目が変更される。例えば運転モードに応じて、乗員の顔部画像などの運転席乗員の状態を示すデータを記録対象とするか否かが変更される。このような構成によれば、運転席乗員の状態を常時記録するわけでない。例えば運転席乗員に運転責任が発生しない、レベル4~5モードでは、運転席乗員の状態を示すデータを記録対象から除外することが可能となる。故に、保存されるデータ量を抑制できる。また、上記構成によれば、レベル3モード時には、運転席乗員の状態を示すデータとして、DSM12aが撮像した運転席乗員の顔画像を記録対象に設定する。これにより、緊急時に、運転席乗員が運転可能な状態であったか否かを検証することができる。なお、レベル3モードは、運転席乗員に運転責任が発生する運転モードの一例に相当する。
また、自律走行機能を搭載した車両の事故では、事故時の運転責任がシステムだったのかドライバだったのか、システムだった場合はどのような判断によって制御されていたかを後から客観的に解析できなければならない。上記の構成では、自律走行モード時には、自動運転ECU20の物体認識状態及び予定行動の内容も記録される。故に、自動運転ECU20が外界をどのように認識した上で、何をしようとしていたのかを解析可能である。故に、自動運転時の事故の発生原因や、責任の所在の解析性を高めることができる。
また、レベル3モードでは前方カメラ11aの映像信号を記録対象に含める。加えて、レベル4モードでは前方カメラ11aの映像に加えて、例えばミリ波レーダなど、その他の周辺監視センサ11の観測データも記録される。このような構成によれば、外界の実際の状況を特定できる。また、周辺監視センサ11の観測データとセットで自動運転ECU20の認識結果や判断内容(例えば予定行動)も記録されるため、外界の実際の状況と、自動運転ECU20の挙動とを比較検証可能となる。
さらに、レベル3~5モードでは、自動運転ECU20による各種走行アクチュエータ18の制御量も、周辺環境の認識状態や判断結果と合わせて記録対象に設定する。自動運転ECU20の認知・判断・制御結果をセットで逐次記録することにより、自律走行モード時における事故等の記録イベント発生時の原因を解析しやすくなる。
そして、上記構成においては、周辺監視センサ11の観測データを常に保存するのではない。周辺監視センサ11の観測データを記録対象に含める運転モードと、含めない運転モードとが混在する。具体的には、前方カメラ11aの映像はレベル3~5モード及び権限移譲モードにおいて記録対象とする一方、自動運転レベル2以下の動作モードでは記録対象に含めない。また、後方カメラ11bの映像、右側方カメラ11cの映像、左側方カメラ11dの映像、及びミリ波レーダのセンシングデータは、レベル4~5モード時には記録対象に含める一方、レベル3以下のモードでは記録しない。このような構成によれば、自動運転装置の作動記録装置としてのデータ保存量をより一層抑制できる。
また、権限移譲モードでは、運転席乗員の状態として、アイズオン/オフといったシステムの認識結果と、顔部画像といった観測データをセットで記録する。このような構成によれば、システムの認識結果と実際の運転席乗員の状態とを比較検証となる。故に、万が一、権限移譲中に事故が起きた場合でも、責任の所在を検証しやすくなる。システムによる乗員状態の認識結果と、運転席乗員本人の主張が食い違った場合にも、顔画像データに基づいて事実を確認することが可能となる。
また、記録対象設定部G2は、各動作モードにおいて、モード通知状態を記録対象に含める。特にモード通知状態として、運転モード通知画像80の表示先に設定されているディスプレイ153のスクリーンショットを記録対象に含める。このような構成によれば、事故時の運転モードについて、運転席乗員の証言とシステム記録とが相違した場合に、運転席乗員の証言の信憑性を検証可能となる。
以上、本開示の実施形態を説明したが、本開示は上述の実施形態に限定されるものではなく、以降で述べる種々の変形例も本開示の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。例えば下記の種々の変形例は、技術的な矛盾が生じない範囲において適宜組み合わせて実施することができる。なお、前述の実施形態で述べた部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。また、構成の一部のみに言及している場合、他の部分については先に説明した実施形態の構成を適用することができる。
<自動運転ECU20の機能及び構成についての補足>
以上ではレベル5まで実行可能に構成されている態様を例示したが、これに限らない。自動運転ECU20はレベル3までの自動運転を実行するものであってもよい。その場合、運行記録ユニット30は、レベル3までの記録対象のデータセットを備えていればよい。また、自動運転ECU20は、自動運転レベル0、2、及び4に相当するモードのみを備えるものであってもよい。自動運転ECU20の動作モードは、完全手動運転モードと、運転支援モードと、自律走行モードの3段階であってもよい。記録対象設定記憶部Mdには、自動運転ECU20が提供可能な運転モード毎の記録対象設定データが保存されていれば良い。
また、自動運転ECU20(例えばモード制御部F5)は、図13に示すように、自車両の周辺環境がODDを充足しているか否かを逐次判定するODD内外判定部F51を備えていてもよい。ODDとしては、(ア)走行路が高速道路又は中央分離帯とガードレール等が整った片道2車線以上の自動車専用道路であること、(イ)周辺監視センサの検知範囲に交通信号及び歩行者が存在しないこと、等が挙げられる。その他、ODDとしては、(ウ)降雨量が所定の閾値以下であること、(エ)自車両の所定距離以内に落下物や路上駐車車両が存在しないこと、(オ)車載カメラを含む周辺監視センサ11が正常に動作していることなどが挙げられる。自動運転可能/不可と判定する条件、換言すればODDを定義する詳細条件は適宜変更可能である。なお、自動運転レベル3用のODDとは別に、自動運転レベル4用のODDが設定されていても良い。例えば、正常に動作している周辺監視センサの数(換言すれば冗長性)や、許容される位置推定誤差の観点において、自動運転レベル4用のODDは自動運転レベル3用のODDよりも厳しい条件が設定されていてもよい。
図13に示すように自動運転ECU20がODD内外判定部F51を備える場合、記録対象設定部G2は、レベル3~4モード時、ODD内外判定部F51による判定結果とその判定根拠となるセンサデータを記録対象に設定しても良い。ODDを充足しているか否かの判断材料は、ODDの内容に応じて定まる。ODDを充足しているか否かの判断材料としては、例えば、道路種別や、道路構造(例えば車線数)、天候情報、周辺監視センサ11のセンシング情報、落下物の有無などを採用可能である。
さらに、ODD内外判定部F51が、ODDを退出するまでの残り時間(以降、ODD退出残余時間)を算出可能である場合には、記録対象設定部G2は、ODD退出残余時間の算出値を記録対象に含めても良い。例えばODDとして自律走行可能な道路区間が定義されている場合には、自車両が当該道路区間を退出するまでの残り時間が、ODD退出残余時間に相当する。より具体的には、ODDが高速道路に限定されている場合には、高速道路を退出するまでの時間がODD退出残余時間に相当する。
加えて、記録対象設定部G2は、レベル3モード時には、アイズオン/オフの認識結果と顔部画像データの両方を常に記録対象に含める一方、レベル4モードでは、ODD退出残余時間が所定の閾値以下となるタイミングから両者を記録対象に設定してもよい。換言すればODDを退出するまで余裕がある状態では、顔部画像データは保存しない。そのような構成によればデータ保存量を抑制できる。
また、記録処理部G3は、自動運転ECU20(具体的にはODD内外判定部F51)が、自車両がODDを退出した、又は、所定時間以内に退出すると判定したことを記録イベントとして採用しても良い。具体的には、記録処理部G3は、レベル3/4モード時に、ODD内外判定部F51によって、自車両がODDを退出した、又は、所定時間以内に退出すると判定した場合には、その判定に使用した材料である判断根拠データをデータ格納部Mmに記録してもよい。判断根拠データは自動運転ECU20が取得すればよい。判断根拠データの保存先は、上書き禁止領域M2であることが好ましい。判断根拠データは、判断結果、判断時刻、位置情報とセットで保存されることが好ましい。
その他、運行記録ユニット30は、自動運転ECU20に内在されていてもよい。換言すれば、自動運転ECU20は図14に示すように、運行記録ユニット30に相当する運行記録部F30を備えていてもよい。
<周辺監視センサ11についての補足>
周辺監視カメラの搭載位置は前後左右の4箇所に限定されない。図15に示すように、前端、後端、左右のサイドミラー、フロントガラスの室内側上端部、リアガラスの室内面の6箇所に設けられていても良い。また、ルーフ部にも、右斜め前方、左斜め前方、右斜め後方、左斜め後方のそれぞれに光軸が向けられた4つの周辺監視カメラが搭載されていても良い。ミリ波レーダについても同様に多数設けられていても良い。加えて、自動運転システム1は、周辺監視センサ11として、車両の前方を検知範囲に含むLiDARや、車両の後方を検知範囲に含むLiDARを備えていても良い。LiDARは、たとえばルーフ上に搭載することができる。また、自動運転システム1は、周辺監視センサ11として、それぞれ検知範囲及び設置位置が異なる複数のソナーを備えていても良い。ソナーは、バンパやサイドシルなどに搭載可能である。
<周辺監視センサ11の観測データの記録方法についての補足>
自律走行モードにおいて観測データを記録対象とする周辺監視センサ11の組み合わせは、走行シーンや、実行中の行動、及び予定行動に応じて変更されてもよい。自動運転ECU20が実行/予定している行動において注意が必要な方向を検出範囲に含む周辺監視センサ11の観測データを記録対象に含める一方、注意の必要性が少ない方向を検出方向とする周辺監視センサ11の観測データは記録対象から除外してもよい。そのような構成は例えば図15に示すように、周辺監視カメラなどが多数(例えば8個以上)搭載されている車両において特に好適である。周辺監視センサ11が多いほど、データ量は膨大となるためである。
なお、以降における前方系センサとは前方を検知範囲に含む周辺監視センサ11を指す。前方系センサには、左右斜め前方を検出範囲とするセンサを含めることができる。後方を主たる検知範囲とする周辺監視センサ11を後方系センサとも記載する。後方を主たる検知範囲とする周辺監視センサ11とは、検出範囲の中心軸が、車両後方から45度以内となる方向に向けられているセンサとすることができる。後方系センサには、左右斜め後方を検出範囲とするセンサ(例えば右後方レーダ11f)を含めることができる。左/右側を主たる検知範囲とする周辺監視センサ11を側方系センサとも記載する。側方を主たる検知範囲とする周辺監視センサ11とは、検出範囲の中心軸が左右方向から45度以内となる方向に向けられているセンサとすることができる。
図16は、予定行動ごとの観測データを記録対象とする周辺監視センサ11の組み合わせを例示したものである。図16に示すように例えば自車両が道なりに自律走行している間は、前方系センサの観測データを記録対象とする一方、後方系センサの観測データは記録対象から除外しても良い。側方系センサの観測データについては、前方系センサよりも低い解像度またはサンプリングレートで記録しても良い。側方系センサの観測データを記録対象に含める理由は、隣接車線からの割り込みや幅寄せ行為等を記録しておきたい需要があるためである。なお、同様の技術思想に基づき、自車両が道なりに自律走行している場合にも後方系センサの観測データを、前方系センサの観測データよりも低い解像度またはサンプリングレートで記録しても良い。
自動運転ECU20が自動的な右側への車線変更を計画している場合、右斜め前方から右斜め後方にかけての範囲を検出範囲に含む周辺監視センサ11の観測データを記録対象に含める一方、その他の周辺監視センサ11の観測データは記録対象から除外しても良い。左側への車線変更を計画している場合には、左斜め前方から左斜め後方にかけての範囲を検出範囲に含む周辺監視センサ11の観測データを記録対象に含める一方、その他の周辺監視センサ11の観測データは記録対象から除外しても良い。
また、自動運転ECU20が停車に向けた減速を実行、または、予定行動として計画している場合には、前方系センサ及び後方系センサの観測データを記録対象とする一方、側方系センサの観測データは記録対象から除外しても良い。交差点での右折/左折を実行、または、予定行動として計画している場合には、前方系センサ及び側方系センサの観測データを記録対象とする一方、後方系センサの観測データは記録対象から除外してもよい。走行時は移動方向に関連しない周辺監視センサ11の観測データを記録対象から除外する一方、自動駐車や自動出庫を実行、または、予定行動として計画している場合には、全ての周辺監視センサ11の観測データを記録対象に含めても良い。なお、MRMを実施している際には、移動方向などに関わらず、全ての周辺監視センサ11の観測データを記録対象に含めても良い。
上記構成によれば、実行または計画している行動において、注意が必要な方向を検出範囲に含む周辺監視センサ11の観測データを記録対象に含める一方、他の周辺監視センサ11の観測データは記録対象から除外するか、情報量を低下させて保存する。このように一部の周辺監視センサ11の観測データを記録対象から除外する事により、保存されるデータを抑制することができる。なお、減速時に前方系センサの観測データを記録対象に含める理由は、減速の理由が前方に存在する可能性があるためである。
また、上記構成によれば、注意が必要な方向については観測データを記録対象に含まれるため、当該方向における客観的な事実を示すデータを残すことができる。故に、データ保存量を抑制しつつ、事後解析性を確保することができる。なお、注意が必要な方向とは、衝突のリスクが高い方向や、自車両が移動しようとしている方向に対応する。
なお、上記構成において記録対象設定部G2は、観測データを記録対象に含めない方向に対する自動運転ECU20の認識結果は、記録対象に含めても良い。例えば道なり走行時においては、後方系センサの観測データまでは記録しないものの、当該データに基づく車両後方に存在するオブジェクトの認識結果については記録対象に含めても良い。オブジェクトの認識結果には、位置情報や速度、移動方向の他、例えばオブジェクトのタグ付け状態、種別、追跡状態を含めることができる。或る周辺監視センサ11の観測データを記録対象から除外する場合であっても、当該周辺監視センサ11に基づく自動運転ECU20の認識状態は記録対象に含めることで、大まかな状況は把握可能となる。
さらに、記録対象設定部G2は、自律走行モード時、実施中の行動(以降、現行動)及び予定行動に関連する方向の周辺監視センサ11の観測データと、当該方向の物体認識結果(タグ付け状態)をセットで記録対象に設定することが好ましい。現行動及び予定行動に関連する方向とは、例えば、車線変更であれば車線変更側の斜め前方から斜め後方までを指す。また、減速に関連する方向とは後方を指す。駐車に関連する方向は例えば全方位とすることができる。右左折時に関連する方向は、前方及び側方とすることができる。当該構成によれば、自動運転ECU20が、注意すべき方向のセンシング情報に基づいて、どのように認識していたかを検証可能となる。
以上の構成は、自動運転ECU20が自律走行モードに、自車両の予定行動に対応する方向に存在する他車両の挙動を示すデータを記録対象に含める構成に相当する。周辺車両の挙動を示すデータとは、例えば周辺監視センサ11の観測データや自動運転ECU20の認識結果を指す。
<記録対象についての補足>
図17に示すように自車両が灯火装置として、運転モードを外部に通知するためのランプ(以降、運転モード通知灯51)を備える場合には、記録対象設定部G2は自律走行モード時、運転モード通知灯51の点灯状態を記録対象に設定しても良い。そのような構成によれば、自律走行モードである場合に、当該事実を適正に外部に通知していたかを検証可能となる。なお、運転モード通知灯51は、点灯の有無や点灯色などによって、自律走行モードであるか乗員関与モードであるかなどを明示する装置とすることができる。運転モード通知灯は自動運転ECU20が出力するステータス情報に基づき、ボディECU17が制御しても良い。
また、自車両が対外コミュニケーション装置52を備える場合、記録対象設定部G2は、当該対外コミュニケーション装置52の作動状態を記録対象に含めてもよい。対外コミュニケーション装置52は、歩行者とのコミュニケーションを図るための画像を、路面又はウインドウガラスに投影するプロジェクタである。対外コミュニケーション装置52は、照射光が路面や窓ガラスに当たる姿勢で、例えばヘッドランプや、車室内の天井部(例えば窓枠部の上端付近)に設けられている。対外コミュニケーション装置52の作動状態には、路面またはウインドウガラスへの表示画像を含めることができる。歩行者とのコミュニケーションを図るための画像としては、歩行者に道を譲る趣旨の画像や、自車両の移動方向を示す画像、目標駐車位置を示す画像、自車両がまもなく発信する旨の画像、道を譲ってくれた存在に感謝を示す画像などが想定される。上記構成によれば、自律走行車両と歩行者との意思疎通が適正に行われていたかを検証可能となる。
記録対象設定部G2は、自律走行モード時、自車両の周辺を走行している他車両の識別情報を記録対象に設定しても良い。周辺車両の識別情報は、例えば、自車両と車車間通信を実施している他車両の車両IDとすることができる。また、周辺車両の識別情報としては、ナンバープレートに記載された車両ナンバーであってもよい。車両ナンバーは、ナンバープレートを画像認識することによって特定可能である。自車両に事故等の記録イベントが発生した場合、周辺車両の車両用記録装置に、自車両の挙動を示す情報が記録されている可能性がある。周辺車両の識別情報を記録対象に含めることにより、事故時に周辺に存在した車両を特定できる。また、自車両周辺に存在した他車両の記録装置から、事故の発生原因を示す客観的なデータを収集することが期待できる。
また、記録対象設定部G2は、周辺車両の挙動を示すデータを記録対象に含めても良い。周辺車両の挙動としては、加速や、追い越し、車線変更、停車、減速などを指す。また、幅寄せやあおり運転等の危険行為を記録対象としても良い。周辺車両の情報を記録対象に含める構成に関して、記録対象とする方向は、現行動及び予定行動に関連する方向に限定しても良い。例えば、右側への車線変更を計画している場合には、自車走行車線と右側車線を走行している他車両の情報を記録対象に含める一方、自車左側の車線を走行している他車両の情報は記録対象から除外してもよい。そのような構成によれば、万が一事故が起きた際に有用な情報は記録しつつ、保存されるデータ量を抑制することができる。
なお、運行記録ユニット30は、自律走行中の他車両の事故/交通違反を検出した場合には、その前後所定時間の周辺監視センサ11の観測データを所定のセンタに報告してもよい。周囲において走行している他車両が自動運転車両であるか否かは、車車間通信または運転モード通知灯51の点灯状態に基づき判別可能である。また、自律走行車であることを示すステッカーを画像認識することで、他車両が自律走行車であるか否かを判別しても良い。交通違反等の報告先とするセンタは、例えば車両メーカーが管理するセンタとする。上記構成によれば、自動運転車による事故や交通違反の情報が車両メーカーに収集されるため、車両メーカーは、どのような状況下で自律走行車が事故や交通違反をしてしまったかを把握可能となる。その結果、自動運転システム1の改善を促進させることができる。特に、一時停止線や信号機の無視は、周辺環境の誤認識に由来するものであって、交通違反をしてしまった自律走行車自身は当該事実を認識できないことが想定される。そのような事情を踏まえると、他車両による自律走行車の交通違反をセンタに報告することは有用性が高い。
また、記録処理部G3は、自動運転ECU20から運転席乗員へ運転操作の引継ぎ要求を実施したことを記録イベントとして採用しても良い。具体的には、記録処理部G3は、自動運転ECU20が運転席乗員に対して運転操作の引継ぎ要求処理を実施した場合には、引継ぎ要求に至った理由を示す引継ぎ要因データをデータ格納部Mmに記録してもよい。引継ぎ要求に至った理由を示す引継ぎ要因データは自動運転ECU20から取得する。引継ぎ要因データの保存先は、上書き禁止領域M2であることが好ましい。引継ぎ要因データは、判断時刻、位置情報、運転席乗員状態を示すデータとセットで保存されることが好ましい。
さらに、記録処理部G3は、前述の通り、自動運転ECU20がMRMを実行したことを記録イベントとして採用しても良い。具体的には、記録処理部G3は、自動運転ECU20がMRMを実施した場合には、MRMの実行に至った理由を示すデータや、MRM実行中の周辺監視センサ11の観測データを上書き禁止領域M2に保存してもよい。また、MRM走行時に設定した停車目標位置や減速度などのパスプランデータも記録対象に含めることが好ましい。上記の各種データは、時刻情報や、位置情報、運転席乗員状態を示すデータとセットで保存されることが好ましい。
記録対象設定部G2は、自律走行モード時には、信号機との位置関係、天候情報、及び路面状態の少なくとも何れか1つを記録対象に設定しても良い。信号機との位置関係は、高精度地図データをもとに特定されれば良い。また、記録処理部G3は交差点内または交差点付近で記録イベントが発生した場合には、イベント発生時点から前後所定時間分の前方カメラ11aの映像信号と信号機の点灯状態の認識結果を示すデータをセットで上書き禁止領域M2に保存してもよい。当該構成によれば、事故の原因が自動運転ECU20による信号機の点灯状態の誤認識にあるのかどうかを検証可能となる。なお、交差点付近とは交差点から所定距離(例えば10m)以内を指す。
記録処理部G3は、車載ソフトウェアが最新の状態であるか否かを示すデータを所定のタイミングで上書き禁止領域M2に保存しても良い。自動運転に係るソフトウェアが最新の状態であるか否かの検証は、例えば、自動運転ECU20がV2X車載器16を介してセンタと通信することで実現されれば良い。ソフトウェアが最新の状態であるか否かの検証は、走行用電源がオンとなったタイミングや、乗員からの指示があった場合、走行用電源がオフとなったタイミングで実行されれば良い。ソフトウェアが最新の状態であるか否かの検証結果についての記録処理部G3による記録処理は、例えば、上記の検証処理が終わったタイミングで実行されれば良い。自律走行モードを利用するためには、運転席乗員は、車両が本来の機能を発揮可能な状態に維持されていることが求められる。上記の構成によれば、運転席乗員が、車載ソフトウェアを適正に更新していたか否かを検証可能となる。
自動運転ECU20は、自律走行モード時、センサ表面への泥や鳥の糞などの汚れが付着したことに起因して物体検出能力が低下していることを示す信号が周辺監視センサ11から入力された場合、HMIシステム15と連携し、その旨を乗員に通知しても良い。そのような構成においては、記録対象設定部G2は上記通知に対して乗員が適正に対応したかどうかを記録しても良い。上記通知に対する乗員の適正な対応としては、例えば、検出能力が低下している周辺監視センサを用いずに利用可能な動作モードへの切り替えや、一時停車してセンサ汚れを拭き取るなどの行為を指す。検出能力が低下している周辺監視センサ11を用いずに利用可能な動作モードへの切り替えとは、例えば、より自動化レベルの低い動作モードへの切り替えを指す。HMIシステム15は、検出能力が低下している周辺監視センサ11を用いずに利用可能な動作モード/自動化レベルを乗員に提示しても良い。上記構成によれば、システムが不安定な状態で自律走行モードを利用していたかどうかを検証可能となる。
記録処理部G3によるデータの保存間隔は、車速に応じて調整してもよい。例えば、高速走行時は50ミリ秒毎、通常走行時は100ミリ秒ごと、低速走行時は200ミリ秒ごととしてもよい。低速走行時とは車速が所定の第1速度(例えば30km/h)以下の状態と定義することができる。また、通常走行時とは、車速が第1速度よりも大きく、かつ、所定の第2速度(例えば60km/h)以下の状態と定義可能である。高速走行時とは、車速が第2速度よりも大きい状態と定義可能である。車速が低いほど単位時間の移動距離も小さいため、保存間隔を疎としても事後解析性が低下する恐れは小さい。また、保存間隔を疎とするモードを備えることにより、データの保存量を抑制可能となる。なお、第1速度は、10km/hや20km/hなどであってもよい。第2速度は、80km/hや100km/hなどであってもよい。
周辺監視センサ11の観測データ(主として画像データ)の保存品質もまた、上記と同様の技術思想により、車速に応じて変更されても良い。例えば車速が高いほど高品質で保存する。また、車速が低いほど解像度を落としたり、フレームレートを落とす処理を施して保存してもよい。解像度の落とし度合いは車速に応じて決定されれば良い。フレームレートの落とし度合いもまた、車速が低いほど大きく設定してもよい。
自律走行モード時における記録処理部G3によるデータの保存間隔は、実行中または計画している行動の難易度に応じて調整してもよい。例えば道なり走行時は、車線変更などの複雑な制御実行時よりも、保存間隔を疎にしてもよい。ただし、交差点右左折時は、交差点直進時よりも保存間隔を疎にしてもよい。なお、行動の難易度は、例えば、交差点のない道路区間を道なり走行、車線変更、交差点直進、交差点右左折の順に高く設定可能である。道なり走行時も、曲率が所定の閾値以上となる急カーブか、直線区間であるかでより細かく区分されても良い。また、先行車が存在するか否かで行動の難易度は変更されても良い。上記の構成によれば難易度が高い行動(換言すれば制御)を実行する際には、相対的に密に各種データが保存される。そのため、事故等が起きた場合の事後解析性を高めることができる。また、上記の構成によれば難易度が低い制御を実行する際には、相対的に疎に各種データが保存されるため、データ保存量を抑制できる。
運転席乗員状態データの記録に関し、システムが運転責任を負う動作モード時はアイズオン/オフといったシステム認識結果に留める一方、運転席乗員が運転責任を負う動作モード時の記録対象には顔部画像データも含めても良い。上記構成によっても、事故の原因解析性を維持しつつ、データ保存量を低減できる。なお、システムが運転責任を負う動作モードとは、例えばレベル4/5モードを指す。運転席乗員が運転席責任を負う動作モードとは、レベル0~3モードを指す。MRM中の運転責任は運転席乗員としてもよい。引継ぎ要求処理を実施している間は、動作モードによらず、顔部画像データを記録対象に含めてもよい。
記録処理部G3は、データ格納部Mmにデータを保存する際、改ざんを防止するための検証用情報を付加して保存してもよい。検証用情報としては、例えば、保存しようとしているデータのハッシュ値を採用することができる。なお、ハッシュ値は例えばSHA-256などの所定のハッシュ関数を用いて生成することができる。
記録処理部G3がイベント記録処理を実行する条件は、周辺環境や自車両の車種に応じて変更されてもよい。例えば、晴天時の記録条件は、雨天時の記録条件よりも緩めに設定されてもよい。また、自車両としてのシステム搭載車両が乗用車である場合と、システム搭載車両がトラックやトレーラ等の大型車両である場合とで、加速度やTTC、MTC等に関する記録用の閾値を異ならせても良い。例えば搭載車両がトラックやトレーラ等の大型車両には相対的に制動に時間が要するため、TTC、MTCに対する記録閾値は大きめの値に設定されていることが好ましい。周辺環境や車種に応じて記録条件を変更することにより不要なデータが保存されることを抑制可能となる。
その他、記録処理部G3は、レベル3以上の動作モードでは、システム安定度に応じて、保存する情報の密度(例えば保存間隔、データ圧縮率など)を変えてもよい。ここでのシステム安定度は、自動運転システム1の限界に対する制御余裕度である。システム安定度は自動運転ECU20が各種センサの出力や、周辺環境の認識結果をもとに評価すればよい。例えば記録処理部G3は自動運転ECU20が算出するシステム安定度が低いほど保存間隔を密にする。また、記録処理部G3は、自動運転ECU20が算出するシステム安定度が高いほど周辺監視カメラが出力する画像データの圧縮率を高くしても良い。このような構成によれば例えばレベル4モードからレベル3モードに落ちる瞬間付近や、自動運転から手動運転に移る瞬間付近の情報量が大きくなり、事故等の解析性が向上する。
運行記録ユニット30は、図18に示すようにデータ格納部Mmに保存されているデータを管理する記録データ管理部G5を備えていても良い。記録データ管理部G5は、例えば、前方カメラ11aの撮影画像に関連するデータが例えば6か月間は残るように、記憶容量が一杯になった場合には他の古いデータを優先的に削除する。なお、直近1ヶ月間の前方カメラ11aの撮影画像は観測データ相当のフォーマットで保存する一方、それよりも古いデータは、フレームレートや解像度を落とすなど、データを間引いて保存してもよい。例えば前方カメラ11aが生成した観測データとしてのFullHD画像を、保存期間が1ヶ月経過したタイミングで、解像度を落としたVGA(Video Graphics Array)の撮像画像に変換してもよい。当該構成によれば、データ格納部Mmの記憶容量が一杯となる恐れを低減できる。観測データ相当のフォーマットには、所定の品質を保つ保存形式も含まれる。周辺監視センサ11の観測データの保存形式は、品質やデータの復元性が担保されることを条件に、前方カメラ11aの出力形式と完全に同一でなくともよい。周辺監視センサ11の観測データの出力形式と、記録処理部G3による当該観測データの保存形式とは相違していても良い。例えば元データを復元可能な形式で圧縮保存されていても良い。なお、周辺監視カメラが生成する映像データの保存形式としてはHEVC(H.264)やHEVC(H.265)など多様なものを採用可能である。HEVCはHigh Efficiency Video Codingの略である。
記録対象設定部G2は、システムの認識結果を記録対象に含める場合(例えば自律走行モード時)、システムで動作していたアプリケーションの情報、及び、使用されていたソフトウェアのバージョン情報を記録対象に含めても良い。換言すれば運行記録ユニット30は、自律走行モード時、自動運転ECU20内などで動作ソフトウェアの情報を逐次または所定のタイミングで記録するように構成されていても良い。ソフトウェアのバージョンによって認識ロジックや判定ロジックが異なり得るためである。なお、システムで動作していたソフトウェアとは、例えば自動運転ECU20や周辺監視センサ11などの、自動運転システム1を構成する装置の内部で動作していたソフトウェアが含まれる。
システム内で動作していたアプリの種別情報は、逐次、又は、アプリの動作状態が変化したタイミングで記録されることが好ましい。システムが使用していた認識等のソフトウェアのバージョン情報は、ソフトウェアのアップデートが実施されたタイミングに記録してもよいし、所定の記録イベントが発生したタイミングに記録されても良い。ソフトウェアのバージョン情報の記録は、トリップ毎としてもよいし、所定期間(例えば24時間)毎としてもよい。ここでのトリップとは走行用電源がオンになっていからオフになるまでの走行を指す。
上記構成によれば、自動運転ECU20の認識結果や制御指示内容が、その時使われた認識ソフトウェアのバージョン情報と対応付けられて記録される。そのため、例えば記録イベントが生じた場合に、どのようなソフトウェアが動作していたのか/使用されていたのかを含めて原因解析が可能となる。なお、上記の情報は、事故等の記録イベントが生じた場合に記録対象に含めても良い。
複数の記録対象データは、図19に示すように、情報源となる装置ごとに区分されて保存することが可能である。各データには個別にタイムスタンプが付与されていてもよい。ただし、複数の要素が同時に発生する場合は、各種データは1つのタイムスタンプでまとめて記録しても良い。例えば図20に示すように、各時刻における複数種類の装置の動作状態を、時刻ごとにグループ化して保存してもよい。発生/取得時刻が共通するデータを同一のタイムスタンプを付与するとともにそれらをグループ化して保存する構成によれば、要素間の相互関係/相互作用を解析しやすくなる。
保存データの管理態様は、上述の通り、装置毎でもよいし、時刻毎でも良い。また、記録処理部G3は、記録イベントごとのイベントIDを付与して種々の記録対象データを保存しても良い。例えば種々の保存データは記録イベント毎に区分されるとともに、発生/取得時間が共通するデータは同一のタイムスタンプでグループ化されていても良い。なお、図19及び図20では便宜上、タイムスタンプに相当する時刻情報を年/月/日/時/分/秒の概念で表現しているが、これに限らない。タイムスタンプはエポック秒で表現されていても良い。タイムスタンプは協定世界時(UTC:Universal Time Coordinated)で表現されていても良い。また、タイムスタンプは1秒よりも細かい時間のデータ(例えば何ミリ秒か)を含んでいてもよい。
その他、記録対象設定記憶部Mdに保存されている記録対象設定データD1は、例えばサーバからの指示に基づいて、記録対象設定記憶部Mdに保存されている記録対象設定データD1の内容は変更されても良い。記録対象設定データD1も、ソフトウェアの一部として、サーバとの無線通信により更新可能に構成されていても良い。また、記録対象設定データD1の内容は、所定の許容範囲において、運転席乗員の操作によって変更可能に構成されていても良い。
運行記録ユニット30は、一定時間以上前のデータをサーバにアップロードして、データ格納部Mmから削除してもよい。また、外部サーバが備える記憶領域をデータ格納部Mmの一部または全部として利用しても良い。例えば、上書き禁止領域M2はクラウド上のストレージを用いて実現されていても良い。記録対象データをV2X車載器16との協働によりデータ格納部Mmとしてのクラウドサーバ/クラウドストレージに向けて無線送信する処理も、記録対象データをデータ格納部Mmに逐次保存する処理に含まれる。
なお、自車両が遠隔操作車両である場合には、遠隔操作者(オペレータ)が上記の運転席乗員に相当する。例えば自車両としてのシステム搭載車両がレベル3相当のロボットタクシー/無人運行バスである場合には、オペレータが運転席乗員に相当する。
<システム構成例の補足>
自動運転システム1の構成としては多様な構成を採用可能である。例えば自動運転システム1は図21に示すように、複数のECU41~46が自装置と対応付けられている周辺監視センサ11での観測データに基づく認識処理を実行し、LAN99に出力するように構成されていても良い。例えば、前方カメラECU41、周辺監視カメラECU42、前方レーダECU43、後側方レーダECU44、ソナーECU45、及びLiDAR-ECU46を備え、各ECU41~46が、各自に対応づけられている周辺監視センサ11での観測データに基づく認識処理を実行するように構成されていてもよい。この場合、自動運転ECU20は、各ECUから認識結果を取得して、統合(いわゆるフュージョン)し、制御判断を実行するように構成可能である。
なお、前方カメラECU41は、前方カメラ11aで撮像された画像に対して認識処理を行うECUである。周辺監視カメラECU42は、後方カメラ11bなどの周辺監視カメラ11hで撮像された画像に対して認識処理を行うECUである。前方レーダECU43は、前方レーダ11eの測距結果、すなわち、検出方向及び距離毎の受信強度等を解析することで、車両前方に存在する物体の位置や相対速度、種別などを認識するECUである。後側方レーダECU44は、後側方レーダ11iの測距結果を解析することで、後側方に存在する物体の位置や相対速度、種別などを認識するECUである。後側方レーダ11iには、右後方レーダ11f及び左後方レーダ11gが含まれる。ソナーECU45はソナー11jの測距結果を解析することで物体の位置や、より好ましくはその高さや種別を推定するECUである。LiDAR-ECU46は、LiDAR11kが生成した3次元点群データ(換言すれば距離画像データ)を解析することで、検出範囲に存在する物体の位置や種別などを特定するECUである。各ECU41~46は、センサと一体的に構成されていても良い。
また、自動運転システム1は、図22に示すように、自動運転ECU20が各周辺監視センサ11から観測データを取得して、各観測データに基づく認識処理から、フュージョン処理、及び、制御判断までを実行するように構成されていても良い。その他、認識処理を行う構成は、図23に示すように、カメラやLiDARなどの画像データの認識をまとめて行う画像系ECU47と、測距データに基づく認識を統括的に行う測距系ECU48とに分離されていても良い。画像系ECU47と測距系ECU48は、自動運転ECU20に内蔵されていてもよい。
加えて、運行記録ユニット30の構成も適宜変更可能であり、例えば複数に分割して配置されていても良い。例えば運行記録ユニット30は、図24に示すように、前方カメラ11aなどのカメラ映像、及び、それに基づく認識結果を記録する映像系記録ユニット30aが、上記以外のデータを記録するユニットから独立して配置されていても良い。便宜上、映像系記録ユニット30aの記録対象から外れたデータを記録するためのユニットを非映像系記録ユニット30bと記載する。映像系記録ユニット30aは例えばナビゲーション装置または前方カメラ11aと統合されていても良い。映像系記録ユニット30a及び非映像系記録ユニット30bは前述の運行記録ユニット30の機能を分散させた構成であって、具体的な構成や作動は運行記録ユニット30の説明を援用可能である。なお、運行記録ユニット30が複数に分散配置された構成においては同期信号(例えばパルス信号等)を送受信することで各ユニットの時刻情報が同期するように構成されていることが好ましい。例えば映像系記録ユニット30a及び非映像系記録ユニット30bは、互いに同期信号を送受信することで同期をとるように構成されていることが好ましい。映像系記録ユニット30aと非映像系記録ユニット30bが共通の時刻情報を用いてタイムスタンプを付加可能とするためである。
<付言(その1)>
本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。上記の処理部21、31はCPUや、MPU、GPU(Graphics Processing Unit)、DFP、NPUなど、複数種類のプロセッサを組み合わせて実現されていてもよい。さらに、例えば処理部21、31が提供すべき機能の一部は、FPGA(Field-Programmable Gate Array)や、ASIC(Application Specific Integrated Circuit)、などを用いて実現されていても良い。
また、本開示に記載の装置及びその手法は、専用ハードウェア論理回路により、実現されてもよい。さらに、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウェア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体(non- transitory tangible storage medium)に記憶されている。プログラムの保存媒体としては、HDD(Hard-disk Drive)やSSD(Solid State Drive)、EPROM(Erasable Programmable ROM)、フラッシュメモリ、USBメモリ、SD(Secure Digital)メモリカード等、多様な記憶媒体を採用可能である。
<付言(その2)>
本開示には、以下の技術思想も含まれる。なお、下記の自動運転処理部とは、自動運転ECU20に相当する。
[技術思想(1)]
自動運転機能が搭載された車両で使用され、自動運転機能を提供するコンピュータである自動運転処理部(20)の作動状態を記録する車両用記録装置であって、
車両に搭載されたセンサ類から記録対象となりうる複数種類の情報を取得する情報取得部(G1)と、
自動運転処理部の動作状態に対応する運転モードを示す信号を取得する運転モード取得部(G11)と、
運転モードに応じて記録対象を変更する記録対象設定部(G2)と、
記録対象設定部が設定した記録対象に該当する情報を所定の記憶媒体を用いて実現されているデータ格納部(Mm)に保存する処理を実行する記録処理部(G3)と、を備え、
運転モードごとの記録対象の設定は、所定サーバとの無線通信によって変更可能に構成されている。当該構成によれば、運転モードごとの記録対象を随時変更することができる。故に、法律等の改正に柔軟に対応可能となる。
[技術思想(2)]
記録対象設定部は、自動運転処理部が自律走行モードであって且つ予定行動として減速が計画されている場合、後方を検出方向とする周辺監視センサの観測データと、後方に対する自動運転処理部の環境認識結果を記録対象に設定する。当該構成によれば衝突の可能性がある前後方向の情報は生データとして記録しつつも、危険性の低い左右方向の観測データは記録対象から除外される。故に、事後解析性を維持しつつ、保存されるデータ量を抑制可能となる。
[技術思想(3)]
記録対象設定部は、自動運転処理部が自律走行モードであって且つ予定行動として交差点での右折または左折が計画されている場合、前方及び左右を検出方向とする周辺監視センサの観測データと、前方及び左右に対する自動運転処理部の環境認識結果を記録対象に設定する。当該構成によれば、対向車や道路横断中の歩行者との衝突の可能性がある前方及び左右方向についての生データは記録しつつも、危険性の低い後方の観測データは記録対象から除外される。故に、事後解析性を維持しつつ、保存されるデータ量を抑制可能となる。
[技術思想(4)]
自動運転処理部は、周辺監視センサから検出能力が低下していることを示す信号が入力された場合に、HMIシステムと連携して運転席乗員に対して、周辺監視センサの検出能力が低下していることを通知する処理を実行するものであって、
記録処理部は、上記通知に対して、運転席乗員が運転モードを、当該検出能力が低下しているセンサを用いずに利用可能な動作モードへと切り替える操作を所定時間以内に行ったか否かを記録する。当該構成によれば、運転席乗員が自動運転装置を本来の機能が発揮される状態で利用していたかを検証可能となる。
[技術思想(5)]
記録処理部は、走行用電源がオンまたはオフとなったことに基づいて、自動運転処理部のソフトウェアが最新の状態であるか否かを示すデータをデータ格納部に保存する。当該構成によれば、運転席乗員が、自動運転装置を本来の機能が発揮される状態で利用していたかを検証可能となる。
[技術思想(6)]
データ格納部は、データの削除が可能な上書き可能領域(M1)と、データの削除ができない上書き禁止領域(M2)とを備え、
記録処理部は、
記録対象設定部によって記録対象に設定されてあって、情報取得部が取得するデータは上書き可能領域に保存する一方、
所定の記録イベントが生じた場合には、当該発生時点から過去所定時間以内に取得されたデータを上書き禁止領域に保存する。なお、記録イベントとしては、ODDの退出や、MRMの実行、自動運転レベルのダウン、運転席乗員によるオーバーライドなどが含まれる。当該構成によれば、イベント発生時の状況を示すデータが削除される恐れを低減できる。
[技術思想(7)]
記録処理部は、記録対象に設定されているデータに、改ざん防止用のハッシュ値を付与して保存する。上記構成によれば、保存データの一部が改ざんされる恐れを低減できる。または、保存データが不正に改ざんされた場合にはその旨を検出することが可能となる。
[技術思想(8)]
周辺監視センサの観測データには、車両の前方を撮像する前方カメラ(11a)の撮影画像が含まれており、
自律走行モード時における前方カメラの撮像画像に関連するデータが所定期間は保存されるように、データ格納部内の保存データを管理する、データ管理部(G5)を備える。なお、所定期間としては6ヶ月や3ヶ月を設定可能である。当該構成によれば、自律走行時の前方状況を示すデータが残りやすくなる。
[技術思想(9)]
データ管理部は、前方カメラの撮像画像データは、直近1か月間分は観測データ又は所定の解像度を保つデータ形式で保存する一方、それより過去に撮像されたデータは解像度またはフレームレートを低下させた形式で保存する。当該構成によれば、データ保存量を抑制できる。また、有用性が高い直近のデータは、情報量が多い形式で保存されるため、事故原因等の解析性が損なわれる恐れを低減できる。
[技術思想(10)]
自動運転処理部は、自律走行モードとして、自動化レベル3に相当するレベル3モードと、自動化レベル4に相当するレベル4モードと、自動化レベル5に相当するレベル5モードの少なくとも1つを備えるとともに、自律走行モード時には、車載センサの出力に基づいて自律走行機能の制御余裕度を評価するものであって、
記録処理部は、制御余裕度に応じてデータ格納部に保存する情報の密度を変更する。なお、制御余裕度はシステムの安定度に対応する。当該構成によれば制御余裕度が低い状況下においてはデータの保存量が増えるため、事後解析性が高まる。一方、制御余裕度が高い状況下においてはデータの保存量を抑制できる。
[技術思想(11)]
上記技術思想(10)の欄に記載の車両用記録装置において、制御余裕度が所定の閾値以上である場合には、所定の第1保存間隔でデータを取得及び保存する一方、制御余裕度が所定の閾値未満である場合には、第1保存間隔よりも短い第2保存間隔で、データの取得及び保存を実施する。
[技術思想(12)]
車両を自律走行させる自動運転機能を提供する自動運転装置であって、
運転操作の自動化レベルが異なる複数の動作モードを備え、
周辺監視センサの観測データに基づき、他の移動体の位置を含む周辺環境を認識する周辺環境認識部(F1)と、
周辺環境認識部の認識結果及び運転席の乗員の操作の少なくとも何れか一方に基づいて動作モードを切り替えるモード制御部(F5)と、
車両を自律走行させる自律走行モードである場合に、周辺環境認識部の認識結果に基づき、次に実施予定の行動を含む行動計画を生成する行動計画部(F6)と、
行動計画部が生成した行動計画に基づき、走行アクチュエータの制御量を決定し、走行アクチュエータに制御信号を出力する制御実行部(F7)と、を備え、
周辺監視センサの観測データ、周辺環境認識部の認識結果、行動計画部が計画した次に実施予定の行動を示す予定行動、及び、制御実行部が決定した走行アクチュエータの制御量の少なくとも2つを記録用のデータセットとして記録装置(30)に出力する動作状態出力部(F9)と、を備える。
[技術思想(13)]
技術思想(12)に記載の自動運転装置であって、
動作状態出力部は、自律走行モード時、予定行動に関連する方向の周辺監視センサの観測データと、予定行動に関連する方向に対する環境認識部による認識結果を記録用のデータセットとして記録装置に出力する。
[技術思想(14)]
技術思想(13)の欄に記載の自動運転装置であって、
動作状態出力部は、自律走行モード時、予定行動として、右側又は左側への車線変更が計画されている場合には、車線変更方向側の斜め前方、側方、及び斜め後方の少なくとも一部を検出範囲に含む周辺監視センサの観測データと、上記の方向に対する周辺環境認識部の認識結果を記録用のデータセットとして記録装置に出力する。
[技術思想(15)]
技術思想(13)または(14)の欄に記載の車両用記録装置であって、
動作状態出力部は、自律走行モード時、予定行動として、減速が計画されている場合、後方を検出方向とする周辺監視センサの観測データと、後方に対する周辺環境認識部の認識結果を、記録用のデータセットとして記録装置に出力する。
[技術思想(16)]
技術思想(13)から(15)の何れかの欄に記載の車両用記録装置であって、
動作状態出力部は、自律走行モード時、予定行動として、交差点での右折または左折が計画されている場合、前方及び左右を検出方向とする周辺監視センサの観測データと、前方及び左右に対する周辺環境認識部の認識結果を、記録用のデータセットとして、記録装置に出力する。
[技術思想(17)]
車両を自動走行させる自動運転機能を提供する自動運転装置であって、
動作モードとして、自動化レベル3に相当するレベル3モードと、自動化レベル4に相当するレベル4モードと、運転操作の少なくとも一部を運転席乗員に任せる乗員関与モードと、を備え、
周辺監視センサの観測データに基づき、他の移動体の位置を含む周辺環境を認識する周辺環境認識部(F1)と、
周辺環境認識部の認識結果及び運転席の乗員の操作の少なくとも何れか一方に基づいて動作モードを切り替えるモード制御部(F5)と、
乗員状態センサ(12a)から運転席乗員の状態を示す乗員状態データを取得する乗員状態認識部(F2)と、
レベル3モード又はレベル4モード時において、運転席乗員に運転権限を移譲する可能性がある場合には、乗員状態データを記録する記録処理部(G3)と、を備え、
記録処理部は、
レベル3モードでは、乗員状態データを記録し、
レベル4モードでは、車両に対して設定されている運行設計領域を退出するまでの残り時間である退出残余時間が所定の閾値未満となっている場合に乗員状態データを記録する一方、退出残余時間が閾値以上である場合には乗員状態データは記録しないように構成されている。
1 自動運転システム、11 周辺監視センサ、11a 前方カメラ、12 乗員状態センサ、13 車両センサ、14 ロケータ、15 HMIシステム、16 V2X車載器、17 ボディECU、18 走行アクチュエータ、20 自動運転ECU(自動運転処理部)、21 処理部、30 運行記録ユニット、31 処理部、51 運転モード通知灯、52 対外コミュニケーション装置、F1 周辺環境認識部、F2 乗員状態認識部、F3 自車状態取得部、F4 操作内容取得部、F5 モード制御部、F51 ODD内外判定部、F6 行動計画部、F7 制御実行部、F8 異常検出部、F9 作動状態出力部、F30 運行記録部、G1 情報取得部、G11 モード取得部、G2 記録対象設定部、G3 記録処理部、G4 異常検出部、G5 記録データ管理部、S1 モード取得ステップ、S2 記録対象設定ステップ、S3 記録ステップ、S5 記録ステップ

Claims (13)

  1. 自動運転機能を提供するコンピュータであって、動作モードとして、自動運転レベル0から2の何れかに相当する乗員関与モードと自動運転レベル3に相当するレベル3モードとを備える、自動運転処理部(20)の作動状態を記録する車両用記録装置であって、
    前記車両に搭載されたセンサ類から記録対象となりうる複数種類の情報を取得する情報取得部(G1)と、
    前記自動運転処理部の前記動作モードを示す信号を取得するモード取得部(G11)と、
    前記動作モードに応じて記録対象を変更する記録対象設定部(G2)と、
    前記記録対象設定部が設定した記録対象に該当する情報を所定の記憶媒体を用いて実現されているデータ格納部(Mm)に保存する処理を実行する記録処理部(G3)と、を備え、
    記録対象となり得る前記複数種類の情報には、運転席乗員の状態を示す乗員状態データが含まれ、
    前記情報取得部は、前記乗員状態データの1つとして、前記運転席乗員の顔画像を取得可能に構成されており、
    前記記録対象設定部は、前記自動運転処理部が前記レベル3モードで動作している場合には前記顔画像を記録対象に含める一方、前記自動運転処理部が前記乗員関与モードで動作している場合には前記顔画像を記録対象から除外する、車両用記録装置。
  2. 自動運転機能を提供するコンピュータであって、動作モードとして、自動運転レベル0から2の何れかに相当する乗員関与モードと車両を自律的に走行させる自律走行モードとを備える、自動運転処理部(20)の作動状態を記録する車両用記録装置であって、
    前記自律走行モードは、前記自動運転処理部が運転席乗員に運転操作の引き継ぎを要求する処理である引継ぎ要求処理を実行している状態である権限移譲モードを含み、
    前記車両に搭載されたセンサ類から記録対象となりうる複数種類の情報を取得する情報取得部(G1)と、
    前記自動運転処理部の動作モードを示す信号を取得するモード取得部(G11)と、
    前記動作モードに応じて記録対象を変更する記録対象設定部(G2)と、
    前記記録対象設定部が設定した記録対象に該当する情報を所定の記憶媒体を用いて実現されているデータ格納部(Mm)に保存する処理を実行する記録処理部(G3)と、を備え、
    記録対象となり得る前記複数種類の情報には、前記運転席乗員の状態を示す乗員状態データが含まれ、
    前記情報取得部は、前記乗員状態データの1つとして、前記運転席乗員の顔画像を取得可能に構成されており、
    前記モード取得部は、前記自動運転処理部との通信により、前記自動運転処理部が前記引継ぎ要求処理を実行中であるかを取得し、
    前記記録対象設定部は、前記自動運転処理部が前記引継ぎ要求処理を実施している場合には前記顔画像を記録対象に含める一方、前記自動運転処理部が前記乗員関与モードで動作している場合には前記顔画像を記録対象から除外する、車両用記録装置。
  3. 請求項に記載の車両用記録装置であって、
    前記情報取得部は、
    前記自動運転処理部が前記車両を自律的に走行させる自律走行モードとなっている場合、前記自動運転処理部から、周辺環境の認識結果を示す環境認識結果と、実施予定の行動である予定行動の情報と、走行アクチュエータの制御量との少なくとも1つを取得するとともに、周辺監視センサから観測データを取得し、
    前記記録対象設定部は、前記自動運転処理部が前記自律走行モードであることに基づいて、前記環境認識結果、前記予定行動の情報、及び、前記制御量の少なくとも何れか1つと、前記周辺監視センサの前記観測データとを記録対象に設定する、車両用記録装置。
  4. 請求項に記載の車両用記録装置であって、
    前記記録対象設定部は、前記自動運転処理部が前記自律走行モードであることに基づいて、前記予定行動に関連する方向の前記周辺監視センサの前記観測データと、前記予定行動に関連する方向に対する前記自動運転処理部の前記環境認識結果を記録対象に設定する、車両用記録装置。
  5. 請求項に記載の車両用記録装置であって、
    前記記録対象設定部は、前記自動運転処理部が前記自律走行モードであって且つ前記予定行動として右側又は左側への車線変更が計画されている場合には、車線変更方向側の斜め前方、車線変更方向側の側方、及び、車線変更方向側の斜め後方の少なくとも一部を検出範囲に含む、少なくとも1つの前記周辺監視センサの前記観測データと、上記の方向に対する前記自動運転処理部の前記環境認識結果を記録対象に設定する、車両用記録装置。
  6. 自律走行中であることを外部に通知するための灯火装置である運転モード通知灯(51)を備える車両で使用される、請求項2から5の何れか1項に記載の車両用記録装置であって、
    前記記録対象設定部は、前記自動運転処理部が前記自律走行モードであることに基づいて、前記運転モード通知灯の作動状態を記録対象に含める、車両用記録装置。
  7. 請求項からの何れか1項に記載の車両用記録装置であって、
    前記記録対象設定部は、前記自動運転処理部が前記自律走行モードであることに基づいて、前記車両の周辺に存在する他車両の識別情報を記録対象に含める、車両用記録装置。
  8. 請求項に記載の車両用記録装置であって、
    前記記録対象設定部は、前記自動運転処理部が前記自律走行モードであることに基づいて、前記車両の周辺に存在する前記他車両の前記識別情報と、前記他車両の挙動を示すデータを記録対象に含める、車両用記録装置。
  9. 請求項からの何れか1項に記載の車両用記録装置であって、
    前記自動運転処理部は、前記自律走行モード時、現在の状況が前記車両に対して設定されている自動運転許可条件を充足しているか否かを判定するものであって、
    前記記録処理部は、前記自動運転処理部が前記自動運転許可条件を充足しなくなったと判定した場合には、その判定根拠を示すデータを前記自動運転処理部から取得して前記データ格納部に保存する、車両用記録装置。
  10. 請求項からの何れか1項に記載の車両用記録装置であって、
    前記記録処理部は、前記自動運転処理部が前記引継ぎ要求処理を実施した場合には、前記引継ぎ要求処理の実行に至った理由を示すデータを前記自動運転処理部から取得して前記データ格納部に記録する、車両用記録装置。
  11. 請求項から10の何れか1項に記載の車両用記録装置であって、
    前記記録対象となり得る複数種類の情報には、前記車両の前方を撮像する前方カメラ(11a)の撮影映像が含まれており、
    前記記録処理部は、前記自動運転処理部が前記自律走行モードで動作している場合、
    前記前方カメラの撮像データを上書き可能な態様で保存するとともに、
    所定の記録イベントが生じた場合には、その時点から過去所定時間以内に撮影された前記前方カメラの所定時間分の撮像データを、上書きできない態様で保存するように構成されており、
    前記データ格納部は、前記前方カメラの前記所定時間分の映像データを、2000セット以上記録可能な容量を有している、車両用記録装置。
  12. 請求項から1の何れか1項に記載の車両用記録装置であって、
    前記自動運転処理部は、前記自律走行モードとして、自動運転レベル3に相当するレベル3モードと、自動運転レベル4に相当するレベル4モードと、を備え、
    前記記録対象設定部は、
    前記レベル3モードの間には、前記乗員状態データを記録対象に設定し続け、
    前記レベル4モードでは、前記車両に対して設定されている運行設計領域を退出するまでの残り時間である退出残余時間が所定の閾値未満となっている場合に前記乗員状態データを記録対象に含める一方、前記退出残余時間が前記閾値以上である場合には前記乗員状態データは記録対象から除外するように構成されている、車両用記録装置。
  13. 自動運転機能を提供するコンピュータであって、動作モードとして、自動運転レベル0から2の何れかに相当する乗員関与モードと自動運転レベル3に相当するレベル3モードとを備える、自動運転処理部(20)の作動状態を記録するための、プロセッサ(31)によって実行される情報記録方法であって、
    車両に搭載されたセンサ類から、記録対象となりうる複数種類の情報を取得するとともに、前記自動運転処理部の動作モードを示す信号を取得するモード取得ステップ(S1)と、
    前記動作モードに応じて記録対象を変更する記録対象設定ステップ(S2)と、
    前記記録対象設定ステップで設定された記録対象に該当する情報を、所定の記憶媒体を用いて実現されているデータ格納部(Mm)に保存する記録ステップ(S3、S5)と、を備え、
    記録対象となり得る前記複数種類の情報には、運転席乗員の顔画像のデータが含まれており、
    前記記録対象設定ステップは、前記レベル3モードが適用されている場合には前記顔画像を記録対象に含める一方、前記乗員関与モードが適用されている場合には前記顔画像を記録対象から除外するように構成されている、情報記録方法。
JP2020079895A 2020-04-29 2020-04-29 車両用記録装置、情報記録方法 Active JP7380409B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020079895A JP7380409B2 (ja) 2020-04-29 2020-04-29 車両用記録装置、情報記録方法
PCT/JP2021/015694 WO2021220845A1 (ja) 2020-04-29 2021-04-16 車両用記録装置、情報記録方法
US18/049,447 US20230063930A1 (en) 2020-04-29 2022-10-25 Vehicle recording device and information recording method
JP2023134129A JP2023160848A (ja) 2020-04-29 2023-08-21 車両用記録装置、運行状況記録プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020079895A JP7380409B2 (ja) 2020-04-29 2020-04-29 車両用記録装置、情報記録方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023134129A Division JP2023160848A (ja) 2020-04-29 2023-08-21 車両用記録装置、運行状況記録プログラム

Publications (3)

Publication Number Publication Date
JP2021174413A JP2021174413A (ja) 2021-11-01
JP2021174413A5 JP2021174413A5 (ja) 2022-07-07
JP7380409B2 true JP7380409B2 (ja) 2023-11-15

Family

ID=78279929

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020079895A Active JP7380409B2 (ja) 2020-04-29 2020-04-29 車両用記録装置、情報記録方法
JP2023134129A Pending JP2023160848A (ja) 2020-04-29 2023-08-21 車両用記録装置、運行状況記録プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023134129A Pending JP2023160848A (ja) 2020-04-29 2023-08-21 車両用記録装置、運行状況記録プログラム

Country Status (3)

Country Link
US (1) US20230063930A1 (ja)
JP (2) JP7380409B2 (ja)
WO (1) WO2021220845A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7469167B2 (ja) * 2020-07-07 2024-04-16 本田技研工業株式会社 制御装置及び制御方法並びに車両
DE112020007365T5 (de) * 2020-12-28 2023-05-17 Honda Motor Co., Ltd. Fahrzeugsteuervorrichtung, fahrzeugsteuerverfahren und programm
BE1028777B1 (nl) * 2021-03-25 2022-06-01 Ivex Systeem en methode voor het detecteren van inconsistenties in de outputs van perceptiesystemen van autonome voertuigen
WO2023106235A1 (ja) * 2021-12-06 2023-06-15 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、および車両制御システム
CN117636270B (zh) * 2024-01-23 2024-04-09 南京理工大学 基于单目摄像头的车辆抢道事件识别方法及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018190024A1 (ja) 2017-04-11 2018-10-18 株式会社デンソー 車両のデータ記憶装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018190024A1 (ja) 2017-04-11 2018-10-18 株式会社デンソー 車両のデータ記憶装置

Also Published As

Publication number Publication date
US20230063930A1 (en) 2023-03-02
WO2021220845A1 (ja) 2021-11-04
JP2023160848A (ja) 2023-11-02
JP2021174413A (ja) 2021-11-01

Similar Documents

Publication Publication Date Title
JP7380409B2 (ja) 車両用記録装置、情報記録方法
CN106997203B (zh) 车辆自动化及操作者参与等级预测
US11347218B2 (en) Portable universal autonomous driving system
JP7466396B2 (ja) 車両制御装置
CN114555443A (zh) 使用驾驶员辅助来检测和解决异常驾驶员行为
US11586210B2 (en) Preemptive logical configuration of vehicle control systems
WO2022009900A1 (ja) 自動運転装置、車両制御方法
US20230118619A1 (en) Parking-stopping point management device, parking-stopping point management method, and vehicle device
US20230120095A1 (en) Obstacle information management device, obstacle information management method, and device for vehicle
US20220198842A1 (en) Predictive analytics for vehicle health
WO2020009060A1 (ja) 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置
CN111532269B (zh) 车辆控制装置
DE112022003364T5 (de) Komplementäres steuersystem für ein autonomes fahrzeug
CN112238861B (zh) 车辆控制装置
US20230373530A1 (en) Vehicle control device and vehicle control method
US11648938B2 (en) Braking data mapping
CN116128053A (zh) 用于自主运载工具的方法和系统以及计算机可读介质
WO2023228781A1 (ja) 処理システム及び情報提示装置
JP7444295B2 (ja) 処理装置、処理方法、処理プログラム、処理システム
US20240038069A1 (en) Processing device, processing method, processing system, and storage medium
WO2023189578A1 (ja) 移動体制御装置、移動体制御方法、及び、移動体
WO2023090203A1 (ja) 自動運行装置、車両制御方法
KR20230113427A (ko) 자율 주행 차량을 제어하는 방법 및 장치
Carlsson A system for the provision and management of route characteristic information to facilitate predictive driving strategies
DE112020002741T5 (de) Signalverarbeitungsvorrichtung, signalverarbeitungsverfahren, programm und bildgebungsvorrichtung

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220627

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231016

R151 Written notification of patent or utility model registration

Ref document number: 7380409

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151