JP7431223B2 - 情報処理装置、移動装置、および方法、並びにプログラム - Google Patents

情報処理装置、移動装置、および方法、並びにプログラム Download PDF

Info

Publication number
JP7431223B2
JP7431223B2 JP2021514814A JP2021514814A JP7431223B2 JP 7431223 B2 JP7431223 B2 JP 7431223B2 JP 2021514814 A JP2021514814 A JP 2021514814A JP 2021514814 A JP2021514814 A JP 2021514814A JP 7431223 B2 JP7431223 B2 JP 7431223B2
Authority
JP
Japan
Prior art keywords
section
driving
display data
information
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021514814A
Other languages
English (en)
Other versions
JPWO2020213280A1 (ja
Inventor
英史 大場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JPWO2020213280A1 publication Critical patent/JPWO2020213280A1/ja
Application granted granted Critical
Publication of JP7431223B2 publication Critical patent/JP7431223B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22Display screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0053Handover processes from vehicle to occupant
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0057Estimation of the time available or required for the handover
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3453Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3492Special cost functions, i.e. other than distance or default speed limit of road segments employing speed data or traffic data, e.g. real-time or historical
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3679Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3691Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3697Output of additional, non-guidance related information, e.g. low fuel level
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/09675Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where a selection from the received information takes place in the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/166Navigation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/169Remaining operating distance or charge
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/172Driving mode indication
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/175Autonomous driving
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/178Warnings
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55Remote control arrangements
    • B60K2360/56Remote control arrangements using mobile devices
    • B60K2360/566Mobile devices displaying vehicle information
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K37/00Dashboards
    • B60K37/20Dashboard panels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/40High definition maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Atmospheric Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Traffic Control Systems (AREA)

Description

本開示は、情報処理装置、移動装置、および方法、並びにプログラムに関する。さらに詳細には、自動運転と手動運転の切り替え制御を行う車両において、様々な表示データの生成処理を行う情報処理装置、移動装置、および方法、並びにプログラムに関する。
昨今、自動運転に関する技術開発が盛んに行われている。
自動運転技術は、車両(自動車)に備えられた位置検出手段等の様々なセンサを用いて、道路上を自動走行可能とする技術であり、今後、急速に普及することが予測される。
しかし、現状において自動運転は開発段階であり、100%の自動運転が可能となるまでには時間を要すると考えられ、しばらくは、自動運転と、運転者(ドライバ)による手動運転とを、適宜切り替えて走行することになると予測される。
例えば、高速道路等、直線的で道路幅が十分な道路では、自動運転モードでの走行を行うが、高速道路から出て駐車場の好きな位置に車を止める場合や、道路幅の狭い山道等では手動運転モードに切り替えて運転者(ドライバ)の操作で走行を行うといったモード切り替えが必要となると予測される。
車両が自動運転を実行している間は、運転者(ドライバ)は車両走行方向である前方に視線を向ける必要がなく、例えば、居眠りをしたり、テレビを見たり、本を読んだり、あるいは後ろ向きに座って後部座席の人と会話をするといった自由な行動が可能となる。
自動運転と手動運転を切り替えて走行する車両において、自動運転モードから手動運転モードに切り替える必要が発生した場合、運転者(ドライバ)に手動運転を開始させることが必要となる。
運転者(ドライバ)に手動運転を開始させるためには、的確なタイミングで通知を行う必要がある。通知が不完全なまま手動運転モードに切り替えてしまうと、正常な手動運転を開始することができず、最悪の場合、事故を起こす可能性がある。
運転の安全性を確保するためには、適格なタイミングで確実に運転者に対して手動運転復帰要請を行う必要がある。
また、運転者に対して、手動運転区間が近づいていることを確実に認識させることも重要である。手動運転を開始するためには、所定の準備処理が必要であり、手動運転開始までに余裕をもって準備を行う必要があるからである。手動運転復帰までの時間が不十分な場合、事故が発生する可能性があり危険である。
このような危険を回避するため、例えば、車両の緊急停止や減速、あるいは退避場所への移動走行を自動的に行うことも可能であるが、このような処理は渋滞の発生等の問題を引き起こす。
例えば、特許文献1(特開2016-139204号公報)には、自車両の走行予定道路における複数の危険に対して、その危険度を表示する技術が開示されている。また、例えば、特許文献2(特開2016-090274号公報)には、自動運転中に運転者に手動運転を開始させる場合に、携帯端末に意識を集中させている運転者に対して、手動運転の開始をしなければならない状況にあることを携帯端末の画面に表示して知らせる技術が開示されている。
特開2016-139204号公報 特開2016-090274号公報
特許文献1や特許文献2のように特定情報の通知を行う技術は知られている。しかし、自動運転車両の走行ルートの状態は、時事刻々変化する。具体的には自動運転可能区間と手動運転区間の設定等が変わる可能性がある。例えば事故の発生や工事によって区間設定が変更されることが想定される。従って最新の情報を、より早い段階で確実にユーザー(運転者)に知らせることが重要であるが、このような情報提供処理を可能とした構成について開示した従来技術はない。
本開示は、例えば、上述の問題点に鑑みてなされたものであり、自動運転と手動運転への切り替えを行う車両のユーザー(運転者)に対して、走行ルート上の自動運転可能区間と手動運転区間の区間情報を含む様々な情報を提示することを可能とした情報処理装置、移動装置、および方法、並びにプログラムを提供することを目的とする。
本開示の第1の側面は、
車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データを生成するデータ処理部を有し、
前記データ処理部は、
車両の走行予定時間帯に応じた異なる時間軸を持つ複数の表示データを連結した1つの走行区間表示データを生成する情報処理装置にある。
さらに、本開示の第2の側面は、
自動運転と手動運転の切り替えが可能な移動装置であり、
前記移動装置の運転者の運転者情報を取得する運転者情報取得部と、
前記移動装置の周囲情報を取得する環境情報取得部と、
車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データを生成するデータ処理部を有し、
前記データ処理部は、
車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データであり、車両の走行予定時間帯に応じた異なる時間軸を持つ複数の表示データを連結した1つの走行区間表示データを生成する移動装置にある。
さらに、本開示の第3の側面は、
情報処理装置において実行する情報処理方法であり、
データ処理部が、
車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データであり、車両の走行予定時間帯に応じた異なる時間軸を持つ複数の表示データを連結した1つの走行区間表示データを生成する報処理装置方法にある。
さらに、本開示の第4の側面は、
移動装置において実行する情報処理方法であり、
前記移動装置は、自動運転と手動運転の切り替えが可能な移動装置であり、
運転者情報取得部が、前記移動装置の運転者の運転者情報を取得する運転者情報取得ステップと、
環境情報取得部が、前記移動装置の周囲情報を取得する環境情報取得ステップと、
データ処理部が、
車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データであり、車両の走行予定時間帯に応じた異なる時間軸を持つ複数の表示データを連結した1つの走行区間表示データを生成する移動装置にある。
さらに、本開示の第5の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
データ処理部に、
車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データであり、車両の走行予定時間帯に応じた異なる時間軸を持つ複数の表示データを連結した1つの走行区間表示データを生成させるプログラムにある。
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データを生成してユーザー(運転者)に提示する構成が実現される。
具体的には、例えば、車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データを生成するデータ処理部を有する。データ処理部は、近距離区間と遠距離区間について、時間(t)と表示位置(h)を比例関係とした時間リニア表示データを生成する。遠距離区間は近距離区間より、単位表示長さあたりの距離を長くした表示データを生成する。近距離区間と遠距離区間の間の中距離区間は、近距離区間対応の第1の時間軸から、遠距離区間対応の第2の時間軸まで、所定比率で順次変化する時間軸を持つ表示データを生成する。
本構成により、車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データを生成してユーザー(運転者)に提示する構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
本開示の移動装置の一構成例について説明する図である。 本開示の移動装置の表示部に表示されるデータの一例について説明する図である。 本開示の移動装置の実行する処理について説明する図である。 本開示の移動装置の実行する処理について説明する図である。 本開示の移動装置における運転者の行動例について説明する図である。 運転者の保持する端末に対するデータ表示例について説明する図である。 運転者の保持する端末に対するデータ表示例について説明する図である。 本開示の移動装置の構成例について説明する図である。 本開示の移動装置の構成例について説明する図である。 本開示の移動装置のセンサ構成例について説明する図である。 本開示の移動装置の実行する自動運転モードから手動運転モードへのモード切り替えシーケンスの一例を示す図である。 自動運転の動作シーケンスの一例について説明するフローチャートを示す図である。 運転者により目的地が設定されることで決定された自動運転可否区間が斑に設定され、または発生した走行ルートの一例を示す図である。 走行ルートにおける走行区間表示のための情報処理を説明するための図である。 最終的に表示される走行区間表示の一例を示す図である。 時間経過に伴う走行区間表示の変化例(スクロール例)を示す図である。 タブレット端末機器(以下単に「タブレット」と記す)の画面上に表示される走行ルートにおける走行区間表示の一例を示す図である。 運転者が実際にタブレットを用いて2次タスクを実行している状態の一例を示す図である。 第2区間に新たに注意走行区間Sdが発生し、点滅表示で運転者に警告している状態を示す図である。 タブレットの画面上に小ウインドウがポップアップ表示されている状態を示す図である。 本開示の腕時計型の情報端末の利用構成例について説明する図である。 本開示の腕時計型の情報端末の利用構成例について説明する図である。 本開示の腕時計型の情報端末の利用構成例について説明する図である。 複合・階層的な情報提供が復帰意識レベルの向上をもたらす神経伝達の概念を説明する図である。 走行区間表示データの詳細構成について説明する図である。 走行区間表示データの詳細構成について説明する図である。 走行区間表示データの時間経過に伴う更新例について説明する図である。 腕時計型端末における走行区間表示データの時間経過に伴う更新例について説明する図である。 走行区間表示データに対する付加情報の追加表示例について説明する図である。 走行区間表示データに対する付加情報の追加表示例について説明する図である。 走行区間表示データに対する付加情報の追加表示例について説明する図である。 走行区間表示データに対する付加情報の追加表示例について説明する図である。 走行区間表示データに対する付加情報の追加表示例について説明する図である。 走行区間表示データに対する付加情報の追加表示例について説明する図である。 腕時計型端末に表示した走行区間表示データに対する付加情報の追加表示例について説明する図である。 アニメーションを利用した表示データの一例について説明する図である。 アニメーションを利用した表示データの一例について説明する図である。 アニメーションを利用した表示データの一例について説明する図である。 スマホ等の端末における表示データの例について説明する図である。 スマホ等の端末における表示データの例について説明する図である。 スマホ等の端末における表示データの例について説明する図である。 スマホ等の端末における表示データの例について説明する図である。 スマホ等の端末における表示データの例について説明する図である。 情報処理装置のハードウェア構成例について説明する図である。
以下、図面を参照しながら本開示の情報処理装置、移動装置、および方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
1.移動装置と情報処理装置の構成と処理の概要について
2.移動装置の具体的な構成と処理例について
3.自動運転モードから手動運転モードへのモード切り替えシーケンスについて
4.自動運転の動作シーケンス例について
5.ユーザー(運転者)に対する提供情報や通知処理について
5-1.走行区間表示データの詳細構成と更新処理について
5-2.走行区間表示データに対する付加情報の表示例について
5-3.アニメーションによる通知、警告処理例について
5-4.その他の表示処理例について
6.情報処理装置の構成例について
7.本開示の構成のまとめ
[1.移動装置と情報処理装置の構成と処理の概要について]
まず、図1以下を参照して、移動装置と情報処理装置の構成と処理の概要について説明する。
本開示の移動装置は、例えば、自動運転と手動運転を切り替えて走行することが可能な自動車である。
このような自動車において、自動運転モードから手動運転モードに切り替える必要が発生した場合、運転者(ドライバ)に手動運転を開始させることが必要となる。
しかし、自動運転実行中に運転者が行う処理(2次タスク)は様々である。
例えば、ハンドルから手を放しているのみで、運転時と同様、自動車の前方を注視している場合もあり、本を読んでいる場合もあり、また、居眠りをしている場合もある。
これらの処理の違いにより、運転者の覚醒度(意識レベル)は異なるものとなる。
例えば、居眠りをすると、運転者の覚醒度が低下する。すなわち意識レベルが低下した状態となる。このような覚醒度が低下した状態では、正常な手動運転を行うことができず、その状態で手動運転モードに切り替えてしまうと、最悪の場合、事故を起こす可能性がある。
運転の安全性を確保するためには、運転者の覚醒度が高い状態、すなわちはっきりした意識のある状態で手動運転を開始させることが必要となる。
このためには、自動運転実行中の運転者の覚醒度に応じて、自動運転から手動運転への切り替え要求を行う通知タイミングを変更することが必要である。
例えば、自動運転実行中に運転者が前を向いて道路を見ているような場合は、運転者の覚醒度は高い状態、すなわち、いつでも手動運転を開始できる状態にある。
このような場合は、手動運転への切り替え通知は、手動運転が必要となる時間の直前のタイミングに行えばよい。運転者は、すぐに安全な手動運転を開始することができるからである。
しかし、運転者が自動運転実行中に居眠りをしているような場合、運転者の覚醒度は極めて低い状態にある。
このような場合、手動運転への切り替え通知を手動運転が必要となる時間の直前のタイミングに行うと、運転者は、意識がはっきりしない状態で手動運転を開始せざる得ない。その結果、事故を発生させる可能性が高まる。従って、このように覚醒度が低い場合は、より早い段階で手動運転への切り替え通知を行うことが必要となる。
本開示の移動装置、または移動装置に搭載可能な情報処理装置は、例えば、運転者の覚醒度に応じて手動運転への切り替え通知タイミングの制御を行う。
図1以下を参照して本開示の移動装置と、移動装置に装着可能な情報処理装置の構成と処理について説明する。
図1は、本開示の移動装置の一例である自動車10の一構成例を示す図である。
図1に示す自動車10に本開示の情報処理装置が装着されている。
図1に示す自動車10は、手動運転モードと、自動運転モードの2つの運転モードによる運転が可能な自動車である。
手動運転モードは、運転者(ドライバ)20の操作、すなわちハンドル(ステアリング)操作や、アクセル、ブレーキ等の操作に基づく走行が行われる。
一方、自動運転モードでは、運転者(ドライバ)20による操作が不要であり、例えば位置センサや、その他の周囲情報検出センサ等のセンサ情報に基づく運転が行われる。
位置センサは、例えばGPS受信機等であり、周囲情報検出センサは、例えば、カメラ、超音波センサ、レーダ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等である。
なお、図1は、本開示の概要を説明する図であり主要な構成要素を概略的に示している。詳細構成については後段で説明する。
図1に示すように、自動車10は、データ処理部11、運転者情報取得部12、環境情報取得部13、通信部14、通知部15を有する。
運転者情報取得部12は、例えば、運転者の覚醒度を判定するための情報、運転者の操作情報等を取得する。具体的には、例えば、運転者の顔画像を撮影するカメラ、各操作部(ハンドル、アクセル、ブレーキ等)の操作情報取得部等によって構成される。
環境情報取得部13は、自動車10の走行環境情報を取得する。例えば、自動車の前後左右の画像情報、GPSによる位置情報、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等からの周囲の障害物情報等である。
データ処理部11は、運転者情報取得部12の取得した運転者情報や、環境情報取得部13の取得した環境情報を入力し、自動運転中の車内の運転者が安全な手動運転が実行可能な状態にあるか否か、さらに手動運転中の運転者が安全な運転を実行しているか否か等を示す安全性指標値を算出する。
さらに、例えば、自動運転モードから手動運転モードへの切り替えの必要が発生した場合に、手動運転モードへの切り替えを行うように、通知部15を介して通知する処理を実行する。
この通知処理のタイミングは、例えば運転者情報取得部12、環境情報取得部13を入力して算出した最適なタイミングとする。
すなわち、運転者20が、安全な手動運転を開始できるようなタイミングとする。
具体的には、運転者の覚醒度が高い場合は、手動運転開始時間の直前、例えば5秒前に通知を行い、運転者の覚醒度が低い場合は、余裕をもって手動運転開始時間の20秒前に行う等の処理を行う。具体的な通知に最適なタイミングの算出は後述する。
通知部15は、この通知を行う表示部、音声出力部、あるいはハンドルやシートのバイブレータによって構成される、
通知部15を構成する表示部に対する警告表示の例を図2に示す。
図2に示すように、表示部30には、以下の各表示がなされる。
運転モード情報=「自動運転中」、
警告表示=「手動運転に切り替えてください」
運転モード情報の表示領域には、自動運転モードの実行時は「自動運転中」の表示が行われ、手動運転モードの実行時は「手動運転中」の表示が行われる。
警告表示情報の表示領域には、自動運転モードで自動運転を実行している間に、以下の表示を行う表示領域である。なお、本実施例では表示画面全体を用いているが、画面の一部表示でもよい。
「手動運転に切り替えてください」
なお、この例は説明を明文化した例であるが、このようなテキスト表示に限らず、例えばピクトグラムなどシンボルによる表示を行ってもよい。
なお、図1に示すように、自動車10は通信部14を介してサーバ30と通信可能な構成を持つ。
例えば、データ処理部11における通知出力の適正時間を算出する処理の一部、具体的には学習処理をサーバ30において行うことが可能である。
この具体例については後述する。
図3は、本開示の移動装置や情報処理装置が実行する処理の具体例を示す図である。
図3には、自動運転モードで自動運転を実行している間に、手動運転への切り替え要求を行う通知の適正タイミングの設定例を示す図であり、以下の2つの例の通知処理例を示している。
(a)自動運転実行中の運転者の覚醒度が高い場合の通知処理
(b)自動運転実行中の運転者の覚醒度が低い場合の通知処理
(a)の例は、自動運転実行中に運転者が前を向いて道路を見ている例である。この場合は、運転者の覚醒度は高い状態、すなわち、いつでも手動運転を開始できる状態にある。
このような場合は、手動運転への切り替え通知は、手動運転が必要となる時間の直前タイミングに行っても、運転者は、すぐに安全な手動運転を開始することができる。
(b)の例は、運転者が自動運転実行中に居眠りをしているような場合、運転者の覚醒度は極めて低い状態にある。
このような場合、手動運転への切り替え通知を、手動運転が必要となる時間の直前タイミングに行うと、運転者は、意識がはっきりしない状態子で手動運転を開始してしまい、事故を発生させる可能性が高まる。従って、このように覚醒度が低い場合は、より早い段階で、手動運転への切り替え通知を行うことが必要となる。
さらに、例えば宅配車両のように荷物室を有し、運転者が自動運転実行中に荷物室へ移動して作業を行うことが可能な車両では、手動運転への切り替え要求を行う通知タイミングは、例えば図4に示すように以下の3種類の場合によって異なる設定とすることが好ましい。
(a)自動運転実行中の運転者の覚醒度が高い場合の通知処理
(b)自動運転実行中の運転者の覚醒度が低い場合の通知処理
(c)自動運転実行中の運転者が運転席から離れている場合の通知処理
(a)の例は、自動運転実行中に運転者が前を向いて道路を見ている例である。この場合は、運転者の覚醒度は高い状態、すなわち、いつでも手動運転を開始できる状態にある。
このような場合は、手動運転への切り替え通知は、手動運転が必要となる時間の直前タイミングに行っても、運転者は、すぐに安全な手動運転を開始することができる。
(b)の例は、運転者が自動運転実行中に居眠りをしているような場合の例であり、この場合、運転者の覚醒度は極めて低い状態にある。
このような場合、手動運転への切り替え通知を、手動運転が必要となる時間の直前タイミングに行うと、運転者は、意識がはっきりしない状態子で手動運転を開始してしまい、事故を発生させる可能性が高まる。従って、このように覚醒度が低い場合は、より早い段階で、手動運転への切り替え通知を行うことが必要となる。
(c)の例は、運転者が自動運転実行中に運転席を離れて作業をしているような場合の例であり、このような場合、運転者は運転席に戻るまでに時間を要することになる。
このような場合、手動運転への切り替え通知を、手動運転が必要となる時間の直前タイミングに行うと、運転者が運転席に戻る前に手動運転区間に差し掛かってしまう可能性がある。従って、このように運転者が運転席を離れている場合には、より早い段階で、手動運転への切り替え通知を行うことが必要となる。
また、自動車10に乗車している運転者(ドライバ)20が、運転席を離れている場合には、運転席の通知部(表示部)15に先に図2を参照して説明したような表示を行っても運転者20は気づくことができない。
これを解決するため、運転者(ドライバ)20が腕に装着した情報端末50、例えば図5に示すような腕時計型の情報端末50を介して通知、情報提供を行う。情報端末50は、図2を参照して説明したと同様の表示データの表示処理を行うとともに、さらに、自動車10が走行中の道路の区間(自動運転区間、手動運転区間)の接近情報等を表示する。さらに、アラーム出力、音声出力、バイブレーション機能を有し、様々な通知、警告を運転者20に知らせる。
図5は、情報端末50の利用例を示す図である。自動車10に乗車している運転者(ドライバ)20は、自動車10が自動運転実行中に、図4(a)に示すように運転席にいる場合もあるが、図4(b)に示すように、運転席を離れ、荷物室で作業を行っている場合もある。しかし、運転者20は、常時、情報端末50を腕に装着しており、情報端末50に表示される表示情報や、出力される音声、アラーム、バイブレーション等に気づくことが可能となる。また、これら装着型情報端末50は車両の運転者情報取得部12と連動し、また応答確認手段として応答入力機能を備える。この構成により通知や警告の認知応答が可能となる。また、後述する早期手動運転復帰に対する拒否通知を車両システムへ発信することも可能となる。
図6は、情報端末50の表示情報の一例を示す図である。図6に示す例は、先に図2を参照して説明した通知部(表示部)15の表示例と同様の表示例を示している。情報端末50に、以下の各表示がなされる。
運転モード情報=「自動運転中」、
警告表示=「手動運転に切り替えてください」
運転者20は、どこにいてもこの表示を確認することが可能となる。
さらに、図7に示すようなタブレット型の情報端末50を利用して通知、情報提供を行う構成としてもよい。
[2.移動装置の具体的な構成と処理例について]
次に、図8以下を参照して、本開示の移動装置の具体的な構成と処理例について説明する。
図8は、移動装置100の構成例を示している。なお、以下、移動装置100が設けられている車両を他の車両と区別する場合、自車または自車両と称する。
移動装置100は、入力部101、データ取得部102、通信部103、車内機器104、出力制御部105、出力部106、駆動系制御部107、駆動系システム108、ボディ系制御部109、ボディ系システム110、記憶部111、および、自動運転制御部112を備える。
入力部101、データ取得部102、通信部103、出力制御部105、駆動系制御部107、ボディ系制御部109、記憶部111、および、自動運転制御部112は、通信ネットワーク121を介して、相互に接続されている。通信ネットワーク121は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)、または、FlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、移動装置100の各部は、通信ネットワーク121を介さずに、直接接続される場合もある。
なお、以下、移動装置100の各部が、通信ネットワーク121を介して通信を行う場合、通信ネットワーク121の記載を省略するものとする。例えば、入力部101と自動運転制御部112が、通信ネットワーク121を介して通信を行う場合、単に入力部101と自動運転制御部112が通信を行うと記載する。
入力部101は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部101は、タッチパネル、ボタン、マイクロフォン、スイッチ、および、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部101は、赤外線もしくはその他の電波を利用したリモートコントロール装置、または、移動装置100の操作に対応したモバイル機器もしくはウェアラブル機器等の外部接続機器であってもよい。入力部101は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、移動装置100の各部に供給する。
データ取得部102は、移動装置100の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、移動装置100の各部に供給する。
例えば、データ取得部102は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ジャイロセンサ、加速度センサ、慣性計測装置(IMU)、および、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、もしくは、車輪の回転速度等を検出するためのセンサ等を備える。
また、例えば、データ取得部102は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、および、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部102は、天候または気象等を検出するための環境センサ、および、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等からなる。
例えば、図9は、自車の外部情報を検出するための各種のセンサの設置例を示している。撮像装置7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。
フロントノーズに備えられる撮像装置7910および車室内のフロントガラスの上部に備えられる撮像装置7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像装置7912,7914は、主として車両7900の側方の画像を取得する。リアバンパまたはバックドアに備えられる撮像装置7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像装置7918は、主として先行車両または、歩行者、障害物、信号機、交通標識または車線等の検出に用いられる。また、今後自動運転においては車両の右左折の際により広域範囲にある右左折先道路の横断歩行者やさらには横断路接近物範囲まで拡張利用をしてもよい。
なお、図9には、それぞれの撮像装置7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像装置7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像装置7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパまたはバックドアに設けられた撮像装置7916の撮像範囲を示す。例えば、撮像装置7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像、さらには車両周辺部を湾曲平面で囲う全周囲立体表示画像などが得られる。
車両7900のフロント、リア、サイド、コーナおよび車室内のフロントガラスの上部に設けられるセンサ7920,7922,7924,7926,7928,7930は、例えば超音波センサまたはレーダであってよい。車両7900のフロントノーズ、リアバンパ、バックドアおよび車室内のフロントガラスの上部に設けられるセンサ7920,7926,7930は、例えばLiDARであってよい。これらのセンサ7920~7930は、主として先行車両、歩行者または障害物等の検出に用いられる。これら検出結果は、さらに前記俯瞰表示や全周囲立体表示の立体物表示改善に適用をしてもよい。
図8に戻って各構成要素の説明を続ける。データ取得部102は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、GNSS(Global Navigation Satellite System)衛星からのGNSS信号を受信するGNSS受信機等を備える。
また、例えば、データ取得部102は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、および、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面またはステアリングホイール等に設けられ、座席に座っている搭乗者の着座状態またはステアリングホイールを握っている運転者の生体情報を検出する。生体信号としては心拍数、脈拍数、血流、呼吸、心身相関、視覚刺激、脳波、発汗状態、頭部姿勢挙動、眼、注視、瞬き、サッカード、マイクロサッカード、固視、ドリフト、凝視、虹彩の瞳孔反応など多様な可観測データが利用可能である。これら、可観測の運転状態を反映した生体活動可観測情報は、観測から推定される可観測評価値として集約し評価値のログと紐付けたられた復帰遅延時間特性から該当運転者の復帰遅延事案の固有特性として後述する安全性判別部155で復帰通知タイミングの算出に用いる。
図10は、データ取得部102に含まれる車内の運転者の情報を得るための各種センサの例を示している。例えば、データ取得部102は、運転者の位置、姿勢を検出するための検出器として、ToFカメラ、ステレオカメラ、シート・ストレイン・ゲージ(Seat Strain Gauge)等を備える。また、データ取得部102は、運転者の生体活動可観測情報を得るための検出器として、顔認識器(Face(Head) Recognition)、ドライバ・アイ・トラッカー(Driver Eye Tracker)、ドライバー・ヘッド・トラッカー(Driver Head Tracker)等を備える。
また、データ取得部102は、運転者の生体活動可観測情報を得るための検出器として、生体信号(Vital Signal)検出器を備えている。また、データ取得部102は、運転者認証(Driver Identification)部を備えている。なお、認証方式としては、パスワードや暗証番号などによる知識認証他、顔、指紋、瞳の虹彩、声紋などによる生体認証も考えらえる。
通信部103は、車内機器104、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、移動装置100の各部から供給されるデータを送信したり、受信したデータを移動装置100の各部に供給したりする。なお、通信部103がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部103が、複数の種類の通信プロトコルをサポートすることも可能である
例えば、通信部103は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)、または、WUSB(Wireless USB)等により、車内機器104と無線通信を行う。また、例えば、通信部103は、図示しない接続端子(および、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、または、MHL(Mobile High-definition Link)等により、車内機器104と有線通信を行う。
さらに、例えば、通信部103は、基地局またはアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワークまたは事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバまたは制御サーバ)との通信を行う。また、例えば、通信部103は、P2P(Peer To Peer)技術を用いて、自車の近傍に存在する端末(例えば、歩行者もしくは店舗の端末、または、MTC(Machine Type Communication)端末)との通信を行う。
さらに、例えば、通信部103は、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、自車と家との間(Vehicle to Home)の通信、および、歩車間(Vehicle to Pedestrian)通信等のV2X通信を行う。また、例えば、通信部103は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制または所要時間等の情報を取得する。なお、通信部を通して先導車両となり得る区間走行中前方走行車両とペアリングを行い、前方車搭載のデータ取得部より取得された情報を事前走行間情報として取得し、自車のデータ取得部102のデータと補完利用をしてもよく、特に先導車による隊列走行などで後続隊列のより安全性を確保する手段となる。
車内機器104は、例えば、搭乗者が有するモバイル機器(タブレット、スマートフォンなど)もしくはウェアラブル機器、自車に搬入され、もしくは取り付けられる情報機器、および、任意の目的地までの経路探索を行うナビゲーション装置等を含む。なお、自動運転の普及でかならずしも乗員は着座固定位置に固定されないことを考慮すれば、将来的にはビデオ再生器やゲーム機器やその他車両設置から着脱利用が可能な機器に拡張利用してもよい。本実施例では、運転者の介在必要地点の情報呈示を該当する運転者に限定した例をして記述をしているが、情報提供はさらに隊列走行等で後続車への情報提供をしてもよいし、更には旅客輸送相乗りバスや長距離物流商用車の運行管理センターに常時情報を上げる事で、適宜遠隔での走行支援と組み合せ利用をしてもよい。
出力制御部105は、自車の搭乗者または車外に対する各種の情報の出力を制御する。例えば、出力制御部105は、視覚情報(例えば、画像データ)および聴覚情報(例えば、音声データ)のうちの少なくとも1つを含む出力信号を生成し、出力部106に供給することにより、出力部106からの視覚情報および聴覚情報の出力を制御する。具体的には、例えば、出力制御部105は、データ取得部102の異なる撮像装置により撮像された画像データを合成して、俯瞰画像またはパノラマ画像等を生成し、生成した画像を含む出力信号を出力部106に供給する。また、例えば、出力制御部105は、衝突、接触、危険地帯への進入等の危険に対する警告音または警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部106に供給する。
出力部106は、自車の搭乗者または車外に対して、視覚情報または聴覚情報を出力することが可能な装置を備える。例えば、出力部106は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部106が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、AR(Augmented Reality)表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
駆動系制御部107は、各種の制御信号を生成し、駆動系システム108に供給することにより、駆動系システム108の制御を行う。また、駆動系制御部107は、必要に応じて、駆動系システム108以外の各部に制御信号を供給し、駆動系システム108の制御状態の通知等を行う。
駆動系システム108は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム108は、内燃機関または駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ABS(Antilock Brake System)、ESC(Electronic Stability Control)、並びに、電動パワーステアリング装置等を備える。
ボディ系制御部109は、各種の制御信号を生成し、ボディ系システム110に供給することにより、ボディ系システム110の制御を行う。また、ボディ系制御部109は、必要に応じて、ボディ系システム110以外の各部に制御信号を供給し、ボディ系システム110の制御状態の通知等を行う。
ボディ系システム110は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム110は、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、ステアリングホイール、空調装置、および、各種ランプ(例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー、フォグランプ等)等を備える。
記憶部111は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、および、光磁気記憶デバイス等を備える。記憶部111は、移動装置100の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部111は、ダイナミックマップ等の3次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、および、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
自動運転制御部112は、自律走行または運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部112は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、または、自車のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部112は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部112は、検出部131、自己位置推定部132、状況分析部133、計画部134、および、動作制御部135を備える。
検出部131は、自動運転の制御に必要な各種の情報の検出を行う。検出部131は、車外情報検出部141、車内情報検出部142、および、車両状態検出部143を備える。
車外情報検出部141は、移動装置100の各部からのデータまたは信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部141は、自車の周囲の物体の検出処理、認識処理、および、追跡処理、並びに、物体までの距離、相対速度の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。
また、例えば、車外情報検出部141は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、および、路面の状態等が含まれる。車外情報検出部141は、検出処理の結果を示すデータを自己位置推定部132、状況分析部133のマップ解析部151、交通ルール認識部152、および、状況認識部153、並びに、動作制御部135の緊急事態回避部171等に供給する。
車外情報検出部141が取得する情報は、走行区間が重点的に自動運転の走行が可能な区間として常時更新されたローカルダイナミックマップ(LDM)がインフラより供給された区間であれば、主にインフラによる情報供給を受ける事が可能となり、または該当区間を先行走行する車両や車両群より区間侵入に先立ち事前に常に情報更新を受けて走行をすることがあってもよい。また、インフラより常時最新のローカルダイナミックマップの更新が行われていない場合など、取り分け隊列走行などでより安全な侵入区間直前での道路情報を得る目的で、区間侵入先導車両から得られる道路環境情報を補完的にさらに利用しても良い。自動運転が可能である区間であるかは多くの場合、これらインフラより提供される事前情報の有無により決まる。インフラより提供されるルート上の自動運転走行可否情報を構成する更新される新鮮なローカルダイナミックマップ(LDM)はいわゆる「情報」としてあたかも見えない軌道を提供していることに等しい。なお、便宜上車外情報検出部141は自車両に搭載した前提で図示をしているが、前走車が「情報」としてとらえた情報を利用する事で、走行時の事前予測性を更に高めても良い。
車内情報検出部142は、移動装置100の各部からのデータまたは信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部142は、運転者の認証処理および認識処理、運転者の状態の検出処理、搭乗者の検出処理、および、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向、眼球詳細挙動等が含まれる。
さらに、自動運転において運転者は運転操舵作業から完全に離脱した利用が将来的に想定され、運転者は一時的な居眠りや他の作業に取り掛かり、運転復帰に必要な意識の覚醒復帰がどこまで進んでいるかシステムが把握する必要が出てくる。つまり、従来考えられていたドライバモニタリングシステムでは眠気などの意識低下を見る検出手段が主であったが、今後は運転者が運転操舵に全く介在していない状態となるため、システムは運転者の運転介在度合いを操舵機器の操舵安定性等から直接的に観測する手段がなくなり、運転者の正確な意識状態が未知の状態から、運転に必要は意識復帰推移を観測し、その正確な運転者の内部覚醒状態を把握した上で操舵の自動運転から手動運転への介入譲渡を進める必要がある。
そこで、車内情報検出部142には主に大きな2段階の役割があり、一つ目の役割は自動運転中の運転者の状態のパッシブ監視であり、二つ目の役割はいざシステムより復帰の要請が出された以降、注意下運転の区間到達までに手動運転が可能なレベルまで、運転者の周辺認知、知覚、判断とさらには操舵機器の作動能力の検出判断である。制御として更に車両全体の故障自己診断を行い、その自動運転の一部機能故障で自動運転の機能低下が発生した場合も同様に運転者による早期手動運転への復帰をうながしても良い。ここでいうパッシブモニタリングとは、運転者に意識上の応答反応を求めない種類の検出手段をさし、物理的な電波や光等を機器から発信して応答信号を検出する物を除外するものではない。つまり、仮眠中など無意識下の運転者の状態モニタリングを指し、運転者の認知応答反応でない分類をパッシブ方式としている。電波や赤外線等を照射した反射や拡散信号を解析して評価するアクティブ応答デバイスを除外するものではない。反して、運転者に応答反応を求める意識的応答を求める物はアクティブとしている。
検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部142は、検出処理の結果を示すデータを状況分析部133の状況認識部153、および、動作制御部135に供給する。なお、システムによる運転者へ運転復帰指示が出た後に運転者が的確な期限時間内に手動運転が達成できない事が判明し、自運転のまま減速制御を行って時間猶予をおこなっても引継ぎが間に合わないと判断された場合は、システムの緊急事態回避部171等に指示を出し、車両を退避の為に減速、退避・停車手順を開始する。つまり、初期状態として同じ間に合わない状況でも、車両を早期に減速させることで引継ぎ限界に到達する到達時間を稼ぎだすことができる。引継ぎ限界に到達する到達時間を稼ぎだすことで、システムによる事象対処に時間的余裕が発生し、安全確保のための対処が可能となる。ただし、後述する通りむやみな減速や徐行は渋滞誘発要因や追突リスクを上げるため適用は制限される。
車両状態検出部143は、移動装置100の各部からのデータまたは信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無および内容、運転操作の状態、パワーシートの位置および傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部143は、検出処理の結果を示すデータを状況分析部133の状況認識部153、および、動作制御部135の緊急事態回避部171等に供給する。
自己位置推定部132は、車外情報検出部141、および、状況分析部133の状況認識部153等の移動装置100の各部からのデータまたは信号に基づいて、自車の位置および姿勢等の推定処理を行う。また、自己位置推定部132は、必要に応じて、自己位置の推定に用いるローカルマップ(以下、自己位置推定用マップと称する)を生成する。
自己位置推定用マップは、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いた高精度なマップとされる。自己位置推定部132は、推定処理の結果を示すデータを状況分析部133のマップ解析部151、交通ルール認識部152、および、状況認識部153等に供給する。また、自己位置推定部132は、自己位置推定用マップを記憶部111に記憶させる。
状況分析部133は、自車および周囲の状況の分析処理を行う。状況分析部133は、マップ解析部151、交通ルール認識部152、状況認識部153、状況予測部154および安全性判別部155を備える。
マップ解析部151は、自己位置推定部132および車外情報検出部141等の移動装置100の各部からのデータまたは信号を必要に応じて用いながら、記憶部111に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部151は、構築したマップを、交通ルール認識部152、状況認識部153、状況予測部154、並びに、計画部134のルート計画部161、行動計画部162、および、動作計画部163等に供給する。
交通ルール認識部152は、自己位置推定部132、車外情報検出部141、および、マップ解析部151等の移動装置100の各部からのデータまたは信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置および状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部152は、認識処理の結果を示すデータを状況予測部154等に供給する。
状況認識部153は、自己位置推定部132、車外情報検出部141、車内情報検出部142、車両状態検出部143、および、マップ解析部151等の移動装置100の各部からのデータまたは信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部153は、自車の状況、自車の周囲の状況、および、自車の運転者の状況等の認識処理を行う。また、状況認識部153は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ(以下、状況認識用マップと称する)を生成する。状況認識用マップは、例えば、占有格子地図(Occupancy Grid Map)とされる。
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き(例えば、速度、加速度、移動方向等)、並びに、自車の運動特性を決定付ける貨物積載量や貨物積載に伴う車体の重心移動、タイヤ圧、ブレーキ制動パッド摩耗状況に伴う制動距離移動、積載物制動に引き起こす貨物移動防止の許容最大減速制動、液体搭載物に伴うカーブ走行時の遠心緩和限界速度など車両特有、更には積載貨物特有条件とさらには路面の摩擦係数や道路カーブや勾配など、全く同じ道路環境であっても車両自体の特性、さらには積載物等によっても制御に求められる復帰開始タイミングは異なるため、それら多様な条件の収集を行い学習して制御を行う最適タイミングに反映する必要がある。車両の種類や積載物によって制御タイミングを決定する上で単純に自車両の異常の有無および内容等を観測モニタリングすれば良い内容ではない。運送輸送業などで、積載物固有の特性に応じて一定の安全性を確保する為に望ましい復帰の猶予時間の加算を決めるパラメータを予め固定値として設定をしてもよく、必ずしも全ての通知タイミング決定条件を自己累積学習より一律に定める方法をとらなくともよい。
認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類および位置、周囲の動物体の種類、位置および動き(例えば、速度、加速度、移動方向等)、周囲の道路の構成および路面の状態、並びに、周囲の天候、気温、湿度、および、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。車両を安全に走行させるという事は、その車両の固有の状態で搭載している積載量や搭載部の車台固定状態、重心の偏重状態、最大減速可能加速値、最大負荷可能遠心力、運転者の状態に応じて復帰応答遅延量などに応じて、対処が求められる制御開始ポイントが大きく異なってくる。
状況認識部153は、認識処理の結果を示すデータ(必要に応じて、状況認識用マップを含む)を自己位置推定部132および状況予測部154等に供給する。また、状況認識部153は、状況認識用マップを記憶部111に記憶させる。
状況予測部154は、マップ解析部151、交通ルール認識部152および状況認識部153等の移動装置100の各部からのデータまたは信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部154は、自車の状況、自車の周囲の状況、および、運転者の状況等の予測処理を行う。
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、および、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、および、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動および体調等が含まれる。
状況予測部154は、予測処理の結果を示すデータを、交通ルール認識部152および状況認識部153からのデータとともに、計画部134のルート計画部161、行動計画部162、および、動作計画部163等に供給する。
安全性判別部155は、運転者の復帰行動パターンや車両特性等に応じた最適復帰タイミングを学習し、その学習情報を状況認識部153等に提供する。これにより、例えば、既定された一定以上の割合で運転者が正常に自動運転から手動運転に復帰するのに要する統計的に求められた最適タイミングを運転者へ提示することが可能となる。
ルート計画部161は、マップ解析部151および状況予測部154等の移動装置100の各部からのデータまたは信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部161は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部161は、渋滞、事故、通行規制、工事等の状況、および、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部161は、計画したルートを示すデータを行動計画部162等に供給する。
行動計画部162は、マップ解析部151および状況予測部154等の移動装置100の各部からのデータまたは信号に基づいて、ルート計画部161により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部162は、発進、停止、進行方向(例えば、前進、後退、左折、右折、方向転換等)、走行車線、走行速度、および、追い越し等の計画を行う。行動計画部162は、計画した自車の行動を示すデータを動作計画部163等に供給する
動作計画部163は、マップ解析部151および状況予測部154等の移動装置100の各部からのデータまたは信号に基づいて、行動計画部162により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部163は、加速、減速、および、走行軌道等の計画を行う。動作計画部163は、計画した自車の動作を示すデータを、動作制御部135の加減速制御部172および方向制御部173等に供給する。
動作制御部135は、自車の動作の制御を行う。動作制御部135は、緊急事態回避部171、加減速制御部172、および、方向制御部173を備える。
緊急事態回避部171は、車外情報検出部141、車内情報検出部142、および、車両状態検出部143の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部171は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部171は、計画した自車の動作を示すデータを加減速制御部172および方向制御部173等に供給する。
加減速制御部172は、動作計画部163または緊急事態回避部171により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部172は、計画された加速、減速、または、急停車を実現するための駆動力発生装置または制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。なお、緊急事態が発生し得るケースは主に2つある。つまり、自動運転中の走行ルートで本来ならインフラより取得したローカルダイナミックマップ等で安全とされていた道路を自動運転中に突発的な理由で予想外の事故が発生し、運転者の緊急復帰が間に合わないケースと、自動運転から手動運転に運転者が的確に復帰することが困難になるケースがある。
方向制御部173は、動作計画部163または緊急事態回避部171により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部173は、動作計画部163または緊急事態回避部171により計画された走行軌道または急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。
[3.自動運転モードから手動運転モードへのモード切り替えシーケンスについて]
次に、自動運転モードから手動運転モードへの引継ぎシーケンスについて説明する。
図11は、自動運転制御部112における自動運転モードから手動運転モードへのモード切り替えシーケンスの一例を概略的に示している。
ステップS1は、運転者が運転操舵から完全離脱の状態にある。この状態で、運転者は、例えば、仮眠、あるいはビデオ鑑賞、ゲームに集中、タブレット、スマートフォン等の視覚ツールを用いた作業などの2次タスクを実行できる。タブレット、スマートフォン等の視覚ツールを用いた作業は、例えば、運転席をずらした状態で、あるいは運転席とは別の席で行うことも考えられる。
これら運転者の状態次第では、ルート上の手動運転復帰が求められる区間に接近した際に、運転者が復帰するまでの時間はその時々の作業内容により大きく変動する事が想定され、事象接近の直前の通知では復帰までに時間が不足したり、事象接近に対して余裕をみたあまりにも早めに通知をした場合、実際に復帰に必要なタイミングまでの時間が長く空き過ぎたりすることが発生する。その結果、的確なタイミングで通知が行われない状況が繰り返し起こると、運転者はシステムの通知タイミングに対するタイミングの信頼性が失われ、通知に対する意識が低下して、結果的に運転者の的確な対処がおろそかになる、その結果、引き継が上手く行われないリスクが高まると同時に、安心した2次タスク実行の阻害要因にもなる。そこで、運転者が通知に対する的確な運転復帰の対処を開始するには、通知タイミングの最適化をシステムが行う必要がある。
ステップS2は、先に図2を参照して説明したような手動運転復帰要求通知のタイミングである。運転者に対して、振動などの動的なパプティックスや視覚的あるいは聴覚的に運転復帰が通知される。自動運転制御部112では、例えば、運転者の定常状態がモニタリングされて、通知を出すタイミングを把握され、適宜なタイミングで通知がなされる。つまり、前段のパッシブモニタリング期間で運転者の2次タスクの実行状態が常時パッシブにモニタリングされ、通知の最適タイミングの最適タイミングをシステムは算出する事ができ、ステップS1の期間のパッシブモニタリングを常時継続的に行って、復帰タイミングと復帰通知は、運転者の固有復帰特性に合わせ行うのが望ましい。
つまり、運転者の復帰行動パターンや車両特性等に応じた最適復帰タイミング学習して、既定された一定以上の割合で運転者が正常に自動運転から手動運転に復帰するのに要する統計的に求めた最適タイミングを運転者へ提示するのが望ましい。この場合、通知に対して運転者が一定時間の間に応答しなかった場合には、アラームの鳴動などによる警告がなされる。
ステップS3では、運転者が、着座復帰したか確認される。ステップS4では、顔やサッケード等の眼球挙動解析により、運転者の内部覚醒度状態が確認される。ステップS5では、運転者の実操舵状況の安定度がモニタリングされる。そして、ステップS6では、自動運転から手動運転への引継ぎが完了した状態となる。
[4.自動運転の動作シーケンス例について]
次に、図12に示すフローチャートを参照して、自動運転の動作シーケンスの一例について説明する。
図12に示すフローチャートは、移動装置の100を実行する自動運転の動作シーケンスを説明するフローチャートである。
まず、ステップS11において、運転者認証が行われる。この運転者認証は、パスワードや暗証番号などによる知識認証、あるいは顔、指紋、瞳の虹彩、声紋などによる生体認証、さらには知識認証と生体認証が併用されて行われる。このように運転者認証が行われることで、複数の運転者が同一の車両を運転する場合であっても、各運転者に対応付けて通知タイミングを決定するための情報の蓄積行うことが可能となる。
次に、ステップS12において、運転者により入力部101が操作されて、目的地が設定される。この場合、インスツルメンツパネルの表示に基づいて運転者の入力操作が行われる。
なお、本実施例としては車両に乗車して旅程設定を想定した場合の事例を説明しているが、車両に乗車する前に事前にスマートフォンや自宅を出る前にパソコンより遠隔事前予約設定などを行ってもよく、さらにはスケジュール表に則って車のシステムが運転者の想定したスケジュールに沿ってプリプラニング設定を行い、道路環境のLDM情報、すなわち車両が走行する道路の走行地図情報を高密度で且つ常時更新するいわゆるローカルダイナミックマップ(LDM)情報などを更新取得して乗車時やその前にでもコンシエルジュ的に実際の走行アドバイス表示などをさらに行ってもよい。
次に、ステップS13において、走行ルート上の走行区間表示が開始される。この走行区間表示は、インスツルメンツパネルに表示される他、例えば、運転者が2次タスクを行うタブレット等にも作業ウインドウと並べて表示される。これにより、作業ウインドウで作業を行っている運転者は、走行ルートの運転者介在必要区間および自動運転可能区間を現在地点からの到達予測時間軸で容易に認識可能となる。
この走行区間表示では、前方予定と各地点への接近情報の提示がなされる。この走行区間表示においては、走行ルートの運転者介在必要区間および自動運転可能区間が、現在地点からの到達予測時間軸で表示される。そして、運転者介在必要区間には、手動運転区間、自動運転から手動運転への引継ぎ区間および自動運転からの注意走行区間が含まれる。この走行区間表示の詳細については、後述する。
次に、ステップS14において、LDM更新情報の取得が開始される。このLDM更新情報の取得に伴って、走行区間表示の内容を最新の状態に変更可能となる。次に、ステップS15において、走行が開始される。次に、ステップS16において、自車の位置情報と取得LDM更新情報に基づいて、走行区間表示の表示が更新されていく。これにより走行区間表示は、走行に伴って、各区間が自車に迫ってくるように、スクロール表示されるものとなる。
走行を伴い相対的に接近する前方の走行環境と該当自車両の引き継ぎに必要タイミング等の情報の提示手段は、スクロール手段に限定する必要ななく、その他方法としては差し迫る時間間隔が直感的、明示的手段で且つ誤認少なく何時運転へ復帰に取り掛かるべきか知る事が出来る手段が好ましい。例えば、砂時計を模した時間提示方法や、クロノグラフ形式の腕時計形態で引継ぎ残存時間を利用者装着機器へ直接提示する手段を介してもよい。
次に、ステップS17において、運転者状態のモニタリングがされる。次に、ステップS18において、事象変化対応処理が行われる。この事象変化対応処理には、走行ルート中に既に存在している自動運転モードと手動運転モードとの切り替え地点あるいは注意走行区間が迫ってきた場合に対応するためのモード切り替え処理、走行ルート中にモード切り替え地点あるいは注意走行区間の運転者介在必要区間が新たに発生した場合に対応するための事象発生処理などが含まれる。以降、ステップS16からステップS18の処理が適宜繰り返される。
「走行区間表示の詳細」
図13は、運転者により目的地が設定されることで決定された走行ルートの一例を示している。この走行ルートには、自動運転可能区間Saと、手動運転区間Sbと、自動運転から手動運転への引継ぎ区間Scと、自動運転からの注意走行区間Sdが存在する。ここで、引継ぎ区間Scは手動運転区間Sbの直前に必ず存在し、運転者は手動運転への復帰体勢にあることが必要となる。また、注意走行区間Sdは、手動運転への復帰体勢にある運転者の注意監視下において自動運転のまま減速して走行が可能な区間である。なお、これら自動運転可能区間Sa、手動運転区間Sb、自動運転から手動運転への引継ぎ区間Sc、自動運転からの注意走行区間Sdは本開示技術の説明の為に便宜上の用いている区分であり、今後の自動運転の多様な運用に合わせて、より細分化をしてもよく、または簡素化した区分でもよい。また、それら区分は道路環境に対し一意に定義するものではなく、レーンに区切った運用の違い、該当の車両特性、道路状況、天候状況、車両の自己診断情報に基づく自律走行性能の一部機能低下等による車両自体の自動運転走行性能などの複合要因で決定する区間やレーンであり、本開示の図13に図示する地図上の固定区間のような一意に定義された区間として限定されるものではない。
図示の例において、自動運転可能区間Saは緑色で示され、手動運転区間Sbは赤色で示され、引継ぎ区間Scおよび注意走行区間Sdは黄色で示されている。なお、便宜上、各色は別々の模様で表している。
センターインフォーメーションディスプレイやタブレット等の表示デバイスにおける走行区間表示にあっては、上述したような走行ルートの各区間が、現在地点からの到達予測時間軸で表示される。図1に示す構成におけるデータ処理部11、あるいは図8に示す構成における自動運転制御部112内のデータ処理部、例えば検出部131や、状況分析部133や計画部134、出力制御部105等のデータ処理部は、走行ルート情報および交通情報に基づいて走行ルートにおける走行区間表示のための情報生成処理を実行する。この情報処理の結果として得られた表示データは、出力制御部105の制御の下で出力部106を構成する表示部に表示される。
図14(a)は、走行ルートの各区間を現在地点からの移動距離軸で一定のスケールで表している。図14(b)は、各地点における平均的道路交通の流れ速度v(t)を表している。図14(c)は、移動距離軸で表されている各区間を、速度v(t)を用いて時間軸に変換したものである。これにより、走行ルートの各区間は、現在地点からの到達予測時間軸で表されるものとなる。つまり、走行ルートの物理的距離を該当区間毎の平均速度で除算した時間軸で表す事が出来る。
この実施の形態においては、走行区間表示される全区間を、図14(d)に示すように3つの区間に分割し、各区間の時間軸を変化させている。すなわち、現在地点から第1の地点(時間t0、例えば10分程度)までの第1の区間は、時間リニア表示直近区間として、第1の時間軸で表示する。例えば、時間t0は、一般的な運転者が2次タスクを終了して運転復帰するまでに必要十分な時間に設定される。走行により接近する直近区間はあたかも一定速度で進む地図上に示すのと同等の視覚的直感効果が有るため、運転者は事象接近に伴う的確な運転復帰の準備を開始でき、ある程度正確に復帰を開始するポイントが感覚的に把握できるメリットがある。つまりこの区間の表示目的は運手者の的確に復帰ポイントの開始判断情報を利用者に提供することにある。
また、第1の地点(時間t0)から第2の地点(時間t1、例えば1時間程度)までの第2の区間は、時間の逆数表示区間として、第1の時間軸からこの第1の時間軸に対して所定の比率で縮小された第2の時間軸まで順次変化した時間軸で表示する。この第2の区間の表示目的は、主に先の第1の区間と同等スケール倍率で表示をすると、狭い表示スペースに長期期間の表示が困難となるため、より長期期間の道路状況を狭い表示で運転者に正確に提供する工夫となる。こうすることで、運転者は走行に伴いある一定の先の区間で何処までの地点は運転介在が求められないで済むかを把握が容易に出来る様になり、2次タスクへの従事を計画的に行えるメリットがある。運転介在のメリハリが付き、また第三者とのやり取りに伴う2次タスクなどでは運転者の2次タスクからの解放プラニング等での重要な情報呈示の役割を果たす。
ここで、図14(d)において、この第2の表示区間の設定方法について記述する。三角形の高さをh0としたとき、その先端からhだけ手前の地点の時間tは、以下の(1)式で求められる。
t=t0*h0/h ・・・(1)
また、第2の地点(時間t1)における第2の時間軸は、第1の時間軸に対して、hs/h0の比率で縮小されたものとなる。例えば、hs=h0/8である場合、縮小率は、1/8ということになる。
以上に示す第2の表示区間の表示は、車速が一定で走行している場合であれば、地図上の走行直線伸張表示区間を進行方向に斜め傾けた地図を見た表示、または道路平面前方を斜めみした状態に相当する。言い換えれば、この表示区間の視覚的効果が表示像高位置で遠近が直感的にわかるため、画面上に正確な位置表示の目盛等を表示しなくとも感覚的距離が把握容易にできる表示とも言える。そして遠方の区間は縮小されるが、走行で直ぐ到達する地点ではないため、大凡の予測は重要となるが、近傍点程厳密な到着時刻情報を運転者が感覚的に把握する必要ではないため、2次タスク実行計画をする上でも好適である。
また、第2の地点(時間t1)から第3の地点(時間t2)までの第3の区間は、時間リニア表示遠方区間として、第2の時間軸(縮小率hs/h0)で表示する。このように3つの区間に分割して表示することで、運転者は、限られた表示スペースで、時間的に直近の区間情報の詳細に知ることができると共に、時間的により遠くまでの区間情報を知ることが可能となる。なお、第2区間の表示形態のままで遠方部を表示すると、人の視覚分解能、更にはシステムの表示分解能限界以下となり、2次タスクの計画判断に必要な情報が判別できなくなり、表示機能の意味が失われる。そこで、直感的に時間の区間感覚が十分把握でき、必要な介在区間、不必要区間区分が適切に表示される程度の段階で表示スケールの縮小を終え、それ以降の区間はまた一定スケールに戻した表示を行うのが最も効果的は表示となる。
なお、車両制御システム100は、時間t0、t1、t3のデフォルト値を備えている。長距離運転と近距離運転とで時間t0、t1、t3の値を別にすることも考えられるので、デフォルト値は1つに限定されるものではなく、複数種類を備えていて、運転者(ユーザ)あるいはシステムが走行ルートに応じて選択的に用いるようにされてもよい。また、時間t0、t1、t3の値を、運転者(ユーザ)が任意に設定できるようにすることも考えられる。
図15(a),(b)は、最終的に表示される走行区間表示の一例を示している。車両の走行予定時間帯に応じて一方向に延びる直線型の走行区間表示データである。なお、下部に示す矢印の各々は、図15(a),(b)に示す走行区間表示データにおける同一の車両走行時間(単位時間)に相当する長さを示している。第1の区間には、数の少ない長い矢印が対応付けられ、第3区間には多数の短い矢印が対応づけられている。これは、第1の区間は短時間で走行可能な短い距離であり、第3の区間は長時間走行可能な長い距離の区間であることを意味する。第2の区間は、車両に近づくほど矢印が長くなっており、第2区間の走行表示データは、車両に近づくほど走行時間の短い距離に変化するように表示されることを意味する。
なお、図15(a)の場合には、第1の区間、第2の区間および第3の区間の全ての区間が第1の表示幅のままで表示されている。
一方、図15(b)の場合には、車両の走行予定時間帯に応じた異なる時間軸を持つ複数の表示データを連結した1つの走行区間表示データとしている。
すなわち、車両の走行予定時間帯が早い現在地点から第1の地点(時間t0)までの第1の区間は、第1の表示幅で表示され、第1の地点(時間t0)から第2の地点(時間t1)までの第2の区間は、第1の表示幅からこの第1の表示幅に対して狭い第2の表示幅まで順次変化した表示幅で表示され、車両の走行予定時間帯が遅い第2の地点(時間T1)から第3の地点(時間T2)までの第3の区間は、第2の表示幅で表示される。これにより、運転者は、第1の区間に対する第2の区間および第3の区間の時間軸の縮小の程度を視覚的に認識することが可能となる。つまり、図14での表示形態は進行方向の縮小率のみを配慮した表示であるが、さらに表示情報の進行方向に対する道路の表示幅を擬似的に遠近に合わせて表示幅を変える事で、道路や地図の進行に沿って無限方向に向かって見るのと同じ遠近効果が得られ、運転介在必要区間の分布が画面を一瞬みるだけより直感的に把握が容易となる。特に、第2の区間のみを反時計回りに90度回転して見ると、道路前方の表示幅が遠方ほど狭くなる。これは、運転者が車両前方の実際の道路を見た場合と同様の視覚的効果を持つ表示形式であり、実際の道路を見た場合と同じ距離感覚で表示データを見ることができる。従って、正確な位置メモリを目視判断しなくても、各地点までの到達実感が直感的に把握でき、時間配分が可能となる表示形態といえる。
なお、例えば第3の区間のように縮小率hs/h0が小さな部分では、短い時間長の区間をそのままの時間長で表示すると、その区間が非常に細く表示され、運転者の認識が困難となることが予想される。そのため、運転者介在区間(手動運転区間、引き継ぎ区間、注意走行区間)が実際には一定時間長以下である場合であっても、一定時間長で表示するようにされる。この場合、例えば、引き継ぎ区間と手動運転区間が連続している場合、引き継ぎ区間の表示は省略されることもある。図15(a),(b)において、第3の区間の最初の手動運転区間Sbの表示は、そのような状態を示している。これにより、時間軸が大きく縮小されている第3の区間において、短い時間長の運転者介在必要区間を運転者が認識可能に表示することが可能となる。
また、第3の区間のように縮小率hs/h0が小さな部分では、手動運転区間Sbが間欠的に短い周期で連続する場合、全体が繋がった手動運転区間Sbとして表示される。図15(a),(b)において、第3の区間の2番目の手動運転区間Sbの表示は、そのように繋がれて表示された状態を示している。このように表示された手動運転区間Sbは、実際には、図15(c)に示すように、手動運転区間Sbの他に、短い期間の引継ぎ区間Sdおよび自動運転可能区間Saが含まれている。なお、後述するように、タブレット等に走行区間表示がされている状態で当該地点が例えばダブルタッチされることで、詳細表示が可能とされる。
上述の走行ルートにおける走行区間表示は、自車の位置情報と取得LDM更新情報に基づいて、更新されていく。これにより走行区間表示は、時間経過に伴って、各区間が自車に迫ってくるように、スクロール表示されるものとなる。図16(a)~(d)は、時間経過に伴う走行区間表示の変化例を示している。この例は、第2の区間が先細りに表示されている例を示しているが、全ての区間が同じ幅で表示される場合も同様である。
この場合、第1の区間では、各区間の移動が早い。また、第2の区間では、第3の区間側から第1の区間側にいくほど、時間軸の縮小が小さくされているので、各区間の移動が早くなっていく。また、第3の区間では、時間軸の縮小が大きくなっているので、各区間の移動は遅い。
図17(a),(b)は、タブレット182の画面上に表示される走行ルートにおける走行区間表示181の一例を示している。図17(a)は、タブレット182を縦長で使用する場合の例である。この場合、走行区間表示181は、左辺から上辺に沿って折れ曲がった状態で表示され、タブレット182で行われる2次タスクの実行画面である作業ウインドウと並列に表示される。図17(b)は、タブレット182を横長で使用する場合の例である。この場合も、走行区間表示181は、左辺から上辺に沿って折れ曲がった状態で表示され、タブレット182で行われる2次タスクの実行画面である作業ウインドウと並列に表示される。なお、図示の例では、タブレット182の画面上に走行区間表示181が折り曲げた状態で配置されているが、配置スペースが十分にとれる場合には直線的に配置することも考えられる。
図18は、運転者が実際にタブレット182を用いて2次タスクを実行している状態の一例を示している。この例は、タブレット182は横長で使用されている。タブレット182の画面には、左辺から上辺に沿って折れ曲がった状態で走行区間表示181が表示されている。なお、この走行区間表示181を画面上に出すか否かを運転者(ユーザ)の操作で選択的に行うようにされてもよい。その場合、例えば、走行区間表示181が画面上に出ていない場合に、運転者介在必要区間が一定時間内に入ってきて、運転者に通知する場合には、自動的に、走行区間表示181が画面上に出てくるようにされてもよい。
タブレット182の画面上に走行区間表示181が表示されている状態で、その表示区間中に新たに運転者介在必要区間が発生した場合、その新たに発生した運転者介在必要区間の表示が新たに発生する。この場合、この新たに発生した運転者介在必要区間は、他とは識別可能に、例えば一定時間の点滅表示が行われる。この点滅表示は、注意アラーム音を伴ってなされてもよい。ここで、新たに運転者介在必要区間が発生した場合には、注意走行区間や手動運転区間が新たに発生した場合の他、注意走行区間から手動運転区間に変更になった場合も含まれる。
図19は、第2区間に新たに注意走行区間Sdが発生し、点滅表示で運転者に警告している状態を示している。なお、この場合、運転者がこの点滅表示されている注意走行区間Sdの表示箇所をタッチすることで、その点滅、つまり警告状態を停止することが可能とされてもよい。あるいは、運転者がこの点滅表示されている注意走行区間Sdの表示箇所をタッチすることで、小ウインドウがポップアップ表示され、承諾の画面タッチで、その点滅、つまり警告状態を停止することが可能とされてもよい。
また、タブレット182の画面上に走行区間表示181が表示されている状態で、運転者(ユーザ)が任意の地点をダブルタッチして指定した場合、例えば、図20に示すように、小ウインドウがポップアップ表示され、その地点に関連した表示がなされる。
さらに、図21に示すように、先に図5や図6を参照して説明した腕時計型の情報端末50に図14~図20を参照して説明したと同様の区間単位の色分け表示を行う構成としてもよい。
図21に示す例は、運転者により目的地が設定されることで決定された走行ルートに従った道路の自動運転区間、手動運転区間等の各区間の情報を表示した例である。表示部の周囲の0~9の数値は、現在時間からの経過時間0~9分を示している。表示領域全体で、現在時間(0)から10分後までの自動車の走行予定の区間情報を示している。
走行ルートには、自動運転区間Saと、手動運転区間Sbが設けられ、さらに、自動運転から手動運転への引継ぎ区間Scや、自動運転区間Sa内に設定される注意走行区間Sd等が存在する。車両の走行予定時間帯に応じて円周状に延びる円形型の走行区間表示データが表示される。
図21に示す表示例は、情報端末50の表示部に、以下の3つの異なる表示領域が設定されている。
(Sa)自動運転区間Sa(=緑色表示)
(Sc)引き継ぎ運転区間Sc(=黄色表示)
(Sb)手動運転区間Sb(=赤色表示)
図21に示す表示例は、自動車のこれから10分間の走行予定を示している。すなわち、
(Sa)自動運転区間Sa(=緑色表示)を、現時点から0~6分10秒後まで走行する予定であり、その後、
(Sc)引き継ぎ運転区間Sc(=黄色表示)を、現時点から6分10秒後~8分40秒後まで走行する予定であり、さらに、その後、
(Sb)手動運転区間Sb(=赤色表示)を、現時点から8分40秒後に走行する予定であることを示している。
なお、情報端末50は、自動車10内のデータ処理部11が自動車10の走行速度、あるいは自動車10の走行ルートにおける車両の平均速度情報に基づいて算出した各区間の走行予定時間情報を、通信部を介して受信して、表示を行う。
運転者20は、情報端末50の表示情報を見ることで、手動運転区間に侵入するまでの残り時間を確認することが可能となり、その時間に間に合うように荷物室21での作業を終えて、運転席に戻ることが可能となる。
なお、図21に示す例では、運転者20は、情報端末50の表示に基づいて、今から約8分40秒後に手動運転区間に侵入することを把握することが可能であり、それまでに運転席に戻るように作業を進行させることができる。
また、図21に示す情報端末50には、さらに矢印が表示される。この矢印は、手動運転復帰要求の通知、例えば、図5に示す表示への切り替え、あるいは、アラーム出力や、バイブレーション起動を行い、運転者20に警告を通知する時間に設定される。この通知タイミングは、例えば、移動装置(自動車10)側において、運転者の覚醒度、または位置の少なくともいずれかの情報に基づいて決定する。決定した通知タイミング情報は情報端末50に送信される。矢印による通知の時刻表示は一例に過ぎず、色区分やメシュ表示、点滅フラッシュ等で視覚注意誘引機能を持たせるなど、時間間隔を視覚的提示出来れば手段を矢印に限定する必要はない。なお、移動装置において実行する最適な通知タイミングの算出処理については後述する。
情報端末50は、移動装置から受信した通知タイミングにおいて手動運転復帰要求通知を実行する。すなわち、情報端末50は、移動装置が決定した通知タイミングにおいて、先に図5を参照して説明した表示処理、あるいはアラーム出力、またはバイブレーション起動の少なくともいずれかの処理を実行する。なお、通知設定はユーザーによって変更や停止が可能である。
なお、本実施例では、情報端末50の表示部を円形状の表示部として示しているが、これは一例であり、表示部の形状は円形に限らず、楕円型、矩形型等、様々な設定が可能である。
図22は、時間経過に伴う情報端末の表示データの変化例を示す図である。図22には時間t1における情報端末50の表示情報と、その後の時間t2における情報端末50の表示情報の例を示している。
時間t2は、時間t1の約4分後の表示データの例を示している。
時間t2の表示データでは、手動運転区間Sb(=赤色表示)が現時点から約3分50秒後に走行する予定であることを示している。
運転者20は、時間t2の時点で、情報端末50の表示に基づいて、手動運転区間Sb(=赤色表示)が近づいていることを把握し、急いで作業を終えて、運転席に戻る準備を開始することができる。
なお、情報端末50にはアラーム出力機能や、バイブレーション機能を有しており、例えば、手動運転区間Sb(=赤色表示)までの残り時間が、予め規定した時間(例えば1分)になると、アラーム出力や、バイブレーション起動を行い、運転者20に警告を通知する。なおアラームやバイブレーションの起動時間は、ユーザーの設定によって変更や停止が可能である。
なお、図21、図22を参照して説明した情報端末50は、表示データは時間経過に伴い半時計回りに回転する構成であるが、表示データの回転方向は、例えば図23に示すように時計回りの設定としてもよい。
[5.ユーザー(運転者)に対する提供情報や通知処理について]
次に、ユーザー(運転者)に対する提供情報や通知処理について詳細について説明する。
以下、後段において、下記項目の各々について説明する。
5-1.走行区間表示データの詳細構成と更新処理について
5-2.走行区間表示データに対する付加情報の表示例について
5-3.アニメーションによる通知、警告処理例について
5-4.その他の表示処理例について
まず、上記項目の説明の前に、ユーザー(運転者)に対する提供情報や通知処理の重要性について説明する。
上述したように、自動運転が利用可能な自動運転可能区間では、運転者が運転操舵を行わず、運転操舵以外の2次タスクに従事することが可能となる。
しかし、自動運転可能区間が終了し、手動運転区間へ侵入する場合、運転者は、車両が手動運転区間へ侵入する前に、2次タスクから手動運転操舵に正常に復帰する必要がある。
運転者が、2次タスクから手動運転操舵に正常に復帰することが可能な状態であるかの判定は、例えば、車両の自動運転制御システムが行う。しかし、自動運転制御システムが運転者の状態を高精度に把握することが困難である場合も少なくない。
運転者の正しい覚醒状態を把握できない状態で、運転者に手動運転へ復帰させることは危険を伴う。
この様な状況下では車両の自動運転制御システムは、車両をMRM(Minimum Risk Maneuver)と呼ばれる事故回避を目的とした処理、具体的には、退避のための減速や停止等の退避行動を開始する。
しかし、自動運転可能区間の終了のたびに、多くの車両がこのMRMの制御による減速や停止処理などを行うと、自動運転可能区間終了地点に多くの減速、停止車両が発生する。結果として、道路の渋滞が発生する。また、一車線道路などの通過車両の待機が狭い通りでは道路を完全に封鎖してしまう可能性もあり、社会的な大きな負のインパクトが発生する。
このようなMRMの問題点に対する対策として、自動運転可能区間の終了地点手前に減速車両や停止車両を収容できる退避レーン等を設けておくという対策がある。しかし、このようなインフラ整備には用地確保など基盤整備に多額の費用を要し、また、すべての自動運転可能区間の終了地点近辺に退避所が設置できる用地があるとは限らない。
なお、自動運転機能は、まだ開発段階であり、完全な自動運転が利用可能となるまでには、まだ時間を要する。それまでの期間は、運転者の監視下での自動運転と手動運転の頻繁な切り替えが行われることが予測される。このような段階では運転者の運転操舵からの離脱レベルは限定的である考えられる。
しかし、このような状況、すなわち、頻繁な自動運転と手動運転の切り替えが行われることが想定される状況においても、手動運転区間への侵入前に、運転者が正常な手動運転が可能であることの確認が必要となる。引継ぎが困難と想定される場合には、早期断念、すなわち運転者に手動運転への復帰を断念する意思表示を行わせ、この意思表示に基づいて、車両の自動運転制御システムが、他の後続車両への妨害とならない退避行動をとることが求められる。
将来的には、自動運転機能が進化し、自動運転可能区間も次第に長くなることが予測される。すなわち、自動運転の利用者である運転者は、自動運転機能を長期に安定して利用することが可能となる。しかし、このような場合、運転者は自動運転機能に対する慣れが発生し、自動から手動運転へ復帰する必要性をあまり感じなくなると予測される。
つまり自動運転制御システムの利用に慣れてしまい、さらにシステムからの手動運転復帰要請が次第に減ると、自動運転利用時の運転者の覚醒度は低下し、手動運転への復帰に必要な注意レベルが徐々に低下していくことが想定される。また、手動運転を行うことなく自動運転のみの利用が数カ月や一年と長期に及んだ場合、手動運転への復帰を想定することさえ無くなる可能性がある。
前述したように、運転者に手動運転復帰を要請する場合は通知や警告が行われるが、手動運転や、運転者の注意下での走行への移行を要しない場合に、不必要な通知をシステムが持続的に繰り返し行うと、システムの実行する通知が実際の行動判断に必要不可欠なものでないことが運転者に学習されてしまう可能性がある。このような学習がなされると、引継ぎ警報など、より高い刺激を受けるまで「通知」に対して反応をしなくなり、引継ぎ事象認知とその対処が遅れる可能性が発生する。
従って、運転者にとって煩わしくなく、かつ注意を引き付けるという2つの側面のバランスを持つ通知処理を行うことが好ましい。
自動運転実行中に運転者が2次タスクを開始した場合、その後、手動運転への引継ぎ地点に関する情報が一切ない場合には、運転者は、いつ手動運転復帰要請が出るか分からない状況となり、緊張、あるいはおどおどした心理状態で2次タスクを行う必要がある。しかし、その緊張状態やおどおどした心理も一時的であり、リスク感覚が薄れるに従い、運転者は、次第に2次タスクに没頭してしまう可能性がある。
このような、無意味な緊張状態や、手動運転の引き継ぎ地点への近接領域での2次タスクへの没頭は好ましい状態とは言えない。
このような事態を防止するため、自動運転制御システムは、手動運転引継ぎ関連情報を運転者に事前に提示し、手動運転引継ぎ地点への接近時までに運転者に手動運転開始の準備を行わせて、速やかな復帰手順を開始させることが人間工学的に好ましい。つまり、運転者は、少し未来の知り得る情報を取得しながら、2次タスクを行うことが好ましい。運転者は、2次タスク実行中も未来に対する予備情報を取得することで、手動運転復帰通知後にスムーズに手動運転へ復帰することが可能となる。
人に限らず、進化の過程で生存に必要な行動判断を発達させた生命体の多くは、一つの最終的刺激で行動を開始できるようにするため、事前に思考的なスタンバイ状態をとる。最後に行動判断の神経発火を行い、行動を開始する。
これら思考的なスタンバイ処理の多くは、意識しないまま実行されている。多くの生物は、周囲の音、におい、風向き、空の雲行き、寒さ、周囲の動物等の振る舞いなど多様な情報から警戒するべき対象を特定する感覚を研ぎ澄ませて、行動を行う。これと同じように、最終的な行動の判断を早めるためには、判断するための補完的な情報をより多元的に取得することが重要であり、特に視聴覚的な情報が有効となる。人は異なる情報毎に異なる記憶を利用して様々なリスクを判断し、最終的な行動判断を行う。さらに、人はリスク判定に利用する情報について確からしさを確認することが多く、この処理により見落としや対応遅れを下げる効果もある。
人が未来予測を用いて行動判断を行う例として、例えば人が予言や占いに頼って行動判断を行う例がある。行動の判断はリスクバランスをとることが重要であり、判断に影響の高い要素の重み付けの心構えをして判断につなげることで、その時々にあった状況に対して速やかな正しい行動判断が可能となる。
自動運転の導入に伴い、自動運転中に利用者が完全に2次タスクに集中して一切の未来予測的情報から遮断されてしまうと、運転者は手動運転に復帰する際、正しい行動判断基準をとりにくくなる。従って、いざ手動運転復帰の通知を受けても、正しい状況判断ができず、パニック障害をさえ起こしかねない。
SAE(Society of Automotive Engineers)が定義する自動運転のレベル3では、運転者は常に手動運転復帰可能状態で待機することが求められている。しかし、実際に他の2次タスク作業に集中することなく、他方で運転もせずに、手動運転復帰への待機のためにのみハンドルに手をかざす緊張状態を長時間維持するのは拷問ともいえる。
そこで、運転者に事前に継続的に情報を提供し、復帰必要タイミングを運転者自身が確認できるシステムを提供することが好ましい。例えば、自動運転可能区間から手動運転区間への切り替え地点などを予測可能な情報を適宜、提供し、その情報を受領しながら余裕をもって2次タスクに従事することが望ましい形態といえる。
ただし、運転者の手動運転への復帰帰行動判断を手助けする情報として、単純に自動運転利用可能区間の終了地点や、運転者の注意下で自動運転利用ができる区間の終了地点までの猶予時間を画一的に表示しても、必ずしも運転者に十分な心理的準備を生じさせる対策として有効とは言えない。
それは、人の行動判断の心理が多様なリスクバランスの結果であるためである。人は、多くの複合的要因各々の状況や、それらのリスクバランス刺激の積み重ね等の情報を用いて、最適な行動についての判断を行っている。この判断のために、詳細確認や初期情報に基づく再確認を行うこともある。リスクが近づくと、リスク回避のための判断をトリガとする多様なシナプス群がさらに敏感な待機状態に設定される。
図24は、複合・階層的な情報提供が復帰意識レベルの向上をもたらす神経伝達の概念を説明する図である。
言い換えると、運転者は、運転者個人の固有のリスク情報と、選択行動に伴う未来の予測結果とのバランスに基づいて、最適な行動についての判断を行っている。
しかし、日常の様々な行動判断においては、このような多様な情報に基づく行動判断を意識的に行うことがないため、多様な情報が行動判断に寄与しているとの感覚はない。
自動運転から手動運転に引き継ぐ際、運転者が良好な引継ぎを行うためには、実際の運転行動に着手を開始する前、その行動に関連する予測的情報がスムーズな引継ぎに重要な役割を果たす。
例えば高速道路では、インターチェンジ(IC)でタイミングよく高速道路から降りなければ、次のICまで高速道路から出ることではきない。タイミングよく出口で降りられないと、不要な高速道路走行を行うことになり、遠回りをするリスクが発生する。
このようなリスクを低下させるためには、出口直前ではなく、出口のしばらく手前から出口に出る最適な車線へ車両を移動し、出口手前の減速開始ポイントを、出口標識等で確認しながら出口にでる準備を整えることが好ましい。
しかし、このような最適行動を行うために必要な事前情報が不足すると、実際には出口に出る行動判断が間に合わず、出口を出られずにそのまま高速道の走行を継続せざる得ないことになる。
なお、過去に判断を誤り、タイミングよく出口から出られなかった経験がある経験者は、次回の高速道路利用時には、より早期に的確な判断を行うため、事前の出口標識を確認するなど、最適判断に必要となる情報の積み上げを行う。
運転者が自動運転中の2次タスク実行中に、運転者が自ら、2次タスクを終了して手動運転に復帰しようとする判断を行わせるための情報として、事象発生タイミング、選択情報毎のリスク情報、その他行動に影響を及ぼす多々の情報等がある。
これらの各情報は、階層的に個別の判断を促す加算的な神経刺激となり、その多様な神経刺激の総和として判断を司るニューロンの発火を起こす。そして最適な行動判断が実行される。
人間工学的に見ると、一つの行動判断は多くの無意識下のリスクバランスの上で行われる。予見的な事前リスク情報が増えれば、それだけ多くの情報に基づく適切な行動判断が可能となる。また、リスクの重みづけも行動判断の重要な影響因子となる。
人間の行動判断は、単純な時間軸に従った判断のみではなく、行動を起こして対処した場合や、行動を起こさず対処しなかった場合等、複数の行動選択時のリスクについての判断も無意識のうちに行われる。
従って、運転者に対して、様々なリスクを提示するインタフェース、すなわちHMI(Human Machine Interface)を利用して情報を提供することが、運転者に適切な行動判断を行わせるために重要となる。
しかし、これらの予測的判断情報は画一的な情報とせず、運転者個々に対応した情報とすることが理想的である。このためには、運転者の個人認証を行い、乗車車両の安全運航に必要な各個人の特性に合わせて、走行する道路区間毎に安全な手動運転復帰に戻るまでに要する時間に応じた復帰通知や警告ポイント、回避選択情報など各道路区間の予測走行速度に基づいて到達時間換算して、各運転者に提示する構成とすることが好ましい。
このような情報提示を行うインタフェースとしてのHMIを利用することで、運転者に、自動運転中に実施可能な2次タスクを適切に判断することが可能となり、また、自動走行中の各ポイントにおけるリスク判定に必要となる情報を運転者に提供することが可能となる。
運転者には、手動運転区間へ接近するに従い提供される情報が、行動判断に必要な警戒心理の準備情報として作用し、メリハリのある適切な引継ぎ対処を、運転者に行わせることが期待される。
運転者に対する提供情報として重要となる情報の一つは、手動運転引継ぎ地点毎に求められる対処のリスク別選択肢情報である。運転者によって実行される対処次第で、システムは車両の緊急停車や、緊急退避動作を行わざる得ない場合がある。この場合、後続交通への通行妨害が発生する。
また、運転者によって実行される対処次第で、システムは、予定ルートから逸脱した低速ルートへのルート変更や、休憩所への退避停車、罰則の課金など、状況に応じた多様なレベルの異なる状況が発生する。
運転者は、運転者に提供される情報に基づいて様々なリスクを理解すれば、引継ぎの失敗をしないための正しい準備行動をとることができる。
なお、準備行動は必ずしも肉体的な行動に限らず引継ぎに必要な意識の準備でもある。自動運転利用区間から手動運転区間への切り替え地点は、例えば、道路の状況や自車両の走行ダイナミックス特性等に応じて変更される場合がある。併せて、運転者に対する手動運転復帰要請通知のタイミングや、復帰時のリスクも変化する。従って、運転者は、それぞれの場合に応じた異なる判断基準に合わせて対処することが求められる。
行動判断の意識準備に必要な情報として予測情報を取得する情報が重要である。ただし、例えばシステムが提供する道路情報等が信ぴょう性のない情報である場合、その予測情報は意味をなさなくなる。
そこで、LDMや先導車両群から、区間毎に取得する進路先の道路や交通情報に基づくダイナミックな情報を適宜運転者に適した形で効率的に提供する必要がある。
人は多くの感化器官により周囲の情報を得ている。しかし、それら全ての感覚器官から同時並行的に入力される全ての情報を重み付もせずに脳に送り込み処理しようとすればたちまち情報過多となり、神経による情報伝達もままならずにパニックを起こす。
これを防ぐため、つまり情報過多で行動判断の遅延を防ぐ本能的機能として自己防衛的に情報の選択フィルタリングを行う機能を発達させている。
従って、例えば、車両利用時にシステムからの提供情報の多くが信ぴょう性のない情報であると、これらの情報が行動リスクの判断材料として重要な情報であっても、それら提供情報は判断の混乱をもたらす不要な情報として分類されることになる。すなわち、フィルタリングによる棄却対象の情報となり、情報提供が意味をなさなくなる。
そのため、運転者に提供する引継ぎ関連情報には、リスク行動判断に紐づけされた簡便で思考的な解釈を要しないシンボルベースの情報を付加するのが望ましい。
また、引継ぎ行動の詳細は必要な判断が接近するに従い、より重要となる。従って、例えば、走行開始前の走行旅程を決めるプラニング段階で、全ての情報を提示しても、運転者は思考が追い付かず混乱してしまう。
従って、情報提供は、走行中から数分~数十分程度の情報を、随時、提供する形態とするのが好ましい。その先の情報については、簡略化して提示する。例えば、圧縮スケールで各区間情報や引継ぎ重要度のサマリー情報のみを提示する。なお、必要に応じて運転者の入力に応じて一時的な拡大表示や詳細表示を行う構成としてもよい。
また、表示情報として、自動運転可能区間や手動運転区間、さらに各区間の切り替え地点等を表示する場合、単に道路区間毎の道路平均交通速度で除算した到達時刻スケール各地点の表示をするのと合わせ、地図上のマイルストーンとなる指標情報も合わせて提示することが好ましい。このような表示処理により、運転者は記憶情報との相関を取り易くなり、運転者の意識の引継ぎ必要性の意識を高めるのに有効となる。特に、使い慣れた道路であれば、各地点で求められる引継ぎの重要度が道路の渋滞状況で可変しても、記憶情報を補完しあうことで、引継ぎ必要性時刻・ポイント・地点の意識レベルをより高く維持することになる。
以上、述べたように、自動運転から手動運転に引継ぎが必要となる地点、すなわち自動運転利用可能区間の終了前に、運転者の引継ぎ準備意識を手動運転に必要なレベルにあらかじめ高めることが、引継ぎを高い確率で成功させるために必要となる。
引継ぎを高い確率で成功させるためには、引継ぎ開始点に到達する前までに、効果的に運転者に手動運転開始準備を整わせておくことが必要である。このため、例えばHMI技術として行動リスク判断が可能な例えばシンボリック情報を到達時間軸に合わせ提供するといった手法が有効である。
まとめると、運転者が自動運転モードで車両を利用し、その間に可能な2次タスクを実行する場合、運転者の復帰に対する意識を適切に生成し維持するための処理として以下の情報に基づく処理を行うことが有効となる。
(情報1)運転者の復帰に要する固有状態(復帰時間、復帰通知の確認行動、実際の復帰挙動・行動履歴など)を自己学習して運転者固有の復帰遅延時間情報、
(情報2)道路の区間毎の固有特性(引き継ぎ成功率期待値(RRR:Requested Recovery Rate)、カーブ等の危険度、回避選択肢と回避不可時ペナルティなど)と、車両固有特性に影響される復帰の適正地点情報、
(情報3)復帰ができない場合の選択肢情報、
これらの情報に基づいて、運転者に対する手動復帰通知タイミングを決定する。
さらに、復帰通知に対して運転者が適切な手動運転への復帰行動を開始しない場合や、開始やその手順が遅れた場合、また、復帰品質の低下により、システムが予防的な減速や事故回避等の処理を行った場合には、運転者に対するペナルティを生成して記録する。
また、自動運転利用区間の終了地点前に運転者がとり得る復帰判断行動に対する選択肢情報となるリスク関連付けが可能な複数階層の情報を提示する。この情報提示処理によって、運転者に復帰行動別リスク判断に必要な知識情報を与えることができる。すなわち、運転者に突然の引継ぎ通知を与えるのではなく、異なるリスクレベルの情報を常時提供する。
また、運転者の復帰意識を早期に促すために上記の情報と合わせ、2次タスクを継続した際の作業リスクについての情報も提示する。2次タスクを継続すると、引継ぎ通知後の手動運転復帰品質に影響がある。このため、2次タスクを継続した際の作業リスクを意図的に付与する。例えば、運転者が、タブレット端末などの情報入力機器で行う2次タスクを強引に継続した場合、実行中の作業データに対する視覚的妨害や扱う情報の紛失を発生させる。このようなペナルティと結び付けた情報提供を行うことで、運転者による情報喪失を避けるための早期リスク判断が働き、復帰優先への意識改善習慣を次第に植え付けることが可能となる。
このように手動運転への復帰遅延等、復帰品質を低下させる動作と、その影響で被るペナルティを直感的に結び付ける情報提示を行うことで、自動運転の利用者(運転者)は、直接的な手動運転復帰要請通知を受けない段階から、手動運転開始に関する情報を取得する意識を持つことができる。その結果、運転者は、手動運転引継ぎ要請の通知を受けた後に初めて、引継ぎ準備を始めるのではなく、事前予測された選択肢情報を元に通知に対する行動判断の優先情報を予め取得して、行動判断を行い、より早い段階で手動運転への引き継ぎ準備を開始できる。
また、人が経験やその時点までの事前情報からリスクとなり得る情報に対し、注意が必要な事前情報の重度に応じてリスクの再確認をする。仮に事前に何も情報を捉えていなかった中で急に何かが現れると脳がとっさの判断が出来ずに、単純な反射的回避行動ととることになる。そこで、習慣としてこのような突然の情報入力とならないために、通常の生活行動として接近し得る情報を適宜定期的に再確認し、行動予測をしている。つまり、人が接近リスクに対する予測に必要な情報取得を行うかは、そのリスクからくる事前情報の必要性に応じて情報の再確認をする頻度や確認方法が依存する。走行する道路環境から得られるLDM等の情報そのものにリスク判断を左右する情報がある一方、さらに手動運転への引継ぎ対処が遅れた場合に2次タスク作業内容に対する疑似的なリスク付与としてのペナルティを与えることで、事前確認の必要性を仮想的に与えることが可能となる。このように、運転者に多重的なリスク情報を能動的に提供することで、運転者は、手動運転への復帰が必要な状況の接近に伴い、リスクの再確認を行うようになり、復帰遅れなどによる復帰品質低下が防止され、より安全な復帰が実現される。
道路の状況や運転者の状態や復帰能力、車両のダイナミック挙動などを複合的に加味し、さらに運転者固有の復帰特性に応じた適用型のリスク行動判断情報を提供することで、運転者は適切なリスク判断を行い、適切な行動判断を行うことが可能となる。
ミクロ的に見れば、予測情報として提供する事前情報や、ペナルティ情報は、運転者の脳内で行われる情報判断に際して、手動運転復帰行動の開始の閾値を下げる効果をもたらし、さらに必要な対処の準備を早期に整えさせる効果をもたらす。
例えば手動運転開始までの残り時間等の予測が容易な事前情報を提供することで、運転者は、2次タスクを実行中も、手動運転復帰に対する意識レベルを高いまま維持することが可能となる。また、ペナルティ機能と組み合わせ利用することで利用者が注意をもって提供情報を確認する習慣も育つ。結果として、システム通知を受けなくとも自主的に状況把握を行うようになることが期待される。すなわち、運転者の注意思考ループが継続的に活性化され、見落としや引継ぎの対処遅れの予防が期待される。
なお、本開示のHMI技術は、運転者に対して復帰に必要な引継ぎ地点に関連した選択肢の階層的な情報を提供する。なお、手動復帰通知後、運転者が適切に手動運転に復帰しない場合は、復帰品質の改善を促すペナルティが付与される。
なお、このペナルティを有効に機能させるためには、通知に対する復帰品質をシステムが正しくとらえて、その復帰品質を定量的に評価することが必要である。
この評価処理としては、例えば、運転者が運転者席に着座して運転可能な姿勢を有する場合は、運転者の覚醒状態から実際の手動運転を正常に操舵するまでの視線等の状態認識を行う。
また、運転者の着座姿勢が、正常手動運転が可能な姿勢でない場合は、2次元カメラや3次元姿勢検出が可能な機器で正常な姿勢復帰や姿勢のトラッキングを検出して評価する。
さらに、運転者が、着座から外れている場合であれば、着座から外れた状態からの復帰行動を同じく2次元カメラや3次元姿勢検出が可能なトラッキング機器で姿勢復帰の推移を検出し、予測される復帰までの時間計測と良好復帰に際しての遅延復帰を評価する。
このように、運転者の状況に応じた態様で、復帰行動のトラッキンング情報を含めて観測し復帰品質の低下が発生しているかを評価する。なお、復帰品質を定量的評価するために復帰特性を運転者個人毎に認証し固有の復帰特性として学習し、この学習データを利用した評価処理を行う構成としてもよい。
例えば個人単位の学習データと、イベント毎に発生する復帰行動の観測データとを対比し、観測データが、学習データに基づく予測より遅れているか否か等を判定して、個人の特性に応じた復帰品質を評価する。
なお、自動運転利用者の2次タスク内容は、多様であり、一概に一意的な復帰推移の定義は困難であり、個人固有の学習データを用いて評価を行うことが好ましい。特に離席した際の運転者の復帰行動のトラッキング手法はある程度の柔軟性が求められる。
手動運転復帰の遅れは、大きな影響を及ぼす。従って、システムは手動運転復帰要請通知を、復帰に要する予測時間を考慮して前もって行う。さらに、実際の復帰時間までの遅延時間も評価対象とする。
運転者が、通知から速やかな復帰行動を取らず、例えば2次タスクを中断せず継続するなどして、復帰開始が遅れた場合、運転者は、ペナルティを最小化するために復帰行動の一部またはすべてを速やかに実行しようとすることが予測される。
このような遅れに対するリカバリーのための慌てた行動は事故の原因となる。
このような復帰行動の妥当性についても評価する必要がある。システムは、運転者の行動トラッキングを行う際、例えばToF(Time of Flight)センサなど、体の動作速度の3次元的観測が可能な観測機器で運転者の行動を観測する。この行動履歴を自己学習して、復帰行動の学習辞書を生成する。
手動運転復帰通知後に、運転者が遅れて手動運転に復帰した際に慌てて行った行動と、通知後に速やかに落ち着いて行った行動を比較して復帰品質を定量化して記録する。
運転者が運転席から離席した状態から手動運転へ復帰する場合の品質評価は、例えば、運転者が装着するベルトや時計型の機器を用いることが可能である。例えば、運転者の車両内位置を把握可能な車両内測位装置を持つ機器の取得情報を用いて運転者の車室内での移動情報を取得して評価する。
また運転席の着座センサや、シートベルト装着やハンドルの握りを検出、さらにペダル類へのアクセスなど、復帰マイルストーンを復帰品質の検出ポイントにしてもよい。
また、運転者の運転先から離れた位置の仮眠スペース等のベッドからの立ち上がり、運転席シート等からの立ち上がり、離席シートから立ち上がり、席の移動、歩行、体やシートの回転や横方向スライド、作業中断、足の手動運転モードへの配置変更の検出、運転者の運転情報提示機器への目視行動、規定された確認挙動の検出なども行動評価情報として利用可能である。
なお、これら運転者の衝動復帰を行う際の履歴を復帰品質評価値に換算して扱う副次的メリットとして、利用者情報を単純な利用者の撮像画像データとして残すことが必ずしも必要でなくなり、プライバシーに関する記録制限を設けずに記録が可能となるため、不適切操舵行動などの運用やその管理が扱いやすくなる。
[5-1.走行区間表示データの詳細構成と更新処理について]
次に、走行区間表示データの詳細構成と更新処理について説明する。
上述したように、自動運転が利用可能な自動運転可能区間では、運転者が運転操舵を行わず、運転操舵以外の2次タスクに従事することが可能となる。
しかし、自動運転可能区間が終了し、手動運転区間へ侵入する場合、運転者は、2次タスクから手動運転操舵に正常に復帰する必要がある。
運転者に対して、手動運転区間が近づいていることの通知は確実に実行されることが必要となる。
例えば運転者が2次タスクを実行中のタブレット端末等の情報処理装置には、先に図14~図16を参照して説明したような走行区間表示データが表示される。すなわち、例えば、自動運転可能区間Saを緑色、手動運転区間Sbを赤色、引継ぎ区間Scおよび注意走行区間Sdを黄色等の色分け表示を持つ走行区間表示データが時間軸に沿って表示される。
これらのデータ表示に必要なデータの取得や表示データ生成処理は、例えば図1に示す構成におけるデータ処理部11、あるいは図8に示す構成における自動運転制御部112内のデータ処理部、例えば検出部131や、状況分析部133や計画部134、出力制御部105等のデータ処理部において実行される。この表示データが、例えば通信部103を介してユーザーの利用するタブレット端末等に送信されて表示される。なお、表示データは、出力制御部105の制御の下で出力部106を構成する表示部にも表示可能である。
走行区間表示データは、例えば、先に図14(d)や図15、図16を参照して説明したように、表示間を、図14(d)に示すように3つの区間に分割し、各区間の時間軸を変化させて表示される。すなわち、図25中央部に示すような走行区間表示データ70の表示がなされる。以下の表示例ではタブレットなどの運転者が直接操作する機器にフォーカスして説明をするが、車両のセンターコンソールパネルなど車両設置機器へ直接表示を行ってもよく、その場合は運転者の相対位置関係に基づいて表示の見やすさや傾斜を配慮して実際の表示を実施してもよい。
具体的には以下のような表示処理が実行される。
本文における表示例の狙いは、各地点への到達時刻の予告として情報提供である。各地点までの到達時間に沿った表示を行う場合、各地点への到達時刻はその経路に沿った走行速度で移動距離を除算して算出することで得られる。各地点への到達時刻は各道路区間の走行状況に依存して変化する車両群の流れが形成する走行速度から換算した値に置き換える必要がある。ただし、現在時間から予想到達予告時間を記すには内容が煩雑となるため、以下の処理の説明はその換算は割愛し、代わりに一定の定速速度で走行した場合に付いて到達時刻を移動する「距離」に比例等価と見なして表示処理に付いて詳述する。
自車位置に近い近距離区間は、時間(t)と表示の位置(h)を比例関係で表示した時間リニア表示直近区間として、第1の時間軸で表示する。
遠方の遠距離区間は、近距離区間と同様、時間(t)と表示の位置(h)を比例関係で表示した時間リニア表示遠方区間として、第2の時間軸で表示する。
ただし、遠距離区間は、近距離区間より、単位表示長さあたりの時間が長い設定、すなわち、単位表示長さあたりの距離/通過時間が長い設定である。例えば近距離区間では1cmの表示長さが1kmを走行する時間を示すとき、遠距離区間では1cmの表示長さが5kmを走行する時間を示す等の設定である。
第1の時間軸で表した区間は上空から俯瞰した等速走行時の走行距離で、第3の時間軸はより遠方からの俯瞰した上方から見た等速走行時の走行距離であるため第1時間軸表示に対して縮小され表示されることに相当する。
第2時間軸表示区間は斜め情報から見た表示になるため、無限遠方に行くに従い表示が縮小し、直感的な遠近として距離間がその区間に対して把握が可能となる。
近距離区間と遠距離区間の間の中距離区間は、時間の逆数表示区間として、近距離区間対応の第1の時間軸から、遠距離区間対応の第2の時間軸まで、所定比率で順次変化した時間軸で表示する。
図25を参照して、図25に示す走行区間表示データ70の生成と更新処理の詳細について説明する。
図25の右側には、横軸に現在時間から予想到達までの時間(t:min)、縦軸にディスプレイにおける走行区間表示データ80の表示位置(h:mm)を設定したグラフ(時間-表示位置対応グラフ)を示している。縦軸の表示位置(h:mm)は、中央に示す走行区間表示データ70に対応している。
図25に示すように、走行区間表示データ70は、3つの区間、すなわち、
近距離区間
中距離区間
遠距離区間
これら3つの表示区間を持つ。
近距離区間は、自車位置に近い区間であり、時間リニア表示直近区間として、第1の時間軸で表示する区間である。
右側に示すグラフの現在地(O)から(P)までの区間が近距離区間に相当し、この区間では、時間リニア表示、すなわち、時間経過に比例して表示位置が決定される区間である。
時間-表示位置対応グラフに示すように、この近距離区間では、表示位置hは、時間tに比例した設定である。すなわち、走行区間表示データ70内における各走行区間(Sa~Sd)の表示位置hは、以下の(式1)によって決定される。
h=A×t・・・(式1)
上記(式1)において、Aは係数であり、時間-表示位置対応グラフにおける区間OPの直線の傾きを決定する係数である。
なお、この傾きAは、予め規定した値を用いる。
さらに、近距離区間と中距離区間の分岐点Pと、中距離区間と遠距離区間の分岐点Qについては、予め規定する。
例えば、近距離区間(O~P)は、現在時間(時間=0)0から、時間=(tref)までの期間の走行区間とする。車両がこの期間(t=0~tref)に走行可能な区間を近距離区間(h=0~href)として設定する。なお、車両は一定の速度で走行すると仮定して処理を行う。
ref=A×tref
である。
近距離区間と中距離区間の分岐点Pより先の中距離区間(P~Q)は、時間の逆数表示区間であり、近距離区間の所定の表示高さの示す距離を、PからQに向けて徐々に長くして表示する処理が行われる。この中間距離区間の表示は、直進する前方に広がる道路平面を見た状況、または地図上の直進道路であれば、その道路平面を斜め横から進行方向へ見た状況に相当し、無限点へ向けて距離が縮小していく表示に相当する。
図25中央に示す走行区間表示データに示す2つの点線L1,L2は、近距離区間と中距離区間の分岐点Pから遠方に向けて集束するように引いたラインである。集束点を仮想無限遠点ノードIとする。
仮想無限遠点ノードIの走行区間表示データ70の表示位置(表示高さ)hを、h=hとする。
このとき、中距離区間(P~Q)の各区間(Sa~Sd)の表示位置hと、現在時間(t=0)からの経過時間tとの関係は、以下の(式2a)で示すことができる。
h-h=-B×(1/t)・・・(式2a)
なお、Bは、係数であり、図25に示すラインL1,L2の傾斜に応じた値である。ただし、近距離区間と中距離区間の分岐点Pにおいて、近距離区間(O~P)と中距離区間(P~Q)とがスムーズに連続して接続されるためには、係数Bと係数Aは、後述する条件式を満足する設定であることが必要である。
中距離区間(P~Q)においては、図25右に示すグラフから理解されるように、時間-表示位置対応グラフのラインは、時間(t)の経過に伴って、表示位置(h)の変化が次第に小さくなるような曲線となる。
この曲線の各位置における傾き、すなわち、(dh/dt)は、上記(式2a)に基づく時間tによる微分によって算出可能であり、以下の(式2b)によって示される。
(dh/dt)=B×(1/t)・・・(式2b)
なお、近距離区間と中距離区間の分岐点Pにおいて、近距離区間(O~P)と中距離区間(P~Q)とがスムーズに接続されるためには、
上記(式1)によって示される近距離区間の時間-表示位置関係式(t-h関係式)、すなわち、
h=A×t・・・(式1)
この(式1)と、上記(式2a)によって示される中距離区間の時間-表示位置関係式(t-h関係式)、すなわち、
h-h=-B×(1/t)・・・(式2a)
これら2つの時間-表示位置関係式(t-h関係式)において、時間trefのタイミング、すなわち分岐点Pにおけるタイミングにおける位置hと傾きが一致することが必要となる。
まず、分岐点Pにおける傾きについて検証する。
上記(式1)によって示される近距離区間の傾き=Aと、
上記(式2b)によって算出される傾き、
(dh/dt)=B×(1/t)・・・(式2b)
これらの2つの値は一致させることが必要である。
近距離区間と中距離区間の分岐点Pの時間tは、
t=trefであるので、
傾き一致のための条件は、
B×(1/tref=A・・・(条件式a)
上記(条件式a)を満足することが必要となる。
さらに、
近距離区間と中距離区間の分岐点Pの表示位置hについても、近距離区間(O~P)の時間-表示位置関係式(t-h関係式)から算出される位置hと、中距離区間(P~Q)の時間-表示位置関係式(t-h関係式)から算出される位置hとが一致する必要がある。
上記(式1)によって示される分岐点Pの時間trefにおける表示位置hは、
h=A×tref
である。
一方、上記(式2a)によって示される分岐点Pの時間trefにおける表示位置hは、
h=-B×(1/tref)+h
となる。
これらが一致するためには、
A×tref=-B×(1/tref)+h・・・(条件式b)
この(条件式b)を満足することが必要となる。
これら2つの条件式a,bを満足すれば、近距離区間と中距離区間の分岐点Pにおいて、近距離区間(O~P)と中距離区間(P~Q)とがスムーズに接続される。係数A,Bは、この2つの条件式a,bを満足する値に設定する。
なお、図25に示す中距離区間、すなわち傾斜表示区間は、仮想無限遠点ノードIの手前(Q)で終了させ、その後は遠距離区間(Q~)として、時間リニア表示、すなわち時間と表示位置が比例する関係の表示を行う。ただし、この遠距離区間(Q~)では図25に示すグラフから理解されるように、単位時間あたりの表示位置の増加が少ない設定となっている。
すなわち、走行区間表示データ70の遠距離区間(Q~)では、より見時間表示領域に長い時間のデータが表示される、すなわちより長い距離に相当するデータが短い表示領域に表示される。
遠距離区間(Q~)は、仮想無限遠点ノードIの表示位置(h)から所定位置(R)から開始される。
Rは後述する条件式c,dを満足するような値に設定する。
図25のグラフに示すように、遠距離区間(Q~)の開始位置(Q)の時間(tR/H)は、以下のように示すことができる。
R/H=(H/R)×tref
なお、点Qにおいても、中距離区間(P~Q)と、遠距離区間(Q~)がスムーズに接続されるためには、点Qにおける中距離区間(P~Q)と、遠距離区間(Q~)の表示位置(h)と傾き(dh/dt)を一致させることが必要である。
まず、遠距離区間(Q~)の傾き(dh/dt)は、中距離区間(P~Q)と遠距離区間(Q~)の分岐点Qの傾き(dh/dt)に設定することが必要である。
中距離区間(P~Q)の傾き(dh/dtょは、上述した定義式(式2b)、すなわち、
(dh/dt)=B×(1/t)・・・(式2b)
この式2bによって算出される。
この(式2b)に、分岐点Qの時間t、すなわち、
R/H=(H/R)×tref
この時間tR/Hの値を代入する。
(dh/dt)=B×(1/((H/R)×tref))・・・(式3a)
遠距離区間(Q~)の傾き(dh/dt)は、上記(式3a)に従った傾きとする。
なお、先に説明した(条件式a)、すなわち、
B×(1/tref=A・・・(条件式a)
この条件式aに基づいて、上記(式3a)を変換すると、
遠距離区間(Q~)の傾き(dh/dt)は、以下の(式3b)として定義される。
(dh/dt)=A×(H/R)・・・(式3b)
なお、
H=href=A×tref
である。
また、点Qにおける中距離区間(P~Q)と、遠距離区間(Q~)の表示位置(h)の一致を満たすためには、以下の(条件式c)を満たすことが必要となる。
A×(R/H)×(t-(H/R)×tref)+A×tref×(2-(R/H))=A(R/H)×t+2×A×tref×(2-(R/H))・・・(条件式c)
この条件式cを満足するように、Rを設定すれば、中距離区間(P~Q)と、遠距離区間(Q~)がスムーズに接続される。
次に、図26を参照して、走行区間表示データ70の各区間の表示幅Wについて説明する。この表示幅は、近距離区間(O~P)と遠距離区間(Q~)は道路幅を上空から俯瞰した表示に相当し、中距離区間(P~Q)は該当道路の一定の幅の平行な道路幅が遠近により無限へ向かい一点に収束する事に相当する表記であり、表示の縦方角の縮小と合わせ、運転者の到達時刻を直感的に与える効果がある。
まず、近距離区間(O~P)における走行区間表示データ70の表示幅Wは、以下の(式4)によって定義される幅Wとする。
W=Wref・・・(式4)
とする。この表示幅Wrefは、任意に設定可能である。
近距離区間(O~P)と中距離区間(P~Q)の分岐点Pから中距離区間(P~Q)
内の表示幅Wは、遠方に行くほど狭くする設定とする。
具体的には、中距離区間(P~Q)の表示幅Wは、以下の(式5)によって定義される幅Wとする。
W=Wref×(tref/t)・・・(式5)
なお、trefは、近距離区間(O~P)と中距離区間(P~Q)の分岐点Pに到達するまでの時間である。
時間trefに対応する地点、すなわち、近距離区間(O~P)と中距離区間(P~Q)の分岐点Pにおける表示幅Wは、
W=Wre
である。その後、中距離区間(P~Q)では、時間経過とともに、表示幅Wは、上記(式5)に従って、徐々に小さくなる。
中距離区間(P~Q)と遠距離区間(Q~)の分岐点Qに到達するまでの時間tは、先に説明したように、
t=tR/H=(H/R)×tref
である。
この位置における表示幅は、上記(式5)に基づいて以下の式によって算出することができる。
W=Wref×(tref/((H/R)×tref))
=Wref×(R/H)
上記式によって算出される表示幅Wは、遠距離区間(Q~)の表示幅WR/Hに相当する。すなわち、遠距離区間(Q~)の表示幅WR/Hは、以下の(式6)によって示される。
R/H=Wref×(R/H)・・・(式6)
なお、上記(式6)と、先に説明した中距離区間の時間-表示位置関係式(t-h関係式)、すなわち、
h-h=-B×(1/t)・・・(式2a)
上記(式2a)と、中距離区間(P~Q)の表示幅W定義式(式5)、すなわち、
W=Wref×(tref/t)・・・(式5)
上記(式5)に基づいて、以下の関係式(式7)を導くことができる。
W=Wref×(tref/t)
=-(Wref×(tref/B)×(h-h)・・・(式7)
上記(式7)から、以下のことが証明される。
時間(t)と表示位置(h)を比例関係で表示した時間リニア表示区間である近距離区間(O~P)と遠距離区間(Q~)は、それぞれの表示幅、すなわち、
近距離区間(O~P)の表示幅Wref
遠距離区間(Q~)の表示幅WR/H
これらの表示幅Wは、表示位置hに対して線形に縮小された関係で表示される。
このような表示態様で走行区間表示データ70の表示を行うことで幅の遠近効果も重なり、ユーザ(運転者)は違和感なく走行に伴う各区間の接近を直感的に把握することが可能となる。
次に、図27を参照して、走行区間表示データ70の時間経過に伴う更新処理例について説明する。
図27には、走行区間表示データ70の時間経過に伴う表示区間の表示位置の変化を示している。
時間t1~t5の5つの走行区間表示データ70は、t1以後の同一時間間隔で表示される5つのデータである。
なお、理解しやすくするため、近距離区間、中距離区間、遠距離区間各々に1つのみの区間データを示している。
近距離区間、中距離区間、遠距離区間各々に表示された区間データ(Sa~Sd)は、時間経過に伴い、車両側に近づくように更新される。なお、車両は定速走行している前提である。
近距離区間は、時間リニア表示、すなわち、時間経過に比例して表示位置が決定される区間である。すなわち、近距離区間に表示された区間データ(Sa~Sd)の表示位置hは、先に図25を参照して説明したように、以下の(式1)によって決定される。
h=A×t・・・(式1)
従って、図に示す近距離区間の区間データ(Sa~Sd)の時間推移を示す点線ラインの傾き(dh/dt)は、
(dh/dt)=A
となる。
遠距離区間も、時間リニア表示、すなわち、時間経過に比例して表示位置が決定される区間である。すなわち、先に図25を参照して説明したように、遠距離区間の区間データ(Sa~Sd)の時間推移を示す点線ラインの傾き(dh/dt)は、以下の(式3b)によって示される。
(dh/dt)=A×(H/R)・・・(式3b)
なお、近距離区間の傾きAは、遠距離区間の傾きA×(H/R)より大きいため、く、近距離区間の区間データ(Sa~Sd)は、遠距離区間の区間データ(Sa~Sd)より、早く自車位置に近づくように更新される。
また、中距離区間は、時間リニア表示ではなく、傾き(dh/dt)は、先に説明した以下の(式2b)によって示される。
(dh/dt)=B×(1/t)・・・(式2b)
この中距離区間では、車両位置に近い領域ほど、より早く車両位置に近づくように更新される。従って、中距離区間の区間データ(Sa~Sd)は、時間経過に伴って表示位置が車両位置に近づくほど、表示長さが長くなる。
区間データ(Sa~Sd)の表示位置が車両位置に近づく速度は、
遠距離区間<中距離区間<近距離区間
この順番であり、
中距離区間では、その表示位置が車両位置に近づくほど速くなる。
なお、図25~図27では、走行区間表示データ70を直線型のデータとして表示する例を示したが、先に図21~図23を参照して説明したように、腕時計型の情報端末50に区間データ(Sa~Sd)の色分け表示を行う構成としてもよい。
図28は、その一例を示している。
図28下部には、時間t1,t2,t3の時間経過に伴う表示データ更新例を示している。
なお表示データは、時間経過に伴い、半時計回りに移動する。このような構成においても、区間データ(Sa~Sd)の表示位置が車両位置に近づく速度は、
遠距離区間<中距離区間<近距離区間
この順番となる。
[5-2.走行区間表示データに対する付加情報の表示例について]
次に、走行区間表示データに対する付加情報の表示例について説明する。
図25~図28を参照して説明した表示例は、走行区間表示データ70のみの表示例であった。すなわち、
自動運転可能区間Sa、
手動運転区間Sb、
自動運転から手動運転への引継ぎ区間Sc、
注意走行区間Sd、
これらの区間の位置情報を含む走行区間表示データ70のみの表示例であった。
図1に示す構成におけるデータ処理部11、あるいは図8に示す構成における自動運転制御部112内のデータ処理部、例えば検出部131や、状況分析部133や計画部134、出力制御部105等のデータ処理部は、この走行区間表示データ70に対して、さらに、ユーザー(運転者)に有用な情報を付加情報として生成する。
図29以下を参照して、付加情報の表示例の具体例について説明する。
図29には、以下の付加情報表示例を示している。
付加情報a:手動運転復帰不可時の低速迂回道路提供区間(高速道路と並行な一般道等)
付加情報b:飛び出しリスクのある区間、注意下でのマニュアル走行が求められる区間
付加情報c:手動運転復帰断念禁止領域(罰則対象区間)(例えば車線減少により、渋滞、道路封鎖の可能性がある区間等)
付加情報d:渋滞区間など、区間長が大きく変動する可能性のある区間
例えば、これらの付加情報を図29に示すような特定の色領域やアイコンと説明情報の組み合わせとして表示する。
ユーザー(運転者)は、これらの情報により、車両の進行方向の詳細情報を確認することが可能となる。
なお、アイコンのみを表示し、ユーザーがアイコンに対するタッチ処理やクリック処理を行った場合に説明を表示する設定としてもよい。
さらに、図30に示すように、道路に備えられた標識やガソリンスタンド、サービスエリア、工事等の情報や、迂回路情報等を表示する構成としてもよい。図30には以下の付加情報表示例を示している。
付加情報e1~e5:標識情報、ガソリンスタンド情報
付加情報f:迂回路位置案内情報
なお、図30に示す付加情報e1と付加情報fは、例えば手動運転区間に入る手前の迂回路情報であり、迂回路を経由して他の自動運転区間に侵入可能な場合等に利用可能な表示情報である。
さらに、図31に示す付加情報gのように、走行区間表示データ70に表示された各区間(Sa~Sd)までの到達時間情報を表示してもよい。
また、図31に示す付加情報hのように、各表示区間(近距離区間~遠距離区間)の距離比情報をさらに表示してもよい。
図に示す例では、近距離区間が1:1に対して、遠距離区間が1:25であり、例えば、近距離区間の所定単位長の実区間長が1Kmである場合、遠距離区間の同じ所定単位長の実区間長は25Kmであることを意味する。
中距離区間では、同じ所定単位長の実区間長はt×1Kmであることを意味する。
さらに、図32に示すように、付加情報として様々なタイミング情報を追加表示してもよい。図32には以下の付加情報表示例を示している。
付加情報m:MRM(Minimum Risk Maneuver)開始点位置(手動運転復帰手順の開始検出ができない場合、緊急徐行、停車、退避を開始するタイミング)
付加情報n1:通知ポイント(手動運転復帰要請通知の通知ポイント)
付加情報n2:警告ポイント(手動運転復帰要請の警告ポイント)
付加情報p:通知ポイントまでの残り時間
ユーザー(運転者)は、これらの付加情報に基づいて、これから発生する様々な通知や、警告、自動運転制御処理等の詳細情報を確認することができる。
なお、これらの付加情報の表示は、ユーザー(運転者)の行動情報に基づいて、表示位置や表示タイミングを変更してもよい。
例えば、ユーザー(運転者)が、運転席に着座して、すぐに手動運転に復帰できる状態の場合は、図32に示す表示態様とし、ユーザー(運転者)が、運転席からに離席している、あるいは睡眠中の場合等、すぐに手動運転に復帰できる状態でない場合は、図33に示すような表示態様とする。
図33には、図32と同様の付加情報を表示しているが、以下の各情報の表示位置や時間情報を、現在位置や現在時間に近づけて表示している。
付加情報n1:通知ポイント(手動運転復帰要請通知の通知ポイント)
付加情報n2:警告ポイント(手動運転復帰要請の警告ポイント)
付加情報p:通知ポイントまでの残り時間
このような表示を行うことで、ユーザ(運転者)に対して緊急性が高い状態であることを把握させ、早期タイミングで手動運転復帰準備を開始させることが可能となる。
図34は、付加情報の時間経過に伴う更新処理例を示す図である。
具体的には、以下の付加情報を有する表示データの時間経過(t1~t3)に伴う更新処理例を示している。
付加情報m::MRM(Minimum Risk Maneuver)開始点位置(手動運転復帰手順の開始検出ができない場合、緊急徐行、停車、退避を開始するタイミング)
付加情報n1:通知ポイント(手動運転復帰要請通知の通知ポイント)
付加情報p:通知ポイントまでの残り時間
付加情報e:標識(迂回路を示す標識)
付加情報f:迂回路位置案内情報
時間t1と時間t2は、迂回路への侵入が可能な状態での表示データの例である。
これらの表示データには、以下の付加情報が表示されている。
付加情報e:標識(迂回路を示す標識)
付加情報f:迂回路位置案内情報
時間t3は、迂回路への侵入が不可能な状態となった時点の表示データの例である。
この時間t3の表示データには、以下の付加情報は表示されない状態に更新される。る。
付加情報e:標識(迂回路を示す標識)
付加情報f:迂回路位置案内情報
このように、データ処理部は、各時点でユーザ(運転者)が利用可能な情報のみ選択して表示する表示制御を実行する。
なお、付加情報の表示は、図35に示すように腕時計等に円形型の表示を行う場合にも同様に実行される。
なお、腕時計等に円形型の表示を行う場の表示形態で図28に示す例では進捗に伴う情報を反時計周りに回し表示する表示例としたが、その場合に直近の接近情報は3時から0時の象限が掛けて表示され、利用者の引継ぎ直前の情報をこの第一象限~第二象限に掛けて視覚的に得ることができる。
一方、人間のアナログ時計の感覚的側面を考慮すると、0時・12時方角へ進む秒針等の残りの回転角度から残存時間を直感的に感じるため、情報の提示アニメーションを図35に示すように時計回りの回転として、情報を提示することも有効である。また、腕時計等の円形型表示形態でも同じく、MRM限界地点時刻到達時刻の表示、迂回可限界地点時刻到達時刻の表示、引継ぎ通知点の到達時の表示、などの腕時計等に円形型の表示を行う場合にも同様に付加情報が実行される。
[5-3.アニメーションによる通知、警告処理例について]
次に、アニメーションによる通知、警告処理例について
図1に示す構成におけるデータ処理部11、あるいは図8に示す構成における自動運転制御部112内のデータ処理部、例えば検出部131や、状況分析部133や計画部134、出力制御部105等のデータ処理部は、走行区間表示データ70のみならず、さらに、ユーザー(運転者)に対する手動運転復帰要請通知処理や、手動運転開始までの残り時間を通知処理や警告のために、アニメーションを利用した表示データを生成して表示する処理も実行する。
図36以下を参照してアニメーションを利用した表示データの一例について説明する。
図36には、ユーザー(運転者)が2次タスクを実行する情報端末を示している。ユーザーは、この端末の図に示す「2次タスク実行画面領域」を利用して様々な2次タスク、例えば動画鑑賞、文書作成、ゲーム等の2次タスクを実行しているものとする。
端末表示部の上部には、データ処理部の制御によって、手動運転引き継ぎ地点残り時間通知用アニメーション情報80が表示される。
このアニメーション情報80は、手動運転引き継ぎ要請通知までの残り時間、または手動運転引き継ぎ地点までの残り時間を、2次タスク実行中のユーザー(運転者)に通知するためのアニメーション情報である。
アニメーション情報80はカップにコーヒーが入った状態を示している。
図1に示す構成におけるデータ処理部11、あるいは図8に示す自動運転制御部112内のデータ処理部は、このアニメーション情報 80を時間経過に伴い、更新する。
具体的な更新は処理例について図37、図38を参照して説明する。
図37~図38には、時間経過(t1~t8)に伴うアニメーション情報80の更新例を示している。
図37の時間t1~t4の表示データに示すように、データ処理部は、時間経過に伴いカップのコーヒーの量を徐々に増加させて表示する表示制御を実行する。
これは、時間経過に伴い、手動運転引き継ぎ地点までの残り時間が少なくなってきていることをユーザー(運転者)に気付かせるための表示処理である。
さらに、図38の時間t5~t8の表示データに示すように、データ処理部は、時間経過に伴いカップのコーヒーの量をさらに増加させて、カップからコーヒーを溢れ出させて、2次タスク実行画面領域をコーヒーで満たすように表示する表示制御を実行する。
これは、時間経過に伴い、手動運転引き継ぎ地点までの残り時間が極めて少なくなっており、ユーザー(運転者)に2次タスクを強制的に止めさせて、手動運転へ復帰させるための表示処理である。
このような表示制御を行うことで、ユーザ(運転者)が2次タスクに夢中になっている場合でも、ユーザー(運転者)に2次タスクを強制的に止めさせて、手動運転へ復帰させることが可能となる。
[5-4.その他の表示処理例について]
次に、その他の表示処理例について説明する。
走行区間表示データやその他の表示データは、上述した表示例に限らず、様々な表示処理が可能である。
図1に示す構成におけるデータ処理部11、あるいは図8に示す自動運転制御部112内のデータ処理部、例えば検出部131、状況分析部133や計画部134、出力制御部105等のデータ処理部は、走行区間表示データやその他の表示データを生成して、車両内の表示部や、ユーザー(運転者)の保持する端末、例えばPC、タブレット端末、スマホ(スマートフォン)等の端末に対する表示データの生成を行う。
図39以下を参照して、上述した表示データ以外の表示データの例について説明する。
図39は、ユーザー(運転者)の保持するスマホや、タブレット端末に対する表示データの出力例である。
スマホやタブレット端末を縦方向で見ている場合の走行区間表示データ70の表示例を示している。
端末の中央部の領域は、ユーザーによって利用される2次タスク実行画面領域である。ユーザーは、この領域を、文書作成領域、あるいは動画表示領域等の様々な2次タスク実行領域として利用する。
走行区間表示データ70は、2次タスク実行画面領域の周囲領域に表示する。
図に示す端末の左側下部を車両の現在地として、左端部~上端部~右端部~下端部と、一周するように近距離区間、中距離区間、遠距離区間の走行区間情報(Sa~Sd等)を表示する。
なお、図39には、以下の2つの走行区間表示データ表示例を示している。
(a)走行区間表示データ表示例1
(b)走行区間表示データ表示例2
(a)走行区間表示データ表示例1は、上下左右の走行区間表示データの表示幅を一律に設定した例である。
一方、(b)走行区間表示データ表示例2は、上下左右の走行区間表示データの表示幅を一律に設定せず、左サイドの近距離区間のデータ幅を広くした例である。
さらに、図40に示すように、手動運転開始要請の通知ポイント、または手動運転引き継ぎ地点までの残り時間を表示する構成としてもよい。
図40には、時間(t1)の表示例と、その後の時間(t2)の表示例を示している。
時間(t1)では残り時間=3min40secの表示がなされている。ユーザ(運転者)は、この時間を確認して、手動運転の準備を開始することができる。
時間(t2)の表示例では、残り時間=40secの表示がなされている。さらに、追加情報としてリスク情報81=(Trap-in Pit)が表示されている。
このリスク情報81=(Trap-in Pit)は、手動運転引き継ぎ失敗時のリスク情報であり、手動運転引き継ぎ失敗時には、退避エリアに侵入して強制駐車されることをユーザーに知らせるための表示データである。
図41に示す例は、2次タスク実行画面領域に手動運転引き継ぎ要請メッセージ82a,82bを表示した例である。
手動運転引き継ぎ要請メッセージ82は、時間経過とともに、大きく表示される。
また、ユーザーが2次タスク実行領域として利用している領域に落ち葉を降らせて、ユーザーの2次タスクを邪魔する設定としている。落ち葉の枚数は、時間経過とともに増加し、ユーザーの2次タスク継続を断念させる設定としている。
図42に示す例は、通知ポイント、または手動運転引き継ぎ地点までの残り時間を視覚的に把握可能としたアニメーション83a,83bとして砂時計を表示した例である。
時間経過に伴い砂時計の砂が下に落ち、上が空になった時点で残り時間=0であることをユーザーが直観的に知ることが可能となり、早期の手動運転復帰を促す効果がある。
図43に示す例は、2次タスク実行画面領域に煩わしいネズミ花火を模したアニメーション84a,84bを表示した例である。時間経過に伴い花火が画面上の作業領域に大きく広がって走りまわり、ユーザーに2次タスクの継続を断念させる効果の設定としている。
これらの例として図示をした2次タスク断念を誘発する表示以外にも、通知を知らせるお気に入りのカスタムマーカーの設定や迎えペットによる通知マーカーや利用地域やその文化に根差した特有な文化のお祈り時刻や鬼に追い掛けられる等のマーカー等も心理的な対応誘導効果があり、利用者の早期復帰を促す機能として有効である。
さらに、利用者自身がネットワーク経由で選択できるアイコンキャラクタサービスにしてもよく、癒し効果と兼ねて、例えば猫の足跡マークや、地域名産のキャラクタ、サメの尾ひれ、パトカーや白バイキャラクタ、さらに鬼マークや引継ぎを強引にアドバイスする召使いキャラクタなど、2次タスク中断促進を促す効果があれば何を設定しても有効である。
[6.情報処理装置の構成例について]
上述した処理は、図8を参照して説明した移動装置の構成を適用して実行することが可能であるが、その処理の一部は、例えば移動装置に着脱可能な情報処理装置において実行することが可能である。
図44を参照して、このような情報処理装置のハードウェア構成例について説明する。
図44は、情報処理装置のハードウェア構成例を示す図である。
CPU(Central Processing Unit)501は、ROM(Read Only Memory)502、または記憶部508に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。
RAM(Random Access Memory)503には、CPU501が実行するプログラムやデータなどが記憶される。これらのCPU501、ROM502、およびRAM503は、バス504により相互に接続されている。
CPU501はバス504を介して入出力インタフェース505に接続され、入出力インタフェース505には、各種スイッチ、キーボード、タッチパネル、マウス、マイクロフォン、さらに、センサ、カメラ、GPSや車両内測位装置等の状況データ取得部などよりなる入力部506、ディスプレイ、スピーカなどよりなる出力部507が接続されている。
なお、入力部506には、センサ521からの入力情報も入力される。
また、出力部507は、移動装置の駆動部522に対する駆動情報も出力する。
CPU501は、入力部506から入力される指令や状況データ等を入力し、各種の処理を実行し、処理結果を例えば出力部507に出力する。
入出力インタフェース505に接続されている記憶部508は、例えばハードディスク等からなり、CPU501が実行するプログラムや各種のデータを記憶する。通信部509は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
入出力インタフェース505に接続されているドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア511を駆動し、データの記録あるいは読み取りを実行する。
[7.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) 車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データを生成するデータ処理部を有し、
前記データ処理部は、
車両の走行予定時間帯に応じた異なる時間軸を持つ複数の表示データを連結した1つの走行区間表示データを生成する情報処理装置。
(2) 前記データ処理部は、
車両の走行予定時間帯が早い近距離区間について、時間(t)と表示位置(h)を比例関係とした第1時間軸で時間リニア表示データを生成し、
車両の走行予定時間帯が遅い遠距離区間について、時間(t)と表示位置(h)を比例関係とした第2時間軸で時間リニア表示データを生成する構成であり、
前記遠距離区間の表示データは、前記近距離区間の表示データより、単位表示長さあたりの距離を長くした表示データを生成する(1)に記載の情報処理装置。
(3) 前記データ処理部は、
前記近距離区間と、前記遠距離区間の間に中距離区間を設定した1つの走行区間表示データを生成し、
前記中距離区間の表示データは、前記近距離区間対応の第1の時間軸から、前記遠距離区間対応の第2の時間軸まで、所定比率で順次変化する時間軸を持つ表示データである(2)に記載の情報処理装置。
(4) 前記データ処理部は、
車両の走行予定時間帯が早い近距離区間について、車両の走行予定時間帯が遅い遠距離区間より、表示幅(W)を広く設定した走行区間表示データを生成する(1)~(3)いずれかに記載の情報処理装置。
(5) 前記データ処理部は、
前記近距離区間と、前記遠距離区間の間の中距離区間の表示幅(W)を、
前記近距離区間との接続部で前記近距離区間の幅と同一とし、遠方に進むに従って表示幅を減少させて、前記遠距離区間の接続部で前記遠距離区間の幅と同一とした表示データを生成する(4)に記載の情報処理装置。
(6) 前記データ処理部は、
自動運転可能区間Saと、手動運転区間Sbと、自動運転から手動運転への引継ぎ区間Scと、注意走行区間Sdを含む走行区間表示データを生成する(1)~(5)いずれかに記載の情報処理装置。
(7) 前記データ処理部は、
車両の走行予定時間帯に応じて一方向に延びる直線型の走行区間表示データを生成する(1)~(6)いずれかに記載の情報処理装置。
(8) 前記データ処理部は、
車両の走行予定時間帯に応じて円周状に延びる円形型の走行区間表示データを生成する(1)~(6)いずれかに記載の情報処理装置。
(9) 前記データ処理部は、
表示部周辺部領域を辿る設定の走行区間表示データを生成する(1)~(6)いずれかに記載の情報処理装置。
(10) 前記データ処理部は、
前記走行区間表示データに付加情報を追加した表示データを生成する(1)~(9)いずれかに記載の情報処理装置。
(11) 前記付加情報は、
迂回路情報、標識情報、各地点までの到達時間情報の少なくともいずれかを含む(10)に記載の情報処理装置。
(12) 前記付加情報は、
リスク回避処理の開始点であるMRM(Minimum Risk Maneyver)開始点を示す情報を含む(10)または(11)に記載の情報処理装置。
(13) 前記データ処理部は、
手動運転復帰要請通知、または手動運転区間までの残り時間を認識可能なアニメーション情報を生成する(1)~(12)いずれかに記載の情報処理装置。
(14) 前記アニメーション情報は、
時間経過に伴い、ユーザーの利用する2次タスク実行画面領域を覆い隠すように変化するアニメーションである(13)に記載の情報処理装置。
(15) 自動運転と手動運転の切り替えが可能な移動装置であり、
前記移動装置の運転者の運転者情報を取得する運転者情報取得部と、
前記移動装置の周囲情報を取得する環境情報取得部と、
車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データを生成するデータ処理部を有し、
前記データ処理部は、
車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データであり、車両の走行予定時間帯に応じた異なる時間軸を持つ複数の表示データを連結した1つの走行区間表示データを生成する移動装置。
(16) 前記データ処理部は、
車両の走行予定時間帯が早い近距離区間について、時間(t)と表示位置(h)を比例関係とした第1時間軸で時間リニア表示データを生成し、
車両の走行予定時間帯が遅い遠距離区間について、時間(t)と表示位置(h)を比例関係とした第2時間軸で時間リニア表示データを生成する構成であり、
前記遠距離区間の表示データは、前記近距離区間の表示データより、単位表示長さあたりの距離を長くした表示データを生成する(15)に記載の移動装置。
(17) 前記データ処理部は、
前記近距離区間と、前記遠距離区間の間に中距離区間を設定した1つの走行区間表示データを生成し、
前記中距離区間の表示データは、前記近距離区間対応の第1の時間軸から、前記遠距離区間対応の第2の時間軸まで、所定比率で順次変化する時間軸を持つ表示データである(16)に記載の移動装置。
(18) 情報処理装置において実行する情報処理方法であり、
データ処理部が、
車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データであり、車両の走行予定時間帯に応じた異なる時間軸を持つ複数の表示データを連結した1つの走行区間表示データを生成する報処理装置方法。
(19) 移動装置において実行する情報処理方法であり、
前記移動装置は、自動運転と手動運転の切り替えが可能な移動装置であり、
運転者情報取得部が、前記移動装置の運転者の運転者情報を取得する運転者情報取得ステップと、
環境情報取得部が、前記移動装置の周囲情報を取得する環境情報取得ステップと、
データ処理部が、
車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データであり、車両の走行予定時間帯に応じた異なる時間軸を持つ複数の表示データを連結した1つの走行区間表示データを生成する移動装置。
(20) 情報処理装置において情報処理を実行させるプログラムであり、
データ処理部に、
車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データであり、車両の走行予定時間帯に応じた異なる時間軸を持つ複数の表示データを連結した1つの走行区間表示データを生成させるプログラム。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データを生成してユーザー(運転者)に提示する構成が実現される。
具体的には、例えば、車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データを生成するデータ処理部を有する。データ処理部は、近距離区間と遠距離区間について、時間(t)と表示位置(h)を比例関係とした時間リニア表示データを生成する。遠距離区間は近距離区間より、単位表示長さあたりの距離を長くした表示データを生成する。近距離区間と遠距離区間の間の中距離区間は、近距離区間対応の第1の時間軸から、遠距離区間対応の第2の時間軸まで、所定比率で順次変化する時間軸を持つ表示データを生成する。さらにそれら接近情報に合わせリスク要因となるペナルティを含む情報も適宜表示することで、リスク回避の注意や確認意識が自然と運転者に身に付き、結果的に自動運転モードでの車両利用者が走行状況の応じて高い手動運転復帰に必要な注意維持や意識回復が期待される。
本構成により、車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データを生成してユーザー(運転者)に提示する構成が実現される。
10・・自動車,11・・データ処理部,12・・運転者情報取得部,13・・環境情報取得部,14・・通信部,15・・通知部,20・・運転者,30・・サーバ,50・・情報端末,70・・走行区間表示データ,80・・アニメーション情報,100・・移動装置,101・・入力部,102・・データ取得部,103・・通信部,104・・車内機器,105・・出力制御部,106・・出力部,107・・駆動系制御部,108・・駆動系システム,109・・ボディ系制御部,110・・ボディ系システム,111・・記憶部,112・・自動運転制御部,121・・通信ネットワーク,131・・検出部,132・・自己位置推定部,133・・状況分析部,134・・計画部,135・・動作制御部,141・・車外情報検出部,142・・車内情報検出部,143・・車両状態検出部,151・・マップ解析部,152・・交通ルール認識部,153・・状況認識部,154・・状況予測部,155・・安全性判別部,161・・ルート計画部,162・・行動計画部,163・・動作計画部,171・・緊急事態回避部,172・・加減速制御部,173・・方向制御部,501・・CPU,502・・ROM,503・・RAM,504・・バス,505・・入出力インタフェース,506・・入力部,507・・出力部,508・・記憶部,509・・通信部,510・・ドライブ,511・・リムーバブルメディア,521・・センサ,522・・駆動部

Claims (18)

  1. 車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データを生成するデータ処理部を有し、
    前記データ処理部は、
    車両の走行予定時間帯に応じた異なる時間軸を持つ複数の表示データを連結した1つの走行区間表示データを生成する処理を実行し、
    前記データ処理部は、
    車両の走行予定時間帯が早い近距離区間について、時間(t)と表示位置(h)を比例関係とした第1時間軸で時間リニア表示データを生成し、
    車両の走行予定時間帯が遅い遠距離区間について、時間(t)と表示位置(h)を比例関係とした第2時間軸で時間リニア表示データを生成する構成であり、
    前記遠距離区間の表示データは、前記近距離区間の表示データより、単位表示長さあたりの距離を長くした表示データを生成する情報処理装置。
  2. 車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データを生成するデータ処理部を有し、
    前記データ処理部は、
    車両の走行予定時間帯に応じた異なる時間軸を持つ複数の表示データを連結した1つの走行区間表示データを生成する処理を実行し、
    前記データ処理部は、
    自動運転可能区間Saと、手動運転区間Sbと、自動運転から手動運転への引継ぎ区間Scと、注意走行区間Sdを含む走行区間表示データを生成する情報処理装置。
  3. 車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データを生成するデータ処理部を有し、
    前記データ処理部は、
    車両の走行予定時間帯に応じた異なる時間軸を持つ複数の表示データを連結した1つの走行区間表示データを生成する処理を実行し、
    前記データ処理部は、
    車両の走行予定時間帯に応じて円周状に延びる円形型の走行区間表示データを生成する情報処理装置。
  4. 車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データを生成するデータ処理部を有し、
    前記データ処理部は、
    車両の走行予定時間帯に応じた異なる時間軸を持つ複数の表示データを連結した1つの走行区間表示データを生成する処理を実行し、
    前記データ処理部は、
    表示部周辺部領域を辿る設定の走行区間表示データを生成する情報処理装置。
  5. 前記データ処理部は、
    前記近距離区間と、前記遠距離区間の間に中距離区間を設定した1つの走行区間表示データを生成し、
    前記中距離区間の表示データは、前記近距離区間対応の第1の時間軸から、前記遠距離区間対応の第2の時間軸まで、所定比率で順次変化する時間軸を持つ表示データである請求項1~4いずれかに記載の情報処理装置。
  6. 前記データ処理部は、
    車両の走行予定時間帯が早い近距離区間について、車両の走行予定時間帯が遅い遠距離区間より、表示幅(W)を広く設定した走行区間表示データを生成する請求項1または2に記載の情報処理装置。
  7. 前記データ処理部は、
    前記近距離区間と、前記遠距離区間の間の中距離区間の表示幅(W)を、
    前記近距離区間との接続部で前記近距離区間の幅と同一とし、遠方に進むに従って表示幅を減少させて、前記遠距離区間の接続部で前記遠距離区間の幅と同一とした表示データを生成する請求項6に記載の情報処理装置。
  8. 前記データ処理部は、
    車両の走行予定時間帯に応じて一方向に延びる直線型の走行区間表示データを生成する請求項1または2に記載の情報処理装置。
  9. 前記データ処理部は、
    前記走行区間表示データに付加情報を追加した表示データを生成する請求項1~4いずれかに記載の情報処理装置。
  10. 前記付加情報は、
    迂回路情報、標識情報、各地点までの到達時間情報の少なくともいずれかを含む請求項9に記載の情報処理装置。
  11. 前記付加情報は、
    リスク回避処理の開始点であるMRM(Minimum Risk Maneyver)開始点を示す情報を含む請求項9に記載の情報処理装置。
  12. 前記データ処理部は、
    手動運転復帰要請通知、または手動運転区間までの残り時間を認識可能なアニメーション情報を生成する請求項1~4いずれかに記載の情報処理装置。
  13. 前記アニメーション情報は、
    時間経過に伴い、ユーザーの利用する2次タスク実行画面領域を覆い隠すように変化するアニメーションである請求項12に記載の情報処理装置。
  14. 自動運転と手動運転の切り替えが可能な移動装置であり、
    前記移動装置の運転者の運転者情報を取得する運転者情報取得部と、
    前記移動装置の周囲情報を取得する環境情報取得部と、
    車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データを生成するデータ処理部を有し、
    前記データ処理部は、
    車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データであり、車両の走行予定時間帯に応じた異なる時間軸を持つ複数の表示データを連結した1つの走行区間表示データを生成する処理を実行し、
    前記データ処理部は、
    車両の走行予定時間帯が早い近距離区間について、時間(t)と表示位置(h)を比例関係とした第1時間軸で時間リニア表示データを生成し、
    車両の走行予定時間帯が遅い遠距離区間について、時間(t)と表示位置(h)を比例関係とした第2時間軸で時間リニア表示データを生成する構成であり、
    前記遠距離区間の表示データは、前記近距離区間の表示データより、単位表示長さあたりの距離を長くした表示データを生成する移動装置。
  15. 前記データ処理部は、
    前記近距離区間と、前記遠距離区間の間に中距離区間を設定した1つの走行区間表示データを生成し、
    前記中距離区間の表示データは、前記近距離区間対応の第1の時間軸から、前記遠距離区間対応の第2の時間軸まで、所定比率で順次変化する時間軸を持つ表示データである請求項14に記載の移動装置。
  16. 情報処理装置において実行する情報処理方法であり、
    データ処理部が、
    車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データであり、車両の走行予定時間帯に応じた異なる時間軸を持つ複数の表示データを連結した1つの走行区間表示データを生成する処理を実行し、
    前記データ処理部は、
    車両の走行予定時間帯が早い近距離区間について、時間(t)と表示位置(h)を比例関係とした第1時間軸で時間リニア表示データを生成し、
    車両の走行予定時間帯が遅い遠距離区間について、時間(t)と表示位置(h)を比例関係とした第2時間軸で時間リニア表示データを生成する構成であり、
    前記遠距離区間の表示データは、前記近距離区間の表示データより、単位表示長さあたりの距離を長くした表示データを生成する情報処理方法。
  17. 移動装置において実行する情報処理方法であり、
    前記移動装置は、自動運転と手動運転の切り替えが可能な移動装置であり、
    運転者情報取得部が、前記移動装置の運転者の運転者情報を取得する運転者情報取得ステップと、
    環境情報取得部が、前記移動装置の周囲情報を取得する環境情報取得ステップと、
    データ処理部が、
    車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データであり、車両の走行予定時間帯に応じた異なる時間軸を持つ複数の表示データを連結した1つの走行区間表示データを生成する処理を実行し、
    前記データ処理部は、
    車両の走行予定時間帯が早い近距離区間について、時間(t)と表示位置(h)を比例関係とした第1時間軸で時間リニア表示データを生成し、
    車両の走行予定時間帯が遅い遠距離区間について、時間(t)と表示位置(h)を比例関係とした第2時間軸で時間リニア表示データを生成する構成であり、
    前記遠距離区間の表示データは、前記近距離区間の表示データより、単位表示長さあたりの距離を長くした表示データを生成する情報処理方法。
  18. 情報処理装置において情報処理を実行させるプログラムであり、
    データ処理部に、
    車両の走行ルート上の少なくとも自動運転可能区間と手動運転区間を識別可能とした走行区間表示データであり、車両の走行予定時間帯に応じた異なる時間軸を持つ複数の表示データを連結した1つの走行区間表示データを生成させ、さらに、
    前記データ処理部に、
    車両の走行予定時間帯が早い近距離区間について、時間(t)と表示位置(h)を比例関係とした第1時間軸で時間リニア表示データを生成する処理と、
    車両の走行予定時間帯が遅い遠距離区間について、時間(t)と表示位置(h)を比例関係とした第2時間軸で時間リニア表示データを生成する処理を実行させ、
    前記遠距離区間の表示データは、前記近距離区間の表示データより、単位表示長さあたりの距離を長くした表示データとして生成させるプログラム。
JP2021514814A 2019-04-18 2020-03-04 情報処理装置、移動装置、および方法、並びにプログラム Active JP7431223B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019079644 2019-04-18
JP2019079644 2019-04-18
PCT/JP2020/009156 WO2020213280A1 (ja) 2019-04-18 2020-03-04 情報処理装置、移動装置、および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2020213280A1 JPWO2020213280A1 (ja) 2020-10-22
JP7431223B2 true JP7431223B2 (ja) 2024-02-14

Family

ID=72838277

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021514814A Active JP7431223B2 (ja) 2019-04-18 2020-03-04 情報処理装置、移動装置、および方法、並びにプログラム

Country Status (6)

Country Link
US (1) US20220161813A1 (ja)
EP (1) EP3958235A4 (ja)
JP (1) JP7431223B2 (ja)
KR (1) KR20210151802A (ja)
CN (1) CN114072865A (ja)
WO (1) WO2020213280A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12100228B2 (en) * 2019-04-24 2024-09-24 Mitsubishi Electric Corporation Travel environment analysis apparatus, travel environment analysis system, and travel environment analysis method
JP7339899B2 (ja) * 2020-02-17 2023-09-06 本田技研工業株式会社 情報処理装置、車両、プログラム、及び情報処理方法
JP7414605B2 (ja) * 2020-03-23 2024-01-16 株式会社アイシン 運転支援システム、運転支援プログラム
JP7381414B2 (ja) * 2020-07-01 2023-11-15 トヨタ自動車株式会社 眠気兆候通知システム及び眠気兆候通知方法
DE102020214999A1 (de) * 2020-11-27 2022-06-02 Ford Global Technologies, Llc Verfahren und System zum Trainieren einer manuellen Übernahme einer Fahrzeugsteuerung, Fahrzeug, Computerprogramm und computerlesbarer Datenträger
JP7494724B2 (ja) * 2020-12-18 2024-06-04 トヨタ自動車株式会社 自動運転車両
CN112885357A (zh) * 2021-01-13 2021-06-01 上海英粤汽车科技有限公司 一种通过语音识别动物类别的方法
US20230025804A1 (en) * 2021-07-23 2023-01-26 GM Global Technology Operations LLC User interface for allocation of non-monitoring periods during automated control of a device
US20230036945A1 (en) * 2021-07-23 2023-02-02 GM Global Technology Operations LLC Allocation of non-monitoring periods during automated control of a device
CN113665590B (zh) * 2021-09-24 2024-04-19 阿波罗智联(北京)科技有限公司 控制车辆的方法、装置、设备、介质和车辆

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160231743A1 (en) 2013-10-01 2016-08-11 Volkswagen Ag Method for a driver assistance system of a vehicle
WO2017134733A1 (ja) 2016-02-01 2017-08-10 三菱電機株式会社 車両情報表示制御装置および自動運転情報の表示方法
WO2018025414A1 (ja) 2016-08-05 2018-02-08 三菱電機株式会社 操作権限管理装置および操作権限管理方法
WO2018100725A1 (ja) 2016-12-02 2018-06-07 三菱電機株式会社 自動運転制御計画策定装置および自動運転制御計画の策定方法
JP2018538189A (ja) 2015-10-16 2018-12-27 コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツングContinental Automotive GmbH 運転者によって占有された自動車の自動誘導のための方法、および運転者に情報提供するための方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10141507C2 (de) * 2001-08-24 2003-06-18 Audi Ag Vorrichtung zur Projektion von Navigationsdaten
US7430473B2 (en) * 2004-10-01 2008-09-30 Bose Corporation Vehicle navigation display
JP2016090274A (ja) 2014-10-30 2016-05-23 トヨタ自動車株式会社 警報装置、警報システム及び携帯端末
EP3300941B1 (en) * 2014-12-10 2020-05-13 Ricoh Company, Ltd. Information provision device, and information provision method
JP2016139204A (ja) 2015-01-26 2016-08-04 株式会社デンソー 危険度表示装置
US9581460B1 (en) * 2016-03-29 2017-02-28 Toyota Motor Engineering & Manufacturing North America, Inc. Apparatus and method transitioning between driving states during navigation for highly automated vechicle
US10240943B2 (en) * 2016-06-17 2019-03-26 Here Global B.V. Method, apparatus and computer program product for a navigation user interface
JP6493923B2 (ja) * 2016-11-08 2019-04-03 本田技研工業株式会社 情報表示装置、情報表示方法、および情報表示プログラム
GB2563902B (en) * 2017-06-29 2020-02-26 Jaguar Land Rover Ltd Method and apparatus for use with vehicles having an autonomous driving mode
US10379197B2 (en) * 2017-08-08 2019-08-13 Ford Global Technologies, Llc Dongles for controlling vehicle drive assist systems
US10948911B2 (en) * 2017-10-31 2021-03-16 Denso International America, Inc. Co-pilot

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160231743A1 (en) 2013-10-01 2016-08-11 Volkswagen Ag Method for a driver assistance system of a vehicle
JP2018538189A (ja) 2015-10-16 2018-12-27 コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツングContinental Automotive GmbH 運転者によって占有された自動車の自動誘導のための方法、および運転者に情報提供するための方法
WO2017134733A1 (ja) 2016-02-01 2017-08-10 三菱電機株式会社 車両情報表示制御装置および自動運転情報の表示方法
WO2018025414A1 (ja) 2016-08-05 2018-02-08 三菱電機株式会社 操作権限管理装置および操作権限管理方法
WO2018100725A1 (ja) 2016-12-02 2018-06-07 三菱電機株式会社 自動運転制御計画策定装置および自動運転制御計画の策定方法

Also Published As

Publication number Publication date
EP3958235A4 (en) 2022-05-25
WO2020213280A1 (ja) 2020-10-22
US20220161813A1 (en) 2022-05-26
EP3958235A1 (en) 2022-02-23
KR20210151802A (ko) 2021-12-14
JPWO2020213280A1 (ja) 2020-10-22
CN114072865A (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
JP7352566B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JP7431223B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
CN112672943B (zh) 信息处理设备、移动装置、方法和程序
JP7155122B2 (ja) 車両制御装置及び車両制御方法
CN111315627B (zh) 信息处理装置和信息处理方法
WO2019202881A1 (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
KR102669020B1 (ko) 정보 처리 장치, 이동 장치, 및 방법, 그리고 프로그램
WO2021049219A1 (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
WO2021131474A1 (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
CN116034408A (zh) 信息处理设备、信息处理方法和信息处理程序
US11866073B2 (en) Information processing device, information processing system, and information processing method for wearable information terminal for a driver of an automatic driving vehicle
CN116685516A (zh) 信息处理装置、信息处理方法和信息处理程序
JP7238193B2 (ja) 車両制御装置および車両制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240201

R150 Certificate of patent or registration of utility model

Ref document number: 7431223

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150