JPWO2017072939A1 - 車両情報表示制御装置および自動運転情報の表示方法 - Google Patents

車両情報表示制御装置および自動運転情報の表示方法 Download PDF

Info

Publication number
JPWO2017072939A1
JPWO2017072939A1 JP2017547301A JP2017547301A JPWO2017072939A1 JP WO2017072939 A1 JPWO2017072939 A1 JP WO2017072939A1 JP 2017547301 A JP2017547301 A JP 2017547301A JP 2017547301 A JP2017547301 A JP 2017547301A JP WO2017072939 A1 JPWO2017072939 A1 JP WO2017072939A1
Authority
JP
Japan
Prior art keywords
image
manual
automatic
actuator
control mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017547301A
Other languages
English (en)
Other versions
JP6351867B2 (ja
Inventor
直志 宮原
直志 宮原
下谷 光生
光生 下谷
井上 悟
井上  悟
佐藤 理朗
理朗 佐藤
裕樹 境
裕樹 境
裕史 狩田
裕史 狩田
木村 淳一
淳一 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2017072939A1 publication Critical patent/JPWO2017072939A1/ja
Application granted granted Critical
Publication of JP6351867B2 publication Critical patent/JP6351867B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60Instruments characterised by their location or relative disposition in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • B60K35/81Arrangements for controlling instruments for controlling displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/082Selecting or switching between different modes of propelling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0051Handover processes from occupants to vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0053Handover processes from vehicle to occupant
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0057Estimation of the time available or required for the handover
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/172Driving mode indication
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/175Autonomous driving
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/182Distributing information between displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/31Virtual images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/213Virtual instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22Display screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/10Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Instrument Panels (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

車両情報表示制御装置(10)は、車両の各アクチュエータが手動制御モードか自動制御モードかを示す情報を含む自動運転情報を取得する自動運転情報取得部(11)と、自動運転情報に基づいて、表示装置(20)に画像を表示する表示制御部(12)と、を備える。表示制御部(12)は、表示装置(20)に各アクチュエータに対応する手動運転装置の画像(41a,42a,43a,44a)を表示すると共に、手動制御モードのアクチュエータに対応する手動運転装置の画像(41a,42a,43a,44a)に、人間による操作を想起させる画像である手動イメージ画像(71)を重畳させて表示し、自動制御モードのアクチュエータに対応する手動運転装置の画像(41a,42a,43a,44a)に、機械による操作を想起させる画像である自動イメージ画像(72)を重畳させて表示する。

Description

本発明は、車両情報表示制御装置に関し、特に、自動運転情報の表示方法に関するものである。
例えば下記の特許文献1には、車両の手動運転モードから自動運転モードへの切り替えを段階的に行うときの自動化レベルを運転者に提示することにより、自動運転モードに対する運転者の違和感を解消する技術が開示されている。
特開2015−24746号公報
特許文献1では、運転者に提示する自動化レベルを「1」、「2」、「3」といった数値で表している。そのため、運転者は、自動化の程度(比率)を大まかに把握できるが、車両のアクチュエータ(ステアリング、アクセル、ブレーキ、シフトなど)のうちのどれが自動制御され、どれが手動制御されるのかを直感的に把握するのは困難である。
本発明は以上のような課題を解決するためになされたものであり、運転者に各アクチュエータの制御モード(自動制御モードまたは手動制御モード)を直感的に把握させることができる車両情報表示制御装置を提供することを目的とする。
本発明の第1の態様に係る車両情報表示制御装置は、車両の各アクチュエータが手動制御モードか自動制御モードかを示す情報を含む自動運転情報を取得する自動運転情報取得部と、自動運転情報に基づいて、表示装置に画像を表示する表示制御部と、を備え、表示制御部は、表示装置に各アクチュエータに対応する手動運転装置の画像を表示すると共に、手動制御モードのアクチュエータに対応する手動運転装置の画像に、人間による操作を想起させる画像である手動イメージ画像を重畳させて表示する。
本発明の第2の態様に係る車両情報表示制御装置は、車両の各アクチュエータが手動制御モードか自動制御モードかを示す情報を含む自動運転情報を取得する自動運転情報取得部と、自動運転情報に基づいて、表示装置に画像を表示する表示制御部と、を備え、表示制御部は、表示装置に各アクチュエータに対応する手動運転装置の画像を表示すると共に、自動制御モードのアクチュエータに対応する手動運転装置の画像に、自動イメージ画像を重畳させて表示する。
本発明に係る車両情報表示制御装置によれば、各アクチュエータに対応する手動運転装置の画像に、各アクチュエータの制御モードに応じて、手動イメージ画像または自動イメージ画像が重畳表示されるため、運転者はその表示から各アクチュエータの制御モードを直感的に把握することができる。
この発明の目的、特徴、局面、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
本発明の実施の形態に係る運転支援システムの構成を示すブロック図である。 車両情報表示制御装置のハードウェア構成の一例を示す図である。 車両情報表示制御装置のハードウェア構成の一例を示す図である。 車両情報表示制御装置の動作を示すフローチャートである。 自動運転情報の表示例を示す図である。 自動運転情報の表示例を示す図である。 自動運転情報の表示例を示す図である。 自動運転情報の表示例を示す図である。 自動運転情報の表示例を示す図である。 自動運転情報の表示例を示す図である。 自動運転システムの動作を示すフローチャートである。 自動運転情報の表示例を示す図である。 自動運転情報の表示例を示す図である。 自動運転情報の表示例を示す図である。 自動運転情報の表示例を示す図である。 自動運転情報の表示例を示す図である。 自動運転情報の表示例を示す図である。 自動運転情報の表示例を示す図である。 自動運転情報の表示例を示す図である。 自動運転情報の表示例を示す図である。 自動運転情報の表示例を示す図である。 自動運転情報の表示例を示す図である。 自動運転情報の表示例を示す図である。 自動運転情報の表示例を示す図である。 自動運転情報の表示例を示す図である。 自動運転情報の表示例を示す図である。 自動運転可能な区間までの距離または時間の表示例を示す図である。 自動運転可能な区間までの距離または時間の表示例を示す図である。
<実施の形態1>
図1は、本発明の実施の形態に係る運転支援システムの構成を示すブロック図である。図1のように、当該運転支援システムは、車両情報表示制御装置10、表示装置20、自動運転システム30、手動運転装置40およびアクチュエータ50を含む構成となっている。以下、当該運転支援システムを搭載した車両を「自車両」という。
アクチュエータ50は、自車両の走行を制御する機器であり、ステアリング51、アクセル52(スロットル)、ブレーキ53およびシフト54(ギア)といった複数の要素を含んでいる(これら個々の要素を指して「アクチュエータ」ということもある)。その他、ヘッドランプやウインカーなどの灯火装置などもアクチュエータ50に含まれていてもよい。
手動運転装置40は、アクチュエータ50の制御を運転者が手動操作(マニュアル操作)によって行うための機器であり、ステアリング51を操作するためのハンドル41、アクセル52を操作するためのアクセルペダル42、ブレーキ53を操作するためのブレーキペダル43、シフト54を操作するためのシフトレバー44を含んでいる(これら個々の要素を指して「手動運転装置」ということもある)。その他、灯火装置の操作機器なども含まれていてもよい。
自動運転システム30は、アクチュエータ50の自動制御を行うシステムであり、運転関連情報取得装置31、HMI(Human-Machine Interface)装置32および自動運転制御装置33を含んでいる。
運転関連情報取得装置31は、各種のセンサや通信装置を含んでおり、自車両の運転に関する各種の情報(運転関連情報)を取得する。運転関連情報としては、例えば、自車両周辺の障害物(歩行者、他車両、地物など)の情報、地図情報、自車両の現在位置および走行予定経路の情報、交通情報(渋滞情報、工事情報など)、運転者の状況を示す情報(覚醒度、視線位置、手足の位置など)などが挙げられる。
HMI装置32は、自車両の運転者が自動運転制御装置33に指示を入力したり、自動運転制御装置33が各種の情報を運転者に提示したりするユーザインタフェースである。HMI装置32における入力手段は、操作ボタンやキーボード、遠隔操作スイッチなどのハードウェアでもよいし、画面に表示されるボタン(アイコン)を用いたソフトウェアキーでもよい。情報の出力手段は、表示装置や音声出力装置などである。出力手段としての表示装置に、入力手段としてのソフトウェアキーを表示する場合、HMI装置32はタッチパネルとして構成されていてもよい。
自動運転制御装置33は、運転関連情報取得装置31が取得した運転関連情報、およびHMI装置32に入力された運転者の指示に基づいて、アクチュエータ50の自動制御を行う。
以下、アクチュエータ50が自動運転システム30(自動運転制御装置33)によって自動制御される制御モードを「自動制御モード」といい、アクチュエータ50が手動運転装置40を用いた運転者の手動操作によって制御される制御モードを「手動制御モード」という。なお、制御モードは、アクチュエータ50の要素ごとに設定されることもあり、例えば、ステアリング51のみが自動制御モードになり、アクセル52、ブレーキ53およびシフト54は手動制御モードになることもある。
車両情報表示制御装置10は、自動運転情報取得部11および表示制御部12を含んでいる。自動運転情報取得部11は、自動運転制御装置33から自動運転情報を取得する。自動運転情報には、少なくとも、自車両の各アクチュエータ(ステアリング51、アクセル52、ブレーキ53およびシフト54)が手動制御モードか自動制御モードかを示す情報が含まれている。表示制御部12は、自動運転情報取得部11が取得した自動運転情報に基づいて、表示装置20に画像を表示する。
本実施の形態において、表示制御部12は、各アクチュエータに対応する手動運転装置(ハンドル41、アクセルペダル42、ブレーキペダル43およびシフトレバー44)の画像を表示装置20に表示すると共に、それらのうち手動制御モードのアクチュエータに対応する画像には、人間による操作を想起させる画像である「手動イメージ画像」を重畳させて表示する。手動イメージ画像としては、例えば、人間の手または足、人間の手形または足形、人間の手または足の着用物などの画像である。
表示装置20は、運転席のメータークラスタ内に配備されていることが好ましいが、これに限られるものではない。表示装置20は、例えば、ダッシュボードのセンターパネル(運転席と助手席の間)に配設されていてもよいし、ヘッドアップディスプレイ(HUD)として構成されていてもよい。HUDは、車両のウインドシールド(フロントガラス)に画像を表示することで、運転者の視野に当該画像を虚像として表示させるものである。HUDが表示した画像(虚像)は、運転者から見ると、あたかも車両の前方の空間に存在するように見える。
図2および図3は、それぞれ車両情報表示制御装置10のハードウェア構成の一例を示す図である。車両情報表示制御装置10における自動運転情報取得部11および表示制御部12は、例えば図2に示す処理回路60により実現される。すなわち、処理回路60は、自動運転システム30から自動運転情報を取得する自動運転情報取得部11と、自動運転情報に基づいて、表示装置20に画像を表示する表示制御部12と、を備える。処理回路60には、専用のハードウェアが適用されてもよいし、メモリに格納されるプログラムを実行するプロセッサ(Central Processing Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、Digital Signal Processor)が適用されてもよい。
処理回路60が専用のハードウェアである場合、処理回路60は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC、FPGA、またはこれらを組み合わせたものなどが該当する。自動運転情報取得部11および表示制御部12の機能のそれぞれは、複数の処理回路60で実現されてもよいし、それらの機能がまとめて一つの処理回路60で実現されてもよい。
図3は、処理回路60がプロセッサを用いて構成されている場合における車両情報表示制御装置10のハードウェア構成を示している。この場合、自動運転情報取得部11および表示制御部12の機能は、ソフトウェア等(ソフトウェア、ファームウェア、またはソフトウェアとファームウェア)との組み合わせにより実現される。ソフトウェア等はプログラムとして記述され、メモリ62に格納される。処理回路60としてのプロセッサ61は、メモリ62に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、車両情報表示制御装置10は、処理回路60により実行されるときに、自動運転システム30から自動運転情報を取得するステップと、自動運転情報に基づいて、表示装置20に画像を表示するステップと、が結果的に実行されることになるプログラムを格納するためのメモリ62を備える。換言すれば、このプログラムは、自動運転情報取得部11および表示制御部12の動作の手順や方法をコンピュータに実行させるものであるともいえる。
ここで、メモリ62には、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリー、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)などの、不揮発性または揮発性の半導体メモリ、HDD(Hard Disk Drive)、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disc)およびそのドライブ装置等が該当する。
以上、自動運転情報取得部11および表示制御部12の各機能が、ハードウェアおよびソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、自動運転情報取得部11および表示制御部12の一部を専用のハードウェアで実現し、別の一部をソフトウェア等で実現する構成であってもよい。例えば、自動運転情報取得部11については専用のハードウェアとしての処理回路でその機能を実現し、表示制御部12についてはプロセッサ61としての処理回路60がメモリ62に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
以上のように、処理回路60は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。
次に、自動運転情報の具体的な表示例を挙げて、実施の形態1に係る車両情報表示制御装置10の動作を説明する。図4は、車両情報表示制御装置10の動作を示すフローチャートである。
車両情報表示制御装置10が起動すると、自動運転情報取得部11が、自動運転制御装置33から、各アクチュエータの制御モード(手動制御モードまたは自動制御モード)の情報を含む自動運転情報を取得する(ステップS1)。表示制御部12は、自動運転情報取得部11が取得した自動運転情報に基づいて、各アクチュエータの制御モードを確認する(ステップS2)。そして、表示制御部12は、各アクチュエータの制御モードを表す画像を、表示装置20に表示する(ステップS3)。車両情報表示制御装置10は、この一連の動作を繰り返し行う。
ステップS3では、表示制御部12が、各アクチュエータに対応する手動運転装置(ハンドル41、アクセルペダル42、ブレーキペダル43およびシフトレバー44)の画像を表示装置20に表示すると共に、それらのうち手動制御モードのアクチュエータに対応する画像には、人間による操作を想起させる手動イメージ画像を重畳させて表示する。
例えば、ステアリング51、アクセル52、ブレーキ53およびシフト54が全て手動制御モードである場合、表示制御部12は、図5のように、ハンドル41を表すハンドル画像41a、アクセルペダル42を表すアクセルペダル画像42a、ブレーキペダル43を表すブレーキペダル画像43aおよびシフトレバー44を表すシフトレバー画像44aを表示装置20に表示すると共に、それらに重畳させて手動イメージ画像71を表示する。通常、ハンドル41およびシフトレバー44は手で操作され、アクセルペダル42およびブレーキペダル43は足で操作されるため、本実施の形態では、ハンドル画像41aおよびシフトレバー画像44aに重畳させる手動イメージ画像71を人間の手の画像とし、アクセルペダル画像42aおよびブレーキペダル画像43aに重畳させる手動イメージ画像71を人間の足形(靴底の形)の画像としている。なお、ハンドル画像41aがステアリング51に対応する画像であり、アクセルペダル画像42aがアクセル52に対応する画像であり、ブレーキペダル画像43aがブレーキ53に対応する画像であり、シフトレバー画像44aがシフト54に対応する画像であることは言うまでもない。
また、ステアリング51、アクセル52、ブレーキ53およびシフト54が全て自動制御モードである場合、表示制御部12は、図6のように、ハンドル画像41a、アクセルペダル画像42a、ブレーキペダル画像43aおよびシフトレバー画像44aを表示装置20に表示させるが、手動イメージ画像71は表示しない。あるいは、図7のように、ハンドル画像41a、アクセルペダル画像42a、ブレーキペダル画像43aおよびシフトレバー画像44aに、半透明化または破線で表した手動イメージ画像71を重畳表示してもよい。
手動制御モードのアクチュエータと自動制御モードのアクチュエータとが混在する場合、表示制御部12は、手動制御モードのアクチュエータに対応する画像のみに手動イメージ画像71を重畳表示する。例えば、ステアリング51のみが自動制御モードになり、アクセル52、ブレーキ53およびシフト54が手動制御モードである場合は、図8のように、アクセルペダル画像42a、ブレーキペダル画像43aおよびシフトレバー画像44aに手動イメージ画像71を重畳表示させ、ハンドル画像41aには重畳表示させない。
また、手動制御モードのアクチュエータに対応する手動運転装置の画像と、自動制御モードのアクチュエータに対応する手動運転装置の画像とで、表示態様を変えてもよい。例えば、図9のように、自動制御モードのアクチュエータに対応する手動運転装置の画像(ここではハンドル画像41a)を、半透明化または破線で表して表示してもよい。また、手動制御モードのアクチュエータに対応する手動運転装置の画像は平面的な画像とし、自動制御モードのアクチュエータに対応する手動運転装置の画像は立体的な画像としてもよい。また、手動制御モードのアクチュエータに対応する手動運転装置の画像と、自動制御モードのアクチュエータに対応する手動運転装置の画像とで、色、明度、大きさなどを変えてもよい。また、手動制御モードのアクチュエータに対応する手動運転装置の画像と、自動制御モードのアクチュエータに対応する手動運転装置の画像との片方だけに、アニメーション効果(例えば点滅や、色の変化など)を適用してもよい。さらに、文字情報を追加して表示してもよい。
ここで、自動制御モードには、手動操作の介入を認めないものと、手動操作が行われると手動制御モードへ移行するものとが存在する場合がある。その場合、両者を見分けることができるようにしてもよい。例えば、ステアリング51が、手動操作の介入を認めない自動制御モードであるときは、上記の図9と同様にハンドル画像41aを半透明または破線で表示し、ステアリング51が、手動操作が行われると手動制御モードへ移行する自動制御モードであるときは、図10のように、半透明または破線で表示されたハンドル画像41aに、手動イメージ画像71を重畳表示してもよい。
ここで、実施の形態1の運転支援システムにおける、車両情報表示制御装置10と自動運転システム30との連携動作の具体例を示す。図11は、自動運転システム30の動作を示すフローチャートである。図11に示すフローは、自動運転システム30の動作の一例であり、本発明の適用がこれに限られるものではない。また、ここでは簡単のため、自動運転システム30が規定する自車両の動作モードは、アクチュエータ50の全ての要素が手動制御モードになる「手動運転モード」と、アクチュエータ50の全ての要素が自動制御モードになる「自動運転モード」との2種類のみと仮定する。
また、自動運転情報取得部11が自動運転制御装置33から取得する自動運転情報には、自車両の各アクチュエータが手動制御モードか自動制御モードかを示す情報の他、手動制御モードのアクチュエータが自動制御モードへ切り換え可能な状態か否かの情報、自動制御モードのアクチュエータを手動制御モードへ切り換える必要が生じるまでの距離または時間の情報、手動制御モードのアクチュエータが自動制御モードへ切り換え可能な状態になるまでの距離または時間の情報が含まれているものとする。
自動運転システム30が起動した直後は、自動運転制御装置33は自車両を手動運転モードにする(ステップS101)。このとき、アクチュエータ50は手動制御モードになるため、車両情報表示制御装置10の表示制御部12は、図12のように、ハンドル画像41a、アクセルペダル画像42a、ブレーキペダル画像43aおよびシフトレバー画像44aのそれぞれに、手動イメージ画像71を重畳表示させる。
自車両が手動運転モードで走行している間、自動運転制御装置33は、運転関連情報取得装置31が取得した運転関連情報に基づいて、自車両が自動運転モードへ移行可能な状態かどうかを確認する(ステップS102)。例えば、高速道路などの自動車専用道路で自動運転モードが許容される場合、自動運転制御装置33は、地図情報および自車両の現在位置の情報から自車両が走行中の道路を確認し、自車両が自動車専用道路を走行中であれば自動運転モードへ移行可能と判断する。
自動運転モードへ移行可能な場合(ステップS102でYES)、自動運転制御装置33は、HMI装置32を用いてその旨を運転者へ通知する(ステップS103)。このとき表示制御部12は、自動運転情報に基づいて、自動運転システム30でステップS103の通知が行われることを検知し、当該通知を表示装置20を用いて行う。当該通知の方法としては、例えば図13に示すように、手動イメージ画像71を点滅させる方法が考えられる。当該通知の後、運転者は、HMI装置32を操作して、自動運転モードへの切り換えを自動運転制御装置33に指示することができる。
自動運転制御装置33は、自動運転モードへの切り換え指示を受けると(ステップS104でYES)、自動運転モードへ移行可能であることを再確認した上で(ステップS105)、自車両を自動運転モードへ切り換える(ステップS106)。なお、自動運転モードへの切り換え指示がない場合(ステップS104でNO)や、当該指示があっても自動運転モードへ移行可能でなかった場合(ステップS105でNO)は、ステップS101へ戻り、手動運転モードが継続される。
自車両が自動運転モードになると、アクチュエータ50は自動制御モードになるため、車両情報表示制御装置10の表示制御部12は、表示装置20から手動イメージ画像71の表示を消し、さらに、図14のように、ハンドル画像41a、アクセルペダル画像42a、ブレーキペダル画像43aおよびシフトレバー画像44aを半透明または点線で表示させる。
自車両が自動運転モードで走行している間、自動運転制御装置33は、運転関連情報取得装置31が取得した運転関連情報に基づいて、手動運転モードへの切り換えが必要となるまでの距離または時間が、予め定められた閾値以下かどうかを確認する(ステップS107)。例えば、自動車専用道路以外では自動運転モードが許容されない場合、自動運転制御装置33は、地図情報、自車両の現在位置および走行予定経路の情報から自車両が自動車専用道路から出るまでの距離または時間を算出し、その値を閾値と比較する。当該閾値は、例えば、距離であれば5km、時間であれば5分程度が好ましい。手動運転モードへの切り換えが必要となるまでの距離または時間が閾値よりも大きい場合(ステップS107でNO)、ステップS106へ戻り、自動運転モードが継続される。
手動運転モードへの切り換えが必要となるまでの距離または時間が閾値以下である場合(ステップS107でYES)、自動運転制御装置33は、さらに、即座に手動運転モードへ切り換える必要があるかどうかを確認する(ステップS108)。この確認は、手動運転モードへの切り換えが必要となるまでの距離または時間を、ステップS107での閾値よりも小さい第2の閾値と比較することで行われる。第2の閾値は0でよいが、マージンをとって、距離であれば1km、時間であれば1分などとしてもよい。
手動運転モードへ即座に切り換える必要がなければ(ステップS108でNO)、自動運転制御装置33は、自動運転モードに切り換える必要が生じる旨を、HMI装置32を用いて運転者へ通知した上で(ステップS109)、自動運転モードを継続する。このとき表示制御部12は、自動運転情報に基づいて、自動運転システム30でステップS109の通知が行われることを検知し、当該通知を表示装置20を用いて行う。当該通知の方法としては、例えば図15に示すように、図14の表示に重畳させて、手動イメージ画像71を点滅表示させる方法が考えられる。
図11での図示は省略するが、自車両が自動運転モードの場合、運転者は、任意のタイミングで、HMI装置32を操作して自車両を手動運転モード(ステップS101)へ戻すことが可能である。通常、運転者は、ステップS109の通知を受ければ、自らの意思で自車両を手動運転モードにするであろう。
しかし、その後も自車両が自動運転モードでの走行を継続すると、手動運転モードへ即座に切り換える必要が生じる(ステップS108でYES)。この場合、自動運転制御装置33は、運転者が手動運転可能な状態か否かを判断する(ステップS110)。この判断は、例えば、運転者の視線や覚醒度、手足の位置(手動運転装置40を操作しているかどうか)などに基づいて行われる。運転者が手動運転可能な状態であれば(ステップS110でYES)、ステップS101へ戻り、自動運転制御装置33は、自車両を手動運転モードへ移行させる。
しかし、運転者が手動運転可能な状態でなければ(ステップS110でNO)、自動運転制御装置33は、自動運転モードに切り換える必要がある旨を運転者へ警告する(ステップS111)。このとき表示制御部12は、自動運転情報に基づいて、自動運転システム30でステップS111の警告が行われることを検知し、当該警告を表示装置20を用いて行う。この警告の方法としては、例えば図16に示すように、図15の状態から、手動イメージ画像71の目立つ色に変化させる方法などが考えられる。
ステップS111の警告を行った後、自動運転制御装置33は、再度、運転者が手動運転装置40を用いた手動運転を行える状態か否かを確認する(ステップS112)。運転者が手動運転可能な状態になっていれば(ステップS112でYES)、ステップS101へ戻り、自動運転制御装置33は、自車両を手動運転モードへ移行させる。
しかし、運転者が手動運転可能な状態にならなければ(ステップS112でNO)、自動運転制御装置33は、自車両を路肩等へ回避させて緊急停止させた上で(ステップS113)、ステップS112へ戻り、運転者が手動運転可能な状態になるのを待つ。
以上のように、実施の形態1に係る運転支援システムによれば、手動制御モードの各アクチュエータに対応する手動運転装置の画像(ハンドル画像41a、アクセルペダル画像42a、ブレーキペダル画像43aおよびシフトレバー画像44a)に、手動イメージ画像71が重畳表示されるため、運転者はその表示から各アクチュエータの制御モードを直感的に把握することができる。
なお、ステップS103,S109の通知およびステップS111の警告を行う際に表示制御部12が表示装置20に表示させる画面は、それぞれ図13、図15および図16の例に限られず、任意の態様でよい。すなわち、各アクチュエータに対応する手動運転装置の画像の表示態様が通常状態から明示的に変化すればよく、画像を点滅させる方法や画像の色を変化させる方法以外にも、画像の大きさ、形状、動き、表示位置(虚像距離を含む)などを変える方法でもよい。
例えばステップS109の通知においては、図17のように、手動運転モードへの切り換えが必要となるまでの距離または時間を表示させてもよい。また、例えば図18のように、自動制御モードのアクチュエータに対応する手動運転装置の画像から離間させて手動イメージ画像71を表示し、その間隔の大きさによって、当該アクチュエータを手動制御モードへ切り換える必要が生じるまでの距離または時間を表してもよい(すなわち、当該距離または時間が短くなるほど、手動イメージ画像71を手動運転装置の画像に近づける)。
また、ステップS103の通知に先立って、表示制御部12が、図19のように、自動運転モードへの切り換えが可能となる区間(例えば、自動車専用道路)に自車両が到達するまでの距離または時間の通知を表示装置20に表示してもよい。
表示装置20の画面におけるハンドル画像41a、アクセルペダル画像42a、ブレーキペダル画像43aおよびシフトレバー画像44aのレイアウトも、上に示したものに限られない。例えば、図20のように、自車両を上空から見たスケルトン画像を表示し、当該スケルトン画像におけるハンドル41、アクセルペダル42、ブレーキペダル43およびシフトレバー44の実際の位置に、それぞれハンドル画像41a、アクセルペダル画像42a、ブレーキペダル画像43aおよびシフトレバー画像44aを配置してもよい。その場合も、手動イメージ画像71は、ハンドル画像41a、アクセルペダル画像42a、ブレーキペダル画像43aおよびシフトレバー画像44aのそれぞれに重畳する位置に表示させる。
<実施の形態2>
実施の形態1では、表示制御部12が、手動制御モードのアクチュエータに対応する手動運転装置の画像(ハンドル画像41a、アクセルペダル画像42a、ブレーキペダル画像43aおよびシフトレバー画像44a)に、人間による操作を想起させる画像である「手動イメージ画像」を重畳表示させていた。実施の形態2では、表示制御部12が、さらに、自動制御モードのアクチュエータに対応する手動運転装置の画像に、機械による操作を想起させる画像である「自動イメージ画像」を重畳表示させる。自動イメージ画像としては、例えば、機械的な手または足(ロボットの手または足)、機械的な手形または足形(ロボットの手形または足形)、もしくは機械部品、遠隔制御装置などの画像である。
なお、車両情報表示制御装置10の構成および動作は、基本的に実施の形態1(図1〜図4)と同様であるので、ここでの説明は省略する。
次に、自動運転情報の具体的な表示例を挙げて、実施の形態2に係る車両情報表示制御装置10の動作を説明する。例えば、ステアリング51、アクセル52、ブレーキ53およびシフト54が全て手動制御モードである場合、表示制御部12は、実施の形態1と同様の表示(図5)を行うが、それらが全て自動制御モードである場合は、図21のように、ハンドル画像41a、アクセルペダル画像42a、ブレーキペダル画像43aおよびシフトレバー画像44aのそれぞれに自動イメージ画像72を重畳表示させる。本実施の形態では、ハンドル画像41aおよびシフトレバー画像44aに重畳させる自動イメージ画像72をロボットの手の画像とし、アクセルペダル画像42aおよびブレーキペダル画像43aに重畳させる自動イメージ画像72をロボットの足の画像としている。
手動制御モードのアクチュエータと自動制御モードのアクチュエータとが混在する場合、表示制御部12は、手動制御モードのアクチュエータに対応する手動運転装置の画像には手動イメージ画像71を重畳表示させ、自動制御モードのアクチュエータに対応する手動運転装置の画像には自動イメージ画像72を重畳表示させる。例えば、ステアリング51のみが自動制御モードになり、アクセル52、ブレーキ53およびシフト54が手動制御モードである場合は、図22のように、アクセルペダル画像42a、ブレーキペダル画像43aおよびシフトレバー画像44aに手動イメージ画像71を重畳表示させ、ハンドル画像41aには自動イメージ画像72を重畳表示させる。また、図23のように、自動制御モードのアクチュエータに対応する手動運転装置の画像(ハンドル画像41a)を、半透明化または破線で表して表示してもよい。
また、例えば、ステアリング51が、手動操作の介入を認めない自動制御モードであるときは、上記の図22または図23と同様に、ハンドル画像41aに自動イメージ画像72のみを重畳表示させ、ステアリング51が、手動操作が行われると手動制御モードへ移行する自動制御モードであるときは、図24のように、手動イメージ画像71と自動イメージ画像72との両方をハンドル画像41aに重畳表示させてもよい。
実施の形態2に係る運転支援システムによれば、自動制御モードの各アクチュエータに対応する手動運転装置の画像(ハンドル画像41a、アクセルペダル画像42a、ブレーキペダル画像43aおよびシフトレバー画像44a)に、自動イメージ画像72が重畳表示されるため、運転者はその表示から各アクチュエータの制御モードをより直感的に把握することができる。
本実施の形態も、図11に示した自動運転システム30の動作フローとの組み合わせは可能である。実施の形態1では、ステップS103またはステップS109の通知において手動イメージ画像71を点滅させたが、本実施の形態では、それに代えて自動イメージ画像72を点滅表示させてもよい。また、ステップS109の通知においては、例えば図25のように、自動制御モードのアクチュエータに対応する手動運転装置の画像から離間させて手動イメージ画像71を表示し、その間隔の大きさによって、当該アクチュエータを手動制御モードへ切り換える必要が生じるまでの距離または時間を表してもよい(すなわち、当該距離または時間が短くなるほど、手動イメージ画像71を手動運転装置の画像に近づける)。
また、ステップS103の通知に先立って、自動運転モードへの切り換えが可能となる区間(例えば、自動車専用道路)に自車両が到達するまでの距離または時間を通知する表示を行う場合、例えば図26のように、手動制御モードのアクチュエータに対応する手動運転装置の画像から離間させて自動イメージ画像72を表示し、その間隔の大きさによって、当該アクチュエータを自動制御モードへ切り換え可能になるまでの距離または時間を表してもよい(すなわち、当該距離または時間が短くなるほど、自動イメージ画像72を手動運転装置の画像に近づける)。
また、図25や図26の例において、手動イメージ画像71または自動イメージ画像72の位置を動かす代わりに、矢印の色の変化によって、距離または時間の変化を表してもよい。例えば図26の例において、自動イメージ画像72と手動イメージ画像71との間に、図27の(a)部に示すような矢印の画像73を表示し、自動運転モードへの切り換えが可能となる区間までの距離または時間が短くなると、図27の(b)部に示すように、矢印の画像73における自動イメージ画像72と同じ色の部分の面積を増やすことが考えられる。また、自動イメージ画像72と手動イメージ画像71との間に、図28の(a)部に示すように複数に分割された矢印の画像73を表示し、自動運転モードへの切り換えが可能となる区間までの距離または時間が短くなると、図28の(b)部に示すように、矢印の画像73における自動イメージ画像72と同じ色の部分の数を増やしてもよい。
なお、実施の形態2では、手動制御モードを表す手動イメージ画像71と、自動制御モードを表す自動イメージ画像72の両方を用いる例を示したが、自動イメージ画像72のみを用いてもよい。すなわち、例えば、アクチュエータ50が手動制御モードのときは、図6のようにハンドル画像41a、アクセルペダル画像42a、ブレーキペダル画像43aおよびシフトレバー画像44aのみを表示し、アクチュエータ50が自動制御モードのときに図21のように、ハンドル画像41a、アクセルペダル画像42a、ブレーキペダル画像43aおよびシフトレバー画像44aに自動イメージ画像72を表示するようにしてもよい。この場合も、運転者はその表示から各アクチュエータの制御モードを直感的に把握することができるという、実施の形態1,2と同様の効果が得られる。
手動イメージ画像および自動イメージ画像は、上で示したものに限られない。手動イメージ画像には、運転者がより親近感をもつようなデザインを採用してもよい。手動イメージ画像として、例えば、動物の手足、鳥の翼などの画像やイラストを用いてもよい。また、自動イメージ画像として、例えば、無機質な物体、鉱物、金属部品、植物など、手動イメージ画像とは異なるジャンルの画像を用いてもよい。また、運転者が複数の画像の中から手動イメージ画像または自動イメージ画像を選択できるようにしてもよい。
なお、本発明が適用可能な自動運転には、自動駐車も含まれることは言うまでもない。また、自動駐車には、ハンドル操作(ステアリング制御)が自動で行われるがアクセル操作は手動で行う必要がある半自動駐車や、ステアリング、アクセルその他のアクチュエータの制御の全てが自動で行われる準自動駐車も含まれる。
なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。
この発明は詳細に説明されたが、上記した説明は、すべての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。
10 車両情報表示制御装置、11 自動運転情報取得部、12 表示制御部、20 表示装置、30 自動運転システム、31 運転関連情報取得装置、32 HMI装置、33 自動運転制御装置、40 手動運転装置、41 ハンドル、42 アクセルペダル、43 ブレーキペダル、44 シフトレバー、50 アクチュエータ、51 ステアリング、52 アクセル、53 ブレーキ、54 シフト、60 処理回路、61 プロセッサ、62 メモリ、41a ハンドル画像、42a アクセルペダル画像、43a ブレーキペダル画像、44a シフトレバー画像、71 手動イメージ画像、72 自動イメージ画像。

Claims (25)

  1. 車両の各アクチュエータが手動制御モードか自動制御モードかを示す情報を含む自動運転情報を取得する自動運転情報取得部と、
    前記自動運転情報に基づいて、表示装置に画像を表示する表示制御部と、
    を備え、
    前記表示制御部は、前記表示装置に各アクチュエータに対応する手動運転装置の画像を表示すると共に、手動制御モードのアクチュエータに対応する手動運転装置の画像に、人間による操作を想起させる画像である手動イメージ画像を重畳させて表示する
    車両情報表示制御装置。
  2. 前記手動イメージ画像は、人間の手または足、人間の手形または足形、人間の手または足の着用物のうちのいずれかを表す画像である
    請求項1記載の車両情報表示制御装置。
  3. 前記表示制御部は、自動制御モードのアクチュエータに対応する手動運転装置の画像には、半透明化した手動イメージ画像または破線で表した手動イメージ画像を重畳させて表示する
    請求項1記載の車両情報表示制御装置。
  4. 前記表示制御部は、自動制御モードのアクチュエータに対応する手動運転装置の画像を半透明化または破線で表して表示する
    請求項1記載の車両情報表示制御装置。
  5. 前記表示制御部は、手動操作が行われると手動制御モードへ移行する自動制御モードのアクチュエータに対応する手動運転装置の画像を、半透明化または破線で表して表示し、且つ、当該アクチュエータに対応する手動運転装置の画像に、手動イメージ画像を重畳させて表示する
    請求項1記載の車両情報表示制御装置。
  6. 前記表示制御部は、自動制御モードのアクチュエータに対応する手動運転装置の画像に、機械による操作を想起させる画像である自動イメージ画像を重畳させて表示する
    請求項1記載の車両情報表示制御装置。
  7. 前記自動イメージ画像は、機械的な手または足、機械的な手形または足形、もしくは機械部品、遠隔制御装置のうちのいずれかを表す画像である
    請求項6記載の車両情報表示制御装置。
  8. 前記表示制御部は、手動操作が行われると手動制御モードへ移行する自動制御モードのアクチュエータに対応する手動運転装置の画像には、自動イメージ画像に加えて、手動イメージ画像を重畳させて表示する
    請求項6記載の車両情報表示制御装置。
  9. 前記自動運転情報は、手動制御モードのアクチュエータが自動制御モードへ切り換え可能な状態か否かの情報をさらに含んでおり、
    前記表示制御部は、手動制御モードのアクチュエータが自動制御モードへ切り換え可能な状態になると、当該アクチュエータに対応する手動運転装置の画像に重畳させている前記手動イメージ画像を点滅させる
    請求項1記載の車両情報表示制御装置。
  10. 前記自動運転情報は、自動制御モードのアクチュエータを手動制御モードへ切り換える必要が生じるまでの距離または時間の情報をさらに含んでおり、
    前記表示制御部は、自動制御モードのアクチュエータを手動制御モードに切り換える必要が生じるまで距離または時間が予め定められた閾値以下になると、当該アクチュエータに対応する手動運転装置の画像に重畳させて、手動イメージ画像を点滅表示させる
    請求項1記載の車両情報表示制御装置。
  11. 前記自動運転情報は、自動制御モードのアクチュエータを手動制御モードへ切り換える必要が生じるまでの距離または時間の情報をさらに含んでおり、
    前記表示制御部は、自動制御モードのアクチュエータを手動制御モードへ切り換える必要が生じるまでの距離または時間を表示する
    請求項1記載の車両情報表示制御装置。
  12. 前記表示制御部は、自動制御モードのアクチュエータに対応する手動運転装置の画像から離間させて、手動イメージ画像を表示し、
    当該アクチュエータを手動制御モードへ切り換える必要が生じるまでの距離または時間を、当該アクチュエータに対応する手動運転装置の画像と前記手動イメージ画像との間隔の大きさ用いて表現する
    請求項11記載の車両情報表示制御装置。
  13. 前記自動運転情報は、手動制御モードのアクチュエータが自動制御モードへ切り換え可能な状態になるまでの距離または時間の情報をさらに含んでおり、
    前記表示制御部は、手動制御モードのアクチュエータが自動制御モードへ切り換え可能な状態になるまでの距離または時間を表示する
    請求項1記載の車両情報表示制御装置。
  14. 前記表示制御部は、手動制御モードのアクチュエータに対応する手動運転装置の画像から離間させて、自動イメージ画像を表示し、
    当該アクチュエータを自動制御モードへ切り換え可能な状態になるまでの距離または時間を、当該アクチュエータに対応する手動運転装置の画像と前記自動イメージ画像との間隔の大きさ用いて表現する
    請求項13記載の車両情報表示制御装置。
  15. 車両の各アクチュエータが手動制御モードか自動制御モードかを示す情報を含む自動運転情報を取得する自動運転情報取得部と、
    前記自動運転情報に基づいて、表示装置に画像を表示する表示制御部と、
    を備え、
    前記表示制御部は、前記表示装置に各アクチュエータに対応する手動運転装置の画像を表示すると共に、自動制御モードのアクチュエータに対応する手動運転装置の画像に、機械による操作を想起させる画像である自動イメージ画像を重畳させて表示する
    を備える車両情報表示制御装置。
  16. 前記自動イメージ画像は、機械的な手または足、機械的な手形または足形、もしくは機械部品、遠隔制御装置のうちのいずれかを表す画像である
    請求項15記載の車両情報表示制御装置。
  17. 前記表示制御部は、自動制御モードのアクチュエータに対応する手動運転装置の画像を半透明化または破線で表して表示する
    請求項15記載の車両情報表示制御装置。
  18. 前記自動運転情報は、手動制御モードのアクチュエータが自動制御モードへ切り換え可能な状態か否かの情報をさらに含んでおり、
    前記表示制御部は、手動制御モードのアクチュエータが自動制御モードへ切り換え可能な状態になると、当該アクチュエータに対応する手動運転装置の画像に重畳させて、前記自動イメージ画像を点滅表示させる
    請求項15記載の車両情報表示制御装置。
  19. 前記表示制御部は、手動操作が行われると手動制御モードへ移行する自動制御モードのアクチュエータに対応する手動運転装置の画像には、自動イメージ画像に加えて、手動イメージ画像を重畳させて表示する
    請求項15記載の車両情報表示制御装置。
  20. 前記自動運転情報は、自動制御モードのアクチュエータを手動制御モードへ切り換える必要が生じるまでの距離または時間の情報をさらに含んでおり、
    前記表示制御部は、自動制御モードのアクチュエータを手動制御モードへ切り換える必要が生じるまでの距離または時間を表示する
    請求項15記載の車両情報表示制御装置。
  21. 前記表示制御部は、自動制御モードのアクチュエータに対応する手動運転装置の画像から離間させて、手動イメージ画像を表示し、
    当該アクチュエータを手動制御モードへ切り換える必要が生じるまでの距離または時間を、当該アクチュエータに対応する手動運転装置の画像と前記手動イメージ画像との間隔の大きさ用いて表現する
    請求項20記載の車両情報表示制御装置。
  22. 前記自動運転情報は、手動制御モードのアクチュエータが自動制御モードへ切り換え可能な状態になるまでの距離または時間の情報をさらに含んでおり、
    前記表示制御部は、手動制御モードのアクチュエータが自動制御モードへ切り換え可能な状態になるまでの距離または時間を表示する
    請求項20記載の車両情報表示制御装置。
  23. 前記表示制御部は、手動制御モードのアクチュエータに対応する手動運転装置の画像から離間させて、自動イメージ画像を表示し、
    当該アクチュエータを自動制御モードへ切り換え可能な状態になるまでの距離または時間を、当該アクチュエータに対応する手動運転装置の画像と前記自動イメージ画像との間隔の大きさ用いて表現する
    請求項22記載の車両情報表示制御装置。
  24. 車両情報表示制御装置における自動運転情報の表示方法であって、
    前記車両情報表示制御装置の自動運転情報取得部が、車両の各アクチュエータが手動制御モードか自動制御モードかを示す情報を含む自動運転情報を取得し、
    前記車両情報表示制御装置の表示制御部が、表示装置に各アクチュエータに対応する手動運転装置の画像を表示すると共に、手動制御モードのアクチュエータに対応する手動運転装置の画像に、人間による操作を想起させる画像である手動イメージ画像を重畳させて表示する
    自動運転情報の表示方法。
  25. 車両情報表示制御装置における自動運転情報の表示方法であって、
    前記車両情報表示制御装置の自動運転情報取得部が、車両の各アクチュエータが手動制御モードか自動制御モードかを示す自動運転情報を取得し、
    前記車両情報表示制御装置の表示制御部が、表示装置に各アクチュエータに対応する手動運転装置の画像を表示すると共に、自動制御モードのアクチュエータに対応する手動運転装置の画像に、機械による操作を想起させる画像である自動イメージ画像を重畳させて表示する
    自動運転情報の表示方法。
JP2017547301A 2015-10-30 2015-10-30 車両情報表示制御装置および自動運転情報の表示方法 Active JP6351867B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/080681 WO2017072939A1 (ja) 2015-10-30 2015-10-30 車両情報表示制御装置および自動運転情報の表示方法

Publications (2)

Publication Number Publication Date
JPWO2017072939A1 true JPWO2017072939A1 (ja) 2018-01-11
JP6351867B2 JP6351867B2 (ja) 2018-07-04

Family

ID=58629966

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017547301A Active JP6351867B2 (ja) 2015-10-30 2015-10-30 車両情報表示制御装置および自動運転情報の表示方法

Country Status (5)

Country Link
US (1) US10661811B2 (ja)
JP (1) JP6351867B2 (ja)
CN (1) CN108349505B (ja)
DE (1) DE112015007067B4 (ja)
WO (1) WO2017072939A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7079069B2 (ja) * 2016-04-15 2022-06-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報提示制御装置、自動運転車、及び自動運転車運転支援システム
US10322721B2 (en) * 2016-06-28 2019-06-18 Faraday & Future Inc. Adaptive cruise control system having center-console access
FR3063958B1 (fr) * 2017-03-20 2019-03-22 Peugeot Citroen Automobiles Sa Procede et dispositif d’assistance d’un conducteur de vehicule a conduite autonome, notamment lors d’une reprise de controle manuel
JP2018203009A (ja) * 2017-06-02 2018-12-27 本田技研工業株式会社 車両制御システム、車両制御方法、およびプログラム
JP6508845B2 (ja) 2017-06-02 2019-05-08 本田技研工業株式会社 車両制御システム、車両制御方法、およびプログラム
US12091040B2 (en) * 2018-03-07 2024-09-17 Koito Manufacturing Co., Ltd. Vehicle cleaner system
JP6907250B2 (ja) * 2019-01-18 2021-07-21 矢崎総業株式会社 車両用表示装置
JP7311295B2 (ja) * 2019-03-29 2023-07-19 本田技研工業株式会社 制御装置、制御方法及びプログラム
JP2020168918A (ja) * 2019-04-02 2020-10-15 株式会社ジェイテクト 操舵装置
JP7207137B2 (ja) * 2019-04-25 2023-01-18 株式会社デンソー 表示制御装置及び表示制御システム
CN110281953B (zh) * 2019-07-05 2020-09-11 厦门金龙联合汽车工业有限公司 一种无人驾驶车辆的人机交互方法和交互系统
JP7465734B2 (ja) 2020-06-30 2024-04-11 株式会社フジタ 衝突試験車両の制御システム
JP7484590B2 (ja) 2020-08-31 2024-05-16 トヨタ自動車株式会社 車両用表示制御装置、車両用表示システム、車両用表示制御方法及び車両用表示制御プログラム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001199295A (ja) * 2000-01-19 2001-07-24 Nissan Motor Co Ltd 走行状態提示装置
JP2001199327A (ja) * 2000-01-19 2001-07-24 Nissan Motor Co Ltd 走行状態提示装置
JP2014065478A (ja) * 2012-09-24 2014-04-17 Hyundai Motor Company Co Ltd 自律走行車両の車両制御権転換方法
WO2014085380A1 (en) * 2012-11-30 2014-06-05 Google Inc. Engaging and disengaging for autonomous driving
JP2015093364A (ja) * 2013-11-13 2015-05-18 株式会社デンソー 車載ロボット
WO2015151243A1 (ja) * 2014-04-02 2015-10-08 日産自動車株式会社 車両用情報呈示装置
JP2015182525A (ja) * 2014-03-21 2015-10-22 アイシン・エィ・ダブリュ株式会社 自動運転支援装置、自動運転支援方法及びプログラム
JP2015182624A (ja) * 2014-03-25 2015-10-22 日産自動車株式会社 情報表示装置
JP2016090274A (ja) * 2014-10-30 2016-05-23 トヨタ自動車株式会社 警報装置、警報システム及び携帯端末
US20160231743A1 (en) * 2013-10-01 2016-08-11 Volkswagen Ag Method for a driver assistance system of a vehicle

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3235622B2 (ja) * 1991-08-05 2001-12-04 株式会社安川電機 手話装置
US8503759B2 (en) * 2007-04-16 2013-08-06 Alexander Greer Methods, devices, and systems useful in registration
JP5119938B2 (ja) * 2008-01-17 2013-01-16 日産自動車株式会社 車両用燃費表示装置
JP5304695B2 (ja) * 2010-03-17 2013-10-02 ブラザー工業株式会社 通信装置、および記録用音声受信装置の選定方法
DE102012206247A1 (de) * 2012-04-17 2013-10-17 Ford Global Technologies, Llc Verfahren und Vorrichtung zur Anzeige einer Hand eines Bedieners eines Bedienelements eines Fahrzeugs
JP6085182B2 (ja) * 2013-01-30 2017-02-22 矢崎総業株式会社 表示制御装置
JP6205947B2 (ja) 2013-07-26 2017-10-04 日産自動車株式会社 自動運転制御装置
WO2015162784A1 (ja) * 2014-04-25 2015-10-29 日産自動車株式会社 情報呈示装置及び情報呈示方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001199295A (ja) * 2000-01-19 2001-07-24 Nissan Motor Co Ltd 走行状態提示装置
JP2001199327A (ja) * 2000-01-19 2001-07-24 Nissan Motor Co Ltd 走行状態提示装置
JP2014065478A (ja) * 2012-09-24 2014-04-17 Hyundai Motor Company Co Ltd 自律走行車両の車両制御権転換方法
WO2014085380A1 (en) * 2012-11-30 2014-06-05 Google Inc. Engaging and disengaging for autonomous driving
US20160231743A1 (en) * 2013-10-01 2016-08-11 Volkswagen Ag Method for a driver assistance system of a vehicle
JP2015093364A (ja) * 2013-11-13 2015-05-18 株式会社デンソー 車載ロボット
JP2015182525A (ja) * 2014-03-21 2015-10-22 アイシン・エィ・ダブリュ株式会社 自動運転支援装置、自動運転支援方法及びプログラム
JP2015182624A (ja) * 2014-03-25 2015-10-22 日産自動車株式会社 情報表示装置
WO2015151243A1 (ja) * 2014-04-02 2015-10-08 日産自動車株式会社 車両用情報呈示装置
JP2016090274A (ja) * 2014-10-30 2016-05-23 トヨタ自動車株式会社 警報装置、警報システム及び携帯端末

Also Published As

Publication number Publication date
DE112015007067B4 (de) 2019-06-06
DE112015007067T5 (de) 2018-07-19
CN108349505A (zh) 2018-07-31
JP6351867B2 (ja) 2018-07-04
US10661811B2 (en) 2020-05-26
WO2017072939A1 (ja) 2017-05-04
CN108349505B (zh) 2021-02-09
US20180215396A1 (en) 2018-08-02

Similar Documents

Publication Publication Date Title
JP6351867B2 (ja) 車両情報表示制御装置および自動運転情報の表示方法
JP6381826B2 (ja) 車両情報表示制御装置
US11072343B2 (en) Driving assistance method, and driving assistance device, driving control device, vehicle, driving assistance program, and recording medium using said method
RU144767U1 (ru) Рулевое колесо для транспортного средства
US11021103B2 (en) Method for enriching a field of view of a driver of a transportation vehicle with additional information, device for use in an observer transportation vehicle, device for use in an object, and transportation vehicle
JP6316523B2 (ja) 車両情報表示制御装置および自動運転情報の表示方法
JP4891286B2 (ja) 遠隔操作装置
US11904688B2 (en) Method for calculating an AR-overlay of additional information for a display on a display unit, device for carrying out the method, as well as motor vehicle and computer program
EP3409553B1 (en) System and method for automated execution of a maneuver or behavior of a system
US10216468B2 (en) Cluster-radio information interchange system for enhancing human-machine interface experience
CN110088509B (zh) 档位选择系统和方法
CN111319624A (zh) 用于启动和执行自动变道操纵的系统和方法
WO2021132306A1 (ja) 表示制御装置、表示装置、表示制御方法及びプログラム
JP6533142B2 (ja) シフト装置
CN105939883B (zh) 用于显示车辆功能的至少一个参数设定的变化的方法以及装置
US20160110067A1 (en) Vehicle Operation Display Device
CN116529117A (zh) 扫动式闪烁指示物

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170929

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170929

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20171117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180508

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180605

R150 Certificate of patent or registration of utility model

Ref document number: 6351867

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250