JP7460964B2 - 表示制御装置、表示制御方法、及び、プログラム - Google Patents

表示制御装置、表示制御方法、及び、プログラム Download PDF

Info

Publication number
JP7460964B2
JP7460964B2 JP2021176685A JP2021176685A JP7460964B2 JP 7460964 B2 JP7460964 B2 JP 7460964B2 JP 2021176685 A JP2021176685 A JP 2021176685A JP 2021176685 A JP2021176685 A JP 2021176685A JP 7460964 B2 JP7460964 B2 JP 7460964B2
Authority
JP
Japan
Prior art keywords
display
information
switching
display device
display control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021176685A
Other languages
English (en)
Other versions
JP2023066142A (ja
Inventor
将仁 大石
忠宏 打越
晋太郎 三池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PANASONIC AUTOMOTIVE SYSTEMS CO., LTD.
Original Assignee
PANASONIC AUTOMOTIVE SYSTEMS CO., LTD.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PANASONIC AUTOMOTIVE SYSTEMS CO., LTD. filed Critical PANASONIC AUTOMOTIVE SYSTEMS CO., LTD.
Priority to JP2021176685A priority Critical patent/JP7460964B2/ja
Priority to US17/974,218 priority patent/US20230133086A1/en
Publication of JP2023066142A publication Critical patent/JP2023066142A/ja
Application granted granted Critical
Publication of JP7460964B2 publication Critical patent/JP7460964B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0053Handover processes from vehicle to occupant
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/161Explanation of functions, e.g. instructions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/175Autonomous driving
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • B60K35/81Arrangements for controlling instruments for controlling displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/225Direction of gaze
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Instrument Panels (AREA)
  • Navigation (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Description

本開示は、表示制御装置、表示制御方法、及び、プログラムに関する。
従来、車両に配置され、当該車両の運転者等のユーザに情報を通知する表示装置がある。
特許文献1には、車両の状態が自動運転から手動運転へ切り替えられる前に、運転者に対してハンドルを握るように誘導する誘導画像を表示装置に表示させる運転支援装置が開示されている。
特許文献2には、車両の運転者に対して自動運転から手動運転への切り替えを促す手動運転切替案内を行い、手動運転モードへの切替後、所定の条件を満たすまで運転支援制御を行う自動運転制御装置が開示されている。
特開2019-10929号公報 国際公開第2017/060978号
上記従来技術では、誘導画像を表示してユーザに手動運転へ切り替えられることが通知されても、ユーザは、車両の運転状態または車両の周囲の状況を十分に把握できないまま運転を行うおそれがある。このため、ユーザは、自動運転から手動運転に切り替わった直後に適切に車両を運転することが難しい。
本開示は、自動運転から手動運転に切り替わった直後にユーザが適切に車両を運転することができる表示制御装置などを提供する。
本開示の一態様に係る表示制御装置は、車両が備える、第1表示装置、及び、前記第1表示装置とは異なる第2表示装置への表示制御を行う表示制御装置であって、前記車両において、自動運転及び手動運転を含む運転状態の切り替えが行われることを示す切替情報を取得する取得部と、前記切替情報が自動運転から手動運転への第1の切り替えが行われることを示す場合、前記第1の切り替えが完了する前に、(i)前記第1の切り替えが行われることを示す第1情報と、前記車両のユーザによる前記手動運転を支援するための第2情報を前記第2表示装置へ表示させていることを示す第3情報とを、前記第1表示装置に表示させ、かつ、(ii)前記第2情報を前記第2表示装置に表示させる表示制御部と、を備える。
また、本開示の一態様に係る表示制御方法は、車両が備える、第1表示装置、及び、前記第1表示装置とは異なる第2表示装置への表示制御を行う表示制御方法であって、前記車両において、自動運転及び手動運転を含む運転状態の切り替えが行われることを示す切替情報を取得し、前記切替情報が自動運転から手動運転への第1の切り替えが行われることを示す場合、前記第1の切り替えが完了する前に、(i)前記第1の切り替えが行われることを示す第1情報と、前記車両のユーザによる前記手動運転を支援するための第2情報を前記第2表示装置へ表示させていることを示す第3情報とを、前記第1表示装置に表示させ、かつ、(ii)前記第2情報を前記第2表示装置に表示させる。
また、本開示の一態様に係るプログラムは、本開示の一態様に係る表示制御方法をコンピュータに実行させるためのプログラムである。
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なCD-ROM等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
本開示の一態様に係る表示制御装置等によれば、自動運転から手動運転に切り替わった直後にユーザが適切に車両を運転することができる。
図1は、実施の形態に係る車両の内部を模式的に示す図である。 図2は、実施の形態に係る表示制御装置を含む表示システムの構成を示すブロック図である。 図3は、車両が走行する走行場面の一例を示す図である。 図4は、各表示装置に表示される情報の一例を示す図である。 図5Aは、各表示装置に表示される画像の第1の例を示す図である。 図5Bは、各表示装置に表示される画像の第1の例を示す図である。 図5Cは、各表示装置に表示される画像の第1の例を示す図である。 図5Dは、各表示装置に表示される画像の第1の例を示す図である。 図5Eは、各表示装置に表示される画像の第1の例を示す図である。 図5Fは、各表示装置に表示される画像の第1の例を示す図である。 図6Aは、各表示装置に表示される画像の第2の例を示す図である。 図6Bは、各表示装置に表示される画像の第2の例を示す図である。 図6Cは、各表示装置に表示される画像の第2の例を示す図である。 図6Dは、各表示装置に表示される画像の第2の例を示す図である。 図6Eは、各表示装置に表示される画像の第2の例を示す図である。 図7は、表示システムの動作の一例を示すシーケンス図である。 図8Aは、変形例1に係る各表示装置に表示される情報の一例を示す図である。 図8Bは、変形例1に係る各表示装置に表示される情報の一例を示す図である。 図9は、変形例2に係る第4情報が表示される場合の各表示装置に表示される情報の一例を示す図である。
本開示の一態様に係る表示制御装置は、車両が備える、第1表示装置、及び、前記第1表示装置とは異なる第2表示装置への表示制御を行う表示制御装置であって、前記車両において、自動運転及び手動運転を含む運転状態の切り替えが行われることを示す切替情報を取得する取得部と、前記切替情報が自動運転から手動運転への第1の切り替えが行われることを示す場合、前記第1の切り替えが完了する前に、(i)前記第1の切り替えが行われることを示す第1情報と、前記車両のユーザによる前記手動運転を支援するための第2情報を前記第2表示装置へ表示させていることを示す第3情報とを、前記第1表示装置に表示させ、かつ、(ii)前記第2情報を前記第2表示装置に表示させる表示制御部と、を備える。
これによれば、第1表示装置に、第1情報及び第3情報の2つの情報を表示することで、第1の切り替えがこれから行われることと、車両の手動運転に必要となる第2情報が第2表示装置に表示されていることとを運転者に通知することができる。また、第3情報を第1表示装置に表示させると共に、第2情報を第2表示装置に表示させるため、第3情報でユーザの視線を第2表示装置に誘導することで、第2情報をユーザに視認させることができる。これにより、ユーザは、第1の切り替えが行われることと、そのときに手動運転に役立つ第2情報を知ることができる。よって、自動運転から手動運転に切り替わった直後にユーザが適切に車両を運転することができる。
また、前記第3情報は、前記第2情報が表示されている領域の位置を示してもよい。
このため、ユーザは、第2情報が表示されている領域の位置を認識することが容易にでき、第2情報を容易に視認することができる。
また、前記取得部は、前記ユーザの視線を示す視線情報を取得し、前記第2情報は、複数の通知情報を含み、前記表示制御部は、前記複数の通知情報を前記第2表示装置へ表示させている場合に、前記視線情報により示される前記視線に基づいて、前記ユーザが視線を向けた領域に表示されている通知情報を特定し、特定した通知情報の前記第2表示装置への表示を非表示に切り替えてもよい。
これによれば、ユーザにより視認されたと推定される通知情報の表示を非表示に切り替えるため、複数の通知情報が表示されることによる煩雑さを、軽減することができる。
また、前記表示制御部は、前記第1の切り替えが完了するまでの間に、前記第1情報、前記第2情報及び前記第3情報の少なくとも1つの情報の表示態様を第1表示態様から第2表示態様へ変化させてもよい。
これにより、ユーザに自動運転から手動運転に切り替わるタイミングが迫っている過程を段階的に知らせることができる。このため、ユーザは、手動運転に切り替わるまでに要する時間を把握することができる。
また、前記表示制御部は、前記第1の切り替えが完了する前に、前記取得部が自動運転への第2の切り替えが行われることを示す新たな切替情報を取得した場合、前記第2の切り替えが完了する前に、前記第2の切り替えが行われることを示す第4情報を前記第1表示装置に表示させてもよい。
これにより、ユーザは、自動運転に復帰することを把握することができる。
また、前記表示制御部は、前記第1の切り替えが完了するまでの間に、前記第1情報、前記第2情報及び前記第3情報の少なくとも1つの情報の表示態様を第1表示態様から第2表示態様へ変化させ、前記第1の切り替えが完了する前に、前記取得部が自動運転への第2の切り替えが行われることを示す新たな切替情報を取得した場合、前記第2の切り替えが完了する前に、(i)前記第2の切り替えが行われることを示す第4情報を前記第1表示装置に表示させ、かつ、(ii)前記第1情報、前記第2情報及び前記第3情報の少なくとも1つの情報の表示態様を前記第2表示態様から前記第1表示態様へ変化させてもよい。
これにより、ユーザは、自動運転に復帰するまでに要する時間を把握することができる。
また、前記第1表示装置は、ヘッドアップディスプレイであり、前記第2表示装置は、前記車両のダッシュボードに設けられたディスプレイであってもよい。
これにより、ユーザは、車外の前方に視線を向けたまま第1表示装置を視認することができるため、運転の準備をしながら第1情報及び第3情報を容易に確認することができる。また、ユーザは、ダッシュボードの第2表示装置を視認することで、第2情報を視認することができる。
また、本開示の一態様に係る表示制御方法は、車両が備える、第1表示装置、及び、前記第1表示装置とは異なる第2表示装置への表示制御を行う表示制御方法であって、前記車両において、自動運転及び手動運転を含む運転状態の切り替えが行われることを示す切替情報を取得し、前記切替情報が自動運転から手動運転への第1の切り替えが行われることを示す場合、前記第1の切り替えが完了する前に、(i)前記第1の切り替えが行われることを示す第1情報と、前記車両のユーザによる前記手動運転を支援するための第2情報を前記第2表示装置へ表示させていることを示す第3情報とを、前記第1表示装置に表示させ、かつ、(ii)前記第2情報を前記第2表示装置に表示させる。
これによれば、第1表示装置に、第1情報及び第3情報の2つの情報を表示することで、第1の切り替えがこれから行われることと、車両の手動運転に必要となる第2情報が第2表示装置に表示されていることとを運転者に通知することができる。また、第3情報を第1表示装置に表示させると共に、第2情報を第2表示装置に表示させるため、第3情報でユーザの視線を第2表示装置に誘導することで、第2情報をユーザに視認させることができる。これにより、ユーザは、第1の切り替えが行われることと、そのときに手動運転に役立つ第2情報を知ることができる。よって、自動運転から手動運転に切り替わった直後にユーザが適切に車両を運転することができる。
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なCD-ROM等の非一時的な記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム又は非一時的な記録媒体の任意な組み合わせで実現されてもよい。
以下、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。したがって、例えば、各図において縮尺等は必ずしも一致しない。また、各図において、同じ構成部材については同じ符号を付している。
(実施の形態)
[構成]
図1は、実施の形態に係る車両10の内部を模式的に示す図である。
表示制御装置100は、複数の表示装置を制御することで、当該複数の表示装置に表示される画像を制御する制御装置である。本実施の形態では、表示制御装置100は、表示装置500と、表示装置510と、表示装置520とを制御する。つまり、表示制御装置100は、車両10が備える、表示装置500、表示装置510、及び、表示装置520への表示制御を行う。表示装置500、表示装置510、及び、表示装置520は、互いに異なる装置である。
表示装置500、表示装置510、及び、表示装置520は、それぞれ、表示制御装置100により出力された画像を表示する表示装置である。表示制御装置100は、運転支援装置200及び物体検出装置300によって得られた情報に基づいて、画像600、610、620を生成し、生成した画像600、610、620を、それぞれ、表示装置500、表示装置510、及び、表示装置520に表示させる。これにより、画像600、610、620に含まれる情報を、運転者等のユーザに通知する。ユーザに通知される情報は、例えば、ユーザによる車両10の運転を支援するための情報を含む。
なお、表示装置500、表示装置510、及び、表示装置520は、それぞれ、画像を表示することができる装置であればよく、液晶ディスプレイ、又は、HUD(Head Up Display)等の任意の表示装置であればよく、特に限定されない。本実施の形態では、表示装置500は、HUDである。また、本実施の形態では、表示装置510及び表示装置520は、液晶ディスプレイである。
車両10は、例えば、自動車、バイク等の車両であり、本実施の形態では、自動車である。なお、車両10は、船舶、航空機等でもよい。
図2は、実施の形態に係る表示制御装置100を含む表示システム1の構成を示すブロック図である。
表示システム1は、表示制御装置100と、運転支援装置200と、物体検出装置300と、位置検出装置350と、視線検出装置400と、表示装置500、510、520と、音響装置530とを備える。表示システム1は、車両10に搭載される。
まず、運転支援装置200の構成について説明する。
運転支援装置200は、自動運転判断部210と、運転切替部220と、運転制御部230とを備える。運転支援装置200は、ユーザの運転を支援するための制御を行う制御装置である。
自動運転判断部210は、車両10の走行状態、及び、車両10の周囲の状況などに基づいて、車両10が自動運転モードで走行可能か否かを判定する。自動運転判断部210は、例えば、所定時間後に予測される、車両10の走行状態、及び、車両10の周囲の状況などに基づいて、車両10が自動運転モードで走行可能か否かを判定してもよい。自動運転判断部210は、具体的には、道路の合流地点及び合流地点の前後の経路を所定時間後に走行すると予測できる場合に、所定時間後に車両10が自動運転モードで走行できないと判定してもよい。自動運転判断部210は、所定時間間隔で、繰り返し車両10が自動運転モードで走行可能か否かを判定し、判定結果を運転切替部220に出力する。
運転切替部220は、自動運転判断部210による判定結果が自動運転モードで走行できないと判定された結果から自動運転モードで走行可能であると判定された結果に遷移した場合、所定時間後に、車両10の運転モードを手動運転モードから自動運転モードへ切り替える。これにより、運転切替部220は、所定時間後に、運転制御部230による車両10の自動運転を開始させる。なお、運転切替部220が自動運転を運転制御部230に開始させるタイミングは、所定時間後に限らずに、自動運転モードで走行可能であると判定された結果に遷移したタイミングであってもよい。
ここで、自動運転判断部210による判定結果が自動運転モードで走行できないと判定された結果から自動運転モードで走行可能であると判定された結果に遷移した場合とは、自動運転判断部210から取得した最新の判定結果が自動運転モードで走行可能であると判定された結果であり、かつ、その直前に自動運転判断部210から取得した判定結果が自動運転モードで走行できないと判定された結果である場合である。
運転切替部220は、自動運転判断部210による判定結果が自動運転モードで走行可能であると判定された結果から自動運転モードで走行できないと判定された結果に遷移した場合、所定時間後に、車両10の運転モードを自動運転モードから手動運転モードへ切り替える。これにより、運転切替部220は、所定時間後に、運転制御部230による車両10の自動運転を終了させる。
ここで、自動運転判断部210による判定結果が自動運転モードで走行可能であると判定された結果から自動運転モードで走行できないと判定された結果に遷移した場合とは、自動運転判断部210から取得した最新の判定結果が自動運転モードで走行できないと判定された結果であり、かつ、その直前に自動運転判断部210から取得した判定結果が自動運転モードで走行可能であると判定された結果である場合である。
また、運転切替部220は、運転モードを切り替える場合、運転モードを切り替えることを示す切替情報を表示制御部120へ出力する。例えば、運転切替部220は、手動運転モードから自動運転モードに切り替える場合(第2の切り替えである場合)、自動運転モードに切り替えることを示す切替情報を表示制御装置100に出力する。この場合の切替情報は、自動運転モードに切り替えるタイミングを含む。また、例えば、運転切替部220は、自動運転モードから手動運転モードに切り替える場合(第1の切り替えである場合)、自動運転モードに切り替えることを示す切替情報を表示制御装置100に出力する。この場合の切替情報は、自動運転モードに切り替えるタイミングを含む。
運転制御部230は、物体検出装置300による車両10の周囲の物体検出結果と、地図データと、目的地までの走行予定経路と、走行位置情報とを用いて、車両10が備える走行のためのエンジン(モーター)、ブレーキ、ステアリングなどの機器を制御することで、車両10の自動運転を行う。走行位置情報は、車両10の走行経路上の位置を把握するために用いられる。目的地までの走行予定経路は、事前に、ユーザが図示しないカーナビゲーションシステムにより決定された車両10の走行予定の経路である。目的地は、例えば、ユーザによりカーナビゲーションシステムに入力される。物体検出結果は、例えば、車両10の走行予定経路上の障害物を避けるために用いられる。
次に、物体検出装置300の構成について説明する。
物体検出装置300は、車両10の周囲の物体を検出し、物体検出結果を運転支援装置200へ出力する。車両10の周囲の物体は、例えば、車両10の周囲を走行する他の車両、歩行者、その他の障害物などを含む。物体検出装置300は、例えば、車両10から所定の距離の範囲内の物体を検出する。物体検出装置300は、例えば、車両10の周囲をカメラで撮影し、撮影により得られた画像から、物体を検出するための機械学習モデルを用いて画像内の物体を認識することで、物体を検出してもよい、物体検出装置300は、例えば、LiDAR(Light Detection And Ranging)などのレーザ光を照射し、物体に照射したレーザ光が物体に反射して返ってくるまでの時間を計測することで、物体までの距離を検出する装置であってもよい。物体検出装置300は、カメラの画像から物体を認識する装置と、LiDARの検出結果から物体を検出する装置との組み合わせであってもよい。つまり、物体検出装置300は、カメラ及びカメラにより得られた画像から物体を認識する処理を実行するコンピュータを含む装置、LiDAR及びLiDARの検出結果を分析して物体を検出する処理を実行するコンピュータを含む装置、又は、これらの装置の組み合わせた装置により実現される。
次に、位置検出装置350の構成について説明する。
位置検出装置350は、車両10の位置(走行位置)を検出し、検出結果である走行位置情報を運転支援装置200へ出力する。走行位置情報は、例えば、図示しない、GPS(Global Positioning System)などの衛星測位システムの信号を受信することで得られた車両10の現在位置を示す位置情報である。位置検出装置350は、LiDARの検出結果と、車両10の走行位置に応じて予め取得されメモリなどの記憶装置に記憶されている検出結果とを比較することで車両10の走行位置を検出してもよい。位置検出装置350は、例えば、衛星測位システムの信号を受信する受信装置及び当該信号から位置情報を算出する処理を実行するコンピュータにより実現される。
次に、視線検出装置400の構成について説明する。
視線検出装置400は、ユーザ(運転者)の視線を検出し、検出結果である視線情報を表示制御装置100へ出力する。視線検出装置400は、例えば、運転席の前方に配置されるユーザの目を含む画像を撮影するカメラから得られた画像から検出されたユーザの目の向きに基づいて、ユーザの視線を検出してもよい。視線検出装置400は、例えば、カメラ及びカメラにより得られた画像からユーザの視線を検出する処理を実行するコンピュータにより実現される。
次に、表示制御装置100の構成について説明する。
表示制御装置100は、取得部110と、表示制御部120と、記憶部130とを備える。
取得部110は、車両10において、自動運転及び手動運転を含む運転状態の切り替えが行われることを示す切替情報を取得する。取得部110は、切替情報を取得することで、運転状態の切り替えが行われることと、切り替えが行われるタイミングとを検出する。切替情報が第1の切り替えであることを示す場合、取得部110は、切替情報に含まれるタイミングにおいて第1の切り替えが行われること、を検出する。切替情報が第2の切り替えであることを示す場合、取得部110は、切替情報に含まれるタイミングにおいて第2の切り替えが行われること、を検出する。
また、取得部110は、ユーザの視線を示す視線情報を取得してもよい。
表示制御部120は、運転モードに応じた画像を、各表示装置500、510、520に表示させる。画像の具体例について説明する。
図3は、車両が走行する走行場面の一例を示す図である。図4は、各表示装置500、510、520に表示される情報の一例を示す図である。
図3は、車両10が右折専用レーンに進入し右折する経路を走行する場面を示している。この場面は、図3に示すように、車両10は、交差点を右折する時に、交差点に右側から車両20が進入しつつあり、かつ、左側から歩行者30が進入しつつある場面である。
表示制御部120は、例えば、車両10が自動運転モードである場合、進行方向を示す矢印、現在位置における道路の制限速度等を含む画像600を表示装置500に表示させる。なお、表示制御部120は、車両10が手動運転モードである場合、進行方向を示す矢印を含まない画像を表示装置500に表示させてもよい。
表示制御部120は、例えば、物体検出結果を示す画像610を表示装置510に表示させる。画像610は、例えば、カメラにより撮影された画像に、検出した物体を囲む枠が重畳された画像である。なお、この画像では、枠の近傍に、検出した物体が何であるかの認識結果が重畳されてもよい。また、表示制御部120は、カーナビゲーションシステムによるナビゲーション画面、つまり、現在位置周辺の道路地図と、走行予定経路と、車両10の現在位置を示す画像を表示装置510に表示させてもよい。また、表示制御部120は、映像コンテンツの映像を表示装置510に表示させてもよい。映像コンテンツは、放送波から得られてもよいし、DVD、BD(Blu-ray(登録商標) Disc)などの光ディスクから得られてもよいし、他のストレージに記憶された映像データから得られてもよいし、インターネットからストリーミング配信で得られてもよい。
表示制御部120は、例えば、走行速度を示す速度計、エンジンの回転数を示すタコメータ、エンジン又はモーターの負荷を示すパワーメータなどを含む画像620を表示装置520に表示させる。
また、表示制御部120は、取得部110により第1の切り替えが行われることが検出された場合、第1の切り替えが完了する前に(つまり、第1の切り替えのタイミングの前までに)、第1情報と、第3情報とを、車両10が備える表示装置500に表示させる。さらに、表示制御部120は、取得部110により第1の切り替えが行われることが検出された場合、第1の切り替えが完了する前に(つまり、第1の切り替えのタイミングの前までに)、第2情報を表示装置510に表示させる。このため、第1情報及び第3情報が表示装置500に表示される期間と、第2情報が表示装置510に表示される期間とは、少なくとも重複する。
また、表示制御部120は、第1の切り替えが完了するまでの間に、第1情報、第2情報及び第3情報の少なくとも1つの情報の表示態様を第1表示態様から第2表示態様へ変化させてもよい。例えば、表示制御部120は、これらの情報を囲う枠の線の種類を変化させてもよいし、これらの情報の色を変化させてもよいし、これらの情報の点滅のさせ方(オンの時間とオフの時間との組み合わせのパターン)を変化させてもよい。なお、表示制御部120は、表示態様を2種類以上に変化させてもよい。
次に、第1情報、第2情報及び第3情報の第1の例について説明する。第1の例は、第1の切り替えが行われることが検出されてから第1の切り替えが完了するまでの間に、第1情報及び第3情報を表示装置500に表示させ、第2情報を表示装置510に表示させる例である。
図5A~図5Fは、車両10の運転モードが自動運転モードから手動運転モードへ切り替わる際に各表示装置500、510、520に表示される画像の第1の例を示す図である。
図5Aは、自動運転モードにおいて各表示装置500、510、520に表示される画像の第1の例を示す図である。図5B~図5Eは、自動運転モードから手動運転モードへ切り替わる期間において各表示装置500、510、520に表示される画像の第1の例を示す図である。図5Fは、手動運転モードにおいて各表示装置500、510、520に表示される画像の第1の例を示す図である。
図5Aに示すように、表示制御部120は、例えば、車両10が自動運転モードである場合、進行方向を示す矢印、現在位置における道路の制限速度等を含む画像601を表示装置500に表示させる。さらに、表示制御部120は、例えば、車両10が自動運転モードである場合、カーナビゲーションシステムによるナビゲーション画面、つまり、現在位置周辺の道路地図と、走行予定経路と、車両10の現在位置を示す画像611を表示装置510に表示させる。なお、表示制御部120は、図3に示すような画像601を表示装置510に表示させてもよい。さらに、表示制御部120は、例えば、走行速度を示す速度計、エンジンの回転数を示すタコメータを含む画像621を表示装置520に表示させる。なお、図5Aに示す、画像601、611、621は、同じタイミングで各表示装置500、510、520に表示される。
次に、表示制御部120は、取得部110により第1の切り替えが行われることが検出された場合、第1の切り替えが完了するまでの期間において第1段階から第4段階の画像を各表示装置500、510、520に表示する。図5Bは、第1段階において表示される画像の一例を示す。図5Cは、第2段階において表示される画像の一例を示す。図5Dは、第3段階において表示される画像の一例を示す。図5Eは、第4段階において表示される画像の一例を示す。
図5Bに示すように、表示制御部120は、第1段階において、これから自動運転が終了することの通知を含む画像602を表示装置500に表示させる。この通知は、自動運転から手動運転への切り替えが行われることを示す第1情報の一例である。この時、表示制御部120は、画像611と同じ画像612を表示装置510に表示させ、画像621が異なる表示態様に変更された画像622を表示装置520に表示させる。ここで、画像602、622は、第1の切り替えが完了する前の第1段階であることを示す第1表示態様で表示される。例えば、画像602、622は、破線で示される枠を含む。なお、画像602、622は、破線で示される枠の代わりに、第1の色の枠を含んでもよいし、第1の色の文字を含んでもよい。また、画像612も第1表示態様で表示されてもよい。つまり、画像612に破線で示される枠が含まれてもよい。なお、図5Bに示す、画像602、612、622は、同じタイミングで各表示装置500、510、520に表示される。
次に、図5Cに示すように、表示制御部120は、第2段階において、周囲状況に注意することを促す通知と、周囲状況に注意するために必要な情報(第2情報)が表示装置510に表示されていることを示す矢印とを含む画像603を表示装置500に表示させる。この通知は、自動運転から手動運転への切り替えが行われることを示す第1情報の他の一例である。矢印は、表示装置500に対して表示装置510が位置する方向を示し、第2情報が表示装置510に表示されていることを示す第3情報の一例である。第3情報は、矢印で、表示装置500に対して表示装置510が位置する方向を示すことで、第2情報が表示されている領域の位置を示してもよいし、表示領域の全体を示す枠の中でどの領域に第2情報を表示しているかを示す画像であってもよい。
この時、表示制御部120は、物体検出結果を示す画像613を表示装置510に表示させ、画像622が異なる表示態様に変更された画像623を表示装置520に表示させる。物体検出結果を示す画像613は、車両10のユーザによる手動運転を支援するための第2情報の一例である。なお、第2情報は、車両10の周囲を撮影した画像であってもよいし、当該画像に物体認識結果を重畳した画像であってもよいし、車両10に歩行者または他の車両が近接していることを示す情報であってもよいし、車両10の走行状態を示す情報であってもよいし、車両10の走行予定経路の渋滞情報であってもよい。走行状態を示す情報は、車両10の走行速度であってもよいし、進行方向であってもよいし、操舵角であってもよいし、燃料またはエネルギーの残量であってもよい。ここで、画像603、613、623は、第1の切り替えが完了する前の第2段階であることを示す第2表示態様で表示される。例えば、画像603、613、623は、実線の細線で示される枠を含む。なお、画像603、613、623は、実線の細線で示される枠の代わりに、第2の色の枠を含んでもよいし、第2の色の文字を含んでもよい。なお、図5Cに示す、画像603、613、623は、同じタイミングで各表示装置500、510、520に表示される。
次に、図5Dに示すように、表示制御部120は、第3段階において、画像603が異なる表示態様に変更された画像604を表示装置500に表示させる。この時、表示制御部120は、画像613が異なる表示態様に変更された画像614を表示装置510に表示させ、画像623が異なる表示態様に変更された画像624を表示装置520に表示させる。なお、画像604に含まれる通知は、第1情報の一例であり、画像604に含まれる矢印は、第3情報の一例である。また、画像614は、第2情報の一例である。ここで、画像604、614、624は、第1の切り替えが完了する前の第3段階であることを示す第3表示態様で表示される。例えば、画像604、614、624は、白抜きの破線で示される枠を含む。なお、画像604、614、624は、白抜きの破線で示される枠の代わりに、第3の色の枠を含んでもよいし、第3の色の文字を含んでもよい。なお、図5Dに示す、画像604、614、624は、同じタイミングで各表示装置500、510、520に表示される。
次に、図5Eに示すように、表示制御部120は、第4段階において、自動運転が終了したことを示す通知(つまり、手動運転への切り替えが完了したことを示す通知)と、第2情報が表示装置510に表示されていることを示す矢印とを含む画像605を表示装置500に表示させる。この時、表示制御部120は、画像614が異なる表示態様に変更された画像615を表示装置510に表示させ、画像624が異なる表示態様に変更された画像625を表示装置520に表示させる。なお、画像605に含まれる通知は、第1情報の一例であり、画像605に含まれる矢印は、第3情報の一例である。また、画像615は、第2情報の一例である。ここで、画像605、615、625は、第1の切り替えが完了する前の第4段階であることを示す第4表示態様で表示される。例えば、画像605、615、625は、太線の実線で示される枠を含む。なお、画像605、615、625は、太線の実線で示される枠の代わりに、第4の色の枠を含んでもよいし、第4の色の文字を含んでもよい。なお、図5Eに示す、画像605、615、625は、同じタイミングで各表示装置500、510、520に表示される。
なお、第1表示形態、第2表示形態、第3表示形態及び第4表示形態は、互いに異なる表示形態であればよく、上記で例示した表示態様に限るものではない。また、第1の色、第2の色、第3の色、及び、第4の色は、互いに異なる色であればよく、それぞれが、例えば、紫、ピンク、オレンジ、及び、黄色であってもよい。
次に、図5Fに示すように、表示制御部120は、手動運転への切り替えが完了した直後に、現在位置における道路の制限速度等を含む画像606を表示装置500に表示させる。この時、表示制御部120は、カーナビゲーションシステムによるナビゲーション画面、つまり、現在位置周辺の道路地図と、走行予定経路と、車両10の現在位置を示す画像616を表示装置510に表示させ、画像625が異なる表示態様に変更された画像626を表示装置520に表示させる。ここで、画像626は、手動運転モードであることを示す表示態様で表示される。例えば、画像626は、二重線で示される枠を含む。なお、画像626は、二重線で示される枠の代わりに、第1の色~第4の色とは異なる色の枠を含んでいてもよいし、当該異なる色の文字を含んでもよい。なお、図5Fに示す、画像606、616、626は、同じタイミングで各表示装置500、510、520に表示される。
次に、第1情報、第2情報及び第3情報の第2の例について説明する。第2の例は、第1の切り替えが行われることが検出されてから第1の切り替えが完了するまでの間に、第1情報及び第3情報を表示装置520に表示させ、第2情報を表示装置500、510に表示させる例である。
図6A~図6Eは、車両10の運転モードが自動運転モードから手動運転モードへ切り替わる際に各表示装置500、510、520に表示される画像の第2の例を示す図である。
図6Aは、自動運転モードにおいて各表示装置500、510、520に表示される画像の第2の例を示す図である。図6B~図6Dは、自動運転モードから手動運転モードへ切り替わる期間において各表示装置500、510、520に表示される画像の第2の例を示す図である。図6Eは、手動運転モードにおいて各表示装置500、510、520に表示される画像の第2の例を示す図である。
図6Aに示すように、表示制御部120は、例えば、車両10が自動運転モードである場合、進行方向を示す矢印、現在位置における道路の制限速度等を含む画像601Aを表示装置500に表示させる。さらに、表示制御部120は、例えば、車両10が自動運転モードである場合、カーナビゲーションシステムによるナビゲーション画面、つまり、現在位置周辺の道路地図と、走行予定経路と、車両10の現在位置を示す画像611Aを表示装置510に表示させる。さらに、表示制御部120は、例えば、走行速度を示す速度計、エンジンの回転数を示すタコメータを含む画像621Aを表示装置520に表示させる。なお、図6Aに示す、画像601A、611A、621Aは、同じタイミングで各表示装置500、510、520に表示される。
次に、表示制御部120は、取得部110により第1の切り替えが行われることが検出された場合、第1の切り替えが完了するまでの期間において第1段階から第3段階の画像を各表示装置500、510、520に表示する。図6Bは、第1段階において表示される画像の一例を示す。図6Cは、第2段階において表示される画像の一例を示す。図6Dは、第3段階において表示される画像の一例を示す。
図6Bに示すように、表示制御部120は、第1段階において、これから自動運転が終了することの通知を含む画像622Aを表示装置520に表示させる。この通知は、自動運転から手動運転への切り替えが行われることを示す第1情報の一例である。この時、表示制御部120は、物体検出結果を示す画像602Aを表示装置510に表示させ、画像601Aが異なる表示態様に変更された画像602Aを表示装置500に表示させる。物体検出結果を示す画像602Aは、車両10のユーザによる手動運転を支援するための第2情報の一例である。ここで、画像602Aは、第1の切り替えが完了する前の第1段階であることを示す第1表示態様で表示される。例えば、画像602Aは、破線で示される枠を含む。なお、画像602Aは、破線で示される枠の代わりに、第1の色の枠を含んでもよいし、第1の色の文字を含んでもよい。また、画像612Aも第1表示態様で表示されてもよい。つまり、画像612Aに破線で示される枠が含まれてもよい。なお、図6Bに示す、画像602A、612A、622Aは、同じタイミングで各表示装置500、510、520に表示される。
次に、図6Cに示すように、表示制御部120は、第2段階において、周囲状況に注意することを促す通知と、周囲状況に注意するために必要な情報(第2情報)が表示装置500、510に表示されていることを示す2つの矢印とを含む画像623Aを表示装置520に表示させる。この通知は、自動運転から手動運転への切り替えが行われることを示す第1情報の他の一例である。2つの矢印は、表示装置520に対して表示装置500、510が位置する方向を示し、第2情報が表示装置500、510に表示されていることを示す第3情報の一例である。この時、表示制御部120は、画像602Aが異なる表示態様に変更された画像603Aを表示装置500に表示させ、車両の左後方が図示しないカメラにより撮影された画像613Aを表示装置510に表示させる。ここで、画像603A、613A、623Aは、第1の切り替えが完了する前の第2段階であることを示す第2表示態様で表示される。例えば、画像603A、613A、623Aは、実線の細線で示される枠を含む。なお、画像603A、613A、623Aは、実線の細線で示される枠の代わりに、第2の色の枠を含んでもよいし、第2の色の文字を含んでもよい。なお、図6Cに示す、画像603A、613A、623Aは、同じタイミングで各表示装置500、510、520に表示される。
次に、図6Dに示すように、表示制御部120は、第3段階において、自動運転が終了したことを示す通知(つまり、手動運転への切り替えが完了したことを示す通知)と、第2情報が表示装置500、510に表示されていることを示す2つの矢印とを含む画像624Aを表示装置520に表示させる。この時、表示制御部120は、画像603Aが異なる表示態様に変更された画像604Aを表示装置500に表示させ、画像613Aが異なる表示態様に変更された画像614Aを表示装置510に表示させる。なお、画像624Aに含まれる通知は、第1情報の一例であり、画像624Aに含まれる2つの矢印は、第3情報の一例である。また、画像604A、614Aは、第2情報の一例である。ここで、画像604A、614A、624Aは、第1の切り替えが完了する前の第3段階であることを示す第3表示態様で表示される。例えば、画像604A、614A、624Aは、太線の実線で示される枠を含む。なお、画像604A、614A、624Aは、太線の実線で示される枠の代わりに、第3の色の枠を含んでもよいし、第3の色の文字を含んでもよい。なお、図6Dに示す、画像604A、614A、624Aは、同じタイミングで各表示装置500、510、520に表示される。
なお、第1表示形態、第2表示形態及び第3表示形態は、互いに異なる表示形態であればよく、上記で例示した表示態様に限るものではない。また、第1の色、第2の色、及び、第3の色は、互いに異なる色であればよく、それぞれが、例えば、紫、ピンク、及び、オレンジであってもよい。
次に、図6Eに示すように、表示制御部120は、手動運転への切り替えが完了した直後に、現在位置における道路の制限速度等を含む画像605Aを表示装置500に表示させる。この時、表示制御部120は、カーナビゲーションシステムによるナビゲーション画面、つまり、現在位置周辺の道路地図と、走行予定経路と、車両10の現在位置を示す画像615Aを表示装置510に表示させ、画像621Aが異なる表示態様に変更された画像625Aを表示装置520に表示させる。ここで、画像625Aは、手動運転モードであることを示す表示態様で表示される。例えば、画像625Aは、二重線で示される枠を含む。なお、画像625Aは、二重線で示される枠の代わりに、第1の色~第3の色とは異なる色の枠を含んでいてもよいし、当該異なる色の文字を含んでもよい。なお、図6Eに示す、画像605A、615A、625Aは、同じタイミングで各表示装置500、510、520に表示される。
表示制御部120は、第1情報、第2情報及び第3情報などの各表示装置500、510、520に表示させる情報を生成してもよいし、記憶部130に記憶されている画像から選択してもよい。表示制御部120によって生成された情報は、記憶部130に記憶されてもよい。
記憶部130は、第1情報、第2情報及び第3情報(つまり、画像)を記憶する。また、記憶部130は、第1情報、第2情報及び第3情報を生成するための画像(画像)を記憶していてもよい。
表示制御装置100は、例えば、運転支援装置200、物体検出装置300、位置検出装置350、視線検出装置400、表示装置500、510、520、及び、音響装置530と通信するための通信インターフェース、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、信号の送受信をするための入出力ポート、プログラムを実行するプロセッサ等を備えるコンピュータとして実現される。
表示装置500、510、520の構成については、図1を用いて説明したため、詳細な説明を省略する。
次に、音響装置530の構成について説明する。
音響装置530は、表示制御装置100に制御されて音を出力する音響装置である。音響装置530は、表示制御装置100において再生された音声信号を出力することで、音を出力してもよい。音響装置530は、例えば、アンプ及びスピーカによって実現される。
表示装置500、510、520に表示される情報(画像)の具体例について説明する。
[動作]
次に、表示システム1の動作について説明する。図7は、表示システム1の動作の一例を示すシーケンス図である。
まず、運転支援装置200は、自動運転モードから手動運転モードへ切り替えることを示す切替情報を表示制御装置100に送信する(S11)。具体的には、運転支援装置200は、車両10の走行状態、及び、車両10の周囲の状況などに基づいて、車両10が自動運転モードで走行可能か否かを判定し、自動運転モードで走行できないと判定した場合に、上記の切替情報を表示制御装置100に送信する。
次に、表示制御装置100は、自動運転モードから手動運転モードへ切り替えることを示す切替情報を運転支援装置200から取得する(S12)。
次に、表示制御装置100は、自動運転モードから手動運転モードへの切り替えが完了するまでの間に、各表示装置500、510、520の表示制御を行う(S13)。具体的には、表示制御装置100は、図5A~図5Fで示したように、各表示装置500、510、520の表示制御を行う。なお、表示制御装置100は、図6A~図6Eで示したように、各表示装置500、510、520の表示制御を行ってもよい。
運転支援装置200は、切り替えのタイミングで、自動運転モードから手動運転モードへ切り替える(S14)。
次に、運転支援装置200は、手動運転モードから自動運転モードへ切り替えることを示す切替情報を表示制御装置100に送信する(S15)。具体的には、運転支援装置200は、車両10の走行状態、及び、車両10の周囲の状況などに基づいて、車両10が自動運転モードで走行可能か否かを判定し、自動運転モードで走行可能であると判定した場合に、上記の切替情報を表示制御装置100に送信する。
次に、表示制御装置100は、手動運転モードから自動運転モードへ切り替えることを示す切替情報を運転支援装置200から取得する(S16)。
次に、表示制御装置100は、自動運転モードであることを示す画像を各表示装置500、510、520に表示する(S17)。例えば、表示制御装置100は、図5Aで示す画像601、611、621をそれぞれ各表示装置500、510、520に表示してもよいし、図6Aで示す画像601A、611A、621Aをそれぞれ各表示装置500、510、520に表示してもよい。
運転支援装置200は、切り替えのタイミングで、手動運転モードから自動運転モードへ切り替える(S18)。
[効果など]
本実施の形態に係る表示制御装置100は、車両10が備える、表示装置500、510、520への表示制御を行う。表示制御装置100は、取得部110と、表示制御部120とを備える。取得部110は、車両10において、自動運転及び手動運転を含む運転状態の切り替えが行われることを示す切替情報を取得する。表示制御部120は、切替情報が自動運転から手動運転への第1の切り替えが行われることを示す場合、第1の切り替えが完了する前に、(i)第1の切り替えが行われることを示す第1情報と、車両10のユーザによる手動運転を支援するための第2情報を表示装置510へ表示させていることを示す第3情報とを、表示装置500に表示させ、かつ、(ii)第2情報を表示装置510に表示させる。
これによれば、表示装置500に、第1情報及び第3情報の2つの情報を表示することで、第1の切り替えがこれから行われることと、車両10のユーザによる手動運転を支援するための第2情報が表示装置510に表示されていることとをユーザに通知することができる。また、第3情報を表示装置500に表示させると共に、第2情報を表示装置510に表示させるため、第3情報でユーザの視線を表示装置510に誘導することで、第2情報をユーザに視認させることができる。これにより、ユーザは、第1の切り替えが行われることと、そのときに手動運転に役立つ情報を知ることができる。よって、自動運転から手動運転に切り替わった直後にユーザが適切に車両10を運転することができる。
また、表示制御装置100において、第3情報は、第2情報が表示されている領域の位置を示す。このため、ユーザは、第2情報が表示されている領域の位置を認識することが容易にでき、第2情報を容易に視認することができる。
また、表示制御装置100において、表示制御部120は、第1の切り替えが完了するまでの間に、第1情報、第2情報及び第3情報の少なくとも1つの情報の表示態様を第1表示態様から第2表示態様へ変化させる。これにより、ユーザに自動運転から手動運転に切り替わるタイミングが迫っている過程を段階的に知らせることができる。このため、ユーザは、手動運転に切り替わるまでに要する時間を把握することができる。
また、表示装置500は、ヘッドアップディスプレイであり、表示装置510は、車両10のダッシュボードに設けられたディスプレイである。これにより、ユーザは、車外の前方に視線を向けたまま表示装置500を視認することができるため、運転の準備をしながら第1情報及び第3情報を容易に確認することができる。また、ユーザは、ダッシュボードの表示装置510を視認することで、第2情報を視認することができる。
[変形例1]
図8Aは、変形例1に係る各表示装置500、510、520に表示される情報の一例を示す図である。図8Bは、変形例1に係る各表示装置500、510、520に表示される情報とユーザの視線との関係を示す図である。
表示制御装置100は、さらに、視線検出装置400により出力された視線情報を用いて、表示装置500、510、520に表示される画像を制御してもよい。具体的には、表示制御装置100は、図8Aに示すように、表示装置500、520に第2情報として画像602A、612Aを表示する場合、つまり、第2情報が複数の通知情報を含む場合、視線情報に基づくユーザの視線に基づいて、表示装置500、520に表示している画像602A、612Aの表示制御を行ってもよい。
例えば、表示制御装置100は、画像602A、612Aをそれぞれ表示装置500、520へ表示させている場合に、視線情報により示されるユーザの視線に基づいて、ユーザが視線を向けた領域に表示されている画像を特定し、特定した画像の表示装置500、520への表示を非表示の画面612Bに切り替えてもよい。例えば、図8Bに示すように、ユーザが表示装置510に視線を向けた場合、視線情報に示される視線に基づいて表示装置510に表示されている画像612Aを特定し、特定した画像612Aが表示装置510において表示されないように表示装置510を制御する。
なお、図8Aの例では、第2情報に含まれる2つの画像602A、612Aは、2つの表示装置500、510に表示されるとしたが、1つの表示装置に表示されてもよい。この場合であっても、表示制御装置100は、視線情報により示される視線に基づいて、ユーザが視線を向けた領域に表示されている画像を特定し、特定した画像の1つの表示装置への表示を非表示に切り替えてもよい。また、複数の通知情報は、同じタイミングで表示されたり非表示にされたりする画像である必要はなく、同じ期間において同時に表示装置に表示される情報であればよい。
これによれば、ユーザにより視認されたと推定される通知情報の表示を非表示に切り替えるため、複数の通知情報が表示装置に表示されることによる煩雑さを、軽減することができる。
[変形例2]
上記実施の形態に係る表示制御装置100は、第1の切り替えが完了する前に、取得部110が自動運転への第2の切り替えが行われることを示す新たな切り替え情報を取得した場合、第2の切り替えが完了する前に、第2の切り替えが行われることを示す第4情報を表示装置500に表示させてもよい。これにより、ユーザは、自動運転に復帰することを把握することができる。
図9は、第4情報が表示される場合の各表示装置500、510、520に表示される情報の一例を示す図である。
表示制御装置100は、例えば、図5B~図5Eを用いて説明したように、取得部110により第1の切り替えが行われることが検出されてから第1の切り替えが完了するまでの期間において、第2の切り替えが行われることを示す新たな切替情報を取得した場合、自動可能なため、自動運転へ復帰することを示す通知を含む画像602Bを第4情報として表示装置500に表示させてもよい。この時、表示制御装置100は、カーナビゲーションシステムによるナビゲーション画面、つまり、現在位置周辺の道路地図と、走行予定経路と、車両10の現在位置を示す画像612を表示装置510に表示させ、走行速度を示す速度計、エンジンの回転数を示すタコメータを含む画像622を表示装置520に表示させてもよい。そして、表示制御装置100は、画像602B、612、622をそれぞれ表示装置500、510、520に表示させた後、画像601、611、621をそれぞれ表示装置500、510、520に表示させてもよい。この時、運転支援装置200は、自動運転モードに復帰してもよい。
また、表示制御装置100は、第1の切り替えが完了するまでの間に、第1情報、第2情報及び第3情報の少なくとも1つの情報の表示態様を第1表示態様から第2表示態様へ変化させ、第1の切り替えが完了する前に、取得部110が自動運転への第2の切り替えが行われることを示す新たな切替情報を取得した場合、第2の切り替えが完了する前に、(i)第2の切り替えが行われることを示す第4情報を表示装置500に表示させ、かつ、(ii)第1情報、第2情報及び第3情報の少なくとも1つの情報の表示態様を第2表示態様から第1表示態様へ変化させてもよい。具体的には、表示制御装置100は、第1の切り替えが完了するまでの期間において第1段階から第4段階のうちで新たな切替情報が取得された段階から自動運転モードまで遡るように表示装置500、510、520の表示制御を行ってもよい。例えば、表示制御装置100は、第4段階において新たな切替情報が取得された場合、第4情報を表示装置500に表示させた後に、第3段階の表示、第2段階の表示、第1段階の表示、自動運転モードの順に表示装置500、510、520の表示制御を行ってもよい。
これにより、ユーザは、自動運転に復帰するまでに要する時間を把握することができる。
[変形例3]
上記実施の形態では、表示制御装置100は、自動運転から手動運転へ切り替えられることを示す第1情報を表示装置500に表示させることでユーザに提示する例を説明したが、これに限らない。表示制御装置100は、自動運転から手動運転へ切り替えられることを示す第1情報を音声で音響装置530に出力させることでユーザに提示してもよい。
(その他の実施の形態)
以上、一つ又は複数の態様に係る表示制御装置等について、上記実施の形態に基づいて説明したが、本開示は、上記実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記実施の形態に施したものも、本開示の範囲内に含まれてもよい。
また、例えば、上記実施の形態において、表示システム1が備える各装置の処理部の各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPU(Central Processing Unit)又はプロセッサ等のプログラム実行部が、ハードディスク又は半導体メモリ等の非一時的な記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
なお、以下のような場合も本開示に含まれる。
(1)上記の少なくとも1つの装置は、具体的には、マイクロプロセッサ、ROM(Read Only Memory)、RAM(Random Access Memory)、ハードディスクユニット、ディスプレイユニット、キーボード、マウス等から構成されるコンピュータシステムである。そのRAM又はハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、上記の少なくとも1つの装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
(2)上記の少なくとも1つの装置を構成する構成要素の一部又は全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAM等を含んで構成されるコンピュータシステムである。上記RAMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。
(3)上記の少なくとも1つの装置を構成する構成要素の一部又は全部は、その装置に脱着可能なICカード又は単体のモジュールから構成されているとしてもよい。ICカード又はモジュールは、マイクロプロセッサ、ROM、RAM等から構成されるコンピュータシステムである。ICカード又はモジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ICカード又はモジュールは、その機能を達成する。このICカード又はこのモジュールは、耐タンパ性を有するとしてもよい。
(4)本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本開示は、コンピュータプログラム又はデジタル信号をコンピュータ読み取り可能な非一時的な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD(Compact Disc)-ROM、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray(登録商標) Disc)、半導体メモリ等に記録したものとしてもよい。また、これらの記録媒体に記録されているデジタル信号であるとしてもよい。
また、本開示は、コンピュータプログラム又はデジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、プログラム又はデジタル信号を記録媒体に記録して移送することにより、又はプログラム又はデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
本開示は、自動運転から手動運転に切り替わった直後にユーザが適切に車両を運転することができる表示制御装置などとして有用である。
1 表示システム
10、20 車両
30 歩行者
100 表示制御装置
110 取得部
120 表示制御部
130 記憶部
200 運転支援装置
210 自動運転判断部
220 運転切替部
230 運転制御部
300 物体検出装置
350 位置検出装置
400 視線検出装置
500、510、520 表示装置
530 音響装置
600~606、610~616、620~626、601A~605A、611A~615A、621A~625A、602B 画像
612B 非表示の画面

Claims (8)

  1. 車両が備える、第1表示装置、及び、前記第1表示装置とは異なる第2表示装置への表示制御を行う表示制御装置であって、
    前記車両において、自動運転及び手動運転を含む運転状態の切り替えが行われることを示す切替情報を取得する取得部と、
    前記切替情報が自動運転から手動運転への第1の切り替えが行われることを示す場合、前記第1の切り替えが完了する前に、(i)前記第1の切り替えが行われることを示す第1情報と、前記車両のユーザによる前記手動運転を支援するための第2情報を前記第2表示装置へ表示させていることを示す第3情報とを、前記第1表示装置に表示させ、かつ、(ii)前記第2情報を前記第2表示装置に表示させる表示制御部と、を備え
    前記表示制御部は、前記第1の切り替えが完了する前に、前記取得部が自動運転への第2の切り替えが行われることを示す新たな切替情報を取得した場合、前記第2の切り替えが完了する前に、前記第2の切り替えが行われることを示す第4情報を前記第1表示装置に表示させる
    表示制御装置。
  2. 前記第3情報は、前記第2情報が表示されている領域の位置を示す
    請求項1に記載の表示制御装置。
  3. 前記取得部は、前記ユーザの視線を示す視線情報を取得し、
    前記第2情報は、複数の通知情報を含み、
    前記表示制御部は、前記複数の通知情報を前記第2表示装置へ表示させている場合に、前記視線情報により示される前記視線に基づいて、前記ユーザが視線を向けた領域に表示されている通知情報を特定し、特定した通知情報の前記第2表示装置への表示を非表示に切り替える
    請求項1または2に記載の表示制御装置。
  4. 前記表示制御部は、前記第1の切り替えが完了するまでの間に、前記第1情報、前記第2情報及び前記第3情報の少なくとも1つの情報の表示態様を第1表示態様から第2表示態様へ変化させる
    請求項1から3のいずれか1項に記載の表示制御装置。
  5. 前記表示制御部は、
    前記第1の切り替えが完了するまでの間に、前記第1情報、前記第2情報及び前記第3情報の少なくとも1つの情報の表示態様を第1表示態様から第2表示態様へ変化させ、
    前記第1の切り替えが完了する前に、前記取得部が自動運転への第2の切り替えが行われることを示す新たな切替情報を取得した場合、前記第2の切り替えが完了する前に、(i)前記第2の切り替えが行われることを示す第4情報を前記第1表示装置に表示させ、かつ、(ii)前記第1情報、前記第2情報及び前記第3情報の少なくとも1つの情報の表示態様を前記第2表示態様から前記第1表示態様へ変化させる
    請求項1から3のいずれか1項に記載の表示制御装置。
  6. 前記第1表示装置は、ヘッドアップディスプレイであり、
    前記第2表示装置は、前記車両のダッシュボードに設けられたディスプレイである
    請求項1からのいずれか1項に記載の表示制御装置。
  7. 車両が備える、第1表示装置、及び、前記第1表示装置とは異なる第2表示装置への表示制御を行う表示制御方法であって、
    前記車両において、自動運転及び手動運転を含む運転状態の切り替えが行われることを示す切替情報を取得し、
    前記切替情報が自動運転から手動運転への第1の切り替えが行われることを示す場合、前記第1の切り替えが完了する前に、(i)前記第1の切り替えが行われることを示す第1情報と、前記車両のユーザによる前記手動運転を支援するための第2情報を前記第2表示装置へ表示させていることを示す第3情報とを、前記第1表示装置に表示させ、かつ、(ii)前記第2情報を前記第2表示装置に表示させ
    前記表示では、前記第1の切り替えが完了する前に、自動運転への第2の切り替えが行われることを示す新たな切替情報が取得された場合、前記第2の切り替えが完了する前に、前記第2の切り替えが行われることを示す第4情報を前記第1表示装置に表示させる
    表示制御方法。
  8. 請求項に記載の表示制御方法をコンピュータに実行させるためのプログラム。
JP2021176685A 2021-10-28 2021-10-28 表示制御装置、表示制御方法、及び、プログラム Active JP7460964B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021176685A JP7460964B2 (ja) 2021-10-28 2021-10-28 表示制御装置、表示制御方法、及び、プログラム
US17/974,218 US20230133086A1 (en) 2021-10-28 2022-10-26 Display control device, display control method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021176685A JP7460964B2 (ja) 2021-10-28 2021-10-28 表示制御装置、表示制御方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2023066142A JP2023066142A (ja) 2023-05-15
JP7460964B2 true JP7460964B2 (ja) 2024-04-03

Family

ID=86146078

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021176685A Active JP7460964B2 (ja) 2021-10-28 2021-10-28 表示制御装置、表示制御方法、及び、プログラム

Country Status (2)

Country Link
US (1) US20230133086A1 (ja)
JP (1) JP7460964B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007249567A (ja) 2006-03-15 2007-09-27 Omron Corp 表示装置および方法、並びにプログラム
JP2011055699A (ja) 2009-08-31 2011-03-17 Kofukin Seimitsu Kogyo (Shenzhen) Yugenkoshi ノートパソコンの電源供給回路
JP2017169608A (ja) 2016-03-18 2017-09-28 凸版印刷株式会社 穿刺デバイス
JP2018203008A (ja) 2017-06-02 2018-12-27 本田技研工業株式会社 車両制御システム、車両制御方法、およびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2497671B1 (en) * 2009-11-04 2014-04-02 Honda Motor Co., Ltd. Display device for vehicle
CN108883777B (zh) * 2016-03-28 2022-02-01 日本精机株式会社 驾驶辅助系统和显示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007249567A (ja) 2006-03-15 2007-09-27 Omron Corp 表示装置および方法、並びにプログラム
JP2011055699A (ja) 2009-08-31 2011-03-17 Kofukin Seimitsu Kogyo (Shenzhen) Yugenkoshi ノートパソコンの電源供給回路
JP2017169608A (ja) 2016-03-18 2017-09-28 凸版印刷株式会社 穿刺デバイス
JP2018203008A (ja) 2017-06-02 2018-12-27 本田技研工業株式会社 車両制御システム、車両制御方法、およびプログラム

Also Published As

Publication number Publication date
JP2023066142A (ja) 2023-05-15
US20230133086A1 (en) 2023-05-04

Similar Documents

Publication Publication Date Title
US10733462B2 (en) Travel assistance device and computer program
US12025461B2 (en) Display control device, display control method, and non-transitory tangible computer-readable medium therefor
US10362230B2 (en) In-vehicle display device
JP6611957B2 (ja) 情報出力制御装置および情報出力制御方法
JP6591087B2 (ja) 表示制御装置、表示装置および表示制御方法
WO2020166252A1 (ja) 表示制御装置、表示制御プログラム、および持続的有形コンピュータ読み取り媒体
JPWO2018012474A1 (ja) 画像制御装置及び表示装置
JP5327025B2 (ja) 車両用走行案内装置、車両用走行案内方法及びコンピュータプログラム
JP2007233864A (ja) 死角支援情報報知装置及びプログラム
JP6443716B2 (ja) 画像表示装置、画像表示方法及び画像表示制御プログラム
JP7147370B2 (ja) 表示装置
WO2020045328A1 (ja) 表示装置
JP6767518B2 (ja) 情報記録装置、情報記録方法及び情報記録用プログラム
CN111351503A (zh) 辅助驾驶方法、辅助驾驶系统、计算设备及存储介质
JP2019040634A (ja) 画像表示装置、画像表示方法及び画像表示制御プログラム
JP7460964B2 (ja) 表示制御装置、表示制御方法、及び、プログラム
US20230373309A1 (en) Display control device
JP2023138849A (ja) 提示制御装置及び提示制御プログラム
US12031835B2 (en) Parking assist in augmented reality head-up display system
JP2014223824A (ja) 表示装置、表示方法および表示プログラム
JP6988368B2 (ja) ヘッドアップディスプレイ装置
CN111348055A (zh) 辅助驾驶方法、辅助驾驶系统、计算设备及存储介质
JP2022043996A (ja) 表示制御装置及び表示制御プログラム
JP2018149874A (ja) 表示装置および表示方法
JP2022041286A (ja) 表示制御装置、表示制御方法及び表示制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240213

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20240304

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240305

R150 Certificate of patent or registration of utility model

Ref document number: 7460964

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150