JP7212824B2 - 道路車両及びマニュアル運転に復帰する方法 - Google Patents

道路車両及びマニュアル運転に復帰する方法 Download PDF

Info

Publication number
JP7212824B2
JP7212824B2 JP2020500865A JP2020500865A JP7212824B2 JP 7212824 B2 JP7212824 B2 JP 7212824B2 JP 2020500865 A JP2020500865 A JP 2020500865A JP 2020500865 A JP2020500865 A JP 2020500865A JP 7212824 B2 JP7212824 B2 JP 7212824B2
Authority
JP
Japan
Prior art keywords
period
driving
road vehicle
driver
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020500865A
Other languages
English (en)
Other versions
JP2020526840A (ja
Inventor
ベレ ティエリー
Original Assignee
ユニベルシテ ギュスターヴ エッフェル
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ユニベルシテ ギュスターヴ エッフェル filed Critical ユニベルシテ ギュスターヴ エッフェル
Publication of JP2020526840A publication Critical patent/JP2020526840A/ja
Application granted granted Critical
Publication of JP7212824B2 publication Critical patent/JP7212824B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0053Handover processes from vehicle to occupant
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/175Autonomous driving
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/177Augmented reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/186Displaying information according to relevancy
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/186Displaying information according to relevancy
    • B60K2360/1876Displaying information according to relevancy according to vehicle situations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/27Optical features of instruments using semi-transparent optical elements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/31Virtual images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/33Illumination features
    • B60K2360/347Optical elements for superposition of display information
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Description

本発明は、道路車両及びそのような道路車両を用いて実施されるマニュアル運転に復帰する方法に関する。
本発明は、道路車両の分野、特に、好ましくは民間又は職業用で使用する自動車、バス、トラック又は二輪車タイプの道路車両の分野に関する。好ましくは、本発明は、軍事用途には関しない。
技術的な進歩により、道路システム上の交通状況において部分的に又は完全に自立走行できる車両の開発が促進されている。このタイプの車両が自動制御装置の完全な制御の下で走行可能な場合、運転者は、自動制御装置が車両を運転している間、一時的に運転者の能力を放棄して単なる乗客になることができる。
状況によっては、自動制御装置を車両の運転から切り離し、同時に運転者を復帰させて車両の運転を引き継がせる必要がある。これは緊急状況、すなわち、自動制御装置の実施が運転者の実施と比較してより適当でなく、効果的でなく、又は安全でない状況、又は、どの方向に道路車両が進行すべきかといった運転者の判断を要求することが必要な状況を含む可能性がある。
同じ運転者が責任を持って車両を運転する状況と比較して、運転者は自動運転を信用し、注意を払わなくなり、車両の外部環境に気づきにくくなることから、自動運転からマニュアル運転への急激な移行は危険でありえる。
したがって、マニュアル運転に切り替える直前に、運転者が運転を引き継ぐ準備をしなければならないことを通知する数秒間の運転復帰フェーズを提供することが検討されている。
ただし、この復帰フェーズに対する人間の作用は、車両の外部環境の集中時間及び再割り当て時間の長さによって異なる。さらに、マニュアル運転の再開前に構築された、不正確な認識による不正確な情報、又は不正確な状況判断に基づくことにより、運転者がマニュアル運転を再開するにはリスクが生じる。
その結果、本発明は、特に安全で簡素なマニュアル運転モードへの復帰を提供する新しい道路車両を提供することを目的とする。
本発明は、少なくとも1人の運転者を輸送することができる道路車両であって、当該道路車両が、
当該道路車両の外部環境の実画像を当該運転者に伝達する少なくとも1つのトランスミッタと、
運転アシスタントであって、
当該運転者のための少なくとも1つの補助ディスプレイと、
運転自動制御装置と、
少なくとも1つのマスクであって、
当該トランスミッタの当該実画像がマスキングされて当該運転者に伝達される、又は当該実画像が当該運転者に伝達されないマスキング構成と、
当該トランスミッタの当該実画像がマスキングされずに当該運転者に伝達される非マスキング構成との間で変化することができる少なくとも1つのマスクとを備え、
当該道路車両を運転するために当該道路車両の少なくとも1つの運転操作装置が当該運転者の制御下に置かれるマニュアルモードと、
当該道路車両を運転するために当該運転操作装置が当該運転自動制御装置の制御下に置かれる自動モードとの間で切り替わるように当該運転アシスタントが構成され、
当該運転アシスタントのマニュアルモードへの切り替え直前に当該マニュアルモードへの復帰フェーズを実施するように当該運転アシスタントが構成され、当該運転アシスタントが自動モードにある間に、当該復帰フェーズが、
第1の期間であって、その全体を通して当該マスクが当該マスキング構成に維持され、当該補助ディスプレイが、当該第1の期間の少なくとも一部分の間、当該運転者に対して当該外部環境の記号的な表象をブロードキャストする第1の期間と、
当該第1の期間に続く、当該自動モードから当該マニュアルモードへの当該運転アシスタントの切り替え直前の第2の期間であって、その全体を通して当該マスクが当該非マスキング構成に維持される第2の期間とを備える運転アシスタントとを備える道路車両に関する。
本発明の基礎にある1つの考え方は、人間の認知システムが道路車両の外部環境、すなわち、好ましくは道路シーンであるか又は道路車両が置かれた指定された運転シーンであってもよい外部環境の認識に対応する心的表象を形成する際の人間の認知システムの自然の作用から着想を得るということである。これは、マニュアルモードへの復帰フェーズの間、運転者に対して、異なる視覚要素、特に外部環境の記号的な表象である外部環境のマスキングされた実画像、次いでマスキングされていない実画像を表示することによって、この認知形成プロセスを作成し容易にすることを含む。
本発明の基礎にある1つの考え方は、復帰フェーズの間、環境の実画像を一時的にマスキングすることで運転者による外部環境の知覚が再度初期化され、それに基づいて運転者が外部環境に対する知覚を形成すると思われる期間を復帰フェーズの最初に有するということである。言い換えると、マスキングによって、外部環境に関する運転者の心的知覚は「リセット」される。これによって、該当する場合、車両の外部環境に関する不正確な偏見又は不完全な既存の心的表象を運転者の心から排除することができ、これがなかったとしたらマニュアル運転の再開の結果、運転者は、この不正確な偏見又はこの不完全な表象に基づいて、道路車両の運転に関して不適当な、又は危険な判断を行ったかもしれない。また、この第1の期間によって、運転者と、心に不正確な偏見を抱くことを回避する運転者の能力とに関わらず、同じ心的表象ベースで復帰フェーズの継続が確実に開始される。
本発明の基礎にある別の考え方は、少なくともこの第1の期間の一部の間、運転者に、有利には簡単化され、及び/又は符号化された記号を用いた表象である外部環境の記号的な表象を提供して、当該人物が心的表象を形成するために外部環境を容易に理解できるようにするということである。この記号的な表象は、有利には、当該人物に、一定の順序でまた一定の指定のリズムに従って、順番に、漸進的に又は累積的に、この外部環境の特別な注意を惹く経路システム又は対象などの、この外部環境のある種の不可欠な要素を示す。したがって、当該人物が道路車両の外部環境の全ての要素を次第に認識することによってその心的表象を形成することは特に容易であり、これによって、マニュアルモードを再度トリガしたときの判断の誤りを防止することができる。
本発明の基礎にある別の考え方は、第1の期間に運転者によって外部環境の不可欠の要素の正確な心的表象が形成されると、マニュアルモードに入るべくこの心的表象を完成するためにこの運転者が現実の外部環境に直面する第2の期間を予想するということである。
本発明のその他のオプションの有利な特徴について以下に定義する。
当該運転アシスタントは当該復帰フェーズが1~30秒間、好ましくは2~7秒間継続するように構成されている。
当該外部環境が、当該道路車両が位置する道路交通車線システムと、当該道路交通車線システム上に存在し、サードパーティ道路車両、人物、動物、障害物、及び当該道路交通車線システムに属する道路交通のシグナリング要素から選択される少なくとも1つの注視対象とを備える場合に、
当該運転アシスタントは、当該第1の期間が、第1のサブ期間であって、その間に、当該記号的な表象が当該道路交通車線システム又は当該注視対象を表さない、又は当該記号的な表象がブロードキャストされない第1のサブ期間と、当該第1のサブ期間に続く第2のサブ期間であって、その間に、当該記号的な表象が当該注視対象を表すことなく当該道路交通車線システムを表す第2のサブ期間とを備えるように構成されている
当該運転アシスタントは、当該第1の期間が、当該第2のサブ期間に続く第3のサブ期間であって、その間に、当該記号的な表象が当該道路交通車線システムと当該注視対象の両方を表す第3のサブ期間を備えるように構成されている。
当該外部環境が、第1の注視対象及び第2の注視対象を含む少なくとも2つの注視対象を備える場合に、当該運転アシスタントは、当該第3のサブ期間の間、当該記号的な表象が当該第2の注視対象を表すことなく当該道路交通車線システムと当該第1の注視対象の両方を表し、当該第1の期間が、当該第3のサブ期間に続く第4のサブ期間であって、その間に、当該記号的な表象が当該道路交通車線システム、当該第1の注視対象及び当該第2の注視対象を同時に表す第4のサブ期間を備えるように構成されている。
当該運転アシスタントは、当該第2の期間が、第5のサブ期間であって、その間に、当該補助ディスプレイが当該記号的な表象をブロードキャストし続ける第5のサブ期間を備えるように構成されている。
当該復帰フェーズの間、少なくとも当該第2の期間の間、当該補助情報ディスプレイは、当該運転者の注意を惹くように、背景に、当該トランスミッタによって供給された当該実画像を重ね合わせ、前景に、当該記号的な表象を重ね合わせるように構成されている。
当該運転アシスタントは、各サブ期間が0.4秒~2秒の間、好ましくは0.5秒~0.8秒の間継続するように構成されている。
当該道路車両の当該運転操作装置は、当該道路車両の操舵管理操作装置、当該道路車両の加速操作装置、及び当該道路車両の減速操作装置の少なくとも1つを備える。
また本発明は、上記の道路車両を用いて実施されるマニュアル運転復帰方法であって、当該方法において、当該運転アシスタントを自動モードからマニュアルモードへ切り替える前に、当該運転アシスタントが復帰フェーズを実施する、マニュアル運転復帰方法に関する。
本発明は、専ら非限定的な例として提供され、以下の図面を参照して実施される以下の説明を読むことで理解を深めることができる。
図1は、本発明の好ましい一実施形態による道路車両をこの道路車両に搭乗した運転者の視点から示す図である。 図2は、本発明の好ましい一実施形態による道路車両をこの道路車両に搭乗した運転者の視点から示す図である。 図3は、本発明の好ましい一実施形態による道路車両をこの道路車両に搭乗した運転者の視点から示す図である。 図4は、本発明の好ましい一実施形態による道路車両をこの道路車両に搭乗した運転者の視点から示す図である。 図5は、本発明の好ましい一実施形態による道路車両をこの道路車両に搭乗した運転者の視点から示す図である。 図6は、本発明の好ましい一実施形態による道路車両をこの道路車両に搭乗した運転者の視点から示す図である。 図7は、図1~6の道路車両のブロック図である。
図1~6に示す道路車両1は自動車である。道路車両はトラック、バス、長距離バス、二輪車、又はその他のいずれかのタイプの道路車両であってもよい。道路車両1は好ましくは電動式である。道路車両1は、好ましくは、モータ手段によって始動される少なくとも2つの駆動輪を有する。
車両1は図7で記号化され、図1~6には示していない運転者20を輸送するために提供される。運転者20は、輸送される際には、例えば、車両1の左前部座席を備えた運転場所内の着座位置にいる。概して、運転者20は客室内に位置する。運転者20は、例えば、以下に説明する一定の状況において、自分で車両1の運転操作装置を操作することで車両を運転できる車両運転の責任者に指名された人物を指す。オプションとして、道路車両1は他の人々若しくは動物、又は旅客、及び/又は品目又は商品などの対象を輸送することができる。
図6に示すように、車両1は、フロントガラス3、サイドウィンドウ(そのうちフロント左サイドウィンドウ5のみ図6に示す)、中央室内バックミラー7、リアウィンドウ6(図6のバックミラー7に反射して見える)、室外サイドミラー(そのうち室外左サイドミラー8を図6に示す)を備える。これらの要素の各々は車両の外部環境17の実画像10を運転者20に気付かせるトランスミッタを構成し、この実画像10は図6にマスキングされずに示されている。実際、運転者20は、望むならば、これらのトランスミッタの各々を通して外部環境17に注意を向けることができ、それによってこの外部環境17に関する情報を観察し検出することができる。運転者20が装着するヘッドセットのバイザー、運転者20が装着する眼鏡もそのようなトランスミッタを構成できる。一変形例では、車両のガラスがないウィンドウ又は空いたウィンドウもそのようなトランスミッタを構成できる。概して、トランスミッタは、好ましくは、それを通して運転者20が車両1の外部環境17の実画像10、すなわち、観察が実行される瞬間に外部環境17の光学的手段によって伝達される現実の画像を観察できる少なくとも1つのウィンドウ、ミラー又はレンズを備える。
一変形例では、当該トランスミッタ、又はトランスミッタの少なくとも1つは、カメラなどの実画像10のセンサと、カメラによって検出された実画像10を表示するモニター付きのディスプレイなどの、検出された実画像10を運転者20の注意を惹くように再伝達する手段とを備える。この伝達手段は、後述する補助ディスプレイ26,27,28などの車両の補助ディスプレイの1つであってもよい。あるいは、再伝達手段は、道路車両に属し補助ディスプレイとは別個の実画像ディスプレイ10を備える。
「外部環境」とは、少なくともその一部が1つ又はいくつかのトランスミッタを介して運転者20の視野に入る車両1の付近にある環境を指す。好ましくは、外部環境17は車両1に切迫した影響を与える可能性があるものに限定された環境の一部、及び/又は車両の周囲の一部、例えば、車両1の半径300メートル以内に位置する車両の周囲の一部を指す。
少なくとも基本的には、車両1は、特に、舗装された道路又は道路交通に好適な材料で覆われた道路を備え、したがって、道路交通車線システムを形成する道路システム上で駐車、停車、操縦及び運転するように設計されている。この例では、交通車線システムは、道路車両1が位置し、前方である方向4に移動する主要な舗装道路セグメント9を備える。少なくとも交通車線システムの一部、特に道路セグメント9は車両1の外部環境17に属する。
また、外部環境17は、図6に示すように、このシナリオでは道路セグメント9上を移動する道路交通に属し、車両1とは別個の車両11,12,13,14及び15などのサードパーティ道路車両を含んでいてもよい。これらの車両11,12,13,14及び15は道路車両1の運転への制約を構成する場合がある。例えば、同じ軌跡に沿って車両1の前方を進行している車両14は、車両14が車両1よりも遅い速度の場合、又は速度を落とした場合に衝突を回避するために車両1を減速させ、又は制動させる可能性がある。車両1の軌跡に平行なその左側の軌跡に沿って旋回する車両11,12及び13は、車両1による左側の軌跡への変更を阻止する可能性がある。車両1の背後にある車両15は車両1による大きすぎる減速を阻止する可能性がある。概して、衝突を回避するために車両1の運転と相反し又はそれを制約し得る車両11,12,13,14及び15は、車両1の外部環境17内の注視対象を構成する。また、外部環境17は、同様に車両1の運転に影響を与える可能性があるセグメント9上の人々、動物、障害物、又は、例えば、速度制限、行先表示、停止義務、又はセグメント9上のその他の任意の交通規則を示す道路交通のためのシグナリング要素などの、その他の注視対象を備えていてもよい。
また車両1は、図1~6に示すステアリングホイール16と、加速ペダルと、制動ペダルと、オプションとして、車両1のその他の任意の適当な運転操作装置とを備える。例えば、空調、ドア開放のための操作装置を含む車両の補助操作装置とは対照的に、運転操作装置は好ましくは外部環境17内の車両の挙動に大きい影響を与える操作装置を指す。例えば、これは道路車両1の方向を管理し、道路車両を加速し、且つ/又は、例えば、制動によって道路車両を減速する操作装置を含んでいてもよい。
図7に示すように、道路車両1は、道路車両1内に組み込まれた装置又は装置のシステムから構成される運転アシスタント21を備える。
好ましくは、運転アシスタント21は、当該アシスタントの他のコンポーネント要素の動作を調整可能な管理装置又はモジュール22を備える。この装置22は、好ましくは、運転アシスタント21の残りの要素の管理及び調整を確実にするためにプログラムを実行する内蔵コンピュータ又は電子装置の形態をとったプロセッサ及びメモリを備える。
またアシスタント21は運転自動制御装置23を備える。この運転自動制御装置23によって、アシスタント21は、運転者20による指令、又は運転モジュール22による指令があると、
運転操作装置16、好ましくは操舵管理並びに加速及び減速操作装置が車両1を運転するために運転者20の制御下に置かれるマニュアルモードと、
これらの操作装置が車両を運転するために運転自動制御装置23の制御下に置かれる自動モードとの間で切り替わることができる。
好ましくは、自動モードでは、運転操作装置の少なくとも1つ又はそれらの全部が、運転者20の介在なしに自動制御装置23の支配下にある。好ましくは、自動モードでは、自動制御装置23は車両1の自律運転を提供する。あるいは、運転操作装置の少なくとも1つは、運転者20によるこの制御の管理の介在、決定、指示又は修正の可能性がある状態で自動制御装置23の支配下にある。
自動運転モードは、運転者が車両運転の責任から解放されている間、車両運転の責任を運転自動制御装置に伝達する高度自動運転モードであることが好ましい。
好ましくは、マニュアルモードでは、運転操作装置の少なくとも1つ又はそれらの全部が、車両1の自動制御装置23又は車両1の別のコンポーネントの補助又は支援を受けて運転中の運転者20の制御下にある。あるいは、これらの操作装置の少なくとも1つは補助なしに完全に運転者20の制御下にある。
自動制御装置23は、別個の又は装置22と組み合わされた、また、例えば車両1の運転を自動化するプログラムを実行するように構成されたプロセッサ及びメモリを備える装置又はモジュールの形態をとることができる。自動制御装置23及び装置22は、例えばデータバス又は任意の同等の有線又は無線手段を用いて通信する。運転アシスタント21は、好ましくは、自動運転に必要なあらゆる情報、特に外部環境17及び車両1の各種パラメータに関する情報を自動制御装置23に送信するために、車両1上に提供された様々なセンサを備える。オプションとして、自動制御装置23は、リモート運転マネージャ、道路インフラストラクチャ、及び/又は残りの車両から遠隔で送信される運転指示の無線受信機を備えていてもよい。
自動モード及びマニュアルモードでは、運転は、特に、車両1の駐車、停車、低速操縦、又は巡航速度での運転からなっていてもよい。
図1及び7に示すように、アシスタント21は1つ又はいくつかのマスク24及び25も備える。各マスク24及び25はトランスミッタ3,5,6,7及び8の少なくとも1つに関連付けられている。この例では、マスク24はフロントガラス3のマスクで、マスク25はサイドウィンドウ5のマスクである。車両1の各マスクは、
図1~5に示すように、当該マスクに関連付けられたトランスミッタの実画像10が運転者20の注意を惹くようにマスキングされて伝達されるマスキング構成と、
図6に示すように、当該マスクに関連付けられたトランスミッタの実画像10が運転者20の注意を惹くようにマスキングされずに伝達される非マスキング構成との間で変化することができる。
各マスク24及び25は、当該ブラインドがフロントガラス3とウィンドウ5とをそれぞれ少なくとも部分的に覆うマスキング構成との間で変化するように装置22によって指令される、電動ブラインドなどの、機械的デバイスによって形成されている。車両1のバックミラー7及び8、リアウィンドウ、及びその他の任意のトランスミッタについても同じ方法を適用でき、これは特に、このトランスミッタがそれを通して運転者20が環境17を観察したいと思うウィンドウを含む場合に当てはまる。また、トランスミッタ及びマスクが単一のデバイス又はシステムを形成するように構成することも可能である。
例えば、装置22によって不透明化を指令されたフロントガラスが提供可能で、トランスミッタとマスク機能の両方を実行することができる。そのようなデバイスは、デバイスが不透明で、暗いか又はぼやけたマスキング構成と、デバイスが比較的半透明である非マスキング構成との間で変化する。ウィンドウのこの指令された不透明化に関して、例えば、装置22による電気的インパルスの影響下で指令し得る着色又は化学成分を提供することができる。
トランスミッタがセンサ及び再伝達手段を備える場合、マスクは再伝達の停止、センサの停止又はその他の任意の同様の手段からなっていてもよい。この場合もまた、トランスミッタはマスク機能を搭載していてもよい。
この実施形態に関わらず、アプリケーションの作用として、マスキング構成では、マスクは、特にマスキング構成で、運転者の注意を惹くように伝達される実画像10を隠し、暗くし、又はぼやけさせることができる。マスキング構成は運転者20への実画像10の非伝達からなっていてもよい。マスキング構成は運転者20による環境17の把握を困難にするため、運転者20は、一定の観察時間があっても、その瞬間の車両1のマニュアル運転に充分な程度に環境17を正常に把握できなくなる。
非マスキング構成では、運転者20が、どのような場合であれ、少なくとも一定の観察時間後に、車両1のマニュアル運転に充分な程度に環境17を把握できるようにするために、実画像10が、より隠されず、よりぼやけておらず又はより暗くない形で運転者20の注意を惹くように送られる。
またアシスタント21は、1つ又はいくつかの運転補助ディスプレイを備える。各補助ディスプレイによって供給される表示は運転者20の注意を惹く。各補助ディスプレイは、有利には、運転装置22と通信するように構成されている。
各補助ディスプレイは、例えばダッシュボードの一要素として提供された、又はフロントガラスに固定されたリモートディスプレイ26の形態をとっていてもよい。またディスプレイ26は、有線接続を用いて又は用いずに管理装置22と通信でき、運転者20が操作可能な着脱式又は移動周辺装置であってもよい。補助ディスプレイは運転者が装着できてよく、ヘッドセット又は同種のものの形態であってもよい。この場合、補助ディスプレイは画像の少なくとも1つのディスプレイモニタを備える。補助ディスプレイは、着脱式又は移動周辺装置を構成する場合、例えば、電子タブレットの形態をとっていてもよい。そのようなリモートディスプレイは、その補助ディスプレイ機能に加えて、オプションとして、環境17の実画像10のトランスミッタ機能と、マスク機能とを実行してもよい。したがって、このディスプレイは拡張現実及び/又は仮想現実ディスプレイの形態をとっていてもよい。
各補助ディスプレイは、トランスミッタの1つに組み込まれた、又はそれと組み合わされたディスプレイ、例えば、ディスプレイ又は拡張現実ディスプレイの形態をとっていてもよい。用途に応じて、トランスミッタの全部又は一部は補助ディスプレイを装備することができる。図示の例では、車両1のいくつかのトランスミッタが補助ディスプレイを装備する。フロントガラス3はディスプレイ27を備え、サイドウィンドウ5はディスプレイ28、リアウィンドウ6及び/又は中央のバックミラー7はディスプレイを備える。したがって、上記のウィンドウの各々は、例えば、透明度がウィンドウ面の全体又は一部に関して隠すことができる、透明な状態のこの画面が伝達する実画像10とは対照的に、人工的な画像をこの面に表示する透明な画面を備える。この場合、ディスプレイは、車両1の同じディスプレイがトランスミッタ、マスク及び補助ディスプレイ機能を同時に実行できるように、マスク機能を実行することもできる。あるいは、上記のウィンドウの各々は、実画像10に人工的な画像を重ね合わせることを可能にするヘッドアップディスプレイを備える。この場合、同じデバイスは必ずしもマスク機能を実行する訳ではなく、トランスミッタ及び補助ディスプレイ機能を実行するだけである。
また補助ディスプレイは、車両1のトランスミッタから離れた、又はそれとは別個のヘッドアップディスプレイの形態をとっていてもよい。
上記の補助ディスプレイの全部又は一部は環境17の記号的な表象100を運転者20の注意を惹くようにブロードキャストする、すなわち、送ることが知られている。
記号的な表象100は、好ましくは、断片化され、グループ化され、且つ/又は変換された形態で提示される、例えば、描画され且つ/又は定型化された形態の、及び/又はグラフィックの、且つ/又はアイコンで修飾され且つ/又は実画像10の一定の選択された部分を備えた形態の、環境17の人工的な表象からなる。記号的な表象100は、上記のように、特に、環境17にある一定の注視対象のみを表してもよい。好ましくは、注視対象の表象の少なくとも1つはアイコンの表象を伴うか又はそれに関連付けられている。記号的な表象100は、特に、運転者20の視点から示された環境17の現実の簡単化された表象である。言い換えれば、記号的な表象100は、好ましくは、環境17の現実のシミュレーションのような、運転者20によって知覚された実画像10の角度と同一の、又はそれに近い角度から見た透視図である。記号的な表象100は有利には三次元であるが、環境17を描写する二次元形態、例えば、鳥瞰図の形態で示してもよい。記号的な表象100は、有利には、環境17を現在の状態、好ましくは動的な生き生きした形で示す。記号的な表象100は、環境17が過去の状態又は予想若しくは推定される未来の状態の環境17に関する表示を含むことができるということを示していてもよい。
上記の補助ディスプレイの全部又は一部、特にディスプレイ27及び28は、好ましくは、上記の環境17のマスキングされた、又はされていない実画像10の重ね合わせと、記号的な表象100とを運転者20に対してブロードキャストするように構成されている。「重ね合わせ」とは、運転者の視点から、記号的な表象100によって記号的に表される要素が、記号的な表象100の背景の実画像10内で現実の要素が現れる、画像内の位置に一致する、運転者の視野の座標と同じ座標又は隣接する座標に位置するという意味である。これは、ヘッドアップディスプレイ及び拡張現実ディスプレイのケースである。好ましくは、この重ね合わせでは、トランスミッタによって供給される実画像10は背景にある一方、記号的な表象100は前景にある。
あるいは、補助ディスプレイは、実画像10を重ね合わせずに記号的な表象100のみを伝達してもよい。
この例では、図2~5に示すように、ディスプレイ26,27及び28は、記号的な表象100内に、
環境17の少なくとも一部の記号的な表象117と、
セグメント9の記号的な表象109と、
バックミラー8、又はその実画像10がトランスミッタの1つを用いて運転者20が見ることができる車両1のその他の任意の要素の記号的な表象108と、
車両11及び12に運転者20の注意を向けるために、又はこれらの車両11及び12に関する情報を提供するために、2つがアイコン111A及び114Aに関連付けられた、サードパーティ車両11,12,13,14及び15のそれぞれの記号的な表象111,112,113,114及び115を表示する。
この例では、運転にとって必須ではない外部環境の多数の詳細が簡単化されているため、セグメント9の表象は記号的である。特に、木々と空の雲とが解消されている。
各アイコンは運転者20の注意を単に注視対象の1つに向けることができ、又は追加的に、注視対象の特性、例えば、車両の場合にはその速度、又は道路セグメント9の車線の1つに関連付けられた方向に関する情報を提示することができる。またこれらのアイコンは、記号的に且つ/又は文章によって、運転者20がマニュアルモードでの車両1の制御を再開したときに行う可能性がある、必須の、推奨される、慎重な、可能な、落胆した、不可能な且つ/又は禁止された運転行動も表すことができる。例えば、図3のアイコン100Aは、車両14との衝突を回避するために制動する必要があることを示す。例えば、図4で、アイコン100Bは車両1を同じ車線内に維持する必要があることを示す。図5のアイコン100Cは、特にこの左側車線を移動している車両11との衝突を回避するために、車両1を左側車線へ移動させてはならないことを示す。別のアイコンは車線変更の可能性、加速の可能性、又は所与の道筋を継続するために辿るべき経路を想起する可能性を示すことができる。また記号的な表象100は車両の状態又は特性に固有の一定の情報の表象を含んでいてもよい。例えば、表象100は運転アシスタント21が自動モードであることと、運転アシスタント21がマニュアルモードに切り替わる準備中であることとを示す一方で、マニュアルモードへのこの切り替えまでの残り時間を示してもよい。また表象100は残りの燃料、車両の速度、車両のエンジンシステムの一定の部品の温度、又は所与の瞬間に有用なその他の任意の情報の表示を含んでいてもよい。
このように定義された車両1、特に運転アシスタント21は、マニュアルモードに切り替わる直前に、例えば運転者20又は管理装置22によって指令されるマニュアルモードに復帰するフェーズを備えるマニュアル運転復帰方法を実施するように構成されている。この復帰フェーズはまだ自動モードにある間に実施され、マニュアルモードへの切り替えによって終了する。この復帰フェーズはアシスタント21のマニュアルモードへの切り替えの前に実施されることが好ましい。
好ましくは、自動運転モードでは、特に復帰フェーズの直前には、運転者20道路車両1の運転場所にいるか、又は少なくとも道路車両1に搭乗していて、自分に送られる可能性がある実画像及び記号的な表象に注意を払うことができる。自動運転モードでは、特に復帰フェーズの直前には、運転者20がマスキングされていない実画像を受け取り道路車両の外部環境を確認できるように、マスクは非マスキング構成に維持される。
好ましくは、少なくとも復帰フェーズの間、運転者20は道路車両1の運転場所にいるか、又は少なくとも道路車両1に搭乗していて、この復帰フェーズの間に自分に送られる可能性がある実画像及び記号的な表象に注意を払うことができる。
好ましくは、復帰フェーズは1~30秒間、好ましくは2~7秒間継続し、これは、普通、運転者20がマニュアルモードへ切り替える前に環境17の心的表象を自ら再形成するのに充分な時間である。
復帰フェーズは、時系列順に並び、その全体を通して、マスク24及び25がマスキング構成に維持される図1~5に示す初期期間を備える。
一実施形態によれば、上記のように、この初期期間の開始時に、運転者20による外部環境の知覚が再度初期化される。図1に示すように、好ましくは、アシスタントは、有利には、その間に記号的な表象が車線システム又は注視対象を表さない第1の期間が再初期化サブ期間AAを備えるように構成されている。これで、普通、運転者20による外部環境17の心的表象の完全な再初期化を入手することができる。
あるいは、このサブ期間AAは、記号的な表象のブロードキャストがなく、運転者20がただマスキングされた実画像10を受け取るだけで入手できる。
好ましくはサブ期間AAの終了時に開始し、期間Aの終了時に終了する期間Aの一部の間、補助ディスプレイ26,27及び28は、車両1の外部環境17の記号的な表象117を含む記号的な表象100を、運転者20の注意を惹くようにブロードキャストするように構成され、この状況が図2~5に示されている。
この状況は、好ましくは、サブ期間AAの直後に起こる図2に示すサブ期間ABで開始する。このサブ期間ABの間、記号的な表象100はセグメント9又は概ね車線システムの記号的な表象109を備える。こうして運転者20は1つの運転コンテキスト情報を知るが、それにも関わらずこの情報はマニュアル運転及び外部環境17の心的表象の再構築に不可欠である。このサブ期間ABで、注視対象は表示されない。特に、記号的な表象は車両、障害物又はその他の任意の要素の表象を備えていない。
好ましくは、期間Aの間、サブ期間ACがサブ期間ABの直後に起こり、サブ期間ACで、図3に示すように、残りの注視対象がまだ表示されていない状態で車両14の表象114が表象109に追加される。概ね、このサブ期間ACの間、記号的な表象100は第2の注視対象を示すことなく車線システムと第1の注視対象の両方を示す。好ましくは、第1の注視対象は車両1の運転にとって最も決定的であると考えられる環境17の注視対象から選択される。「決定的」とは、特に、車両1の運転を修正しない場合に制約又は切迫した危険を構成する可能性がある任意の対象を意味する。車両1の安全な又は適正な運転に関連する理由で、運転者20の注意が、後続のサブ期間の間に運転者20に示される残りの注視対象と比較して、これらの決定的な注視対象に優先的に惹きつけられる。図示の例では、車両1の前方に位置する車両14は、車両1と同じ車線にあって制動の過程にある。したがって、車両14は、減速指令に従って車両1の運転が迅速に修正されない場合に車両1と車両14との衝突のリスクを発生させることから、決定的であると考えられる。別の決定的な対象は、車両1の車線に置かれた動かない障害物であってもよい。別の決定的な対象は、特に、車両1の軌跡上に位置する対象である。一変形例では、注視対象は、それが、特定の危険を示してはいないものの、運転を修正するか否かに関する選択、例えば、道路セグメント9の交差点で辿るべきルート又は方向の選択に関する運転者20による即座の意思決定を必要とする場合、決定的と考えてもよい。
この例では、決定的な対象の表象114は運転者20の注意をその決定的な性質に惹きつけるアイコン114Aに関連付けられている。オプションとしてアイコン100A,100B及び100Cの1つのような、とるべき運転行動を示すアイコンと組み合わされたアイコン114Aを表示する選択が可能である。一変形例では、決定的な対象に関連付けられたアイコン114Aは提供されず、とるべき運転行動を示す1つ又はいくつかのアイコンが提供される。
このサブ期間ACでは、いくつかの決定的な注視対象が全て最も決定的であると考えられる場合、それらを示し、他の注視対象を示さないことが可能である。
別の実施形態では、サブ期間ABを実行せず、運転者20が運転コンテキスト情報と決定的な注視対象に関する情報の両方を受け取るようにサブ期間AAの直後にサブ期間ACを実行することを考慮してもよい。
別の実施形態では、期間Aはサブ期間AAを設けることなくサブ期間ABで開始する。この実施形態では、補助ディスプレイは期間A全体を通して記号的情報をブロードキャストする。好ましくは、サブ期間ABの直後にサブ期間ACが起こる。この実施形態では、運転者20の心的再構築のための情報の表示は、漸進的に、重要度に従って階層的に、すなわち、優先度の順に実行される。各対象は同時に全て表示される訳ではなく、その逆に、時間をかけて、1つ1つ、又はグループ毎に、好ましくは重要度順に分散して表示され、運転状況の良好な心的再構築を可能にする。この実施形態に関わらず、期間Aの間のサブ期間ACの直後に、図4に示すサブ期間ADが有利には提供され、このサブ期間ADの間、記号的な表象100が車線システム、決定的な注視対象、及び重要であるが決定的でない注視対象として描写可能な1つ又はいくつかのその他の注視対象を同時に示す。「重要な」とは、好ましくは、
車両1の運転が修正されない場合に危険を構成せず、したがって決定的でなく、且つ
オプションとして、運転者20による運転修正の即座の選択が必要でなく、したがって決定的でなく、且つ
車両1の運転が不適切に修正された場合に危険を構成する、任意の対象を指す。
こうして、運転者20は、サブ期間ADの間に実行したいと考える運転を修正せざるを得なくする制約を確認する。
図4に示すケースでは、表象109及び114に加えて、車両11の表象111が表象100に追加される。車両11は車両1の左側車線に位置し、車両1が例えば車両14を追い越すために左へ移動することを阻止している。この例では、それゆえ車両11は重要な注視対象を構成するが、その理由は以下の通りである。
車両1の運転を修正しない場合、車両1と車両11との間の衝突の深刻な危険があるようにはみえない、且つ、
左へ移動することによって車両1の運転が修正された場合、車両1と14との間の衝突の無視できないリスクが存在する。
別の決定的な対象は、車両1の車線の左側の車線に位置する動かない障害物であってもよい。決定的な対象は、特に、車両1の現在の軌跡の外側であるが、特に、決定的な注視対象に応答した運転の修正中に車両1が辿ることができる軌跡上に位置する対象である。
この例では、重要な対象の表象111は運転者20の注意をその重要な性質に惹きつけるアイコン111Aに関連付けられている。
環境17の重要でなく決定的でない注視対象は、サブ期間ADの段階では表示されない。
期間Aの間のサブ期間ADの直後に、図5に示すサブ期間AEが有利には提供され、このサブ期間AEの間、記号的な表象100が、車線システムと、決定的な注視対象と、重要な注視対象と、残りの重要でなく決定的でない注視対象の全部又は一部とを同時に示す。このサブ期間ADは次に実行される実画像10の表示に先立つ一時的なサブ期間を構成する。
上述したサブ期間AA,AB,AC,AD及びAEの一部は実行されなくてもよく、それにも関わらず、サブ期間の順序は好ましくは上記の順序である。環境17が1つの注視対象のみを含む場合、又は注視対象を含まない場合、又は決定的な若しくは重要な対象を欠く場合、サブ期間AA,AB,AC,AD及びAEの一部を延長し、且つ/又はいくつかのサブ期間を解消することができる。
好ましくは、本明細書に記載した各サブ期間は0.4~2秒間、好ましくは0.5~0.8秒間継続し、これは、普通、運転者20が環境17についての自分自身の心的表象の正確で緻密な構築を実行するのに充分な時間である。それにも関わらず、運転者20によるマニュアル運転の可能な限り迅速な再開を可能にするために、この時間は特に短い。好ましくは、期間Aはこれらのサブ期間によって多少規則的なペースになっている。好ましくは、各サブ期間の継続時間は同じである。
概して、期間Aの間、記号的な表象100によって、心的表象の漸進的で階層的な、言い換えると優先度順の再構築が可能である。実際、最も決定的な対象が最初に運転者20の注意を惹き、一方、残りの対象は後ほど提示される。これによって、この再構築を容易にするために、個人によるシステムの心的再構築の自然な過程が再生産される。
図6に示すように、この再構築フェーズの間、第2の期間Bが第1の期間Aの直後に起こる。期間Bはアシスタント21が自動モードからマニュアルモードに切り替わるまで延長される。期間Bはマスク24及び25が管理装置22によって非マスキング位置に置かれる瞬間に開始する。この期間B全体を通して、マスク24及び25は管理装置22によって非マスキング構成に維持される。したがって、この期間Bの間、運転者20はマスキングされていない実画像10を観察でき、したがって、環境17の完全な表象が運転者20の心に形成される。
有利には、期間Bは、その間に補助ディスプレイ26,27,28の少なくとも1つが、例えば実画像10に重ね合わされたアイコン、及び/又は一定の注視対象、特に、決定的且つ/又は重要な注視対象などの一定の表象に少なくとも関する記号的な表象100をブロードキャストし続けるサブ期間BAを含む。これによって、さらに漸進的な移行が可能になる。特に、決定的な対象、重要な対象に関連付けられ、且つ/又はとるべき運転行動を示すアイコンは、有利には、マスキングから非マスキングへの移行後の数秒間にわたって、またオプションとしてマニュアルモードへの切り替え後にも維持される。運転者20の目には、これらのアイコンは、好ましくは、重ね合わせられた、すなわち、外部環境の現実に重ね合わせられたように見える。上記のように、これは特にヘッドアップ視覚装置、又はその他の任意の拡張現実方法を用いて得ることができる。
オプションとして、このサブ期間BAの後には期間Bのサブ期間BBが起こり、サブ期間BBで記号的な表象はもはやブロードキャストされない。
あるいは、期間B全体を通して、記号的な表象100がブロードキャストされる。ただし、期間B全体を通して、記号的な表象100がブロードキャストされないことが好ましい場合もある。
期間Bの終了時に、マニュアルモードへの切り替えが実行され、外部環境17を完全に認識し、不正確なマニュアル運転反応のリスクが特に軽減された状態で、運転者20によってマニュアル運転が再開される。好ましくは、マニュアル運転モードでは、特に復帰フェーズ直後は、運転者20は道路車両1の運転場所にいるか、又は少なくとも道路車両1に搭乗していて、自分に送られる可能性がある実画像及び記号的な表象に注意を払うことができる。マニュアル運転モードでは、特に復帰フェーズ直後は、運転者20がマスキングされていない実画像を受け取り道路車両の外部環境を確認できるように、マスクは非マスキング構成に維持される。
概して、運転アシスタント21は、好ましくは、外部環境17についての運転者20の認識の動的で漸進的な再構築のための高度なマンマシンインタフェースとして記述することができる。
1 車両
3,5,6,7,8 トランスミッタ
10 実画像
16 運転操作装置
17 外部環境
20 運転者
21 運転アシスタント
22 管理装置
23 運転自動機械
24,25 マスク
26,27,28 補助ディスプレイ
100 記号的な表象

Claims (12)

  1. 少なくとも1人の運転者(20)を輸送することができる道路車両(1)であって、前記道路車両(1)が、
    前記道路車両(1)の外部環境(17)の実画像(10)を前記運転者(20)に伝達する少なくとも1つのトランスミッタ(3,5,6,7,8)と、
    運転アシスタント(21)であって、
    前記運転者(20)のための少なくとも1つの補助ディスプレイ(26,27,28)と、
    運転自動制御装置(23)と、
    少なくとも1つのマスク(24,25)であって、
    前記トランスミッタ(3,5,6,7,8)の前記実画像(10)がマスキングされて前記運転者(20)に伝達される、又は前記実画像(10)が前記運転者(20)に伝達されないマスキング構成と、
    前記トランスミッタ(3,5,6,7,8)の前記実画像(10)がマスキングされずに前記運転者(20)に伝達される非マスキング構成との間で変化することができる少なくとも1つのマスク(24,25)とを備え、
    前記道路車両(1)を運転するために前記道路車両(1)の少なくとも1つの運転操作装置(16)が前記運転者(20)の制御下に置かれるマニュアルモードと、
    前記道路車両(1)を運転するために前記運転操作装置(16)が前記運転自動制御装置(23)の制御下に置かれる自動モードとの間で切り替わるように前記運転アシスタント(21)が構成され、
    前記運転アシスタント(21)のマニュアルモードへの切り替え直前に前記マニュアルモードへの復帰フェーズを実施するように前記運転アシスタント(21)が構成され、前記運転アシスタント(21)が自動モードにある間に、前記復帰フェーズが、
    第1の期間(A)であって、その全体を通して前記マスク(24,25)が前記マスキング構成に維持され、前記補助ディスプレイ(26,27,28)が、前記第1の期間(A)の少なくとも一部分の間、前記運転者(20)に対して前記外部環境(17)の記号的な表象(100)を表示する第1の期間(A)と、
    前記第1の期間(A)に続く、前記自動モードから前記マニュアルモードへの前記運転アシスタント(21)の切り替え直前の第2の期間(B)であって、その全体を通して前記マスク(24,25)が前記非マスキング構成に維持される第2の期間(B)とを備える、運転アシスタントと、
    を備える道路車両(1)。
  2. 前記復帰フェーズが1~30秒間継続するように前記運転アシスタント(21)が構成された、請求項1に記載の道路車両(1)。
  3. 前記復帰フェーズが2~7秒間継続するように前記運転アシスタント(21)が構成された、請求項2に記載の道路車両(1)。
  4. 前記外部環境(17)が、
    前記道路車両(1)が位置する道路交通車線システム(9)と、
    前記道路交通車線システム(9)上に存在し、サードパーティ道路車両、人物、動物、障害物、及び前記道路交通車線システムに属する道路交通のシグナリング要素から選択される少なくとも1つの注視対象(11,12,13,14,15)とを備
    前記第1の期間(A)が、
    第1のサブ期間(AA)であって、その間に、前記記号的な表象(100)が前記道路交通車線システム(9)又は前記少なくとも1つの注視対象(11,12,13,14,15)を表さない、又は前記記号的な表象(100)が表示されない第1のサブ期間(AA)と、
    前記第1のサブ期間に続く第2のサブ期間(AB)であって、その間に、前記記号的な表象(100)が前記注視対象(11,12,13,14,15)を表すことなく前記道路交通車線システム(9)を表す第2のサブ期間(AB)とを備えるように、前記運転アシスタント(21)が構成された、請求項1から3のいずれか一項に記載の道路車両(1)。
  5. 前記少なくとも1つの注視対象(11,12,13,14,15)が、第1の注視対象(14)を備え、かつ、
    前記第1の期間(A)が、前記第2のサブ期間(AB)に続く第3のサブ期間(AC)であって、その間に、前記記号的な表象(100)が前記道路交通車線システム(9)と前記第1の注視対象(14)の両方を表す第3のサブ期間(AC)を備えるように、前記運転アシスタント(21)が構成された、請求項4に記載の道路車両(1)。
  6. 前記少なくとも1つの注視対象(11,12,13,14,15)が、第2の注視対象(11,12,13,15)を備え、
    前記第3のサブ期間(AC)の間、前記記号的な表象(100)が前記第2の注視対象(11,12,13,15)を表すことなく前記道路交通車線システム(9)と前記第1の注視対象(14)の両方を表し、
    前記第1の期間(A)が、前記第3のサブ期間(AC)に続く第4のサブ期間(AD)であって、その間に、前記記号的な表象(100)が前記道路交通車線システム(9)、前記第1の注視対象(14)及び前記第2の注視対象(11,12,13,15)を同時に表す第4のサブ期間(AD)を備えるように、前記運転アシスタント(21)が構成された、請求項5に記載の道路車両(1)。
  7. 前記第2の期間(B)が、第5のサブ期間(BA)であって、その間に、前記補助ディスプレイ(26,27,28)が前記記号的な表象(100)を表示し続ける第5のサブ期間(BA)を備えるように、前記運転アシスタント(21)が構成された、請求項1から6のいずれか一項に記載の道路車両(1)。
  8. 前記復帰フェーズの間、少なくとも前記第2の期間(B)の間、前記運転者(20)の注意を惹くように、
    背景に、前記トランスミッタ(3,5,6,7,8)によって供給された前記実画像(10)を重ね合わせ、
    前景に、前記記号的な表象(100)を重ね合わせるように、前記補助ディスプレイ(26,27,28)が構成された、請求項7に記載の道路車両(1)。
  9. 各サブ期間(AA,AB,AC,AD,AE,BA,BB)が0.4秒~2秒の間継続するように前記運転アシスタント(21)が構成された、請求項4から8のいずれか一項に記載の道路車両(1)。
  10. 各サブ期間(AA,AB,AC,AD,AE,BA,BB)が0.5秒~0.8秒の間継続するように前記運転アシスタント(21)が構成された、請求項9に記載の道路車両(1)。
  11. 前記道路車両(1)の前記運転操作装置(16)が、
    前記道路車両(1)の操舵管理操作装置(16)、
    前記道路車両(1)の加速操作装置、及び
    前記道路車両(1)の減速操作装置の少なくとも1つを備えた、
    請求項1から10のいずれか一項に記載の道路車両(1)。
  12. 請求項1から11のいずれか一項に記載の道路車両(1)を用いて実施されるマニュアル運転への復帰方法であって、前記方法において、前記運転アシスタント(21)を自動モードからマニュアルモードへ切り替える前に、前記運転アシスタント(21)が復帰フェーズを実施する、マニュアル運転復帰への方法。
JP2020500865A 2017-07-11 2018-07-10 道路車両及びマニュアル運転に復帰する方法 Active JP7212824B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1756574 2017-07-11
FR1756574A FR3068945B1 (fr) 2017-07-11 2017-07-11 Vehicule routier et methode de reengagement de la conduite manuelle
PCT/EP2018/068686 WO2019011924A1 (fr) 2017-07-11 2018-07-10 Véhicule routier et méthode de réengagement de la conduite manuelle

Publications (2)

Publication Number Publication Date
JP2020526840A JP2020526840A (ja) 2020-08-31
JP7212824B2 true JP7212824B2 (ja) 2023-01-26

Family

ID=59811610

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020500865A Active JP7212824B2 (ja) 2017-07-11 2018-07-10 道路車両及びマニュアル運転に復帰する方法

Country Status (6)

Country Link
US (1) US20200198660A1 (ja)
EP (1) EP3652038B1 (ja)
JP (1) JP7212824B2 (ja)
CN (1) CN110944896B (ja)
FR (1) FR3068945B1 (ja)
WO (1) WO2019011924A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3345184A1 (en) * 2015-09-02 2018-07-11 THOMSON Licensing Method, apparatus and system for facilitating navigation in an extended scene
DE102018209192B3 (de) * 2018-05-17 2019-05-09 Continental Automotive Gmbh Verfahren und Vorrichtung zum Betreiben eines Kamera-Monitor-Systems für ein Kraftfahrzeug
US11199415B2 (en) * 2019-03-26 2021-12-14 Lyft, Inc. Systems and methods for estimating vehicle position based on contextual sensor information
JP7439563B2 (ja) * 2020-02-26 2024-02-28 トヨタ自動車株式会社 走行支援装置
EP3896604A1 (en) 2020-04-16 2021-10-20 Toyota Jidosha Kabushiki Kaisha Vehicle driving and monitoring system; method for maintaining a sufficient level of situational awareness; computer program and computer readable medium for implementing the method
US11634152B2 (en) * 2021-06-23 2023-04-25 Rivian Ip Holdings, Llc Systems and methods for providing a suggested steering action indicator to user interface of vehicle

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016182906A (ja) 2015-03-26 2016-10-20 アルパイン株式会社 運転支援システム
US20160311323A1 (en) 2015-04-27 2016-10-27 Lg Electronics Inc. Display Apparatus And Method For Controlling The Same
US20170136878A1 (en) 2014-07-04 2017-05-18 Daimler Ag Method for operating a motor vehicle in different driving modes, and motor vehicle

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013213600A1 (de) * 2013-07-11 2015-01-29 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Steuern der Informationsanzeige in einem Fahrzeug
DE102013219887A1 (de) * 2013-10-01 2015-04-02 Volkswagen Aktiengesellschaft Verfahren für ein Fahrerassistenzsystem eines Fahrzeugs
EP2915718B1 (en) * 2014-03-04 2018-07-11 Volvo Car Corporation Apparatus and method for continuously establishing a boundary for autonomous driving availability and an automotive vehicle comprising such an apparatus
DE102014226188A1 (de) * 2014-12-17 2016-06-23 Bayerische Motoren Werke Aktiengesellschaft Kommunikation zwischen einem Fahrzeug und einem Verkehrsteilnehmer im Umfeld des Fahrzeugs
EP3109115B1 (en) * 2015-06-23 2018-01-31 Volvo Car Corporation Arrangement and method for facilitating handover to and from an automated autonomous driving aid system
EP3133454B1 (en) * 2015-08-18 2017-12-27 Hitachi, Ltd. Method and apparatus for controlling a vehicle having automated driving control capabilities

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170136878A1 (en) 2014-07-04 2017-05-18 Daimler Ag Method for operating a motor vehicle in different driving modes, and motor vehicle
JP2016182906A (ja) 2015-03-26 2016-10-20 アルパイン株式会社 運転支援システム
US20160311323A1 (en) 2015-04-27 2016-10-27 Lg Electronics Inc. Display Apparatus And Method For Controlling The Same

Also Published As

Publication number Publication date
EP3652038B1 (fr) 2022-07-06
CN110944896A (zh) 2020-03-31
FR3068945B1 (fr) 2019-08-30
FR3068945A1 (fr) 2019-01-18
US20200198660A1 (en) 2020-06-25
CN110944896B (zh) 2023-05-02
WO2019011924A1 (fr) 2019-01-17
JP2020526840A (ja) 2020-08-31
EP3652038A1 (fr) 2020-05-20

Similar Documents

Publication Publication Date Title
JP7212824B2 (ja) 道路車両及びマニュアル運転に復帰する方法
US11167772B2 (en) Disabling onboard input devices in an autonomous vehicle
US11325471B2 (en) Method for displaying the course of a safety zone in front of a transportation vehicle or an object by a display unit, device for carrying out the method, and transportation vehicle and computer program
DE102013200862B4 (de) Optimaler Blickort an Anzeige für gesamte Frontscheibe
CN105691387B (zh) 用于运行机动车的方法、机动车
CN109204305B (zh) 丰富视野方法、观察员车辆和对象中使用的设备和机动车
US11904688B2 (en) Method for calculating an AR-overlay of additional information for a display on a display unit, device for carrying out the method, as well as motor vehicle and computer program
US20130142385A1 (en) Vehicle ghosting on full windshield display
US11731509B2 (en) Method for displaying the course of a trajectory in front of a transportation vehicle or an object by a display unit, and device for carrying out the method
CN110914095A (zh) 用于运行机动车的驾驶员辅助系统的方法以及机动车
WO2016120363A2 (en) Method for operating a driver assistance system of a motor vehicle with display of environmental data in an autonomous drive mode, driver assistance system as well as motor vehicle
US11420680B2 (en) Method for assisting a user of a motor vehicle when swerving around an obstacle, driver assistance device, and a motor vehicle
JP6623910B2 (ja) 車両用表示装置
JP2017202721A (ja) 表示システム
EP3959647B1 (de) Lagerichtige einblendung einer zusatzinformation auf einer anzeigeeinheit eines fahrzeugs
CN114867992A (zh) 用于呈现虚拟导航元素的方法和装置
US20230415652A1 (en) Camera module, information processing system, information processing method, and information processing apparatus
WO2023176737A1 (ja) 表示制御装置、表示制御方法
CN117850577A (zh) 用于自主车辆的乘客控制的增强现实体验

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210610

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221018

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221117

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20221219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221223

R150 Certificate of patent or registration of utility model

Ref document number: 7212824

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150