JP7365500B2 - 走行情報案内方法およびシステム - Google Patents

走行情報案内方法およびシステム Download PDF

Info

Publication number
JP7365500B2
JP7365500B2 JP2022517366A JP2022517366A JP7365500B2 JP 7365500 B2 JP7365500 B2 JP 7365500B2 JP 2022517366 A JP2022517366 A JP 2022517366A JP 2022517366 A JP2022517366 A JP 2022517366A JP 7365500 B2 JP7365500 B2 JP 7365500B2
Authority
JP
Japan
Prior art keywords
vehicle
lines
driving information
traveling
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022517366A
Other languages
English (en)
Other versions
JP2022549148A (ja
Inventor
ハクスン チェー
Original Assignee
ネイバーラボス コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ネイバーラボス コーポレーション filed Critical ネイバーラボス コーポレーション
Publication of JP2022549148A publication Critical patent/JP2022549148A/ja
Application granted granted Critical
Publication of JP7365500B2 publication Critical patent/JP7365500B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60Instruments characterised by their location or relative disposition in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • B60K35/81Arrangements for controlling instruments for controlling displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10Path keeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105Speed
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/365Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/203Drawing of straight lines or curves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/052Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/166Navigation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/168Target or limit values
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/177Augmented reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77Instrument locations other than the dashboard
    • B60K2360/785Instrument locations other than the dashboard on or in relation to the windshield or windows
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0002Automatic control, details of type of controller or control system architecture
    • B60W2050/0004In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005Processor details or data handling, e.g. memory registers or chip architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0019Control system elements or transfer functions
    • B60W2050/0026Lookup tables or parameter maps
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Instrument Panels (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Processing Or Creating Images (AREA)

Description

以下の説明は、走行情報案内方法およびシステムに関し、より詳細には、拡張現実(Augmented Reality:AR)およびヘッドアップディスプレイ(Head-UP Display:HUD)を基盤とする走行情報案内方法およびシステムに関する。
車両の走行情報を案内するための多様な技術が存在する。一例として、特許文献1は、ヘッドアップディスプレイを利用した車両走行情報通知装置および方法を開示している。
韓国特許出願公開第10-2006-0058215号公報
ヘッドアップディスプレイに表示される走行経路に対応する拡張現実オブジェクトを利用することで、従来のナビゲーション環境よりも、直観的かつリアルに車両の走行に関する多様な情報を案内することができる、走行情報案内方法およびシステムを提供する。
少なくとも1つのプロセッサを含むコンピュータ装置の走行情報案内方法であって、前記少なくとも1つのプロセッサにより、車両の予想走行経路の少なくとも一部に対応する仮想軌跡を示す、複数の線で構成された拡張現実オブジェクトを生成する段階、前記少なくとも1つのプロセッサにより、前記複数の線と前記車両が走行する道路とを連係して前記車両のヘッドアップディスプレイ上に前記仮想軌跡を表示するように、前記生成された拡張現実オブジェクトを提供する段階、および前記少なくとも1つのプロセッサにより、前記拡張現実オブジェクトである複数の線の間隔、色、および形状のうちの少なくとも1つを前記車両の走行状況に応じて制御してヘッドアップディスプレイに表示して前記車両の走行情報を提供する段階を含む、走行情報案内方法を提供する。
一態様によると、前記拡張現実オブジェクトを生成する段階は、前記車両が走行する道路の高精度地図(High Definition Map)情報を利用することで、前記複数の線が前記ヘッドアップディスプレイに表示されるときに、前記仮想軌跡を前記車両が走行する道路にマッチングして表現するように前記複数の線を生成することを特徴としてよい。
他の態様によると、前記車両の走行情報を提供する段階は、前記車両の走行速度に応じて前記複数の線の間隔を制御することを特徴としてよい。
また他の態様によると、前記車両の走行情報を提供する段階は、前記車両の走行速度が増加するほど前記複数の線の間隔は相対的に狭まり、前記車両の走行速度が減少するほど前記複数の線の間隔は相対的に広がるように、前記複数の線の表示を制御することを特徴としてよい。
また他の態様によると、前記車両の走行情報を提供する段階は、前記複数の線が前記ヘッドアップディスプレイを経て前記車両の走行中の車線内に表示されるように、前記複数の線の間隔の調節を制限することを特徴としてよい。
また他の態様によると、前記車両の走行情報を提供する段階は、ADAS(Advanced Driver Assistance System(先進運転支援システム))および高精度地図のうちの少なくとも1つを利用して認知される道路の幅に基づいて、前記複数の線の間隔を制御することを特徴としてよい。
また他の態様によると、前記車両の走行情報を提供する段階は、前記車両が走行する道路の最大走行制限速度または最低走行制限速度に応じて、前記複数の線の最大間隔または最小間隔にマッチングする走行速度を動的に設定することを特徴としてよい。
また他の態様によると、前記車両の走行情報を提供する段階は、前記最大間隔または前記最小間隔にマッチングされた走行速度を基に、前記車両の走行速度に応じて前記複数の線の間隔を線形的または非線形的に制御することを特徴としてよい。
また他の態様によると、前記車両の走行情報を提供する段階は、前記車両の走行速度が前記車両の走行する道路の規制速度を違反する場合、前記複数の線の色が変わるように前記複数の線の表示を制御することを特徴としてよい。
また他の態様によると、第1色と第2色の間に複数の色が段階的に予め定義され、前記車両の走行情報を提供する段階は、前記複数の線の色が第1色から前記複数の色を経て第2色に段階的に変化するように制御するが、前記車両の走行状況の変化速度に応じて前記色の段階的な変化速度を調節することを特徴としてよい。
また他の態様によると、前記車両の走行情報を提供する段階は、前記予想走行経路に応じて前記車両の走行中の車線と関連して前記複数の線が表示されるように制御するが、前記複数の線のうちの最左列の線または最右列の線を利用して前記車両の車線内の片寄りおよび車線離脱のうちの少なくとも1つに関する情報が表示されるように、前記複数の線の表示を制御することを特徴としてよい。
また他の態様によると、前記車両の走行情報を提供する段階は、前記車両の走行に応じてTBT(Turn By Turn(ターンバイターン))情報を表示しようとする場合、前記複数の線のうちの少なくとも1つの形状を変化させて前記複数の線の間に任意の空間を形成し、前記形成された空間にTBT情報が表示されるように前記複数の線の表示を制御することを特徴としてよい。
また他の態様によると、前記車両の走行情報を提供する段階は、前記TBT情報を表示するために前記複数の線の間に形成される空間の間隔および前記空間の個数のうちの少なくとも1つを、前記車両の走行速度に応じて動的に設定することを特徴としてよい。
さらに他の態様によると、前記車両の走行情報を提供する段階は、前記車両が走行する道路の高精度地図(High Definition Map)情報および前記車両が含むセンサの出力値に基づいて測定される前記車両が走行する道路の屈曲に応じて前記複数の線の形状および色のうちの少なくとも1つが変化するように、前記複数の線の表示を制御することを特徴としてよい。
コンピュータ装置と結合して前記方法をコンピュータ装置に実行させるためにコンピュータ読み取り可能な記録媒体に記録された、コンピュータプログラムを提供する。
前記方法をコンピュータ装置に実行させるためのプログラムが記録されている、コンピュータ読み取り可能な記録媒体を提供する。
コンピュータで実行可能な命令を記録するメモリおよび前記命令を実行するように実現される少なくとも1つのプロセッサを含み、前記少なくとも1つのプロセッサにより、車両の予想走行経路の少なくとも一部に対応する仮想軌跡を表現するように複数の線で構成される拡張現実オブジェクトを生成し、前記生成された拡張現実オブジェクトと前記車両が走行する道路とが連係して前記車両のヘッドアップディスプレイに表示されるように、前記生成された拡張現実オブジェクトを提供し、前記拡張現実オブジェクトである複数の線の間隔、色、および形状のうちの少なくとも1つを前記車両の走行状況に応じて制御してヘッドアップディスプレイに表示して前記車両の走行情報を提供することを特徴とする、コンピュータ装置を提供する。
ヘッドアップディスプレイに表示される走行経路に対応する拡張現実オブジェクトを利用することにより、従来のナビゲーション環境よりも、直観的かつリアルに車両の走行に関する多様な情報を案内することができる。
本発明の一実施形態における、ヘッドアップディスプレイに拡張現実オブジェクトを表示する例を示した図である。 本発明の一実施形態における、ヘッドアップディスプレイに拡張現実オブジェクトを表示する例を示した図である。 本発明の一実施形態における、ヘッドアップディスプレイに拡張現実オブジェクトを表示する例を示した図である。 本発明の一実施形態における、車両の走行速度に応じて拡張現実オブジェクトである複数の線の間隔を調節する例を示した図である。 本発明の一実施形態における、認知された道路の幅に応じて拡張現実オブジェクトである複数の線の間隔を調節する例を示した図である。 本発明の一実施形態における、車両が走行する道路の走行制限速度に応じて拡張現実オブジェクトである複数の線の間隔を調節する例を示した図である。 本発明の一実施形態における、車両が走行する道路の規制速度違反を拡張現実オブジェクトである複数の線の色によって表示する例を示した図である。 本発明の一実施形態における、拡張現実オブジェクトである複数の線のうちの最左列/最右列の線を利用して車両の車線離脱防止を警告する例を示した図である。 本発明の一実施形態における、TBT情報を表示する例を示した図である。 本発明の一実施形態における、複数の線で表示されるTBT情報の例を示した図である。 本発明の一実施形態における、車両の走行速度に応じてTBT情報が表示される間隔を調節する例を示した図である。 本発明の一実施形態における、車両の走行速度に応じてTBT情報が表示される回数を調節する例を示した図である。 本発明の一実施形態における、道路の屈曲に応じて拡張現実オブジェクトである複数の線を表示する例を示した図である。 本発明の一実施形態における、走行情報案内方法の例を示したフローチャートである。 本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。
以下、実施形態について、添付の図面を参照しながら詳しく説明する。
本発明の実施形態に係る走行情報案内システムは、車両と連係する少なくとも1つのコンピュータ装置によって実現されてよく、本発明の実施形態に係る走行情報案内方法は、走行情報案内システムに含まれる少なくとも1つのコンピュータ装置によって実行されてよい。このとき、コンピュータ装置においては、本発明の一実施形態に係るコンピュータプログラムがインストールされて実行されてよく、コンピュータ装置は、実行されたコンピュータプログラムの制御にしたがって本発明の実施形態に係る走行情報案内方法を実行してよい。上述したコンピュータプログラムは、コンピュータ装置と結合して走行情報案内方法をコンピュータに実行させるためにコンピュータ読み取り可能な記録媒体に記録されてよい。
ヘッドアップディスプレイ(Head-Up Display:HUD)とは、運転手の可視領域内に仮想画像を投映して車両および/または車両の走行に関する情報を提供するディスプレイ装置であって、本発明の実施形態に係る走行情報案内方法は、このようなヘッドアップディスプレイに拡張現実オブジェクトを表示することによって運転手に走行情報を案内することに関する。
図1~3は、本発明の一実施形態における、ヘッドアップディスプレイに拡張現実オブジェクトを表示する例を示した図である。図1~3は、複数の線で構成される拡張現実オブジェクトが、車両のフロントガラス部分に設置されたヘッドアップディスプレイの表示領域110に表示される例を示している。
このとき、複数の線は、車両の予想走行経路の少なくとも一部に対応する仮想軌跡を表現するためのものであって、図1には、点線枠120の5本の線によって直進経路130に対応する仮想軌跡を表現した実施形態が示されており、図2には、点線枠120の5本の線によって車線変更140のための経路に対応する仮想軌跡を表現した実施形態が示されており、図3には、点線枠120の5本の線によって左折/右折150のうちの右折経路に対応する仮想軌跡を表現した実施形態が示されている。このとき、図1~3の実施形態では、拡張現実オブジェクトである複数の線として5本の線を使用した例を示しているが、線の本数は実施形態によって多様に変更可能である。
一方、複数の線によって予想走行経路の少なくとも一部に対応する仮想軌跡を表現するために、拡張現実(Augmented Reality:AR)技術と高精度地図(High Definition Map)が活用されてよい。例えば、コンピュータ装置は、車両が走行する道路の高精度地図情報を利用することで、仮想軌跡が車両の走行する道路にマッチングして表現されるように複数の線を生成してよく、拡張現実技術を活用することで、このような複数の線がヘッドアップディスプレイの表示領域110に表示されるときに、車両が走行する道路にマッチングして表示されるように制御してよい。
このように、本発明の実施形態では、車両の予想走行経路の少なくとも一部に対応する仮想軌跡が複数の線によってヘッドアップディスプレイに表示されるように制御することにより、従来のナビゲーション環境よりも直観的かつリアルな走行情報案内を運転手に体験させることができる。
図4は、本発明の一実施形態における、車両の走行速度に応じて拡張現実オブジェクトである複数の線の間隔を調節する例を示した図である。図1~3では実際の環境に拡張現実技術を活用して表示された複数の線を示した反面、図4は、発明の理解を助けるために、拡張現実技術により、運転手が認識する複数の線を車両に対応させて仮想で表現した例を示している。言い換えれば、図4の第1例410、第2例420、第3例430、および第4例440に示した複数の線は、複数の線が例410~440のように車両の運転手に認識されるように、拡張現実技術によってヘッドアップディスプレイに表示されてよい。
一方、コンピュータ装置は、車両の走行速度に応じて複数の線の間隔を制御してよい。このとき、コンピュータ装置は、複数の線がヘッドアップディスプレイを経て車両が走行中の車線内に表示されるように、複数の線の間隔の調節を制限してよい。言い換えれば、本実施形態において、複数の線の間隔は、車両が走行する道路の幅によって制限されてよい。
第1例410では、車両の走行速度が予め設定された最低速度以下の場合、複数の線のうちの最左列の線と最右列の線の間隔が道路の幅に対応するように複数の線の間隔が制限された例を示している。このとき、第2例420、第3例430、および第4例440は、車両の走行速度が予め設定された最低速度を超過して次第に増加することにしたがって複数の線の間隔も次第に狭まり、最終的には互いに連結する様子を示している。言い換えれば、車両の運転手は、ヘッドアップディスプレイに表示される複数の線の間隔から、車両の大略的な速度を直観的に認知することが可能となる。
図5は、本発明の一実施形態における、認知された道路の幅に応じて拡張現実オブジェクトである複数の線の間隔を調節する例を示した図である。車両が走行する道路ごとにその幅は異なるようになる。図5の第1例510は、複数の線が車両の走行する道路の幅に合わせてヘッドアップディスプレイに表示された例を示している。また、図5の第2例520、第3例530、および第4例540も、互いに異なる道路の幅に応じて複数の線の最大間隔が変化することを示している。道路の幅は、ADAS(Advanced Driver Assistance System(先進運転支援システム))および高精度地図のうちの少なくとも1つを利用して認知されてよい。
図6は、本発明の一実施形態における、車両が走行する道路の走行制限速度に応じて拡張現実オブジェクトである複数の線の間隔を調節する例を示した図である。図6の第1例610は、車両が走行する道路の最大走行制限速度に基づいて、複数の線間が最小間隔に設定された例を示している。第1例610では、道路の最大走行制限速度が100km/hであり、車両が100km/h以上の速度で走行するときに、複数の線のうちの最左列の線と最右列の線との距離が車両の幅の50%になるように複数の線間の最小間隔に調節された例を示している。言い換えれば、車両がさらに加速したとしても、複数の線の間隔はこれ以上狭くならない。このとき、車両が100km/h未満に次第に減速すれば、複数の線の間隔は線形的に次第に広がってよい。例えば、第2例620は、第1例610で車両が100km/h未満に次第に減速することにより、複数の線の間隔が次第に広がった例を示している。
一方、複数の線の最大間隔は、車両が走行する道路の最低走行制限速度に基づいて設定されてよい。第3例630および第4例640は、車両が次第に減速することにより、複数の線の間隔が次第に広がる例を示している。このとき、第4例640では、車両が走行する道路の最低走行制限速度が50km/hであり、車両が50km/h未満の速度で走行するときに、複数の線のうちの最左列の線と最右列の線の距離が車両の幅の10%となるように、複数の線が最大間隔に調節された例を示している。言い換えれば、車両がさらに減速したとしても、複数の線の間隔はこれ以上広がらない。
このように、複数の線の間隔は、最大間隔と最小間隔の範囲内で、車両の走行速度に応じて線形的に狭まったり広がったりするように制御されてよい。このとき、図6の実施形態では、車両の幅を基準にして最大間隔と最小間隔が設定されたが、図4の実施形態のように、複数の線が道路の幅から逸脱しない範囲内で最大間隔が設定されてもよいし、複数の線が1つの線になるまで複数の線の間隔が狭まるように設定されてもよい。
図7は、本発明の一実施形態における、車両が走行する道路の規制速度違反を拡張現実オブジェクトである複数の線の色によって表示する例を示した図である。図7の第1例710、第2例720、第3例730、および第4例740は、車両の走行速度に応じて、複数の線の間隔が車両の走行する道路の幅内で変化する例を示している。このとき、車両の走行速度が該当の道路の規制速度を違反した場合、車両の運転手に規制速度違反を知らせるための情報が表示されてよい。
第1例710および第2例720は、最低速度違反を運転手に知らせるために、複数の線を表現するRGB値が、低い違反程度による第2例720の[255.234.0]から高い違反程度による第1例710の[255.32.74]に段階的に変化することを示している。
これと同じように、第3例730および第4例740は、最高速度違反を運転手に知らせるために、複数の線を表現するRGB値が、低い違反程度による第3例730の[255.234.0]から高い違反程度による第4例740の[255.32.74]に段階的に変化することを示している。
例えば、複数の線の色は、[0.168.255]、[0.228.255]、[0.255.144]、[96.255.0]、[186.255.0]、[234.255.0]、[255.234.0]、[255.218.14]、[255.204.68]、[255.158.72]、[255.122.42]、[255.63.32]、[255.32.74]のように13の段階的な色を有してよく、運転手に視覚的安定感を与えるために、車両の走行速度の変化に応じて段階的に変化するようにしてよい。このとき、車両の走行状況の変化速度に応じて色の段階的な変化速度が調節されてよい。例えば、状況の変化速度が速いとか急な瞬間には、複数の線の色の段階的な変化速度は相対的に速まってよい。
図8は、本発明の一実施形態における、拡張現実オブジェクトである複数の線のうちの最左/右列の線を利用して車両の車線離脱防止を警告する例を示した図である。図8の第1例810は、予想走行経路による車線の基本位置に車両が位置する場合の例を示している。図8の第2例820は、車両が車線の左側に片寄ることによって車線の校正が必要であることを運転手に知らせるために、複数の線のうちの最左列の線を強調して表示した例を示している。車両が車線の右側に片寄る場合には、車線の校正が必要であることを運転手に知らせるために、複数の線のうちの最右列の線を強調して表示してよい。線の強調表示は、線の太さや色などの変化によってなされてよい。このとき、線の太さの変化は、線の形状の変化に対応してよい。
図8の第3例830は、車両が車線の左側に片寄ることによって車線の校正が必要であることを運転手に知らせるために、複数の線のうちの最左列の線が車線の左側ラインと連結した例を示している。車両が車線の右側に片寄る場合には、車線の校正が必要であることを運転手に知らせるために、複数の線のうちの最右列の線を車線の右側ラインと連結してよい。図8の第4例840は、車線が進入すべきでない左側の車線を越えることにより、複数の線すべてを左側ラインに連結させた例を示している。車両が進入すべきでない左側の車線を越えた場合には、複数の線すべてを右側ラインに連結させてよい。このように、コンピュータ装置は、予想走行経路において車両が走行中の車線と関連して複数の線が表示されるように制御するが、複数の線のうちの最左列の線または最右列の線を利用して、車両の車線内の片寄りまたは車線離脱のうちの少なくとも1つに関する情報が表示されるように制御してよい。
図9は、本発明の一実施形態における、TBT情報を表示する例を示した図である。本実施形態では、拡張現実技術を利用して車両が走行する道路面に位置するように表示される複数の線によってTBT(Turn By Turn(ターンバイターン))情報を表示する例を示している。図9の第1例910は、複数の線の形状が変化しながら複数の線の間に任意の空間が形成され、形成された任意の空間にTBT情報が表示される例を示している。このとき、図9の第2例920、第3例930、および第4例940は、複数の線によって任意の空間が形成されながらTBT情報が表示される過程の例を示している。図9の第4例940は、右折に対応するTBT情報が表示された例を示している。
図10は、本発明の一実施形態における、複数の線によって表示されるTBT情報の例を示した図である。図10の第1例1010は、左折に対応するTBT情報が複数の線の間に形成された空間に表示された例を示しており、図10の第2例1020は、制限速度に対応するTBT情報が複数の線の間に形成された空間に表示された例を示している。また、図10の第3例1030は、Uターンに対応するTBT情報が複数の線の間に形成された空間に表示された例を示しており、図10の第4例1040は、経路移動(車線変更)に対応するTBT情報が複数の線の間に形成された空間に表示された例を示している。
このように、拡張現実オブジェクトである複数の線を基本に線の形状を変化させながら複数の線の間の空間にTBT情報を表示することにより、より空間性のあるTBT情報の演出が可能となり、運転手がTBT情報を直観的に理解できるようにサポートすることができる。
図11は、本発明の一実施形態における、TBT情報が表示される間隔を車両の走行速度によって調節する例を示した図である。図11の第1例1110および第2例1120は、運転手に表示される同一のTBT情報の移動感度が車両の走行速度によって異なることを示している。例えば、図11の第1例1110および第2例1120は、車両が減速することによってTBT情報が出力される間隔が狭まる例を示している。
この場合、運転手には、車両の走行速度とは関係なく、同じくらいの間隔でTBT情報が表示される経験を提供することが可能となる。このようなTBT情報が表示される間隔は、道路の特徴(一例として、一般道路、国道、高速道路など)によって車両の走行速度による適正値が異なってよい。例えば、同一車両の走行速度に対しても、一般道路よりも高速道路においてTBT情報が表示される間隔をより長くしてよい。このような適正値は、実際の道路走行によって実験的に決定されてよい。
図12は、本発明の一実施形態における、TBT情報が表示される回数を車両の走行速度によって調節する例を示した図である。図12の第1例1210および第2例1220は、同一のTBT情報が表示される回数が車両の走行速度によって異なることを示している。例えば、図12の第1例1110は、車両が相対的に高速である状況でTBT情報を2回にわたって表示する反面、第2例1120は、車両が相対的に低速である状況でTBT情報を3回にわたって表示する例を示している。
また、実施形態によって、TBT情報が最初に表示される時点も、車両の走行速度によって異なってよい。例えば、交差点で左折する状況のように車両が相対的に低速である場合には100~150m前にTBT情報を表示する反面、車両が相対的に高速である場合には200~300m前にTBT情報を表示することにより、運転手がより早く左折状況を認知することができる。このように、TBT情報の表示方式は、車両の走行環境に応じて最適化されてよい。
図13は、本発明の一実施形態における、拡張現実オブジェクトである複数の線を道路の屈曲に応じて表示する例を示した図である。図13の第1例1310および第2例1320は、ハンプに応じて複数の線の屈曲を調節する例を示している。例えば、コンピュータ装置は、車両が走行する道路の高精度地図情報および車両が含むセンサの出力値に基づいて、車両が走行する道路の屈曲を認識してよい。
このとき、コンピュータ装置は、認識された道路の屈曲に応じて、ヘッドアップディスプレイに表示される複数の線の形状および色のうちの少なくとも1つが変化するように制御してよい。図13では、道路の屈曲に応じて変化する複数の線を点線で示しているが、道路の屈曲に応じて曲線形態に変化する部分は、形状とともに色などを変化させて強調表示することにより、運転手が道路のボリュームを容易に認知できるようにしてよい。
図14は、本発明の一実施形態における、走行情報案内方法の例を示したフローチャートである。本実施形態に係る走行案内情報方法は、車両に含まれる少なくとも1つのコンピュータ装置によって実行されてよい。この場合、コンピュータ装置が含む少なくとも1つのプロセッサは、コンピュータ装置がさらに含むメモリにロードされるオペレーティングシステムのコードと、少なくとも1つのプログラムのコードとによる制御命令(instruction)を実行するように実現されてよい。ここで、少なくとも1つのプロセッサは、コンピュータ装置のメモリにロードされたコードが提供する制御命令にしたがってコンピュータ装置が図14の方法に含まれる段階1410~1440を実行するようにコンピュータ装置を制御してよい。
段階1410で、コンピュータ装置は、車両の予想走行経路の少なくとも一部に対応する仮想軌跡を示す、複数の線で構成された拡張現実オブジェクトを生成してよい。このとき、コンピュータ装置は、車両が走行する道路の高精度地図情報を利用することで、複数の線がヘッドアップディスプレイに表示されるときに、車両が走行する道路にマッチングして仮想軌跡が表現されるように複数の線を生成してよい。例えば、図1~3では、仮想軌跡を示す5本の線について説明した。
段階1410で、コンピュータ装置は、複数の線と車両が走行する道路とを連係して仮想軌跡を表示するように生成された拡張現実オブジェクトを車両のヘッドアップディスプレイ上で提供してよい。例えば、図1~3では、車両が走行しなければならない仮想軌跡を5本の線でヘッドアップディスプレイ110上に表示した例について説明した。この場合、コンピュータ装置は、車両のヘッドアップディスプレイに拡張現実オブジェクトを提供し、ヘッドアップディスプレイが拡張現実オブジェクトを表示することにより、道路と連係する仮想軌跡を表示してよい。
段階1410で、コンピュータ装置は、ヘッドアップディスプレイに表示される拡張現実オブジェクトである複数の線の間隔、色、および形状のうちの少なくとも1つを車両の走行状況に応じて制御して車両の走行情報を提供してよい。
一実施形態として、コンピュータ装置は、車両の走行速度に応じて複数の線の間隔を制御してよい。より具体的な例として、コンピュータ装置は、車両の走行速度が増加するほど複数の線の間隔が相対的に狭まるように、車両の走行速度が減少するほど複数の線の間隔が相対的に広がるように制御してよい。図4の実施形態では、車両の走行速度が増加するほど複数の線の間隔が相対的に狭まる例について説明した。
他の実施形態として、コンピュータ装置は、複数の線がヘッドアップディスプレイを経て車両の走行中の車線内に表示されるように、複数の線の間隔の調節を制限してよい。一例として、コンピュータ装置は、ADASおよび高精度地図のうちの少なくとも1つを利用して認知される道路の幅に基づいて、複数の線の間隔を制御してよい。図5の実施形態では、道路の幅を認知し、複数の線のうちの最左/右列の線が道路の左右ラインを越えないように複数の線の間隔が制御される例について説明した。
また他の実施形態として、コンピュータ装置は、車両が走行する道路の最大走行制限速度または最低走行制限速度に応じて、複数の線間の最大間隔または最小間隔にマッチングする走行速度を動的に設定してよい。このとき、コンピュータ装置は、最大間隔または最小間隔にマッチングされた走行速度に基づいて、車両の走行速度に応じて複数の線の間隔を線形的または非線形的に制御してよい。一例として、図6の実施形態では、道路の最大走行制限速度または最低走行制限速度に応じて、車両の幅を基準にして複数の線に対する最大間隔または最小間隔を設定し、このような最大間隔または最小間隔にマッチングされた走行速度によって複数の線の間隔を線形的に調節する例について説明した。
また他の実施形態として、コンピュータ装置は、車両の走行速度が車両の走行する道路の規制速度を違反する場合、複数の線の色が変化するように、ヘッドアップディスプレイに表示される複数の線を制御してよい。図7の実施形態では、車両の走行速度に応じて複数の線の色を段階的に変化させることについて説明した。例えば、第1色と第2色の間に複数の色が段階的に予め定義されてよい。この場合、コンピュータ装置は、複数の線の色が、第1色から前記複数の色を経て第2色に段階的に変化するように制御するが、車両の走行状況の変化速度に応じて色の段階的な変化速度を調節してよい。
また他の実施形態として、コンピュータ装置は、予想走行経路に応じて車両が走行中の車線と関連して前記複数の線が表示されるように制御するが、複数の線のうちの最左列の線または最右列の線を利用して、車両の車線内の片寄りおよび車線離脱のうちの少なくとも1つに関する情報が表示されるように制御してよい。図8では、車両の車線内の片寄りや車線離脱を運転手に警告するために最左列の線や最右列の線を活用する例について説明した。
また他の実施形態として、コンピュータ装置は、車両の走行に応じてTBT情報を表示する場合、複数の線のうちの少なくとも1つの形状を変化させて複数の線の間に任意の空間を形成し、形成された空間にTBT情報が表示されるように複数の線の表示を制御してよい。例えば、図9および図10では、複数の線の間に形成される空間にTBT情報を表示する例について説明した。このとき、コンピュータ装置は、TBT情報を表示するために、複数の線の間に形成される空間の間隔および空間の個数のうちの少なくとも1つを車両の走行速度に応じて動的に設定してよい。例えば、図11では、車両の走行速度に応じて空間の間隔を調節する実施形態について説明したし、図12では、TBT情報を表示するために複数の線の間に形成される空間の個数を車両の走行速度に応じて調節する実施形態について説明した。
また他の実施形態として、コンピュータ装置は、車両が走行する道路の高精度地図情報および車両が含むセンサの出力値に基づいて測定される車両が走行する道路の屈曲に応じて複数の線の形状および色のうちの少なくとも1つが変化するように、複数の線の表示を制御してよい。図13では、ハンプによって形成される道路の屈曲を、複数の線の形状と色を変化させて表現することについて説明した。
図15は、本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。コンピュータ装置1500は、図15に示すように、メモリ1510、プロセッサ1520、通信インタフェース1530、および入力/出力インタフェース1540を含んでよい。メモリ1510は、コンピュータ読み取り可能な記録媒体であって、RAM(random access memory)、ROM(read only memory)およびディスクドライブのような永続的大容量記録装置を含んでよい。ここで、ROMやディスクドライブのような永続的大容量記録装置は、メモリ1510とは区分される別の永続的記録装置としてコンピュータ装置1500に含まれてもよい。また、メモリ1510には、オペレーティングシステムと、少なくとも1つのプログラムコードが記録されてよい。このようなソフトウェア構成要素は、メモリ1510とは別のコンピュータ読み取り可能な記録媒体からメモリ1510にロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー(登録商標)ドライブ、ディスク、テープ、DVD/CD-ROMドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信インタフェース1530を通じてメモリ1510にロードされてもよい。例えば、ソフトウェア構成要素は、ネットワーク1560を介して受信されるファイルによってインストールされるコンピュータプログラムに基づいてコンピュータ装置1500のメモリ1510にロードされてよい。
プロセッサ1520は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ1510または通信インタフェース1530によって、プロセッサ1520に提供されてよい。例えば、プロセッサ1520は、メモリ1510のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。
通信インタフェース1530は、ネットワーク1560を介してコンピュータ装置1500が他の装置(一例として、上述した記録装置)と互いに通信するための機能を提供してよい。一例として、コンピュータ装置1500のプロセッサ1520がメモリ1510のような記録装置に記録されたプログラムコードにしたがって生成した要求や命令、データ、ファイルなどが、通信インタフェース1530の制御にしたがってネットワーク1560を介して他の装置に伝達されてよい。これとは逆に、他の装置からの信号や命令、データ、ファイルなどが、ネットワーク1560を経てコンピュータ装置1500の通信インタフェース1530を通じてコンピュータ装置1500に受信されてよい。通信インタフェース1530を通じて受信された信号や命令、データなどは、プロセッサ1520やメモリ1510に伝達されてよく、ファイルなどは、コンピュータ装置1500がさらに含むことのできる記録媒体(上述した永続的記録装置)に記録されてよい。
入力/出力インタフェース1540は、入力/出力装置1550とのインタフェースのための手段であってよい。例えば、入力装置は、マイク、キーボード、またはマウスなどの装置を、出力装置は、ディスプレイ、スピーカのような装置を含んでよい。他の例として、入力/出力インタフェース1540は、タッチスクリーンのように入力と出力のための機能が1つに統合された装置とのインタフェースのための手段であってもよい。入力/出力装置1550は、コンピュータ装置1500と1つの装置で構成されてもよい。
また、他の実施形態において、コンピュータ装置1500は、図15の構成要素よりも少ないか多くの構成要素を含んでもよい。しかし、大部分の従来技術の構成要素を明確に図に示す必要はない。例えば、コンピュータ装置1500は、上述した入力/出力装置1550のうちの少なくとも一部を含むように実現されてもよいし、トランシーバやデータベースなどのような他の構成要素をさらに含んでもよい。
以上で説明したように、本発明の実施形態によると、ヘッドアップディスプレイに表示される走行経路に対応する拡張現実オブジェクトを利用することで、従来のナビゲーション環境よりも、車両の走行に関する多様な情報をより直観的かつリアルに案内することができる。
上述したシステムまたは装置は、ハードウェア構成要素、またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ、マイクロコンピュータ、FPGA(field programmable gate array)、PLU(programmable logic unit)、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、1つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム(OS)およびOS上で実行される1つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、1つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および/または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは1つのプロセッサおよび1つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの1つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび/またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、1つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。媒体は、コンピュータ実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー(登録商標)ディスク、および磁気テープのような磁気媒体、CD-ROMおよびDVDのような光媒体、フロプティカルディスク(floptical disk)のような光磁気媒体、およびROM、RAM、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体が挙げられる。プログラム命令の例は、コンパイラによって生成されるもののような機械語コードだけではなく、インタプリタなどを使用してコンピュータによって実行される高級言語コードを含む。
以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ/あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

Claims (19)

  1. 少なくとも1つのプロセッサを含むコンピュータ装置の走行情報案内方法であって、
    前記少なくとも1つのプロセッサにより、車両の予想走行経路の少なくとも一部に対応する仮想軌跡を示す、複数の線で構成された拡張現実オブジェクトを生成する段階、
    前記少なくとも1つのプロセッサにより、前記複数の線と前記車両が走行する道路とを連係して前記仮想軌跡を表示するように、前記車両のヘッドアップディスプレイ上に前記生成された拡張現実オブジェクトを提供する段階、および
    前記少なくとも1つのプロセッサにより、ヘッドアップディスプレイに表示される前記拡張現実オブジェクトである前記複数の線の間隔、色、および形状のうちの少なくとも1つを前記車両の走行状況に応じて制御して、前記車両の走行情報を提供する段階
    を含み、
    前記車両の走行情報を提供する段階は、
    前記車両が走行する道路の最大走行制限速度に応じて前記複数の線の最小間隔を設定すること、および前記車両が走行する道路の最低走行制限速度に応じて前記複数の線の最大間隔を設定することのうち少なくとも1つを実行する段階
    を含む、走行情報案内方法。
  2. 前記拡張現実オブジェクトを生成する段階は、
    前記車両が走行する道路の高精度地図情報を利用することで、前記複数の線が前記ヘッドアップディスプレイに表示されるときに、前記仮想軌跡が前記車両の走行する道路にマッチングして表現されるように前記複数の線を生成することを特徴とする、請求項1に記載の走行情報案内方法。
  3. 前記車両の走行情報を提供する段階は、
    前記車両の走行速度に応じて前記複数の線の間隔を制御することを特徴とする、請求項1に記載の走行情報案内方法。
  4. 前記車両の走行情報を提供する段階は、
    前記車両の走行速度が増加するほど前記複数の線の間隔は相対的に狭まり、前記車両の走行速度が減少するほど前記複数の線の間隔は相対的に広がるように、前記複数の線の表示を制御することを特徴とする、請求項1に記載の走行情報案内方法。
  5. 前記車両の走行情報を提供する段階は、
    前記複数の線が前記ヘッドアップディスプレイを経て前記車両が走行中の車線内に表示されるように、前記複数の線の間隔の調節を制限することを特徴とする、請求項1に記載の走行情報案内方法。
  6. 前記車両の走行情報を提供する段階は、
    ADASおよび高精度地図のうちの少なくとも1つを利用して認知される道路の幅に基づいて、前記複数の線の間隔を制御することを特徴とする、請求項1に記載の走行情報案内方法。
  7. 前記車両の走行情報を提供する段階は、
    前記車両の走行速度に応じて、前記複数の線の間隔を設定された前記最小間隔以上に線形的または非線形的に制御すること、および前記複数の線の間隔を設定された前記最大間隔以下に線形的または非線形的に制御することのうち少なくとも1つを実行する段階を含むことを特徴とする、請求項1に記載の走行情報案内方法。
  8. 前記車両の走行情報を提供する段階は、
    前記車両の走行速度が前記車両の走行する道路の規制速度を違反する場合、前記複数の線の色が変化するように前記複数の線の表示を制御することを特徴とする、請求項1に記載の走行情報案内方法。
  9. 第1色と第2色の間に複数の色が段階的に予め定義され、
    前記車両の走行情報を提供する段階は、
    前記複数の線の色が第1色から前記複数の色を経て第2色に段階的に変化するように制御するが、前記車両の走行状況の変化速度に応じて前記色の段階的な変化速度を調節することを特徴とする、請求項に記載の走行情報案内方法。
  10. 前記車両の走行情報を提供する段階は、
    前記複数の線が前記車両の走行中の車線と関連して表示されるように前記予想走行経路に応じて制御するが、前記複数の線のうちの最左列の線または最右列の線を利用することで、前記車両の車線内の片寄りおよび車線離脱のうちの少なくとも1つに関する情報が表示されるように前記複数の線の表示を制御することを特徴とする、請求項1に記載の走行情報案内方法。
  11. 前記車両の走行情報を提供する段階は、
    前記車両の走行に応じてTBT(ターンバイターン)情報を表示する場合、前記複数の線のうちの少なくとも1つの形状を変化させて前記複数の線の間に任意の空間を形成し、前記形成された空間に前記TBT情報が表示されるように前記複数の線の表示を制御することを特徴とする、請求項1に記載の走行情報案内方法。
  12. 前記車両の走行情報を提供する段階は、
    前記TBT情報を表示するために、前記複数の線の間に形成される前記空間の間隔および前記空間の個数のうちの少なくとも1つを前記車両の走行速度に応じて動的に設定することを特徴とする、請求項11に記載の走行情報案内方法。
  13. 前記車両の走行情報を提供する段階は、
    前記車両が走行する道路の高精度地図情報および前記車両が含むセンサの出力値に基づいて測定される前記車両が走行する道路の屈曲に応じて、前記複数の線の形状および色のうちの少なくとも1つが変化するように前記複数の線の表示を制御することを特徴とする、請求項1に記載の走行情報案内方法。
  14. 請求項1に記載の方法をコンピュータ装置に実行させるためのコンピュータプログラムが記録されている、コンピュータ読み取り可能な記録媒体。
  15. コンピュータで実行可能な命令を記録するメモリ、および
    前記命令を実行するように実現される少なくとも1つのプロセッサ
    を含み、
    前記少なくとも1つのプロセッサにより、
    車両の予想走行経路の少なくとも一部に対応する仮想軌跡を示す、複数の線で構成された拡張現実オブジェクトを生成し、
    前記複数の線と前記車両が走行する道路とを連係して前記仮想軌跡を表示するように、前記車両のヘッドアップディスプレイ上に前記生成された拡張現実オブジェクトを提供し、
    ヘッドアップディスプレイに表示される前記拡張現実オブジェクトである前記複数の線の間隔、色、および形状のうちの少なくとも1つを前記車両の走行状況に応じて制御して前記車両の走行情報を提供し、
    前記車両が走行する道路の最大走行制限速度に応じて前記複数の線の最小間隔を設定すること、および前記車両が走行する道路の最低走行制限速度に応じて前記複数の線の最大間隔を設定することのうち少なくとも1つを実行すること
    を特徴とする、コンピュータ装置。
  16. 前記少なくとも1つのプロセッサにより、
    前記車両が走行する道路の高精度地図情報を利用することで、前記複数の線が前記ヘッドアップディスプレイに表示されるときに、前記仮想軌跡が前記車両の走行する道路にマッチングして表現されるように前記複数の線を生成すること
    を特徴とする、請求項15に記載のコンピュータ装置。
  17. 前記少なくとも1つのプロセッサにより、
    前記車両の走行速度に応じて前記複数の線の間隔を制御すること
    を特徴とする、請求項15に記載のコンピュータ装置。
  18. 前記少なくとも1つのプロセッサにより、
    前記車両の走行速度が増加するほど前記複数の線の間隔は相対的に狭まり、前記車両の走行速度が減少するほど前記複数の線の間隔は相対的に広がるように、前記複数の線の表示を制御すること
    を特徴とする、請求項15に記載のコンピュータ装置。
  19. 前記少なくとも1つのプロセッサにより、
    前記車両の走行速度に応じて、前記複数の線の間隔を設定された前記最小間隔以上に線形的または非線形的に制御すること、および前記複数の線の間隔を設定された前記最大間隔以下に線形的または非線形的に制御することのうち少なくとも1つを実行すること
    を特徴とする、請求項15に記載のコンピュータ装置。
JP2022517366A 2019-10-24 2020-09-15 走行情報案内方法およびシステム Active JP7365500B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020190133203A KR102270502B1 (ko) 2019-10-24 2019-10-24 주행 정보 안내 방법 및 시스템
KR10-2019-0133203 2019-10-24
PCT/KR2020/012433 WO2021080182A1 (ko) 2019-10-24 2020-09-15 주행 정보 안내 방법 및 시스템

Publications (2)

Publication Number Publication Date
JP2022549148A JP2022549148A (ja) 2022-11-24
JP7365500B2 true JP7365500B2 (ja) 2023-10-19

Family

ID=75619894

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022517366A Active JP7365500B2 (ja) 2019-10-24 2020-09-15 走行情報案内方法およびシステム

Country Status (5)

Country Link
US (1) US12017531B2 (ja)
EP (1) EP4049912A4 (ja)
JP (1) JP7365500B2 (ja)
KR (1) KR102270502B1 (ja)
WO (1) WO2021080182A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102541416B1 (ko) * 2021-06-29 2023-06-12 주식회사 디에이치오토웨어 실시간 교통정보를 반영한 헤드업 디스플레이 영상 표시 방법 및 장치
KR20240116622A (ko) 2023-01-20 2024-07-30 현대자동차주식회사 증강현실 기반 주행 정보 표시 장치 및 그 방법
KR20240119375A (ko) 2023-01-30 2024-08-06 현대자동차주식회사 증강현실 전환 제어를 이용한 주행 정보 표시 장치 및 그 방법

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000275057A (ja) 1999-03-24 2000-10-06 Denso Corp 車両誘導装置
JP2013196359A (ja) 2012-03-19 2013-09-30 Honda Motor Co Ltd 運転支援装置
JP2014213763A (ja) 2013-04-26 2014-11-17 日本精機株式会社 車両情報投影システム
JP2017013671A (ja) 2015-07-02 2017-01-19 日本精機株式会社 ヘッドアップディスプレイ装置
JP2017182595A (ja) 2016-03-31 2017-10-05 日産自動車株式会社 運転支援方法及び運転支援装置
WO2018172886A1 (en) 2017-03-21 2018-09-27 Visteon Global Technologies, Inc. Device and method for augmented reality driving assistance
JP2019012236A (ja) 2017-06-30 2019-01-24 パナソニックIpマネジメント株式会社 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体
JP2019053596A (ja) 2017-09-15 2019-04-04 本田技研工業株式会社 走行制御システムおよび車両の制御方法
JP2019059248A (ja) 2016-03-28 2019-04-18 マクセル株式会社 ヘッドアップディスプレイ装置
JP2019163037A (ja) 2014-12-01 2019-09-26 株式会社デンソー 画像処理装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060058215A (ko) 2004-11-24 2006-05-30 기아자동차주식회사 헤드업 디스플레이를 이용한 차량 주행 정보 알림 장치 및방법
WO2011108091A1 (ja) * 2010-03-03 2011-09-09 株式会社 東芝 車載用表示装置及び表示方法
DE102013010818A1 (de) * 2013-06-28 2013-12-12 Daimler Ag Verfahren und Fahrerassistenzsystem zur Einblendung von Texturen in eine Abbildung eines sich vor einem Fahrzeug befindlichen Straßenverlaufs und/oder in ein Sichtfeld eines Fahrers eines Fahrzeugs
JP6273976B2 (ja) * 2014-03-31 2018-02-07 株式会社デンソー 車両用表示制御装置
KR102214604B1 (ko) * 2014-09-05 2021-02-10 현대모비스 주식회사 운전 보조 영상 표시 방법
US20160084661A1 (en) * 2014-09-23 2016-03-24 GM Global Technology Operations LLC Performance driving system and method
US10131276B2 (en) * 2014-09-30 2018-11-20 Subaru Corporation Vehicle sightline guidance apparatus
JP6516089B2 (ja) * 2014-12-17 2019-05-22 日本精機株式会社 車両情報投影システム及び車両情報投影方法
MX371164B (es) * 2015-10-09 2020-01-21 Nissan Motor Dispositivo de despliegue vehicular y metodo de despliegue vehicular.
KR20170065083A (ko) * 2015-12-02 2017-06-13 현대오트론 주식회사 도로 시설물 정보를 이용한 차선 표시 장치 및 방법
DE112017006567B4 (de) * 2017-01-26 2024-09-05 Ford Global Technologies, Llc System und verfahren zum bereitstellen einer fahrerausbildung für einen menschlichen insassen eines autonomen fahrzeugs
GB201702309D0 (en) * 2017-02-13 2017-03-29 Jaguar Land Rover Ltd An apparatus and a method for controlling a head-up display of a vehicle
JP2018169169A (ja) * 2017-03-29 2018-11-01 日本精機株式会社 ヘッドアップディスプレイ装置
US10633027B2 (en) * 2017-06-21 2020-04-28 Toyota Research Institute, Inc. Enhanced virtual lane marker data for conveying a vehicle operational state
JP2019095851A (ja) * 2017-11-17 2019-06-20 アイシン・エィ・ダブリュ株式会社 車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム
KR102006158B1 (ko) * 2018-03-27 2019-08-01 (주)에스더블유엠 차량 주행유도 장치 및 방법
KR20200042166A (ko) * 2018-10-15 2020-04-23 삼성전자주식회사 컨텐츠를 시각화하는 장치 및 방법

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000275057A (ja) 1999-03-24 2000-10-06 Denso Corp 車両誘導装置
JP2013196359A (ja) 2012-03-19 2013-09-30 Honda Motor Co Ltd 運転支援装置
JP2014213763A (ja) 2013-04-26 2014-11-17 日本精機株式会社 車両情報投影システム
JP2019163037A (ja) 2014-12-01 2019-09-26 株式会社デンソー 画像処理装置
JP2017013671A (ja) 2015-07-02 2017-01-19 日本精機株式会社 ヘッドアップディスプレイ装置
JP2019059248A (ja) 2016-03-28 2019-04-18 マクセル株式会社 ヘッドアップディスプレイ装置
JP2017182595A (ja) 2016-03-31 2017-10-05 日産自動車株式会社 運転支援方法及び運転支援装置
WO2018172886A1 (en) 2017-03-21 2018-09-27 Visteon Global Technologies, Inc. Device and method for augmented reality driving assistance
JP2019012236A (ja) 2017-06-30 2019-01-24 パナソニックIpマネジメント株式会社 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体
JP2019053596A (ja) 2017-09-15 2019-04-04 本田技研工業株式会社 走行制御システムおよび車両の制御方法

Also Published As

Publication number Publication date
WO2021080182A1 (ko) 2021-04-29
US20220242238A1 (en) 2022-08-04
EP4049912A4 (en) 2023-11-01
US12017531B2 (en) 2024-06-25
JP2022549148A (ja) 2022-11-24
KR102270502B1 (ko) 2021-06-30
KR20210049247A (ko) 2021-05-06
EP4049912A1 (en) 2022-08-31

Similar Documents

Publication Publication Date Title
JP7365500B2 (ja) 走行情報案内方法およびシステム
JP6746706B2 (ja) 自動運転制御パラメータ変更装置および自動運転制御パラメータ変更方法
US11244497B2 (en) Content visualizing device and method
JP2019152489A (ja) ナビゲーション装置および走行経路案内方法
US11334242B2 (en) Display control device and display control method
EP2775262A1 (en) Route guidance
CN103282743A (zh) 对三维环境进行视觉表示
US20200327868A1 (en) Display control device and display control method
KR20190013570A (ko) 자동 주행을 위해 차량의 주행 조작을 선택하기 위한 시스템
JP6385138B2 (ja) 車載表示制御装置および車載表示制御方法
JP2012127791A (ja) ナビゲーション装置およびその制御方法並びにプログラム
US20200031227A1 (en) Display control apparatus and method for controlling display
CN108474664B (zh) 用于运行车辆中的显示系统的方法以及显示系统
JP2016168927A (ja) 情報表示装置
JP2017102041A (ja) 車載機器及び該車載機器における走行軌跡の表示方法
US20240110808A1 (en) Method and control device for activating a display device of a navigation system of a vehicle, display device, and vehicle
KR20210017242A (ko) 속도 표시 장치 및 그 제어 방법
JP2014153262A (ja) 情報表示装置、情報表示方法及び情報表示用プログラム
US20190107412A1 (en) Map display system and map display program
JP2019015690A (ja) 経路案内装置および経路案内方法
JP5521717B2 (ja) 画像表示方法
JP4930795B2 (ja) ナビゲーション装置及びナビゲーションプログラム
WO2020066964A1 (ja) 車両用表示制御装置、車載機器操作システム、方法、及びguiプログラム
JP2022079156A (ja) 運転シミュレーション装置及び運転シミュレーションプログラム
JP6562826B2 (ja) ナビゲーション装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220317

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230628

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231006

R150 Certificate of patent or registration of utility model

Ref document number: 7365500

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350