WO2021010602A2 - Method and system for showing tbt information by utilizing hd map and hud - Google Patents

Method and system for showing tbt information by utilizing hd map and hud Download PDF

Info

Publication number
WO2021010602A2
WO2021010602A2 PCT/KR2020/007851 KR2020007851W WO2021010602A2 WO 2021010602 A2 WO2021010602 A2 WO 2021010602A2 KR 2020007851 W KR2020007851 W KR 2020007851W WO 2021010602 A2 WO2021010602 A2 WO 2021010602A2
Authority
WO
WIPO (PCT)
Prior art keywords
tbt
point
guidance
augmented
displayable
Prior art date
Application number
PCT/KR2020/007851
Other languages
French (fr)
Korean (ko)
Other versions
WO2021010602A3 (en
Inventor
임예숙
Original Assignee
네이버랩스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버랩스 주식회사 filed Critical 네이버랩스 주식회사
Publication of WO2021010602A2 publication Critical patent/WO2021010602A2/en
Publication of WO2021010602A3 publication Critical patent/WO2021010602A3/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays

Definitions

  • TBT turn-by-turn
  • HUD Head Up Display
  • windshield or combiner type located in front to minimize the driver's gaze movement while driving. It is a device that provides information so as not to distract attention.
  • Korean Patent Laid-Open Publication No. 10-2014-0080789 discloses a technology for adaptively moving and displaying the HUD screen in the direction of the user's gaze. .
  • It provides a TBT guidance method and system that can conditionally display AR objects for points classified as TBT on an HD map on a Head Up Display (HUD).
  • HUD Head Up Display
  • TBT guidance method and system that can be displayed on the HUD by specifying AR objects for all TBT points on the HD map, but changing only the AR objects of TBT points included in the navigation route to a visible state. do.
  • TBT guide method and system capable of displaying AR objects of different designs according to TBT types by classifying TBT types.
  • TBT guidance method and system capable of displaying an AR object by occlusion processing when an AR object is obscured by an obstacle recognized at a TBT point.
  • a turn-by-turn (TBT) guidance method executed on a computer device wherein the computer device comprises at least one processor configured to execute computer readable instructions contained in a memory, and the TBT guidance method comprises: the at least Changing, by one processor, at least some of the augmented objects designated as objects for guiding the TBT points on the map and set as conditionally displayable states to a displayable state; And using, by the at least one processor, the augmented object changed to the displayable state for guiding the TBT point.
  • the changing may include changing the augmented object to a displayable state according to a driving route searched for driving guidance.
  • the changing may include: maintaining augmented objects of all TBT points on the map in a non-displayable off state; And switching the augmented object of the TBT point included in the searched driving route for driving guidance into a displayable on state.
  • the changing may include: maintaining the augmented objects of all TBT points on the map in a non-displayable off state; And switching the augmented object of the TBT point included in the driving route searched for driving guidance and included in the guidance area displayed on the display device to a displayable ON state.
  • the using may include displaying the augmented object changed to the displayable state on a display device installed in the vehicle at the time of guiding the TBT point.
  • an object representing the reference point of the rotation direction may be displayed on the display device as the augmented object.
  • an object guiding the driving direction as the augmented object may be displayed on the display device.
  • the augmented object is displayed in a floating form on the display device before a predetermined distance of the POI. can do.
  • the augmented object in the displaying, when the TBT point is a guide point generated according to a route setting, the augmented object may be displayed in a floating form on the display device before a certain distance of the guide point. .
  • the augmented object when an obstacle is recognized at the TBT point, the augmented object may be displayed by distinguishing a portion of the augmented object that overlaps the obstacle from a portion that does not overlap.
  • It provides a non-transitory computer-readable recording medium in which a program for executing the TBT guidance method on a computer is recorded.
  • a computer device comprising: at least one processor configured to execute computer readable instructions contained in a memory, wherein the at least one processor is designated as an object for guiding a TBT point for each TBT point on a map It provides a computer device, characterized in that changing at least some of the augmented objects set in a displayable state to a displayable state, and using the augmented object changed to the displayable state to guide the TBT point.
  • AR objects for points classified as TBT on a high-definition map HD map may be conditionally displayed on the HUD.
  • AR objects may be designated for all TBT points on an HD map, but only AR objects of TBT points included in the searched driving path of the navigation may be changed to a visible state and displayed.
  • a portion to be covered may be covered and displayed.
  • FIG. 1 is a block diagram illustrating an example of an internal configuration of a computer device according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of components that may be included in a processor of a computer device according to an embodiment of the present invention.
  • FIG. 3 is a flowchart showing an example of a TBT guidance method that can be performed by a computer device according to an embodiment of the present invention.
  • FIG. 4 illustrates an example of a process of automatically designating an AR object to be turned on from an HD map according to an embodiment of the present invention.
  • 5 to 9 are diagrams illustrating examples of designing AR objects for each TBT type in an embodiment of the present invention.
  • FIG. 10 shows an example of a method of processing an AR object at a TBT point according to an embodiment of the present invention.
  • Embodiments of the present invention relate to a technique for providing turn-by-turn (TBT) guidance.
  • TBT turn-by-turn
  • the AR object of the point classified as the TBT guide point on the HD map can be changed and displayed in a visible state according to the conditional, through which information transmission efficiency, information perception, etc.
  • Significant advantages can be achieved in terms of information guidance.
  • FIG. 1 is a block diagram showing an example of a computer device according to an embodiment of the present invention.
  • the TBT guidance system according to embodiments of the present invention may be implemented by the computer device 100 shown through FIG. 1.
  • the computer device 100 is a component for executing the TBT guidance method according to embodiments of the present invention, and includes a memory 110, a processor 120, a communication interface 130, and an input/output interface. It may include (140).
  • the memory 110 is a computer-readable recording medium and may include a permanent mass storage device such as a random access memory (RAM), read only memory (ROM), and a disk drive.
  • a non-destructive large-capacity recording device such as a ROM and a disk drive may be included in the computer device 100 as a separate permanent storage device separate from the memory 110.
  • an operating system and at least one program code may be stored in the memory 110.
  • These software components may be loaded into the memory 110 from a computer-readable recording medium separate from the memory 110.
  • Such a separate computer-readable recording medium may include a computer-readable recording medium such as a floppy drive, disk, tape, DVD/CD-ROM drive, and memory card.
  • software components may be loaded into the memory 110 through a communication interface 130 other than a computer-readable recording medium.
  • software components may be loaded into the memory 110 of the computer device 100 based on a computer program installed by files received through the network 160.
  • the processor 120 may be configured to process instructions of a computer program by performing basic arithmetic, logic, and input/output operations. Instructions may be provided to the processor 120 by the memory 110 or the communication interface 130. For example, the processor 120 may be configured to execute a command received according to a program code stored in a recording device such as the memory 110.
  • the communication interface 130 may provide a function for the computer device 100 to communicate with other devices through the network 160. For example, requests, commands, data, files, etc., generated by the processor 120 of the computer device 100 according to a program code stored in a recording device such as the memory 110, are transmitted through the network ( 160) can be delivered to other devices. Conversely, signals, commands, data, files, etc. from other devices may be received by the computer device 100 through the communication interface 130 of the computer device 100 via the network 160. Signals, commands, data, etc. received through the communication interface 130 may be transferred to the processor 120 or the memory 110, and the file, etc. may be a storage medium (described above) that the computer device 100 may further include. Permanent storage).
  • the input/output interface 140 may be a means for an interface with the input/output device 150.
  • the input device may include a device such as a microphone, keyboard, camera, or mouse
  • the output device may include a device such as a display and a speaker.
  • the input/output interface 140 may be a means for interfacing with a device in which input and output functions are integrated into one, such as a touch screen.
  • the input/output device 150 may be configured with the computer device 100 and one device.
  • the computer device 100 may include fewer or more components than the components of FIG. 1. However, there is no need to clearly show most of the prior art components.
  • the computer device 100 may be implemented to include at least a portion of the input/output device 150 described above, or may further include other components such as a transceiver and a database.
  • the communication method is not limited, and not only a communication method using a communication network (for example, a mobile communication network, wired Internet, wireless Internet, broadcasting network) that the network 160 may include, but also short-range wired/wireless communication between devices may be included.
  • the network 160 includes a personal area network (PAN), a local area network (LAN), a campus area network (CAN), a metropolitan area network (MAN), a wide area network (WAN), and a broadband network (BBN). , Internet, and the like.
  • the network 160 may include any one or more of a network topology including a bus network, a star network, a ring network, a mesh network, a star-bus network, a tree or a hierarchical network, etc. Not limited.
  • FIG. 2 is a diagram showing an example of components that can be included in a processor of a computer device according to an embodiment of the present invention
  • FIG. 3 is a TBT guide that can be performed by a computer device according to an embodiment of the present invention. It is a flow chart showing an example of the method.
  • the processor 120 may include a point selection unit 201, a state change unit 202, and a TBT guide unit 203.
  • Components of the processor 120 may be expressions of different functions performed by the processor 120 according to a control command provided by at least one program code.
  • the point selection unit 201 may be used as a functional expression that operates to control the computer device 100 so that the processor 120 selects a TBT point.
  • the processor 120 and components of the processor 120 may perform steps S310 to S330 included in the TBT guidance method of FIG. 3.
  • the processor 120 and the components of the processor 120 may be implemented to execute an instruction according to the code of the operating system included in the memory 110 and the at least one program code described above.
  • at least one program code may correspond to a code of a program implemented to process the TBT guide method.
  • the server system and the local device of the vehicle driver may be distributed and implemented, and the server system and the local device may be implemented with the computer apparatus 100 described with reference to FIG. 1.
  • path setting and object control included in the path are performed by a server, and when path information and control signals are transmitted from the server to a local device, path guidance and object display may be performed locally using the HUD.
  • the TBT guidance method may not occur in the order shown, and some of the steps may be omitted or an additional process may be further included.
  • the processor 120 may load the program code stored in the program file for the TBT guidance method into the memory 110.
  • a program file for the TBT guidance method may be stored in a permanent storage device that is separate from the memory 110, and the processor 120 stores a program code from a program file stored in a permanent storage device through a bus.
  • the computer device 100 may be controlled to be loaded onto 110).
  • each of the processor 120 and the point selection unit 201, the state change unit 202, and the TBT guide unit 203 included in the processor 120 is a corresponding part of the program code loaded into the memory 110 It may be different functional expressions of the processor 120 for executing the subsequent steps S310 to S330 by executing the command of. In order to execute steps S310 to S330, the processor 120 and components of the processor 120 may directly process an operation according to a control command or control the computer device 100.
  • the TBT guidance system may be implemented in the form of a vehicle application, and the processor 120 may provide navigation based on an HD map, that is, driving guidance.
  • HD map refers to a high-precision map for providing detailed road and surrounding terrain information to autonomous vehicles, etc., and has an accuracy of within 10 cm of error range, as well as lane-level information such as road center line and boundary line, as well as traffic lights and signs. , Curb, road mark, and various structures in 3D digital form.
  • the point selection unit 201 selects TBT points included in the driving route searched for navigation guidance from among points pre-classified as TBT guidance points on the HD map (hereinafter, referred to as'TBT points'). I can.
  • the TBT point in the driving context can be determined as the point at which the driver has the most difficulty in making decisions or is confused while driving.
  • a virtual object augmented as a guide object hereinafter, referred to as'AR object'
  • the AR object can be used for TBT guidance.
  • the point selection unit 201 may select a TBT point included in a driving route searched for a destination set by a vehicle driver from among all TBT points in which a guide object on the HD map is designated in order to utilize the AR object for TBT guidance. .
  • the state changer 202 may change the AR object of the TBT point selected on the HD map to a state in which the selected TBT point can be displayed in a visible and displayable state (turn on).
  • the AR object remains invisible (turn off) by default, but conditionally, that is, the corresponding TBT set to be visible only for the TBT points included in the navigation route.
  • At least some of the AR objects at the point may be converted into a displayable turn-on state.
  • the state changer 202 may change at least some of the augmented objects that are set as conditionally displayable states by being designated as objects for guiding the TBT points on the map to the displayable state.
  • the AR object of the selected TBT point may be switched to a turn-on state.
  • Another example is the process of converting the AR object of the selected TBT point to a turn-on state by selecting TBT points included in the driving route of some sections ahead in units of a specified section (e.g., 10 km) in the driving route searched for the destination. You can also repeat
  • the TBT guide unit 203 is an AR object that has been turned on for the corresponding TBT point at the time of guiding the TBT point included in the corresponding driving route during the process of guiding the searched driving route for the destination. May be displayed on at least one display device installed in the vehicle.
  • the computer device 100 may be connected to a display device such as a HUD installed in a vehicle or a front display device such as a navigation terminal, and the TBT guide unit 203 shows an AR object through a display device installed in the vehicle to be used for TBT guidance. I can.
  • the HUD will be described as a representative example of a display device for displaying an AR object used for TBT guidance.
  • the processor 120 may conditionally change the AR object of the TBT point on the HD map to a visible state only when it is included in the searched driving route, and display it on the HUD.
  • FIG. 4 illustrates an example of a process of automatically designating an AR object to be turned on from an HD map according to an embodiment of the present invention.
  • step S401 when a destination is set by the driver of the vehicle, the processor 120 searches for a driving route to the destination using an HD map and starts driving guidance based on the found driving route. do.
  • step S402 the processor 120 determines whether the TBT point within a certain radius based on the current position of the vehicle on the HD map is a TBT point included in the searched driving route.
  • step S403 if the TBT point within a certain radius is not a TBT point included in the searched driving route as a result of the determination in step S402, the processor 120 maintains the AR object of the corresponding TBT point in a non-displayable off state. .
  • step S404 if the TBT point within a certain radius corresponds to the TBT point included in the searched driving route as a result of the determination in step S402, the corresponding TBT point is a guide area currently displayed on the HUD, That is, it is determined whether it is included in the field of view (FOV).
  • FOV field of view
  • step S404 if the TBT point within a certain radius is not included in the FOV of the HUD, the processor 120 maintains the AR object of the corresponding TBT point in a non-displayable off state.
  • the processor 120 does not use the AR object for TBT guidance even if the AR object is designated on the HD map in the case of a TBT point that is not included in the searched driving path or is not included in the FOV of the HUD.
  • step S405 the processor 120 changes the AR object of the corresponding TBT point to a displayable ON state when the TBT point within a certain radius is included in the FOV of the HUD as a result of the determination in step S404.
  • all TBT points on the HD map are basically always kept in an off state, and in the case of a TBT point included in the searched driving path and entering the FOV of the HUD, the AR object can be turned on.
  • the processor 120 determines whether an obstacle exists in the FOV of the HUD. For example, the processor 120 determines whether an obstacle overlapping the AR object of the corresponding TBT point exists around the TBT point included in the FOV of the HUD among the TBT points included in the driving path, or between the vehicle and the TBT point. I can judge.
  • the processor 120 may recognize an obstacle positioned around the TBT point or between the vehicle and the TBT point through a camera or sensor installed in the vehicle, ADAS (Advanced Driving Assistance System) sensing, or the like.
  • ADAS Advanced Driving Assistance System
  • the processor 120 may display the AR object of the TBT point on the HUD in a basic display form when an obstacle overlapping with the AR object of the TBT point is not recognized as a result of the determination in step S406. .
  • step S408 when an obstacle overlapping the AR object of the corresponding TBT point is recognized at the TBT point as a result of the determination in step S408, the AR object of the corresponding TBT point may be masked and displayed on the HUD.
  • the processor 120 may display the overlapping portion by covering the overlapped portion.
  • the occlusion treatment may mean that the part that overlaps with the obstacle is displayed differently from when there is no obstacle.For example, the part covered by the obstacle is displayed with a dotted line, or a different color, shading treatment, or transparency is applied. The part that is covered by the back and the part that is not covered can be marked separately.
  • the AR object at the corresponding TBT point may be recognized, and at the same time, a portion covered by the obstacle may be more naturally displayed.
  • step S404 in FIG. 4 may be omitted. That is, the processor 120 can turn on the AR object of the TBT point included in the driving route in a displayable state, regardless of whether the TBT point is included in the FOV of the HUD, and the on (on) AR object When is included in the FOV of the HUD, the corresponding AR object can be displayed on the HUD.
  • step S404 is omitted, if the answer is "Yes" in step S402, the process proceeds to step S405.
  • 5 to 9 are diagrams illustrating examples of designing AR objects for each TBT type in an embodiment of the present invention.
  • the processor 120 may classify the TBT types during TBT guidance and display AR objects of different designs according to the TBT types.
  • TBT In TBT, it is a type that clarifies the actual driving direction when the possibility of various directions exists.
  • a straight direction TBT 501, a left direction TBT 502, a rotary 10 o'clock TBT 503, and the like may correspond to the driving direction TBT.
  • the guide is guided in a manner of inducing "go straight in the direction of A (circle bracket A)", and in the case of the left direction TBT 502, the guide is guided in a manner of inducing the "left direction where A is located"
  • the TBT 503 at 10 o'clock in the rotary it is guided in a manner of guiding "10 o'clock in the direction of the A”.
  • a TBT for guiding a high-pass toll gate entry direction and a highway entry direction may also be included in the driving direction TBT.
  • the processor 120 may display on the HUD 610 an AR object inducing a predetermined driving direction at a TBT point for guiding the driving direction.
  • the AR object of the driving direction TBT may include a driving guide line object 601 and a direction guiding object 603, wherein the driving guide line object 601 and the direction guiding object 603 correspond to the road floor in front of the vehicle and are exposed. It can be displayed in a design that can guide the driving direction in the form.
  • This type is a reference point for rotation or direction change in TBT, and is a type that clarifies the direction of rotation.
  • a right-turn TBT 701, a U-turn TBT 702, a right 4 o'clock TBT 703, etc. may correspond to the rotation direction TBT. have.
  • the guide is guided by inducing a “turn around A to the right (clockwise direction)”, and in the case of the U-turn TBT 702, the “U-turn around A to the left (counterclockwise)”
  • the TBT 703 at 4 o'clock on the right "turn around A to the right (clockwise) and guide 4 o'clock”.
  • the processor 120 may display an AR object guiding a rotation direction and a rotation reference point determined at a TBT point for guiding the rotation direction on the HUD 610.
  • the AR object of the rotation direction TBT may include a rotation reference point object 803.
  • the driving guide line object 801 guiding the driving route may be displayed together with the object 803, and the driving guide line object 801 may guide the driving direction in a form that is exposed in correspondence with the road floor in front of the vehicle.
  • the rotation reference point object 803 may be displayed in a form in which a virtual object having a predetermined height (z-axis height) is standing on a road surface or a road sloping stone, which is a reference point for rotation.
  • the processor 120 may display an AR object in the rotation direction TBT that guides the rotation reference point with respect to the branch point included in the driving path.
  • a rest area, a gas station, a drowsy shelter, etc. may correspond to the fixed POI TBT.
  • a waypoint or a destination may correspond to the floating POI TBT.
  • Fixed POI TBT and floating POI TBT are TBT information for the purpose of notifying that you are almost arriving near the POI at the time of guidance even if it is not visible from the driver's view, or for asking whether to stop at the POI, so they are floated on the ground. Can be marked with According to this, even if the POI point is not yet visible, the driver can make a decision on whether to park/stop before reaching the POI by referring to the fixed POI TBT or the floating POI TBT.
  • the processor 120 displays the AR object 901 of the corresponding TBT on the HUD 610 before a certain distance to arrive at the fixed POI TBT point and the floating POI TBT point, but the corresponding POI is actually located.
  • the AR object 901 may be displayed in a floating form at a location corresponding to the point.
  • FIG. 10 shows an example of a method of processing an AR object at a TBT point according to an embodiment of the present invention.
  • the processor 120 may mask the AR object at the TBT point and display it on the HUD.
  • the processor 120 may mask the AR object at the TBT point and display it on the HUD.
  • a portion of the AR object covered by the obstacle may be processed and displayed to be visually distinguished.
  • a driving guide line object 1001 and a direction guiding object 1003 are displayed as AR objects through the HUD 610 in the driving direction TBT.
  • the AR object is used for TBT guidance by expressing the obstructed and unobstructed portions in a visually distinct way, and displaying the AR object in a form that allows recognition of the AR object regardless of the obstacle, rather than omitting the obscured portion completely by obstruction. I can.
  • the apparatus described above may be implemented as a hardware component, a software component, and/or a combination of a hardware component and a software component.
  • the devices and components described in the embodiments are a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), a programmable gate array (PLU). It may be implemented using one or more general purpose computers or special purpose computers, such as a logic unit), a microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications executed on the operating system.
  • OS operating system
  • software applications executed on the operating system.
  • the processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • the processing device is a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it may include.
  • the processing device may include a plurality of processors or one processor and one controller.
  • other processing configurations are possible, such as a parallel processor.
  • the software may include a computer program, code, instructions, or a combination of one or more of these, configuring the processing unit to behave as desired or processed independently or collectively. You can command the device.
  • Software and/or data may be embodyed in any type of machine, component, physical device, computer storage medium or device to be interpreted by the processing device or to provide instructions or data to the processing device. have.
  • the software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium.
  • the medium may be one that continuously stores a program executable by a computer, or temporarily stores a program for execution or download.
  • the medium may be a variety of recording means or storage means in a form in which a single or several pieces of hardware are combined, but is not limited to a medium directly connected to a computer system, but may be distributed on a network.
  • Examples of media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magnetic-optical media such as floptical disks, and And ROM, RAM, flash memory, and the like may be configured to store program instructions.
  • examples of other media include an app store that distributes applications, a site that supplies or distributes various software, and a recording medium or a storage medium managed by a server.

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

Disclosed are a method and system for showing TBT information by utilizing an HD map and an HUD. The method for showing TBT comprises: a step of turning on at least a portion of augmented objects, each of which is designated as an object for showing a TBT point with respect to TBT points on a map and set to be conditionally turned on; and a step of using the turned-on augmented object in showing the TBT point.

Description

HD 맵과 HUD를 활용한 TBT 정보를 안내하는 방법 및 시스템Method and system to guide TBT information using HD map and HUD
아래의 설명은 TBT(turn-by-turn) 안내를 제공하는 기술에 관한 것이다.The description below relates to a technique for providing turn-by-turn (TBT) guidance.
일반적으로, HUD(Head Up Display)는 차량의 정보 및 주행 정보를 운전자에게 전방에 위치하는 윈드쉴드(windshield) 또는 컴바이너(combiner) 타입을 통하여 디스플레이하여 운전 중 운전자의 시선 이동을 최소화하여 전방 주의를 분산시키지 않도록 정보를 제공하는 장치이다.In general, HUD (Head Up Display) displays vehicle information and driving information to the driver through a windshield or combiner type located in front to minimize the driver's gaze movement while driving. It is a device that provides information so as not to distract attention.
HUD를 이용한 기술의 일례로, 한국공개특허공보 제10-2014-0080789호(공개일 2014년 07월 01일)에는 HUD 화면을 사용자의 시선 방향으로 적응적으로 이동시켜 표시하는 기술이 개시되어 있다.As an example of a technology using HUD, Korean Patent Laid-Open Publication No. 10-2014-0080789 (published on July 01, 2014) discloses a technology for adaptively moving and displaying the HUD screen in the direction of the user's gaze. .
기존에는 내비게이션을 기반으로 탐색된 주행 경로에 근거하여 한 종류의 증강된 안내 객체를 주행의 시작에서 끝까지 표시하여 안전운행을 위한 안내를 제공할 수 있다. 또한, 차량의 센서시스템 데이터에 기초하여 임박한 이벤트나 액션, 위험 상황 등을 AR(Augmented Reality)을 활용한 디스플레이 형태로 시각화할 수 있다.Conventionally, it is possible to provide a guide for safe driving by displaying one type of augmented guide object from the start to the end of driving based on the driving route searched based on the navigation. In addition, it is possible to visualize an impending event, action, or dangerous situation in the form of a display using Augmented Reality (AR) based on the vehicle's sensor system data.
HD 맵 상에서 TBT로 분류되는 지점에 대한 AR 오브젝트를 조건부로 HUD(Head Up Display)에 표시할 수 있는 TBT 안내 방법 및 시스템을 제공한다.It provides a TBT guidance method and system that can conditionally display AR objects for points classified as TBT on an HD map on a Head Up Display (HUD).
HD 맵 상의 모든 TBT 지점에 대해 AR 오브젝트를 지정해놓되 내비게이션의 탐색된 주행 경로에 포함되는 TBT 지점의 AR 오브젝트만을 가시적인(visible) 상태로 변경하여 HUD에 표시할 수 있는 TBT 안내 방법 및 시스템을 제공한다.Provides a TBT guidance method and system that can be displayed on the HUD by specifying AR objects for all TBT points on the HD map, but changing only the AR objects of TBT points included in the navigation route to a visible state. do.
TBT 타입을 구분하여 TBT 타입에 따라 서로 다른 디자인의 AR 오브젝트를 표시할 수 있는 TBT 안내 방법 및 시스템을 제공한다.Provides a TBT guide method and system capable of displaying AR objects of different designs according to TBT types by classifying TBT types.
TBT 지점에서 인식된 장애물에 의해 AR 오브젝트가 가려지는 경우 가려지는 부분을 가림(occlusion) 처리하여 표시할 수 있는 TBT 안내 방법 및 시스템을 제공한다.Provides a TBT guidance method and system capable of displaying an AR object by occlusion processing when an AR object is obscured by an obstacle recognized at a TBT point.
컴퓨터 장치에서 실행되는 TBT(turn-by-turn) 안내 방법에 있어서, 상기 컴퓨터 장치는 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 TBT 안내 방법은, 상기 적어도 하나의 프로세서에 의해, 맵(map) 상의 각 TBT 지점에 대해 TBT 지점을 안내하기 위한 객체로서 지정되어 조건부로 표시 가능한 상태로 설정된 증강 오브젝트 중 적어도 일부를 표시 가능한 상태로 변경하는 단계; 및 상기 적어도 하나의 프로세서에 의해, 상기 표시 가능한 상태로 변경된 증강 오브젝트를 상기 TBT 지점의 안내에 이용하는 단계를 포함하는 TBT 안내 방법을 제공한다.A turn-by-turn (TBT) guidance method executed on a computer device, wherein the computer device comprises at least one processor configured to execute computer readable instructions contained in a memory, and the TBT guidance method comprises: the at least Changing, by one processor, at least some of the augmented objects designated as objects for guiding the TBT points on the map and set as conditionally displayable states to a displayable state; And using, by the at least one processor, the augmented object changed to the displayable state for guiding the TBT point.
일 측면에 따르면, 상기 변경하는 단계는, 주행 안내를 위해 탐색된 주행 경로에 따라 상기 증강 오브젝트를 표시 가능한 상태로 변경하는 단계를 포함할 수 있다.According to an aspect, the changing may include changing the augmented object to a displayable state according to a driving route searched for driving guidance.
다른 측면에 따르면, 상기 변경하는 단계는, 상기 맵 상의 모든 TBT 지점의 증강 오브젝트를 표시 불가능한 오프 상태로 유지하는 단계; 및 주행 안내를 위해 탐색된 주행 경로에 포함된 TBT 지점의 증강 오브젝트를 표시 가능한 온 상태로 전환하는 단계를 포함할 수 있다.According to another aspect, the changing may include: maintaining augmented objects of all TBT points on the map in a non-displayable off state; And switching the augmented object of the TBT point included in the searched driving route for driving guidance into a displayable on state.
또 다른 측면에 따르면, 상기 변경하는 단계는, 상기 맵 상의 모든 TBT 지점의 증강 오브젝트를 표시 불가능한 오프 상태로 유지하는 단계; 및 주행 안내를 위해 탐색된 주행 경로에 포함되면서 디스플레이 장치에 표시되는 안내 영역에 포함된 TBT 지점의 증강 오브젝트를 표시 가능한 온 상태로 전환하는 단계를 포함할 수 있다.According to another aspect, the changing may include: maintaining the augmented objects of all TBT points on the map in a non-displayable off state; And switching the augmented object of the TBT point included in the driving route searched for driving guidance and included in the guidance area displayed on the display device to a displayable ON state.
또 다른 측면에 따르면, 상기 이용하는 단계는, 상기 TBT 지점을 안내하는 시점에 상기 표시 가능한 상태로 변경된 증강 오브젝트를 차량에 설치된 디스플레이 장치에 표시하는 단계를 포함할 수 있다.According to another aspect, the using may include displaying the augmented object changed to the displayable state on a display device installed in the vehicle at the time of guiding the TBT point.
또 다른 측면에 따르면, 상기 표시하는 단계는, 상기 TBT 지점이 회전 방향을 안내하는 타입인 경우 상기 증강 오브젝트로서 상기 회전 방향의 기준점을 나타내는 객체를 상기 디스플레이 장치에 표시할 수 있다.According to another aspect, in the displaying, when the TBT point is a type guiding the rotation direction, an object representing the reference point of the rotation direction may be displayed on the display device as the augmented object.
또 다른 측면에 따르면, 상기 표시하는 단계는, 상기 TBT 지점이 주행 방향을 안내하는 타입인 경우 상기 증강 오브젝트로서 상기 주행 방향을 유도하는 객체를 상기 디스플레이 장치에 표시할 수 있다.According to another aspect, in the displaying, when the TBT point is a type guiding a driving direction, an object guiding the driving direction as the augmented object may be displayed on the display device.
또 다른 측면에 따르면, 상기 표시하는 단계는, 상기 TBT 지점이 상기 맵 상에 고정적으로 위치하는 POI인 경우 상기 POI의 일정 거리 이전에 상기 디스플레이 장치 상에 상기 증강 오브젝트를 플로팅(floating) 형태로 표시할 수 있다.According to another aspect, in the displaying, when the TBT point is a POI fixedly located on the map, the augmented object is displayed in a floating form on the display device before a predetermined distance of the POI. can do.
또 다른 측면에 따르면, 상기 표시하는 단계는, 상기 TBT 지점이 경로 설정에 따라 생성되는 안내 지점인 경우 상기 안내 지점의 일정 거리 이전에 상기 디스플레이 장치 상에 상기 증강 오브젝트를 플로팅 형태로 표시할 수 있다.According to another aspect, in the displaying, when the TBT point is a guide point generated according to a route setting, the augmented object may be displayed in a floating form on the display device before a certain distance of the guide point. .
또 다른 측면에 따르면, 상기 표시하는 단계는, 상기 TBT 지점에서 장애물이 인식되는 경우 상기 증강 오브젝트에서 상기 장애물과 겹치는 부분을 겹치지 않는 부분과 구분하여 상기 증강 오브젝트를 표시할 수 있다.According to another aspect, in the displaying, when an obstacle is recognized at the TBT point, the augmented object may be displayed by distinguishing a portion of the augmented object that overlaps the obstacle from a portion that does not overlap.
상기 TBT 안내 방법을 컴퓨터에 실행시키기 위한 프로그램이 기록되어 있는 비-일시적인 컴퓨터 판독 가능한 기록 매체를 제공한다.It provides a non-transitory computer-readable recording medium in which a program for executing the TBT guidance method on a computer is recorded.
컴퓨터 장치에 있어서, 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 맵 상의 각 TBT 지점에 대해 TBT 지점을 안내하기 위한 객체로서 지정되어 조건부로 표시 가능한 상태로 설정된 증강 오브젝트 중 적어도 일부를 표시 가능한 상태로 변경하고, 상기 표시 가능한 상태로 변경된 증강 오브젝트를 상기 TBT 지점의 안내에 이용하는 것을 특징으로 하는 컴퓨터 장치를 제공한다.A computer device comprising: at least one processor configured to execute computer readable instructions contained in a memory, wherein the at least one processor is designated as an object for guiding a TBT point for each TBT point on a map It provides a computer device, characterized in that changing at least some of the augmented objects set in a displayable state to a displayable state, and using the augmented object changed to the displayable state to guide the TBT point.
본 발명의 실시예들에 따르면, 고정밀 지도인 HD 맵 상에서 TBT로 분류되는 지점에 대한 AR 오브젝트를 조건부로 HUD에 표시할 수 있다.According to embodiments of the present invention, AR objects for points classified as TBT on a high-definition map HD map may be conditionally displayed on the HUD.
본 발명의 실시예들에 따르면, HD 맵 상의 모든 TBT 지점에 대해 AR 오브젝트를 지정해놓되 내비게이션의 탐색된 주행 경로에 포함되는 TBT 지점의 AR 오브젝트만을 가시적인 상태로 변경하여 표시할 수 있다.According to embodiments of the present invention, AR objects may be designated for all TBT points on an HD map, but only AR objects of TBT points included in the searched driving path of the navigation may be changed to a visible state and displayed.
본 발명의 실시예들에 따르면, TBT 타입을 구분하여 TBT 타입에 따라 서로 다른 디자인의 AR 오브젝트를 표시할 수 있다.According to embodiments of the present invention, it is possible to display AR objects of different designs according to the TBT type by classifying the TBT types.
본 발명의 실시예들에 따르면, TBT 지점에서 인식된 장애물에 의해 AR 오브젝트가 가려지는 경우 가려지는 부분을 가림 처리하여 표시할 수 있다.According to embodiments of the present invention, when an AR object is covered by an obstacle recognized at a TBT point, a portion to be covered may be covered and displayed.
도 1은 본 발명의 일실시예에 있어서 컴퓨터 장치의 내부 구성의 일례를 설명하기 위한 블록도이다.1 is a block diagram illustrating an example of an internal configuration of a computer device according to an embodiment of the present invention.
도 2는 본 발명의 일실시예에 따른 컴퓨터 장치의 프로세서가 포함할 수 있는 구성요소의 예를 도시한 도면이다.2 is a diagram illustrating an example of components that may be included in a processor of a computer device according to an embodiment of the present invention.
도 3은 본 발명의 일실시예에 따른 컴퓨터 장치가 수행할 수 있는 TBT 안내 방법의 예를 도시한 순서도이다.3 is a flowchart showing an example of a TBT guidance method that can be performed by a computer device according to an embodiment of the present invention.
도 4는 본 발명의 일실시예에 있어서 HD 맵에서 온시킬 AR 오브젝트를 자동으로 지정하는 과정의 일례를 도시한 것이다.4 illustrates an example of a process of automatically designating an AR object to be turned on from an HD map according to an embodiment of the present invention.
도 5 내지 도 9는 본 발명의 일실시예에 있어서 TBT 타입 별로 AR 오브젝트의 디자인 예시를 도시한 것이다.5 to 9 are diagrams illustrating examples of designing AR objects for each TBT type in an embodiment of the present invention.
도 10은 본 발명의 일실시예에 있어서 TBT 지점의 AR 오브젝트를 가림 처리하는 방법의 예시를 도시한 것이다.10 shows an example of a method of processing an AR object at a TBT point according to an embodiment of the present invention.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
본 발명의 실시예들은 TBT(turn-by-turn) 안내를 제공하는 기술에 관한 것이다.Embodiments of the present invention relate to a technique for providing turn-by-turn (TBT) guidance.
본 명세서에서 구체적으로 개시되는 것들을 포함하는 실시예들은 HD 맵 상에서 TBT 안내 지점으로 분류되는 지점의 AR 오브젝트를 조건부에 따라 가시적인 상태로 변경하여 표시할 수 있고, 이를 통해 정보 전달 효율, 정보 인지력 등 정보 안내 측면에 있어서 상당한 장점들을 달성할 수 있다.In the embodiments including those specifically disclosed in this specification, the AR object of the point classified as the TBT guide point on the HD map can be changed and displayed in a visible state according to the conditional, through which information transmission efficiency, information perception, etc. Significant advantages can be achieved in terms of information guidance.
도 1은 본 발명의 일실시예에 따른 컴퓨터 장치의 예를 도시한 블록도이다. 예를 들어, 본 발명의 실시예들에 따른 TBT 안내 시스템은 도 1을 통해 도시된 컴퓨터 장치(100)에 의해 구현될 수 있다.1 is a block diagram showing an example of a computer device according to an embodiment of the present invention. For example, the TBT guidance system according to embodiments of the present invention may be implemented by the computer device 100 shown through FIG. 1.
도 1에 도시된 바와 같이 컴퓨터 장치(100)는 본 발명의 실시예들에 따른 TBT 안내 방법을 실행하기 위한 구성요소로서, 메모리(110), 프로세서(120), 통신 인터페이스(130) 그리고 입출력 인터페이스(140)를 포함할 수 있다.As shown in FIG. 1, the computer device 100 is a component for executing the TBT guidance method according to embodiments of the present invention, and includes a memory 110, a processor 120, a communication interface 130, and an input/output interface. It may include (140).
메모리(110)는 컴퓨터에서 판독 가능한 기록매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 여기서 ROM과 디스크 드라이브와 같은 비소멸성 대용량 기록장치는 메모리(110)와는 구분되는 별도의 영구 저장 장치로서 컴퓨터 장치(100)에 포함될 수도 있다. 또한, 메모리(110)에는 운영체제와 적어도 하나의 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(110)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 메모리(110)로 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 인터페이스(130)를 통해 메모리(110)에 로딩될 수도 있다. 예를 들어, 소프트웨어 구성요소들은 네트워크(160)를 통해 수신되는 파일들에 의해 설치되는 컴퓨터 프로그램에 기반하여 컴퓨터 장치(100)의 메모리(110)에 로딩될 수 있다.The memory 110 is a computer-readable recording medium and may include a permanent mass storage device such as a random access memory (RAM), read only memory (ROM), and a disk drive. Here, a non-destructive large-capacity recording device such as a ROM and a disk drive may be included in the computer device 100 as a separate permanent storage device separate from the memory 110. In addition, an operating system and at least one program code may be stored in the memory 110. These software components may be loaded into the memory 110 from a computer-readable recording medium separate from the memory 110. Such a separate computer-readable recording medium may include a computer-readable recording medium such as a floppy drive, disk, tape, DVD/CD-ROM drive, and memory card. In another embodiment, software components may be loaded into the memory 110 through a communication interface 130 other than a computer-readable recording medium. For example, software components may be loaded into the memory 110 of the computer device 100 based on a computer program installed by files received through the network 160.
프로세서(120)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(110) 또는 통신 인터페이스(130)에 의해 프로세서(120)로 제공될 수 있다. 예를 들어 프로세서(120)는 메모리(110)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.The processor 120 may be configured to process instructions of a computer program by performing basic arithmetic, logic, and input/output operations. Instructions may be provided to the processor 120 by the memory 110 or the communication interface 130. For example, the processor 120 may be configured to execute a command received according to a program code stored in a recording device such as the memory 110.
통신 인터페이스(130)은 네트워크(160)를 통해 컴퓨터 장치(100)가 다른 장치와 서로 통신하기 위한 기능을 제공할 수 있다. 일례로, 컴퓨터 장치(100)의 프로세서(120)가 메모리(110)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이나 명령, 데이터, 파일 등이 통신 인터페이스(130)의 제어에 따라 네트워크(160)를 통해 다른 장치들로 전달될 수 있다. 역으로, 다른 장치로부터의 신호나 명령, 데이터, 파일 등이 네트워크(160)를 거쳐 컴퓨터 장치(100)의 통신 인터페이스(130)를 통해 컴퓨터 장치(100)로 수신될 수 있다. 통신 인터페이스(130)를 통해 수신된 신호나 명령, 데이터 등은 프로세서(120)나 메모리(110)로 전달될 수 있고, 파일 등은 컴퓨터 장치(100)가 더 포함할 수 있는 저장 매체(상술한 영구 저장 장치)로 저장될 수 있다.The communication interface 130 may provide a function for the computer device 100 to communicate with other devices through the network 160. For example, requests, commands, data, files, etc., generated by the processor 120 of the computer device 100 according to a program code stored in a recording device such as the memory 110, are transmitted through the network ( 160) can be delivered to other devices. Conversely, signals, commands, data, files, etc. from other devices may be received by the computer device 100 through the communication interface 130 of the computer device 100 via the network 160. Signals, commands, data, etc. received through the communication interface 130 may be transferred to the processor 120 or the memory 110, and the file, etc. may be a storage medium (described above) that the computer device 100 may further include. Permanent storage).
입출력 인터페이스(140)는 입출력 장치(150)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 마이크, 키보드, 카메라 또는 마우스 등의 장치를, 그리고 출력 장치는 디스플레이, 스피커와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(140)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 입출력 장치(150)는 컴퓨터 장치(100)와 하나의 장치로 구성될 수도 있다.The input/output interface 140 may be a means for an interface with the input/output device 150. For example, the input device may include a device such as a microphone, keyboard, camera, or mouse, and the output device may include a device such as a display and a speaker. As another example, the input/output interface 140 may be a means for interfacing with a device in which input and output functions are integrated into one, such as a touch screen. The input/output device 150 may be configured with the computer device 100 and one device.
또한, 다른 실시예들에서 컴퓨터 장치(100)는 도 1의 구성요소들보다 더 적은 혹은 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 컴퓨터 장치(100)는 상술한 입출력 장치(150) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.In addition, in other embodiments, the computer device 100 may include fewer or more components than the components of FIG. 1. However, there is no need to clearly show most of the prior art components. For example, the computer device 100 may be implemented to include at least a portion of the input/output device 150 described above, or may further include other components such as a transceiver and a database.
통신 방식은 제한되지 않으며, 네트워크(160)가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 유선/무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크(160)는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크(160)는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.The communication method is not limited, and not only a communication method using a communication network (for example, a mobile communication network, wired Internet, wireless Internet, broadcasting network) that the network 160 may include, but also short-range wired/wireless communication between devices may be included. have. For example, the network 160 includes a personal area network (PAN), a local area network (LAN), a campus area network (CAN), a metropolitan area network (MAN), a wide area network (WAN), and a broadband network (BBN). , Internet, and the like. In addition, the network 160 may include any one or more of a network topology including a bus network, a star network, a ring network, a mesh network, a star-bus network, a tree or a hierarchical network, etc. Not limited.
도 2는 본 발명의 일실시예에 따른 컴퓨터 장치의 프로세서가 포함할 수 있는 구성요소의 예를 도시한 도면이고, 도 3은 본 발명의 일실시예에 따른 컴퓨터 장치가 수행할 수 있는 TBT 안내 방법의 예를 도시한 순서도이다.FIG. 2 is a diagram showing an example of components that can be included in a processor of a computer device according to an embodiment of the present invention, and FIG. 3 is a TBT guide that can be performed by a computer device according to an embodiment of the present invention. It is a flow chart showing an example of the method.
도 2에 도시된 바와 같이, 프로세서(120)는 지점 선별부(201), 상태 변경부(202), 및 TBT 안내부(203)를 포함할 수 있다. 이러한 프로세서(120)의 구성요소들은 적어도 하나의 프로그램 코드에 의해 제공되는 제어 명령에 따라 프로세서(120)에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다. 예를 들어, 프로세서(120)가 TBT 지점을 선별하도록 컴퓨터 장치(100)를 제어하기 위해 동작하는 기능적 표현으로서 지점 선별부(201)가 사용될 수 있다.As shown in FIG. 2, the processor 120 may include a point selection unit 201, a state change unit 202, and a TBT guide unit 203. Components of the processor 120 may be expressions of different functions performed by the processor 120 according to a control command provided by at least one program code. For example, the point selection unit 201 may be used as a functional expression that operates to control the computer device 100 so that the processor 120 selects a TBT point.
프로세서(120) 및 프로세서(120)의 구성요소들은 도 3의 TBT 안내 방법이 포함하는 단계들(S310 내지 S330)을 수행할 수 있다. 예를 들어, 프로세서(120) 및 프로세서(120)의 구성요소들은 메모리(110)가 포함하는 운영체제의 코드와 상술한 적어도 하나의 프로그램 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 적어도 하나의 프로그램 코드는 TBT 안내 방법을 처리하기 위해 구현된 프로그램의 코드에 대응될 수 있다.The processor 120 and components of the processor 120 may perform steps S310 to S330 included in the TBT guidance method of FIG. 3. For example, the processor 120 and the components of the processor 120 may be implemented to execute an instruction according to the code of the operating system included in the memory 110 and the at least one program code described above. Here, at least one program code may correspond to a code of a program implemented to process the TBT guide method.
실시예에 따라서는 서버 시스템과 차량 운전자의 로컬 디바이스로 분산되어 구현될 수 있으며, 서버 시스템과 로컬 디바이스는 도 1을 통해 설명한 컴퓨터 장치(100)로 구현될 수 있다. 일례로, 경로 설정 및 경로에 포함된 오브젝트 제어는 서버에서 수행하고 서버에서 경로 정보와 제어 신호를 로컬 디바이스로 전달하면 로컬에서 HUD를 이용하여 경로 안내 및 오브젝트 표시를 수행할 수 있다.Depending on the embodiment, the server system and the local device of the vehicle driver may be distributed and implemented, and the server system and the local device may be implemented with the computer apparatus 100 described with reference to FIG. 1. For example, path setting and object control included in the path are performed by a server, and when path information and control signals are transmitted from the server to a local device, path guidance and object display may be performed locally using the HUD.
TBT 안내 방법은 도시된 순서대로 발생하지 않을 수 있으며, 단계들 중 일부가 생략되거나 추가의 과정이 더 포함될 수 있다.The TBT guidance method may not occur in the order shown, and some of the steps may be omitted or an additional process may be further included.
프로세서(120)는 TBT 안내 방법을 위한 프로그램 파일에 저장된 프로그램 코드를 메모리(110)에 로딩할 수 있다. 예를 들어, TBT 안내 방법을 위한 프로그램 파일은 메모리(110)와는 구분되는 영구 저장 장치에 저장되어 있을 수 있고, 프로세서(120)는 버스를 통해 영구 저장 장치에 저장된 프로그램 파일로부터 프로그램 코드가 메모리(110)에 로딩되도록 컴퓨터 장치(100)를 제어할 수 있다. 이때, 프로세서(120) 및 프로세서(120)가 포함하는 지점 선별부(201), 상태 변경부(202), 및 TBT 안내부(203) 각각은 메모리(110)에 로딩된 프로그램 코드 중 대응하는 부분의 명령을 실행하여 이후 단계들(S310 내지 S330)을 실행하기 위한 프로세서(120)의 서로 다른 기능적 표현들일 수 있다. 단계들(S310 내지 S330)의 실행을 위해, 프로세서(120) 및 프로세서(120)의 구성요소들은 직접 제어 명령에 따른 연산을 처리하거나 또는 컴퓨터 장치(100)를 제어할 수 있다.The processor 120 may load the program code stored in the program file for the TBT guidance method into the memory 110. For example, a program file for the TBT guidance method may be stored in a permanent storage device that is separate from the memory 110, and the processor 120 stores a program code from a program file stored in a permanent storage device through a bus. The computer device 100 may be controlled to be loaded onto 110). At this time, each of the processor 120 and the point selection unit 201, the state change unit 202, and the TBT guide unit 203 included in the processor 120 is a corresponding part of the program code loaded into the memory 110 It may be different functional expressions of the processor 120 for executing the subsequent steps S310 to S330 by executing the command of. In order to execute steps S310 to S330, the processor 120 and components of the processor 120 may directly process an operation according to a control command or control the computer device 100.
본 발명의 실시예들에 따른 TBT 안내 시스템은 차량 어플리케이션 형태로 구현될 수 있으며, 프로세서(120)는 HD 맵을 기반으로 한 내비게이션, 즉 주행 안내를 제공할 수 있다. HD 맵은 자율 주행 차량 등에 세밀한 도로와 주변 지형의 정보를 제공하기 위한 고정밀 지도를 의미하는 것으로, 오차범위 10cm 이내 수준의 정확도를 가지며 도로 중심선, 경계선 등 차선 단위의 정보는 물론이고, 신호등, 표지판, 연석, 노면마크, 각종 구조물의 등의 정보가 3차원 디지털 형태로 담긴 3D 입체 지도를 말한다.The TBT guidance system according to embodiments of the present invention may be implemented in the form of a vehicle application, and the processor 120 may provide navigation based on an HD map, that is, driving guidance. HD map refers to a high-precision map for providing detailed road and surrounding terrain information to autonomous vehicles, etc., and has an accuracy of within 10 cm of error range, as well as lane-level information such as road center line and boundary line, as well as traffic lights and signs. , Curb, road mark, and various structures in 3D digital form.
단계(S310)에서 지점 선별부(201)는 HD 맵 상에서 TBT 안내 지점으로 사전 분류된 지점(이하, 'TBT 지점'이라 칭함) 중에서 내비게이션 안내를 위해 탐색된 주행 경로에 포함되는 TBT 지점을 선별할 수 있다. HD 맵 기반의 내비게이션을 통해 주행하는 컨텍스트(context)에서 TBT 지점을 운전자가 주행 중 가장 의사결정에 어려움을 가지거나 혼란스러워하는 지점으로 판단할 수 있다. 구체적이고 명확한 TBT 안내를 위해 HD 맵 상의 적어도 일부 TBT 지점에 대해 안내 객체로서 증강시킨 가상의 오브젝트(이하, 'AR 오브젝트'라 칭함)를 지정해 놓고 AR 오브젝트를 TBT 안내에 활용할 수 있다. HD 맵 상의 모든 TBT 지점에 안내 객체를 지정할 수 있고, 경우에 따라서는 소정 기준에 부합되는 TBT 지점을 선별하여 선택적으로 안내 객체를 지정하는 것 또한 가능하다. 예를 들어, 회기 분기점으로부터 기준 거리(예컨대, 100m) 이내에 다른 분기점이 있는 경우, 혹은 교차로에서 진행로가 기준 개수 이상이거나(예컨대, 오거리 등) 기준 각도 이상의 진행 방향을 포함하는 경우 안내 객체를 지정할 수 있다. 지점 선별부(201)는 AR 오브젝트를 TBT 안내에 활용하기 위하여 HD 맵 상의 안내 객체가 지정된 모든 TBT 지점 중에서, 차량 운전자가 설정한 목적지에 대해 탐색된 주행 경로에 포함되는 TBT 지점을 선별할 수 있다.In step S310, the point selection unit 201 selects TBT points included in the driving route searched for navigation guidance from among points pre-classified as TBT guidance points on the HD map (hereinafter, referred to as'TBT points'). I can. Through the HD map-based navigation, the TBT point in the driving context can be determined as the point at which the driver has the most difficulty in making decisions or is confused while driving. For specific and clear TBT guidance, a virtual object augmented as a guide object (hereinafter, referred to as'AR object') can be designated for at least some TBT points on the HD map, and the AR object can be used for TBT guidance. It is possible to designate a guide object to all TBT points on the HD map, and in some cases, it is also possible to selectively designate a guide object by selecting a TBT point meeting a predetermined criterion. For example, when there is another branch within the reference distance (e.g., 100m) from the intervening branch, or when the number of running paths at the intersection is more than the reference number (e.g., five distances, etc.) I can. The point selection unit 201 may select a TBT point included in a driving route searched for a destination set by a vehicle driver from among all TBT points in which a guide object on the HD map is designated in order to utilize the AR object for TBT guidance. .
단계(S320)에서 상태 변경부(202)는 HD 맵 상에서 선별된 TBT 지점의 AR 오브젝트를 가시적으로(visible) 표시 가능한 상태(turn on)로 변경할 수 있다. HD 맵 상의 안내 객체가 지정된 모든 TBT 지점에 대해 기본적으로 AR 오브젝트가 표시 불가능한 상태(turn off)를 유지하되, 조건부로, 즉 내비게이션의 주행 경로에 포함된 TBT 지점에 대해서만 표시 가능한 상태로 설정된 해당 TBT 지점의 AR 오브젝트 중 적어도 일부를 표시 가능한 턴온 상태로 전환시킬 수 있다. 다시 말해, 상태 변경부(202)는 맵 상의 TBT 지점에 대해 TBT 지점을 안내하기 위한 객체로서 지정되어 조건부로 표시 가능한 상태로 설정된 증강 오브젝트 중 적어도 일부를 표시 가능한 상태로 변경할 수 있다. 목적지에 대해 탐색된 주행 경로 전체에 대해 해당 주행 경로에 포함된 TBT 지점을 모두 선별한 후 선별된 TBT 지점의 AR 오브젝트를 턴온 상태로 전환할 수 있다. 다른 예로는 목적지에 대해 탐색된 주행 경로에서 정해진 구간(예컨대, 10km)을 단위로 전방의 일부 구간의 주행 경로에 포함된 TBT 지점을 선별하여 선별된 TBT 지점의 AR 오브젝트를 턴온 상태로 전환하는 과정을 반복할 수도 있다.In step S320, the state changer 202 may change the AR object of the TBT point selected on the HD map to a state in which the selected TBT point can be displayed in a visible and displayable state (turn on). For all TBT points in which the guide object on the HD map is specified, the AR object remains invisible (turn off) by default, but conditionally, that is, the corresponding TBT set to be visible only for the TBT points included in the navigation route. At least some of the AR objects at the point may be converted into a displayable turn-on state. In other words, the state changer 202 may change at least some of the augmented objects that are set as conditionally displayable states by being designated as objects for guiding the TBT points on the map to the displayable state. After selecting all TBT points included in the corresponding driving route for the entire driving route searched for the destination, the AR object of the selected TBT point may be switched to a turn-on state. Another example is the process of converting the AR object of the selected TBT point to a turn-on state by selecting TBT points included in the driving route of some sections ahead in units of a specified section (e.g., 10 km) in the driving route searched for the destination. You can also repeat
단계(S330)에서 TBT 안내부(203)는 목적지에 대해 탐색된 주행 경로를 안내하는 과정 중에 해당 주행 경로에 포함된 TBT 지점을 안내하는 시점에, 해당 TBT 지점에 대해 턴온 상태로 전환된 AR 오브젝트를 차량에 설치된 적어도 하나의 디스플레이 장치에 표시할 수 있다. 컴퓨터 장치(100)는 차량에 설치된 HUD나 내비게이션 단말과 같은 전방표시장치 등의 디스플레이 장치와 연결될 수 있으며, TBT 안내부(203)는 AR 오브젝트를 차량에 설치된 디스플레이 장치를 통해 보여주어 TBT 안내에 활용할 수 있다. HUD를 TBT 안내에 활용되는 AR 오브젝트를 표시하기 위한 디스플레이 장치의 대표적인 예시로 하기로 한다.In step S330, the TBT guide unit 203 is an AR object that has been turned on for the corresponding TBT point at the time of guiding the TBT point included in the corresponding driving route during the process of guiding the searched driving route for the destination. May be displayed on at least one display device installed in the vehicle. The computer device 100 may be connected to a display device such as a HUD installed in a vehicle or a front display device such as a navigation terminal, and the TBT guide unit 203 shows an AR object through a display device installed in the vehicle to be used for TBT guidance. I can. The HUD will be described as a representative example of a display device for displaying an AR object used for TBT guidance.
따라서, 프로세서(120)는 HD 맵 상의 TBT 지점의 AR 오브젝트를 조건부에 따라, 일례로 탐색된 주행 경로에 포함되어 있는 경우에 한하여 가시적인 상태로 변경하여 HUD에 표시할 수 있다.Accordingly, the processor 120 may conditionally change the AR object of the TBT point on the HD map to a visible state only when it is included in the searched driving route, and display it on the HUD.
도 4는 본 발명의 일실시예에 있어서 HD 맵에서 온시킬 AR 오브젝트를 자동으로 지정하는 과정의 일례를 도시한 것이다.4 illustrates an example of a process of automatically designating an AR object to be turned on from an HD map according to an embodiment of the present invention.
도 4를 참조하면, 단계(S401)에서 프로세서(120)는 차량의 운전자에 의해 목적지가 설정되면 HD 맵을 이용하여 목적지까지의 주행 경로를 탐색한 후 탐색된 주행 경로를 기반으로 주행 안내를 시작한다.4, in step S401, when a destination is set by the driver of the vehicle, the processor 120 searches for a driving route to the destination using an HD map and starts driving guidance based on the found driving route. do.
단계(S402)에서 프로세서(120)는 HD 맵 상에서 차량의 현재 위치를 기준으로 일정 반경 이내의 TBT 지점이 탐색된 주행 경로에 포함된 TBT 지점인지 여부를 판단한다.In step S402, the processor 120 determines whether the TBT point within a certain radius based on the current position of the vehicle on the HD map is a TBT point included in the searched driving route.
단계(S403)에서 프로세서(120)는 단계(S402)의 판단 결과 일정 반경 이내의 TBT 지점이 탐색된 주행 경로에 포함된 TBT 지점이 아닌 경우 해당 TBT 지점의 AR 오브젝트를 표시 불가능한 오프 상태로 유지한다.In step S403, if the TBT point within a certain radius is not a TBT point included in the searched driving route as a result of the determination in step S402, the processor 120 maintains the AR object of the corresponding TBT point in a non-displayable off state. .
단계(S404)에서 프로세서(120)는 단계(S402)의 판단 결과 일정 반경 이내의 TBT 지점이 탐색된 주행 경로에 포함된 TBT 지점에 해당되는 경우 해당 TBT 지점이 HUD에 현재 표시되고 있는 안내 영역, 즉 FOV(field of view) 안에 포함되는지 여부를 판단한다.In step S404, if the TBT point within a certain radius corresponds to the TBT point included in the searched driving route as a result of the determination in step S402, the corresponding TBT point is a guide area currently displayed on the HUD, That is, it is determined whether it is included in the field of view (FOV).
프로세서(120)는 단계(S404)의 판단 결과 일정 반경 이내의 TBT 지점이 HUD의 FOV 안에 포함되지 않는 경우 해당 TBT 지점의 AR 오브젝트를 표시 불가능한 오프 상태로 유지한다.As a result of the determination in step S404, if the TBT point within a certain radius is not included in the FOV of the HUD, the processor 120 maintains the AR object of the corresponding TBT point in a non-displayable off state.
프로세서(120)는 탐색된 주행 경로에 포함되지 않거나 HUD의 FOV 안에 포함되지 않는 TBT 지점의 경우 HD 맵 상에 AR 오브젝트가 지정되어 있더라도 TBT 안내에 AR 오브젝트를 활용하지 않는다.The processor 120 does not use the AR object for TBT guidance even if the AR object is designated on the HD map in the case of a TBT point that is not included in the searched driving path or is not included in the FOV of the HUD.
단계(S405)에서 프로세서(120)는 단계(S404)의 판단 결과 일정 반경 이내의 TBT 지점이 HUD의 FOV 안에 포함되는 경우 해당 TBT 지점의 AR 오브젝트를 표시 가능한 온 상태로 변경한다.In step S405, the processor 120 changes the AR object of the corresponding TBT point to a displayable ON state when the TBT point within a certain radius is included in the FOV of the HUD as a result of the determination in step S404.
따라서, HD 맵 상의 모든 TBT 지점은 AR 오브젝트가 기본적으로 항상 오프 상태를 유지하게 되고, 탐색된 주행 경로에 포함되어 HUD의 FOV 안에 들어오는 TBT 지점의 경우 AR 오브젝트를 온시킬 수 있다.Accordingly, all TBT points on the HD map are basically always kept in an off state, and in the case of a TBT point included in the searched driving path and entering the FOV of the HUD, the AR object can be turned on.
단계(S406)에서 프로세서(120)는 HUD의 FOV 안에 장애물이 존재하는지 여부를 판단한다. 예를 들어, 프로세서(120)는 주행 경로에 포함된 TBT 지점 중 HUD의 FOV 안에 포함된 TBT 지점의 주변에, 혹은 차량과 TBT 지점 사이에 해당 TBT 지점의 AR 오브젝트와 겹치는 장애물이 존재하는지 여부를 판단할 수 있다. 프로세서(120)는 차량에 설치된 카메라나 센서, ADAS(Advanced Driving Assistance System) 센싱 등을 통해서 TBT 지점 주변에, 혹은 차량과 TBT 지점 사이에 위치하는 장애물을 인식할 수 있다.In step S406, the processor 120 determines whether an obstacle exists in the FOV of the HUD. For example, the processor 120 determines whether an obstacle overlapping the AR object of the corresponding TBT point exists around the TBT point included in the FOV of the HUD among the TBT points included in the driving path, or between the vehicle and the TBT point. I can judge. The processor 120 may recognize an obstacle positioned around the TBT point or between the vehicle and the TBT point through a camera or sensor installed in the vehicle, ADAS (Advanced Driving Assistance System) sensing, or the like.
단계(S407)에서 프로세서(120)는 단계(S406)의 판단 결과 TBT 지점에서 해당 TBT 지점의 AR 오브젝트와 겹치는 장애물이 인식되지 않는 경우 HUD에 TBT 지점의 AR 오브젝트를 기본 표시 형태로 표시할 수 있다.In step S407, the processor 120 may display the AR object of the TBT point on the HUD in a basic display form when an obstacle overlapping with the AR object of the TBT point is not recognized as a result of the determination in step S406. .
단계(S408)에서 프로세서(120)는 단계(S406)의 판단 결과 TBT 지점에서 해당 TBT 지점의 AR 오브젝트와 겹치는 장애물이 인식되는 경우 해당 TBT 지점의 AR 오브젝트를 가림 처리하여 HUD에 표시할 수 있다. 프로세서(120)는 TBT 지점에서 인식된 장애물에 AR 오브젝트가 겹치는 경우 겹쳐 가려지는 부분을 가림 처리하여 표시할 수 있다. 이때, 가림 처리라 함은 장애물과 겹치는 부분을 장애물이 없을 때와 다르게 표시하는 것임을 의미할 수 있으며, 예를 들어 장애물로 가려지는 부분을 점선으로 표시하거나, 혹은 다른 칼라 적용, 음영 처리, 투명도 적용 등을 통해 가려진 부분과 가려지지 않은 부분을 구분하여 표시할 수 있다.In step S408, when an obstacle overlapping the AR object of the corresponding TBT point is recognized at the TBT point as a result of the determination in step S408, the AR object of the corresponding TBT point may be masked and displayed on the HUD. When the AR object overlaps the obstacle recognized at the TBT point, the processor 120 may display the overlapping portion by covering the overlapped portion. At this time, the occlusion treatment may mean that the part that overlaps with the obstacle is displayed differently from when there is no obstacle.For example, the part covered by the obstacle is displayed with a dotted line, or a different color, shading treatment, or transparency is applied. The part that is covered by the back and the part that is not covered can be marked separately.
따라서, TBT 지점에서의 장애물 유무와 상관 없이 해당 TBT 지점의 AR 오브젝트를 인지하도록 함과 동시에 장애물에 의해 가려지는 부분을 보다 자연스럽게 표시할 수 있다.Accordingly, regardless of the presence or absence of an obstacle at the TBT point, the AR object at the corresponding TBT point may be recognized, and at the same time, a portion covered by the obstacle may be more naturally displayed.
일 실시예에 따르면 도 4에서 단계(S404)는 생략될 수 있다. 즉, 프로세서(120)는 HUD의 FOV안에 TBT지점이 포함되는지 여부와 무관하게 주행 경로에 포함된 TBT 지점의 AR 오브젝트는 표시 가능한 상태로 온(on) 시킬 수 있고, 온(on) 된 AR 오브젝트가 HUD의 FOV 안에 포함되었을 때 해당 AR 오브젝트를 HUD에 표시할 수 있다. 단계(S404)가 생략되는 예에서는 단계(S402)에서 "예"에 해당하는 경우 단계(S405)로 진행한다.According to an embodiment, step S404 in FIG. 4 may be omitted. That is, the processor 120 can turn on the AR object of the TBT point included in the driving route in a displayable state, regardless of whether the TBT point is included in the FOV of the HUD, and the on (on) AR object When is included in the FOV of the HUD, the corresponding AR object can be displayed on the HUD. In the example in which step S404 is omitted, if the answer is "Yes" in step S402, the process proceeds to step S405.
도 5 내지 도 9는 본 발명의 일실시예에 있어서 TBT 타입 별로 AR 오브젝트의 디자인 예시를 도시한 것이다.5 to 9 are diagrams illustrating examples of designing AR objects for each TBT type in an embodiment of the present invention.
프로세서(120)는 TBT 안내 시 TBT 타입을 구분하여 TBT 타입에 따라 서로 다른 디자인의 AR 오브젝트를 표시할 수 있다.The processor 120 may classify the TBT types during TBT guidance and display AR objects of different designs according to the TBT types.
(1) 주행 방향 TBT(1) Travel direction TBT
: TBT에서 다양한 방향의 가능성이 존재할 때 실제 주행할 방향을 명확히 해주는 타입에 해당된다.: In TBT, it is a type that clarifies the actual driving direction when the possibility of various directions exists.
예를 들어, 도 5에 도시한 바와 같이, 직진 방향 TBT(501), 왼쪽 방향 TBT(502), 로터리 10시 방향 TBT(503) 등이 주행 방향 TBT에 해당될 수 있다. 직진 방향 TBT(501)의 경우 "A(동그라미 괄호 A) 방향으로 직진"을 유도하는 방식으로 안내하고, 왼쪽 방향 TBT(502)의 경우 "A가 위치한 왼쪽 방향"을 유도하는 방식으로 안내하고, 로터리 10시 방향 TBT(503)의 경우 "로터리를 돌아 A가 있는 10시 방향"을 유도하는 방식으로 안내한다. 이러한 TBT 이외에도 하이패스 톨게이트 진입 방향, 고속도로 진입 방향 등을 안내하기 위한 TBT 또한 주행 방향 TBT에 포함될 수 있다.For example, as shown in FIG. 5, a straight direction TBT 501, a left direction TBT 502, a rotary 10 o'clock TBT 503, and the like may correspond to the driving direction TBT. In the case of the straight direction TBT 501, the guide is guided in a manner of inducing "go straight in the direction of A (circle bracket A)", and in the case of the left direction TBT 502, the guide is guided in a manner of inducing the "left direction where A is located" In the case of the TBT 503 at 10 o'clock in the rotary, it is guided in a manner of guiding "10 o'clock in the direction of the A". In addition to these TBTs, a TBT for guiding a high-pass toll gate entry direction and a highway entry direction may also be included in the driving direction TBT.
도 6을 참조하면, 프로세서(120)는 주행 방향을 안내하기 위한 TBT 지점에서 정해진 주행 방향을 유도하는 AR 오브젝트를 HUD(610)에 표시할 수 있다. 주행 방향 TBT의 AR 오브젝트는 주행 안내선 객체(601)와 방향 유도 객체(603)가 포함될 수 있으며, 이때 주행 안내선 객체(601)와 방향 유도 객체(603)는 차량 전방의 도로 바닥면에 대응되어 드러나는 형태로 해당 주행 방향을 유도할 수 있는 디자인으로 표시할 수 있다.Referring to FIG. 6, the processor 120 may display on the HUD 610 an AR object inducing a predetermined driving direction at a TBT point for guiding the driving direction. The AR object of the driving direction TBT may include a driving guide line object 601 and a direction guiding object 603, wherein the driving guide line object 601 and the direction guiding object 603 correspond to the road floor in front of the vehicle and are exposed. It can be displayed in a design that can guide the driving direction in the form.
(2) 회전 방향 TBT(2) Direction of rotation TBT
: TBT에서 회전이나 방향 전환의 기준점이 되어 회전 방향을 명확히 해주는 타입에 해당된다.: This type is a reference point for rotation or direction change in TBT, and is a type that clarifies the direction of rotation.
도 7에 도시한 바와 같이, 분기점에서 회전 방향을 안내하기 위한 것으로, 예를 들어 우회전 TBT(701), 유턴 TBT(702), 오른쪽 4시 방향 TBT(703) 등이 회전 방향 TBT에 해당될 수 있다. 우회전 TBT(701)의 경우 "A 주변을 오른쪽으로(시계 방향으로) 돌아 회전"을 유도하는 방식으로 안내하고, 유턴 TBT(702)의 경우 "A 주변을 왼쪽으로(반시계 방향으로) 돌아 유턴"을 유도하는 방식으로 안내하고, 오른쪽 4시 방향 TBT(703)의 경우 "A 주변을 오른쪽으로(시계 방향으로) 돌아 4시 방향"을 유도하는 방식으로 안내한다.As shown in Fig. 7, for guiding the rotation direction at the branch point, for example, a right-turn TBT 701, a U-turn TBT 702, a right 4 o'clock TBT 703, etc. may correspond to the rotation direction TBT. have. In the case of the right turn TBT 701, the guide is guided by inducing a “turn around A to the right (clockwise direction)”, and in the case of the U-turn TBT 702, the “U-turn around A to the left (counterclockwise)” In the case of the TBT 703 at 4 o'clock on the right, "turn around A to the right (clockwise) and guide 4 o'clock".
도 8을 참조하면, 프로세서(120)는 회전 방향을 안내하기 위한 TBT 지점에서 정해진 회전 방향과 회전 기준점을 안내하는 AR 오브젝트를 HUD(610)에 표시할 수 있다. 회전 방향 TBT의 AR 오브젝트는 회전 기준점 객체(803)가 포함될 수 있다. 이 때 주행 경로를 안내하는 주행 안내선 객체(801)가 객체(803)와 함께 표시될 수 있으며, 주행 안내선 객체(801)는 차량 전방의 도로 바닥면에 대응되어 드러나는 형태로 해당 주행 방향을 유도할 수 있는 디자인으로 표시할 수 있고, 회전 기준점 객체(803)는 회전 기준점이 되는 도로면이나 도로 경사석 등에 일정 높이(z축 높이)를 가지는 가상의 물체가 서 있는 형태로 표시할 수 있다.Referring to FIG. 8, the processor 120 may display an AR object guiding a rotation direction and a rotation reference point determined at a TBT point for guiding the rotation direction on the HUD 610. The AR object of the rotation direction TBT may include a rotation reference point object 803. At this time, the driving guide line object 801 guiding the driving route may be displayed together with the object 803, and the driving guide line object 801 may guide the driving direction in a form that is exposed in correspondence with the road floor in front of the vehicle. The rotation reference point object 803 may be displayed in a form in which a virtual object having a predetermined height (z-axis height) is standing on a road surface or a road sloping stone, which is a reference point for rotation.
프로세서(120)는 일정 반경 이내에 분기점이 둘 이상인 경우 주행 경로에 포함된 분기점에 대하여 회전 기준점을 안내하는 회전 방향 TBT의 AR 오브젝트를 표시할 수 있다.When there are two or more branch points within a predetermined radius, the processor 120 may display an AR object in the rotation direction TBT that guides the rotation reference point with respect to the branch point included in the driving path.
(3) 고정 POI TBT(3) Fixed POI TBT
: HD 맵 상에 항상 고정적으로 위치하는 POI를 명확히 해주는 타입에 해당된다.: Corresponds to the type that clarifies the POI that is always fixedly located on the HD map.
예를 들어, 휴게소, 주유소, 졸음 쉼터 등이 고정 POI TBT에 해당될 수 있다.For example, a rest area, a gas station, a drowsy shelter, etc. may correspond to the fixed POI TBT.
(4) 유동 POI TBT(4) Floating POI TBT
: 경로 설정 과정에서 운전자로부터 설정된 POI를 명확히 해주는 타입에 해당된다.: Corresponds to the type that clarifies the POI set by the driver during the route setting process.
경로 설정에 따라 생성되는 안내 지점으로서, 예를 들어 경유지나 목적지 등이 유동 POI TBT에 해당될 수 있다.As a guide point generated according to a route setting, for example, a waypoint or a destination may correspond to the floating POI TBT.
고정 POI TBT와 유동 POI TBT는 운전자 시야에 보이지 않더라도 안내 시점에 해당 POI 근처에 거의 도착하고 있음을 알려주는 목적, 혹은 해당 POI에서의 정차 여부를 묻는 목적의 TBT 정보이기 때문에 지면에서 공중에 띄우는 형태로 표시할 수 있다. 이에 따르면, 운전자는 아직 POI 지점이 눈에 보이지 않더라도, 고정 POI TBT 또는 유동 POI TBT를 참조하여 POI에 도달하기 전에 주/정차 여부 등의 의사결정을 할 수 있다.Fixed POI TBT and floating POI TBT are TBT information for the purpose of notifying that you are almost arriving near the POI at the time of guidance even if it is not visible from the driver's view, or for asking whether to stop at the POI, so they are floated on the ground. Can be marked with According to this, even if the POI point is not yet visible, the driver can make a decision on whether to park/stop before reaching the POI by referring to the fixed POI TBT or the floating POI TBT.
도 9를 참조하면, 프로세서(120)는 고정 POI TBT 지점과 유동 POI TBT 지점에 도착하기까지의 일정 거리 이전에 해당 TBT의 AR 오브젝트(901)를 HUD(610)에 표시하되 해당 POI가 실제 위치하는 지점과 대응되는 위치에 플로팅(floating) 되는 형태로 AR 오브젝트(901)를 표시할 수 있다.Referring to FIG. 9, the processor 120 displays the AR object 901 of the corresponding TBT on the HUD 610 before a certain distance to arrive at the fixed POI TBT point and the floating POI TBT point, but the corresponding POI is actually located. The AR object 901 may be displayed in a floating form at a location corresponding to the point.
도 10은 본 발명의 일실시예에 있어서 TBT 지점의 AR 오브젝트를 가림 처리하는 방법의 예시를 도시한 것이다.10 shows an example of a method of processing an AR object at a TBT point according to an embodiment of the present invention.
프로세서(120)는 TBT 지점에서 장애물이 인식되는 경우 TBT 지점의 AR 오브젝트를 가림 처리하여 HUD에 표시할 수 있다. TBT 지점에서 온된 AR 오브젝트의 가상 위치와 HUD 사이에 장애물이 존재하는 경우, 그러한 장애물에 의해 AR 오브젝트가 가려지는 부분이 시각적 구분되도록 처리하여 표시할 수 있다.When an obstacle is recognized at the TBT point, the processor 120 may mask the AR object at the TBT point and display it on the HUD. When an obstacle exists between the HUD and the virtual position of the AR object turned on at the TBT point, a portion of the AR object covered by the obstacle may be processed and displayed to be visually distinguished.
예를 들어, 도 10을 참조하면, 주행 방향 TBT에서 HUD(610)를 통해 주행 안내선 객체(1001)와 방향 유도 객체(1003)를 AR 오브젝트로서 표시하게 되는데, 이때 주행 안내선 객체(1001)와 방향 유도 객체(1003)가 전방에 위치한 차량에 의해 가려지는 경우 가려진 부분을 점선으로 처리하여 표시할 수 있다.For example, referring to FIG. 10, a driving guide line object 1001 and a direction guiding object 1003 are displayed as AR objects through the HUD 610 in the driving direction TBT. At this time, the driving guide line object 1001 and the direction When the guidance object 1003 is covered by a vehicle located in front, the covered part may be processed and displayed as a dotted line.
장애물에 의해 가려진 부분을 완전히 가려 생략하는 것이 아니라, 가려진 부분과 가려지지 않은 부분을 시각적으로 구분되는 방법으로 표현하여 장애물과 상관없이 AR 오브젝트의 인지가 가능한 형태로 표시함으로써 AR 오브젝트를 TBT 안내에 활용할 수 있다.The AR object is used for TBT guidance by expressing the obstructed and unobstructed portions in a visually distinct way, and displaying the AR object in a form that allows recognition of the AR object regardless of the obstacle, rather than omitting the obscured portion completely by obstruction. I can.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and/or a combination of a hardware component and a software component. For example, the devices and components described in the embodiments are a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), a programmable gate array (PLU). It may be implemented using one or more general purpose computers or special purpose computers, such as a logic unit), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications executed on the operating system. In addition, the processing device may access, store, manipulate, process, and generate data in response to the execution of software. For the convenience of understanding, although it is sometimes described that one processing device is used, one of ordinary skill in the art, the processing device is a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it may include. For example, the processing device may include a plurality of processors or one processor and one controller. In addition, other processing configurations are possible, such as a parallel processor.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of these, configuring the processing unit to behave as desired or processed independently or collectively. You can command the device. Software and/or data may be embodyed in any type of machine, component, physical device, computer storage medium or device to be interpreted by the processing device or to provide instructions or data to the processing device. have. The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. In this case, the medium may be one that continuously stores a program executable by a computer, or temporarily stores a program for execution or download. In addition, the medium may be a variety of recording means or storage means in a form in which a single or several pieces of hardware are combined, but is not limited to a medium directly connected to a computer system, but may be distributed on a network. Examples of media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magnetic-optical media such as floptical disks, and And ROM, RAM, flash memory, and the like may be configured to store program instructions. In addition, examples of other media include an app store that distributes applications, a site that supplies or distributes various software, and a recording medium or a storage medium managed by a server.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described by the limited embodiments and drawings, various modifications and variations are possible from the above description by those of ordinary skill in the art. For example, the described techniques are performed in a different order from the described method, and/or components such as a system, structure, device, circuit, etc. described are combined or combined in a form different from the described method, or other components Alternatively, even if substituted or substituted by an equivalent, an appropriate result can be achieved.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and claims and equivalents fall within the scope of the claims to be described later.

Claims (12)

  1. 컴퓨터 장치에서 실행되는 TBT(turn-by-turn) 안내 방법에 있어서,In the TBT (turn-by-turn) guidance method executed on a computer device,
    상기 컴퓨터 장치는 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고,The computer device includes at least one processor configured to execute computer readable instructions contained in a memory,
    상기 TBT 안내 방법은,The above TBT guidance method,
    상기 적어도 하나의 프로세서에 의해, 맵(map) 상의 각 TBT 지점에 대해 TBT 지점을 안내하기 위한 객체로서 지정되어 조건부로 표시 가능한 상태로 설정된 증강 오브젝트 중 적어도 일부를 표시 가능한 상태로 변경하는 단계; 및Changing, by the at least one processor, at least some of the augmented objects designated as an object for guiding the TBT points on the map and set to a conditionally displayable state to a displayable state; And
    상기 적어도 하나의 프로세서에 의해, 상기 표시 가능한 상태로 변경된 증강 오브젝트를 상기 TBT 지점의 안내에 이용하는 단계Using the augmented object changed to the displayable state for guidance of the TBT point by the at least one processor
    를 포함하는 TBT 안내 방법.TBT guidance method comprising a.
  2. 제1항에 있어서,The method of claim 1,
    상기 변경하는 단계는,The changing step,
    주행 안내를 위해 탐색된 주행 경로에 따라 상기 증강 오브젝트를 표시 가능한 상태로 변경하는 단계Changing the augmented object to a displayable state according to the searched driving route for driving guidance
    를 포함하는 TBT 안내 방법.TBT guidance method comprising a.
  3. 제1항에 있어서,The method of claim 1,
    상기 변경하는 단계는,The changing step,
    상기 맵 상의 모든 TBT 지점의 증강 오브젝트를 표시 불가능한 오프 상태로 유지하는 단계; 및Maintaining augmented objects of all TBT points on the map in a non-displayable off state; And
    주행 안내를 위해 탐색된 주행 경로에 포함된 TBT 지점의 증강 오브젝트를 표시 가능한 온 상태로 전환하는 단계Step of switching the augmented object of the TBT point included in the searched driving route for driving guidance into a displayable ON state
    를 포함하는 TBT 안내 방법.TBT guidance method comprising a.
  4. 제1항에 있어서,The method of claim 1,
    상기 변경하는 단계는,The changing step,
    상기 맵 상의 모든 TBT 지점의 증강 오브젝트를 표시 불가능한 오프 상태로 유지하는 단계; 및Maintaining augmented objects of all TBT points on the map in a non-displayable off state; And
    주행 안내를 위해 탐색된 주행 경로에 포함되면서 디스플레이 장치에 표시되는 안내 영역에 포함된 TBT 지점의 증강 오브젝트를 표시 가능한 온 상태로 전환하는 단계Switching the augmented object of the TBT point included in the guide area displayed on the display device to a displayable ON state while being included in the searched driving route for driving guidance
    를 포함하는 TBT 안내 방법.TBT guidance method comprising a.
  5. 제1항에 있어서,The method of claim 1,
    상기 이용하는 단계는,The step of using,
    상기 TBT 지점을 안내하는 시점에 상기 표시 가능한 상태로 변경된 증강 오브젝트를 차량에 설치된 디스플레이 장치에 표시하는 단계Displaying the augmented object changed to the displayable state on a display device installed in the vehicle at the time of guiding the TBT point
    를 포함하는 TBT 안내 방법.TBT guidance method comprising a.
  6. 제5항에 있어서,The method of claim 5,
    상기 표시하는 단계는,The displaying step,
    상기 TBT 지점이 회전 방향을 안내하는 타입인 경우 상기 증강 오브젝트로서 상기 회전 방향의 기준점을 나타내는 객체를 상기 디스플레이 장치에 표시하는 것When the TBT point is a type guiding the rotation direction, displaying an object representing the reference point of the rotation direction as the augmented object on the display device
    을 특징으로 하는 TBT 안내 방법.TBT guidance method, characterized in that.
  7. 제5항에 있어서,The method of claim 5,
    상기 표시하는 단계는,The displaying step,
    상기 TBT 지점이 주행 방향을 안내하는 타입인 경우 상기 증강 오브젝트로서 상기 주행 방향을 유도하는 객체를 상기 디스플레이 장치에 표시하는 것When the TBT point is a type guiding a driving direction, displaying an object guiding the driving direction as the augmented object on the display device
    을 특징으로 하는 TBT 안내 방법.TBT guidance method, characterized in that.
  8. 제5항에 있어서,The method of claim 5,
    상기 표시하는 단계는,The displaying step,
    상기 TBT 지점이 상기 맵 상에 고정적으로 위치하는 POI인 경우 상기 POI의 일정 거리 이전에 상기 디스플레이 장치 상에 상기 증강 오브젝트를 플로팅(floating) 형태로 표시하는 것When the TBT point is a POI fixedly positioned on the map, displaying the augmented object in a floating form on the display device before a predetermined distance of the POI
    을 특징으로 하는 TBT 안내 방법.TBT guidance method, characterized in that.
  9. 제5항에 있어서,The method of claim 5,
    상기 표시하는 단계는,The displaying step,
    상기 TBT 지점이 경로 설정에 따라 생성되는 안내 지점인 경우 상기 안내 지점의 일정 거리 이전에 상기 디스플레이 장치 상에 상기 증강 오브젝트를 플로팅 형태로 표시하는 것When the TBT point is a guide point generated according to a route setting, displaying the augmented object in a floating form on the display device before a certain distance of the guide point
    을 특징으로 하는 TBT 안내 방법.TBT guidance method, characterized in that.
  10. 제5항에 있어서,The method of claim 5,
    상기 표시하는 단계는,The displaying step,
    상기 TBT 지점에서 장애물이 인식되는 경우 상기 증강 오브젝트에서 상기 장애물과 겹치는 부분을 겹치지 않는 부분과 구분하여 상기 증강 오브젝트를 표시하는 것When an obstacle is recognized at the TBT point, displaying the augmented object by separating a portion of the augmented object that overlaps the obstacle from a non-overlapping portion
    을 특징으로 하는 TBT 안내 방법.TBT guidance method, characterized in that.
  11. 제1항 내지 제10항 중 어느 한 항의 TBT 안내 방법을 컴퓨터에 실행시키기 위한 프로그램이 기록되어 있는 비-일시적인 컴퓨터 판독 가능한 기록 매체.A non-transitory computer-readable recording medium in which a program for executing the TBT guidance method of any one of claims 1 to 10 on a computer is recorded.
  12. 컴퓨터 장치에 있어서,In the computer device,
    메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서At least one processor configured to execute computer readable instructions contained in memory
    를 포함하고,Including,
    상기 적어도 하나의 프로세서는,The at least one processor,
    맵 상의 각 TBT 지점에 대해 TBT 지점을 안내하기 위한 객체로서 지정되어 조건부로 표시 가능한 상태로 설정된 증강 오브젝트 중 적어도 일부를 표시 가능한 상태로 변경하고,For each TBT point on the map, at least some of the augmented objects designated as an object for guiding the TBT point and set to conditionally displayable state are changed to a displayable state,
    상기 표시 가능한 상태로 변경된 증강 오브젝트를 상기 TBT 지점의 안내에 이용하는 것Using the augmented object changed to the displayable state for guidance of the TBT point
    을 특징으로 하는 컴퓨터 장치.Computer device, characterized in that.
PCT/KR2020/007851 2019-07-17 2020-06-17 Method and system for showing tbt information by utilizing hd map and hud WO2021010602A2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190086178A KR20210009529A (en) 2019-07-17 2019-07-17 Method and system for guiding tbt information using hd map and hud
KR10-2019-0086178 2019-07-17

Publications (2)

Publication Number Publication Date
WO2021010602A2 true WO2021010602A2 (en) 2021-01-21
WO2021010602A3 WO2021010602A3 (en) 2021-03-11

Family

ID=74210567

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/007851 WO2021010602A2 (en) 2019-07-17 2020-06-17 Method and system for showing tbt information by utilizing hd map and hud

Country Status (2)

Country Link
KR (2) KR20210009529A (en)
WO (1) WO2021010602A2 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014185926A (en) * 2013-03-22 2014-10-02 Aisin Aw Co Ltd Guidance display system
KR101713740B1 (en) * 2014-12-08 2017-03-08 현대자동차주식회사 Method and device for displaying augmented reality HUD for vehicle
KR101750876B1 (en) * 2015-05-28 2017-06-26 엘지전자 주식회사 Display apparatus for vehicle and Vehicle
JP2018020779A (en) * 2017-09-29 2018-02-08 日本精機株式会社 Vehicle information projection system
JP6946963B2 (en) * 2017-11-17 2021-10-13 株式会社アイシン Superimposed image display device and computer program

Also Published As

Publication number Publication date
KR20210009529A (en) 2021-01-27
KR20210110265A (en) 2021-09-07
WO2021010602A3 (en) 2021-03-11
KR102386312B1 (en) 2022-04-14

Similar Documents

Publication Publication Date Title
JP4770702B2 (en) Route guidance system and route guidance method
US7499801B2 (en) Vehicular navigation system
JP6172283B2 (en) Route search system, route search method and computer program
US8688373B2 (en) Navigation apparatus
EP2115392B1 (en) Route guidance system and route guidance method
JP6446784B2 (en) Navigation device
US8825386B2 (en) Navigation apparatus
TWI239384B (en) Route setting device, roadway data, roadway data memory medium, guiding apparatus
WO2019088012A1 (en) Lane guidance system and lane guidance program
JP4816670B2 (en) Navigation device, navigation method, and navigation program
US11293767B2 (en) Dynamic drop off and pick up of passengers via autonomous vehicles
WO2021080182A1 (en) Travel information notification method and system
WO2021010602A2 (en) Method and system for showing tbt information by utilizing hd map and hud
WO2023080729A1 (en) Method for displaying alternative navigation route, and navigation device
JP2017032440A (en) Driving assistance system, driving assistance method, and computer program
WO2013089480A1 (en) Device and method for displaying a map according to the guiding of a navigation system
JP4689458B2 (en) Navigation device and route guidance method
JP2614901B2 (en) Vehicle guidance display method
JP2018063658A (en) Travel plan generating apparatus and computer program
JP2007263886A (en) Navigation device
JP2012032366A (en) Car navigation system
JP7381821B2 (en) Electronic devices, information provision methods, and information provision programs
JP2007127564A (en) Navigation system
JP2020008401A (en) Information processor
JP4777524B2 (en) Navigation device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20840289

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20840289

Country of ref document: EP

Kind code of ref document: A2

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 04/07/2022)

122 Ep: pct application non-entry in european phase

Ref document number: 20840289

Country of ref document: EP

Kind code of ref document: A2