WO2022039011A1 - コンピュータシステムによるナビゲーション - Google Patents

コンピュータシステムによるナビゲーション Download PDF

Info

Publication number
WO2022039011A1
WO2022039011A1 PCT/JP2021/028616 JP2021028616W WO2022039011A1 WO 2022039011 A1 WO2022039011 A1 WO 2022039011A1 JP 2021028616 W JP2021028616 W JP 2021028616W WO 2022039011 A1 WO2022039011 A1 WO 2022039011A1
Authority
WO
WIPO (PCT)
Prior art keywords
target point
route
information
current position
navigation device
Prior art date
Application number
PCT/JP2021/028616
Other languages
English (en)
French (fr)
Inventor
良博 野崎
Original Assignee
株式会社ビーブリッジ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ビーブリッジ filed Critical 株式会社ビーブリッジ
Priority to KR1020237009051A priority Critical patent/KR20230051557A/ko
Priority to US18/021,534 priority patent/US20230314154A1/en
Priority to EP21858159.3A priority patent/EP4198949A4/en
Priority to TW110129643A priority patent/TWI798789B/zh
Publication of WO2022039011A1 publication Critical patent/WO2022039011A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10—Map spot or coordinate position indicators; Map reading aids
    • G09B29/106—Map spot or coordinate position indicators; Map reading aids using electronic means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3476—Special cost functions, i.e. other than distance or default speed limit of road segments using point of interest [POI] information, e.g. a route passing visible POIs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3632—Guidance using simplified or iconic instructions, e.g. using arrows
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3644—Landmark guidance, e.g. using POIs or conspicuous other objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G01C21/367—Details, e.g. road map scale, orientation, zooming, illumination, level of detail, scrolling of road map or positioning of current position marker
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3885—Transmission of map data to client devices; Reception of map data by client devices
    • G01C21/3896—Transmission of map data from central databases
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Definitions

  • This disclosure relates to navigation by a computer system.
  • Patent Document 1 proposes a system that uses a visual landmark (for example, a building that serves as a landmark) in order for the mobile terminal to determine its traveling direction while the mobile terminal is stationary.
  • Patent Document 2 describes a technique of guiding an image of a character traveling along a route to a destination by an augmented reality image superimposed on an image of the real world.
  • JP-A-2019-109252 Japanese Unexamined Patent Publication No. 2014-20863
  • the position information of one or more target points on the route to the destination and the image captured by the camera displayed on the screen of the user's mobile terminal or the like are combined by augmented reality technology.
  • the navigation device, navigation system, navigation method, navigation program, and navigation program that can reach the destination by following the target points in order are recorded.
  • the present disclosure is a navigation device that provides guidance by display on a display screen so that a destination can be reached via a target point that first passes from the current position of the navigation device, and is a position of the current position of the navigation device.
  • the current position calculation unit that calculates the information and the first server device that calculates the route information that indicates the route from the current position to the destination receive the current position position information and the destination position information calculated by the current position calculation unit.
  • a route information acquisition unit that passes and receives the calculated route information from the first server device, and a target that calculates and stores the position information of the positions of one or more target points that are targets in route guidance from the route information.
  • the first target point position extraction unit that extracts the position information of the navigation device, the camera that captures the outside of the navigation device, the angle calculation unit that calculates the azimuth angle and elevation / depression angle of the optical axis of the camera, and the position information of the navigation device.
  • a target point position correction unit that corrects the position of the first target point to be displayed on the display screen from the azimuth angle and elevation / depression angle calculated by the angle calculation unit, and a first target point corrected by the target point position correction unit.
  • the distance traveling direction calculation unit that calculates the distance and the direction of travel when traveling the route from the current position and the current position to the position of the first target point corrected from the current position, and the image captured by the camera.
  • the first target point out of one or more target points calculated and stored by the target point position calculation unit is the position of the first target point corrected by the target point position correction unit, and the distance progress.
  • the first is provided with an extended reality image display unit that generates an extended reality image indicating the distance and the direction of travel when traveling to the corrected first target point calculated by the direction calculation unit and displays it on the display screen.
  • the augmented reality image display unit displays another first target point to be directed to the display screen, and another first target point to be displayed next is displayed on the display screen from the other current position. It is characterized in that it guides the user to reach the destination by repeating reaching the target point of 1.
  • the calculation unit may be included in the calculation machine. Specifically, the current position calculation unit is used as the current position calculator, the target point position calculation unit is used as the target point position calculator, the angle calculation unit is used as the angle calculator, and the distance travel direction calculation unit is used as the distance travel method calculator. , Each may be included.
  • the present disclosure is a navigation device that provides guidance by display on a display screen so that a destination can be reached via a target point that first passes from the current position of the navigation device, and is a position of the current position of the navigation device.
  • the current position calculation unit that calculates the information and the first server device that calculates the route information that indicates the route from the current position to the destination receive the current position position information and the destination position information calculated by the current position calculation unit.
  • a route information acquisition unit that passes and receives the calculated route information from the first server device, and a target that calculates and stores the position information of the positions of one or more target points that are targets in route guidance from the route information.
  • the first target point position extraction unit that extracts the position information of the navigation device, the camera that captures the outside of the navigation device, the angle calculation unit that calculates the azimuth angle and elevation / depression angle of the optical axis of the camera, and the position information of the navigation device.
  • a target point position correction unit that corrects the position of the first target point to be displayed on the display screen from the azimuth angle and elevation / depression angle calculated by the angle calculation unit, and a first target point corrected by the target point position correction unit.
  • the distance traveling direction calculation unit that calculates the distance and the direction of travel when traveling the route from the current position and the current position to the position of the first target point corrected from the current position, and the image captured by the camera.
  • the first target point out of one or more target points calculated and stored by the target point position calculation unit is the position of the first target point corrected by the target point position correction unit, and the distance progress.
  • the first is provided with an extended reality image display unit that generates an extended reality image indicating the distance and the direction of travel when traveling to the corrected first target point calculated by the direction calculation unit and displays it on the display screen.
  • the augmented reality image display unit displays another first target point to be directed to the display screen, and another first target point to be displayed next is displayed on the display screen from the other current position. It is characterized in that it guides the user to reach the destination by repeating reaching the target point of 1. This can have the effect of reaching the destination by following the target points of the augmented reality image displayed on the navigation device in order.
  • the other first target point can be said to be the target point to be passed first. For example, when the user of the navigation device reaches the first target point, the first target point becomes another or the next current position. Then, the target point to be passed first becomes another or the next first target point in order to reach the destination. After that, the same procedure is repeated.
  • the other first target point is the same in the document of the present application.
  • the position information is coordinate information that can specify a three-dimensional position, and includes, for example, coordinates measured by a global positioning system (hereinafter, GPS), but is not limited to this.
  • the route information indicating the route from the current position to the destination is a collection of position information having an order according to the route from the current position to the destination.
  • a visual landmark in which information is registered in advance must be included in the image captured by the camera, and the user registers the information using the camera. You have to find a visual landmark. Therefore, there may be a situation where the visual landmark cannot be found in the middle of the movement route.
  • the image of the visual landmark in the image captured by the camera and the image of the pre-registered visual landmark are not always the same, so that the system may not be able to find the visual landmark.
  • the target point is a point on the route to the destination, which is determined by the position information unlike the landmark in the technique described in Patent Document 1, and therefore, the visual sense in the image captured by the camera.
  • Described in Patent Document 1 such as the system cannot find a visual landmark because the image of the landmark and the image of the pre-registered visual landmark are not always the same, and the visual landmark cannot be found due to the surrounding light and darkness.
  • the problems of the technology can be solved.
  • the image of the character traveling along the route is guided to the destination by the augmented reality image superimposed on the image in the real world, but on the route calculated based on the position information by GPS or the like.
  • the problem is that the target point (the position indicated by the character image in the example of Patent Document 2) deviates from the actual target point. For example, there is a case where the center of the road is shown as a target point on the route even though the vehicle is moving on foot. In navigation when moving in the city, such an instruction of a target point is uncomfortable and impractical for the user.
  • the above-mentioned problems can be solved by correcting the position of the target point displayed on the augmented reality image from the position information of the navigation device and the azimuth and elevation / depression angles of the optical axis of the camera provided in the navigation device. ..
  • the target point position correction unit displays the position on the display screen
  • the position of the first target point is an extension of the direction in which the navigation device advances, which is calculated from the past position information of the navigation device.
  • it is the distance from the current position to the corrected position of the first target point, and is characterized by being corrected to a position where the height is the height of the camera. This can solve the problem that the target point on the route is deviated from the actual target point and displayed as a guide.
  • the target point position calculation unit has already made a point from the route information that the direction of travel along the route changes from the previous direction of travel beyond a predetermined threshold value.
  • One first target point is used, and the position information of the position of the other first target point is calculated and stored. This can solve the problem that the target point cannot be found on the route from the current location to the destination.
  • the predetermined threshold value will be described later in the examples.
  • the augmented reality image display unit uses the target point position correction unit on the image captured by the camera.
  • the camera does not generate an augmented reality image showing the position of the corrected first target point and the distance and the direction of travel when traveling to the corrected first target point calculated by the distance traveling direction calculation unit. It is characterized in that an augmented reality image indicating a direction in which the camera is pointed so that the captured image includes the position of the first target point is generated and displayed on the display screen. This can solve the problem of losing sight of the target point on the route because the target point is not found in the augmented reality image displayed on the navigation device.
  • the augmented reality image display unit stores attribute information about one or a plurality of target points and their surroundings from a second server device that stores attribute information about the first target point and its surroundings. It is characterized in that the attribute information about the first target point and its surroundings is further displayed on the display screen on the image acquired by the camera.
  • the attribute information about the target point and the attribute information about the periphery of the target point will be described later in the examples.
  • map information is acquired from a third server device that stores map information, a map image is generated, and the current position, destination, route, and one or more are on the generated map image. It is characterized by having a map display unit that displays a target point on a display screen.
  • the navigation device may include a route information calculation unit that calculates route information indicating a route from the current position to the destination, instead of the route information acquisition unit that receives the route information from the first server device.
  • the present disclosure describes a navigation device that provides guidance by display on a display screen so that a destination can be reached via a target point that first passes from the current position of the navigation device, and a route from the current position to the destination.
  • a first server device that calculates the indicated route information
  • a second server device that stores attribute information about one or more target points and their surroundings that are targets in route guidance
  • a third that stores map information.
  • a navigation system including the server device, wherein the navigation device calculates the position information of the current position of the navigation device, and the current position calculated by the current position calculation unit on the first server device.
  • the position information acquisition unit that passes the position information of the destination and the position information of the destination and receives the calculated route information from the first server device, and the position of one or more target points that are targets in the route guidance from the route information.
  • the first when traveling the route from the current position to the destination from the target point position calculation unit that calculates and stores the position information of, and one or more target points that are calculated and stored by the target point position calculation unit.
  • the first target point position extraction unit that extracts the position information of the position of the first target point that passes through, the camera that captures the outside of the navigation device, and the angle that calculates the azimuth angle and elevation / depression angle with respect to the optical axis of the camera.
  • the target point position correction unit that corrects the position of the first target point to be displayed on the display screen from the calculation unit, the position information of the navigation device, and the azimuth angle and elevation / depression angle calculated by the angle calculation unit, and the target point position correction. From the position of the first target point corrected by the unit and the current position, the distance travel direction calculation for calculating the distance and the direction of travel when traveling the route from the current position to the position of the first target point corrected by the unit. Only the first target point out of one or a plurality of target points calculated and stored by the target point position calculation unit on the unit and the image captured by the camera is corrected by the target point position correction unit.
  • An augmented reality image showing the position of the target point 1 and the distance and the direction of travel when traveling to the corrected first target point calculated by the distance traveling direction calculation unit is generated and displayed on the display screen.
  • An extension that acquires attribute information about the first target point and its surroundings from the second server device and displays the attribute information about the first target point and its surroundings on the display screen on the image captured by the camera.
  • Map information is acquired from the real image display unit and the third server device to generate a map image, and the current position, destination, route, and 1 are placed on the generated map image.
  • it is equipped with a map display unit that displays multiple target points on the display screen, and when the first target point is reached, the augmented reality image display unit displays another first target point that should go to the display screen next. It is characterized in that it guides the user to reach the destination by repeating reaching the first target point to be next, which is displayed on the display screen from the other current position.
  • the present disclosure is a navigation method that provides guidance by display on a display screen so that a destination can be reached from the current position of the navigation device via a target point that first passes through, and the position of the current position of the navigation device.
  • the current position calculation step for calculating information and the current position position information and destination position information calculated by the current position calculation step are sent to the first server device for calculating the route information indicating the route from the current position to the destination.
  • the first target point position extraction step for extracting the position information of the
  • the target point position correction step for correcting the position of the first target point to be displayed on the display screen from the azimuth angle and elevation / depression angle calculated by the information and angle calculation step, and the first correction step for the target point position correction step.
  • a distance traveling direction calculation step for calculating the distance and the traveling direction when traveling the route from the position of the target point and the current position to the position of the first target point corrected from the current position, and imaging with a camera.
  • the distance traveling direction calculation step includes an extended reality image display step that generates an extended reality image indicating the distance and the direction of travel when traveling to the corrected first target point and displays it on the display screen.
  • the augmented reality image display step displays another first target point that should go next to the display screen, and is displayed on the display screen from another current position. It is characterized in that it guides the user to reach the destination by repeating reaching one first target point.
  • the navigation method according to the present disclosure may include a route information calculation step for calculating route information indicating a route from the current position to the destination, instead of the route information acquisition step for receiving the route information from the first server device.
  • the present disclosure is read and executed by a computer equipped with a camera that captures an external image so that the computer can reach a destination via a target point that first passes from the current position of the navigation device.
  • a navigation program that functions as a navigation device that provides guidance by the above display, in which the current position calculation step for calculating the position information of the current position of the navigation device and the route indicating the route from the current position to the destination are shown to the computer.
  • a route information acquisition step that passes the current position position information calculated by the current position calculation step and the destination position information to the first server device that calculates the information, and receives the calculated route information from the first server device.
  • One or more target point position calculation steps that calculate and store position information of one or more target points that are targets in route guidance, and one or more target point position calculation steps that calculate and store them.
  • the first target point position extraction step that extracts the position information of the position of the first target point that passes first when traveling the route from the current position to the destination from the target point, and the outside of the navigation device by the camera.
  • the angle calculation step of calculating the azimuth angle and elevation / depression angle for the optical axis of the camera, the position information of the navigation device, and the azimuth angle and elevation / depression angle calculated by the angle calculation step.
  • the first target point corrected from the current position from the target point position correction step for correcting the position of the first target point and the position and the current position of the first target point corrected by the target point position correction step.
  • One or more targets calculated and stored in the distance traveling direction calculation step for calculating the distance and the traveling direction when traveling to the position of, and the target point position calculation step on the image captured by the camera.
  • the extended reality image display step that generates an expanded reality image indicating the distance and the direction of travel and displays it on the display screen, and when the first target point is reached, the expanded reality image display step should move to the next display screen.
  • the destination can be reached by displaying another first target point and repeatedly reaching the next first target point to be displayed next displayed on the display screen from the other current position. To It is characterized by guiding.
  • a recording medium on which this navigation program is recorded is also included in this disclosure.
  • the navigation program according to the present disclosure may include a route information calculation step for calculating route information indicating a route from the current position to the destination, instead of the route information acquisition step for receiving the route information from the first server device.
  • a recording medium on which this navigation program is recorded is also included in the present disclosure.
  • the first embodiment will be described as the first embodiment.
  • the recording medium on which the navigation device, the navigation system, the navigation method, the navigation program, and the navigation program according to the first embodiment are recorded is provided with navigation technology suitable for moving from the current location to the destination when moving in the city area. Therefore, it is preferably used by being mounted on a mobile terminal such as a so-called smartphone. It should be noted that this is an example and is not limited to the case of moving in an urban area, and is not limited to the implementation only on a mobile terminal such as a smartphone.
  • FIG. 1 is a diagram showing an overall configuration example of the navigation system according to the first embodiment.
  • the navigation system according to the first embodiment includes a navigation device 100 that guides a route to a destination based on position information, and a first server device that calculates a route from the current position to the destination. 101, it is configured to include a second server device 102 that stores attribute information about one or a plurality of target points and their surroundings that are targets in route guidance, and a third server device 103 that stores map information. ..
  • the navigation device 100, the first server device 101, the second server device 102, and the third server device 103 are configured to be connectable to each other via a communication network 104 such as the Internet.
  • the first server device 101, the second server device 102, and the third server device 103 physically include a central computing device (CPU), an input device, an output device, a main storage device (RAM / ROM), and an auxiliary device. It is configured as a computer system including a storage device.
  • the first server device 101, the second server device 102, and the third server device 103 are independent and separate server devices, but they may be independent as functions and are physically the same. It may be configured by a server device, or may be configured by distributing functions among a plurality of server devices.
  • the first server device 101 receives the position information of the current position and the position information of the destination from the navigation device 100 via the communication network 104, and calculates the route information indicating the route from the current position to the destination.
  • the first server device 101 holds position information regarding nodes such as links and intersections such as roads necessary for calculating route information.
  • the first server device 101 calculates route information from the position information of the current position and the position information of the destination while referring to the position information regarding the held link or node.
  • a method suitable for the purpose of guidance may be adopted, and is not limited to this disclosure. For example, if the purpose is to search for the shortest route, the Dijkstra method is adopted.
  • the calculated route information is provided to the navigation device 100 via the communication network 104.
  • the second server device 102 stores attribute information about one or a plurality of target points and their surroundings.
  • the attribute information about the target point means information useful for guiding the user of the navigation device according to the present disclosure to the destination and about the target point. For example, the name of an intersection.
  • the attribute information about the vicinity of the target point is useful information for guiding the user of the navigation device according to the present disclosure to the destination, and information other than the guidance that is useful for the user and is a target. It refers to the area around the point.
  • An example of useful information for guidance is the name of the building facing the intersection, which is the target point.
  • Examples of information that is useful to users other than guidance is information such as product lineups and prices for stores in buildings facing intersections, which is the target point.
  • the attribute information about one or a plurality of target points and their surroundings stored in the second server device 102 is associated with the target points by position information or an identification code uniquely set for each target point.
  • the second server device 102 provides attribute information about the target point and its surroundings in response to an inquiry from the navigation device 100 via the communication network 104.
  • the third server device 103 stores map information.
  • the third server device 103 provides map information in response to an inquiry from the navigation device 100 via the communication network 104.
  • FIG. 2 is a block diagram of the navigation device 100.
  • the navigation device 100 may be used not only as a single device but also as a built-in device.
  • the other device incorporating the navigation device 100 may be, for example, a portable electric appliance such as a smartphone, an information mobile terminal, a digital camera, or a game terminal.
  • the navigation device 100 physically includes a central processing unit (CPU) 301, an input device 302, an output device 303, a main storage device (RAM / ROM) 304, and an auxiliary storage device 305. It is configured as.
  • Each function of the navigation device 100 is performed by causing the central processing unit (CPU) 301, the main storage device (RAM / ROM) 304, and the like shown in FIG. 3A to read a program that causes the computer to function as the navigation device 100. This is realized by operating the input device 302 and the output device 303 under the control of the (CPU) 301, and reading and writing data to and from the main storage device (RAM / ROM) 304 and the auxiliary storage device 305.
  • CPU central processing unit
  • RAM / ROM main storage device
  • FIG. 3A Each function of the navigation device 100 is performed by causing the central processing unit (CPU) 301, the main storage device (RAM / ROM) 304, and the like shown in FIG. 3A to read a program that causes the computer to function as the navigation device 100. This is realized by operating the input device 302 and the output device 303 under the control of the (CPU) 301, and reading and writing data to and from the main storage device (RAM / ROM)
  • the navigation device 100 includes a current position calculation unit 201, a route information acquisition unit 202, a target point position calculation unit 203, a first target point position extraction unit 204, a camera 205, an angle calculation unit 206, and a target point. It includes a position correction unit 207, a distance traveling direction calculation unit 208, an augmented reality image display unit 209, and a map display unit 210.
  • the function of each block of the navigation device 100 will be described with reference to the block diagram of FIG. The details of the operation will be described later.
  • the current position calculation unit 201 calculates the position information of the current position of the navigation device.
  • the route information acquisition unit 202 passes the position information of the current position calculated by the current position calculation unit 201 and the position information of the destination input from the outside to the first server device 101 via the communication network 104, and calculates.
  • the route information indicating the route from the current position to the destination is received from the first server device 101.
  • the target point position calculation unit 203 calculates and holds the position information of the positions of one or a plurality of target points that are targets in the route guidance from the route information received by the route information acquisition unit 202 from the first server device. ..
  • the first target point position extraction unit 204 first passes through one or a plurality of target points calculated and held by the target point position calculation unit 203 when traveling the route from the current position to the destination. Extract the position information of the position of the target point of.
  • the camera 205 images the outside of the navigation device 100.
  • the captured image is passed to the augmented reality image display unit 209.
  • the angle calculation unit 206 calculates the azimuth and elevation / depression angles for the optical axis of the camera.
  • the calculated azimuth angle and elevation / depression angle are passed to the target point position correction unit 207.
  • the target point position correction unit 207 displays the position information of the navigation device 100 calculated by the current position calculation unit 201, and the azimuth angle and elevation / depression angle calculated by the angle calculation unit 206 on the augmented reality image display unit 209 of the navigation device 100.
  • the position of the first target point extracted by the first target point position extraction unit 204 of the above is corrected.
  • the distance traveling direction calculation unit 208 is a first target point corrected from the current position from the position of the first target point corrected by the target point position correction unit 207 and the current position calculated by the current position calculation unit 201. Calculate the distance and the direction of travel when traveling the route to the position of.
  • the augmented reality image display unit 209 has the position of the first target point corrected by the target point position correction unit 207 and the corrected first position calculated by the distance traveling direction calculation unit 208 on the image captured by the camera 205.
  • An augmented reality image showing the distance and the direction of travel when traveling to the target point of is generated and displayed.
  • the augmented reality image display unit 209 acquires the attribute information about the first target point and its surroundings from the second server device 102 that stores the attribute information about one or a plurality of target points and their surroundings. Attribute information about the first target point and its surroundings is further displayed on the image captured by the camera 205.
  • the map display unit 210 acquires map information from a third server device 103 that stores map information, generates a map image, and on the generated map image, a current position, a destination, a route, and one or a plurality of targets. Display points.
  • FIG. 3B shows a front view of the smartphone
  • FIG. 3C shows a rear view of the smartphone.
  • the smartphone 306 exemplified here has the configuration as a computer shown in FIG. 3A, has a display screen 307 which is an output device 303 which also functions as a touch panel which is an input device 302, and has a camera 205 for photographing the outside. ..
  • the camera 205 may be located anywhere on the smartphone body, for example, it may be on the back surface, it may be on the front surface, or it may be on both sides. Further, inside, in addition to the central processing unit 301, the main storage device 304, and the auxiliary storage device 305, a communication module for communicating via the communication network 104, a GPS module constituting the current position calculation unit 201, and an angle calculation. A directional sensor and a gyro sensor constituting the unit 206 are provided. It should be noted that the smartphone is an example, and the application of this disclosure is not limited to the smartphone.
  • FIG. 4 is a flowchart showing the operation of the navigation device 100 according to the first embodiment. The operation of the navigation device 100 in the first embodiment will be described with reference to the flowchart of FIG.
  • the navigation device 100 starts operation when the position information of the destination is input from the outside.
  • the start of the operation may be automatic after the input of the location information of the destination, or may be by an explicit command.
  • the navigation device 100 processes the flowchart of FIG.
  • the current position calculation unit 201 executes the current position calculation process (S401).
  • the current position calculation unit 201 includes a GPS module.
  • the three-dimensional coordinates of the current location of the navigation device 100 are acquired from the GPS module, and the position information is calculated.
  • the calculated position information of the current location of the navigation device 100 is handed over to the route information acquisition process (S402).
  • the route information acquisition unit 202 starts the route information acquisition process (S402).
  • the position information of the current position calculated and handed over in the current position calculation process (S401) and the position information of the destination input from the outside when the operation of the navigation device 100 starts are input to the communication network 104. It is passed to the first server device 101 via the above, and the route information indicating the calculated route from the current position to the destination is received from the first server device 101. As described above, the route information indicating the route from the current position to the destination is received from the server device 101 as a collection of position information having an order according to the route from the current position to the destination. The received route information is handed over to the target point position calculation process (S403). When the route information acquisition process (S402) by the route information acquisition unit 202 is completed, the target point position calculation unit 203 starts the target point position calculation process (S403).
  • the route information acquisition process (S402) uses the route information indicating the route from the current position to the destination received and handed over from the first server device 101 to the target in the route guidance.
  • the position information of the position of one or more target points is calculated and held.
  • the position information is calculated and held at a point at which the traveling direction changes beyond a predetermined threshold value when traveling along the path as a target point.
  • the predetermined threshold value is a change in the traveling direction, and it is possible to take an angle between the traveling direction so far and the traveling direction in the future.
  • a predetermined threshold value is set such that the angle between the direction in which the vehicle travels so far and the direction in which the vehicle travels in the future is 15 degrees.
  • the value of the angle as a predetermined threshold value may be changed according to the surrounding situation.
  • the value of the angle set as the predetermined threshold value at the intersection of the three-way road is larger than the value of the angle set as the predetermined threshold value at the intersection of the four-way road, and the angle set as the predetermined threshold value at the intersection of the five-way road.
  • the value of is set smaller than the value of the angle set as a predetermined threshold value at the intersection of the four-way junction. It should be noted that it is an example in the first embodiment that the change in the traveling direction when traveling along the route is captured by an angle, and the parameter representing the change in the traveling direction sets an appropriate target point in the guidance of the route. If possible, not only the angle but also a parameter other than the angle may be set.
  • FIG. 5 is a flowchart of the target point position calculation process (S403).
  • the target point position calculation process acquires the n-1st route information in the process of S501, the nth route information in the process of S502, and the n + 1th route information in the process of S503.
  • the direction of progress from the n-1st to the nth in the processing of S504 and the direction of progress from the nth to the n + 1th in the processing of S505 are calculated, and the progress calculated in the processing of S504 in the processing of S506. It is determined whether or not the angle formed by the direction to be used and the direction to be advanced calculated by the process of S505 is equal to or more than a predetermined threshold value (for example, 15 degrees).
  • a predetermined threshold value for example, 15 degrees
  • the nth route information is held as a target point in the process of S507.
  • the position information of the positions of one or a plurality of target points is calculated and held.
  • the position information of the position of the target point calculated and held in the target point position calculation process (S403) is passed to the first target point position extraction process (S404) and also to the map display process (S410).
  • the first target point position extraction unit 204 performs the first target point position extraction process (S404)
  • the map display unit 210 performs the map display process (S410). ) Is started. First, the first target point position extraction process (S404) will be described.
  • the first target point position extraction process (S404) when the route is first traveled from the current position to the destination from one or a plurality of target points calculated and handed over in the target point position calculation process (S403).
  • the position information of the position of the first target point to pass is extracted with reference to the position information of the current position calculated by the current position calculation process (S401).
  • the extracted position information of the position of the first target point is passed to the target point position correction process (S408).
  • the process shifts to the target point position correction process (S407) performed by the target point position correction unit 207.
  • the image pickup process (S405) by the camera 205 and the angle calculation process (S406) by the angle calculation unit 206 will be described.
  • the image pickup process (S405) and the angle calculation process (S406) are processes that are executed in the background after the navigation device 100 starts the operation until the operation is completed.
  • the outside of the navigation device is imaged by the camera 205 included in the smartphone in which the navigation device 100 is incorporated as a function.
  • the captured image information is requested and delivered in the augmented reality image display process (S409).
  • the angle calculation unit 206 includes a directional sensor and a gyro sensor.
  • the angle calculation process (S406) calculates the azimuth and elevation / depression angles of the optical axis of the camera 205 included in the smartphone having the navigation device 100 as a function from the information acquired from the azimuth sensor and the gyro sensor.
  • the azimuth and elevation / depression angles for the optical axis of the camera calculated in the angle calculation process (S406) are requested and delivered in the target position correction process (S407).
  • FIG. 6 is a diagram for explaining the target point position correction process (S407).
  • 601 is the current position of the navigation device 100.
  • FIG. 6 is a view looking down on the user of the navigation device 100 from above, and the user of the navigation device 100 is on the sidewalk along the roadway.
  • 602 is the north direction and is the reference of the azimuth angle.
  • Reference numeral 603 indicates the direction of the optical axis of the camera 205 included in the smartphone in which the navigation device 100 is incorporated as a function. It is considered that the user of the navigation device 100 is facing the direction of 603 at the current position 601 on the sidewalk along the roadway.
  • 604 is the position of the first target point.
  • the first target point 604 is the target point that passes first when traveling the route from the current position 601 to the destination.
  • the target point calculated by the target point position calculation process (S403) is performed.
  • the case where the position of is the center of the road which is the route from the current position to the destination is shown as an example.
  • the user of the navigation device 100 is guided to the first target point 604, which is a roadway.
  • the target point position correction process (S407) first, the position of the first target point is determined from the position information of the navigation device 100 and the azimuth angle calculated by the angle calculation process (S406). It is corrected to the position 605 on the sidewalk in the direction in which it should proceed.
  • 606 is the position of the navigation device 100 before the time T from the present.
  • the navigation device 100 is moving from position 606 to position 601.
  • the target point position correction process (S407) in the first embodiment it is assumed that the corrected position 605 of the first target point is in the direction from the position 606 to the position 601 from the direction of the immediately preceding movement. .. Assuming that the azimuth angle of the first target point 604 at the current position 601 is ⁇ and the azimuth angle of the corrected first target point 605 is ⁇ , the target point position correction process (S407) is performed by the target point position calculation process (S403).
  • the position 604 of the first target point calculated by the first target point position extraction process (S404) is corrected by the angle ⁇ - ⁇ rotation about the current position 601 as the first target. It is corrected as the position of the point 605.
  • the position 605 of the first target point corrected by the position 606 of the navigation device 100 before the time T from the present is defined, but this is an example, and the positions of the plurality of navigation devices 100 in the past are defined. Other methods such as determining the position 605 of the first target point corrected from the above may be used. Further, the correction method is not limited to the described method.
  • the height coordinate value of the corrected first target point 605 is corrected to the height of the camera.
  • the corrected first target point 605 is captured at the center of the lens of the camera 205, it is located at the center of the display screen and the elevation / depression angle becomes 0, so that the target point can be easily captured.
  • the position information of the position of the first target point corrected by the target point position correction process (S407) is handed over to the distance traveling direction calculation process (S408).
  • the distance traveling direction calculation unit 208 starts the distance traveling direction calculation process (S408).
  • the position information of the position of the first target point and the position information of the current position corrected to be delivered from the target point position correction process (S407) are corrected from the current position.
  • the distance and the direction of travel when traveling the route to the position of the first target point are calculated.
  • the calculated distance and the direction of travel are passed to the augmented reality image display process (S409).
  • the augmented reality image display unit 209 starts the augmented reality image display processing (S409).
  • the position of the first target point corrected by the target point position correction processing (S407) and the distance traveling direction calculation processing (S408) are calculated on the image captured by the camera 205.
  • An augmented reality image showing the distance and the direction of travel when traveling to the corrected first target point is generated and displayed.
  • the attribute information about the first target point and its surroundings is acquired from the second server device 102 that stores the attribute information about one or a plurality of target points and their surroundings. Then, the attribute information about the first target point and its surroundings is displayed on the image captured by the camera 205.
  • FIG. 7 is a diagram illustrating an augmented reality image generated and displayed by the augmented reality image display process (S409).
  • FIG. 7 represents an augmented reality image when the optical axis of the camera 205 included in the smartphone in which the navigation device 100 is incorporated as a function is the orientation of 603 shown in FIG.
  • Reference numeral 701 is a display screen which is an output device 303 included in the smartphone. Since the corrected first target point position 605 is within the screen display range of the image captured by the camera 205, the corrected first target point position 605 is superimposed on the image captured by the camera 205. The indicator is displayed.
  • the traveling direction 703 is superimposed and displayed on the image captured by the camera 205.
  • Reference numeral 704 is attribute information about the periphery of the first target point acquired from the second server device 102.
  • the image of the marker indicating the position of the first target point superimposed as the augmented reality image, and the distance and the direction of travel when traveling the route from the current position to the corrected position of the first target point are shown.
  • the expression such as the shape and the color is arbitrary as long as each information can be appropriately shown. It is not limited to the expression shown in FIG. 7.
  • the corrected position 605 of the first target point is not included in the screen display range of the image captured by the camera 205, it is placed on the image captured by the camera 205.
  • the image captured by the camera 205 without generating an augmented reality image showing the distance 702 and the direction of travel 703 when traveling to the corrected first target point position 605 and the corrected first target point.
  • An augmented reality image showing the direction in which the camera 205 is directed so that the position 605 of the first target point is included is generated and displayed.
  • FIG. 8 is generated and displayed by the augmented reality image display process (S409) when the corrected position 605 of the first target point is not included in the screen display range of the image captured by the camera 205.
  • FIG. 8 shows the augmented reality image.
  • the azimuth angle ⁇ of the optical axis of the camera 205 included in the smartphone in which the navigation device 100 is incorporated as a function is larger than the orientation of 603 shown in FIG.
  • It represents an augmented reality image when the position 605 is no longer included in the screen display range of the image captured by the camera 205.
  • the augmented reality image because it is necessary to orient the camera 205 of the navigation device 100 so that the corrected position 605 of the first target point is within the screen display range of the image captured by the camera 205.
  • an augmented reality image in which the icon 801 for guiding the direction of the camera 205 is superimposed on the image captured by the camera 205 is generated and displayed.
  • map information is acquired from a third server device 103 that stores map information, a map image is generated, and the current position, destination, route, and one or more are on the generated map image. Display the target point of.
  • FIG. 9 is a diagram showing how the map generated by the map display process (S410) is displayed.
  • the map image 901 is displayed at the lower part of the display screen 701 which is the output device 303 included in the smartphone.
  • the screen may be divided to display the augmented reality image and the map image, or the respective screens may be switched and displayed.
  • the map image 901 the current position 601, the destination 902, the route 903 and the target point 605, and the departure point 904 are displayed superimposed on the map.
  • the navigation program includes a main module, an input / output module, and an arithmetic processing module.
  • the main module is the part that controls the processing in an integrated manner.
  • the input / output module causes the computer to acquire input information such as the location information of the destination, and displays and outputs the augmented reality image and the map image generated as a result of a series of processing on the computer.
  • the arithmetic processing module includes the current position calculation module, the route information acquisition module, the target point position calculation module, the first target point position extraction module, the imaging module, the angle calculation module, the target point position correction module, the distance traveling direction calculation module, and the augmented reality. It is equipped with an image display module and a map display module.
  • the functions realized by executing the main module, the input module, and the arithmetic processing module are the current position calculation unit 201, the route information acquisition unit 202, the target point position calculation unit 203, and the first target point position extraction unit of the navigation device 100.
  • the functions are the same as those of the 204, the camera 205, the angle calculation unit 206, the target point position correction unit 207, the distance traveling direction calculation unit 208, the augmented reality image display unit 209, and the map display unit 210, respectively.
  • the navigation program is provided by, for example, a recording medium such as a ROM or a semiconductor memory.
  • the navigation program may also be provided via a communication network.
  • FIG. 10 is a block diagram of the navigation device 1000 according to the second embodiment.
  • the navigation device 1000 according to the second embodiment has the position information of the current position on the first server device 101 for calculating the route information indicating the route from the current position to the destination included in the navigation device 100 according to the first embodiment.
  • a route information calculation unit that calculates route information indicating a route from the current position to the destination instead of the route information acquisition unit 202 that passes the location information of the destination and receives the calculated route information from the first server device 101.
  • the difference is that 1001 is provided.
  • Other configurations are the same.
  • the function of the route information calculation unit 1001 is that the first server calculates the route information indicating the route from the current position to the destination from the position information of the current position calculated by the current position calculation unit 201 and the position information of the destination. It is the same as the device 101, and is the same as the route information acquisition unit 202 in that the route information indicating the route from the current position to the destination is passed to the target point position calculation unit 203. Therefore, the function of the route information calculation unit 1001 is omitted because it overlaps with the first embodiment.
  • the recording medium in which the navigation device, the navigation system, the navigation method, the navigation program, and the navigation program according to the present disclosure are recorded is the position of one or a plurality of target points that are targets in the route guidance from the route information from the current position to the destination. After calculating the information and correcting the position of the target point that passes first when traveling the route from the current position to the destination to the position of the point that should actually be the target, that position and the current position By generating and displaying an augmented reality image showing the distance from the vehicle and the direction of travel on the image captured by the camera, the user is guided to the destination.
  • Navigation device 100 Navigation device according to the first embodiment 101 First server device 102 Second server device 103 Third server device 104 Communication network 201 Current position calculation unit 202 Route information acquisition unit 203 Target point position calculation unit 204 First target Point position extraction unit 205 Camera 206 Angle calculation unit 207 Target point position correction unit 208 Distance travel direction calculation unit 209 Extended reality image display unit 210 Map display unit 301 Central processing unit (CPU) 302 Input device 303 Output device 304 Main memory (RAM / ROM) 305 Auxiliary storage device 306 Smartphone 307 Display screen 601 Current position of navigation device 602 North orientation 603 Direction of optical axis of camera provided in smartphone with built-in navigation device 604 Position of first target point 605 Corrected first Position of 1 target point 606 Position of the navigation device before time T from the present 701 Display screen 702 Distance when traveling the route from the current position to the corrected position of the first target point 703 Direction of travel 704 Second Attribute information about the periphery of the first target point acquired from the server device 801 Icon that guides

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Manufacturing & Machinery (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)

Abstract

本開示によるナビゲーション装置、ナビゲーションシステム、ナビゲーション方法、ナビゲーションプログラム、ナビゲーションプログラムを記録した記録媒体は、現在位置から目的地までの経路情報から経路の案内において目標となる１ないし複数の目標点の位置情報を算出して、現在位置から目的地に向けて経路を進行する場合において最初に通過する目標点の位置を実際に目標とすべき点の位置に補正したうえで、その位置と、現在位置からの距離と進行する向きをカメラで撮像した画像上に示す拡張現実画像を生成して表示することで、利用者を目的地まで案内する。

Description

コンピュータシステムによるナビゲーション
　本開示は、コンピュータシステムによるナビゲーションに関するものである。
　位置情報と地図情報を組み合わせたナビゲーションに関する技術は、従来から、数多く提案されている。近年では、いわゆるスマートフォンなどのカメラを備えた携帯端末の普及もあって、カメラによって撮像された画像をさらに組み合わせての拡張現実（ＡＲ）画像による市街地を現在地から目的地まで移動する際に適したナビゲーションに関する技術の提案がある。例えば、特許文献１や特許文献２に記載の技術である。
　特許文献１では、携帯端末が静止している間に、携帯端末がその進行方向を決定するために、視覚ランドマーク（例えば、目印となる建物など）を使用するシステムを提案している。特許文献２には、経路に従って進行するキャラクタの画像を現実世界の画像に重畳した拡張現実画像によって目的地まで案内する技術が記載されている。
特開２０１９－１０９２５２号公報 特開２０１４－２０８６３号公報
　本開示は、目的地までの経路において１ないし複数の目標となる目標点の位置情報と、利用者の携帯端末などの画面に表示されるカメラによって撮像された画像を、拡張現実の技術によって組み合わせて生成される拡張現実画像を利用者の携帯端末などに表示することで、目標点を順にたどることによって目的地に到達できるナビゲーション装置、ナビゲーションシステム、ナビゲーション方法、ナビゲーションプログラム、ナビゲーションプログラムを記録した記録媒体を提供する。
　本開示は、ナビゲーション装置の現在位置から最初に通過する目標点を経由して目的地に到達できるように表示画面上の表示により案内を提供するナビゲーション装置であって、ナビゲーション装置の現在位置の位置情報を算出する現在位置算出部と、現在位置から目的地までの経路を示す経路情報を算出する第１のサーバ装置に現在位置算出部が算出した現在位置の位置情報と目的地の位置情報を渡し、算出された経路情報を第１のサーバ装置から受け取る経路情報取得部と、経路情報から、経路の案内において目標となる１ないし複数の目標点の位置の位置情報を算出して記憶する目標点位置算出部と、目標点位置算出部で算出して記憶する１ないし複数の目標点から、現在位置から目的地に向けて経路を進行する場合において最初に通過する第１の目標点の位置の位置情報を抽出する第１目標点位置抽出部と、ナビゲーション装置の外部を撮像するカメラと、カメラの光軸についての方位角と仰俯角を算出する角度算出部と、ナビゲーション装置の位置情報、角度算出部が算出した方位角と仰俯角から表示画面に表示するための第１の目標点の位置を補正する目標点位置補正部と、目標点位置補正部により補正された第１の目標点の位置と現在位置とから、現在位置から補正された第１の目標点の位置まで経路を進行する場合における距離と進行する向きを算出する距離進行方向算出部と、及び、カメラで撮像した画像上に、目標点位置算出部で算出して記憶する１ないし複数の目標点のうち第１の目標点のみについて、目標点位置補正部により補正された第１の目標点の位置と、距離進行方向算出部が算出した補正された第１の目標点まで進行する場合における距離と進行する向きを示す拡張現実画像を生成して表示画面に表示する拡張現実画像表示部とを備え、第１の目標点に到達すると拡張現実画像表示部が表示画面に次に向かうべきもう１つの第１の目標点を表示し、もう１つの現在位置から表示画面に表示される次に向かうべきもう１つの第１の目標点まで到達することを繰り返すことで目的地に到達できるように案内することを特徴とする。ここで、算出部は、算出機に含まれてよい。具体的には、現在位置算出部は現在位置算出機に、目標点位置算出部は目標点位置算出機に、角度算出部は角度算出機に、距離進行方向算出部は距離進行方算出機に、それぞれ含まれてもよい。
ナビゲーションシステムの全体構成例を示す図である。 第１実施形態に係るナビゲーション装置のブロック図である。 ナビゲーション装置のハードウェア構成図である。 スマートフォンの正面図である。 スマートフォンの背面図である。 ナビゲーション装置動作を示すフローチャートである。 目標点位置算出処理のフローチャートである。 目標点位置補正処理について説明するための図である。 拡張現実画像表示処理で生成されて表示される拡張現実画像を例示した図である。 補正された第１の目標点の位置がカメラによって撮像された画像の画面表示範囲内に含まれない場合に、拡張現実画像表示処理で生成されて表示される拡張現実画像を示す図である。 地図表示処理で生成された地図が表示された様子を示す図である。 第２実施形態に係るナビゲーション装置のブロック図である。
　本開示は、ナビゲーション装置の現在位置から最初に通過する目標点を経由して目的地に到達できるように表示画面上の表示により案内を提供するナビゲーション装置であって、ナビゲーション装置の現在位置の位置情報を算出する現在位置算出部と、現在位置から目的地までの経路を示す経路情報を算出する第１のサーバ装置に現在位置算出部が算出した現在位置の位置情報と目的地の位置情報を渡し、算出された経路情報を第１のサーバ装置から受け取る経路情報取得部と、経路情報から、経路の案内において目標となる１ないし複数の目標点の位置の位置情報を算出して記憶する目標点位置算出部と、目標点位置算出部で算出して記憶する１ないし複数の目標点から、現在位置から目的地に向けて経路を進行する場合において最初に通過する第１の目標点の位置の位置情報を抽出する第１目標点位置抽出部と、ナビゲーション装置の外部を撮像するカメラと、カメラの光軸についての方位角と仰俯角を算出する角度算出部と、ナビゲーション装置の位置情報、角度算出部が算出した方位角と仰俯角から表示画面に表示するための第１の目標点の位置を補正する目標点位置補正部と、目標点位置補正部により補正された第１の目標点の位置と現在位置とから、現在位置から補正された第１の目標点の位置まで経路を進行する場合における距離と進行する向きを算出する距離進行方向算出部と、及び、カメラで撮像した画像上に、目標点位置算出部で算出して記憶する１ないし複数の目標点のうち第１の目標点のみについて、目標点位置補正部により補正された第１の目標点の位置と、距離進行方向算出部が算出した補正された第１の目標点まで進行する場合における距離と進行する向きを示す拡張現実画像を生成して表示画面に表示する拡張現実画像表示部とを備え、第１の目標点に到達すると拡張現実画像表示部が表示画面に次に向かうべきもう１つの第１の目標点を表示し、もう１つの現在位置から表示画面に表示される次に向かうべきもう１つの第１の目標点まで到達することを繰り返すことで目的地に到達できるように案内することを特徴とする。これにより、ナビゲーション装置に表示された拡張現実画像の目標点を順にたどることによって目的地に到達できるとの効果を奏しうる。ここで、もう１つの第１の目標点とは、次に最初に通過すべき目標点とも言える。例えば、ナビゲーション装置の利用者が第１の目標点に到達した場合、その第１の目標点がもう１つの若しくは次の現在位置となる。そして、目的地に向かうべく、次に最初に通過すべき目標点がもう１つの若しくは次の第１の目標点となる。以降、同様に繰り返す。もう１つの第１の目標点については、本願書面において同様である。
　本願において、位置情報とは、三次元位置を特定できる座標情報であって、例えば、全地球測位システム（以下、ＧＰＳ）によって計測される座標などがあたるが、これに限るものではない。また、現在位置から目的地までの経路を示す経路情報とは、現在位置から目的地までの経路に従った順序を備えた位置情報の集まりである。位置情報によって目標点の位置を決めることで経路上の目標点を発見できないとの課題を解決しうる。
　前述、特許文献１に記載の技術では、カメラによって撮像された画像の中にあらかじめ情報が登録された視覚ランドマークが写っていなくてはならず、利用者がカメラを使用して情報が登録された視覚ランドマークを見つけ出さなくてはならない。そのため、移動経路の途中で視覚ランドマークを発見できない状況などが起こりうる。また、カメラによって撮像された画像の中の視覚ランドマークの画像と、あらかじめ登録された視覚ランドマークの画像が必ずしも同一とは限らないためシステムが視覚ランドマークを発見できない状況も起こりうる。さらに、夜間などカメラによって撮像された画像が明瞭でない場合にも視覚ランドマークを発見できない状況が起こりうる。
　本開示によれば、目標点は目的地までの経路上の点であって、特許文献１に記載の技術におけるランドマークとは異なり位置情報で定まるため、カメラによって撮像された画像の中の視覚ランドマークの画像とあらかじめ登録された視覚ランドマークの画像が必ずしも同一とは限らないことでシステムが視覚ランドマークを発見できない、周囲の明暗によって視覚ランドマークが発見できない、などの特許文献１に記載の技術が抱える課題が解決されうる。
　また、本開示によれば、経路上に少なくともひとつの目標点が設定されるため、移動経路の途中で視覚ランドマークを発見できないといった特許文献１に記載の技術における課題が解決されうる。
　前述、特許文献２に記載の技術では、経路に従って進行するキャラクタの画像を現実世界の画像に重畳した拡張現実画像によって目的地まで案内するが、ＧＰＳによる位置情報などに基づいて算出された経路上の目標点（特許文献２の例ではキャラクタ画像の示す位置）が実際に目標とすべき点からずれることが問題となる。例えば、徒歩で移動しているにも関わらず車道の真ん中を経路上の目標点として示す場合などである。市街地を移動する際のナビゲーションにおいて、このような目標点の指示は利用者にとって違和感が大きく実用的でない。
　本開示によれば、ナビゲーション装置の位置情報とナビゲーション装置が備えるカメラの光軸についての方位角と仰俯角から拡張現実画像に表示する目標点の位置を補正することで前述の課題が解決されうる。
　本開示に係るナビゲーション装置では、目標点位置補正部は、表示画面に表示するため、第１の目標点の位置を、ナビゲーション装置の過去の位置情報から算出されるナビゲーション装置が進行する向きの延長上であって、現在位置から第１の目標点の補正された位置までの距離であり、高さがカメラの高さとなる位置に補正することを特徴とする。これにより、経路上の目標点が実際の目標とすべき点からずれて案内表示されるといった課題が解決されうる。
　本開示に係るナビゲーション装置では、目標点位置算出部は、経路情報から、経路に沿って進行する際に進行する向きが所定の閾値を越えて前の進行する向きから変化するような点をもう１つの第１の目標点とし、もう１つの第１の目標点の位置の位置情報を算出して記憶することを特徴とする。これにより、現在地から目的地までの経路上に目標点を発見できないとの課題が解決されうる。なお、所定の閾値については、実施例の中で後述する。
　本開示に係るナビゲーション装置では、拡張現実画像表示部は、カメラで撮像した画像に第１の目標点の位置が含まれない場合には、カメラで撮像した画像上に、目標点位置補正部により補正された第１の目標点の位置と、距離進行方向算出部が算出した補正された第１の目標点まで進行する場合における距離と進行する向きを示す拡張現実画像を生成せず、カメラで撮像した画像に第１の目標点の位置が含まれるようにカメラを向ける方向を示す拡張現実画像を生成して表示画面に表示することを特徴とする。これにより、ナビゲーション装置に表示された拡張現実画像に目標点が見当たらないことによって経路上の目標点を見失うとの課題が解決されうる。
　本開示に係るナビゲーション装置では、拡張現実画像表示部は、１ないし複数の目標点及びその周辺についての属性情報を記憶する第２のサーバ装置から第１の目標点及びその周辺についての属性情報を取得して、カメラで撮像した画像上に、第１の目標点及びその周辺についての属性情報をさらに表示画面に表示することを特徴とする。なお、目標点についての属性情報、及び、目標点の周辺についての属性情報については、実施例の中で後述する。
　本開示に係るナビゲーション装置では、地図情報を記憶する第３のサーバ装置から地図情報を取得して地図画像を生成し、生成した地図画像上に、現在位置、目的地、経路及び１ないし複数の目標点を表示画面に表示する地図表示部を備えることを特徴とする。
　本開示に係るナビゲーション装置では、経路情報を第１のサーバ装置から受け取る経路情報取得部に代えて現在位置から目的地までの経路を示す経路情報を算出する経路情報算出部を備えてもよい。
　本開示は、ナビゲーション装置の現在位置から最初に通過する目標点を経由して目的地に到達できるように表示画面上の表示により案内を提供するナビゲーション装置と、現在位置から目的地までの経路を示す経路情報を算出する第１のサーバ装置と、経路の案内において目標となる１ないし複数の目標点及びその周辺についての属性情報を記憶する第２のサーバ装置と、地図情報を記憶する第３のサーバ装置と、を備えたナビゲーションシステムであって、ナビゲーション装置が、ナビゲーション装置の現在位置の位置情報を算出する現在位置算出部と、第１のサーバ装置に現在位置算出部が算出した現在位置の位置情報と目的地の位置情報を渡し、算出された経路情報を第１のサーバ装置から受け取る経路情報取得部と、経路情報から、経路の案内において目標となる１ないし複数の目標点の位置の位置情報を算出して記憶する目標点位置算出部と、目標点位置算出部で算出して記憶する１ないし複数の目標点から、現在位置から目的地に向けて経路を進行する場合において最初に通過する第１の目標点の位置の位置情報を抽出する第１目標点位置抽出部と、ナビゲーション装置の外部を撮像するカメラと、カメラの光軸についての方位角と仰俯角を算出する角度算出部と、ナビゲーション装置の位置情報、角度算出部が算出した方位角と仰俯角から表示画面に表示するための第１の目標点の位置を補正する目標点位置補正部と、目標点位置補正部により補正された第１の目標点の位置と現在位置とから、現在位置から補正された第１の目標点の位置まで経路を進行する場合における距離と進行する向きを算出する距離進行方向算出部と、及び、カメラで撮像した画像上に、目標点位置算出部で算出して記憶する１ないし複数の目標点のうち第１の目標点のみについて、目標点位置補正部により補正された第１の目標点の位置と、距離進行方向算出部が算出した補正された第１の目標点まで進行する場合における距離と進行する向きを示す拡張現実画像を生成して表示画面に表示するとともに、第２のサーバ装置から第１の目標点及びその周辺についての属性情報を取得して、カメラで撮像した画像上に、第１の目標点及びその周辺についての属性情報を表示画面に表示する拡張現実画像表示部と、第３のサーバ装置から地図情報を取得して地図画像を生成し、生成した地図画像上に、現在位置、目的地、経路及び１ないし複数の目標点を表示画面に表示する地図表示部と、を備え、第１の目標点に到達すると拡張現実画像表示部が表示画面に次に向かうべきもう１つの第１の目標点を表示し、もう１つの現在位置から表示画面に表示される次に向かうべきもう１つの第１の目標点まで到達することを繰り返すことで目的地に到達できるように案内することを特徴とする
　本開示は、ナビゲーション装置の現在位置から最初に通過する目標点を経由して目的地に到達できるように表示画面上の表示により案内を提供するナビゲーション方法であって、ナビゲーション装置の現在位置の位置情報を算出する現在位置算出ステップと、現在位置から目的地までの経路を示す経路情報を算出する第１のサーバ装置に現在位置算出ステップが算出した現在位置の位置情報と目的地の位置情報を渡し、算出された経路情報を第１のサーバ装置から受け取る経路情報取得ステップと、経路情報から、経路の案内において目標となる１ないし複数の目標点の位置の位置情報を算出して記憶する目標点位置算出ステップと、目標点位置算出ステップで算出して記憶する１ないし複数の目標点から、現在位置から目的地に向けて経路を進行する場合において最初に通過する第１の目標点の位置の位置情報を抽出する第１目標点位置抽出ステップと、カメラによりナビゲーション装置の外部を撮像するステップと、カメラの光軸についての方位角と仰俯角を算出する角度算出ステップと、ナビゲーション装置の位置情報、角度算出ステップが算出した方位角と仰俯角から表示画面に表示するための第１の目標点の位置を補正する目標点位置補正ステップと、目標点位置補正ステップにより補正された第１の目標点の位置と現在位置とから、現在位置から補正された第１の目標点の位置まで経路を進行する場合における距離と進行する向きを算出する距離進行方向算出ステップと、及び、カメラで撮像した画像上に、目標点位置算出ステップで算出して記憶する１ないし複数の目標点のうち第１の目標点のみについて、目標点位置補正ステップにより補正された第１の目標点の位置と、距離進行方向算出ステップが算出した補正された第１の目標点まで進行する場合における距離と進行する向きを示す拡張現実画像を生成して表示画面に表示する拡張現実画像表示ステップと、を備え、第１の目標点に到達すると拡張現実画像表示ステップが表示画面に次に向かうべきもう１つの第１の目標点を表示し、もう１つの現在位置から表示画面に表示される次に向かうべきもう１つの第１の目標点まで到達することを繰り返すことで目的地に到達できるように案内することを特徴とする。
　本開示に係るナビゲーション方法では、経路情報を第１のサーバ装置から受け取る経路情報取得ステップに代えて現在位置から目的地までの経路を示す経路情報を算出する経路情報算出ステップを備えてもよい。
　本開示は、外部を撮像するカメラを備えたコンピュータによって読み取られ実行されることで、コンピュータを、ナビゲーション装置の現在位置から最初に通過する目標点を経由して目的地に到達できるように表示画面上の表示により案内を提供するナビゲーション装置として機能させるナビゲーションプログラムであって、コンピュータに、ナビゲーション装置の現在位置の位置情報を算出する現在位置算出ステップと、現在位置から目的地までの経路を示す経路情報を算出する第１のサーバ装置に現在位置算出ステップが算出した現在位置の位置情報と目的地の位置情報を渡し、算出された経路情報を第１のサーバ装置から受け取る経路情報取得ステップと、経路情報から、経路の案内において目標となる１ないし複数の目標点の位置の位置情報を算出して記憶する目標点位置算出ステップと、目標点位置算出ステップで算出して記憶する１ないし複数の目標点から、現在位置から目的地に向けて経路を進行する場合において最初に通過する第１の目標点の位置の位置情報を抽出する第１目標点位置抽出ステップと、カメラによりナビゲーション装置の外部を撮像するステップと、カメラの光軸についての方位角と仰俯角を算出する角度算出ステップと、ナビゲーション装置の位置情報、角度算出ステップが算出した方位角と仰俯角から表示画面に表示するための第１の目標点の位置を補正する目標点位置補正ステップと、目標点位置補正ステップにより補正された第１の目標点の位置と現在位置とから、現在位置から補正された第１の目標点の位置まで経路を進行する場合における距離と進行する向きを算出する距離進行方向算出ステップと、及び、カメラで撮像した画像上に、目標点位置算出ステップで算出して記憶する１ないし複数の目標点のうち第１の目標点のみについて、目標点位置補正ステップにより補正された第１の目標点の位置と、距離進行方向算出ステップが算出した補正された第１の目標点まで進行する場合における距離と進行する向きを示す拡張現実画像を生成して表示画面に表示する拡張現実画像表示ステップと、を備え、第１の目標点に到達すると拡張現実画像表示ステップが表示画面に次に向かうべきもう１つの第１の目標点を表示し、もう１つの現在位置から表示画面に表示される次に向かうべきもう１つの第１の目標点まで到達することを繰り返すことで目的地に到達できるように案内することを特徴とする。このナビゲーションプログラムを記録した記録媒体も本開示に含まれる。
　本開示に係るナビゲーションプログラムでは、経路情報を第１のサーバ装置から受け取る経路情報取得ステップに代えて現在位置から目的地までの経路を示す経路情報を算出する経路情報算出ステップを備えてもよい。このナビゲーションプログラムを記録した記録媒体も本開示に含まれる。
　次に、本開示の実施形態について図面を参照して説明する。なお、重複する説明は省略し、各図面において同一又は相当部分には同一の符号を付す。
　実施例１として、第１実施形態について説明する。第１実施形態に係るナビゲーション装置、ナビゲーションシステム、ナビゲーション方法、ナビゲーションプログラム、ナビゲーションプログラムを記録した記録媒体は、市街地を移動する際に、現在地から目的地まで移動する際に適したナビゲーション技術を備えるものであって、いわゆるスマートフォンなどの携帯端末に実装することで好適に使用されるものである。なお、これは例示であって、市街地を移動する際に限るものではなく、またスマートフォンなどの携帯端末への実装のみに適用を限るものではない。
　図１は、第１実施形態におけるナビゲーションシステムの全体構成例を示す図である。図１に示すように、第１実施形態におけるナビゲーションシステムは、位置情報に基づいて目的地までの経路を案内するナビゲーション装置１００と、現在位置から目的地までの経路を算出する第１のサーバ装置１０１、経路の案内において目標となる１ないし複数の目標点及びその周辺についての属性情報を記憶する第２のサーバ装置１０２及び地図情報を記憶する第３のサーバ装置１０３を備えて構成されている。ナビゲーション装置１００、第１のサーバ装置１０１、第２のサーバ装置１０２及び第３のサーバ装置１０３は、インターネット等の通信ネットワーク１０４を介して相互に接続可能に構成されている。第１のサーバ装置１０１、第２のサーバ装置１０２及び第３のサーバ装置１０３は、物理的には、中央演算装置（ＣＰＵ）、入力装置、出力装置、主記憶装置（ＲＡＭ／ＲＯＭ）、補助記憶装置を含むコンピュータシステムとして構成される。図１では、第１のサーバ装置１０１、第２のサーバ装置１０２及び第３のサーバ装置１０３は、それぞれ独立した別個のサーバ装置としているが、機能として独立していればよく、物理的に同じサーバ装置で構成されていてもよいし、複数のサーバ装置で機能を分散して構成されていてもよい。
　第１のサーバ装置１０１は、通信ネットワーク１０４を介してナビゲーション装置１００から現在位置の位置情報と目的地の位置情報を受け取り、現在位置から目的地までの経路を示す経路情報を算出する。第１のサーバ装置１０１は、経路情報の算出に必要な道路などのリンクや交差点などのノードに関する位置情報を保持している。第１のサーバ装置１０１は、保持しているリンクやノードに関する位置情報を参照しつつ、現在位置の位置情報と目的地の位置情報から経路情報を算出する。経路情報の算出方法については、案内の目的に適した方法を採用すればよく、本開示において限定するものではない。例えば、最短経路の探索を目的とするのであればダイクストラ法を採用するなどである。算出された経路情報については、通信ネットワーク１０４を介してナビゲーション装置１００に提供される。
　第２のサーバ装置１０２は、１ないし複数の目標点及びその周辺についての属性情報を記憶する。本願において、目標点についての属性情報とは、本開示に係るナビゲーション装置の利用者を目的地まで案内するに有益な情報であって目標点についてのものをいう。例えば、交差点の名称などである。また、目標点の周辺についての属性情報とは、本開示に係るナビゲーション装置の利用者を目的地まで案内するに有益な情報や、案内以外であっても利用者にとって有益な情報であって目標点の周辺についてのものをいう。案内するに有益な情報の例としては、目標点である交差点に面した建物の名称などである。案内以外であっても利用者にとって有益な情報の例としては、目標点である交差点に面した建物にある店舗について商品の品揃えや価格等の情報などである。なお、第２のサーバ装置１０２が記憶する１ないし複数の目標点及びその周辺についての属性情報は、位置情報又は目標点ごとに一意に設定された識別符号などによって目標点と紐づけられる。第２のサーバ装置１０２は、通信ネットワーク１０４を介してナビゲーション装置１００からの問い合わせに応じて目標点及びその周辺についての属性情報を提供する。
　第３のサーバ装置１０３は、地図情報を記憶する。第３のサーバ装置１０３は、通信ネットワーク１０４を介してナビゲーション装置１００からの問い合わせに応じて地図情報を提供する。
　図２は、ナビゲーション装置１００のブロック図である。ナビゲーション装置１００は、単独で装置として構成される形態のみならず、他の装置に組み込まれて使用される形態であってもよい。ナビゲーション装置１００を組み込む他の装置は、例えば、スマートフォン、情報携帯端末、デジタルカメラ、ゲーム端末等の携帯型電化製品であってもよい。ナビゲーション装置１００は、図３Ａに示すように、物理的には、中央演算装置（ＣＰＵ）３０１、入力装置３０２、出力装置３０３、主記憶装置（ＲＡＭ／ＲＯＭ）３０４、補助記憶装置３０５を含むコンピュータとして構成される。
　ナビゲーション装置１００の各機能は、図３Ａに示す中央演算装置（ＣＰＵ）３０１、主記憶装置（ＲＡＭ／ＲＯＭ）３０４等に、ナビゲーション装置１００としてコンピュータを機能させるプログラムを読み込ませることにより、中央演算装置（ＣＰＵ）３０１の制御により入力装置３０２、出力装置３０３を動作させるとともに、主記憶装置（ＲＡＭ／ＲＯＭ）３０４、補助記憶装置３０５とデータの読み書きを行うことで実現される。
　図２に示すように、ナビゲーション装置１００は、現在位置算出部２０１、経路情報取得部２０２、目標点位置算出部２０３、第１目標点位置抽出部２０４、カメラ２０５、角度算出部２０６、目標点位置補正部２０７、距離進行方向算出部２０８、拡張現実画像表示部２０９及び地図表示部２１０を備えている。図２のブロック図に従って、ナビゲーション装置１００の各ブロックの機能を説明する。動作の詳細については後述する。
　現在位置算出部２０１は、ナビゲーション装置の現在位置の位置情報を算出する。
　経路情報取得部２０２は、現在位置算出部２０１が算出した現在位置の位置情報及び外部から入力された目的地の位置情報を、通信ネットワーク１０４を経由して第１のサーバ装置１０１に渡し、算出された現在位置から目的地までの経路を示す経路情報を第１のサーバ装置１０１から受け取る。
　目標点位置算出部２０３は、経路情報取得部２０２が第１のサーバ装置から受け取った経路情報から、経路の案内において目標となる１ないし複数の目標点の位置の位置情報を算出して保持する。
　第１目標点位置抽出部２０４は、目標点位置算出部２０３で算出して保持する１ないし複数の目標点から、現在位置から目的地に向けて経路を進行する場合において最初に通過する第１の目標点の位置の位置情報を抽出する。
　カメラ２０５は、ナビゲーション装置１００の外部を撮像する。撮像した画像を拡張現実画像表示部２０９に渡す。
　角度算出部２０６は、カメラの光軸についての方位角と仰俯角を算出する。算出した方位角と仰俯角を目標点位置補正部２０７に渡す。
　目標点位置補正部２０７は、現在位置算出部２０１が算出したナビゲーション装置１００の位置情報、角度算出部２０６が算出した方位角と仰俯角からナビゲーション装置１００の拡張現実画像表示部２０９に表示するための第１目標点位置抽出部２０４が抽出した第１の目標点の位置を補正する。
　距離進行方向算出部２０８は、目標点位置補正部２０７により補正された第１の目標点の位置と現在位置算出部２０１が算出した現在位置とから、現在位置から補正された第１の目標点の位置まで経路を進行する場合における距離と進行する向きを算出する。
　拡張現実画像表示部２０９は、カメラ２０５で撮像した画像上に、目標点位置補正部２０７により補正された第１の目標点の位置と、距離進行方向算出部２０８が算出した補正された第１の目標点まで進行する場合における距離と進行する向きを示す拡張現実画像を生成して表示する。また、拡張現実画像表示部２０９は、１ないし複数の目標点及びその周辺についての属性情報を記憶する第２のサーバ装置１０２から第１の目標点及びその周辺についての属性情報を取得して、カメラ２０５で撮像した画像上に、第１の目標点及びその周辺についての属性情報をさらに表示する。
　地図表示部２１０は、地図情報を記憶する第３のサーバ装置１０３から地図情報を取得して地図画像を生成し、生成した地図画像上に、現在位置、目的地、経路及び１ないし複数の目標点を表示する。
　次に、第１実施形態に係るナビゲーション装置１００の動作について説明する。説明理解の容易性を考慮して、ナビゲーション装置１００は、いわゆるスマートフォンに機能として組み込まれているとして動作を説明する。図３Ｂとしてスマートフォンの正面図を、図３Ｃとしてスマートフォンの背面図を示す。ここで例示するスマートフォン３０６は、図３Ａに示すコンピュータとしての構成を備え、入力装置３０２であるタッチパネルとしても機能する出力装置３０３である表示画面３０７を備え、外部を撮像するためのカメラ２０５を備える。なお、カメラ２０５は、スマートフォン本体の如何なるところにあってもよく、例えば、背面にあってもよく、正面にあってもよく、また、両面にあってもよい。また、内部には、中央演算装置３０１、主記憶装置３０４、補助記憶装置３０５に加えて、通信ネットワーク１０４を介して通信するための通信モジュール、現在位置算出部２０１を構成するＧＰＳモジュール、角度算出部２０６を構成する方位センサ及びジャイロセンサを備える。なお、スマートフォンは例示であって、スマートフォンのみに本開示の適用を限るものではない。
　図４は、第１実施形態に係るナビゲーション装置１００の動作を示すフローチャートである。図４のフローチャートに従って第１実施形態におけるナビゲーション装置１００の動作を説明する。
　ナビゲーション装置１００は、外部から目的地の位置情報が入力されることによって動作を開始する。動作の開始は、目的地の位置情報の入力後に自動的であっても、明示的な命令によるものであってもよい。ナビゲーション装置１００は、動作を開始すると図４のフローチャートの処理を行う。
　ナビゲーション装置１００は、動作を開始すると、現在位置算出部２０１が現在位置算出処理（Ｓ４０１）を実行する。第１実施形態では、現在位置算出部２０１はＧＰＳモジュールを備える。現在位置算出処理（Ｓ４０１）では、ＧＰＳモジュールからナビゲーション装置１００の現在地の３次元座標を取得して位置情報を算出する。算出したナビゲーション装置１００の現在地の位置情報は、経路情報取得処理（Ｓ４０２）に引き渡される。現在位置算出部２０１による現在位置算出処理（Ｓ４０１）が終了すると、経路情報取得部２０２が経路情報取得処理（Ｓ４０２）を開始する。
　経路情報取得処理（Ｓ４０２）では、現在位置算出処理（Ｓ４０１）で算出され引き渡された現在位置の位置情報及びナビゲーション装置１００の動作開始時に外部から入力された目的地の位置情報を、通信ネットワーク１０４を経由して第１のサーバ装置１０１に渡し、算出された現在位置から目的地までの経路を示す経路情報を第１のサーバ装置１０１から受け取る。前述の通り、現在位置から目的地までの経路を示す経路情報は、現在位置から目的地までの経路に従った順序を備えた位置情報の集まりとしてサーバ装置１０１から受け取る。受け取った経路情報は、目標点位置算出処理（Ｓ４０３）に引き渡される。経路情報取得部２０２による経路情報取得処理（Ｓ４０２）が終了すると、目標点位置算出部２０３が目標点位置算出処理（Ｓ４０３）を開始する。
　目標点位置算出処理（Ｓ４０３）では、経路情報取得処理（Ｓ４０２）が第１のサーバ装置１０１から受け取って引き渡された現在位置から目的地までの経路を示す経路情報から、経路の案内において目標となる１ないし複数の目標点の位置の位置情報を算出して保持する。第１実施形態では、経路に沿って進行する際に進行する向きが所定の閾値を越えて変化する点を目標点として、その位置情報を算出して保持する。ここで、所定の閾値は進行する向きの変化であって、これまでの進行する向きと、この先進行する向きとがなす角度を取ることができる。例えば、所定の閾値を、これまでの進行する向きと、この先進行する向きとがなす角度が１５度などと定める。また、周辺の状況に応じて所定の閾値とする角度の値を変えることとしてもよい。例えば、三差路の交差点での所定の閾値とする角度の値は四差路の交差点での所定の閾値とする角度の値よりも大きく、五差路の交差点での所定の閾値とする角度の値は四差路の交差点での所定の閾値とする角度の値よりも小さく設定するなどである。なお、経路に沿って進行する際に進行する向きの変化を角度でとらえることは第１実施形態における例示であって、進行する向きの変化を表すパラメータは経路の案内において適切な目標点を設定できれば角度に限らず、角度ではないパラメータを設定してもよい。
　図５は、目標点位置算出処理（Ｓ４０３）のフローチャートである。図５のフローチャートに従って目標点位置算出処理（Ｓ４０３）を説明する。現在位置から目的地までの経路を示す経路情報は、現在位置から目的地までの経路に従った順序を備えた位置情報の集まりであるから、図５のフローチャートでは、ｎで順序を表し、ｎ＝０を現在位置とする。また、経路情報を構成する現在位置から目的地までの経路に従った順序を備えた位置情報のｎ番目を、ｎ番目の経路情報という。目標点位置算出処理（Ｓ４０３）は、Ｓ５０１の処理でｎ－１番目の経路情報を、Ｓ５０２の処理でｎ番目の経路情報を、Ｓ５０３の処理でｎ＋１番目の経路情報をそれぞれ取得する。次に、Ｓ５０４の処理でｎ－１番目からｎ番目へ進行する向きを、Ｓ５０５の処理でｎ番目からｎ＋１番目へ進行する向きをそれぞれ算出し、Ｓ５０６の処理で、Ｓ５０４の処理で算出した進行する向きと、Ｓ５０５の処理で算出した進行する向きとがなす角度が所定の閾値（例えば１５度）以上かを判定する。所定の閾値以上である場合には、Ｓ５０７の処理でｎ番目の経路情報を目標点として保持する。Ｓ５０８の処理でｎに１を加算して次の経路情報にうつり目的地に到達するまで処理を繰り返す（Ｓ５０９）ことで、１ないし複数の目標点の位置の位置情報を算出して保持する。
　図４のフローチャートに戻り、説明を続ける。目標点位置算出処理（Ｓ４０３）で算出して保持された目標点の位置の位置情報は、第１目標点位置抽出処理（Ｓ４０４）に引き渡されるとともに、地図表示処理（Ｓ４１０）に引き渡される。目標点位置算出部２０３による目標点位置算出処理（Ｓ４０３）が終了すると、第１目標点位置抽出部２０４が第１目標点位置抽出処理（Ｓ４０４）を、地図表示部２１０が地図表示処理（Ｓ４１０）を開始する。まず、第１目標点位置抽出処理（Ｓ４０４）から説明する。
　第１目標点位置抽出処理（Ｓ４０４）では、目標点位置算出処理（Ｓ４０３）で算出され引き渡された１ないし複数の目標点から、現在位置から目的地に向けて経路を進行する場合において最初に通過する第１の目標点の位置の位置情報を、現在位置算出処理（Ｓ４０１）で算出された現在位置の位置情報を参照して抽出する。抽出された第１の目標点の位置の位置情報は、目標点位置補正処理（Ｓ４０８）に引き渡される。第１目標点位置抽出部２０４による第１目標点位置抽出処理（Ｓ４０４）が終了すると、目標点位置補正部２０７が行う目標点位置補正処理（Ｓ４０７）に処理が移る。
　目標点位置補正処理（Ｓ４０７）の説明の前に、カメラ２０５による撮像処理（Ｓ４０５）と角度算出部２０６による角度算出処理（Ｓ４０６）について説明する。撮像処理（Ｓ４０５）と角度算出処理（Ｓ４０６）は、ナビゲーション装置１００が動作を開始した後、動作を終了するまでバックグラウンドで実行される処理である。
　撮像処理（Ｓ４０５）は、ナビゲーション装置１００が機能として組み込まれているスマートフォンが備えるカメラ２０５により、ナビゲーション装置の外部を撮像する。撮像された画像情報は、拡張現実画像表示処理（Ｓ４０９）において要求されて引き渡される。
　第１実施形態では、角度算出部２０６は方位センサ及びジャイロセンサを備える。角度算出処理（Ｓ４０６）は、方位センサ及びジャイロセンサから取得した情報から、ナビゲーション装置１００が機能として組み込まれているスマートフォンが備えるカメラ２０５の光軸についての方位角と仰俯角を算出する。角度算出処理（Ｓ４０６）で算出されたカメラの光軸についての方位角と仰俯角は、目標位置補正処理（Ｓ４０７）において要求されて引き渡される。
　次に、目標点位置補正部２０７が行う目標点位置補正処理（Ｓ４０７）について説明する。図６は、目標点位置補正処理（Ｓ４０７）について説明するための図である。６０１はナビゲーション装置１００の現在位置である。図６はナビゲーション装置１００の利用者を上方から見下ろした図であって、ナビゲーション装置１００の利用者は車道にそった歩道にいる。６０２は北の方位であって、方位角の基準である。６０３はナビゲーション装置１００が機能として組み込まれているスマートフォンが備えるカメラ２０５の光軸の向きを示す。ナビゲーション装置１００の利用者は車道にそった歩道上の現在位置６０１で６０３の向きを向いていると考えられる。６０４は第１の目標点の位置である。第１の目標点６０４は現在位置６０１から目的地に向けて経路を進行する場合において最初に通過する目標点であるが、図６では、目標点位置算出処理（Ｓ４０３）で算出される目標点の位置が現在位置から目的地に向けての経路である道路の中央となる場合を例として示している。この場合、ナビゲーション装置１００の利用者が車道である第１の目標点６０４に案内されてしまう。このような事態を回避するために、目標点位置補正処理（Ｓ４０７）では、まず、ナビゲーション装置１００の位置情報、角度算出処理（Ｓ４０６）で算出された方位角から第１の目標点の位置を歩道上であって進行すべき向きの位置６０５に補正する。
　図６で、６０６は現在から時間Ｔ前のナビゲーション装置１００の位置である。時間Ｔが経過する間にナビゲーション装置１００は位置６０６から位置６０１まで移動している。この場合、第１実施形態における目標点位置補正処理（Ｓ４０７）では、直前の移動の向きから、補正された第１の目標点の位置６０５は、位置６０６から位置６０１への向きにあるとする。現在位置６０１における第１の目標点６０４の方位角をα、補正された第１の目標点６０５の方位角をβとすると、目標点位置補正処理（Ｓ４０７）では、目標点位置算出処理（Ｓ４０３）で算出されて第１目標点位置抽出処理（Ｓ４０４）で抽出された第１の目標点の位置６０４が、現在位置６０１を軸として角度β―α回転した位置を補正された第１の目標点の位置６０５として補正される。なお、ここでは、現在から時間Ｔ前のナビゲーション装置１００の位置６０６によって補正された第１の目標点の位置６０５を定めたが、これは例示であって、過去の複数のナビゲーション装置１００の位置から補正された第１の目標点の位置６０５を定めるなど他の方法によってもよい。また、補正の方法は記載の方法に限るものではない。
　目標点位置補正処理（Ｓ４０７）では、次に、補正された第１の目標点６０５について、高さの座標の値をカメラの高さに補正する。補正された第１の目標点６０５をカメラ２０５のレンズ中心で捉えたときに表示画面の中央に位置し、仰俯角が０となるため、目標点を捕捉しやすくなる。
　図４に戻り、目標点位置補正処理（Ｓ４０７）で算出された補正された第１の目標点の位置の位置情報は、距離進行方向算出処理（Ｓ４０８）に引き渡される。目標点位置補正部２０７による目標点位置補正処理（Ｓ４０７）が終了すると、距離進行方向算出部２０８が距離進行方向算出処理（Ｓ４０８）を開始する。
　距離進行方向算出処理（Ｓ４０８）では、目標点位置補正処理（Ｓ４０７）から引き渡されたに補正された第１の目標点の位置の位置情報と現在位置の位置情報とから、現在位置から補正された第１の目標点の位置まで経路を進行する場合における距離と進行する向きを算出する。算出された距離と進行する向きは、拡張現実画像表示処理（Ｓ４０９）に引き渡される。距離進行方向算出部２０８による距離進行方向算出処理（Ｓ４０８）が終了すると、拡張現実画像表示部２０９が拡張現実画像表示処理（Ｓ４０９）を開始する。
　拡張現実画像表示処理（Ｓ４０９）では、カメラ２０５で撮像した画像上に、目標点位置補正処理（Ｓ４０７）により補正された第１の目標点の位置と、距離進行方向算出処理（Ｓ４０８）が算出した補正された第１の目標点まで進行する場合における距離と進行する向きを示す拡張現実画像を生成して表示する。さらに、拡張現実画像表示処理（Ｓ４０９）では、１ないし複数の目標点及びその周辺についての属性情報を記憶する第２のサーバ装置１０２から第１の目標点及びその周辺についての属性情報を取得して、カメラ２０５で撮像した画像上に、第１の目標点及びその周辺についての属性情報を表示する。
　図７は、拡張現実画像表示処理（Ｓ４０９）で生成されて表示される拡張現実画像を例示した図である。図７は、ナビゲーション装置１００が機能として組み込まれているスマートフォンが備えるカメラ２０５の光軸が図６で示される６０３の向きであるときの拡張現実画像を表している。７０１は、スマートフォンが備える出力装置３０３である表示画面である。補正された第１の目標点の位置６０５がカメラ２０５によって撮像された画像の画面表示範囲内であるため、カメラ２０５で撮像した画像に重畳して補正された第１の目標点の位置６０５を示すマーカーが表示される。また、距離進行方向算出処理（Ｓ４０８）で算出され、拡張現実画像表示処理（Ｓ４０９）に引き渡された、現在位置から補正された第１の目標点の位置まで経路を進行する場合における距離７０２と進行する向き７０３がカメラ２０５で撮像した画像に重畳して表示される。７０４は、第２のサーバ装置１０２から取得した第１の目標点の周辺についての属性情報である。なお、拡張現実画像として重畳される、第１の目標点の位置を示すマーカーの画像、現在位置から補正された第１の目標点の位置まで経路を進行する場合における距離と進行する向きを示す画像、第１の目標点やその周辺についての属性情報を示す画像は、各々の情報を適切に示すことができれば形状や色彩などの表現は任意である。図７の表現に限られるものではない。
　拡張現実画像表示処理（Ｓ４０９）では、補正された第１の目標点の位置６０５がカメラ２０５によって撮像された画像の画面表示範囲内に含まれない場合には、カメラ２０５で撮像した画像上に、補正された第１の目標点の位置６０５と補正された第１の目標点まで進行する場合における距離７０２と進行する向き７０３を示す拡張現実画像を生成せず、カメラ２０５で撮像した画像に第１の目標点の位置６０５が含まれるようにカメラ２０５を向ける方向を示す拡張現実画像を生成して表示する。
　図８は、補正された第１の目標点の位置６０５がカメラ２０５によって撮像された画像の画面表示範囲内に含まれない場合に、拡張現実画像表示処理（Ｓ４０９）で生成されて表示される拡張現実画像を示す図である。図８は、ナビゲーション装置１００が機能として組み込まれているスマートフォンが備えるカメラ２０５の光軸の方位角γが図６で示される６０３の向きよりも大きくなって、補正された第１の目標点の位置６０５がカメラ２０５によって撮像された画像の画面表示範囲内に含まれなくなった場合の拡張現実画像を表している。ナビゲーション装置１００のカメラ２０５の向きを変えて、補正された第１の目標点の位置６０５がカメラ２０５によって撮像された画像の画面表示範囲内に含まれるようにする必要があるため、拡張現実画像表示処理（Ｓ４０９）では、カメラ２０５の向きを案内するアイコン８０１をカメラ２０５で撮像した画像に重畳した拡張現実画像を生成して表示する。
　図４に戻り、地図表示処理（Ｓ４１０）について説明する。地図表示処理（Ｓ４１０）では、地図情報を記憶する第３のサーバ装置１０３から地図情報を取得して地図画像を生成し、生成した地図画像上に、現在位置、目的地、経路及び１ないし複数の目標点を表示する。
　図９は、地図表示処理（Ｓ４１０）で生成された地図が表示された様子を示す図である。図９では、スマートフォンが備える出力装置３０３である表示画面７０１の下部に地図画像９０１が表示されている。なお、この他にも、画面を分割して拡張現実画像と地図画像を表示してもよいし、それぞれの画面を切り替えて表示してもよい。地図画像９０１には、地図に重畳して現在位置６０１、目的地９０２、経路９０３及び目標点６０５、加えて出発地９０４が表示されている。
　図４に戻り、拡張現実画像表示処理（Ｓ４０９）、地図表示処理（Ｓ４１０）が終了すると、ナビゲーション装置１００の動作が終了かどうかを判定（Ｓ４１１）する。ナビゲーション装置１００の動作を継続であれば、再び現在位置算出処理（Ｓ４０１）からフローチャートに従って処理を行う。ナビゲーション装置１００の動作を終了であれば、一連の処理を終了する。
　以上が、第１実施形態におけるナビゲーション装置１００の動作についての説明である。
　次に、コンピュータをナビゲーション装置として機能させるためのナビゲーションプログラムについて説明する。コンピュータの構成は、図３Ａに示す通りである。
　ナビゲーションプログラムは、メインモジュール、入出力モジュール及び演算処理モジュールを備える。メインモジュールは、処理を統括的に制御する部分である。入出力モジュールは、目的地の位置情報などの入力情報をコンピュータに取得させ、一連の処理の結果生成した拡張現実画像や地図画像をコンピュータに表示し出力させる。演算処理モジュールは、現在位置算出モジュール、経路情報取得モジュール、目標点位置算出モジュール、第１目標点位置抽出モジュール、撮像モジュール、角度算出モジュール、目標点位置補正モジュール、距離進行方向算出モジュール、拡張現実画像表示モジュール及び地図表示モジュールを備える。メインモジュール、入力モジュール及び演算処理モジュールを実行させることにより実現される機能は、ナビゲーション装置１００の現在位置算出部２０１、経路情報取得部２０２、目標点位置算出部２０３、第１目標点位置抽出部２０４、カメラ２０５、角度算出部２０６、目標点位置補正部２０７、距離進行方向算出部２０８、拡張現実画像表示部２０９及び地図表示部２１０の機能とそれぞれ同様である。
　ナビゲーションプログラムは、例えば、ＲＯＭ等の記録媒体や半導体メモリによって提供される。また、ナビゲーションプログラムは、通信ネットワークを介して提供されてもよい。
　以上が、第１実施形態の説明である。
　実施例２として、第２実施形態について説明する。図１０は、第２実施形態に係るナビゲーション装置１０００のブロック図である。第２実施形態に係るナビゲーション装置１０００は、第１実施形態に係るナビゲーション装置１００が備える現在位置から目的地までの経路を示す経路情報を算出する第１のサーバ装置１０１に現在位置の位置情報と目的地の位置情報を渡し、算出された経路情報を第１のサーバ装置１０１から受け取る経路情報取得部２０２に代えて、現在位置から目的地までの経路を示す経路情報を算出する経路情報算出部１００１を備える点が異なる。その他の構成は同様である。
　経路情報算出部１００１の機能は、現在位置算出部２０１が算出した現在位置の位置情報と目的地の位置情報から現在位置から目的地までの経路を示す経路情報を算出する点で第１のサーバ装置１０１と同様であり、現在位置から目的地までの経路を示す経路情報を目標点位置算出部２０３に渡す点で経路情報取得部２０２と同様である。従って、経路情報算出部１００１の機能については、第１実施形態との重複するため説明を省略する。
　以上が、第２実施形態の説明である。
　本開示に係るナビゲーション装置、ナビゲーションシステム、ナビゲーション方法、ナビゲーションプログラム、ナビゲーションプログラムを記録した記録媒体は、現在位置から目的地までの経路情報から経路の案内において目標となる１ないし複数の目標点の位置情報を算出して、現在位置から目的地に向けて経路を進行する場合において最初に通過する目標点の位置を実際に目標とすべき点の位置に補正したうえで、その位置と、現在位置からの距離と進行する向きをカメラで撮像した画像上に示す拡張現実画像を生成して表示することで、利用者を目的地まで案内する。
　１００　　　第１実施形態に係るナビゲーション装置
　１０１　　　第１のサーバ装置
　１０２　　　第２のサーバ装置
　１０３　　　第３のサーバ装置
　１０４　　　通信ネットワーク
　２０１　　　現在位置算出部
　２０２　　　経路情報取得部
　２０３　　　目標点位置算出部
　２０４　　　第１目標点位置抽出部
　２０５　　　カメラ
　２０６　　　角度算出部
　２０７　　　目標点位置補正部
　２０８　　　距離進行方向算出部
　２０９　　　拡張現実画像表示部
　２１０　　　地図表示部
　３０１　　　中央演算装置（ＣＰＵ）
　３０２　　　入力装置
　３０３　　　出力装置
　３０４　　　主記憶装置（ＲＡＭ／ＲＯＭ）
　３０５　　　補助記憶装置
　３０６　　　スマートフォン
　３０７　　　表示画面
　６０１　　　ナビゲーション装置の現在位置
　６０２　　　北の方位
　６０３　　　ナビゲーション装置が機能として組み込まれているスマートフォンが備えるカメラの光軸の向き
　６０４　　　第１の目標点の位置
　６０５　　　補正された第１の目標点の位置
　６０６　　　現在から時間Ｔ前のナビゲーション装置の位置
　７０１　　　表示画面
　７０２　　　現在位置から補正された第１の目標点の位置まで経路を進行する場合における距離
　７０３　　　進行する向き
　７０４　　　第２のサーバ装置から取得した第１の目標点の周辺についての属性情報
　８０１　　　カメラの向きを案内するアイコン
　９０１　　　地図画像
　９０２　　　目的地
　９０３　　　経路
　９０４　　　出発地
　１０００　　第２実施形態に係るナビゲーション装置
　１００１　　経路情報算出部

Claims (12)

  1. 　ナビゲーション装置の現在位置から最初に通過する目標点を経由して目的地に到達できるように表示画面上の表示により案内を提供するナビゲーション装置であって、
    　前記ナビゲーション装置の現在位置の位置情報を算出する現在位置算出部と、
    　現在位置から目的地までの経路を示す経路情報を算出する第１のサーバ装置に前記現在位置算出部が算出した現在位置の位置情報と目的地の位置情報を渡し、算出された前記経路情報を前記第１のサーバ装置から受け取る経路情報取得部と、
    　前記経路情報から、前記経路の案内において目標となる１ないし複数の目標点の位置の位置情報を算出して記憶する目標点位置算出部と、
    　前記目標点位置算出部で算出して記憶する１ないし複数の目標点から、現在位置から目的地に向けて前記経路を進行する場合において最初に通過する第１の目標点の位置の位置情報を抽出する第１目標点位置抽出部と、
    　前記ナビゲーション装置の外部を撮像するカメラと、
    　前記カメラの光軸についての方位角と仰俯角を算出する角度算出部と、
    　前記ナビゲーション装置の位置情報、前記角度算出部が算出した方位角と仰俯角から前記表示画面に表示するための前記第１の目標点の位置を補正する目標点位置補正部と、
    　前記目標点位置補正部により補正された前記第１の目標点の位置と現在位置とから、現在位置から補正された前記第１の目標点の位置まで経路を進行する場合における距離と進行する向きを算出する距離進行方向算出部と、及び
    　前記カメラで撮像した画像上に、前記目標点位置算出部で算出して記憶する１ないし複数の目標点のうち前記第１の目標点のみについて、前記目標点位置補正部により補正された前記第１の目標点の位置と、前記距離進行方向算出部が算出した補正された前記第１の目標点まで進行する場合における距離と進行する向きを示す拡張現実画像を生成して前記表示画面に表示する拡張現実画像表示部と、
    　を備え、前記第１の目標点に到達すると前記拡張現実画像表示部が前記表示画面に次に向かうべきもう１つの第１の目標点を表示し、もう１つの現在位置から前記表示画面に表示される次に向かうべき前記もう１つの第１の目標点まで到達することを繰り返すことで目的地に到達できるように案内することを特徴とするナビゲーション装置。
  2. 　前記目標点位置補正部は、
    　前記表示画面に表示するため、前記第１の目標点の位置を、前記ナビゲーション装置の過去の位置情報から算出される前記ナビゲーション装置が進行する向きの延長上であって、現在位置から前記第１の目標点の補正された位置までの距離であり、高さが前記カメラの高さとなる位置に補正すること、
    　を特徴とする請求項１に記載のナビゲーション装置。
  3. 　前記目標点位置算出部は、
    　前記経路情報から、前記経路に沿って進行する際に進行する向きが所定の閾値を越えて前の進行する向きから変化するような点をもう１つの第１の目標点とし、前記もう１つの第１の目標点の位置の位置情報を算出して記憶すること、
    　を特徴とする請求項１又は請求項２に記載のナビゲーション装置。
  4. 　前記拡張現実画像表示部は、
    　前記カメラで撮像した画像に前記第１の目標点の位置が含まれない場合には、前記カメラで撮像した画像上に、前記目標点位置補正部により補正された前記第１の目標点の位置と、前記距離進行方向算出部が算出した補正された前記第１の目標点まで進行する場合における距離と進行する向きを示す拡張現実画像を生成せず、前記カメラで撮像した画像に前記第１の目標点の位置が含まれるように前記カメラを向ける方向を示す拡張現実画像を生成して前記表示画面に表示すること、
    　を特徴とする請求項１から請求項３のいずれかに記載のナビゲーション装置。
  5. 　前記拡張現実画像表示部は、
    　前記１ないし複数の目標点及びその周辺についての属性情報を記憶する第２のサーバ装置から前記第１の目標点及びその周辺についての属性情報を取得して、前記カメラで撮像した画像上に、前記第１の目標点及びその周辺についての属性情報をさらに前記表示画面に表示すること、
    　を特徴とする請求項１から請求項４のいずれかに記載のナビゲーション装置。
  6. 　地図情報を記憶する第３のサーバ装置から地図情報を取得して地図画像を生成し、生成した前記地図画像上に、現在位置、目的地、前記経路及び前記１ないし複数の目標点を前記表示画面に表示する地図表示部、
    　を備えることを特徴とする請求項１から請求項５のいずれかに記載のナビゲーション装置。
  7. 　ナビゲーション装置の現在位置から最初に通過する目標点を経由して目的地に到達できるように表示画面上の表示により案内を提供するナビゲーション装置であって、
    　前記ナビゲーション装置の現在位置の位置情報を算出する現在位置算出部と、
    　現在位置から目的地までの経路を示す経路情報を算出する経路情報算出部と、
    　前記経路情報から、前記経路の案内において目標となる１ないし複数の目標点の位置の位置情報を算出して記憶する目標点位置算出部と、
    　前記目標点位置算出部で算出して記憶する１ないし複数の目標点から、現在位置から目的地に向けて前記経路を進行する場合において最初に通過する第１の目標点の位置の位置情報を抽出する第１目標点位置抽出部と、
    　前記ナビゲーション装置の外部を撮像するカメラと、
    　前記カメラの光軸についての方位角と仰俯角を算出する角度算出部と、
    　前記ナビゲーション装置の位置情報、前記角度算出部が算出した方位角と仰俯角から前記表示画面に表示するための前記第１の目標点の位置を補正する目標点位置補正部と、
    　前記目標点位置補正部により補正された前記第１の目標点の位置と現在位置とから、現在位置から補正された前記第１の目標点の位置まで経路を進行する場合における距離と進行する向きを算出する距離進行方向算出部と、及び
    　前記カメラで撮像した画像上に、前記目標点位置算出部で算出して記憶する１ないし複数の目標点のうち前記第１の目標点のみについて、前記目標点位置補正部により補正された前記第１の目標点の位置と、前記距離進行方向算出部が算出した補正された前記第１の目標点まで進行する場合における距離と進行する向きを示す拡張現実画像を生成して前記表示画面に表示する拡張現実画像表示部と、
    　を備え、前記第１の目標点に到達すると前記拡張現実画像表示部が前記表示画面に次に向かうべきもう１つの第１の目標点を表示し、もう１つの現在位置から前記表示画面に表示される次に向かうべき前記もう１つの第１の目標点まで到達することを繰り返すことで目的地に到達できるように案内することを特徴とするナビゲーション装置。
  8. 　ナビゲーション装置の現在位置から最初に通過する目標点を経由して目的地に到達できるように表示画面上の表示により案内を提供するナビゲーション装置と、
    　現在位置から目的地までの経路を示す経路情報を算出する第１のサーバ装置と、
    　経路の案内において目標となる１ないし複数の目標点及びその周辺についての属性情報を記憶する第２のサーバ装置と、
    　地図情報を記憶する第３のサーバ装置と、
    　を備えたナビゲーションシステムであって、
    　前記ナビゲーション装置が、
    　前記ナビゲーション装置の現在位置の位置情報を算出する現在位置算出部と、
    　前記第１のサーバ装置に前記現在位置算出部が算出した現在位置の位置情報と目的地の位置情報を渡し、算出された前記経路情報を前記第１のサーバ装置から受け取る経路情報取得部と、
    　前記経路情報から、前記経路の案内において目標となる１ないし複数の前記目標点の位置の位置情報を算出して記憶する目標点位置算出部と、
    　前記目標点位置算出部で算出して記憶する１ないし複数の目標点から、現在位置から目的地に向けて前記経路を進行する場合において最初に通過する第１の目標点の位置の位置情報を抽出する第１目標点位置抽出部と、
    　前記ナビゲーション装置の外部を撮像するカメラと、
    　前記カメラの光軸についての方位角と仰俯角を算出する角度算出部と、
    　前記ナビゲーション装置の位置情報、前記角度算出部が算出した方位角と仰俯角から前記表示画面に表示するための前記第１の目標点の位置を補正する目標点位置補正部と、
    　前記目標点位置補正部により補正された前記第１の目標点の位置と現在位置とから、現在位置から補正された前記第１の目標点の位置まで経路を進行する場合における距離と進行する向きを算出する距離進行方向算出部と、及び
    　前記カメラで撮像した画像上に、前記目標点位置算出部で算出して記憶する１ないし複数の目標点のうち前記第１の目標点のみについて、前記目標点位置補正部により補正された前記第１の目標点の位置と、前記距離進行方向算出部が算出した補正された前記第１の目標点まで進行する場合における距離と進行する向きを示す拡張現実画像を生成して前記表示画面に表示するとともに、前記第２のサーバ装置から前記第１の目標点及びその周辺についての属性情報を取得して、前記カメラで撮像した画像上に、前記第１の目標点及びその周辺についての属性情報を前記表示画面に表示する拡張現実画像表示部と、
    　前記第３のサーバ装置から地図情報を取得して地図画像を生成し、生成した前記地図画像上に、前記現在位置、前記目的地、前記経路及び前記１ないし複数の目標点を表示画面に表示する地図表示部と、
    　を備え、前記第１の目標点に到達すると前記拡張現実画像表示部が前記表示画面に次に向かうべきもう１つの第１の目標点を表示し、もう１つの現在位置から前記表示画面に表示される次に向かうべき前記もう１つの第１の目標点まで到達することを繰り返すことで目的地に到達できるように案内することを特徴とするナビゲーションシステム。
  9. 　ナビゲーション装置の現在位置から最初に通過する目標点を経由して目的地に到達できるように表示画面上の表示により案内を提供するナビゲーション方法であって、
    　前記ナビゲーション装置の現在位置の位置情報を算出する現在位置算出ステップと、
    　現在位置から目的地までの経路を示す経路情報を算出する第１のサーバ装置に前記現在位置算出ステップが算出した現在位置の位置情報と目的地の位置情報を渡し、算出された前記経路情報を前記第１のサーバ装置から受け取る経路情報取得ステップと、
    　前記経路情報から、前記経路の案内において目標となる１ないし複数の目標点の位置の位置情報を算出して記憶する目標点位置算出ステップと、
    　前記目標点位置算出ステップで算出して記憶する１ないし複数の目標点から、現在位置から目的地に向けて前記経路を進行する場合において最初に通過する第１の目標点の位置の位置情報を抽出する第１目標点位置抽出ステップと、
    　カメラにより前記ナビゲーション装置の外部を撮像するステップと、
    　前記カメラの光軸についての方位角と仰俯角を算出する角度算出ステップと、
    　前記ナビゲーション装置の位置情報、前記角度算出ステップが算出した方位角と仰俯角から前記表示画面に表示するための前記第１の目標点の位置を補正する目標点位置補正ステップと、
    　前記目標点位置補正ステップにより補正された前記第１の目標点の位置と現在位置とから、現在位置から補正された前記第１の目標点の位置まで経路を進行する場合における距離と進行する向きを算出する距離進行方向算出ステップと、及び
    　前記カメラで撮像した画像上に、前記目標点位置算出ステップで算出して記憶する１ないし複数の目標点のうち前記第１の目標点のみについて、前記目標点位置補正ステップにより補正された前記第１の目標点の位置と、前記距離進行方向算出ステップが算出した補正された前記第１の目標点まで進行する場合における距離と進行する向きを示す拡張現実画像を生成して前記表示画面に表示する拡張現実画像表示ステップと、
    　を備え、前記第１の目標点に到達すると前記拡張現実画像表示ステップが前記表示画面に次に向かうべきもう１つの第１の目標点を表示し、もう１つの現在位置から前記表示画面に表示される次に向かうべき前記もう１つの第１の目標点まで到達することを繰り返すことで目的地に到達できるように案内することを特徴とするナビゲーション方法。
  10. 　ナビゲーション装置の現在位置から最初に通過する目標点を経由して目的地に到達できるように表示画面上の表示により案内を提供するナビゲーション方法であって、
    　前記ナビゲーション装置の現在位置の位置情報を算出する現在位置算出ステップと、
    　現在位置から目的地までの経路を示す経路情報を算出する経路情報算出ステップと、
    　前記経路情報から、前記経路の案内において目標となる１ないし複数の目標点の位置の位置情報を算出して記憶する目標点位置算出ステップと、
    　前記目標点位置算出ステップで算出して記憶する１ないし複数の目標点から、現在位置から目的地に向けて前記経路を進行する場合において最初に通過する第１の目標点の位置の位置情報を抽出する第１目標点位置抽出ステップと、
    　カメラにより前記ナビゲーション装置の外部を撮像するステップと、
    　前記カメラの光軸についての方位角と仰俯角を算出する角度算出ステップと、
    　前記ナビゲーション装置の位置情報、前記角度算出ステップが算出した方位角と仰俯角から前記表示画面に表示するための前記第１の目標点の位置を補正する目標点位置補正ステップと、
    　前記目標点位置補正ステップにより補正された前記第１の目標点の位置と現在位置とから、現在位置から補正された前記第１の目標点の位置まで経路を進行する場合における距離と進行する向きを算出する距離進行方向算出ステップと、及び
    　前記カメラで撮像した画像上に、前記目標点位置算出ステップで算出して記憶する１ないし複数の目標点のうち前記第１の目標点のみについて、前記目標点位置補正ステップにより補正された前記第１の目標点の位置と、前記距離進行方向算出ステップが算出した補正された前記第１の目標点まで進行する場合における距離と進行する向きを示す拡張現実画像を生成して前記表示画面に表示する拡張現実画像表示ステップと、
    　を備え、前記第１の目標点に到達すると前記拡張現実画像表示ステップが前記表示画面に次に向かうべきもう１つの第１の目標点を表示し、もう１つの現在位置から前記表示画面に表示される次に向かうべき前記もう１つの第１の目標点まで到達することを繰り返すことで目的地に到達できるように案内することを特徴とするナビゲーション方法。
  11. 　外部を撮像するカメラを備えたコンピュータによって読み取られ実行されることで、前記コンピュータを、ナビゲーション装置の現在位置から最初に通過する目標点を経由して目的地に到達できるように表示画面上の表示により案内を提供するナビゲーション装置として機能させるナビゲーションプログラムを記録した記録媒体であって、
    　前記コンピュータに、
    　前記ナビゲーション装置の現在位置の位置情報を算出する現在位置算出ステップと、
    　現在位置から目的地までの経路を示す経路情報を算出する第１のサーバ装置に前記現在位置算出ステップが算出した現在位置の位置情報と目的地の位置情報を渡し、算出された前記経路情報を前記第１のサーバ装置から受け取る経路情報取得ステップと、
    　前記経路情報から、前記経路の案内において目標となる１ないし複数の目標点の位置の位置情報を算出して記憶する目標点位置算出ステップと、
    　前記目標点位置算出ステップで算出して記憶する１ないし複数の目標点から、現在位置から目的地に向けて前記経路を進行する場合において最初に通過する第１の目標点の位置の位置情報を抽出する第１目標点位置抽出ステップと、
    　カメラにより前記ナビゲーション装置の外部を撮像するステップと、
    　前記カメラの光軸についての方位角と仰俯角を算出する角度算出ステップと、
    　前記ナビゲーション装置の位置情報、前記角度算出ステップが算出した方位角と仰俯角から前記表示画面に表示するための前記第１の目標点の位置を補正する目標点位置補正ステップと、
    　前記目標点位置補正ステップにより補正された前記第１の目標点の位置と現在位置とから、現在位置から補正された前記第１の目標点の位置まで経路を進行する場合における距離と進行する向きを算出する距離進行方向算出ステップと、及び
    　前記カメラで撮像した画像上に、前記目標点位置算出ステップで算出して記憶する１ないし複数の目標点のうち前記第１の目標点のみについて、前記目標点位置補正ステップにより補正された前記第１の目標点の位置と、前記距離進行方向算出ステップが算出した補正された前記第１の目標点まで進行する場合における距離と進行する向きを示す拡張現実画像を生成して前記表示画面に表示する拡張現実画像表示ステップと、
    　を備え、前記第１の目標点に到達すると前記拡張現実画像表示ステップが前記表示画面に次に向かうべきもう１つの第１の目標点を表示し、もう１つの現在位置から前記表示画面に表示される次に向かうべき前記もう１つの第１の目標点まで到達することを繰り返すことで目的地に到達できるように案内することを特徴とするナビゲーションプログラムを記録した記録媒体。
  12. 　外部を撮像するカメラを備えたコンピュータによって読み取られ実行されることで、前記コンピュータを、ナビゲーション装置の現在位置から最初に通過する目標点を経由して目的地に到達できるように表示画面上の表示により案内を提供するナビゲーション装置として機能させるナビゲーションプログラムを記録した記録媒体であって、
    　前記コンピュータに、
    　前記ナビゲーション装置の現在位置の位置情報を算出する現在位置算出ステップと、
    　現在位置から目的地までの経路を示す経路情報を算出する経路情報算出ステップと、
    　前記経路情報から、前記経路の案内において目標となる１ないし複数の目標点の位置の位置情報を算出して記憶する目標点位置算出ステップと、
    　前記目標点位置算出ステップで算出して記憶する１ないし複数の目標点から、現在位置から目的地に向けて前記経路を進行する場合において最初に通過する第１の目標点の位置の位置情報を抽出する第１目標点位置抽出ステップと、
    　カメラにより前記ナビゲーション装置の外部を撮像するステップと、
    　前記カメラの光軸についての方位角と仰俯角を算出する角度算出ステップと、
    　前記ナビゲーション装置の位置情報、前記角度算出ステップが算出した方位角と仰俯角から前記表示画面に表示するための前記第１の目標点の位置を補正する目標点位置補正ステップと、
    　前記目標点位置補正ステップにより補正された前記第１の目標点の位置と現在位置とから、現在位置から補正された前記第１の目標点の位置まで経路を進行する場合における距離と進行する向きを算出する距離進行方向算出ステップと、及び
    　前記カメラで撮像した画像上に、前記目標点位置算出ステップで算出して記憶する１ないし複数の目標点のうち前記第１の目標点のみについて、前記目標点位置補正ステップにより補正された前記第１の目標点の位置と、前記距離進行方向算出ステップが算出した補正された前記第１の目標点まで進行する場合における距離と進行する向きを示す拡張現実画像を生成して前記表示画面に表示する拡張現実画像表示ステップと、
    　を備え、前記第１の目標点に到達すると前記拡張現実画像表示ステップが前記表示画面に次に向かうべきもう１つの第１の目標点を表示し、もう１つの現在位置から前記表示画面に表示される次に向かうべき前記もう１つの第１の目標点まで到達することを繰り返すことで目的地に到達できるように案内することを特徴とするナビゲーションプログラムを記録した記録媒体。
PCT/JP2021/028616 2020-08-18 2021-08-02 コンピュータシステムによるナビゲーション WO2022039011A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020237009051A KR20230051557A (ko) 2020-08-18 2021-08-02 컴퓨터 시스템에 의한 내비게이션
US18/021,534 US20230314154A1 (en) 2020-08-18 2021-08-02 Navigation Using Computer System
EP21858159.3A EP4198949A4 (en) 2020-08-18 2021-08-02 NAVIGATION USING A COMPUTER SYSTEM
TW110129643A TWI798789B (zh) 2020-08-18 2021-08-11 導航裝置、導航系統、導航方法及記錄有導航程式的記錄媒體

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020137703A JP6828934B1 (ja) 2020-08-18 2020-08-18 ナビゲーション装置、ナビゲーションシステム、ナビゲーション方法、ナビゲーションプログラム
JP2020-137703 2020-08-18

Publications (1)

Publication Number Publication Date
WO2022039011A1 true WO2022039011A1 (ja) 2022-02-24

Family

ID=74529617

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/028616 WO2022039011A1 (ja) 2020-08-18 2021-08-02 コンピュータシステムによるナビゲーション

Country Status (6)

Country Link
US (1) US20230314154A1 (ja)
EP (1) EP4198949A4 (ja)
JP (1) JP6828934B1 (ja)
KR (1) KR20230051557A (ja)
TW (1) TWI798789B (ja)
WO (1) WO2022039011A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115523940A (zh) * 2022-09-26 2022-12-27 北京百度网讯科技有限公司 导航显示方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000013782A (ja) * 1998-06-22 2000-01-14 Mitsubishi Electric Corp エプロン監視方法及びその装置
JP2001194167A (ja) * 2000-10-24 2001-07-19 Matsushita Electric Ind Co Ltd 車両ナビゲーション装置
JP2014020863A (ja) 2012-07-17 2014-02-03 Zenrin Datacom Co Ltd 携帯ナビゲーション装置
JP2014048141A (ja) * 2012-08-31 2014-03-17 Aisin Aw Co Ltd 交差点案内システム、方法およびプログラム
JP2019007811A (ja) * 2017-06-23 2019-01-17 トヨタ自動車株式会社 経路案内方法、経路案内装置、及び経路案内プログラム
JP2019090828A (ja) * 2019-02-05 2019-06-13 パイオニア株式会社 表示制御装置およびプログラム
JP2019109252A (ja) 2016-10-26 2019-07-04 グーグル エルエルシー 初期ナビゲーションにおいて視覚ランドマークを使用するためのシステムおよび方法
WO2020059271A1 (ja) * 2018-09-18 2020-03-26 株式会社Ｓｃｒｅｅｎホールディングス 経路案内プログラムを記録した記録媒体、経路案内装置、および経路案内システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6120199A (ja) * 1984-07-06 1986-01-28 日産自動車株式会社 車両用走行経路誘導装置
TWI408342B (zh) * 2010-03-22 2013-09-11 Inst Information Industry 即時擴增實境裝置、即時擴增實境方法及其電腦程式產品
TWI574223B (zh) * 2015-10-26 2017-03-11 行政院原子能委員會核能研究所 運用擴增實境技術之導航系統

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000013782A (ja) * 1998-06-22 2000-01-14 Mitsubishi Electric Corp エプロン監視方法及びその装置
JP2001194167A (ja) * 2000-10-24 2001-07-19 Matsushita Electric Ind Co Ltd 車両ナビゲーション装置
JP2014020863A (ja) 2012-07-17 2014-02-03 Zenrin Datacom Co Ltd 携帯ナビゲーション装置
JP2014048141A (ja) * 2012-08-31 2014-03-17 Aisin Aw Co Ltd 交差点案内システム、方法およびプログラム
JP2019109252A (ja) 2016-10-26 2019-07-04 グーグル エルエルシー 初期ナビゲーションにおいて視覚ランドマークを使用するためのシステムおよび方法
JP2019007811A (ja) * 2017-06-23 2019-01-17 トヨタ自動車株式会社 経路案内方法、経路案内装置、及び経路案内プログラム
WO2020059271A1 (ja) * 2018-09-18 2020-03-26 株式会社Ｓｃｒｅｅｎホールディングス 経路案内プログラムを記録した記録媒体、経路案内装置、および経路案内システム
JP2019090828A (ja) * 2019-02-05 2019-06-13 パイオニア株式会社 表示制御装置およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4198949A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115523940A (zh) * 2022-09-26 2022-12-27 北京百度网讯科技有限公司 导航显示方法、装置、电子设备及存储介质
CN115523940B (zh) * 2022-09-26 2023-12-05 北京百度网讯科技有限公司 导航显示方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JP2022034099A (ja) 2022-03-03
TWI798789B (zh) 2023-04-11
EP4198949A4 (en) 2024-02-14
EP4198949A1 (en) 2023-06-21
JP6828934B1 (ja) 2021-02-10
US20230314154A1 (en) 2023-10-05
KR20230051557A (ko) 2023-04-18
TW202215008A (zh) 2022-04-16

Similar Documents

Publication Publication Date Title
US11692842B2 (en) Augmented reality maps
CN101583842B (zh) 导航系统、便携终端装置及周边图像显示方法
JP4921462B2 (ja) カメラ情報を有するナビゲーションデバイス
US9256983B2 (en) On demand image overlay
US20130162665A1 (en) Image view in mapping
US8532924B2 (en) Method and apparatus for displaying three-dimensional terrain and route guidance
JPWO2008044309A1 (ja) ナビゲーションシステム、携帯端末装置および経路案内方法
US11656090B2 (en) Method and system for generating navigation data for a geographical location
JP2009020089A (ja) ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム
JP2009505098A (ja) ナビゲーションデバイス及びナビゲーションデバイス上に表示された地図データをスクロールする方法
JP2011052960A (ja) ナビゲーション装置
JP7485824B2 (ja) ランドマークを使用してユーザの現在の場所または方位を検証するための方法、コンピュータ機器、およびコンピュータ可読メモリ
WO2022039011A1 (ja) コンピュータシステムによるナビゲーション
JP2013225275A (ja) ３次元画像表示システム
CN102288180B (zh) 实时影像导航系统及方法
RU2375756C2 (ru) Навигационное устройство с информацией, получаемой от камеры
JP2009239621A (ja) 画像上方位表示方法及び装置並びに写真
JP5082982B2 (ja) カーナビゲーション装置
CN113465600B (zh) 一种导航方法、装置及电子设备和存储介质
JP2012138759A (ja) 撮像装置、撮像制御方法及びプログラム
JP2014066595A (ja) ナビゲーション装置
EP3637056B1 (en) Method and system for generating navigation data for a geographical location
JP2023014743A (ja) 表示装置、表示システム及びプログラム
WO2023055358A1 (en) Augmented reality street annotations with different formats
CN117537820A (zh) 一种导航方法、电子设备和可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21858159

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20237009051

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021858159

Country of ref document: EP

Effective date: 20230315