WO2022039011A1 - コンピュータシステムによるナビゲーション - Google Patents

コンピュータシステムによるナビゲーション Download PDF

Info

Publication number
WO2022039011A1
WO2022039011A1 PCT/JP2021/028616 JP2021028616W WO2022039011A1 WO 2022039011 A1 WO2022039011 A1 WO 2022039011A1 JP 2021028616 W JP2021028616 W JP 2021028616W WO 2022039011 A1 WO2022039011 A1 WO 2022039011A1
Authority
WO
WIPO (PCT)
Prior art keywords
target point
route
information
current position
navigation device
Prior art date
Application number
PCT/JP2021/028616
Other languages
English (en)
French (fr)
Inventor
良博 野崎
Original Assignee
株式会社ビーブリッジ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ビーブリッジ filed Critical 株式会社ビーブリッジ
Priority to EP21858159.3A priority Critical patent/EP4198949A4/en
Priority to US18/021,534 priority patent/US20230314154A1/en
Priority to KR1020237009051A priority patent/KR20230051557A/ko
Priority to TW110129643A priority patent/TWI798789B/zh
Publication of WO2022039011A1 publication Critical patent/WO2022039011A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3647Guidance involving output of stored or live camera images or video streams
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10Map spot or coordinate position indicators; Map reading aids
    • G09B29/106Map spot or coordinate position indicators; Map reading aids using electronic means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3453Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3476Special cost functions, i.e. other than distance or default speed limit of road segments using point of interest [POI] information, e.g. a route passing visible POIs
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3632Guidance using simplified or iconic instructions, e.g. using arrows
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3635Guidance using 3D or perspective road maps
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3644Landmark guidance, e.g. using POIs or conspicuous other objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/365Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3667Display of a road map
    • G01C21/367Details, e.g. road map scale, orientation, zooming, illumination, level of detail, scrolling of road map or positioning of current position marker
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3885Transmission of map data to client devices; Reception of map data by client devices
    • G01C21/3896Transmission of map data from central databases
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/005Traffic control systems for road vehicles including pedestrian guidance indicator
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Definitions

  • This disclosure relates to navigation by a computer system.
  • Patent Document 1 proposes a system that uses a visual landmark (for example, a building that serves as a landmark) in order for the mobile terminal to determine its traveling direction while the mobile terminal is stationary.
  • Patent Document 2 describes a technique of guiding an image of a character traveling along a route to a destination by an augmented reality image superimposed on an image of the real world.
  • JP-A-2019-109252 Japanese Unexamined Patent Publication No. 2014-20863
  • the position information of one or more target points on the route to the destination and the image captured by the camera displayed on the screen of the user's mobile terminal or the like are combined by augmented reality technology.
  • the navigation device, navigation system, navigation method, navigation program, and navigation program that can reach the destination by following the target points in order are recorded.
  • the present disclosure is a navigation device that provides guidance by display on a display screen so that a destination can be reached via a target point that first passes from the current position of the navigation device, and is a position of the current position of the navigation device.
  • the current position calculation unit that calculates the information and the first server device that calculates the route information that indicates the route from the current position to the destination receive the current position position information and the destination position information calculated by the current position calculation unit.
  • a route information acquisition unit that passes and receives the calculated route information from the first server device, and a target that calculates and stores the position information of the positions of one or more target points that are targets in route guidance from the route information.
  • the first target point position extraction unit that extracts the position information of the navigation device, the camera that captures the outside of the navigation device, the angle calculation unit that calculates the azimuth angle and elevation / depression angle of the optical axis of the camera, and the position information of the navigation device.
  • a target point position correction unit that corrects the position of the first target point to be displayed on the display screen from the azimuth angle and elevation / depression angle calculated by the angle calculation unit, and a first target point corrected by the target point position correction unit.
  • the distance traveling direction calculation unit that calculates the distance and the direction of travel when traveling the route from the current position and the current position to the position of the first target point corrected from the current position, and the image captured by the camera.
  • the first target point out of one or more target points calculated and stored by the target point position calculation unit is the position of the first target point corrected by the target point position correction unit, and the distance progress.
  • the first is provided with an extended reality image display unit that generates an extended reality image indicating the distance and the direction of travel when traveling to the corrected first target point calculated by the direction calculation unit and displays it on the display screen.
  • the augmented reality image display unit displays another first target point to be directed to the display screen, and another first target point to be displayed next is displayed on the display screen from the other current position. It is characterized in that it guides the user to reach the destination by repeating reaching the target point of 1.
  • the calculation unit may be included in the calculation machine. Specifically, the current position calculation unit is used as the current position calculator, the target point position calculation unit is used as the target point position calculator, the angle calculation unit is used as the angle calculator, and the distance travel direction calculation unit is used as the distance travel method calculator. , Each may be included.
  • the present disclosure is a navigation device that provides guidance by display on a display screen so that a destination can be reached via a target point that first passes from the current position of the navigation device, and is a position of the current position of the navigation device.
  • the current position calculation unit that calculates the information and the first server device that calculates the route information that indicates the route from the current position to the destination receive the current position position information and the destination position information calculated by the current position calculation unit.
  • a route information acquisition unit that passes and receives the calculated route information from the first server device, and a target that calculates and stores the position information of the positions of one or more target points that are targets in route guidance from the route information.
  • the first target point position extraction unit that extracts the position information of the navigation device, the camera that captures the outside of the navigation device, the angle calculation unit that calculates the azimuth angle and elevation / depression angle of the optical axis of the camera, and the position information of the navigation device.
  • a target point position correction unit that corrects the position of the first target point to be displayed on the display screen from the azimuth angle and elevation / depression angle calculated by the angle calculation unit, and a first target point corrected by the target point position correction unit.
  • the distance traveling direction calculation unit that calculates the distance and the direction of travel when traveling the route from the current position and the current position to the position of the first target point corrected from the current position, and the image captured by the camera.
  • the first target point out of one or more target points calculated and stored by the target point position calculation unit is the position of the first target point corrected by the target point position correction unit, and the distance progress.
  • the first is provided with an extended reality image display unit that generates an extended reality image indicating the distance and the direction of travel when traveling to the corrected first target point calculated by the direction calculation unit and displays it on the display screen.
  • the augmented reality image display unit displays another first target point to be directed to the display screen, and another first target point to be displayed next is displayed on the display screen from the other current position. It is characterized in that it guides the user to reach the destination by repeating reaching the target point of 1. This can have the effect of reaching the destination by following the target points of the augmented reality image displayed on the navigation device in order.
  • the other first target point can be said to be the target point to be passed first. For example, when the user of the navigation device reaches the first target point, the first target point becomes another or the next current position. Then, the target point to be passed first becomes another or the next first target point in order to reach the destination. After that, the same procedure is repeated.
  • the other first target point is the same in the document of the present application.
  • the position information is coordinate information that can specify a three-dimensional position, and includes, for example, coordinates measured by a global positioning system (hereinafter, GPS), but is not limited to this.
  • the route information indicating the route from the current position to the destination is a collection of position information having an order according to the route from the current position to the destination.
  • a visual landmark in which information is registered in advance must be included in the image captured by the camera, and the user registers the information using the camera. You have to find a visual landmark. Therefore, there may be a situation where the visual landmark cannot be found in the middle of the movement route.
  • the image of the visual landmark in the image captured by the camera and the image of the pre-registered visual landmark are not always the same, so that the system may not be able to find the visual landmark.
  • the target point is a point on the route to the destination, which is determined by the position information unlike the landmark in the technique described in Patent Document 1, and therefore, the visual sense in the image captured by the camera.
  • Described in Patent Document 1 such as the system cannot find a visual landmark because the image of the landmark and the image of the pre-registered visual landmark are not always the same, and the visual landmark cannot be found due to the surrounding light and darkness.
  • the problems of the technology can be solved.
  • the image of the character traveling along the route is guided to the destination by the augmented reality image superimposed on the image in the real world, but on the route calculated based on the position information by GPS or the like.
  • the problem is that the target point (the position indicated by the character image in the example of Patent Document 2) deviates from the actual target point. For example, there is a case where the center of the road is shown as a target point on the route even though the vehicle is moving on foot. In navigation when moving in the city, such an instruction of a target point is uncomfortable and impractical for the user.
  • the above-mentioned problems can be solved by correcting the position of the target point displayed on the augmented reality image from the position information of the navigation device and the azimuth and elevation / depression angles of the optical axis of the camera provided in the navigation device. ..
  • the target point position correction unit displays the position on the display screen
  • the position of the first target point is an extension of the direction in which the navigation device advances, which is calculated from the past position information of the navigation device.
  • it is the distance from the current position to the corrected position of the first target point, and is characterized by being corrected to a position where the height is the height of the camera. This can solve the problem that the target point on the route is deviated from the actual target point and displayed as a guide.
  • the target point position calculation unit has already made a point from the route information that the direction of travel along the route changes from the previous direction of travel beyond a predetermined threshold value.
  • One first target point is used, and the position information of the position of the other first target point is calculated and stored. This can solve the problem that the target point cannot be found on the route from the current location to the destination.
  • the predetermined threshold value will be described later in the examples.
  • the augmented reality image display unit uses the target point position correction unit on the image captured by the camera.
  • the camera does not generate an augmented reality image showing the position of the corrected first target point and the distance and the direction of travel when traveling to the corrected first target point calculated by the distance traveling direction calculation unit. It is characterized in that an augmented reality image indicating a direction in which the camera is pointed so that the captured image includes the position of the first target point is generated and displayed on the display screen. This can solve the problem of losing sight of the target point on the route because the target point is not found in the augmented reality image displayed on the navigation device.
  • the augmented reality image display unit stores attribute information about one or a plurality of target points and their surroundings from a second server device that stores attribute information about the first target point and its surroundings. It is characterized in that the attribute information about the first target point and its surroundings is further displayed on the display screen on the image acquired by the camera.
  • the attribute information about the target point and the attribute information about the periphery of the target point will be described later in the examples.
  • map information is acquired from a third server device that stores map information, a map image is generated, and the current position, destination, route, and one or more are on the generated map image. It is characterized by having a map display unit that displays a target point on a display screen.
  • the navigation device may include a route information calculation unit that calculates route information indicating a route from the current position to the destination, instead of the route information acquisition unit that receives the route information from the first server device.
  • the present disclosure describes a navigation device that provides guidance by display on a display screen so that a destination can be reached via a target point that first passes from the current position of the navigation device, and a route from the current position to the destination.
  • a first server device that calculates the indicated route information
  • a second server device that stores attribute information about one or more target points and their surroundings that are targets in route guidance
  • a third that stores map information.
  • a navigation system including the server device, wherein the navigation device calculates the position information of the current position of the navigation device, and the current position calculated by the current position calculation unit on the first server device.
  • the position information acquisition unit that passes the position information of the destination and the position information of the destination and receives the calculated route information from the first server device, and the position of one or more target points that are targets in the route guidance from the route information.
  • the first when traveling the route from the current position to the destination from the target point position calculation unit that calculates and stores the position information of, and one or more target points that are calculated and stored by the target point position calculation unit.
  • the first target point position extraction unit that extracts the position information of the position of the first target point that passes through, the camera that captures the outside of the navigation device, and the angle that calculates the azimuth angle and elevation / depression angle with respect to the optical axis of the camera.
  • the target point position correction unit that corrects the position of the first target point to be displayed on the display screen from the calculation unit, the position information of the navigation device, and the azimuth angle and elevation / depression angle calculated by the angle calculation unit, and the target point position correction. From the position of the first target point corrected by the unit and the current position, the distance travel direction calculation for calculating the distance and the direction of travel when traveling the route from the current position to the position of the first target point corrected by the unit. Only the first target point out of one or a plurality of target points calculated and stored by the target point position calculation unit on the unit and the image captured by the camera is corrected by the target point position correction unit.
  • An augmented reality image showing the position of the target point 1 and the distance and the direction of travel when traveling to the corrected first target point calculated by the distance traveling direction calculation unit is generated and displayed on the display screen.
  • An extension that acquires attribute information about the first target point and its surroundings from the second server device and displays the attribute information about the first target point and its surroundings on the display screen on the image captured by the camera.
  • Map information is acquired from the real image display unit and the third server device to generate a map image, and the current position, destination, route, and 1 are placed on the generated map image.
  • it is equipped with a map display unit that displays multiple target points on the display screen, and when the first target point is reached, the augmented reality image display unit displays another first target point that should go to the display screen next. It is characterized in that it guides the user to reach the destination by repeating reaching the first target point to be next, which is displayed on the display screen from the other current position.
  • the present disclosure is a navigation method that provides guidance by display on a display screen so that a destination can be reached from the current position of the navigation device via a target point that first passes through, and the position of the current position of the navigation device.
  • the current position calculation step for calculating information and the current position position information and destination position information calculated by the current position calculation step are sent to the first server device for calculating the route information indicating the route from the current position to the destination.
  • the first target point position extraction step for extracting the position information of the
  • the target point position correction step for correcting the position of the first target point to be displayed on the display screen from the azimuth angle and elevation / depression angle calculated by the information and angle calculation step, and the first correction step for the target point position correction step.
  • a distance traveling direction calculation step for calculating the distance and the traveling direction when traveling the route from the position of the target point and the current position to the position of the first target point corrected from the current position, and imaging with a camera.
  • the distance traveling direction calculation step includes an extended reality image display step that generates an extended reality image indicating the distance and the direction of travel when traveling to the corrected first target point and displays it on the display screen.
  • the augmented reality image display step displays another first target point that should go next to the display screen, and is displayed on the display screen from another current position. It is characterized in that it guides the user to reach the destination by repeating reaching one first target point.
  • the navigation method according to the present disclosure may include a route information calculation step for calculating route information indicating a route from the current position to the destination, instead of the route information acquisition step for receiving the route information from the first server device.
  • the present disclosure is read and executed by a computer equipped with a camera that captures an external image so that the computer can reach a destination via a target point that first passes from the current position of the navigation device.
  • a navigation program that functions as a navigation device that provides guidance by the above display, in which the current position calculation step for calculating the position information of the current position of the navigation device and the route indicating the route from the current position to the destination are shown to the computer.
  • a route information acquisition step that passes the current position position information calculated by the current position calculation step and the destination position information to the first server device that calculates the information, and receives the calculated route information from the first server device.
  • One or more target point position calculation steps that calculate and store position information of one or more target points that are targets in route guidance, and one or more target point position calculation steps that calculate and store them.
  • the first target point position extraction step that extracts the position information of the position of the first target point that passes first when traveling the route from the current position to the destination from the target point, and the outside of the navigation device by the camera.
  • the angle calculation step of calculating the azimuth angle and elevation / depression angle for the optical axis of the camera, the position information of the navigation device, and the azimuth angle and elevation / depression angle calculated by the angle calculation step.
  • the first target point corrected from the current position from the target point position correction step for correcting the position of the first target point and the position and the current position of the first target point corrected by the target point position correction step.
  • One or more targets calculated and stored in the distance traveling direction calculation step for calculating the distance and the traveling direction when traveling to the position of, and the target point position calculation step on the image captured by the camera.
  • the extended reality image display step that generates an expanded reality image indicating the distance and the direction of travel and displays it on the display screen, and when the first target point is reached, the expanded reality image display step should move to the next display screen.
  • the destination can be reached by displaying another first target point and repeatedly reaching the next first target point to be displayed next displayed on the display screen from the other current position. To It is characterized by guiding.
  • a recording medium on which this navigation program is recorded is also included in this disclosure.
  • the navigation program according to the present disclosure may include a route information calculation step for calculating route information indicating a route from the current position to the destination, instead of the route information acquisition step for receiving the route information from the first server device.
  • a recording medium on which this navigation program is recorded is also included in the present disclosure.
  • the first embodiment will be described as the first embodiment.
  • the recording medium on which the navigation device, the navigation system, the navigation method, the navigation program, and the navigation program according to the first embodiment are recorded is provided with navigation technology suitable for moving from the current location to the destination when moving in the city area. Therefore, it is preferably used by being mounted on a mobile terminal such as a so-called smartphone. It should be noted that this is an example and is not limited to the case of moving in an urban area, and is not limited to the implementation only on a mobile terminal such as a smartphone.
  • FIG. 1 is a diagram showing an overall configuration example of the navigation system according to the first embodiment.
  • the navigation system according to the first embodiment includes a navigation device 100 that guides a route to a destination based on position information, and a first server device that calculates a route from the current position to the destination. 101, it is configured to include a second server device 102 that stores attribute information about one or a plurality of target points and their surroundings that are targets in route guidance, and a third server device 103 that stores map information. ..
  • the navigation device 100, the first server device 101, the second server device 102, and the third server device 103 are configured to be connectable to each other via a communication network 104 such as the Internet.
  • the first server device 101, the second server device 102, and the third server device 103 physically include a central computing device (CPU), an input device, an output device, a main storage device (RAM / ROM), and an auxiliary device. It is configured as a computer system including a storage device.
  • the first server device 101, the second server device 102, and the third server device 103 are independent and separate server devices, but they may be independent as functions and are physically the same. It may be configured by a server device, or may be configured by distributing functions among a plurality of server devices.
  • the first server device 101 receives the position information of the current position and the position information of the destination from the navigation device 100 via the communication network 104, and calculates the route information indicating the route from the current position to the destination.
  • the first server device 101 holds position information regarding nodes such as links and intersections such as roads necessary for calculating route information.
  • the first server device 101 calculates route information from the position information of the current position and the position information of the destination while referring to the position information regarding the held link or node.
  • a method suitable for the purpose of guidance may be adopted, and is not limited to this disclosure. For example, if the purpose is to search for the shortest route, the Dijkstra method is adopted.
  • the calculated route information is provided to the navigation device 100 via the communication network 104.
  • the second server device 102 stores attribute information about one or a plurality of target points and their surroundings.
  • the attribute information about the target point means information useful for guiding the user of the navigation device according to the present disclosure to the destination and about the target point. For example, the name of an intersection.
  • the attribute information about the vicinity of the target point is useful information for guiding the user of the navigation device according to the present disclosure to the destination, and information other than the guidance that is useful for the user and is a target. It refers to the area around the point.
  • An example of useful information for guidance is the name of the building facing the intersection, which is the target point.
  • Examples of information that is useful to users other than guidance is information such as product lineups and prices for stores in buildings facing intersections, which is the target point.
  • the attribute information about one or a plurality of target points and their surroundings stored in the second server device 102 is associated with the target points by position information or an identification code uniquely set for each target point.
  • the second server device 102 provides attribute information about the target point and its surroundings in response to an inquiry from the navigation device 100 via the communication network 104.
  • the third server device 103 stores map information.
  • the third server device 103 provides map information in response to an inquiry from the navigation device 100 via the communication network 104.
  • FIG. 2 is a block diagram of the navigation device 100.
  • the navigation device 100 may be used not only as a single device but also as a built-in device.
  • the other device incorporating the navigation device 100 may be, for example, a portable electric appliance such as a smartphone, an information mobile terminal, a digital camera, or a game terminal.
  • the navigation device 100 physically includes a central processing unit (CPU) 301, an input device 302, an output device 303, a main storage device (RAM / ROM) 304, and an auxiliary storage device 305. It is configured as.
  • Each function of the navigation device 100 is performed by causing the central processing unit (CPU) 301, the main storage device (RAM / ROM) 304, and the like shown in FIG. 3A to read a program that causes the computer to function as the navigation device 100. This is realized by operating the input device 302 and the output device 303 under the control of the (CPU) 301, and reading and writing data to and from the main storage device (RAM / ROM) 304 and the auxiliary storage device 305.
  • CPU central processing unit
  • RAM / ROM main storage device
  • FIG. 3A Each function of the navigation device 100 is performed by causing the central processing unit (CPU) 301, the main storage device (RAM / ROM) 304, and the like shown in FIG. 3A to read a program that causes the computer to function as the navigation device 100. This is realized by operating the input device 302 and the output device 303 under the control of the (CPU) 301, and reading and writing data to and from the main storage device (RAM / ROM)
  • the navigation device 100 includes a current position calculation unit 201, a route information acquisition unit 202, a target point position calculation unit 203, a first target point position extraction unit 204, a camera 205, an angle calculation unit 206, and a target point. It includes a position correction unit 207, a distance traveling direction calculation unit 208, an augmented reality image display unit 209, and a map display unit 210.
  • the function of each block of the navigation device 100 will be described with reference to the block diagram of FIG. The details of the operation will be described later.
  • the current position calculation unit 201 calculates the position information of the current position of the navigation device.
  • the route information acquisition unit 202 passes the position information of the current position calculated by the current position calculation unit 201 and the position information of the destination input from the outside to the first server device 101 via the communication network 104, and calculates.
  • the route information indicating the route from the current position to the destination is received from the first server device 101.
  • the target point position calculation unit 203 calculates and holds the position information of the positions of one or a plurality of target points that are targets in the route guidance from the route information received by the route information acquisition unit 202 from the first server device. ..
  • the first target point position extraction unit 204 first passes through one or a plurality of target points calculated and held by the target point position calculation unit 203 when traveling the route from the current position to the destination. Extract the position information of the position of the target point of.
  • the camera 205 images the outside of the navigation device 100.
  • the captured image is passed to the augmented reality image display unit 209.
  • the angle calculation unit 206 calculates the azimuth and elevation / depression angles for the optical axis of the camera.
  • the calculated azimuth angle and elevation / depression angle are passed to the target point position correction unit 207.
  • the target point position correction unit 207 displays the position information of the navigation device 100 calculated by the current position calculation unit 201, and the azimuth angle and elevation / depression angle calculated by the angle calculation unit 206 on the augmented reality image display unit 209 of the navigation device 100.
  • the position of the first target point extracted by the first target point position extraction unit 204 of the above is corrected.
  • the distance traveling direction calculation unit 208 is a first target point corrected from the current position from the position of the first target point corrected by the target point position correction unit 207 and the current position calculated by the current position calculation unit 201. Calculate the distance and the direction of travel when traveling the route to the position of.
  • the augmented reality image display unit 209 has the position of the first target point corrected by the target point position correction unit 207 and the corrected first position calculated by the distance traveling direction calculation unit 208 on the image captured by the camera 205.
  • An augmented reality image showing the distance and the direction of travel when traveling to the target point of is generated and displayed.
  • the augmented reality image display unit 209 acquires the attribute information about the first target point and its surroundings from the second server device 102 that stores the attribute information about one or a plurality of target points and their surroundings. Attribute information about the first target point and its surroundings is further displayed on the image captured by the camera 205.
  • the map display unit 210 acquires map information from a third server device 103 that stores map information, generates a map image, and on the generated map image, a current position, a destination, a route, and one or a plurality of targets. Display points.
  • FIG. 3B shows a front view of the smartphone
  • FIG. 3C shows a rear view of the smartphone.
  • the smartphone 306 exemplified here has the configuration as a computer shown in FIG. 3A, has a display screen 307 which is an output device 303 which also functions as a touch panel which is an input device 302, and has a camera 205 for photographing the outside. ..
  • the camera 205 may be located anywhere on the smartphone body, for example, it may be on the back surface, it may be on the front surface, or it may be on both sides. Further, inside, in addition to the central processing unit 301, the main storage device 304, and the auxiliary storage device 305, a communication module for communicating via the communication network 104, a GPS module constituting the current position calculation unit 201, and an angle calculation. A directional sensor and a gyro sensor constituting the unit 206 are provided. It should be noted that the smartphone is an example, and the application of this disclosure is not limited to the smartphone.
  • FIG. 4 is a flowchart showing the operation of the navigation device 100 according to the first embodiment. The operation of the navigation device 100 in the first embodiment will be described with reference to the flowchart of FIG.
  • the navigation device 100 starts operation when the position information of the destination is input from the outside.
  • the start of the operation may be automatic after the input of the location information of the destination, or may be by an explicit command.
  • the navigation device 100 processes the flowchart of FIG.
  • the current position calculation unit 201 executes the current position calculation process (S401).
  • the current position calculation unit 201 includes a GPS module.
  • the three-dimensional coordinates of the current location of the navigation device 100 are acquired from the GPS module, and the position information is calculated.
  • the calculated position information of the current location of the navigation device 100 is handed over to the route information acquisition process (S402).
  • the route information acquisition unit 202 starts the route information acquisition process (S402).
  • the position information of the current position calculated and handed over in the current position calculation process (S401) and the position information of the destination input from the outside when the operation of the navigation device 100 starts are input to the communication network 104. It is passed to the first server device 101 via the above, and the route information indicating the calculated route from the current position to the destination is received from the first server device 101. As described above, the route information indicating the route from the current position to the destination is received from the server device 101 as a collection of position information having an order according to the route from the current position to the destination. The received route information is handed over to the target point position calculation process (S403). When the route information acquisition process (S402) by the route information acquisition unit 202 is completed, the target point position calculation unit 203 starts the target point position calculation process (S403).
  • the route information acquisition process (S402) uses the route information indicating the route from the current position to the destination received and handed over from the first server device 101 to the target in the route guidance.
  • the position information of the position of one or more target points is calculated and held.
  • the position information is calculated and held at a point at which the traveling direction changes beyond a predetermined threshold value when traveling along the path as a target point.
  • the predetermined threshold value is a change in the traveling direction, and it is possible to take an angle between the traveling direction so far and the traveling direction in the future.
  • a predetermined threshold value is set such that the angle between the direction in which the vehicle travels so far and the direction in which the vehicle travels in the future is 15 degrees.
  • the value of the angle as a predetermined threshold value may be changed according to the surrounding situation.
  • the value of the angle set as the predetermined threshold value at the intersection of the three-way road is larger than the value of the angle set as the predetermined threshold value at the intersection of the four-way road, and the angle set as the predetermined threshold value at the intersection of the five-way road.
  • the value of is set smaller than the value of the angle set as a predetermined threshold value at the intersection of the four-way junction. It should be noted that it is an example in the first embodiment that the change in the traveling direction when traveling along the route is captured by an angle, and the parameter representing the change in the traveling direction sets an appropriate target point in the guidance of the route. If possible, not only the angle but also a parameter other than the angle may be set.
  • FIG. 5 is a flowchart of the target point position calculation process (S403).
  • the target point position calculation process acquires the n-1st route information in the process of S501, the nth route information in the process of S502, and the n + 1th route information in the process of S503.
  • the direction of progress from the n-1st to the nth in the processing of S504 and the direction of progress from the nth to the n + 1th in the processing of S505 are calculated, and the progress calculated in the processing of S504 in the processing of S506. It is determined whether or not the angle formed by the direction to be used and the direction to be advanced calculated by the process of S505 is equal to or more than a predetermined threshold value (for example, 15 degrees).
  • a predetermined threshold value for example, 15 degrees
  • the nth route information is held as a target point in the process of S507.
  • the position information of the positions of one or a plurality of target points is calculated and held.
  • the position information of the position of the target point calculated and held in the target point position calculation process (S403) is passed to the first target point position extraction process (S404) and also to the map display process (S410).
  • the first target point position extraction unit 204 performs the first target point position extraction process (S404)
  • the map display unit 210 performs the map display process (S410). ) Is started. First, the first target point position extraction process (S404) will be described.
  • the first target point position extraction process (S404) when the route is first traveled from the current position to the destination from one or a plurality of target points calculated and handed over in the target point position calculation process (S403).
  • the position information of the position of the first target point to pass is extracted with reference to the position information of the current position calculated by the current position calculation process (S401).
  • the extracted position information of the position of the first target point is passed to the target point position correction process (S408).
  • the process shifts to the target point position correction process (S407) performed by the target point position correction unit 207.
  • the image pickup process (S405) by the camera 205 and the angle calculation process (S406) by the angle calculation unit 206 will be described.
  • the image pickup process (S405) and the angle calculation process (S406) are processes that are executed in the background after the navigation device 100 starts the operation until the operation is completed.
  • the outside of the navigation device is imaged by the camera 205 included in the smartphone in which the navigation device 100 is incorporated as a function.
  • the captured image information is requested and delivered in the augmented reality image display process (S409).
  • the angle calculation unit 206 includes a directional sensor and a gyro sensor.
  • the angle calculation process (S406) calculates the azimuth and elevation / depression angles of the optical axis of the camera 205 included in the smartphone having the navigation device 100 as a function from the information acquired from the azimuth sensor and the gyro sensor.
  • the azimuth and elevation / depression angles for the optical axis of the camera calculated in the angle calculation process (S406) are requested and delivered in the target position correction process (S407).
  • FIG. 6 is a diagram for explaining the target point position correction process (S407).
  • 601 is the current position of the navigation device 100.
  • FIG. 6 is a view looking down on the user of the navigation device 100 from above, and the user of the navigation device 100 is on the sidewalk along the roadway.
  • 602 is the north direction and is the reference of the azimuth angle.
  • Reference numeral 603 indicates the direction of the optical axis of the camera 205 included in the smartphone in which the navigation device 100 is incorporated as a function. It is considered that the user of the navigation device 100 is facing the direction of 603 at the current position 601 on the sidewalk along the roadway.
  • 604 is the position of the first target point.
  • the first target point 604 is the target point that passes first when traveling the route from the current position 601 to the destination.
  • the target point calculated by the target point position calculation process (S403) is performed.
  • the case where the position of is the center of the road which is the route from the current position to the destination is shown as an example.
  • the user of the navigation device 100 is guided to the first target point 604, which is a roadway.
  • the target point position correction process (S407) first, the position of the first target point is determined from the position information of the navigation device 100 and the azimuth angle calculated by the angle calculation process (S406). It is corrected to the position 605 on the sidewalk in the direction in which it should proceed.
  • 606 is the position of the navigation device 100 before the time T from the present.
  • the navigation device 100 is moving from position 606 to position 601.
  • the target point position correction process (S407) in the first embodiment it is assumed that the corrected position 605 of the first target point is in the direction from the position 606 to the position 601 from the direction of the immediately preceding movement. .. Assuming that the azimuth angle of the first target point 604 at the current position 601 is ⁇ and the azimuth angle of the corrected first target point 605 is ⁇ , the target point position correction process (S407) is performed by the target point position calculation process (S403).
  • the position 604 of the first target point calculated by the first target point position extraction process (S404) is corrected by the angle ⁇ - ⁇ rotation about the current position 601 as the first target. It is corrected as the position of the point 605.
  • the position 605 of the first target point corrected by the position 606 of the navigation device 100 before the time T from the present is defined, but this is an example, and the positions of the plurality of navigation devices 100 in the past are defined. Other methods such as determining the position 605 of the first target point corrected from the above may be used. Further, the correction method is not limited to the described method.
  • the height coordinate value of the corrected first target point 605 is corrected to the height of the camera.
  • the corrected first target point 605 is captured at the center of the lens of the camera 205, it is located at the center of the display screen and the elevation / depression angle becomes 0, so that the target point can be easily captured.
  • the position information of the position of the first target point corrected by the target point position correction process (S407) is handed over to the distance traveling direction calculation process (S408).
  • the distance traveling direction calculation unit 208 starts the distance traveling direction calculation process (S408).
  • the position information of the position of the first target point and the position information of the current position corrected to be delivered from the target point position correction process (S407) are corrected from the current position.
  • the distance and the direction of travel when traveling the route to the position of the first target point are calculated.
  • the calculated distance and the direction of travel are passed to the augmented reality image display process (S409).
  • the augmented reality image display unit 209 starts the augmented reality image display processing (S409).
  • the position of the first target point corrected by the target point position correction processing (S407) and the distance traveling direction calculation processing (S408) are calculated on the image captured by the camera 205.
  • An augmented reality image showing the distance and the direction of travel when traveling to the corrected first target point is generated and displayed.
  • the attribute information about the first target point and its surroundings is acquired from the second server device 102 that stores the attribute information about one or a plurality of target points and their surroundings. Then, the attribute information about the first target point and its surroundings is displayed on the image captured by the camera 205.
  • FIG. 7 is a diagram illustrating an augmented reality image generated and displayed by the augmented reality image display process (S409).
  • FIG. 7 represents an augmented reality image when the optical axis of the camera 205 included in the smartphone in which the navigation device 100 is incorporated as a function is the orientation of 603 shown in FIG.
  • Reference numeral 701 is a display screen which is an output device 303 included in the smartphone. Since the corrected first target point position 605 is within the screen display range of the image captured by the camera 205, the corrected first target point position 605 is superimposed on the image captured by the camera 205. The indicator is displayed.
  • the traveling direction 703 is superimposed and displayed on the image captured by the camera 205.
  • Reference numeral 704 is attribute information about the periphery of the first target point acquired from the second server device 102.
  • the image of the marker indicating the position of the first target point superimposed as the augmented reality image, and the distance and the direction of travel when traveling the route from the current position to the corrected position of the first target point are shown.
  • the expression such as the shape and the color is arbitrary as long as each information can be appropriately shown. It is not limited to the expression shown in FIG. 7.
  • the corrected position 605 of the first target point is not included in the screen display range of the image captured by the camera 205, it is placed on the image captured by the camera 205.
  • the image captured by the camera 205 without generating an augmented reality image showing the distance 702 and the direction of travel 703 when traveling to the corrected first target point position 605 and the corrected first target point.
  • An augmented reality image showing the direction in which the camera 205 is directed so that the position 605 of the first target point is included is generated and displayed.
  • FIG. 8 is generated and displayed by the augmented reality image display process (S409) when the corrected position 605 of the first target point is not included in the screen display range of the image captured by the camera 205.
  • FIG. 8 shows the augmented reality image.
  • the azimuth angle ⁇ of the optical axis of the camera 205 included in the smartphone in which the navigation device 100 is incorporated as a function is larger than the orientation of 603 shown in FIG.
  • It represents an augmented reality image when the position 605 is no longer included in the screen display range of the image captured by the camera 205.
  • the augmented reality image because it is necessary to orient the camera 205 of the navigation device 100 so that the corrected position 605 of the first target point is within the screen display range of the image captured by the camera 205.
  • an augmented reality image in which the icon 801 for guiding the direction of the camera 205 is superimposed on the image captured by the camera 205 is generated and displayed.
  • map information is acquired from a third server device 103 that stores map information, a map image is generated, and the current position, destination, route, and one or more are on the generated map image. Display the target point of.
  • FIG. 9 is a diagram showing how the map generated by the map display process (S410) is displayed.
  • the map image 901 is displayed at the lower part of the display screen 701 which is the output device 303 included in the smartphone.
  • the screen may be divided to display the augmented reality image and the map image, or the respective screens may be switched and displayed.
  • the map image 901 the current position 601, the destination 902, the route 903 and the target point 605, and the departure point 904 are displayed superimposed on the map.
  • the navigation program includes a main module, an input / output module, and an arithmetic processing module.
  • the main module is the part that controls the processing in an integrated manner.
  • the input / output module causes the computer to acquire input information such as the location information of the destination, and displays and outputs the augmented reality image and the map image generated as a result of a series of processing on the computer.
  • the arithmetic processing module includes the current position calculation module, the route information acquisition module, the target point position calculation module, the first target point position extraction module, the imaging module, the angle calculation module, the target point position correction module, the distance traveling direction calculation module, and the augmented reality. It is equipped with an image display module and a map display module.
  • the functions realized by executing the main module, the input module, and the arithmetic processing module are the current position calculation unit 201, the route information acquisition unit 202, the target point position calculation unit 203, and the first target point position extraction unit of the navigation device 100.
  • the functions are the same as those of the 204, the camera 205, the angle calculation unit 206, the target point position correction unit 207, the distance traveling direction calculation unit 208, the augmented reality image display unit 209, and the map display unit 210, respectively.
  • the navigation program is provided by, for example, a recording medium such as a ROM or a semiconductor memory.
  • the navigation program may also be provided via a communication network.
  • FIG. 10 is a block diagram of the navigation device 1000 according to the second embodiment.
  • the navigation device 1000 according to the second embodiment has the position information of the current position on the first server device 101 for calculating the route information indicating the route from the current position to the destination included in the navigation device 100 according to the first embodiment.
  • a route information calculation unit that calculates route information indicating a route from the current position to the destination instead of the route information acquisition unit 202 that passes the location information of the destination and receives the calculated route information from the first server device 101.
  • the difference is that 1001 is provided.
  • Other configurations are the same.
  • the function of the route information calculation unit 1001 is that the first server calculates the route information indicating the route from the current position to the destination from the position information of the current position calculated by the current position calculation unit 201 and the position information of the destination. It is the same as the device 101, and is the same as the route information acquisition unit 202 in that the route information indicating the route from the current position to the destination is passed to the target point position calculation unit 203. Therefore, the function of the route information calculation unit 1001 is omitted because it overlaps with the first embodiment.
  • the recording medium in which the navigation device, the navigation system, the navigation method, the navigation program, and the navigation program according to the present disclosure are recorded is the position of one or a plurality of target points that are targets in the route guidance from the route information from the current position to the destination. After calculating the information and correcting the position of the target point that passes first when traveling the route from the current position to the destination to the position of the point that should actually be the target, that position and the current position By generating and displaying an augmented reality image showing the distance from the vehicle and the direction of travel on the image captured by the camera, the user is guided to the destination.
  • Navigation device 100 Navigation device according to the first embodiment 101 First server device 102 Second server device 103 Third server device 104 Communication network 201 Current position calculation unit 202 Route information acquisition unit 203 Target point position calculation unit 204 First target Point position extraction unit 205 Camera 206 Angle calculation unit 207 Target point position correction unit 208 Distance travel direction calculation unit 209 Extended reality image display unit 210 Map display unit 301 Central processing unit (CPU) 302 Input device 303 Output device 304 Main memory (RAM / ROM) 305 Auxiliary storage device 306 Smartphone 307 Display screen 601 Current position of navigation device 602 North orientation 603 Direction of optical axis of camera provided in smartphone with built-in navigation device 604 Position of first target point 605 Corrected first Position of 1 target point 606 Position of the navigation device before time T from the present 701 Display screen 702 Distance when traveling the route from the current position to the corrected position of the first target point 703 Direction of travel 704 Second Attribute information about the periphery of the first target point acquired from the server device 801 Icon that guides

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Manufacturing & Machinery (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)

Abstract

本開示によるナビゲーション装置、ナビゲーションシステム、ナビゲーション方法、ナビゲーションプログラム、ナビゲーションプログラムを記録した記録媒体は、現在位置から目的地までの経路情報から経路の案内において目標となる1ないし複数の目標点の位置情報を算出して、現在位置から目的地に向けて経路を進行する場合において最初に通過する目標点の位置を実際に目標とすべき点の位置に補正したうえで、その位置と、現在位置からの距離と進行する向きをカメラで撮像した画像上に示す拡張現実画像を生成して表示することで、利用者を目的地まで案内する。

Description

コンピュータシステムによるナビゲーション
 本開示は、コンピュータシステムによるナビゲーションに関するものである。
 位置情報と地図情報を組み合わせたナビゲーションに関する技術は、従来から、数多く提案されている。近年では、いわゆるスマートフォンなどのカメラを備えた携帯端末の普及もあって、カメラによって撮像された画像をさらに組み合わせての拡張現実(AR)画像による市街地を現在地から目的地まで移動する際に適したナビゲーションに関する技術の提案がある。例えば、特許文献1や特許文献2に記載の技術である。
 特許文献1では、携帯端末が静止している間に、携帯端末がその進行方向を決定するために、視覚ランドマーク(例えば、目印となる建物など)を使用するシステムを提案している。特許文献2には、経路に従って進行するキャラクタの画像を現実世界の画像に重畳した拡張現実画像によって目的地まで案内する技術が記載されている。
特開2019-109252号公報 特開2014-20863号公報
 本開示は、目的地までの経路において1ないし複数の目標となる目標点の位置情報と、利用者の携帯端末などの画面に表示されるカメラによって撮像された画像を、拡張現実の技術によって組み合わせて生成される拡張現実画像を利用者の携帯端末などに表示することで、目標点を順にたどることによって目的地に到達できるナビゲーション装置、ナビゲーションシステム、ナビゲーション方法、ナビゲーションプログラム、ナビゲーションプログラムを記録した記録媒体を提供する。
 本開示は、ナビゲーション装置の現在位置から最初に通過する目標点を経由して目的地に到達できるように表示画面上の表示により案内を提供するナビゲーション装置であって、ナビゲーション装置の現在位置の位置情報を算出する現在位置算出部と、現在位置から目的地までの経路を示す経路情報を算出する第1のサーバ装置に現在位置算出部が算出した現在位置の位置情報と目的地の位置情報を渡し、算出された経路情報を第1のサーバ装置から受け取る経路情報取得部と、経路情報から、経路の案内において目標となる1ないし複数の目標点の位置の位置情報を算出して記憶する目標点位置算出部と、目標点位置算出部で算出して記憶する1ないし複数の目標点から、現在位置から目的地に向けて経路を進行する場合において最初に通過する第1の目標点の位置の位置情報を抽出する第1目標点位置抽出部と、ナビゲーション装置の外部を撮像するカメラと、カメラの光軸についての方位角と仰俯角を算出する角度算出部と、ナビゲーション装置の位置情報、角度算出部が算出した方位角と仰俯角から表示画面に表示するための第1の目標点の位置を補正する目標点位置補正部と、目標点位置補正部により補正された第1の目標点の位置と現在位置とから、現在位置から補正された第1の目標点の位置まで経路を進行する場合における距離と進行する向きを算出する距離進行方向算出部と、及び、カメラで撮像した画像上に、目標点位置算出部で算出して記憶する1ないし複数の目標点のうち第1の目標点のみについて、目標点位置補正部により補正された第1の目標点の位置と、距離進行方向算出部が算出した補正された第1の目標点まで進行する場合における距離と進行する向きを示す拡張現実画像を生成して表示画面に表示する拡張現実画像表示部とを備え、第1の目標点に到達すると拡張現実画像表示部が表示画面に次に向かうべきもう1つの第1の目標点を表示し、もう1つの現在位置から表示画面に表示される次に向かうべきもう1つの第1の目標点まで到達することを繰り返すことで目的地に到達できるように案内することを特徴とする。ここで、算出部は、算出機に含まれてよい。具体的には、現在位置算出部は現在位置算出機に、目標点位置算出部は目標点位置算出機に、角度算出部は角度算出機に、距離進行方向算出部は距離進行方算出機に、それぞれ含まれてもよい。
ナビゲーションシステムの全体構成例を示す図である。 第1実施形態に係るナビゲーション装置のブロック図である。 ナビゲーション装置のハードウェア構成図である。 スマートフォンの正面図である。 スマートフォンの背面図である。 ナビゲーション装置動作を示すフローチャートである。 目標点位置算出処理のフローチャートである。 目標点位置補正処理について説明するための図である。 拡張現実画像表示処理で生成されて表示される拡張現実画像を例示した図である。 補正された第1の目標点の位置がカメラによって撮像された画像の画面表示範囲内に含まれない場合に、拡張現実画像表示処理で生成されて表示される拡張現実画像を示す図である。 地図表示処理で生成された地図が表示された様子を示す図である。 第2実施形態に係るナビゲーション装置のブロック図である。
 本開示は、ナビゲーション装置の現在位置から最初に通過する目標点を経由して目的地に到達できるように表示画面上の表示により案内を提供するナビゲーション装置であって、ナビゲーション装置の現在位置の位置情報を算出する現在位置算出部と、現在位置から目的地までの経路を示す経路情報を算出する第1のサーバ装置に現在位置算出部が算出した現在位置の位置情報と目的地の位置情報を渡し、算出された経路情報を第1のサーバ装置から受け取る経路情報取得部と、経路情報から、経路の案内において目標となる1ないし複数の目標点の位置の位置情報を算出して記憶する目標点位置算出部と、目標点位置算出部で算出して記憶する1ないし複数の目標点から、現在位置から目的地に向けて経路を進行する場合において最初に通過する第1の目標点の位置の位置情報を抽出する第1目標点位置抽出部と、ナビゲーション装置の外部を撮像するカメラと、カメラの光軸についての方位角と仰俯角を算出する角度算出部と、ナビゲーション装置の位置情報、角度算出部が算出した方位角と仰俯角から表示画面に表示するための第1の目標点の位置を補正する目標点位置補正部と、目標点位置補正部により補正された第1の目標点の位置と現在位置とから、現在位置から補正された第1の目標点の位置まで経路を進行する場合における距離と進行する向きを算出する距離進行方向算出部と、及び、カメラで撮像した画像上に、目標点位置算出部で算出して記憶する1ないし複数の目標点のうち第1の目標点のみについて、目標点位置補正部により補正された第1の目標点の位置と、距離進行方向算出部が算出した補正された第1の目標点まで進行する場合における距離と進行する向きを示す拡張現実画像を生成して表示画面に表示する拡張現実画像表示部とを備え、第1の目標点に到達すると拡張現実画像表示部が表示画面に次に向かうべきもう1つの第1の目標点を表示し、もう1つの現在位置から表示画面に表示される次に向かうべきもう1つの第1の目標点まで到達することを繰り返すことで目的地に到達できるように案内することを特徴とする。これにより、ナビゲーション装置に表示された拡張現実画像の目標点を順にたどることによって目的地に到達できるとの効果を奏しうる。ここで、もう1つの第1の目標点とは、次に最初に通過すべき目標点とも言える。例えば、ナビゲーション装置の利用者が第1の目標点に到達した場合、その第1の目標点がもう1つの若しくは次の現在位置となる。そして、目的地に向かうべく、次に最初に通過すべき目標点がもう1つの若しくは次の第1の目標点となる。以降、同様に繰り返す。もう1つの第1の目標点については、本願書面において同様である。
 本願において、位置情報とは、三次元位置を特定できる座標情報であって、例えば、全地球測位システム(以下、GPS)によって計測される座標などがあたるが、これに限るものではない。また、現在位置から目的地までの経路を示す経路情報とは、現在位置から目的地までの経路に従った順序を備えた位置情報の集まりである。位置情報によって目標点の位置を決めることで経路上の目標点を発見できないとの課題を解決しうる。
 前述、特許文献1に記載の技術では、カメラによって撮像された画像の中にあらかじめ情報が登録された視覚ランドマークが写っていなくてはならず、利用者がカメラを使用して情報が登録された視覚ランドマークを見つけ出さなくてはならない。そのため、移動経路の途中で視覚ランドマークを発見できない状況などが起こりうる。また、カメラによって撮像された画像の中の視覚ランドマークの画像と、あらかじめ登録された視覚ランドマークの画像が必ずしも同一とは限らないためシステムが視覚ランドマークを発見できない状況も起こりうる。さらに、夜間などカメラによって撮像された画像が明瞭でない場合にも視覚ランドマークを発見できない状況が起こりうる。
 本開示によれば、目標点は目的地までの経路上の点であって、特許文献1に記載の技術におけるランドマークとは異なり位置情報で定まるため、カメラによって撮像された画像の中の視覚ランドマークの画像とあらかじめ登録された視覚ランドマークの画像が必ずしも同一とは限らないことでシステムが視覚ランドマークを発見できない、周囲の明暗によって視覚ランドマークが発見できない、などの特許文献1に記載の技術が抱える課題が解決されうる。
 また、本開示によれば、経路上に少なくともひとつの目標点が設定されるため、移動経路の途中で視覚ランドマークを発見できないといった特許文献1に記載の技術における課題が解決されうる。
 前述、特許文献2に記載の技術では、経路に従って進行するキャラクタの画像を現実世界の画像に重畳した拡張現実画像によって目的地まで案内するが、GPSによる位置情報などに基づいて算出された経路上の目標点(特許文献2の例ではキャラクタ画像の示す位置)が実際に目標とすべき点からずれることが問題となる。例えば、徒歩で移動しているにも関わらず車道の真ん中を経路上の目標点として示す場合などである。市街地を移動する際のナビゲーションにおいて、このような目標点の指示は利用者にとって違和感が大きく実用的でない。
 本開示によれば、ナビゲーション装置の位置情報とナビゲーション装置が備えるカメラの光軸についての方位角と仰俯角から拡張現実画像に表示する目標点の位置を補正することで前述の課題が解決されうる。
 本開示に係るナビゲーション装置では、目標点位置補正部は、表示画面に表示するため、第1の目標点の位置を、ナビゲーション装置の過去の位置情報から算出されるナビゲーション装置が進行する向きの延長上であって、現在位置から第1の目標点の補正された位置までの距離であり、高さがカメラの高さとなる位置に補正することを特徴とする。これにより、経路上の目標点が実際の目標とすべき点からずれて案内表示されるといった課題が解決されうる。
 本開示に係るナビゲーション装置では、目標点位置算出部は、経路情報から、経路に沿って進行する際に進行する向きが所定の閾値を越えて前の進行する向きから変化するような点をもう1つの第1の目標点とし、もう1つの第1の目標点の位置の位置情報を算出して記憶することを特徴とする。これにより、現在地から目的地までの経路上に目標点を発見できないとの課題が解決されうる。なお、所定の閾値については、実施例の中で後述する。
 本開示に係るナビゲーション装置では、拡張現実画像表示部は、カメラで撮像した画像に第1の目標点の位置が含まれない場合には、カメラで撮像した画像上に、目標点位置補正部により補正された第1の目標点の位置と、距離進行方向算出部が算出した補正された第1の目標点まで進行する場合における距離と進行する向きを示す拡張現実画像を生成せず、カメラで撮像した画像に第1の目標点の位置が含まれるようにカメラを向ける方向を示す拡張現実画像を生成して表示画面に表示することを特徴とする。これにより、ナビゲーション装置に表示された拡張現実画像に目標点が見当たらないことによって経路上の目標点を見失うとの課題が解決されうる。
 本開示に係るナビゲーション装置では、拡張現実画像表示部は、1ないし複数の目標点及びその周辺についての属性情報を記憶する第2のサーバ装置から第1の目標点及びその周辺についての属性情報を取得して、カメラで撮像した画像上に、第1の目標点及びその周辺についての属性情報をさらに表示画面に表示することを特徴とする。なお、目標点についての属性情報、及び、目標点の周辺についての属性情報については、実施例の中で後述する。
 本開示に係るナビゲーション装置では、地図情報を記憶する第3のサーバ装置から地図情報を取得して地図画像を生成し、生成した地図画像上に、現在位置、目的地、経路及び1ないし複数の目標点を表示画面に表示する地図表示部を備えることを特徴とする。
 本開示に係るナビゲーション装置では、経路情報を第1のサーバ装置から受け取る経路情報取得部に代えて現在位置から目的地までの経路を示す経路情報を算出する経路情報算出部を備えてもよい。
 本開示は、ナビゲーション装置の現在位置から最初に通過する目標点を経由して目的地に到達できるように表示画面上の表示により案内を提供するナビゲーション装置と、現在位置から目的地までの経路を示す経路情報を算出する第1のサーバ装置と、経路の案内において目標となる1ないし複数の目標点及びその周辺についての属性情報を記憶する第2のサーバ装置と、地図情報を記憶する第3のサーバ装置と、を備えたナビゲーションシステムであって、ナビゲーション装置が、ナビゲーション装置の現在位置の位置情報を算出する現在位置算出部と、第1のサーバ装置に現在位置算出部が算出した現在位置の位置情報と目的地の位置情報を渡し、算出された経路情報を第1のサーバ装置から受け取る経路情報取得部と、経路情報から、経路の案内において目標となる1ないし複数の目標点の位置の位置情報を算出して記憶する目標点位置算出部と、目標点位置算出部で算出して記憶する1ないし複数の目標点から、現在位置から目的地に向けて経路を進行する場合において最初に通過する第1の目標点の位置の位置情報を抽出する第1目標点位置抽出部と、ナビゲーション装置の外部を撮像するカメラと、カメラの光軸についての方位角と仰俯角を算出する角度算出部と、ナビゲーション装置の位置情報、角度算出部が算出した方位角と仰俯角から表示画面に表示するための第1の目標点の位置を補正する目標点位置補正部と、目標点位置補正部により補正された第1の目標点の位置と現在位置とから、現在位置から補正された第1の目標点の位置まで経路を進行する場合における距離と進行する向きを算出する距離進行方向算出部と、及び、カメラで撮像した画像上に、目標点位置算出部で算出して記憶する1ないし複数の目標点のうち第1の目標点のみについて、目標点位置補正部により補正された第1の目標点の位置と、距離進行方向算出部が算出した補正された第1の目標点まで進行する場合における距離と進行する向きを示す拡張現実画像を生成して表示画面に表示するとともに、第2のサーバ装置から第1の目標点及びその周辺についての属性情報を取得して、カメラで撮像した画像上に、第1の目標点及びその周辺についての属性情報を表示画面に表示する拡張現実画像表示部と、第3のサーバ装置から地図情報を取得して地図画像を生成し、生成した地図画像上に、現在位置、目的地、経路及び1ないし複数の目標点を表示画面に表示する地図表示部と、を備え、第1の目標点に到達すると拡張現実画像表示部が表示画面に次に向かうべきもう1つの第1の目標点を表示し、もう1つの現在位置から表示画面に表示される次に向かうべきもう1つの第1の目標点まで到達することを繰り返すことで目的地に到達できるように案内することを特徴とする
 本開示は、ナビゲーション装置の現在位置から最初に通過する目標点を経由して目的地に到達できるように表示画面上の表示により案内を提供するナビゲーション方法であって、ナビゲーション装置の現在位置の位置情報を算出する現在位置算出ステップと、現在位置から目的地までの経路を示す経路情報を算出する第1のサーバ装置に現在位置算出ステップが算出した現在位置の位置情報と目的地の位置情報を渡し、算出された経路情報を第1のサーバ装置から受け取る経路情報取得ステップと、経路情報から、経路の案内において目標となる1ないし複数の目標点の位置の位置情報を算出して記憶する目標点位置算出ステップと、目標点位置算出ステップで算出して記憶する1ないし複数の目標点から、現在位置から目的地に向けて経路を進行する場合において最初に通過する第1の目標点の位置の位置情報を抽出する第1目標点位置抽出ステップと、カメラによりナビゲーション装置の外部を撮像するステップと、カメラの光軸についての方位角と仰俯角を算出する角度算出ステップと、ナビゲーション装置の位置情報、角度算出ステップが算出した方位角と仰俯角から表示画面に表示するための第1の目標点の位置を補正する目標点位置補正ステップと、目標点位置補正ステップにより補正された第1の目標点の位置と現在位置とから、現在位置から補正された第1の目標点の位置まで経路を進行する場合における距離と進行する向きを算出する距離進行方向算出ステップと、及び、カメラで撮像した画像上に、目標点位置算出ステップで算出して記憶する1ないし複数の目標点のうち第1の目標点のみについて、目標点位置補正ステップにより補正された第1の目標点の位置と、距離進行方向算出ステップが算出した補正された第1の目標点まで進行する場合における距離と進行する向きを示す拡張現実画像を生成して表示画面に表示する拡張現実画像表示ステップと、を備え、第1の目標点に到達すると拡張現実画像表示ステップが表示画面に次に向かうべきもう1つの第1の目標点を表示し、もう1つの現在位置から表示画面に表示される次に向かうべきもう1つの第1の目標点まで到達することを繰り返すことで目的地に到達できるように案内することを特徴とする。
 本開示に係るナビゲーション方法では、経路情報を第1のサーバ装置から受け取る経路情報取得ステップに代えて現在位置から目的地までの経路を示す経路情報を算出する経路情報算出ステップを備えてもよい。
 本開示は、外部を撮像するカメラを備えたコンピュータによって読み取られ実行されることで、コンピュータを、ナビゲーション装置の現在位置から最初に通過する目標点を経由して目的地に到達できるように表示画面上の表示により案内を提供するナビゲーション装置として機能させるナビゲーションプログラムであって、コンピュータに、ナビゲーション装置の現在位置の位置情報を算出する現在位置算出ステップと、現在位置から目的地までの経路を示す経路情報を算出する第1のサーバ装置に現在位置算出ステップが算出した現在位置の位置情報と目的地の位置情報を渡し、算出された経路情報を第1のサーバ装置から受け取る経路情報取得ステップと、経路情報から、経路の案内において目標となる1ないし複数の目標点の位置の位置情報を算出して記憶する目標点位置算出ステップと、目標点位置算出ステップで算出して記憶する1ないし複数の目標点から、現在位置から目的地に向けて経路を進行する場合において最初に通過する第1の目標点の位置の位置情報を抽出する第1目標点位置抽出ステップと、カメラによりナビゲーション装置の外部を撮像するステップと、カメラの光軸についての方位角と仰俯角を算出する角度算出ステップと、ナビゲーション装置の位置情報、角度算出ステップが算出した方位角と仰俯角から表示画面に表示するための第1の目標点の位置を補正する目標点位置補正ステップと、目標点位置補正ステップにより補正された第1の目標点の位置と現在位置とから、現在位置から補正された第1の目標点の位置まで経路を進行する場合における距離と進行する向きを算出する距離進行方向算出ステップと、及び、カメラで撮像した画像上に、目標点位置算出ステップで算出して記憶する1ないし複数の目標点のうち第1の目標点のみについて、目標点位置補正ステップにより補正された第1の目標点の位置と、距離進行方向算出ステップが算出した補正された第1の目標点まで進行する場合における距離と進行する向きを示す拡張現実画像を生成して表示画面に表示する拡張現実画像表示ステップと、を備え、第1の目標点に到達すると拡張現実画像表示ステップが表示画面に次に向かうべきもう1つの第1の目標点を表示し、もう1つの現在位置から表示画面に表示される次に向かうべきもう1つの第1の目標点まで到達することを繰り返すことで目的地に到達できるように案内することを特徴とする。このナビゲーションプログラムを記録した記録媒体も本開示に含まれる。
 本開示に係るナビゲーションプログラムでは、経路情報を第1のサーバ装置から受け取る経路情報取得ステップに代えて現在位置から目的地までの経路を示す経路情報を算出する経路情報算出ステップを備えてもよい。このナビゲーションプログラムを記録した記録媒体も本開示に含まれる。
 次に、本開示の実施形態について図面を参照して説明する。なお、重複する説明は省略し、各図面において同一又は相当部分には同一の符号を付す。
 実施例1として、第1実施形態について説明する。第1実施形態に係るナビゲーション装置、ナビゲーションシステム、ナビゲーション方法、ナビゲーションプログラム、ナビゲーションプログラムを記録した記録媒体は、市街地を移動する際に、現在地から目的地まで移動する際に適したナビゲーション技術を備えるものであって、いわゆるスマートフォンなどの携帯端末に実装することで好適に使用されるものである。なお、これは例示であって、市街地を移動する際に限るものではなく、またスマートフォンなどの携帯端末への実装のみに適用を限るものではない。
 図1は、第1実施形態におけるナビゲーションシステムの全体構成例を示す図である。図1に示すように、第1実施形態におけるナビゲーションシステムは、位置情報に基づいて目的地までの経路を案内するナビゲーション装置100と、現在位置から目的地までの経路を算出する第1のサーバ装置101、経路の案内において目標となる1ないし複数の目標点及びその周辺についての属性情報を記憶する第2のサーバ装置102及び地図情報を記憶する第3のサーバ装置103を備えて構成されている。ナビゲーション装置100、第1のサーバ装置101、第2のサーバ装置102及び第3のサーバ装置103は、インターネット等の通信ネットワーク104を介して相互に接続可能に構成されている。第1のサーバ装置101、第2のサーバ装置102及び第3のサーバ装置103は、物理的には、中央演算装置(CPU)、入力装置、出力装置、主記憶装置(RAM/ROM)、補助記憶装置を含むコンピュータシステムとして構成される。図1では、第1のサーバ装置101、第2のサーバ装置102及び第3のサーバ装置103は、それぞれ独立した別個のサーバ装置としているが、機能として独立していればよく、物理的に同じサーバ装置で構成されていてもよいし、複数のサーバ装置で機能を分散して構成されていてもよい。
 第1のサーバ装置101は、通信ネットワーク104を介してナビゲーション装置100から現在位置の位置情報と目的地の位置情報を受け取り、現在位置から目的地までの経路を示す経路情報を算出する。第1のサーバ装置101は、経路情報の算出に必要な道路などのリンクや交差点などのノードに関する位置情報を保持している。第1のサーバ装置101は、保持しているリンクやノードに関する位置情報を参照しつつ、現在位置の位置情報と目的地の位置情報から経路情報を算出する。経路情報の算出方法については、案内の目的に適した方法を採用すればよく、本開示において限定するものではない。例えば、最短経路の探索を目的とするのであればダイクストラ法を採用するなどである。算出された経路情報については、通信ネットワーク104を介してナビゲーション装置100に提供される。
 第2のサーバ装置102は、1ないし複数の目標点及びその周辺についての属性情報を記憶する。本願において、目標点についての属性情報とは、本開示に係るナビゲーション装置の利用者を目的地まで案内するに有益な情報であって目標点についてのものをいう。例えば、交差点の名称などである。また、目標点の周辺についての属性情報とは、本開示に係るナビゲーション装置の利用者を目的地まで案内するに有益な情報や、案内以外であっても利用者にとって有益な情報であって目標点の周辺についてのものをいう。案内するに有益な情報の例としては、目標点である交差点に面した建物の名称などである。案内以外であっても利用者にとって有益な情報の例としては、目標点である交差点に面した建物にある店舗について商品の品揃えや価格等の情報などである。なお、第2のサーバ装置102が記憶する1ないし複数の目標点及びその周辺についての属性情報は、位置情報又は目標点ごとに一意に設定された識別符号などによって目標点と紐づけられる。第2のサーバ装置102は、通信ネットワーク104を介してナビゲーション装置100からの問い合わせに応じて目標点及びその周辺についての属性情報を提供する。
 第3のサーバ装置103は、地図情報を記憶する。第3のサーバ装置103は、通信ネットワーク104を介してナビゲーション装置100からの問い合わせに応じて地図情報を提供する。
 図2は、ナビゲーション装置100のブロック図である。ナビゲーション装置100は、単独で装置として構成される形態のみならず、他の装置に組み込まれて使用される形態であってもよい。ナビゲーション装置100を組み込む他の装置は、例えば、スマートフォン、情報携帯端末、デジタルカメラ、ゲーム端末等の携帯型電化製品であってもよい。ナビゲーション装置100は、図3Aに示すように、物理的には、中央演算装置(CPU)301、入力装置302、出力装置303、主記憶装置(RAM/ROM)304、補助記憶装置305を含むコンピュータとして構成される。
 ナビゲーション装置100の各機能は、図3Aに示す中央演算装置(CPU)301、主記憶装置(RAM/ROM)304等に、ナビゲーション装置100としてコンピュータを機能させるプログラムを読み込ませることにより、中央演算装置(CPU)301の制御により入力装置302、出力装置303を動作させるとともに、主記憶装置(RAM/ROM)304、補助記憶装置305とデータの読み書きを行うことで実現される。
 図2に示すように、ナビゲーション装置100は、現在位置算出部201、経路情報取得部202、目標点位置算出部203、第1目標点位置抽出部204、カメラ205、角度算出部206、目標点位置補正部207、距離進行方向算出部208、拡張現実画像表示部209及び地図表示部210を備えている。図2のブロック図に従って、ナビゲーション装置100の各ブロックの機能を説明する。動作の詳細については後述する。
 現在位置算出部201は、ナビゲーション装置の現在位置の位置情報を算出する。
 経路情報取得部202は、現在位置算出部201が算出した現在位置の位置情報及び外部から入力された目的地の位置情報を、通信ネットワーク104を経由して第1のサーバ装置101に渡し、算出された現在位置から目的地までの経路を示す経路情報を第1のサーバ装置101から受け取る。
 目標点位置算出部203は、経路情報取得部202が第1のサーバ装置から受け取った経路情報から、経路の案内において目標となる1ないし複数の目標点の位置の位置情報を算出して保持する。
 第1目標点位置抽出部204は、目標点位置算出部203で算出して保持する1ないし複数の目標点から、現在位置から目的地に向けて経路を進行する場合において最初に通過する第1の目標点の位置の位置情報を抽出する。
 カメラ205は、ナビゲーション装置100の外部を撮像する。撮像した画像を拡張現実画像表示部209に渡す。
 角度算出部206は、カメラの光軸についての方位角と仰俯角を算出する。算出した方位角と仰俯角を目標点位置補正部207に渡す。
 目標点位置補正部207は、現在位置算出部201が算出したナビゲーション装置100の位置情報、角度算出部206が算出した方位角と仰俯角からナビゲーション装置100の拡張現実画像表示部209に表示するための第1目標点位置抽出部204が抽出した第1の目標点の位置を補正する。
 距離進行方向算出部208は、目標点位置補正部207により補正された第1の目標点の位置と現在位置算出部201が算出した現在位置とから、現在位置から補正された第1の目標点の位置まで経路を進行する場合における距離と進行する向きを算出する。
 拡張現実画像表示部209は、カメラ205で撮像した画像上に、目標点位置補正部207により補正された第1の目標点の位置と、距離進行方向算出部208が算出した補正された第1の目標点まで進行する場合における距離と進行する向きを示す拡張現実画像を生成して表示する。また、拡張現実画像表示部209は、1ないし複数の目標点及びその周辺についての属性情報を記憶する第2のサーバ装置102から第1の目標点及びその周辺についての属性情報を取得して、カメラ205で撮像した画像上に、第1の目標点及びその周辺についての属性情報をさらに表示する。
 地図表示部210は、地図情報を記憶する第3のサーバ装置103から地図情報を取得して地図画像を生成し、生成した地図画像上に、現在位置、目的地、経路及び1ないし複数の目標点を表示する。
 次に、第1実施形態に係るナビゲーション装置100の動作について説明する。説明理解の容易性を考慮して、ナビゲーション装置100は、いわゆるスマートフォンに機能として組み込まれているとして動作を説明する。図3Bとしてスマートフォンの正面図を、図3Cとしてスマートフォンの背面図を示す。ここで例示するスマートフォン306は、図3Aに示すコンピュータとしての構成を備え、入力装置302であるタッチパネルとしても機能する出力装置303である表示画面307を備え、外部を撮像するためのカメラ205を備える。なお、カメラ205は、スマートフォン本体の如何なるところにあってもよく、例えば、背面にあってもよく、正面にあってもよく、また、両面にあってもよい。また、内部には、中央演算装置301、主記憶装置304、補助記憶装置305に加えて、通信ネットワーク104を介して通信するための通信モジュール、現在位置算出部201を構成するGPSモジュール、角度算出部206を構成する方位センサ及びジャイロセンサを備える。なお、スマートフォンは例示であって、スマートフォンのみに本開示の適用を限るものではない。
 図4は、第1実施形態に係るナビゲーション装置100の動作を示すフローチャートである。図4のフローチャートに従って第1実施形態におけるナビゲーション装置100の動作を説明する。
 ナビゲーション装置100は、外部から目的地の位置情報が入力されることによって動作を開始する。動作の開始は、目的地の位置情報の入力後に自動的であっても、明示的な命令によるものであってもよい。ナビゲーション装置100は、動作を開始すると図4のフローチャートの処理を行う。
 ナビゲーション装置100は、動作を開始すると、現在位置算出部201が現在位置算出処理(S401)を実行する。第1実施形態では、現在位置算出部201はGPSモジュールを備える。現在位置算出処理(S401)では、GPSモジュールからナビゲーション装置100の現在地の3次元座標を取得して位置情報を算出する。算出したナビゲーション装置100の現在地の位置情報は、経路情報取得処理(S402)に引き渡される。現在位置算出部201による現在位置算出処理(S401)が終了すると、経路情報取得部202が経路情報取得処理(S402)を開始する。
 経路情報取得処理(S402)では、現在位置算出処理(S401)で算出され引き渡された現在位置の位置情報及びナビゲーション装置100の動作開始時に外部から入力された目的地の位置情報を、通信ネットワーク104を経由して第1のサーバ装置101に渡し、算出された現在位置から目的地までの経路を示す経路情報を第1のサーバ装置101から受け取る。前述の通り、現在位置から目的地までの経路を示す経路情報は、現在位置から目的地までの経路に従った順序を備えた位置情報の集まりとしてサーバ装置101から受け取る。受け取った経路情報は、目標点位置算出処理(S403)に引き渡される。経路情報取得部202による経路情報取得処理(S402)が終了すると、目標点位置算出部203が目標点位置算出処理(S403)を開始する。
 目標点位置算出処理(S403)では、経路情報取得処理(S402)が第1のサーバ装置101から受け取って引き渡された現在位置から目的地までの経路を示す経路情報から、経路の案内において目標となる1ないし複数の目標点の位置の位置情報を算出して保持する。第1実施形態では、経路に沿って進行する際に進行する向きが所定の閾値を越えて変化する点を目標点として、その位置情報を算出して保持する。ここで、所定の閾値は進行する向きの変化であって、これまでの進行する向きと、この先進行する向きとがなす角度を取ることができる。例えば、所定の閾値を、これまでの進行する向きと、この先進行する向きとがなす角度が15度などと定める。また、周辺の状況に応じて所定の閾値とする角度の値を変えることとしてもよい。例えば、三差路の交差点での所定の閾値とする角度の値は四差路の交差点での所定の閾値とする角度の値よりも大きく、五差路の交差点での所定の閾値とする角度の値は四差路の交差点での所定の閾値とする角度の値よりも小さく設定するなどである。なお、経路に沿って進行する際に進行する向きの変化を角度でとらえることは第1実施形態における例示であって、進行する向きの変化を表すパラメータは経路の案内において適切な目標点を設定できれば角度に限らず、角度ではないパラメータを設定してもよい。
 図5は、目標点位置算出処理(S403)のフローチャートである。図5のフローチャートに従って目標点位置算出処理(S403)を説明する。現在位置から目的地までの経路を示す経路情報は、現在位置から目的地までの経路に従った順序を備えた位置情報の集まりであるから、図5のフローチャートでは、nで順序を表し、n=0を現在位置とする。また、経路情報を構成する現在位置から目的地までの経路に従った順序を備えた位置情報のn番目を、n番目の経路情報という。目標点位置算出処理(S403)は、S501の処理でn-1番目の経路情報を、S502の処理でn番目の経路情報を、S503の処理でn+1番目の経路情報をそれぞれ取得する。次に、S504の処理でn-1番目からn番目へ進行する向きを、S505の処理でn番目からn+1番目へ進行する向きをそれぞれ算出し、S506の処理で、S504の処理で算出した進行する向きと、S505の処理で算出した進行する向きとがなす角度が所定の閾値(例えば15度)以上かを判定する。所定の閾値以上である場合には、S507の処理でn番目の経路情報を目標点として保持する。S508の処理でnに1を加算して次の経路情報にうつり目的地に到達するまで処理を繰り返す(S509)ことで、1ないし複数の目標点の位置の位置情報を算出して保持する。
 図4のフローチャートに戻り、説明を続ける。目標点位置算出処理(S403)で算出して保持された目標点の位置の位置情報は、第1目標点位置抽出処理(S404)に引き渡されるとともに、地図表示処理(S410)に引き渡される。目標点位置算出部203による目標点位置算出処理(S403)が終了すると、第1目標点位置抽出部204が第1目標点位置抽出処理(S404)を、地図表示部210が地図表示処理(S410)を開始する。まず、第1目標点位置抽出処理(S404)から説明する。
 第1目標点位置抽出処理(S404)では、目標点位置算出処理(S403)で算出され引き渡された1ないし複数の目標点から、現在位置から目的地に向けて経路を進行する場合において最初に通過する第1の目標点の位置の位置情報を、現在位置算出処理(S401)で算出された現在位置の位置情報を参照して抽出する。抽出された第1の目標点の位置の位置情報は、目標点位置補正処理(S408)に引き渡される。第1目標点位置抽出部204による第1目標点位置抽出処理(S404)が終了すると、目標点位置補正部207が行う目標点位置補正処理(S407)に処理が移る。
 目標点位置補正処理(S407)の説明の前に、カメラ205による撮像処理(S405)と角度算出部206による角度算出処理(S406)について説明する。撮像処理(S405)と角度算出処理(S406)は、ナビゲーション装置100が動作を開始した後、動作を終了するまでバックグラウンドで実行される処理である。
 撮像処理(S405)は、ナビゲーション装置100が機能として組み込まれているスマートフォンが備えるカメラ205により、ナビゲーション装置の外部を撮像する。撮像された画像情報は、拡張現実画像表示処理(S409)において要求されて引き渡される。
 第1実施形態では、角度算出部206は方位センサ及びジャイロセンサを備える。角度算出処理(S406)は、方位センサ及びジャイロセンサから取得した情報から、ナビゲーション装置100が機能として組み込まれているスマートフォンが備えるカメラ205の光軸についての方位角と仰俯角を算出する。角度算出処理(S406)で算出されたカメラの光軸についての方位角と仰俯角は、目標位置補正処理(S407)において要求されて引き渡される。
 次に、目標点位置補正部207が行う目標点位置補正処理(S407)について説明する。図6は、目標点位置補正処理(S407)について説明するための図である。601はナビゲーション装置100の現在位置である。図6はナビゲーション装置100の利用者を上方から見下ろした図であって、ナビゲーション装置100の利用者は車道にそった歩道にいる。602は北の方位であって、方位角の基準である。603はナビゲーション装置100が機能として組み込まれているスマートフォンが備えるカメラ205の光軸の向きを示す。ナビゲーション装置100の利用者は車道にそった歩道上の現在位置601で603の向きを向いていると考えられる。604は第1の目標点の位置である。第1の目標点604は現在位置601から目的地に向けて経路を進行する場合において最初に通過する目標点であるが、図6では、目標点位置算出処理(S403)で算出される目標点の位置が現在位置から目的地に向けての経路である道路の中央となる場合を例として示している。この場合、ナビゲーション装置100の利用者が車道である第1の目標点604に案内されてしまう。このような事態を回避するために、目標点位置補正処理(S407)では、まず、ナビゲーション装置100の位置情報、角度算出処理(S406)で算出された方位角から第1の目標点の位置を歩道上であって進行すべき向きの位置605に補正する。
 図6で、606は現在から時間T前のナビゲーション装置100の位置である。時間Tが経過する間にナビゲーション装置100は位置606から位置601まで移動している。この場合、第1実施形態における目標点位置補正処理(S407)では、直前の移動の向きから、補正された第1の目標点の位置605は、位置606から位置601への向きにあるとする。現在位置601における第1の目標点604の方位角をα、補正された第1の目標点605の方位角をβとすると、目標点位置補正処理(S407)では、目標点位置算出処理(S403)で算出されて第1目標点位置抽出処理(S404)で抽出された第1の目標点の位置604が、現在位置601を軸として角度β―α回転した位置を補正された第1の目標点の位置605として補正される。なお、ここでは、現在から時間T前のナビゲーション装置100の位置606によって補正された第1の目標点の位置605を定めたが、これは例示であって、過去の複数のナビゲーション装置100の位置から補正された第1の目標点の位置605を定めるなど他の方法によってもよい。また、補正の方法は記載の方法に限るものではない。
 目標点位置補正処理(S407)では、次に、補正された第1の目標点605について、高さの座標の値をカメラの高さに補正する。補正された第1の目標点605をカメラ205のレンズ中心で捉えたときに表示画面の中央に位置し、仰俯角が0となるため、目標点を捕捉しやすくなる。
 図4に戻り、目標点位置補正処理(S407)で算出された補正された第1の目標点の位置の位置情報は、距離進行方向算出処理(S408)に引き渡される。目標点位置補正部207による目標点位置補正処理(S407)が終了すると、距離進行方向算出部208が距離進行方向算出処理(S408)を開始する。
 距離進行方向算出処理(S408)では、目標点位置補正処理(S407)から引き渡されたに補正された第1の目標点の位置の位置情報と現在位置の位置情報とから、現在位置から補正された第1の目標点の位置まで経路を進行する場合における距離と進行する向きを算出する。算出された距離と進行する向きは、拡張現実画像表示処理(S409)に引き渡される。距離進行方向算出部208による距離進行方向算出処理(S408)が終了すると、拡張現実画像表示部209が拡張現実画像表示処理(S409)を開始する。
 拡張現実画像表示処理(S409)では、カメラ205で撮像した画像上に、目標点位置補正処理(S407)により補正された第1の目標点の位置と、距離進行方向算出処理(S408)が算出した補正された第1の目標点まで進行する場合における距離と進行する向きを示す拡張現実画像を生成して表示する。さらに、拡張現実画像表示処理(S409)では、1ないし複数の目標点及びその周辺についての属性情報を記憶する第2のサーバ装置102から第1の目標点及びその周辺についての属性情報を取得して、カメラ205で撮像した画像上に、第1の目標点及びその周辺についての属性情報を表示する。
 図7は、拡張現実画像表示処理(S409)で生成されて表示される拡張現実画像を例示した図である。図7は、ナビゲーション装置100が機能として組み込まれているスマートフォンが備えるカメラ205の光軸が図6で示される603の向きであるときの拡張現実画像を表している。701は、スマートフォンが備える出力装置303である表示画面である。補正された第1の目標点の位置605がカメラ205によって撮像された画像の画面表示範囲内であるため、カメラ205で撮像した画像に重畳して補正された第1の目標点の位置605を示すマーカーが表示される。また、距離進行方向算出処理(S408)で算出され、拡張現実画像表示処理(S409)に引き渡された、現在位置から補正された第1の目標点の位置まで経路を進行する場合における距離702と進行する向き703がカメラ205で撮像した画像に重畳して表示される。704は、第2のサーバ装置102から取得した第1の目標点の周辺についての属性情報である。なお、拡張現実画像として重畳される、第1の目標点の位置を示すマーカーの画像、現在位置から補正された第1の目標点の位置まで経路を進行する場合における距離と進行する向きを示す画像、第1の目標点やその周辺についての属性情報を示す画像は、各々の情報を適切に示すことができれば形状や色彩などの表現は任意である。図7の表現に限られるものではない。
 拡張現実画像表示処理(S409)では、補正された第1の目標点の位置605がカメラ205によって撮像された画像の画面表示範囲内に含まれない場合には、カメラ205で撮像した画像上に、補正された第1の目標点の位置605と補正された第1の目標点まで進行する場合における距離702と進行する向き703を示す拡張現実画像を生成せず、カメラ205で撮像した画像に第1の目標点の位置605が含まれるようにカメラ205を向ける方向を示す拡張現実画像を生成して表示する。
 図8は、補正された第1の目標点の位置605がカメラ205によって撮像された画像の画面表示範囲内に含まれない場合に、拡張現実画像表示処理(S409)で生成されて表示される拡張現実画像を示す図である。図8は、ナビゲーション装置100が機能として組み込まれているスマートフォンが備えるカメラ205の光軸の方位角γが図6で示される603の向きよりも大きくなって、補正された第1の目標点の位置605がカメラ205によって撮像された画像の画面表示範囲内に含まれなくなった場合の拡張現実画像を表している。ナビゲーション装置100のカメラ205の向きを変えて、補正された第1の目標点の位置605がカメラ205によって撮像された画像の画面表示範囲内に含まれるようにする必要があるため、拡張現実画像表示処理(S409)では、カメラ205の向きを案内するアイコン801をカメラ205で撮像した画像に重畳した拡張現実画像を生成して表示する。
 図4に戻り、地図表示処理(S410)について説明する。地図表示処理(S410)では、地図情報を記憶する第3のサーバ装置103から地図情報を取得して地図画像を生成し、生成した地図画像上に、現在位置、目的地、経路及び1ないし複数の目標点を表示する。
 図9は、地図表示処理(S410)で生成された地図が表示された様子を示す図である。図9では、スマートフォンが備える出力装置303である表示画面701の下部に地図画像901が表示されている。なお、この他にも、画面を分割して拡張現実画像と地図画像を表示してもよいし、それぞれの画面を切り替えて表示してもよい。地図画像901には、地図に重畳して現在位置601、目的地902、経路903及び目標点605、加えて出発地904が表示されている。
 図4に戻り、拡張現実画像表示処理(S409)、地図表示処理(S410)が終了すると、ナビゲーション装置100の動作が終了かどうかを判定(S411)する。ナビゲーション装置100の動作を継続であれば、再び現在位置算出処理(S401)からフローチャートに従って処理を行う。ナビゲーション装置100の動作を終了であれば、一連の処理を終了する。
 以上が、第1実施形態におけるナビゲーション装置100の動作についての説明である。
 次に、コンピュータをナビゲーション装置として機能させるためのナビゲーションプログラムについて説明する。コンピュータの構成は、図3Aに示す通りである。
 ナビゲーションプログラムは、メインモジュール、入出力モジュール及び演算処理モジュールを備える。メインモジュールは、処理を統括的に制御する部分である。入出力モジュールは、目的地の位置情報などの入力情報をコンピュータに取得させ、一連の処理の結果生成した拡張現実画像や地図画像をコンピュータに表示し出力させる。演算処理モジュールは、現在位置算出モジュール、経路情報取得モジュール、目標点位置算出モジュール、第1目標点位置抽出モジュール、撮像モジュール、角度算出モジュール、目標点位置補正モジュール、距離進行方向算出モジュール、拡張現実画像表示モジュール及び地図表示モジュールを備える。メインモジュール、入力モジュール及び演算処理モジュールを実行させることにより実現される機能は、ナビゲーション装置100の現在位置算出部201、経路情報取得部202、目標点位置算出部203、第1目標点位置抽出部204、カメラ205、角度算出部206、目標点位置補正部207、距離進行方向算出部208、拡張現実画像表示部209及び地図表示部210の機能とそれぞれ同様である。
 ナビゲーションプログラムは、例えば、ROM等の記録媒体や半導体メモリによって提供される。また、ナビゲーションプログラムは、通信ネットワークを介して提供されてもよい。
 以上が、第1実施形態の説明である。
 実施例2として、第2実施形態について説明する。図10は、第2実施形態に係るナビゲーション装置1000のブロック図である。第2実施形態に係るナビゲーション装置1000は、第1実施形態に係るナビゲーション装置100が備える現在位置から目的地までの経路を示す経路情報を算出する第1のサーバ装置101に現在位置の位置情報と目的地の位置情報を渡し、算出された経路情報を第1のサーバ装置101から受け取る経路情報取得部202に代えて、現在位置から目的地までの経路を示す経路情報を算出する経路情報算出部1001を備える点が異なる。その他の構成は同様である。
 経路情報算出部1001の機能は、現在位置算出部201が算出した現在位置の位置情報と目的地の位置情報から現在位置から目的地までの経路を示す経路情報を算出する点で第1のサーバ装置101と同様であり、現在位置から目的地までの経路を示す経路情報を目標点位置算出部203に渡す点で経路情報取得部202と同様である。従って、経路情報算出部1001の機能については、第1実施形態との重複するため説明を省略する。
 以上が、第2実施形態の説明である。
 本開示に係るナビゲーション装置、ナビゲーションシステム、ナビゲーション方法、ナビゲーションプログラム、ナビゲーションプログラムを記録した記録媒体は、現在位置から目的地までの経路情報から経路の案内において目標となる1ないし複数の目標点の位置情報を算出して、現在位置から目的地に向けて経路を進行する場合において最初に通過する目標点の位置を実際に目標とすべき点の位置に補正したうえで、その位置と、現在位置からの距離と進行する向きをカメラで撮像した画像上に示す拡張現実画像を生成して表示することで、利用者を目的地まで案内する。
 100   第1実施形態に係るナビゲーション装置
 101   第1のサーバ装置
 102   第2のサーバ装置
 103   第3のサーバ装置
 104   通信ネットワーク
 201   現在位置算出部
 202   経路情報取得部
 203   目標点位置算出部
 204   第1目標点位置抽出部
 205   カメラ
 206   角度算出部
 207   目標点位置補正部
 208   距離進行方向算出部
 209   拡張現実画像表示部
 210   地図表示部
 301   中央演算装置(CPU)
 302   入力装置
 303   出力装置
 304   主記憶装置(RAM/ROM)
 305   補助記憶装置
 306   スマートフォン
 307   表示画面
 601   ナビゲーション装置の現在位置
 602   北の方位
 603   ナビゲーション装置が機能として組み込まれているスマートフォンが備えるカメラの光軸の向き
 604   第1の目標点の位置
 605   補正された第1の目標点の位置
 606   現在から時間T前のナビゲーション装置の位置
 701   表示画面
 702   現在位置から補正された第1の目標点の位置まで経路を進行する場合における距離
 703   進行する向き
 704   第2のサーバ装置から取得した第1の目標点の周辺についての属性情報
 801   カメラの向きを案内するアイコン
 901   地図画像
 902   目的地
 903   経路
 904   出発地
 1000  第2実施形態に係るナビゲーション装置
 1001  経路情報算出部

Claims (12)

  1.  ナビゲーション装置の現在位置から最初に通過する目標点を経由して目的地に到達できるように表示画面上の表示により案内を提供するナビゲーション装置であって、
     前記ナビゲーション装置の現在位置の位置情報を算出する現在位置算出部と、
     現在位置から目的地までの経路を示す経路情報を算出する第1のサーバ装置に前記現在位置算出部が算出した現在位置の位置情報と目的地の位置情報を渡し、算出された前記経路情報を前記第1のサーバ装置から受け取る経路情報取得部と、
     前記経路情報から、前記経路の案内において目標となる1ないし複数の目標点の位置の位置情報を算出して記憶する目標点位置算出部と、
     前記目標点位置算出部で算出して記憶する1ないし複数の目標点から、現在位置から目的地に向けて前記経路を進行する場合において最初に通過する第1の目標点の位置の位置情報を抽出する第1目標点位置抽出部と、
     前記ナビゲーション装置の外部を撮像するカメラと、
     前記カメラの光軸についての方位角と仰俯角を算出する角度算出部と、
     前記ナビゲーション装置の位置情報、前記角度算出部が算出した方位角と仰俯角から前記表示画面に表示するための前記第1の目標点の位置を補正する目標点位置補正部と、
     前記目標点位置補正部により補正された前記第1の目標点の位置と現在位置とから、現在位置から補正された前記第1の目標点の位置まで経路を進行する場合における距離と進行する向きを算出する距離進行方向算出部と、及び
     前記カメラで撮像した画像上に、前記目標点位置算出部で算出して記憶する1ないし複数の目標点のうち前記第1の目標点のみについて、前記目標点位置補正部により補正された前記第1の目標点の位置と、前記距離進行方向算出部が算出した補正された前記第1の目標点まで進行する場合における距離と進行する向きを示す拡張現実画像を生成して前記表示画面に表示する拡張現実画像表示部と、
     を備え、前記第1の目標点に到達すると前記拡張現実画像表示部が前記表示画面に次に向かうべきもう1つの第1の目標点を表示し、もう1つの現在位置から前記表示画面に表示される次に向かうべき前記もう1つの第1の目標点まで到達することを繰り返すことで目的地に到達できるように案内することを特徴とするナビゲーション装置。
  2.  前記目標点位置補正部は、
     前記表示画面に表示するため、前記第1の目標点の位置を、前記ナビゲーション装置の過去の位置情報から算出される前記ナビゲーション装置が進行する向きの延長上であって、現在位置から前記第1の目標点の補正された位置までの距離であり、高さが前記カメラの高さとなる位置に補正すること、
     を特徴とする請求項1に記載のナビゲーション装置。
  3.  前記目標点位置算出部は、
     前記経路情報から、前記経路に沿って進行する際に進行する向きが所定の閾値を越えて前の進行する向きから変化するような点をもう1つの第1の目標点とし、前記もう1つの第1の目標点の位置の位置情報を算出して記憶すること、
     を特徴とする請求項1又は請求項2に記載のナビゲーション装置。
  4.  前記拡張現実画像表示部は、
     前記カメラで撮像した画像に前記第1の目標点の位置が含まれない場合には、前記カメラで撮像した画像上に、前記目標点位置補正部により補正された前記第1の目標点の位置と、前記距離進行方向算出部が算出した補正された前記第1の目標点まで進行する場合における距離と進行する向きを示す拡張現実画像を生成せず、前記カメラで撮像した画像に前記第1の目標点の位置が含まれるように前記カメラを向ける方向を示す拡張現実画像を生成して前記表示画面に表示すること、
     を特徴とする請求項1から請求項3のいずれかに記載のナビゲーション装置。
  5.  前記拡張現実画像表示部は、
     前記1ないし複数の目標点及びその周辺についての属性情報を記憶する第2のサーバ装置から前記第1の目標点及びその周辺についての属性情報を取得して、前記カメラで撮像した画像上に、前記第1の目標点及びその周辺についての属性情報をさらに前記表示画面に表示すること、
     を特徴とする請求項1から請求項4のいずれかに記載のナビゲーション装置。
  6.  地図情報を記憶する第3のサーバ装置から地図情報を取得して地図画像を生成し、生成した前記地図画像上に、現在位置、目的地、前記経路及び前記1ないし複数の目標点を前記表示画面に表示する地図表示部、
     を備えることを特徴とする請求項1から請求項5のいずれかに記載のナビゲーション装置。
  7.  ナビゲーション装置の現在位置から最初に通過する目標点を経由して目的地に到達できるように表示画面上の表示により案内を提供するナビゲーション装置であって、
     前記ナビゲーション装置の現在位置の位置情報を算出する現在位置算出部と、
     現在位置から目的地までの経路を示す経路情報を算出する経路情報算出部と、
     前記経路情報から、前記経路の案内において目標となる1ないし複数の目標点の位置の位置情報を算出して記憶する目標点位置算出部と、
     前記目標点位置算出部で算出して記憶する1ないし複数の目標点から、現在位置から目的地に向けて前記経路を進行する場合において最初に通過する第1の目標点の位置の位置情報を抽出する第1目標点位置抽出部と、
     前記ナビゲーション装置の外部を撮像するカメラと、
     前記カメラの光軸についての方位角と仰俯角を算出する角度算出部と、
     前記ナビゲーション装置の位置情報、前記角度算出部が算出した方位角と仰俯角から前記表示画面に表示するための前記第1の目標点の位置を補正する目標点位置補正部と、
     前記目標点位置補正部により補正された前記第1の目標点の位置と現在位置とから、現在位置から補正された前記第1の目標点の位置まで経路を進行する場合における距離と進行する向きを算出する距離進行方向算出部と、及び
     前記カメラで撮像した画像上に、前記目標点位置算出部で算出して記憶する1ないし複数の目標点のうち前記第1の目標点のみについて、前記目標点位置補正部により補正された前記第1の目標点の位置と、前記距離進行方向算出部が算出した補正された前記第1の目標点まで進行する場合における距離と進行する向きを示す拡張現実画像を生成して前記表示画面に表示する拡張現実画像表示部と、
     を備え、前記第1の目標点に到達すると前記拡張現実画像表示部が前記表示画面に次に向かうべきもう1つの第1の目標点を表示し、もう1つの現在位置から前記表示画面に表示される次に向かうべき前記もう1つの第1の目標点まで到達することを繰り返すことで目的地に到達できるように案内することを特徴とするナビゲーション装置。
  8.  ナビゲーション装置の現在位置から最初に通過する目標点を経由して目的地に到達できるように表示画面上の表示により案内を提供するナビゲーション装置と、
     現在位置から目的地までの経路を示す経路情報を算出する第1のサーバ装置と、
     経路の案内において目標となる1ないし複数の目標点及びその周辺についての属性情報を記憶する第2のサーバ装置と、
     地図情報を記憶する第3のサーバ装置と、
     を備えたナビゲーションシステムであって、
     前記ナビゲーション装置が、
     前記ナビゲーション装置の現在位置の位置情報を算出する現在位置算出部と、
     前記第1のサーバ装置に前記現在位置算出部が算出した現在位置の位置情報と目的地の位置情報を渡し、算出された前記経路情報を前記第1のサーバ装置から受け取る経路情報取得部と、
     前記経路情報から、前記経路の案内において目標となる1ないし複数の前記目標点の位置の位置情報を算出して記憶する目標点位置算出部と、
     前記目標点位置算出部で算出して記憶する1ないし複数の目標点から、現在位置から目的地に向けて前記経路を進行する場合において最初に通過する第1の目標点の位置の位置情報を抽出する第1目標点位置抽出部と、
     前記ナビゲーション装置の外部を撮像するカメラと、
     前記カメラの光軸についての方位角と仰俯角を算出する角度算出部と、
     前記ナビゲーション装置の位置情報、前記角度算出部が算出した方位角と仰俯角から前記表示画面に表示するための前記第1の目標点の位置を補正する目標点位置補正部と、
     前記目標点位置補正部により補正された前記第1の目標点の位置と現在位置とから、現在位置から補正された前記第1の目標点の位置まで経路を進行する場合における距離と進行する向きを算出する距離進行方向算出部と、及び
     前記カメラで撮像した画像上に、前記目標点位置算出部で算出して記憶する1ないし複数の目標点のうち前記第1の目標点のみについて、前記目標点位置補正部により補正された前記第1の目標点の位置と、前記距離進行方向算出部が算出した補正された前記第1の目標点まで進行する場合における距離と進行する向きを示す拡張現実画像を生成して前記表示画面に表示するとともに、前記第2のサーバ装置から前記第1の目標点及びその周辺についての属性情報を取得して、前記カメラで撮像した画像上に、前記第1の目標点及びその周辺についての属性情報を前記表示画面に表示する拡張現実画像表示部と、
     前記第3のサーバ装置から地図情報を取得して地図画像を生成し、生成した前記地図画像上に、前記現在位置、前記目的地、前記経路及び前記1ないし複数の目標点を表示画面に表示する地図表示部と、
     を備え、前記第1の目標点に到達すると前記拡張現実画像表示部が前記表示画面に次に向かうべきもう1つの第1の目標点を表示し、もう1つの現在位置から前記表示画面に表示される次に向かうべき前記もう1つの第1の目標点まで到達することを繰り返すことで目的地に到達できるように案内することを特徴とするナビゲーションシステム。
  9.  ナビゲーション装置の現在位置から最初に通過する目標点を経由して目的地に到達できるように表示画面上の表示により案内を提供するナビゲーション方法であって、
     前記ナビゲーション装置の現在位置の位置情報を算出する現在位置算出ステップと、
     現在位置から目的地までの経路を示す経路情報を算出する第1のサーバ装置に前記現在位置算出ステップが算出した現在位置の位置情報と目的地の位置情報を渡し、算出された前記経路情報を前記第1のサーバ装置から受け取る経路情報取得ステップと、
     前記経路情報から、前記経路の案内において目標となる1ないし複数の目標点の位置の位置情報を算出して記憶する目標点位置算出ステップと、
     前記目標点位置算出ステップで算出して記憶する1ないし複数の目標点から、現在位置から目的地に向けて前記経路を進行する場合において最初に通過する第1の目標点の位置の位置情報を抽出する第1目標点位置抽出ステップと、
     カメラにより前記ナビゲーション装置の外部を撮像するステップと、
     前記カメラの光軸についての方位角と仰俯角を算出する角度算出ステップと、
     前記ナビゲーション装置の位置情報、前記角度算出ステップが算出した方位角と仰俯角から前記表示画面に表示するための前記第1の目標点の位置を補正する目標点位置補正ステップと、
     前記目標点位置補正ステップにより補正された前記第1の目標点の位置と現在位置とから、現在位置から補正された前記第1の目標点の位置まで経路を進行する場合における距離と進行する向きを算出する距離進行方向算出ステップと、及び
     前記カメラで撮像した画像上に、前記目標点位置算出ステップで算出して記憶する1ないし複数の目標点のうち前記第1の目標点のみについて、前記目標点位置補正ステップにより補正された前記第1の目標点の位置と、前記距離進行方向算出ステップが算出した補正された前記第1の目標点まで進行する場合における距離と進行する向きを示す拡張現実画像を生成して前記表示画面に表示する拡張現実画像表示ステップと、
     を備え、前記第1の目標点に到達すると前記拡張現実画像表示ステップが前記表示画面に次に向かうべきもう1つの第1の目標点を表示し、もう1つの現在位置から前記表示画面に表示される次に向かうべき前記もう1つの第1の目標点まで到達することを繰り返すことで目的地に到達できるように案内することを特徴とするナビゲーション方法。
  10.  ナビゲーション装置の現在位置から最初に通過する目標点を経由して目的地に到達できるように表示画面上の表示により案内を提供するナビゲーション方法であって、
     前記ナビゲーション装置の現在位置の位置情報を算出する現在位置算出ステップと、
     現在位置から目的地までの経路を示す経路情報を算出する経路情報算出ステップと、
     前記経路情報から、前記経路の案内において目標となる1ないし複数の目標点の位置の位置情報を算出して記憶する目標点位置算出ステップと、
     前記目標点位置算出ステップで算出して記憶する1ないし複数の目標点から、現在位置から目的地に向けて前記経路を進行する場合において最初に通過する第1の目標点の位置の位置情報を抽出する第1目標点位置抽出ステップと、
     カメラにより前記ナビゲーション装置の外部を撮像するステップと、
     前記カメラの光軸についての方位角と仰俯角を算出する角度算出ステップと、
     前記ナビゲーション装置の位置情報、前記角度算出ステップが算出した方位角と仰俯角から前記表示画面に表示するための前記第1の目標点の位置を補正する目標点位置補正ステップと、
     前記目標点位置補正ステップにより補正された前記第1の目標点の位置と現在位置とから、現在位置から補正された前記第1の目標点の位置まで経路を進行する場合における距離と進行する向きを算出する距離進行方向算出ステップと、及び
     前記カメラで撮像した画像上に、前記目標点位置算出ステップで算出して記憶する1ないし複数の目標点のうち前記第1の目標点のみについて、前記目標点位置補正ステップにより補正された前記第1の目標点の位置と、前記距離進行方向算出ステップが算出した補正された前記第1の目標点まで進行する場合における距離と進行する向きを示す拡張現実画像を生成して前記表示画面に表示する拡張現実画像表示ステップと、
     を備え、前記第1の目標点に到達すると前記拡張現実画像表示ステップが前記表示画面に次に向かうべきもう1つの第1の目標点を表示し、もう1つの現在位置から前記表示画面に表示される次に向かうべき前記もう1つの第1の目標点まで到達することを繰り返すことで目的地に到達できるように案内することを特徴とするナビゲーション方法。
  11.  外部を撮像するカメラを備えたコンピュータによって読み取られ実行されることで、前記コンピュータを、ナビゲーション装置の現在位置から最初に通過する目標点を経由して目的地に到達できるように表示画面上の表示により案内を提供するナビゲーション装置として機能させるナビゲーションプログラムを記録した記録媒体であって、
     前記コンピュータに、
     前記ナビゲーション装置の現在位置の位置情報を算出する現在位置算出ステップと、
     現在位置から目的地までの経路を示す経路情報を算出する第1のサーバ装置に前記現在位置算出ステップが算出した現在位置の位置情報と目的地の位置情報を渡し、算出された前記経路情報を前記第1のサーバ装置から受け取る経路情報取得ステップと、
     前記経路情報から、前記経路の案内において目標となる1ないし複数の目標点の位置の位置情報を算出して記憶する目標点位置算出ステップと、
     前記目標点位置算出ステップで算出して記憶する1ないし複数の目標点から、現在位置から目的地に向けて前記経路を進行する場合において最初に通過する第1の目標点の位置の位置情報を抽出する第1目標点位置抽出ステップと、
     カメラにより前記ナビゲーション装置の外部を撮像するステップと、
     前記カメラの光軸についての方位角と仰俯角を算出する角度算出ステップと、
     前記ナビゲーション装置の位置情報、前記角度算出ステップが算出した方位角と仰俯角から前記表示画面に表示するための前記第1の目標点の位置を補正する目標点位置補正ステップと、
     前記目標点位置補正ステップにより補正された前記第1の目標点の位置と現在位置とから、現在位置から補正された前記第1の目標点の位置まで経路を進行する場合における距離と進行する向きを算出する距離進行方向算出ステップと、及び
     前記カメラで撮像した画像上に、前記目標点位置算出ステップで算出して記憶する1ないし複数の目標点のうち前記第1の目標点のみについて、前記目標点位置補正ステップにより補正された前記第1の目標点の位置と、前記距離進行方向算出ステップが算出した補正された前記第1の目標点まで進行する場合における距離と進行する向きを示す拡張現実画像を生成して前記表示画面に表示する拡張現実画像表示ステップと、
     を備え、前記第1の目標点に到達すると前記拡張現実画像表示ステップが前記表示画面に次に向かうべきもう1つの第1の目標点を表示し、もう1つの現在位置から前記表示画面に表示される次に向かうべき前記もう1つの第1の目標点まで到達することを繰り返すことで目的地に到達できるように案内することを特徴とするナビゲーションプログラムを記録した記録媒体。
  12.  外部を撮像するカメラを備えたコンピュータによって読み取られ実行されることで、前記コンピュータを、ナビゲーション装置の現在位置から最初に通過する目標点を経由して目的地に到達できるように表示画面上の表示により案内を提供するナビゲーション装置として機能させるナビゲーションプログラムを記録した記録媒体であって、
     前記コンピュータに、
     前記ナビゲーション装置の現在位置の位置情報を算出する現在位置算出ステップと、
     現在位置から目的地までの経路を示す経路情報を算出する経路情報算出ステップと、
     前記経路情報から、前記経路の案内において目標となる1ないし複数の目標点の位置の位置情報を算出して記憶する目標点位置算出ステップと、
     前記目標点位置算出ステップで算出して記憶する1ないし複数の目標点から、現在位置から目的地に向けて前記経路を進行する場合において最初に通過する第1の目標点の位置の位置情報を抽出する第1目標点位置抽出ステップと、
     カメラにより前記ナビゲーション装置の外部を撮像するステップと、
     前記カメラの光軸についての方位角と仰俯角を算出する角度算出ステップと、
     前記ナビゲーション装置の位置情報、前記角度算出ステップが算出した方位角と仰俯角から前記表示画面に表示するための前記第1の目標点の位置を補正する目標点位置補正ステップと、
     前記目標点位置補正ステップにより補正された前記第1の目標点の位置と現在位置とから、現在位置から補正された前記第1の目標点の位置まで経路を進行する場合における距離と進行する向きを算出する距離進行方向算出ステップと、及び
     前記カメラで撮像した画像上に、前記目標点位置算出ステップで算出して記憶する1ないし複数の目標点のうち前記第1の目標点のみについて、前記目標点位置補正ステップにより補正された前記第1の目標点の位置と、前記距離進行方向算出ステップが算出した補正された前記第1の目標点まで進行する場合における距離と進行する向きを示す拡張現実画像を生成して前記表示画面に表示する拡張現実画像表示ステップと、
     を備え、前記第1の目標点に到達すると前記拡張現実画像表示ステップが前記表示画面に次に向かうべきもう1つの第1の目標点を表示し、もう1つの現在位置から前記表示画面に表示される次に向かうべき前記もう1つの第1の目標点まで到達することを繰り返すことで目的地に到達できるように案内することを特徴とするナビゲーションプログラムを記録した記録媒体。
PCT/JP2021/028616 2020-08-18 2021-08-02 コンピュータシステムによるナビゲーション WO2022039011A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP21858159.3A EP4198949A4 (en) 2020-08-18 2021-08-02 NAVIGATION USING A COMPUTER SYSTEM
US18/021,534 US20230314154A1 (en) 2020-08-18 2021-08-02 Navigation Using Computer System
KR1020237009051A KR20230051557A (ko) 2020-08-18 2021-08-02 컴퓨터 시스템에 의한 내비게이션
TW110129643A TWI798789B (zh) 2020-08-18 2021-08-11 導航裝置、導航系統、導航方法及記錄有導航程式的記錄媒體

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-137703 2020-08-18
JP2020137703A JP6828934B1 (ja) 2020-08-18 2020-08-18 ナビゲーション装置、ナビゲーションシステム、ナビゲーション方法、ナビゲーションプログラム

Publications (1)

Publication Number Publication Date
WO2022039011A1 true WO2022039011A1 (ja) 2022-02-24

Family

ID=74529617

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/028616 WO2022039011A1 (ja) 2020-08-18 2021-08-02 コンピュータシステムによるナビゲーション

Country Status (6)

Country Link
US (1) US20230314154A1 (ja)
EP (1) EP4198949A4 (ja)
JP (1) JP6828934B1 (ja)
KR (1) KR20230051557A (ja)
TW (1) TWI798789B (ja)
WO (1) WO2022039011A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115523940A (zh) * 2022-09-26 2022-12-27 北京百度网讯科技有限公司 导航显示方法、装置、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220160279A (ko) 2021-05-27 2022-12-06 현대자동차주식회사 모바일 장치 및 차량

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000013782A (ja) * 1998-06-22 2000-01-14 Mitsubishi Electric Corp エプロン監視方法及びその装置
JP2001194167A (ja) * 2000-10-24 2001-07-19 Matsushita Electric Ind Co Ltd 車両ナビゲーション装置
JP2014020863A (ja) 2012-07-17 2014-02-03 Zenrin Datacom Co Ltd 携帯ナビゲーション装置
JP2014048141A (ja) * 2012-08-31 2014-03-17 Aisin Aw Co Ltd 交差点案内システム、方法およびプログラム
JP2019007811A (ja) * 2017-06-23 2019-01-17 トヨタ自動車株式会社 経路案内方法、経路案内装置、及び経路案内プログラム
JP2019090828A (ja) * 2019-02-05 2019-06-13 パイオニア株式会社 表示制御装置およびプログラム
JP2019109252A (ja) 2016-10-26 2019-07-04 グーグル エルエルシー 初期ナビゲーションにおいて視覚ランドマークを使用するためのシステムおよび方法
WO2020059271A1 (ja) * 2018-09-18 2020-03-26 株式会社Screenホールディングス 経路案内プログラムを記録した記録媒体、経路案内装置、および経路案内システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6120199A (ja) * 1984-07-06 1986-01-28 日産自動車株式会社 車両用走行経路誘導装置
TWI408342B (zh) * 2010-03-22 2013-09-11 Inst Information Industry 即時擴增實境裝置、即時擴增實境方法及其電腦程式產品
TWI574223B (zh) * 2015-10-26 2017-03-11 行政院原子能委員會核能研究所 運用擴增實境技術之導航系統

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000013782A (ja) * 1998-06-22 2000-01-14 Mitsubishi Electric Corp エプロン監視方法及びその装置
JP2001194167A (ja) * 2000-10-24 2001-07-19 Matsushita Electric Ind Co Ltd 車両ナビゲーション装置
JP2014020863A (ja) 2012-07-17 2014-02-03 Zenrin Datacom Co Ltd 携帯ナビゲーション装置
JP2014048141A (ja) * 2012-08-31 2014-03-17 Aisin Aw Co Ltd 交差点案内システム、方法およびプログラム
JP2019109252A (ja) 2016-10-26 2019-07-04 グーグル エルエルシー 初期ナビゲーションにおいて視覚ランドマークを使用するためのシステムおよび方法
JP2019007811A (ja) * 2017-06-23 2019-01-17 トヨタ自動車株式会社 経路案内方法、経路案内装置、及び経路案内プログラム
WO2020059271A1 (ja) * 2018-09-18 2020-03-26 株式会社Screenホールディングス 経路案内プログラムを記録した記録媒体、経路案内装置、および経路案内システム
JP2019090828A (ja) * 2019-02-05 2019-06-13 パイオニア株式会社 表示制御装置およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4198949A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115523940A (zh) * 2022-09-26 2022-12-27 北京百度网讯科技有限公司 导航显示方法、装置、电子设备及存储介质
CN115523940B (zh) * 2022-09-26 2023-12-05 北京百度网讯科技有限公司 导航显示方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
EP4198949A4 (en) 2024-02-14
KR20230051557A (ko) 2023-04-18
JP6828934B1 (ja) 2021-02-10
EP4198949A1 (en) 2023-06-21
JP2022034099A (ja) 2022-03-03
TW202215008A (zh) 2022-04-16
US20230314154A1 (en) 2023-10-05
TWI798789B (zh) 2023-04-11

Similar Documents

Publication Publication Date Title
US11692842B2 (en) Augmented reality maps
CN101583842B (zh) 导航系统、便携终端装置及周边图像显示方法
JP4921462B2 (ja) カメラ情報を有するナビゲーションデバイス
US9256983B2 (en) On demand image overlay
US20130162665A1 (en) Image view in mapping
US8532924B2 (en) Method and apparatus for displaying three-dimensional terrain and route guidance
US11656090B2 (en) Method and system for generating navigation data for a geographical location
JPWO2008044309A1 (ja) ナビゲーションシステム、携帯端末装置および経路案内方法
WO2022039011A1 (ja) コンピュータシステムによるナビゲーション
JP2009020089A (ja) ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム
JP2009505098A (ja) ナビゲーションデバイス及びナビゲーションデバイス上に表示された地図データをスクロールする方法
WO2009084126A1 (ja) ナビゲーション装置
JP7485824B2 (ja) ランドマークを使用してユーザの現在の場所または方位を検証するための方法、コンピュータ機器、およびコンピュータ可読メモリ
JP2013225275A (ja) 3次元画像表示システム
RU2375756C2 (ru) Навигационное устройство с информацией, получаемой от камеры
JP2009239621A (ja) 画像上方位表示方法及び装置並びに写真
JP2012138759A (ja) 撮像装置、撮像制御方法及びプログラム
JP5082982B2 (ja) カーナビゲーション装置
CN113465600B (zh) 一种导航方法、装置及电子设备和存储介质
EP3637056B1 (en) Method and system for generating navigation data for a geographical location
WO2023055358A1 (en) Augmented reality street annotations with different formats
CN117537820A (zh) 一种导航方法、电子设备和可读存储介质
JP2011022152A (ja) ナビゲーションデバイス
Olesk Vision-based positioning and navigation with 3D maps: concepts and analysis
JP2016151453A (ja) 経路案内装置、及び経路案内方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21858159

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20237009051

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021858159

Country of ref document: EP

Effective date: 20230315