WO2021019591A1 - 軌跡表示装置 - Google Patents

軌跡表示装置 Download PDF

Info

Publication number
WO2021019591A1
WO2021019591A1 PCT/JP2019/029331 JP2019029331W WO2021019591A1 WO 2021019591 A1 WO2021019591 A1 WO 2021019591A1 JP 2019029331 W JP2019029331 W JP 2019029331W WO 2021019591 A1 WO2021019591 A1 WO 2021019591A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
map
locus
image
display
Prior art date
Application number
PCT/JP2019/029331
Other languages
English (en)
French (fr)
Inventor
尚久 高見澤
橋本　康宣
恵 藏知
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Priority to JP2021536441A priority Critical patent/JP7244649B2/ja
Priority to PCT/JP2019/029331 priority patent/WO2021019591A1/ja
Publication of WO2021019591A1 publication Critical patent/WO2021019591A1/ja
Priority to JP2023036517A priority patent/JP2023075236A/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram

Definitions

  • the present invention relates to a locus display device that displays a route traveled by a user on a guide board map as a locus.
  • a route search system that guides a user by searching for a route from a departure point to a destination using map data and road data
  • the communication type route search system transmits a route search request to a route search server using a mobile terminal, receives a search result, and provides route guidance.
  • the terminal displays the movement locus of the user and the guidance route so as to guide the user in an appropriate direction.
  • the mobile terminal when the mobile terminal displays the guidance route, the mobile terminal adds the latest past movement locus of the mobile terminal to the guidance route based on the movement locus display data and uses it as a display means. By displaying the display, it is possible to correctly guide the traveling direction to the user who owns the mobile terminal.
  • the conventional route guidance system (navigation system) described above has a configuration in which a guidance route is provided to a user by using electronic data such as map data and road data.
  • electronic data such as map data and road data.
  • information boards including maps showing surrounding facilities and directions are installed on streets and in front of stations.
  • the information board contains detailed information specific to the location, which is not included in the electronic map data, in an easy-to-understand manner, which is useful for searching for a nearby destination.
  • the user who uses the information board can recognize the current location indicated on the information board as his / her current position, and can determine the direction to proceed from the positional relationship with the destination on the information board map.
  • the map of the information board shows the route to the destination, it may be difficult to know which direction they are currently facing.
  • the distance from the current location to the destination can be read from the information board map, it may not be possible to grasp the distance as to how much one should move from now on. This is an instant realization of the direction in which the destination on the information board is relative to your current travel route, and how far (closer) your destination is compared to your previous travel distance. Because it cannot be done.
  • An object of the present invention is to provide a locus display device that displays a user's movement locus on a guide plate map so that a user using the guide plate can easily grasp a route to a destination.
  • the present invention is a locus display device that displays a path traveled by a user as an image of a movement locus, and is a position detection unit that acquires position information during movement of the user and a movement locus that obtains position information acquired by the position detection unit.
  • a memory that saves data, a camera that captures the surrounding landscape, an image analysis unit that analyzes images taken by the camera, and a control unit that creates a user movement trajectory based on the movement trajectory data saved in the memory. It is provided with a display for displaying an image of a user movement locus created by the unit.
  • the control unit aligns the guide board map taken by the camera with the created user movement trajectory, and displays the current location on the guide board map.
  • the video of the user's movement trajectory up to is displayed in an overlapping manner.
  • the user since the user can immediately grasp the direction and the sense of distance of the destination based on the memory of the movement so far, he / she can easily move to the destination by using the guide plate.
  • FIG. A diagram showing an example of a guide board map.
  • Information board A diagram showing a state in which movement loci are superimposed and displayed on a map.
  • a flowchart showing the procedure of the display operation of the movement locus.
  • the figure which shows the display example when the scale does not match.
  • the figure which shows the display example when the designation of a display range is too wide.
  • the figure which shows the display example when the display range is modified with respect to FIG. 5A.
  • the figure which shows the state which displayed the photographed image together with the movement locus (Example 2).
  • the figure which shows the relationship between the information board map which a user sees, and the map of AR display (Example 3).
  • the figure which shows the display example of the movement locus by a smartphone (Example 4).
  • a head-mounted display worn by the user on the head
  • a smartphone which is a portable information terminal, or the like
  • AR Augmented Reality
  • FIG. 1 is a block diagram showing a configuration example of the locus display device according to the first embodiment.
  • the HMD1 is a head-mounted display, and the user can view the surrounding landscape through the transmissive display and superimpose the AR image (here, the movement locus) created by the HMD1.
  • the HMD 1 is composed of the following elements connected to the bus 10.
  • the camera 11 captures the scenery around the HMD 1 and captures it as a captured image. There may be multiple cameras.
  • the captured captured image is stored in the memory 27 as captured image data 32, used for image analysis by the image analysis unit 20, or displayed on the display 18.
  • the right visual line detector 12 and the left visual line detector 13 detect the line of sight of the right eye and the left eye, respectively.
  • the process of detecting the line of sight is generally known as an eye tracking process.
  • an infrared LED Light Emitting Diode
  • an infrared camera or the like is used for photographing.
  • the line of sight is detected based on the position of the reflected light generated by the irradiation of the infrared LED on the cornea, that is, the position of the pupil with respect to the position of the corneal reflex with the corneal reflex as a reference point.
  • the vibration generator 14 generates vibration under the control of the CPU 26, and converts the notification information to the user generated by the HMD 1 into vibration.
  • the vibration generator 14 can reliably convey a notification to the user by generating vibration, for example, on the head of the user who is closely attached.
  • a stimulus generator for the user's skin such as pressure, warmth, coldness, or electrical stimulation may be provided.
  • the microphone 15 collects external voices and user's own utterances.
  • the headphone 16 is worn on the user's ear and outputs notification information to the user by voice.
  • the microphone 15 may be a voice input device such as a bone conduction microphone.
  • the headphone 16 may be an audio output device such as a speaker or a bone conduction earphone.
  • the operation input interface (IF) 17 is composed of, for example, a keyboard, key buttons, a touch pad, or the like, and accepts user operation input.
  • the operation input interface 17 may be provided at a position where it is easy for the user of the HMD1 main body to operate, but it may be separated from the main body of the HMD1 and connected by wire or wirelessly.
  • the voice emitted by the user is collected by the microphone 15 to perform the input operation, the input operation screen is displayed on the display 18, and the right eye / left visual line detectors 12 and 13 are displayed. It is possible to detect the line-of-sight position and perform an input operation, photograph the movement (gesture) of the user's hand or body with the camera 11, or detect with the depth sensor 22 to perform the input operation.
  • the display 18 displays an image of movement locus data created by the CPU 26, an image of the real space taken by the camera 11, and the like.
  • the display 18 is a transmissive type, and displays an image instructed by the CPU 26 on the surrounding landscape that can be seen through.
  • the communication interface (IF) 19 performs wireless communication via the antenna. Examples of the wireless communication method include a mobile phone network, a wireless LAN, and Bluetooth (registered trademark).
  • the communication interface 19 may perform wired communication by connecting a cable or the like to the HMD1. For example, it communicates with an external server to acquire electronic map data 31 around the current position.
  • the image analysis unit 20 analyzes the captured image of the camera 11 and detects a predetermined object or the like.
  • a predetermined object or the like In this example, the current location mark, direction mark, scale, etc. are detected from the captured image of the guide plate map.
  • the GPS (Global Positioning System) receiver 21 receives a signal from a GPS satellite and detects the current position.
  • the position information (longitude, latitude information) at each time is acquired and saved as the movement locus data 30.
  • the depth sensor 22 measures the distance from the HMD 1 to the object in front.
  • the depth sensor 22 includes a method of measuring the distance from the flight time of reflected light such as infrared rays and a laser, and a method of measuring the distance from the disparity of images taken by a plurality of cameras mounted at different positions.
  • the CPU 26 By analyzing the distance information acquired by the depth sensor 22 with the CPU 26, it is possible to detect the shape of surrounding objects, the movement of the user's hand or body, and the like. In the analysis of the shape of the surrounding object, the captured image of the camera 11 may be used together.
  • the acceleration sensor 23 is a sensor that detects the acceleration of the HMD1 and captures movement, vibration, impact, and the like.
  • the gyro sensor 24 is a sensor that detects the angular velocity of the HMD1 and captures the state of the vertical, horizontal, and diagonal postures. By using these acceleration sensor 23 and gyro sensor 24, it is possible to detect the movement of the head of the user wearing the HMD1.
  • the geomagnetic sensor 25 is a sensor that detects the magnetic force of the earth, and detects the direction of the geomagnetism that the HMD1 is facing. By using the three-axis type that detects the geomagnetism in the front-back direction, the left-right direction, and the up-down direction as the geomagnetic sensor 25, it is possible to detect a change in the geomagnetism with respect to the movement of the head, that is, the movement of the head.
  • the acceleration sensor 23, the gyro sensor 24, and the geomagnetic sensor 25 can detect the posture and movement of the HMD1 worn by the user in detail.
  • the CPU (Central Processing Unit) 26 controls the operation of the entire HMD 1 by executing the program 28 stored in the memory 27. Further, the CPU 26 is configured to include a processor dedicated to each arithmetic processing such as a GPU (Graphics Processing Unit). In this example, the movement locus acquisition operation and the movement locus display operation are controlled.
  • a processor dedicated to each arithmetic processing such as a GPU (Graphics Processing Unit).
  • GPU Graphics Processing Unit
  • the memory 27 is, for example, a flash memory, a RAM for a work, or the like, and stores a program 28 and various information data 29.
  • the program 28 includes an OS (Operating System) and various programs (moving locus acquisition processing, moving locus display processing, etc.) operating on the OS.
  • the information data 29 includes the movement locus data 30, the electronic map data 31, the captured image data 32 from the camera 11, and the like used for creating the movement locus.
  • the movement locus until the user arrives at the guide plate is acquired by using the GPS receiver 21 or the like of the HMD 1, and is stored in the movement locus data 30 of the memory 27.
  • the map of the guide plate is photographed by the camera 11, and the image analysis unit 20 recognizes the position of the current location and the direction of the direction mark from the photographed image.
  • an image of the movement locus to the current location is generated based on the movement locus data 30, and the display 18 is used to superimpose and display the image on the guide plate map.
  • the end point position of the movement locus is aligned with the position of the current location on the guide plate map, and the direction of the movement locus is adjusted. Display together.
  • the user can visually recognize the trajectory of the movement to the current location as an image superimposed on the map of the guide plate, and it is easy to grasp the association between the destination on the guide plate map and the direction to actually go.
  • Become For example, if you go to the right with respect to the direction you have just walked, you will reach your destination, if you walk as far as you have just walked, you will have a destination, etc., based on your memory of your movements so far. Because you can judge, you will not get lost.
  • 2A to 2C are diagrams for explaining an operation of displaying a user's movement locus on a map of a guide plate.
  • FIG. 2A is a diagram showing an example of a guide plate map, and shows a state in which the user 2 is looking at the guide plate 3.
  • a map 300 of the area is described, and a current location mark 301 indicating the installation position of the guide plate 3 and a direction mark 302 indicating the direction of the map are described. It is assumed that the user 2 is going to move to, for example, "C building" (the destination 303).
  • the positional relationship between the current location 301 and the destination 303 is shown, but if the user 2 is not familiar with the geography of the area, simply looking at the information board 3 will lead to the destination 303. It is not possible to immediately determine which road to go in which direction. This is because the sense of direction and the sense of distance that the user 2 has experienced up to the current location 301 are not consistent with the map information described in the map 300. Therefore, in this embodiment, the trajectory of the user 2 moving to the current location 301 is superimposed and displayed on the map 300 of the guide plate 3.
  • FIG. 2B is a diagram showing an example of the movement locus of the user.
  • the movement locus 400 indicates what kind of route the user 2 has traveled to the current location (end point) 401, and the position information (movement locus) acquired by the GPS receiver 21 in the process of the user's movement. Created based on the data 30).
  • the starting point 402 of the movement locus is, for example, a point that goes back a predetermined distance or a predetermined time from the current location 401. This is because the range useful as the movement locus 400 is sufficient only for a certain period immediately before the user's memory is clear.
  • the movement locus 400 includes direction information 403 for aligning the direction with the map of the guide plate 3.
  • FIG. 2C is a diagram showing a state in which the user's movement locus is superimposed and displayed on the guide board map.
  • the image of the movement locus 400 of FIG. 2B is displayed on the map 300 of the guide plate 3 which can be seen through the display 18 of the HMD 1.
  • the guide plate map 300 and the movement locus 400 are aligned. Specifically, the reference point of the current location 301 of the map 300 and the current location (end point) 401 of the movement locus 400 is aligned, and the direction mark 302 of the guide plate 3 and the direction information 403 of the movement locus 400 are aligned.
  • the movement locus 400 is enlarged / reduced according to the scale of the map 300. As a result, the movement locus 400 is displayed along the road of the guide board map 300.
  • alignment the above reference point alignment, direction alignment, and scale alignment will be collectively referred to as "alignment”.
  • the user 2 may proceed in the direction of returning to the road that the user 2 has just moved. And how long you need to walk to reach "C Building” can be immediately grasped based on the memory of the movement so far.
  • FIG. 3 is a flowchart showing the procedure of the movement locus display operation. The following processing is executed by the CPU 26 according to the program 28 (movement locus acquisition processing, movement locus display processing) in the memory 27.
  • S200 The user starts moving.
  • S201 In the process of moving the user, the GPS receiver 21 of the HMD1 acquires the position information at each time.
  • the acquired position information data is stored in the movement locus data 30 in the memory 27.
  • S202 The user arrives at the information board 3.
  • S203 An image showing the movement locus 400 is created based on the movement locus data 30 in the memory 27.
  • the installation position (current location 301) of the guide plate 3 is the end point 401 of the movement locus 400.
  • the direction of the moving locus 400 image created at this stage is defined by the direction information 403, but the scale is arbitrary.
  • the guide plate map 300 is photographed by the camera 11 and saved as photographed image data 32.
  • the camera 11 may be activated manually or automatically. In the case of manual operation, the user operates (button press, voice command, etc.) on the operation input IF17. In the case of automatic, the camera 11 of the HMD1 is activated by recognizing the image of the map 300 on the guide plate or the characters of "current location" 301 on the map.
  • the image analysis unit 20 acquires information on the current location 301, direction 302, and scale in the guide plate map 300 from the image taken by the camera.
  • the current location 301 recognizes the character "current location”
  • the direction 302 recognizes the "north mark” on the map
  • the scale reads the scale value (scale, omitted in the drawing) described on the guide plate map 300.
  • S206 Rotate the direction 403 of the image of the movement locus 400 created in S203 to match the direction 302 of the guide plate map 300.
  • the scale of the image of the movement locus 400 is enlarged / reduced to match the scale of the guide plate map 300.
  • S207 Align the end point 401 of the image of the movement locus 400 with the current location 301 of the information board map 300. That is, the three-dimensional coordinates (absolute value) of the current location 301 acquired from the guide plate map 300 is set as the "reference point", and the end point 401 of the movement locus 400 is moved so as to match the reference point.
  • S208 The image of the movement locus 400 whose direction, position, and scale are adjusted is displayed on the guide plate map 300 by the display 18. At that time, as a result of aligning the movement locus 400 and the guide plate map 300 in S207, even if the viewpoint position of the user 2 moves and the viewing angle of the guide plate 3 changes, the position of the end point 401 of the movement locus 400 is guided. It is attached to the current location 301 of the board map 300 and does not shift. In this state, the user can refer to the movement locus 400 displayed on the guide board map 300 and easily grasp the route to actually go to the destination from now on.
  • the "north mark” as shown in FIG. 2A may be acquired, but the "north mark” may not be displayed in the map.
  • the electronic map data 31 (direction is known) of the area concerned may be acquired via the communication IF19 based on the GPS information, and the direction of the guide plate map 300 may be estimated by matching with this. If the direction cannot be estimated even after that, the road of the guide plate map 300 and the shape of the movement locus 400 are matched, and the movement locus 400 is rotated and displayed in the most matching direction. Alternatively, the movement locus 400 is displayed by assuming that the direction in which the user 2 is currently facing (the front direction of the HMD 1) is the upward direction of the guide plate map 300.
  • the scale may not be indicated on the guide plate 3.
  • the scale of the guide plate map 300 may be estimated by acquiring the electronic map data 31 (the scale is known) of the area and matching it. If the scale cannot be estimated even after that, the road of the guide plate map 300 and the shape of the movement locus 400 are matched, and the movement locus 400 is enlarged / reduced and displayed so as to match the most.
  • a preset scale value for example, a scale value recommended for the guide plate map 300 (such as 1/1000) is used.
  • neither the direction nor the scale information can be obtained from the information board map 300, and when matching with the electronic map data 31 of the area, the two parameters of rotation and enlargement / reduction of the electronic map data 31 are changed. It is also possible to estimate both the direction and the scale from the most matching conditions.
  • the range of the map 300 described on the guide plate 3 is finite and the user's movement memory fades with the passage of time, it is practical to set an upper limit on the display range (display distance and display period) of the movement locus. Is the target. Further, by narrowing the display range to the latest locus, the appearance of the movement locus is improved. Therefore, in this embodiment, the user specifies the display distance or the display period of the movement locus via the operation input IF17.
  • the CPU 26 extracts data in a designated range from the movement locus data 30 according to a designated display distance or display period, and displays the movement locus 400.
  • FIG. 4A is a diagram showing a standard display example of the movement locus.
  • the display range of the movement locus 400 is a case where it substantially matches the range of the guide plate map 300, and it can be said that the designation of the display range (starting point 402) is appropriate.
  • FIG. 4B is a diagram showing a display example when the scales do not match.
  • the designation of the display range (starting point 402) is the same as in the case of FIG. 4A, but the scale of the guide plate map 300 is unknown, and the scale is assumed to be a preset scale (for example, 1/1000). In this case, the direction of the movement locus 400 is known, but the actual sense of distance cannot be grasped because the distances do not match.
  • FIG. 4C is a diagram showing a display example when the display range is narrowly specified.
  • the display range 410 (indicated by the alternate long and short dash line) is limited to the locus from the immediately preceding turning point 411. In this way, by narrowing the display range to the locus near the current location 301 (end point 401), the latest movement direction can be displayed in an easy-to-understand manner.
  • FIG. 5A is a diagram showing a display example when the designation of the display range is too wide.
  • the first half 400'of the movement locus 400 protrudes from the guide plate map 300, and the protruding portion is useless to the user.
  • the designation of the display distance distance to the starting point 402
  • the movement locus 400 may protrude from the guide plate map 300 depending on the directional relationship between the current location 301 and the starting point 402.
  • FIG. 5B is a diagram showing a display example when the display range is modified with respect to FIG. 5A.
  • This is a case where the display range 410 (indicated by the alternate long and short dash line) of the movement locus 400 is modified to be within the range of the guide plate map 300.
  • the display range can be modified either manually or automatically.
  • the CPU 26 recognizes the range (two-dimensional coordinates) of the guide plate map 300, and when the displayed position (two-dimensional coordinates) of the movement locus 400 is outside the range of the guide plate map 300, that portion. Should be hidden.
  • FIG. 5C is a diagram showing a case where only the immediately preceding moving direction is displayed. That is, instead of the movement locus to the current value 301 (end point 401), the movement direction when the current value 301 (end point 401) is reached is indicated by an arrow 420. In this example, only the direction of movement immediately before is displayed, but the user can also grasp the direction to move in the future. In the case of this display, the scale information of the guide plate map 300 is not required.
  • the user can visually recognize the locus of movement to the current location as an image superimposed on the map of the guide plate, and the direction and distance of the destination are felt based on the memory of the movement so far. Can be grasped immediately, so that the guide plate can be used to easily move to the destination.
  • the display 18 of the HMD1 may be a non-transparent type. In that case, by displaying the surrounding scenery taken by the camera 11 on the display 18, it is possible to make the surrounding scenery seem to be seen directly through the transmissive display. By superimposing the AR image created by the HMD1 on the surrounding landscape photographed by the camera 11, the display 18 can perform the operation described in the first embodiment even if the display 18 is a non-transparent display. It can be realized in the same way as in the case of.
  • the surrounding landscape is photographed by the HMD camera while the user is moving, and then the photographed image is also displayed when the user's movement trajectory is displayed on the map of the guide plate.
  • the scenery such as landmarks and intersections seen from the moving route is photographed by the camera 11 of the HMD1.
  • the shooting timing may be specified manually or automatically. When shooting automatically, it is taken at regular intervals, when the movement direction is changed, when the movement is stopped, and so on.
  • the camera image may be analyzed by the image analysis unit 20 and taken when a specific object is detected.
  • the captured image is stored in the memory 27 as captured image data 32.
  • the data of the captured image is read from the memory 27 and displayed as an AR (augmented reality) image at the corresponding position on the map. ..
  • FIG. 6 is a diagram showing a state in which a captured image is displayed together with the movement locus 400 on the guide plate map 300.
  • the captured images 501, 502, and 503 are AR-displayed corresponding to the positions of "A bread shop", “B cafeteria", and "C building” on the map.
  • the display positioning of each captured image on the map includes position information (detected by the GPS receiver 21), imaging direction (detected by the acceleration sensor 23, gyro sensor 24, and geomagnetic sensor 25) at the time of camera imaging, and imaging distance. It is calculated based on (detected by the depth sensor 22 or using the distance measurement information of the camera 11).
  • the guide board map 300 displays the scenery (photographed images) 501 to 503 on the way together with the movement locus 400, so that the user 2 relies on the memory of the scenery seen during the movement so far.
  • the route to the destination for example, "C building" can be grasped more easily.
  • the image taken during the movement can also be used for the matching process of the movement locus 400.
  • the position, direction, and scale of the guide plate map 300 are adjusted.
  • the movement locus 400 is matched so that the position of the “C building” in the guide plate map 300 and the position of the captured image 503 match.
  • the matching accuracy becomes higher than that of matching the guide plate map 300 using only the shape of the movement locus 400.
  • the image matching with the signboard logo in the captured images 501 and 502 and the comparison of the characters of the store name in the captured image can also be performed. The accuracy of matching can be improved.
  • the direction of the movement locus 400 can be confirmed using the captured image. That is, the user 2 standing in front of the guide plate 3 collates the photographed image on the guide plate map 300 with the scenery seen from the current position, so that the direction of the guide plate map 300 and the direction of the user 2 (HMD1) are directed. You can know the relationship with the direction you are in. For example, if the camera and sensor of the HMD1 can recognize that "A bread shop” is on the left and "B cafeteria" is on the right, the current user 2 (HMD1) is facing upward on the information board map 300. become.
  • the surrounding scenery seen by the user while moving is displayed according to the movement locus of the guide plate map, so that the route to the destination can be grasped more easily.
  • the guide plate map is converted into a line of sight and displayed as an AR (augmented reality) image.
  • FIG. 7 is a diagram showing the relationship between the information board map viewed by the user and the map displayed in AR.
  • the HMD 1 photographs the map 300 of the guide plate 3 by the camera 11 and captures it in the memory 27 as captured image data 32.
  • the movement locus 400 is displayed on the display 18, the movement locus 400 is not displayed on the guide plate map 300 itself as in the first and second embodiments, but is displayed on the captured guide plate map image 310. That is, since the image 310 of the guide board map is AR-displayed, it is referred to as an "AR map".
  • the AR map 310 changes its line of sight on the road surface or on a horizontal plane parallel to the road surface, and further displays it according to the actual direction.
  • the alignment of the movement locus 400 with respect to the AR map 310 is performed in the same manner as in the first embodiment.
  • the movement locus 400 of the user up to the current location 311 is overlapped and displayed on the AR map 310, and the direction of the movement locus 400 is displayed according to the actual direction. Therefore, as compared with the case where the movement locus 400 is displayed on the guide plate map 300 erected as in the first embodiment, the user 2 can feel the direction by seeing the AR map 310 whose line of sight is changed on the road surface. It can be grasped more directly.
  • the position where the user 2 gazes at the information board map 300 can be seen on the AR map 310. Therefore, the line of sight of the user 2 with respect to the guide plate 3 is detected by the right eye / left visual line detectors 12 and 13, and the gazing point 305 (marked with ⁇ ) of the user 2 on the guide plate 3 is obtained. Then, the position 315 on the AR map 310 corresponding to the gazing point 305 of the guide plate 3 is highlighted (marked with a star). This is convenient when the user 2 searches for the destination on the information board map 300 and confirms the position on the AR map 310.
  • the condition for highlighting the gaze point 315 on the AR map 310 is that the line of sight of the user 2 is directed to the gaze point 305 of the guide plate 3 for a certain period of time or longer, and the time for highlighting is the line of sight. Decide according to time.
  • the position of the gazing point 315 displayed on the AR map 310 is fixed to the highlighted position immediately before the line of sight moves.
  • the position of the gaze point 315 highlighted by the AR map 310 does not shift.
  • the process of transitioning from the information board map 300 to the AR map 310 on the road surface is displayed like a moving image by gradually changing the angle (line-of-sight angle) of the display surface of the AR map 310 with respect to the road surface. It becomes easier to grasp the correspondence between the positions.
  • the user since the guide board map is displayed with the directions aligned on the road surface, the user can more directly grasp the sense of direction of the route to the destination.
  • the smartphone which is a portable information terminal, is used as the locus display device.
  • the smartphone also has the same function as the HMD1 shown in FIG. 1, but the display 18 is non-transparent, and the guide plate map taken by the camera 11 and the movement locus of the user are displayed on the display 18.
  • FIG. 8 is a diagram showing an example of displaying a movement locus by the smartphone 5.
  • the user holds the smartphone 5 in his hand 2'and points the camera 11 (not shown) on the back toward the guide plate 3 to take a picture of the map 300.
  • the guide plate map 300 photographed by the camera 11 is displayed as a photographed image on the display 18 of the smartphone 5. This image will be referred to as a "photographed map" 320.
  • the movement locus 400 of the user up to now is displayed on the photographed map 320 in an overlapping manner.
  • the alignment of the movement locus 400 with respect to the photographed map 320 is performed in the same manner as in the first embodiment.
  • the user can not only easily grasp the route to the destination by the photographed map 320 and the movement locus 400 displayed on the smartphone 5, and then display the display screen of the photographed map 320 and the movement locus 400 on the smartphone 5. If you save it and move to the destination while referring to it, you will be able to reach the destination more reliably.
  • the photographed map 320 displayed on the display 18 is a camera-through (live view) image, and the photographed map 320 and the movement locus 400 are displayed on the display 18 only when the camera 11 of the smartphone 5 is pointed at the guide plate 3. May be.
  • the present invention is not limited to the above-mentioned examples, and includes various modifications.
  • the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to the one including all the described configurations. It is also possible to add the configuration of another embodiment to the configuration of one embodiment. Further, it is possible to add / delete / replace other configurations for a part of each embodiment.
  • the GPS receiver 21 cannot receive the GPS signal when moving in an underground city or the like and arrives at the guide plate using only the inertial sensors (gyro sensor 24, geomagnetic sensor 25, acceleration sensor 23), the HMD1 recognizes it. The position information of the end point may deviate from the true value. Therefore, the electronic map data (facility map, etc.) including the current location recognized by HMD1 is acquired, and the coordinates of the current location (data equivalent to latitude and longitude) on the information board map and the electronic map data, and the direction of the map are matched. Do. Then, the coordinates of the current location acquired from the electronic map data are corrected as the correct position information of the HMD1.
  • this correction process can be similarly applied when the position information is acquired by using a beacon or the like, or when the GPS reception state is poor even outdoors. It is also possible to carry out at any time at the intermediate point where the user is moving, and by using the corrected position information and direction, the error of the displayed movement locus can be reduced.
  • the display method may be to superimpose the movement locus on the paper guide map itself, or to capture the paper guide map with a camera and display the movement locus on the captured image.
  • the difference from the guide board map is that the current location is not shown on the paper guide map, so the user specifies the current location on the paper guide map with a finger or the like, takes a picture with a camera, and recognizes it as the current location.
  • the current location may be recognized and specified by matching with the movement locus or electronic map data.
  • the present invention is intended for route guidance using a guide board map (or a paper guide map), and its effect will be described.
  • the conventional route guidance is a combination of electronic map data and user position information (GPS information).
  • the information board does not have a description in the electronic map data, but detailed information specific to the place is described, and the user may decide the destination based on this.
  • there are merits such as the information board being easier for the user to see and the destination being easier to understand. Therefore, by displaying the movement locus of the user on the guide board map, there is an effect that the information written on the guide board can be easily searched.
  • the upward direction of the guide board map and the installation direction of the guide board match, it is easy for the user to understand which direction to go to the destination from now on.
  • the upward direction of the guide plate map and the installation direction of the guide plate may not always match.
  • the user can immediately grasp the direction and sense of distance of the destination based on the memory of the movement so far, so the guide board is used. It has the effect of being able to easily move to the destination.
  • HMD Head mount display
  • 5 Smartphone (trajectory display device)
  • 11 Camera
  • 12, 13 Line-of-sight detector
  • 17 Operation input interface
  • 18 Display
  • 19 Communication interface
  • 20 Image analysis unit
  • 21 GPS receiver
  • 26 CPU
  • 27 Memory
  • 30 Movement trajectory data
  • 31 Electronic map data
  • 32 Photographed image data
  • 300 Information board Map
  • 301 Current location
  • 302 Direction
  • 303 Destination
  • 310 AR map
  • 320 Photographed map
  • 400 Movement locus
  • 401 End of locus
  • 402 Start of locus
  • 403 Direction
  • 410 Display range
  • 420 Moving direction
  • 501 to 503 Captured image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)

Abstract

ユーザの移動軌跡を映像で表示する軌跡表示装置（ＨＭＤ）１において、ユーザの移動中の位置情報を取得するＧＰＳ受信機２１と、取得した位置情報を移動軌跡データとして保存するメモリ２７と、周囲の風景を撮影するカメラ１１と、カメラで撮影した画像を解析する画像解析部２０と、メモリに保存した移動軌跡データを基にユーザ移動軌跡を作成するＣＰＵ２６と、作成されたユーザ移動軌跡の映像を表示するディスプレイ１８と、を備える。ユーザ２が案内板３に到着しカメラ１１で案内板地図３００が撮影されると、ＣＰＵ２６は、撮影した案内板地図３００と作成したユーザ移動軌跡４００との位置合わせを行い、ディスプレイ１８により、案内板地図３００に現在地３０１までのユーザ移動軌跡４００の映像を重ねて表示する。

Description

軌跡表示装置
　本発明は、案内板地図上にユーザが移動した経路を軌跡で表示する軌跡表示装置に関する。
　従来から、地図データ、道路データを用いて、出発地から目的地までの経路を探索して利用者を案内する経路探索システム（ナビゲーションシステム）が知られている。この中で通信型の経路探索システムは、携帯端末を利用して経路探索サーバに経路探索要求を送信し、探索結果を受信して経路案内を行うものである。その場合、端末にはユーザの移動軌跡と案内経路とを表示させて、ユーザを適切な方向に導くようにしている。
　これに関し特許文献１に記載の経路案内システムでは、「携帯端末は、案内経路表示する際に、移動軌跡表示データに基づいて携帯端末の直近の過去の移動軌跡を案内経路に加えて表示手段に表示させることにより、携帯端末を所持した利用者に対して進行方向を正しく案内することができる」と述べられている。
　また特許文献２に記載のナビゲーションシステムでは、「携帯端末から更新要求があった際に、携帯端末の位置情報を元に地図データに近隣目標物情報と移動情報を付加し要求元に返信し、携帯端末上に編集後の地図データを表示する」構成となっている。
特開２０１１－２０２９８４号公報 特開２０１２－０７８１３９号公報
　前記した従来の経路案内システム（ナビゲーションシステム）では、地図データや道路データといった電子データを使用してユーザに案内経路を提供する構成である。一方、街路や駅前等には、周辺の施設や道順を示した地図を含む案内板が設置されている。案内板には、電子地図データには記載されない、その場所に特化した詳細な情報が分かりやすく記載されていて、付近の目的地を検索するのに有用である。
　案内板を利用するユーザは、案内板に示された現在地を自分の今いる位置として認識し、案内板地図上の目的地との位置関係から進むべき方向を判断できる。しかし、案内板の地図上で、目的地に向かう経路が記載されていても、それらが現在自分の向いている方向に対して、どの方向なのかが分からずに迷うことがある。また、案内板地図により現在地から目的地までの距離を読み取ることができても、自分がこれからどれだけ移動すればよいかという距離感として把握することができない場合がある。これは、案内板上の目的地が、自分の今までの移動経路に対しどの方向にあるのか、また今までの移動距離と比較して目的地がどれだけ遠い（近い）のかを即座に実感できないからである。
　前記特許文献１，２を含め従来技術では、電子地図データを使用して経路案内を行うものであり、上記のような街路に設置された案内板を利用した経路案内については何ら考慮されなかった。
　本発明の目的は、案内板を利用するユーザが目的地への経路を容易に把握するために、案内板地図にユーザの移動軌跡を表示する軌跡表示装置を提供することである。
　本発明は、ユーザが移動した経路を移動軌跡の映像で表示する軌跡表示装置であって、ユーザの移動中の位置情報を取得する位置検出部と、位置検出部で取得した位置情報を移動軌跡データとして保存するメモリと、周囲の風景を撮影するカメラと、カメラで撮影した画像を解析する画像解析部と、メモリに保存した移動軌跡データを基にユーザ移動軌跡を作成する制御部と、制御部で作成されたユーザ移動軌跡の映像を表示するディスプレイと、を備える。ユーザが案内板に到着しカメラで案内板地図が撮影されると、制御部は、カメラで撮影した案内板地図と作成したユーザ移動軌跡との位置合わせを行い、ディスプレイにより、案内板地図に現在地までのユーザ移動軌跡の映像を重ねて表示する。
　本発明によれば、ユーザは今までの移動の記憶に基づいて目的地の方向や距離感を即座に把握できるので、案内板を利用して目的地へ容易に移動することができる。
実施例１に係る軌跡表示装置（ＨＭＤ）の構成例を示すブロック図。 案内板地図の一例を示す図。 ユーザの移動軌跡の一例を示す図。 案内板地図上に移動軌跡を重ねて表示した状態を示す図。 移動軌跡の表示動作の手順を示すフローチャート。 移動軌跡の標準的な表示例を示す図。 縮尺が一致しない場合の表示例を示す図。 表示範囲を狭く指定した場合の表示例を示す図。 表示範囲の指定が広すぎる場合の表示例を示す図。 図５Ａに対し表示範囲を修正した場合の表示例を示す図。 直前の移動方向のみを表示する場合を示す図。 移動軌跡とともに撮影画像を表示した状態を示す図（実施例２）。 ユーザの見る案内板地図とＡＲ表示の地図の関係を示す図（実施例３）。 スマートフォンによる移動軌跡の表示例を示す図（実施例４）。
　以下、本発明の実施形態を図面を用いて説明する。軌跡表示装置としては、ユーザが頭部に装着するヘッドマウントディスプレイ（Head Mounted Display、以下、ＨＭＤという）や携帯型の情報端末であるスマートフォンなどが使用できる。いずれも、現実の風景にコンピュータなどで作成した画像コンテンツを重畳させて表示するＡＲ（Augmented Reality：拡張現実）技術を搭載したものである。
　実施例１では、軌跡表示装置としてヘッドマウントディスプレイ（ＨＭＤ）を用いる場合について、基本構成と動作を説明する。
  図１は、実施例１に係る軌跡表示装置の構成例を示すブロック図である。ＨＭＤ１は、頭部装着型ディスプレイであり、ユーザは透過形ディスプレイを介して周囲の風景を見るとともに、ＨＭＤ１で作成したＡＲ画像（ここでは移動軌跡）を重ねて見ることができる。ＨＭＤ１は、バス１０に接続された以下の要素で構成されている。
　カメラ１１は、ＨＭＤ１の周囲の風景を撮影して撮影画像として取り込む。カメラは複数であってもよい。取り込んだ撮影画像は撮影画像データ３２としてメモリ２７に保存し、画像解析部２０での画像解析に用いたり、ディスプレイ１８に表示したりする。
　右目視線検出器１２および左目視線検出器１３は、それぞれ右目、左目の視線を検出する。なお、視線を検出する処理は、アイトラッキング処理として一般に知られている。例えば、角膜反射を利用した方法では、赤外線ＬＥＤ（Light Emitting Diode）をユーザの顔に照射して、赤外線カメラなどによって撮影する。そして、赤外線ＬＥＤの照射でできた反射光の角膜上の位置、すなわち角膜反射を基準点とし、角膜反射の位置に対する瞳孔の位置に基づいて、視線を検出するものである。
　振動発生器１４は、ＣＰＵ２６の制御によって振動を発生させるものであり、ＨＭＤ１にて生成されたユーザへの通知情報を振動に変換する。振動発生器１４は、例えば密接装着されているユーザの頭部などに振動を発生させることにより、ユーザへの通知を確実に伝えることができる。なお、これ以外に、圧力、温感、冷感、あるいは電気刺激などのユーザの皮膚に対する刺激発生器を設けてもよい。
　マイク１５は、外部からの音声やユーザ自身の発声を集音する。ヘッドフォン１６は、ユーザの耳部に装着され、ユーザへの通知情報を音声で出力する。なお、マイク１５は、骨伝導マイクなどの音声入力デバイスであってもよい。ヘッドフォン１６は、スピーカあるいは骨伝導イヤホンなどの音声出力デバイスであってもよい。
　操作入力インタフェース（ＩＦ）１７は、例えばキーボードやキーボタン、またはタッチパッドなどからなり、ユーザの操作入力を受け付ける。操作入力インタフェース１７は、ＨＭＤ１本体のユーザが操作しやすい位置に設ければよいが、ＨＭＤ１の本体から分離して、有線や無線にて接続された形態であってもよい。
　その他のＨＭＤ１の使い勝手を考慮した操作入力法として、ユーザの発する音声をマイク１５で集音して入力操作を行うこと、ディスプレイ１８に入力操作画面を表示させ、右目／左目視線検出器１２，１３により視線位置を検出して入力操作とすること、ユーザの手や身体の動き（ジェスチャ）をカメラ１１で撮影、または深度センサ２２で検出して入力操作を行うこと、が可能である。
　ディスプレイ１８は、ＣＰＵ２６が作成した移動軌跡データの映像、カメラ１１が撮影した現実空間の映像、等の表示を行う。ディスプレイ１８は透過型とし、透過して見える周囲の風景に重ねて、ＣＰＵ２６が指示した映像の表示を行う。
　通信インタフェース（ＩＦ）１９は、アンテナを介して無線通信を行う。無線通信の方式として、携帯電話網、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などが挙げられる。通信インタフェース１９は、ＨＭＤ１にケーブル等を接続して有線で通信を行ってもよい。例えば外部サーバと通信して、現在位置周辺の電子地図データ３１を取得する。
　画像解析部２０は、カメラ１１の撮影画像を解析し所定のオブジェクト等を検出する。本例では、案内板地図の撮影画像から、現在地マークや方角マーク、縮尺等を検出する。
　ＧＰＳ（Global Positioning System）受信機２１は、ＧＰＳ衛星からの信号を受信して、現在位置の検出を行う。本例では、ユーザの移動軌跡を作成するために、各時刻における位置情報（経度、緯度情報）を取得し、移動軌跡データ３０として保存する。
　深度センサ２２は、ＨＭＤ１から前方の物体までの距離を測定する。深度センサ２２には、赤外線やレーザなどの反射光の飛行時間から距離を測定する方式や、位置をずらして取り付けた複数のカメラで撮影した画像の視差から距離を測定する方式がある。深度センサ２２で取得した距離情報をＣＰＵ２６で解析することにより、周囲の物体の形状、ユーザの手や身体の動きなどを検出することができる。なお、周囲の物体の形状の解析では、カメラ１１の撮影画像を合わせて使用してもよい。
　加速度センサ２３は、ＨＭＤ１の加速度を検出するセンサであり、動き、振動、および衝撃などを捉える。ジャイロセンサ２４は、ＨＭＤ１の角速度を検出するセンサであり、縦、横、および斜めの姿勢の状態を捉える。これら加速度センサ２３およびジャイロセンサ２４を用いることによって、ＨＭＤ１を装着しているユーザの頭部の動きを検出することができる。
　地磁気センサ２５は、地球の磁力を検出するセンサであり、ＨＭＤ１の向いている地磁気の方向を検出する。地磁気センサ２５として、前後方向と左右方向と上下方向の地磁気を検出する３軸タイプを用いることによって、頭部の動きに対する地磁気の変化、すなわち頭部の動きを検出できる。これら加速度センサ２３、ジャイロセンサ２４、および地磁気センサ２５により、ユーザが装着しているＨＭＤ１の姿勢や動きを詳細に検出することができる。
　ＣＰＵ（Central Processing Unit）２６は、メモリ２７に記憶されるプログラム２８を実行することで、ＨＭＤ１全体の動作を制御する。またＣＰＵ２６は、ＧＰＵ（Graphics Processing Unit）等各演算処理専用プロセッサを含んで構成される。本例では、移動軌跡の取得動作、及び移動軌跡の表示動作の制御を行う。
　メモリ２７は、例えば、フラッシュメモリおよびワーク用のＲＡＭ等であり、プログラム２８および各種の情報データ２９を記憶する。プログラム２８には、ＯＳ（Operating System）および当該ＯＳ上で動作する各種プログラム（移動軌跡の取得処理、移動軌跡の表示処理など）が含まれる。情報データ２９には、移動軌跡の作成に使用する移動軌跡データ３０、電子地図データ３１、カメラ１１からの撮影画像データ３２などが含まれる。
　本実施例の軌跡表示装置（ＨＭＤ１）の基本動作を説明する。ユーザが案内板に到着するまでの移動軌跡をＨＭＤ１のＧＰＳ受信機２１等を使用して取得し、メモリ２７の移動軌跡データ３０に保存する。案内板に到着すると、案内板の地図をカメラ１１で撮影し、画像解析部２０により、撮影した画像から現在地の位置と方角マークの向きを認識する。そして、移動軌跡データ３０に基づき現在地までの移動軌跡の映像を生成し、ディスプレイ１８を用いて案内板地図上に重ねて表示する。その際、各種センサ（深度センサ２２、加速度センサ２３、ジャイロセンサ２４、地磁気センサ２５）の検出情報を用いて案内板地図の現在地の位置に移動軌跡の終点位置を合わせ、また移動軌跡の方角を合わせて表示する。
　その結果、ユーザは、現在地まで移動してきた軌跡を、案内板の地図に重ねられた映像として視認することができ、案内板地図上の目的地と実際に進むべき方向との関連付けを把握しやすくなる。例えば、今歩いてきた方向に対して右に行けば目的地に到着する、今歩いてきた距離と同程度歩けば目的地がある、等、今までの移動の記憶に基づいて方向や距離感を判断できるため、迷うことがなくなる。
　次に、本実施例の軌跡表示装置の動作を具体的に説明する。
  図２Ａ～図２Ｃは、案内板の地図に重ねてユーザの移動軌跡を表示する動作を説明する図である。
　図２Ａは、案内板地図の一例を示す図であり、ユーザ２が案内板３を見ている状態を示している。案内板３には、当該地域の地図３００が記載されるとともに、案内板３の設置位置を示す現在地マーク３０１と、地図の方角を示す方角マーク３０２が記述されている。ユーザ２はこれから、例えば「Ｃビル」（目的地３０３とする）へ移動しようとする場合を想定する。
　案内板の地図３００によれば、現在地３０１と目的地３０３の位置関係は示されているが、ユーザ２が当該地域の地理に詳しくない場合、案内板３を見ただけでは、目的地３０３へ行くには実際にどの道路をどの方向へ進めばよいかを即座に判断することができない。これは、ユーザ２が現在地３０１に到るまで経験してきた方向感や距離感と、地図３００に記載される地図情報との整合が取れていないからである。そこで本実施例では、案内板３の地図３００上に、ユーザ２が現在地３０１まで移動してきた軌跡を重ねて表示するようにした。
　図２Ｂは、ユーザの移動軌跡の一例を示す図である。移動軌跡４００は、ユーザ２が現在地（終点）４０１に至るまでどのような経路で移動したかを軌跡で示したもので、ユーザが移動する過程でＧＰＳ受信機２１により取得した位置情報（移動軌跡データ３０）を基に作成する。移動軌跡の起点４０２は、例えば、現在地４０１から所定の距離、あるいは所定の時間だけ遡った地点とする。これは、移動軌跡４００として有用な範囲は、ユーザの記憶が鮮明である直前の一定期間のみで十分であるからである。また移動軌跡４００には、案内板３の地図との方向合わせのため、方角情報４０３が含まれている。
　図２Ｃは、案内板地図上にユーザの移動軌跡を重ねて表示した状態を示す図である。ユーザ２はＨＭＤ１を頭部に装着して図２Ａの案内板３を見たとき、ＨＭＤ１のディスプレイ１８には、透過して見える案内板３の地図３００上に、図２Ｂの移動軌跡４００の映像が重なった状態で表示される。表示する際には、案内板地図３００と移動軌跡４００の位置合わせを行う。具体的には、地図３００の現在地３０１と移動軌跡４００の現在地（終点）４０１との基準点合わせ、及び案内板３の方角マーク３０２と移動軌跡４００の方角情報４０３の方向合わせを行っている。さらに、図２Ｃには記載していないが、地図３００の縮尺に合わせて移動軌跡４００の拡大／縮小を行っている。その結果、移動軌跡４００は案内板地図３００の道路に沿って表示される。なお、以下では、上記の基準点合わせ、方向合わせ、縮尺合わせを総称して「位置合わせ」と呼ぶことにする。
　案内板地図３００上にユーザ２が移動してきた軌跡を表示することで、例えば、「Ｃビル」が目的地３０３の場合、ユーザ２は、今移動してきた道を戻る方向に進めばよいこと、及びどの程度歩けば「Ｃビル」に到着できるかを、今までの移動の記憶に基づいて即座に把握できる。
　図３は、移動軌跡の表示動作の手順を示すフローチャートである。以下の処理は、ＣＰＵ２６がメモリ２７内のプログラム２８（移動軌跡の取得処理、移動軌跡の表示処理）に従い実行する。
　Ｓ２００：ユーザが移動を開始する。
  Ｓ２０１：ユーザが移動する過程で、ＨＭＤ１のＧＰＳ受信機２１により各時刻における位置情報を取得する。取得した位置情報のデータは、メモリ２７内の移動軌跡データ３０に保存される。
　Ｓ２０２：ユーザは案内板３に到着する。
  Ｓ２０３：メモリ２７内の移動軌跡データ３０を基に、移動軌跡４００を示す映像を作成する。なお、案内板３の設置位置（現在地３０１）が移動軌跡４００の終点４０１となる。この段階で作成される移動軌跡４００の映像は、方角情報４０３で方向が規定されるが、縮尺は任意とする。
　Ｓ２０４：カメラ１１で案内板地図３００を撮影し、撮影画像データ３２として保存する。カメラ１１の起動は手動／自動のいずれでもよい。手動の場合は、操作入力ＩＦ１７に対するユーザの操作（ボタン押、音声命令等）による。自動の場合は、ＨＭＤ１のカメラ１１が案内板の地図３００の画像、または地図上の「現在地」３０１の文字を認識することで起動させる。
　Ｓ２０５：画像解析部２０は、カメラの撮影画像から、案内板地図３００内の現在地３０１、方角３０２、縮尺の情報を取得する。現在地３０１は「現在地」という文字認識、方角３０２は地図上の「北マーク」の認識、縮尺は案内板地図３００に記述された縮尺値（スケール、図面では省略）を読み取る。
　Ｓ２０６：Ｓ２０３で作成した移動軌跡４００の映像の方角４０３を回転させ、案内板地図３００の方角３０２に合わせる。また、移動軌跡４００の映像の縮尺を拡大／縮小させ、案内板地図３００の縮尺に合わる。
　Ｓ２０７：移動軌跡４００の映像の終点４０１を、案内板地図３００の現在地３０１に合わせる。すなわち、案内板地図３００から取得した現在地３０１の３次元座標（絶対値）を「基準点」とし、移動軌跡４００の終点４０１を基準点に合わせるように移動させる。
　Ｓ２０８：方向と位置、及び縮尺の合わせを行った移動軌跡４００の映像を、ディスプレイ１８により案内板地図３００に重ねて表示する。その際、Ｓ２０７での移動軌跡４００と案内板地図３００の位置合わせの結果、ユーザ２の視点位置が動いて案内板３を見る角度が変化しても、移動軌跡４００の終点４０１の位置は案内板地図３００の現在地３０１に張り付いており、ずれることがない。
  ユーザはこの状態で、案内板地図３００上に表示された移動軌跡４００を参照し、これから目的地まで実際に進むべき経路を容易に把握することができる。
　ここで、案内板地図３００からの情報取得（Ｓ２０５）と、案内板地図３００と移動軌跡４００の位置合わせ（基準点合わせ、方向合わせ、及び縮尺合わせ）について補足説明を行う。
  案内板地図３００から現在地３０１の情報取得については、認識された「現在地」という文字列の先頭位置（または文字列中央位置）、あるいは「現在地」から引き出し矢印があれば矢印の先端位置を現在地とする。
　案内板地図３００から方角３０２の情報取得については、例えば図２Ａに示したような「北マーク」を取得すればよいが、地図内に「北マーク」が表記されない場合がある。その場合は、ＧＰＳ情報をもとに通信ＩＦ１９を介して当該地域の電子地図データ３１（方角は既知）を取得し、これとのマッチングにより案内板地図３００の方角を推定すればよい。それでも方角を推定できない場合は、案内板地図３００の道路と移動軌跡４００の形状をマッチングして、最も一致する方向に移動軌跡４００を回転させて表示する。あるいは、現在ユーザ２が向いている方向（ＨＭＤ１の前方方向）が案内板地図３００の上方向であるとみなして、移動軌跡４００を表示する。
　案内板地図３００から縮尺の情報取得については、案内板３に縮尺（スケール）が表記されていない場合がある。その場合は、当該地域の電子地図データ３１（縮尺は既知）を取得し、これとのマッチングにより案内板地図３００の縮尺を推定すればよい。それでも縮尺を推定できない場合は、案内板地図３００の道路と移動軌跡４００の形状をマッチングして、最も一致するよう移動軌跡４００を拡大／縮小して表示する。あるいは、事前に設定した縮尺値、例えば案内板地図３００に推奨されている縮尺値（１／１０００など）を用いる。
　なお、案内板地図３００から方角と縮尺のいずれの情報も取得できず、当該地域の電子地図データ３１とのマッチングを行う場合は、電子地図データ３１の回転と拡大／縮小の２つのパラメータを変化させて、最も一致する条件から方角と縮尺の両方を推定することもできる。
　次に、移動軌跡の様々な表示例について説明する。案内板３に記載される地図３００の範囲は有限であり、またユーザの移動記憶は時間の経過と共に薄れることから、移動軌跡の表示範囲（表示距離や表示期間）には上限を設けるのが実用的である。また、表示範囲を直近の軌跡に絞ることで、移動軌跡の見た目の分かりやすさが向上する。よって本実施例では、ユーザは操作入力ＩＦ１７を介して、移動軌跡の表示距離または表示期間を指定する。ＣＰＵ２６は、指定された表示距離または表示期間に従い、移動軌跡データ３０から指定範囲のデータを抽出して移動軌跡４００を表示させる。
　図４Ａ～図４Ｃは、同一の移動軌跡データ３０について表示条件を変えて表示したものである。ここでは表示範囲として表示距離に着目して説明する。
  図４Ａは、移動軌跡の標準的な表示例を示す図である。移動軌跡４００の表示範囲は案内板地図３００の範囲にほぼ一致している場合であり、表示範囲の指定（起点４０２）は適正と言える。
　図４Ｂは、縮尺が一致しない場合の表示例を示す図である。表示範囲の指定（起点４０２）は図４Ａの場合と同一であるが、案内板地図３００の縮尺が不明で、事前に設定した縮尺（例えば１／１０００）に仮定して表示した場合である。この場合、移動軌跡４００の方向は分かるが、距離が一致しないため実際の距離感を把握することができない。
　図４Ｃは、表示範囲を狭く指定した場合の表示例を示す図である。この例では、表示範囲４１０（一点鎖線で示す）を直前の方向転換地点４１１からの軌跡に限定している。このように、表示範囲を現在地３０１（終点４０１）近傍の軌跡に絞ることで、直近の移動方向を分かりやすく表示できる。
　図５Ａ～図５Ｃは、他の移動軌跡データ３０について表示条件を変えて表示したものである。
  図５Ａは、表示範囲の指定が広すぎる場合の表示例を示す図である。この例では、移動軌跡４００の前半部４００’が案内板地図３００からはみ出しており、はみ出した部分はユーザにとって無益なものとなる。表示距離（起点４０２までの距離）の指定が図４Ａと同等であっても、現在地３０１と起点４０２の方向関係によっては、移動軌跡４００が案内板地図３００からはみ出す場合がある。
　図５Ｂは、図５Ａに対し表示範囲を修正した場合の表示例を示す図である。移動軌跡４００の表示範囲４１０（一点鎖線で示す）を、案内板地図３００の範囲となるよう修正した場合である。表示範囲の修正は、手動と自動いずれも可能である。自動で行う場合は、ＣＰＵ２６が案内板地図３００の範囲（２次元座標）を認識し、移動軌跡４００の表示される位置（２次元座標）が案内板地図３００の範囲外となるときはその部分を非表示にすればよい。
　図５Ｃは、直前の移動方向のみを表示する場合を示す図である。すなわち、現在値３０１（終点４０１）までの移動軌跡の代わりに、現在値３０１（終点４０１）に到達したときの移動方向を矢印４２０で表示する。この例では直前の移動方向のみの表示としたが、これによってもユーザは今後の移動すべき方向を把握することができる。なお、この表示の場合には、案内板地図３００の縮尺情報を必要としない。
　上記の表示例では、表示範囲として表示距離の適切な指定方法について説明したが、表示期間についても考慮する必要がある。すなわち、時間の経過と共にユーザの過去の移動記憶が薄れるため、表示期間には上限（表示起点が１時間前、６時間前など）を設けて、表示距離と合わせて制限することが好ましい。
　実施例１によれば、ユーザは、現在地まで移動してきた軌跡を、案内板の地図に重ねられた映像として視認することができ、今までの移動の記憶に基づいて目的地の方向や距離感を即座に把握できるので、案内板を利用して目的地へ容易に移動することができる。
　ＨＭＤ１のディスプレイ１８は非透過型であってもよい。その場合、カメラ１１で撮影した周囲の風景をディスプレイ１８に表示することで、あたかも透過型ディスプレイを介して直接周囲の風景が見えているように感じさせることが可能である。カメラ１１で撮影した周囲の風景に、ＨＭＤ１で作成したＡＲ画像を重ねて表示することで、ディスプレイ１８が非透過型ディスプレイであっても、実施例１で説明した動作をディスプレイ１８が透過型ディスプレイである場合と同様に実現することができる。
　実施例２では、ユーザが移動中に周囲の風景をＨＭＤのカメラで撮影し、その後案内板の地図にユーザの移動軌跡を表示するとき、撮影した画像を合わせて表示する場合について説明する。
　ユーザが移動中に、移動経路から見えるランドマーク、交差点等の風景を、ＨＭＤ１のカメラ１１により撮影する。撮影タイミングは手動と自動のいずれで指定してもよい。自動で撮影する場合は、一定時間ごと、または移動方向を変更したとき、移動を停止した時などとする。あるいはカメラ画像を画像解析部２０により解析し、特定のオブジェクトを検出したときに撮影してもよい。撮影した画像は、メモリ２７に撮影画像データ３２として保存しておく。
　ユーザが案内板に到着して、案内板の地図にユーザの移動軌跡を表示するとき、メモリ２７から撮影画像のデータを読み出して、地図上の対応する位置にＡＲ（拡張現実）画像として表示する。
　図６は、案内板地図３００上に移動軌跡４００とともに撮影画像を表示した状態を示す図である。この例では、地図上の「Ａパン店」、「Ｂ食堂」、「Ｃビル」の位置に対応して、それぞれの撮影画像５０１，５０２，５０３をＡＲ表示している。なお、それぞれの撮影画像の地図上の表示位置決めは、カメラ撮影時の位置情報（ＧＰＳ受信機２１で検出）、撮影方向（加速度センサ２３、ジャイロセンサ２４、および地磁気センサ２５で検出）、撮影距離（深度センサ２２で検出、またはカメラ１１の測距情報を使用）に基づいて算出する。
　このように案内板地図３００には、移動軌跡４００とともに途中の風景（撮影画像）５０１～５０３が表示されるので、ユーザ２は、今までの移動中に見た風景の記憶を頼りにして、目的地（例えば「Ｃビル」）への経路をより容易に把握することができる。
　なお、移動中に撮影した画像は、移動軌跡４００のマッチング処理にも利用できる。実施例１で述べたように、移動軌跡４００を表示する際、案内板地図３００に対する位置、方向、及び縮尺合わせを行う。その際、例えば、案内板地図３００内の「Ｃビル」の位置とその撮影画像５０３の位置とが一致するように、移動軌跡４００のマッチングを行う。これを複数個所で実施することで、移動軌跡４００の形状のみを使用して案内板地図３００に合わせるよりも、マッチングの精度が高くなる。また、案内板地図３００内の「Ａパン店」、「Ｂ食堂」の場合には、撮影画像５０１，５０２内の看板ロゴとのイメージマッチングや、撮影画像内の店名の文字の比較によっても、マッチングの精度を高めることができる。
　さらには、撮影画像を用いて移動軌跡４００の方向を確認することもできる。すなわち、案内板３の前に立つユーザ２は、案内板地図３００上の撮影画像と現在の位置から見える風景とを照合することで、案内板地図３００の方向とユーザ２（ＨＭＤ１）の向いている方向との関係を知ることができる。例えば、ＨＭＤ１のカメラとセンサにより、左手に「Ａパン店」、右手に「Ｂ食堂」が存在することを認識できれば、現在のユーザ２（ＨＭＤ１）は案内板地図３００の上方を向いていることになる。
　このように実施例２によれば、ユーザが移動中に見た周囲の風景が案内板地図の移動軌跡に合わせて表示されるので、目的地への経路をより容易に把握することができる。
　実施例３では、案内板地図を視線変換してＡＲ（拡張現実）画像として表示する場合について説明する。
　図７は、ユーザの見る案内板地図とＡＲ表示の地図の関係を示す図である。ユーザ２が案内板３に到着すると、ＨＭＤ１は、カメラ１１により案内板３の地図３００を撮影し、メモリ２７に撮影画像データ３２として取り込む。そしてディスプレイ１８により移動軌跡４００を表示するとき、実施例１、２のように案内板地図３００自身に重ねて表示するのではなく、撮影した案内板地図の画像３１０に重ねて表示する。すなわち、案内板地図の画像３１０はＡＲ表示されるので、「ＡＲ地図」と呼ぶことにする。その際ＡＲ地図３１０は、路面上またはこれに平行な水平面上に視線変換し、さらに実際の方角に合わせて表示する。ＡＲ地図３１０に対する移動軌跡４００の位置合わせは、実施例１と同様に行う。
　その結果、ＡＲ地図３１０には現在地３１１までのユーザの移動軌跡４００が重なって表示されるとともに、移動軌跡４００の方向は実際の方角に合わせて表示される。従って、実施例１のように立設された案内板地図３００上に移動軌跡４００を表示する場合と比較し、路面上に視線変換されたＡＲ地図３１０を見ることで、ユーザ２は方向感をより直接的に把握することができる。
　また実施例３では、案内板地図３００に対してユーザ２の注視した位置が、ＡＲ地図３１０上でも分かるようにする。そのため、ユーザ２の案内板３に対する視線を右目／左目視線検出器１２，１３で検出し、案内板３上でのユーザ２の注視点３０５（◎印）を求める。そして、案内板３の注視点３０５に対応するＡＲ地図３１０上の位置３１５を強調表示する（☆印）。これより、ユーザ２が案内板地図３００で目的地を探索しながら、ＡＲ地図３１０でその位置を確認するときに便利になる。
　なお、ＡＲ地図３１０上に注視点３１５を強調表示する条件は、案内板３の注視点３０５にユーザ２の視線が一定時間以上向けられた場合とし、強調表示する時間は、視線の向けられた時間に応じて決める。また、ユーザの視線が案内板地図３００から外れたり視線が移動中の場合は、ＡＲ地図３１０に表示する注視点３１５の位置は、視線移動する直前の強調表示位置に固定する。これにより、案内板地図３００の注視点３０５からＡＲ地図３１０に視線を移しても、ＡＲ地図３１０で強調表示する注視点３１５の位置がずれることはない。
　さらに、案内板地図３００から路面上のＡＲ地図３１０に遷移する過程を、路面に対するＡＲ地図３１０の表示面の角度（視線角度）を段階的に変えて動画のように表示することで、両地図間の位置の対応がより把握しやすくなる。
　実施例３によれば、案内板地図が路面上に方角を合わせて表示されるので、ユーザは目的地への経路の方向感をより直接的に把握することができる。
　実施例４では、軌跡表示装置として携帯型情報端末であるスマートフォンを使用する場合について説明する。スマートフォンにおいても、図１で示したＨＭＤ１と同様の機能を有するが、ディスプレイ１８は非透過であり、これにカメラ１１で撮影した案内板地図とユーザの移動軌跡を表示する。
　図８は、スマートフォン５による移動軌跡の表示例を示す図である。ユーザはスマートフォン５を手２’に持って、背面にあるカメラ１１（図示せず）を案内板３に向けて地図３００を撮影した状態である。カメラ１１で撮影した案内板地図３００はスマートフォン５のディスプレイ１８に撮影画像として表示される。この画像を「撮影地図」３２０と呼ぶことにする。そして、撮影地図３２０には、ユーザの今までの移動軌跡４００が重なって表示される。その際の撮影地図３２０に対する移動軌跡４００の位置合わせは、実施例１と同様に行う。
　ユーザは、スマートフォン５に表示された撮影地図３２０と移動軌跡４００により、目的地までの経路を容易に把握することができるだけでなく、その後、撮影地図３２０と移動軌跡４００の表示画面をスマートフォン５に保存し、これを参照しながら目的地まで移動すれば、より確実に目的地へ到着できることになる。なお、ディスプレイ１８に表示する撮影地図３２０はカメラスルー（ライブビュー）画像とし、ディスプレイ１８に撮影地図３２０と移動軌跡４００を表示するのは、スマートフォン５のカメラ１１を案内板３に向けたときのみとしてもよい。
　以上いくつかの実施例について説明したが、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであって、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の一部について、他の構成の追加・削除・置換をすることが可能である。
　上記の実施例においては軌跡表示装置の基本的な動作の説明を行ったが、以下のような変形も可能である。
  （１）位置、方角、縮尺情報の取得と設定。位置情報取得のため、地下街等、ＧＰＳ受信機、地磁気センサ（電子コンパス）が使えない場合、ビーコン等の情報を利用する。案内板に案内地図の方角／縮尺を示すＱＲコード（登録商標）、バーコード等が記述されれば、これを読み取って利用する。案内板地図から現在地が認識できない場合、手動で指定する。また、方角（北マークの向き）や移動軌跡の縮尺も手動指定可能とする。
　（２）位置情報の補正方法。地下街等を移動時にＧＰＳ受信機２１でＧＰＳ信号を受信できず、慣性センサ（ジャイロセンサ２４、地磁気センサ２５、加速度センサ２３）のみを使用して案内板に到着した場合は、ＨＭＤ１が認識している終点の位置情報は真値からずれている恐れがある。そこで、ＨＭＤ１が認識している現在地を含む電子地図データ（施設マップ等）を取得し、案内板地図と電子地図データ上の現在地の座標（緯度経度相当のデータ）、および地図の方角のマッチングを行う。そして電子地図データから取得した現在地の座標をＨＭＤ１の正しい位置情報として補正する。なお、この補正処理は、ビーコン等を使用して位置情報を取得した場合や、屋外でもＧＰＳ受信状態が悪い場合にも同様に適用できる。また、ユーザが移動中の中間点において随時実施することも可能であり、補正された位置情報および方角を使用することで、表示する移動軌跡の誤差を低減できる。
　（３）紙の案内地図への適用。案内板ではなく、紙の案内地図上に移動軌跡を表示することも可能である。表示方法は、紙の案内地図自身に移動軌跡を重ねて表示する、あるいは紙の案内地図をカメラで撮影して撮影画像に移動軌跡を重ねて表示することでもよい。なお、案内板地図との違いは、紙の案内地図には現在地が示されていないので、ユーザは紙の案内地図上に現在地を指等で指定し、カメラで撮影して現在地として認識する。または、移動軌跡や電子地図データとのマッチングで現在地を認識して指定してもよい。
　以上のように本発明では、案内板地図（または紙の案内地図）を利用した経路案内を対象とするものであるが、その効果について述べる。
  従来の経路案内は、電子地図データとユーザ位置情報（ＧＰＳ情報）を組み合わせて案内するものであった。これに対し案内板には、電子地図データには記載がなく、その場所に特化した詳細な情報が記載され、ユーザはこれを基に行き先を決定する場合がある。また、ユーザにとって案内板の方が見やすい、目的地が分かりやすい等のメリットもある。よって、案内板地図にユーザの移動軌跡を表示することで、案内板に記載された情報を検索しやすくする効果がある。
　案内板において、案内板地図の上方向と案内板の設置方向（ユーザが案内板を見る方向）が一致していれば、ユーザはこれから目的地へどの方向へ進むべきかを理解しやすい。しかし、案内板の設置場所の制約、地図に記載可能な範囲の制約等から、必ずしも案内板地図の上方向と案内板の設置方向は一致しない場合がある。このような場合に案内板地図にユーザの移動軌跡を表示することで、ユーザは今までの移動の記憶に基づいて目的地の方向や距離感を即座に把握できるので、案内板を利用して目的地へ容易に移動することができる効果がある。
　１：ヘッドマウントディスプレイ（ＨＭＤ，軌跡表示装置）、２：ユーザ、３：案内板、５：スマートフォン（軌跡表示装置）、１１：カメラ、１２，１３：視線検出器、１７：操作入力インタフェース、１８：ディスプレイ、１９：通信インタフェース、２０：画像解析部、２１：ＧＰＳ受信機、２６：ＣＰＵ、２７：メモリ、３０：移動軌跡データ、３１：電子地図データ、３２：撮影画像データ、３００：案内板地図、３０１：現在地、３０２：方角、３０３：目的地、３１０：ＡＲ地図、３２０：撮影地図、４００：移動軌跡、４０１：軌跡の終点、４０２：軌跡の起点、４０３：方角、４１０：表示範囲、４２０：移動方向、５０１～５０３：撮影画像。

Claims (10)

  1. 　ユーザが移動した経路を移動軌跡の映像で表示する軌跡表示装置において、
    　ユーザの移動中の位置情報を取得する位置検出部と、
    　前記位置検出部で取得した位置情報を移動軌跡データとして保存するメモリと、
    　周囲の風景を撮影するカメラと、
    　前記カメラで撮影した画像を解析する画像解析部と、
    　前記メモリに保存した移動軌跡データを基にユーザ移動軌跡を作成する制御部と、
    　前記制御部で作成された前記ユーザ移動軌跡の映像を表示するディスプレイと、を備え、
    　ユーザが案内板に到着し前記カメラで案内板地図が撮影されると、
    　前記制御部は、前記カメラで撮影した前記案内板地図と作成した前記ユーザ移動軌跡との位置合わせを行い、
    　前記ディスプレイにより、前記案内板地図に現在地までの前記ユーザ移動軌跡の映像を重ねて表示することを特徴とする軌跡表示装置。
  2. 　請求項１に記載の軌跡表示装置において、
    　前記画像解析部は、前記カメラで撮影した前記案内板地図の画像から、現在地、方角、及び縮尺の少なくとも１つの情報を取得し、
    　前記制御部は、取得した現在地、方角、及び縮尺の情報を用いて、前記案内板地図と前記ユーザ移動軌跡との位置合わせを行うことを特徴とする軌跡表示装置。
  3. 　請求項２に記載の軌跡表示装置において、
    　外部サーバと通信する通信インタフェースを有し、
    　前記画像解析部により、前記案内板地図の画像から方角または縮尺の情報を取得できない場合、
    　前記制御部は、前記通信インタフェースを介して現在地周辺の電子地図データを取得し、取得した電子地図データとのマッチングにより、前記案内板地図の方角または縮尺を推定することを特徴とする軌跡表示装置。
  4. 　請求項１に記載の軌跡表示装置において、
    　ユーザの操作入力を受け付ける操作入力インタフェースを有し、
    　ユーザが前記操作入力インタフェースを介して、前記ユーザ移動軌跡の表示距離または表示期間を指定すると、
    　前記制御部は、指定された表示距離または表示期間に従い、前記メモリに保存した移動軌跡データから指定範囲のデータを抽出して、前記ディスプレイに前記ユーザ移動軌跡の映像を表示することを特徴とする軌跡表示装置。
  5. 　請求項１に記載の軌跡表示装置において、
    　ユーザが移動中に周囲の風景を前記カメラで撮影すると、撮影した風景は前記メモリに撮影画像データとして保存され、
    　前記制御部は、ユーザが案内板に到着して前記ディスプレイにより前記ユーザ移動軌跡の映像を表示するとき、前記メモリから撮影画像データを読み出して、前記案内板地図の対応する位置に撮影画像として表示することを特徴とする軌跡表示装置。
  6. 　請求項１に記載の軌跡表示装置において、
    　ユーザが案内板に到着し前記カメラで前記案内板地図を撮影すると、
    　前記制御部は、撮影された前記案内板地図の画像を路面上に視線変換し、実際の方角に合わせて前記ディスプレイにより表示するとともに、前記ユーザ移動軌跡の映像を前記案内板地図の画像に重ねて表示することを特徴とする軌跡表示装置。
  7. 　請求項６に記載の軌跡表示装置において、
    　ユーザの視線を検出する視線検出器を有し、
    　前記視線検出器により、前記案内板地図に対してユーザが注視した注視点を求め、
    　前記制御部は、前記ディスプレイにより表示する前記案内板地図の画像内で、前記注視点に対応する位置を強調表示することを特徴とする軌跡表示装置。
  8. 　請求項１に記載の軌跡表示装置において、
    　当該軌跡表示装置はユーザが頭部に装着するヘッドマウントディスプレイであって、
    　前記ディスプレイは、該ディスプレイを介して透過して見える前記案内板地図に、前記制御部で作成された前記ユーザ移動軌跡の映像を重ねて表示することを特徴とする軌跡表示装置。
  9. 　請求項１に記載の軌跡表示装置において、
    　当該軌跡表示装置はユーザが携帯するスマートフォンであって、
    　前記ディスプレイは、前記カメラで撮影した前記案内板地図の画像を表示するとともに、前記制御部で作成された前記ユーザ移動軌跡の映像を重ねて表示することを特徴とする軌跡表示装置。
  10. 　ユーザが移動した経路を移動軌跡の映像で表示する軌跡表示方法において、
    　ユーザの移動中の位置情報を取得するステップと、
    　取得した位置情報を基にユーザ移動軌跡を作成するステップと、
    　ユーザが案内板に到着するとカメラで案内板地図を撮影するステップと、
    　撮影した前記案内板地図と、作成した前記ユーザ移動軌跡との位置合わせを行うステップと、
    　ディスプレイにより、前記案内板地図に現在地までの前記ユーザ移動軌跡の映像を重ねて表示するステップと、
    　を備えることを特徴とする軌跡表示方法。
PCT/JP2019/029331 2019-07-26 2019-07-26 軌跡表示装置 WO2021019591A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021536441A JP7244649B2 (ja) 2019-07-26 2019-07-26 軌跡表示装置
PCT/JP2019/029331 WO2021019591A1 (ja) 2019-07-26 2019-07-26 軌跡表示装置
JP2023036517A JP2023075236A (ja) 2019-07-26 2023-03-09 軌跡表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/029331 WO2021019591A1 (ja) 2019-07-26 2019-07-26 軌跡表示装置

Publications (1)

Publication Number Publication Date
WO2021019591A1 true WO2021019591A1 (ja) 2021-02-04

Family

ID=74229847

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/029331 WO2021019591A1 (ja) 2019-07-26 2019-07-26 軌跡表示装置

Country Status (2)

Country Link
JP (2) JP7244649B2 (ja)
WO (1) WO2021019591A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113593397A (zh) * 2021-08-18 2021-11-02 哈尔滨海能达科技有限公司 一种历史轨迹数据加载方法、装置及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006105640A (ja) * 2004-10-01 2006-04-20 Hitachi Ltd ナビゲーション装置
JP2012194494A (ja) * 2011-03-18 2012-10-11 Casio Comput Co Ltd 地図表示装置、地図表示方法及びプログラム
JP2012253421A (ja) * 2011-05-31 2012-12-20 Nikon Corp 画像表示装置、撮像装置および画像表示プログラム
JP2018132528A (ja) * 2013-06-17 2018-08-23 ソニー株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006105640A (ja) * 2004-10-01 2006-04-20 Hitachi Ltd ナビゲーション装置
JP2012194494A (ja) * 2011-03-18 2012-10-11 Casio Comput Co Ltd 地図表示装置、地図表示方法及びプログラム
JP2012253421A (ja) * 2011-05-31 2012-12-20 Nikon Corp 画像表示装置、撮像装置および画像表示プログラム
JP2018132528A (ja) * 2013-06-17 2018-08-23 ソニー株式会社 画像処理装置、画像処理方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113593397A (zh) * 2021-08-18 2021-11-02 哈尔滨海能达科技有限公司 一种历史轨迹数据加载方法、装置及系统
CN113593397B (zh) * 2021-08-18 2023-08-08 哈尔滨海能达科技有限公司 一种历史轨迹数据加载方法、装置及系统

Also Published As

Publication number Publication date
JP2023075236A (ja) 2023-05-30
JP7244649B2 (ja) 2023-03-22
JPWO2021019591A1 (ja) 2021-02-04

Similar Documents

Publication Publication Date Title
CN107402000B (zh) 用于将显示装置相对于测量仪器相互关联的方法和系统
US10760922B2 (en) Augmented reality maps
JP6025433B2 (ja) 携帯ナビゲーション装置
US20120026088A1 (en) Handheld device with projected user interface and interactive image
JP2006105640A (ja) ナビゲーション装置
KR101474534B1 (ko) 정보 처리 단말, 정보 처리 방법, 정보 처리 프로그램
US20220107202A1 (en) Hands-Free Pedestrian Navigation System and Method
CN112525185B (zh) 基于定位的ar导览方法及ar头戴式显示装置
CN109764889A (zh) 导盲方法和装置，存储介质和电子设备
KR20150088662A (ko) 증강현실 특이점을 이용한 이동 길 안내 서비스 제공 방법 및 장치
JP2023075236A (ja) 軌跡表示装置
JP7234011B2 (ja) 位置情報表示装置および測量システム
JP6424100B2 (ja) ナビゲーションシステム、ナビゲーション装置、グラス型デバイス及び装置間連携方法
US20220291379A1 (en) Surveying device and surveying method using the surveying device
CN109032330A (zh) 无缝桥接ar装置和ar系统
JP2016075498A (ja) 情報処理装置、クライミングにおける案内方法、コンピュータプログラム、および、ナビゲーションシステム
JP6719435B2 (ja) 端末装置及びプログラム
JP6609911B2 (ja) 案内システム及び案内方法
JP6523353B2 (ja) 端末装置及びプログラム
KR20180060403A (ko) 영상 기반의 드론 제어장치
JP7023775B2 (ja) 経路案内プログラム、経路案内方法及び情報処理装置
JP6523362B2 (ja) サーバ装置、端末装置及びプログラム
JP2014066595A (ja) ナビゲーション装置
US20220276050A1 (en) Survey information managing system
JP2018163123A (ja) 端末装置、ヘッドマウント型表示装置、コード表示方法、ルート案内方法及びコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19939720

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021536441

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19939720

Country of ref document: EP

Kind code of ref document: A1