WO2008044309A1 - Navigation system, mobile terminal device, and route guiding method - Google Patents

Navigation system, mobile terminal device, and route guiding method Download PDF

Info

Publication number
WO2008044309A1
WO2008044309A1 PCT/JP2006/320461 JP2006320461W WO2008044309A1 WO 2008044309 A1 WO2008044309 A1 WO 2008044309A1 JP 2006320461 W JP2006320461 W JP 2006320461W WO 2008044309 A1 WO2008044309 A1 WO 2008044309A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
route
imaging
guide
display
Prior art date
Application number
PCT/JP2006/320461
Other languages
English (en)
French (fr)
Inventor
Kenichi Aihara
Original Assignee
Navitime Japan Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Navitime Japan Co., Ltd. filed Critical Navitime Japan Co., Ltd.
Priority to EP06811740.7A priority Critical patent/EP2080983B1/en
Priority to JP2007523913A priority patent/JP4068661B1/ja
Priority to PCT/JP2006/320461 priority patent/WO2008044309A1/ja
Priority to CN2006800560825A priority patent/CN101523158B/zh
Priority to KR1020097007604A priority patent/KR101084450B1/ko
Priority to US12/445,237 priority patent/US20100070162A1/en
Publication of WO2008044309A1 publication Critical patent/WO2008044309A1/ja

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3632—Guidance using simplified or iconic instructions, e.g. using arrows
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/50—Determining position whereby the position solution is constrained to lie upon a particular curve or surface, e.g. for locomotives on railway tracks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/0969—Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map

Definitions

  • Navigation system Portable terminal device, and route guidance method
  • the present invention relates to a communication-type pedestrian navigation system that searches for a guidance route from a departure point to a destination and guides the guidance route using image information displayed on a display means. Yes, especially when the surrounding landscape at an intersection is imaged and displayed as a peripheral image on the display means, and when displaying the route guidance image on the displayed peripheral image, the route image cannot be displayed on the peripheral image.
  • the present invention relates to a pedestrian navigation system that guides an imaging direction in which an image can be displayed.
  • the above car navigation system uses GPS (Global Positioning System) and receives GPS signals transmitted from multiple GPS satellites orbiting the earth with a GPS antenna. The position is identified by analyzing the satellite position and clock information included in the GPS signal. At least four GPS satellites are required. The single positioning accuracy of GPS is improved to 5 m or less by adopting DGPS (Differential GPS), which is generally over 10 m. In particular, it is currently only installed on some mobile phones !, NA !, GPS receivers are now installed on all models of mobile phones called third generation! / ⁇ The
  • a route searching device and a route searching method used in a general navigation device and a communication navigation system are disclosed in, for example, the following Patent Document 1 (Japanese Patent Laid-Open No. 2001-165681).
  • this navigation system information on the departure and destination points is sent from the portable navigation terminal to the information distribution server, and the information distribution server searches the route network and traffic network data for the route that matches the search conditions and guides it. It is configured.
  • Search conditions include transportation from the departure point to the destination, such as walking, automobiles, combined use of railways and walking, and route search is performed using this as one of the search conditions.
  • the information distribution server uses the road (route) of the map data as the node and the position of the inflection point as the node, the route connecting each node as the link, and the cost information (distance and required time) of all the links. As a database. Then, the information distribution server refers to the database to sequentially search for a link from the departure node to the destination node, and traces the node and link with the smallest cost information of the link as a guide route. Can guide the shortest route to the mobile navigation terminal. As such a route search method, a method called label determination method or Dijkstra method is used. Patent Document 1 also discloses a route search method using the Dijkstra method.
  • map information and guide route information displayed by a terminal device are downloaded by a server device such as a route search server connected via a network.
  • the terminal device that has received the distribution of the map information and the guidance route from the information distribution server such as the route search server has a display means such as a liquid crystal display device, and displays the map and the guidance route on the display means and also the pedestrian and the car. Displays the current position (current position of the terminal device) on the guidance route and guides pedestrians and cars to the destination To do.
  • the map displayed on the display means is a plan view, that is, a force for displaying a two-dimensional figure, a plane bird's-eye view with a sense of perspective on the display image, a landmark, and a building in order to easily see
  • a method of displaying a bird's-eye view representing a pseudo three-dimensional representation of a building and a method of displaying roads and buildings as a three-dimensional polygon image using the Z-buffer method have been proposed.
  • Patent Document 2 Japanese Patent Application Laid-Open No. 2001-27535 discloses a map display device that displays buildings and roads in a three-dimensional manner.
  • the map display device disclosed in Patent Document 2 is configured to display a three-dimensional map with a shadow on a route guide line in a three-dimensional map display.
  • the route guide line is in a positional relationship hidden in the building, the overlapping part of the route guide line is displayed in a different color from the overlapping part.
  • the display color of the route guide line and the display color of the building on the VRAM (video RAM) are drawn in a semi-transparent method in which pixels are alternately set, and the relative positional relationship between the route guide line and the building is shown. It is clarified to improve the visibility of the route guide line.
  • the shape data and height information of the building are stored in the map data, and a road such as a three-dimensional intersection is also stored. Shape data is stored. Based on this map data, the three-dimensional drawing of the standing intersection of buildings and roads is drawn on the drawing section. When the vehicle travels and reaches the position where the route should be guided, a desired image is drawn on the drawing section and output as audio.
  • the unit is configured to utter a predetermined voice to guide the user to the destination.
  • a three-dimensional display of a map using polygon data is performed as follows.
  • each surface constituting each building to be displayed on the map is prepared as polygon data, and the polygon data of the building is sent to the map display device together with the map data.
  • the map display device displays a map and displays each building located on the map in three dimensions using polygon data.
  • Texture 1 is data indicating the pattern of the surface of the building, such as the shape of the window of the building and the pattern of the wall.
  • Patent Document 3 Japanese Patent Laid-Open No. 2000-259861 discloses an invention of a texture mapping device that draws a texture by pasting it onto polygon data. It is shown.
  • the invention disclosed in Patent Document 3 pastes a texture accurately and efficiently on a polygon to facilitate subsequent editing.
  • This texture mapping device specifies rectangular polygons P1 to P4 arranged in M rows and N columns on the wire frame and the texture to be attached to it.
  • the texture to be pasted is divided according to the ratio of the length of 1 ⁇ 1 to 1 ⁇ 12 of the specified polygons P1 to P4.
  • the divided texture is configured to be pasted to the corresponding polygon in consideration of the orientation of the polygon.
  • polygon data indicating each face of the building and the texture data to be attached to this face have a one-to-one correspondence.
  • Polygon data and texture data are stored in advance in the database of the server, and the polygon data and texture data of the building to be displayed on the map are transmitted to the map display device together with a predetermined range of map data.
  • map data is displayed three-dimensionally in addition to planar map data in order to display a map in three dimensions.
  • Three-dimensional map data has a larger amount of data than planar map data, and a large-capacity storage device is required as a storage device for storing map data.
  • the communication load between the terminal device and the route search server increases, and the communication time also increases. For this reason, various problems arise, such as a sufficiently high processing capacity being required for a route search server that provides services to a large number of terminal devices.
  • the in-vehicle navigation device captures a landscape in the traveling direction using an imaging means such as a CCD camera, and displays the captured peripheral image on a display screen.
  • An imaging means such as a CCD camera
  • a navigation device configured to display a guidance image of the direction of the right or left turn superimposed on the surrounding image or to display a guidance route is disclosed in the following Patent Document 4 (Japanese Patent Laid-Open No. 2004-257979) and Patent Document 5 (Japanese Unexamined Patent Publication No. 2006-162442) It is.
  • the navigation device disclosed in Patent Document 4 includes an imaging unit that captures a scene in the traveling direction and a display unit that displays an image captured by the imaging unit, and is detected by the path detection unit.
  • an image for guiding the direction of travel at the branch point is superimposed on the image taken by the imaging means and displayed on the display means It is comprised as follows.
  • the guide information specifying unit includes a position on the map for presenting the guide information, a guide information specifying unit for specifying the type of guide information to be presented, Obstacle detection unit that detects the position and type of obstacles (pedestrians, vehicles, etc.) around the vehicle by image recognition, etc., and does not overlap with the obstacle detected as the display position of guidance information
  • Patent Document 6 Japanese Patent Publication No. 2005-241385
  • a portable terminal device navigation device for display is disclosed.
  • This mobile terminal device defines a screen of a digital camera based on the current position of the user (destination guidance device), defines destination direction coordinates corresponding to the destination on this screen, and determines a predetermined reference point ( It is configured to display instructions for destination direction coordinates on the screen, superimposed on the camera image, with the screen bottom center) as a reference.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2001-165681 (FIGS. 1 and 2)
  • Patent Document 2 JP 2001-27535 A (FIG. 1, FIG. 4, paragraph [0054])
  • Patent Document 3 Japanese Patent Laid-Open No. 2000-259861 (Figs. 2 and 8)
  • Patent Document 4 Japanese Patent Laid-Open No. 2004-257979 (FIG. 4)
  • Patent Document 5 Japanese Unexamined Patent Application Publication No. 2006-162442 ( Figures 4 and 5)
  • Patent Document 6 Japanese Patent Laid-Open No. 2005-241385 (FIG. 9) Disclosure of the invention
  • the navigation device for pedestrians is different from the in-vehicle navigation device in that the navigation device is not fixed in the advancing direction like in-vehicle use.
  • the orientation of the terminal device when displaying a map image or a guidance route is completely arbitrary, and there is no guarantee that the guidance route is included in the display screen at that time.
  • the horizontal angle of view of the camera is sufficiently small compared to 360 degrees, so the probability that the guide route is included in the screen display is rather small. For this reason, the technology of the in-vehicle navigation device disclosed in Patent Document 4 and Patent Document 5 cannot be applied as it is.
  • this mobile terminal is configured to capture a landscape in the traveling direction with a camera and display a guide route (traveling direction) on the image, and the camera is directed in the traveling direction.
  • a guide route traveling direction
  • the user When the vehicle is in the correct direction of travel with respect to the guidance route at an intersection, etc., the guidance route, right turn, and left turn guidance can be displayed on the screen on which the image captured by the camera is displayed.
  • Orientation i.e., when the orientation of the mobile terminal is not in the direction of travel, the guidance route and the image taken with the camera to the user without entering the guidance route on the screen on which the image captured by the camera is displayed If you can't indicate the direction of travel!
  • a portable terminal device in a communication-type pedestrian navigation system includes an imaging means such as a CCD camera, a magnetic orientation sensor, a tilt sensor, and the like.
  • a posture detection unit configured to detect the direction in which the mobile terminal device is facing and the angle with respect to the horizontal by the posture detection unit, and the surrounding image captured by the imaging unit does not include a guide route.
  • the present invention has an object to solve the above-mentioned problems, and when displaying a route guidance image on a peripheral image captured by an imaging unit, the route image cannot be displayed on the peripheral image.
  • An object of the present invention is to provide a pedestrian navigation system that guides an imaging direction in which a route image can be displayed.
  • the first invention of the present application is:
  • a route search server provided with route search means for searching for a guide route from the departure point to the destination with reference to network data for route search; guidance information storage means for storing guide information including guide route data; GPS receiving means for measuring the current position, imaging means, display means for displaying a peripheral image captured by the imaging means, and drawing for displaying a guidance route image or a traveling direction guidance image on the peripheral image displayed on the display means
  • a navigation system comprising a control means and a mobile terminal device comprising
  • the portable terminal device further includes a posture detection unit that detects a posture of the portable terminal device when the imaging unit picks up a peripheral image, and a guidance route based on the posture of the portable terminal device detected by the posture detection unit.
  • Image layout means for determining the display position of the image or the traveling direction guide image, and When the image layout means determines that the surrounding image displayed on the display means does not include a guide route, the drawing control means guides the imaging direction guide image that guides the direction to be imaged by the imaging means. Is displayed on the peripheral image.
  • the posture detecting means detects an orientation detecting means for detecting a direction of the imaging means when the imaging means picks up a peripheral image, and detects an inclination angle of the imaging means with respect to a horizontal direction. It is preferable that it is comprised including the inclination-angle detection means to do.
  • the image layout means is based on the attitude of the mobile terminal device detected by the attitude detection means when the peripheral image displayed on the display means includes a guide route. It is preferable that the display position of the guide route image or the traveling direction guide image displayed on the peripheral image is determined.
  • the drawing control unit when the image layout unit determines that the surrounding image displayed on the display unit does not include a guide route, the drawing control unit
  • the imaging direction guide image that guides the direction in which the guide route exists is displayed on the peripheral image as the direction in which the imaging unit should take an image.
  • the imaging direction guide image displayed by the drawing control means is displayed using an image different from the traveling direction guide image.
  • the second invention of the present application is:
  • a mobile terminal device connected via a network to a route search server having route search means for searching for a guide route from a departure point to a destination with reference to network data for route search, wherein the guide route data is Guidance information storage means for storing the guidance information including, GPS receiving means for positioning the current position, imaging means, display means for displaying the peripheral image captured by the imaging means, and peripheral images displayed on the display means
  • Guidance information storage means for storing the guidance information including, GPS receiving means for positioning the current position, imaging means, display means for displaying the peripheral image captured by the imaging means, and peripheral images displayed on the display means
  • a portable terminal device comprising a drawing control means for displaying a guidance route image or a traveling direction guidance image
  • the portable terminal device further includes a posture detection unit that detects a posture of the portable terminal device when the imaging unit picks up a peripheral image, and a guidance route based on the posture of the portable terminal device detected by the posture detection unit. Determine the display position of the image or direction guidance image
  • a posture detection unit that detects a posture of the portable terminal device when the imaging unit picks up a peripheral image, and a guidance route based on the posture of the portable terminal device detected by the posture detection unit. Determine the display position of the image or direction guidance image
  • the drawing control means guides the imaging direction guide image that guides the direction to be imaged by the imaging means. Is displayed on the peripheral image.
  • the posture detection means detects an orientation detection means for detecting the orientation of the image pickup means when the image pickup means picks up a peripheral image and an inclination angle of the image pickup means with respect to the horizontal direction. It is preferable that it is comprised including the inclination-angle detection means to do.
  • the image layout means is based on the attitude of the mobile terminal device detected by the attitude detection means when the peripheral image displayed on the display means includes a guide route. It is preferable that the display position of the guide route image or the traveling direction guide image displayed on the peripheral image is determined.
  • the drawing control means when the image layout means determines that the surrounding image displayed on the display means does not include a guide route, the drawing control means
  • the imaging direction guide image that guides the direction in which the guide route exists is displayed on the peripheral image as the direction in which the imaging unit should take an image.
  • the imaging direction guide image displayed by the drawing control means is displayed using an image different from the traveling direction guide image.
  • the third invention of the present application is:
  • a mobile terminal device connected via a network to a route search server having route search means for searching for a guide route from a departure point to a destination with reference to network data for route search, wherein the guide route data is Guidance information storage means for storing the guidance information including, GPS receiving means for positioning the current position, imaging means, display means for displaying the peripheral image captured by the imaging means, and peripheral images displayed on the display means
  • Guidance information storage means for storing the guidance information including, GPS receiving means for positioning the current position, imaging means, display means for displaying the peripheral image captured by the imaging means, and peripheral images displayed on the display means
  • the portable terminal device further includes a posture detection unit that detects a posture of the portable terminal device when the imaging unit picks up a peripheral image, and a portable terminal device detected by the posture detection unit.
  • Image layout means for determining the display position of the guide route image or the traveling direction guide image based on the posture of
  • the image layout means determines whether the peripheral image displayed on the display means includes a guidance route, and the image layout means has a guidance route on the peripheral image displayed on the display means.
  • the drawing control means includes a step of displaying, on the peripheral image, an imaging direction guide image for guiding a direction to be imaged by the imaging means when it is determined that the image is not included.
  • the posture detection means detects an orientation detection means for detecting the orientation of the image pickup means when the image pickup means picks up a peripheral image, and detects an inclination angle of the image pickup means with respect to the horizontal direction. And an inclination angle detecting means for
  • the image layout unit in the step of determining whether or not the image layout unit includes a guide route in the peripheral image displayed on the display unit, includes the step When it is determined that a guidance route is included in the peripheral image displayed on the display means, the guidance route image displayed on the peripheral image or the display based on the attitude of the mobile terminal device detected by the attitude detection means or It is preferable to further comprise a step of determining the display position of the traveling direction guide image.
  • the image layout means in the step of determining whether or not the image layout means includes a guide route in the peripheral image displayed on the display means, includes An imaging direction in which, when it is determined that the guide route is not included in the peripheral image displayed on the display unit, the drawing control unit guides the direction in which the guide route exists as the direction to be imaged by the imaging unit. It is preferable to further comprise a step of displaying a guide image on the peripheral image. [0041] Furthermore, in the third aspect of the invention, in the step of displaying the imaging direction guide image on the peripheral image, the imaging direction guidance image displayed by the drawing control means is different from the traveling direction guidance image. It is preferable to include a process of displaying using different images.
  • the mobile terminal device includes a posture detection unit that detects a posture of the mobile terminal device when the imaging unit captures a peripheral image, and a posture of the mobile terminal device detected by the posture detection unit.
  • Image layout means for determining the display position of the guidance route image or the traveling direction guidance image based on the image, and the image layout means determines that the surrounding image displayed on the display means does not include the guidance route
  • the drawing control means displays an imaging direction guide image that guides the direction to be imaged by the imaging means on the peripheral image.
  • the imaging means captures an image. Since the imaging direction guide image for guiding the power direction is displayed on the peripheral image, the user can change the imaging direction along the imaging direction guide image so that the in-route or traveling direction is displayed on the peripheral image. The orientation of the mobile terminal device can be corrected.
  • the posture detection means detects an orientation detection means for detecting a direction of the imaging means when the imaging means picks up a peripheral image, and detects an inclination angle of the imaging means with respect to a horizontal direction. It is preferable that it is comprised including the inclination-angle detection means to do. With this configuration, since the direction (azimuth) and inclination angle of the optical axis captured by the imaging unit can be calculated, the guide route to be displayed and the traveling direction guide image are displayed for the peripheral images. The position can be determined.
  • the image layout means is based on the attitude of the portable terminal device detected by the attitude detection means when the surrounding image displayed on the display means includes a guide route. It is preferable that the display position of the guide route image or the traveling direction guide image displayed on the peripheral image is determined. Configure like this If so, it is possible to determine the guide route to be displayed and the display position for displaying the traveling direction guide image with respect to the peripheral image according to the attitude of the mobile terminal device.
  • the drawing control unit when the image layout unit determines that the surrounding image displayed on the display unit does not include a guide route, the drawing control unit
  • the imaging direction guide image that guides the direction in which the guide route exists is displayed on the peripheral image as the direction in which the imaging unit should take an image.
  • the image capturing direction guide image indicating the direction in which the guide route exists is displayed as the direction to be imaged by the image capturing unit. Therefore, the user can easily correct the orientation of the mobile terminal device so that the guide route or the traveling direction is displayed in the peripheral image by changing the imaging direction along the imaging direction guide image. Become.
  • the imaging direction plan image displayed by the drawing control means is displayed using an image different from the traveling direction guide image.
  • the user can easily distinguish between the traveling direction guide image and the imaging direction plan image.
  • the mobile terminal device according to the first invention can be provided, and according to the second invention of the present application, the mobile terminal device according to the second invention.
  • the route guidance display method for realizing can be provided.
  • FIG. 1 is a block diagram showing a configuration of a navigation system according to an embodiment of the present invention.
  • FIG. 2 is a schematic diagram showing the attitude of the mobile terminal device, the optical axis of the imaging means, and the imaging angle.
  • FIG. 3 is a diagram showing an example of a display image when a peripheral image captured by the imaging unit is displayed on the display unit in the image guidance mode.
  • FIG. 4 is a diagram showing an example of a display image when the optical axis of the imaging unit is the same as the traveling direction of the guide route and the guide route exists within the range of the peripheral image displayed on the display unit.
  • FIG. 5 is a diagram showing an example of a display image for explaining a plan image display in the case where the displayed route image includes and does not include the guide route, and FIG. 5B shows the guide route displayed.
  • Figure 5A shows a display example when it is included in the surrounding image
  • Figure 5A shows a display example when the guidance route exists on the right side of the screen and is not included in the displayed peripheral image.
  • FIG. 5C is a diagram showing a display example when the guide route is not included in the displayed peripheral image, and there is a guide route on the left side of the screen.
  • FIG. 6 is a plan view showing an example of a geometric relationship between the optical axis of the imaging means and the guide path.
  • FIG. 7 is a flowchart showing an operation procedure in the navigation system according to the embodiment of the present invention.
  • ⁇ 9 This is a schematic diagram for explaining the concept of traffic network data for route search using transportation facilities.
  • FIG. 10 is a diagram showing the structure of map data.
  • FIG. 1 is a block diagram showing a configuration of a navigation system that is useful in an embodiment of the present invention.
  • the navigation system 10 includes a mobile terminal device 20 and a route search server 30 that are connected via a network 12 such as the Internet.
  • the route search server 30 includes route search means 33, a map database 34 that stores map data, a road search network database that stores road network data for route search and traffic network data that is network data for public transportation. Has 3-5.
  • the route search server 30 also includes control means 301, communication means 31, and guidance information editing means 32.
  • control means 301 is a microprocessor having a RAM, a ROM, and a processor, and controls the operation of each unit by a control program stored in the ROM.
  • the communication means 31 is an interface for communicating with the mobile terminal device 20 via the network 12.
  • the route search server 30 has a route search request including a route search condition from the mobile terminal device 20, such as a current position, a destination, and a moving means (automobile, walking, transportation, or a combination of walking and transportation).
  • the route search network database 35 is referenced to search for a guide route that matches the route search condition.
  • Guide route data obtained as a result of route search The map data is displayed in the guide information editing means 32 together with unit map data in a predetermined range including the current position of the mobile terminal device 20 selected from the map database 34 (map data divided into areas of a predetermined size by latitude and longitude). It is edited into guide information (data) for transmission to the mobile terminal device 20.
  • the edited guide information is distributed to the mobile terminal device 20.
  • the mobile terminal device 20 includes a control unit 201, a GPS reception unit 21, an imaging unit 22, an attitude detection unit 23, an image layout unit 24, a drawing control unit 25, a communication unit 26, a guidance information storage unit 27,
  • the display unit 28 and the operation input unit 29 are provided.
  • the control means 201 is a microprocessor having a RAM, a ROM, and a processor (not shown), and controls the operation of each unit by a control program stored in the ROM.
  • the communication means 26 is an interface for communicating with the route search server 30 via the network 12.
  • the operation input means 29 is for operation 'input means such as numeric keys, alphabet keys, other function keys, selection keys, scroll keys and the like, and is displayed on the display means 28 as output means.
  • the menu screen power can be selected by selecting a desired menu or by operating keys to perform various input operations. Therefore, the display means 28 also functions as a part of the operation input means 29.
  • the user When the user wants to request a route search from the route search server 30, the user operates the operation input means 29 in the mobile terminal device 20 and selects the route search from the service menu displayed on the display means 28. Enter the route search conditions such as the current position, destination, and means of transportation (automobile, walking, transportation or combined use of walking and transportation, etc.). The input route search conditions are edited into a distribution request to the route search server 30 and transmitted to the route search server 30 via the communication means 26 as a route search request.
  • the route search conditions such as the current position, destination, and means of transportation (automobile, walking, transportation or combined use of walking and transportation, etc.).
  • the input route search conditions are edited into a distribution request to the route search server 30 and transmitted to the route search server 30 via the communication means 26 as a route search request.
  • the mobile terminal device 20 When the mobile terminal device 20 receives the guide information as a result of the route search from the route search server 30, the mobile terminal device 20 temporarily stores the guide information in the guide information storage means 27. Usually, based on this guidance information, a map image and an image of a guidance route are displayed on the display means 28 around the current position of the mobile terminal device 20. At this time, the current position mark is displayed at the corresponding position on the map image. When the current position approaches an intersection node, etc. on the guidance route, a traveling direction guidance image that indicates the traveling direction such as right turn, left turn, or straight ahead at the intersection node appears. Indicated. Further, when the mobile terminal device 20 includes output means such as a speaker, the mobile terminal device 20 can be configured to provide voice guidance for guiding the distance to the intersection node and the traveling direction by voice.
  • the map display as described above is in the normal guidance mode.
  • an image guidance mode is provided in which a peripheral image is picked up by the image pickup means 22 and the peripheral image is displayed on the display means 28, and a guide route image and a traveling direction guide image are displayed and guided.
  • this image guidance mode is referred to as a live-action mode.
  • the posture detection means 23 detects the posture of the mobile terminal device 20 and automatically switches to the live-action mode when it is in a predetermined state.
  • the operation input means 29 may allow the user to switch.
  • the focal length (ZOOM) of the photographing means 22 (for example, a CCD camera) of the portable terminal device 20 and the screen size of the display means 28 are fixed to predetermined set values. Since the GPS receiving means 21 measures the current position of the mobile terminal device 20 at predetermined time intervals, the imaging means 22 is operated, and the position where the peripheral image is taken can be specified. The positioning interval by the GPS receiving means 22 is, for example, every 1 second to every 5 seconds when the mobile terminal device 20 is a mobile phone.
  • the posture detection means 23 detects this and automatically picks up the image pickup means. 2
  • the shutter in 2 is activated and a peripheral image (still image) in the optical axis direction is taken.
  • the attitude detection means 23 is composed of an azimuth sensor and an inclination sensor, the direction (azimuth) of the optical axis can be obtained from the azimuth sensor output, and the angle between the optical axis and the horizontal direction can be obtained from the inclination sensor output. it can.
  • the direction of the optical axis and the tilt angle are stored together with the peripheral image captured by the imaging means 22.
  • the imaging angle of the imaging means 22 has a certain angle, and the captured peripheral moving image is captured in a sufficiently wide range even at a portion outside the display range.
  • the peripheral image thus captured may be displayed as it is on the display means 28, but in the present embodiment, the following correction is added.
  • the image is shifted by an amount corresponding to the angle that the optical axis is horizontal, so that the center of the image is in the horizontal direction.
  • the height (distance) of the optical axis from the ground surface is the height of the eyes of a person having a general height.
  • FIG. 2 is a schematic diagram showing the posture, optical axis, and imaging angle of the imaging means 22.
  • the posture detection means 23 detects the angle formed by the optical axis AX of the imaging means 22 and the horizontal direction, and If it is within the angle range, the shutter automatically operates to capture the front image.
  • the imaging angle in the vertical direction with respect to the optical axis AX at this time is a.
  • each of the points P1, P2, and P3 ahead of the imaging point P is calculated from the angles ⁇ 1, ⁇ 2, and ⁇ 3 formed with the optical axis AX, respectively. It is possible to calculate geometrically from the above angle which position in the displayed image corresponds to the point where the imaging position force is. That is, in FIG. 2, the point P1 is 3 m ahead of the imaging point P and is an angle ⁇ 1 made with the optical axis. The point P2 is 10m ahead of the image point P, and is the angle ⁇ 2 made with the optical axis. Point P3 (not shown) is 30m ahead of the image point P, and is an angle ⁇ 3 with the optical axis.
  • FIG. 3 is a diagram showing an example of a display image when the peripheral image captured by the imaging unit 22 in this way is displayed on the display unit 28.
  • the peripheral image is displayed so that the center of the display screen (the intersection of lines X and Y in Fig. 3) coincides with the optical axis AX and is horizontal.
  • the image of the point PI (3m ahead) from the imaging point P is the angle ⁇ 1 made with the optical axis, and corresponds to the bottom of the display image.
  • the point P2 (10m ahead) is at the angle ⁇ 2 made with the optical axis and corresponds to the position of the line L1 shown in the display image.
  • the point 20m ahead is the position of line L2
  • the point 3 Om ahead is the position of line L3.
  • the display position of the guide route image to be displayed can be determined depending on how many meters ahead from the imaging point the guide route is displayed, and the display position is always stable.
  • the route can be guided with the selected image, and the calculation processing of the display position can be simplified.
  • the position and direction of the guide route is obtained based on the position information (current position at the time of image capture) when the peripheral image is captured, that is, when the still image is acquired.
  • the direction of travel of the guide path is the same as that of the optical axis AX, the guide path exists within the range of the surrounding image displayed on the screen, and the guide path image GRI turns 30m ahead from the imaging point.
  • FIG. 6 is a diagram showing an example of a display image drawn by being superimposed on an image.
  • the image layout means 24 is based on the detection output of the attitude detection means 23.
  • the display position of the guide route image GRI is determined by performing the above calculation.
  • FIG. 5 is a diagram showing an example of a display image for explaining guidance image display when the displayed peripheral image includes and does not include the guidance route, and FIG. 5B shows the guidance route displayed.
  • Fig. 5A shows a display example when it is included in the peripheral image (Fig. 4).
  • Fig. 5A shows a display example when the guide route is not included in the displayed peripheral image and there is a guide route on the right side of the screen.
  • FIG. 5C is a diagram showing a display example when the guide route is not included in the displayed peripheral image and there is a guide route on the left side when facing the screen.
  • FIG. 5A shows a display image when facing the left side with respect to the guide route, and the guide route is not included at all. Therefore, the display is lost and the user is confused.
  • which of the peripheral images displayed on the display screen is determined based on the position and optical axis angle at which the imaging unit 22 captures the peripheral image, and the position of the node of the route that is the guide route and the link angle.
  • the force that has the guide route and its direction of travel on the side is determined by geometric calculation.
  • an imaging direction guide image for example, a triangle mark
  • the user is prompted to change the imaging direction. If the user changes the imaging direction in accordance with the imaging direction guide image, it is possible to display the guidance route image and the traveling direction guidance image in the peripheral image displayed on the display screen of the display means 28.
  • FIG. 5A shows the case where the guide route is on the right side with respect to the guide route GRI, and the guide route can be seen in the distance, but the direction of travel of the guide route from the current location P is on the left side, so turn left!
  • a shooting direction guide image (triangular mark) 53 is displayed for instructing to take an image.
  • the surrounding image displayed on the display screen includes a guidance route.
  • the guide route image GRI and the traveling direction guide image 51 can be displayed.
  • This imaging direction guidance image (triangle mark) is a different image (mark) from the traveling direction guidance image (arrow mark in FIG. 5B) that shows the direction of turning left and right at a guidance point such as an intersection. It is good to make the difference immediately.
  • FIG. 6 is a schematic diagram for explaining the concept of calculating the imaging direction from the positional relationship between the direction of the optical axis and the guide path.
  • the geometrical relationship between the optical axis AX (imaging direction) of the imaging means 22 and the guide path GR is shown.
  • the scientific relationship is shown as a plan view.
  • the image pickup means 22 picks up a peripheral image at the point P in the direction of the optical axis AX
  • the peripheral image displayed on the display screen of the display means 28 has an angle ⁇ (view angle) about the optical axis AX. Image).
  • the guide route image GRI is displayed (Fig. 5B).
  • the imaging position P is a guidance point such as an intersection
  • a traveling direction guidance image 51 is displayed.
  • FIG. 5C shows the case where the mobile terminal device 20 (imaging means 22) is facing the right side with respect to the guide route GR1, and the route is visible far away, but the traveling direction of the guide route from the current location is the left side. Therefore, an imaging direction instruction image indicating that it faces the left side is displayed. This point is different from the display method in which the destination direction is displayed on the display screen, and is a characteristic point of the present invention.
  • FIG. 5A shows a case where the mobile terminal device 20 (imaging means 22) faces left with respect to the guide route GR1, and the direction of travel of the guide route from the current location is on the right side.
  • An imaging direction instruction image indicating that the camera is facing is displayed.
  • the image layout unit 24 performs the above calculation based on the detection output of the posture detection unit 23 to determine whether the surrounding image displayed on the display screen of the display unit 28 includes the guide route GR.
  • FIG. 7 is a flowchart showing a route guidance operation procedure in the navigation system according to the embodiment of the present invention described above. It is assumed that the mobile terminal device 20 makes a route search request to the route search server 30, receives guidance information including data such as guidance route data and guidance points from the route search server 30 and temporarily stores it.
  • the map image displayed on the display means 28 in this state is a general display mode using a planar map image.
  • the mobile terminal 20 (the optical axis of the imaging means 22) is within a predetermined angle range with respect to the horizontal direction.
  • the predetermined angle range may be set to an average angle when a general person holds a camera for imaging.
  • step S109 If the tilt angle of the mobile terminal device 20 is within a predetermined angle range with respect to the horizontal! /, (NO), the process proceeds to step S109, and the normal mode, that is, the display using the plane map is performed. The process returns to step S101. If the tilt angle is within a predetermined angle range with respect to the horizontal (YES), the shutter of the imaging means 22 automatically operates in step S102 to capture a peripheral image in the optical axis direction. Next, in the process of step S103, the drawing control means 25 switches to the display control in the live-action mode.
  • the image data captured by the imaging means 22 in the process of step S102 is the current position at the time of imaging, the tilt angle detected by the attitude detection means 23, the optical axis is directed in the process of step S104, and Along with data such as the orientation (the orientation of the mobile terminal device 20) and the like are temporarily stored in an appropriate memory means.
  • image layout means 24 6 refers to the guide route data stored in the guide information storage means 27 based on the angle of view ⁇ with respect to the optical axis as described with reference to FIG. 6, and the traveling direction of the guide route at the imaging point (current position) Is determined.
  • step S105 when the current position, that is, from the imaging position, is within the range of the advancing direction force angle of view ⁇ of the guide path, the process proceeds to step S106, and the image layout means 24 is shown in FIG.
  • the display positions of the guide route image and the traveling direction plan image are calculated, and the drawing control means 25 determines a predetermined peripheral image captured by the imaging means 22 based on the calculation result.
  • a guide route image and a traveling direction guide image are displayed at the display position (see FIG. 5B).
  • step S105 if the traveling direction of the guide route viewed from the imaging position is not included in the angle of view ⁇ and is on the left side when viewed from the optical axis AX, the process proceeds to step S108.
  • the drawing control means 25 displays an instruction to change the imaging direction to the left (imaging direction guide image 53 in FIG. 5C).
  • the traveling direction of the guide route from the imaging position P is not included in the angle of view ⁇ and is on the right side when viewed from the optical axis AX
  • the process proceeds to step S107, and the drawing control means 25 turns the imaging direction to the right side. Display an instruction to change (image direction guidance image 52 in FIG. 5A).
  • the route search network database 35 includes road network data and traffic network data. These network data are structured as follows. For example, if the road has roads A, B, and C as shown in Fig. 8, the end points, intersections, and inflection points of roads A, B, and C are used as nodes, and the roads connecting the nodes are directed links. Link cost data with node data (node latitude and longitude), link data (link number) and link cost of each link (link distance or time required to travel the link) as data Composed of
  • Nn ( ⁇ mark) and Nm (( ⁇ ) mark) indicate nodes
  • Nm (( ⁇ ) mark) indicates a road intersection.
  • Directional links connecting each node are indicated by arrow lines (solid line, dotted line, two-dot chain line).
  • the links there are links facing in the upward and downward directions of the road.
  • FIG. 8 only the links in the direction of the arrows are shown in order to simplify the illustration.
  • the traffic network data for route search of transportation facilities is configured as follows.
  • each station (each airport on an aircraft route) provided on each of the traffic routes A, B, and C is a node, and between each node
  • the section to be connected is represented by a directional link, and node data (latitude / longitude) and link data (link number) are used as network data.
  • Nn ( ⁇ mark) and Nm ( ⁇ mark) indicate nodes
  • Nm ( ⁇ mark) indicates a transit point (such as a transfer station) on a traffic route, indicating a directional connection between the nodes.
  • Links are indicated by arrow lines (solid line, dotted line, two-dot chain line).
  • the link is a force in which there are links facing in the up and down directions of the traffic route.
  • FIG. 9 only the links in the direction of the arrows are shown in order to simplify the illustration.
  • the traffic network basically differs in link cost from the road network.
  • trains and airplanes that operate traffic routes (hereinafter referred to as individual trains and airplanes).
  • the time to depart from each node and the time to arrive at the next node is determined (specified by timetable data and operation data), and each route is not necessarily linked to an adjacent node. Shi There may not be. This is the case, for example, with express trains and trains that stop at each station. In such cases, there will be multiple different links on the same route, and the required time between nodes may vary depending on the mode of transportation.
  • the guidance route searched with reference to such network data is distributed to the mobile terminal device 20 together with the vector map data.
  • the map data stored in the map database 34 is also composed of unit map data power divided by a predetermined latitude and longitude range.
  • map data is divided into map areas in units of predetermined latitude and longitude, and is configured as mesh unit map data Ml 1 to M33.
  • the unit map data M21, M23 which are adjacent to the unit map data M22 including the current position PP of the mobile terminal device 20 in the vertical direction, the horizontal direction, and the diagonal direction.
  • M12, M32, Mi l, M13, M31, M33 total 9 units The figure is distributed.
  • the route search server 30 delivers the insufficient unit map data.
  • the guide route data is distributed to the mobile terminal device 20 together with the vector map data.
  • the mobile terminal device 20 receives the map data and the guidance route data from the route search server 30 in this way, and displays the map and the guidance route on the display means 28.
  • the present invention can be used as a method for instructing the direction in which the guide route can be seen even when the pedestrian deviates slightly from the route force and the guide route disappears from the display screen.
  • the peripheral image captured by the imaging unit 22 is a still image.
  • a moving image may be used. Good.
  • the posture detection means 23 detects this and the shutter of the image pickup means 22 is automatically activated. Therefore, the mode is automatically switched to the live-action mode, and when the condition is not satisfied, the normal map display mode is restored. Therefore, it is possible to maintain the safety of walking without going into the live-action mode by displaying the peripheral image captured by the imaging means 22 during walking.

Description

明 細 書
ナビゲーシヨンシステム、携帯端末装置および経路案内方法
技術分野
[0001] 本発明は、出発地から目的地までの案内経路を探索し、該案内経路を表示手段に 表示された画像情報を用いて案内する通信型の歩行者ナビゲーシヨンシステムに関 するものであり、特に交差点などにおける周辺の風景を撮像して周辺画像として表示 手段に表示し、表示された周辺画像上に経路案内画像を表示するに際して、経路画 像が周辺画像上に表示できない場合に経路画像を表示できる撮像方向を案内する ようにした歩行者ナビゲーシヨンシステムに関するものである。
背景技術
[0002] 従来、見知らぬ土地にお ヽて目的地となる場所を訪れる場合、地図帳等を頼りに 当該地図に描かれた交通機関、道路やランドマーク及び住所を確認しながら到達し ていた。また、カーナビゲーシヨンシステム（以後単にカーナビと言う）を搭載した自動 車においては、該カーナビを起動して目的地を入力することによりナビゲーシヨンシ ステム力 モニタ画面に表示される案内や音声出力される案内（ナビゲーシヨン情報 )を得ながら目的地に到達して 、た。
[0003] 上記カーナビは、 GPS (Global Positioning System：全地球測位システム）を利用し たものであり、地球上を周回している複数の GPS衛星力も送信される GPS信号を GP Sアンテナで受信し、該 GPS信号に含まれる衛星位置や時計情報等を解析して位置 の特定を行うものである。該複数の GPS衛星の個数は少なくとも 4個以上必要である 。 GPSの単独測位精度は一般的に 10m強である力 DGPS (Differential GPS :ディ ファレンシャル GPS)を採用することにより 5m以下に向上する。特に、現在は一部の 携帯電話にしか搭載されて!、な!、GPS受信機が、第三世代と称される携帯電話で は全ての機種に搭載されるようになってきて!/ヽる。
[0004] このような測位機能を有する携帯端末の利用技術としては、種々の分野の技術が 提案されており、例えば、自動車用のナビゲーシヨン装置 (カーナビ)を発展させ、携 帯電話を端末として地図 ·経路情報を情報配信サーバ (経路探索サーバ)から配信 する歩行者用の通信型ナビゲーシヨンシステムが提案されて 、る。
[0005] 近年、携帯電話、 PHS等の携帯通信端末機器の性能は飛躍的に向上し、また、多 機能化が進んでいる。特に通話機能の他にデータ通信機能が強化され、ユーザに 対してインターネットを介した種々のデータ通信サービスが提供されている。ナビゲ ーシヨンサービスもその 1つであり、自動車の運転者のみならず携帯電話ユーザに対 して現在位置から目的地までの経路案内を提供する通信ナビゲーシヨンシステムが 実用化されている。
[0006] 一般的なナビゲーシヨン装置、通信ナビゲーシヨンシステムに使用される経路探索 装置、経路探索方法は、例えば、下記の特許文献 1 (特開 2001— 165681号公報） に開示されている。このナビゲーシヨンシステムは、携帯ナビゲーシヨン端末から出発 地と目的地の情報を情報配信サーバに送り、情報配信サーバで道路網や交通網の データから探索条件に合致した経路を探索して案内するように構成されている。探索 条件としては、出発地から目的地までの移動手段、例えば、徒歩、自動車、鉄道と徒 歩の併用などがあり、これを探索条件の 1つとして経路探索する。
[0007] 情報配信サーバは、地図データの道路 (経路)をその結節点、屈曲点の位置をノー ドとし、各ノードを結ぶ経路をリンクとし、全てのリンクのコスト情報 (距離や所要時間） をデータベースとして備えている。そして、情報配信サーバは、データベースを参照 して、出発地のノードから目的地のノードに至るリンクを順次探索し、リンクのコスト情 報が最小となるノード、リンクをたどって案内経路とすることによって最短の経路を携 帯ナビゲーシヨン端末に案内することができる。このような経路探索の手法としてはラ ベル確定法あるいはダイクストラ法と言われる手法が用いられる。上記特許文献 1に は、このダイクストラ法を用いた経路探索方法も開示されて 、る。
[0008] 一般的に通信型のナビゲーシヨンシステムにおいて、端末装置が表示する地図情 報や案内経路情報は、ネットワークを介して接続される経路探索サーバなどのサー バ装置力 ダウンロードする。経路探索サーバなどの情報配信サーバから地図情報 や案内経路の配信を受けた端末装置は液晶表示装置などの表示手段を備えており 、表示手段に地図および案内経路を表示するとともに歩行者や自動車の現在位置（ 端末装置の現在位置)を案内経路上に表示して歩行者や自動車を目的地まで案内 する。
[0009] 一般的に表示手段に表示する地図は平面図、すなわち、 2次元図形の表示である 力、表示画像に遠近感をもたせた平面鳥瞰図やランドマークや建物の様子を視認し 易くするため建物を擬似的に 3次元的表現した鳥瞰図を表示する方法や、道路や建 物を Zバッファ法により 3次元ポリゴン画像として表示する方法も提案されている。
[0010] 例えば、下記の特許文献 2 (特開 2001— 27535号公報）には、建物や道路を立体 的に表示するようにした地図表示装置が開示されて 、る。この特許文献 2に開示され た地図表示装置においては、 3次元地図表示を行う際に、道路に経路案内線に影を つけて立体的に表示するように構成している。また、経路案内線が建物に隠れる位 置関係となる場合、その経路案内線の重複部分にっ 、て重複しな 、部分と色を変え て表示する。特に、 VRAM (ビデオ RAM)上で経路案内線の表示色と建物の表示 色とを画素単位に互い違いに設定する半透過の手法で描画し、経路案内線と建物と の相対的な位置関係を明確にして経路案内線の視認性を向上するようにしている。
[0011] 上記のような表示を行うため、特許文献 2に開示された地図表示装置においては、 地図データには、建物の形状データと高さ情報が記憶され、また、立体交差などの 道路の形状データが記憶されている。この地図データに基づいて、建物や道路の立 体交差部を描画部に 3次元的に描画し、車両が進行し経路案内すべき位置に来ると 描画部に所望の画像を描画し、音声出力部に所定の音声を発声させて、使用者を 目的地へ案内するように構成して 、る。
[0012] 一般に、ポリゴンデータを用いた地図の 3次元的な表示は次のように行われる。す なわち地図に表示するそれぞれの建物を構成する各面をポリゴンデータで準備して おき、地図データとともに建物のポリゴンデータを地図表示装置に送る。地図表示装 置は地図を表示するとともにその地図上に位置する各建物を、ポリゴンデータを使用 して 3次元的に表示するものである。この時、建物をよりリアルに表示するため、建物 の各面に更にテクスチャーを張り付けて表示する。テクスチャ一は建物の面の模様を 示すデータであり、建物の窓の形状や、壁面の模様などである。
[0013] 例えば、下記の特許文献 3 (特開 2000— 259861号公報）には、ポリゴンデータに テクスチャーを貼り付けて描画するようにしたテクスチャーマッピング装置の発明が開 示されている。この特許文献 3に開示された発明は、ポリゴンにテクスチャーを正確か つ効率良く貼り付け、その後の編集を容易にするものである。このテクスチャーマツピ ング装置は、ワイヤフレーム上の M行 N列に配列された四角形のポリゴン P1〜P4と それに貼り付けるテクスチャーを指定する。指定された複数のポリゴン P1〜P4の辺 の長さ1^1〜1^12の比に応じて、貼り付け対象のテクスチャーを分割する。分割さ れたテクスチャーを、対応するポリゴンに、ポリゴンの向きを考慮して貼り付けるように 構成したものである。
[0014] このようにポリゴンのデータとテクスチャーのデータを用いて建物を 3次元表示する 場合、建物の各面を示すポリゴンデータと、この面に張り付けるべきテクスチャーデー タは 1対 1に対応するデータであり、ポリゴンデータとともにテクスチャーデータも予め サーバのデータベースに蓄積され、所定の範囲の地図データとともに、その地図上 に表示すべき建物のポリゴンデータ、テクスチャーデータが地図表示装置に送信さ れる。
[0015] このように地図を立体的に表示する方法によれば、端末装置の利用者は移動中に 、実際に観察している風景に近い表示画像を見ることができるので、右折や左折場 所、その進行方向を容易に把握できるという利点がある。し力しながらそのためには、 地図を立体的に表示するため、平面的な地図データとは別に 3次元表示のための地 図データが必要になる。 3次元地図データは平面地図データに比べデータ量も多く 、地図データを記憶する記憶装置として大容量の記憶装置が必要になる。また、通 信型のナビゲーシヨンシステムにおいては、端末装置と経路探索サーバとの間の通 信負荷が大きくなり、通信時間も長くなる。このため、多数の端末装置にサービスを提 供する経路探索サーバには十分に高い処理能力が要求されるなど種々の問題点が 生じる。
[0016] このような問題点を解消するため、車載用ナビゲーシヨン装置において進行方向の 風景を CCDカメラなどの撮像手段を用いて撮影し、撮影したこの周辺画像を表示画 面に表示し、この周辺画像に右折や左折の進行方向案内画像を重ねて表示したり、 案内経路を表示したりするように構成したナビゲーシヨン装置が下記の特許文献 4 ( 特開 2004— 257979号公報）や特許文献 5 (特開 2006— 162442公報）に開示さ れている。
[0017] すなわち、特許文献 4に開示されたナビゲーシヨン装置は、進行方向の風景を撮像 する撮像手段と、該撮像手段によって撮像された画像を表示する表示手段を備え経 路検出手段が検出した経路上の分岐点と現在位置検出手段が検出した現在位置と が所定距離以下になると、撮像手段が撮像した画像に分岐点での進むべき方向を 案内する画像を重畳して表示手段に表示するように構成されたものである。
[0018] また、特許文献 5に開示されたナビゲーシヨン装置は、案内情報特定部は、案内情 報を提示する地図上の位置と、提示する案内情報の種類を特定する案内情報特定 部と、画像認識などにより、自車の周辺にある障害物 (歩行者や車両等)の位置と種 類とを検知する障害物検知部と、案内情報の表示位置として検知した障害物と重な らない位置を求める表示位置決定部と、車両のフロントガラス内の決定された位置に 、あるいは、前方画像を表示するディスプレイ内の決定された位置に、案内情報を出 力する画像出力部と、を備え、車両から見える実風景に経路進行方向を重ね合わせ て表示するものである。
[0019] また、歩行を対象としたナビゲーシヨンシステムにお 、ても、下記の特許文献 6 (特 開 2005— 241385号公報）に、カメラによって撮影した実際の周辺画像に経路方向 を重ね合わせて表示する携帯端末装置ナビゲーシヨン装置が開示されている。この 携帯端末装置は、利用者（目的地案内装置)の現在位置を基準としてデジタルカメラ のスクリーンを画定し、このスクリーンに対して目的地に対応する目的地方向座標を 定め、所定の基準点 (スクリーン下辺中心）を基準として、スクリーン上でカメラの撮影 画像に重ねて目的地方向座標に対する指示表示を行うように構成されたものである
[0020] 特許文献 1 :特開 2001— 165681号公報（図 1、図 2)
特許文献 2 :特開 2001— 27535号公報（図 1、図 4、段落 [0054])
特許文献 3 :特開 2000— 259861号公報（図 2、図 8)
特許文献 4：特開 2004— 257979号公報（図 4)
特許文献 5：特開 2006— 162442号公報（図 4、図 5)
特許文献 6 :特開 2005— 241385号公報（図 9) 発明の開示
発明が解決しょうとする課題
[0021] ところで、カメラなどの撮像手段で撮像した周辺画像を表示し、この周辺画像に進 行方向や案内経路を表示する技術を車載用のナビゲーシヨン装置に用いる場合に は、自動車による移動の特徴として、実風景を撮影するカメラの向きは車両の進行方 向（前方）に固定されるので、経路に沿って運転していれば、経路は常に前方に引か れることになるという特質がある。また、道を間違えて案内経路力 逸脱しても、経路 探索におけるリルート機能 (再探索機能）により車両の進行方向に再度、案内経路が 設定されるため、常に案内経路は車両の正面、すなわち撮像のためのカメラの正面 に現れる。
[0022] これに対して、歩行者用のナビゲーシヨン装置が車載用のナビゲーシヨン装置と異 なる点は、ナビゲーシヨン装置が車載用のように進行方向に固定されることが無ぐ利 用者の向きや持ち方により任意の方向を向く可能性があるという点である。例えば、 ナビゲーシヨンのため、地図画像や案内経路の表示をするときの端末装置の向きは 、全く任意であって、そのときの表示画面に案内経路が含まれる保障はない。カメラ の水平画角は 360度に比べて十分小さ 、ので、画面表示に案内経路が含まれる確 率はむしろ小さい。このため、上記特許文献 4や特許文献 5に開示された車載用ナビ ゲーシヨン装置の技術をそのまま適用することはできない。
[0023] 従って、歩行者用のナビゲーシヨンシステムにおいては、カメラなどの撮像手段によ つて撮像した周辺画像に案内経路が含まれていない場合に利用者に対して何らか の配慮をすることが必要になる。上記特許文献 6には歩行者用の携帯端末において 、デジタルカメラで進行方向の風景を撮像し、スクリーン上でカメラの撮影画像に重 ねて目的地方向に対する指示表示を行うようにされてはいるが、この携帯端末装置 は、基本的に車載用ナビゲーシヨン装置と同様に、カメラが案内経路の方向を向いて V、ること前提としたものである。
[0024] すなわち、この携帯端末は、進行方向の風景をカメラで撮像し、その画像上に案内 経路 (進行方向）を表示するように構成され、カメラが進行方向を向 、て 、な 、場合 の配慮がなされていないという問題点があった。このような携帯端末では、利用者が 交差点などで案内経路に対して正しく進行方向に向 、て 、る場合に、カメラで撮像し た画像が表示された画面に案内経路や右折、左折の案内表示をすることができるが 、カメラの向きすなわち、携帯端末の向きが進行方向を向いていない場合には、カメ ラで撮像した画像が表示された画面に案内経路が入らずに利用者にカメラで撮影し た画像上で案内経路や進行方向を指示できな!/、と 、う問題点が生じる。
[0025] 本願の発明者は上記の問題点を種々検討した結果、通信型の歩行者用ナビゲー シヨンシステムにおける携帯端末装置に、 CCDカメラなどの撮像手段と、磁気方位セ ンサゃ傾斜センサなどカゝら構成される姿勢検出手段とを設け、姿勢検出手段により 該携帯端末装置が向いている方向や水平に対する角度を検出して撮像手段が撮像 した周辺画像に案内経路が含まれていない場合には、撮像手段すなわち携帯端末 装置の向きをどちらに修正すればよいかを表示するようになせば上記問題点を解消 し得ることに想到して本発明を完成するに至ったものである。
[0026] すなわち、本発明は上記の問題点を解消することを課題とし、撮像手段で撮像した 周辺画像上に経路案内画像を表示するに際して、経路画像が周辺画像上に表示で きない場合に経路画像を表示できる撮像方向を案内するようにした歩行者ナビゲー シヨンシステムを提供することを目的とするものである。
課題を解決するための手段
[0027] 前記課題を解決するために、本願の第 1発明は、
経路探索用のネットワークデータを参照して出発地から目的地までの案内経路を 探索する経路探索手段を備えた経路探索サーバと、案内経路データを含む案内情 報を記憶する案内情報記憶手段と、現在位置を測位する GPS受信手段と、撮像手 段と、撮像手段が撮像した周辺画像を表示する表示手段と、表示手段に表示された 周辺画像に案内経路画像または進行方向案内画像を表示する描画制御手段と、を 備えた携帯端末装置とから構成されるナビゲーシヨンシステムにおいて、
前記携帯端末装置は更に、前記撮像手段が周辺画像を撮像した際の携帯端末装 置の姿勢を検出する姿勢検出手段と、前記姿勢検出手段が検出した携帯端末装置 の姿勢に基づいて、案内経路画像または進行方向案内画像の表示位置を決定する 画像レイアウト手段と、を備え、 前記画像レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含 まれないことを判別した場合に、前記描画制御手段は、前記撮像手段が撮像すべき 向きを案内する撮像方向案内画像を前記周辺画像上に表示することを特徴とする。
[0028] 前記第 1発明において、前記姿勢検出手段は、前記撮像手段が周辺画像を撮像 した際の該撮像手段の向きを検出する方位検出手段と、前記撮像手段の水平方向 に対する傾斜角を検出する傾斜角検出手段とを含んで構成されることが好ましい。
[0029] また、前記第 1発明において、前記画像レイアウト手段は、表示手段に表示される 前記周辺画像に案内経路が含まれる場合に、前記姿勢検出手段が検出した携帯端 末装置の姿勢に基づいて、前記周辺画像上に表示する案内経路画像または進行方 向案内画像の表示位置を決定するように構成することが好ましい。
[0030] また、前記第 1発明において、前記画像レイアウト手段が前記表示手段に表示され る該周辺画像に案内経路が含まれないことを判別した場合に、前記描画制御手段は
、前記撮像手段が撮像すべき向きとして案内経路の存在する方向を案内する撮像 方向案内画像を前記周辺画像上に表示するように構成することが好ましい。
[0031] 更に、前記第 1発明において、前記描画制御手段が表示する前記撮像方向案内 画像は、前記進行方向案内画像とは異なる画像を用いて表示するように構成するこ とが好ましい。
[0032] 本願の第 2発明は、
経路探索用のネットワークデータを参照して出発地から目的地までの案内経路を 探索する経路探索手段を備えた経路探索サーバにネットワークを介して接続される 携帯端末装置であって、案内経路データを含む案内情報を記憶する案内情報記憶 手段と、現在位置を測位する GPS受信手段と、撮像手段と、撮像手段が撮像した周 辺画像を表示する表示手段と、表示手段に表示された周辺画像に案内経路画像ま たは進行方向案内画像を表示する描画制御手段と、を備えた携帯端末装置におい て、
前記携帯端末装置は更に、前記撮像手段が周辺画像を撮像した際の携帯端末装 置の姿勢を検出する姿勢検出手段と、前記姿勢検出手段が検出した携帯端末装置 の姿勢に基づいて、案内経路画像または進行方向案内画像の表示位置を決定する 画像レイアウト手段と、を備え、
前記画像レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含 まれないことを判別した場合に、前記描画制御手段は、前記撮像手段が撮像すべき 向きを案内する撮像方向案内画像を前記周辺画像上に表示することを特徴とする。
[0033] 前記第 2発明において、前記姿勢検出手段は、前記撮像手段が周辺画像を撮像 した際の該撮像手段の向きを検出する方位検出手段と、前記撮像手段の水平方向 に対する傾斜角を検出する傾斜角検出手段とを含んで構成されることが好ましい。
[0034] 前記第 2発明において、前記画像レイアウト手段は、表示手段に表示される前記周 辺画像に案内経路が含まれる場合に、前記姿勢検出手段が検出した携帯端末装置 の姿勢に基づいて、前記周辺画像上に表示する案内経路画像または進行方向案内 画像の表示位置を決定するように構成することが好ま ヽ。
[0035] また、前記第 2発明において、前記画像レイアウト手段が前記表示手段に表示され る該周辺画像に案内経路が含まれないことを判別した場合に、前記描画制御手段は
、前記撮像手段が撮像すべき向きとして案内経路の存在する方向を案内する撮像 方向案内画像を前記周辺画像上に表示するように構成することが好ましい。
[0036] 更に、前記第 2発明において、前記描画制御手段が表示する前記撮像方向案内 画像は、前記進行方向案内画像とは異なる画像を用いて表示するように構成するこ とが好ましい。
[0037] 更にまた、本願の第 3発明は、
経路探索用のネットワークデータを参照して出発地から目的地までの案内経路を 探索する経路探索手段を備えた経路探索サーバにネットワークを介して接続される 携帯端末装置であって、案内経路データを含む案内情報を記憶する案内情報記憶 手段と、現在位置を測位する GPS受信手段と、撮像手段と、撮像手段が撮像した周 辺画像を表示する表示手段と、表示手段に表示された周辺画像に案内経路画像ま たは進行方向案内画像を表示する描画制御手段と、を備えた携帯端末装置の案内 表示方法おいて、
前記携帯端末装置は更に、前記撮像手段が周辺画像を撮像した際の携帯端末装 置の姿勢を検出する姿勢検出手段と、前記姿勢検出手段が検出した携帯端末装置 の姿勢に基づいて、案内経路画像または進行方向案内画像の表示位置を決定する 画像レイアウト手段と、を備え、
前記画像レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含 まれる力否かを判別するステップと、前記画像レイアウト手段が前記表示手段に表示 される該周辺画像に案内経路が含まれな ヽことを判別した場合に、前記描画制御手 段が、前記撮像手段が撮像すべき向きを案内する撮像方向案内画像を前記周辺画 像上に表示するステップと、を有することを特徴とする。
[0038] 前記第 3発明において、前記姿勢検出手段は、前記撮像手段が周辺画像を撮像 した際の該撮像手段の向きを検出する方位検出手段と、前記撮像手段の水平方向 に対する傾斜角を検出する傾斜角検出手段とを含んで構成され
前記方位検出手段と傾斜角検出手段の検出出力に基づいて、画像レイアウト手段 が前記表示手段に表示される該周辺画像に案内経路が含まれる力否かを判別する ステップと、前記画像レイアウト手段が前記表示手段に表示される該周辺画像に案 内経路が含まれないことを判別した場合に、前記描画制御手段が、前記撮像手段が 撮像すべき向きを案内する撮像方向案内画像を前記周辺画像上に表示するステツ プと、を有することが好ましい。
[0039] また、前記第 3発明において、前記画像レイアウト手段が前記表示手段に表示され る該周辺画像に案内経路が含まれる力否かを判別するステップにお 、て、前記画像 レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含まれると判 別した場合に、前記姿勢検出手段が検出した携帯端末装置の姿勢に基づいて、前 記周辺画像上に表示する案内経路画像または進行方向案内画像の表示位置を決 定するステップを更に有するように構成することが好ま ヽ。
[0040] 更に、前記第 3発明において、前記画像レイアウト手段が前記表示手段に表示され る該周辺画像に案内経路が含まれる力否かを判別するステップにお 、て、前記画像 レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含まれないこ とを判別した場合に、前記描画制御手段が、前記撮像手段が撮像すべき向きとして 案内経路の存在する方向を案内する撮像方向案内画像を前記周辺画像上に表示 するステップを更に有するように構成することが好ま 、。 [0041] 更にまた、前記第 3発明において、前記撮像方向案内画像を前記周辺画像上に表 示するステップは、前記描画制御手段が表示する前記撮像方向案内画像は、前記 進行方向案内画像とは異なる画像を用いて表示する処理を含むように構成すること が好ましい。
発明の効果
[0042] 本願の第 1発明においては、携帯端末装置は、撮像手段が周辺画像を撮像した際 の携帯端末装置の姿勢を検出する姿勢検出手段と、姿勢検出手段が検出した携帯 端末装置の姿勢に基づいて、案内経路画像または進行方向案内画像の表示位置を 決定する画像レイアウト手段と、を備え、画像レイアウト手段が前記表示手段に表示 される該周辺画像に案内経路が含まれないことを判別した場合に、描画制御手段は 、撮像手段が撮像すべき向きを案内する撮像方向案内画像を周辺画像上に表示す る。
[0043] このような構成によれば、撮像手段であるカメラの向きすなわち、携帯端末装置の 向きが案内経路の方向、すなわち、進行方向を向いていない場合であっても、撮像 手段が撮像すべき向きを案内する撮像方向案内画像を周辺画像上に表示するから 、利用者が撮像方向案内画像にそって撮像方向を変えることにより、周辺画像に案 内経路または進行方向が表示されるように携帯端末装置の向きを修正することがで さるようになる。
[0044] 前記第 1発明において、前記姿勢検出手段は、前記撮像手段が周辺画像を撮像 した際の該撮像手段の向きを検出する方位検出手段と、前記撮像手段の水平方向 に対する傾斜角を検出する傾斜角検出手段とを含んで構成されることが好ましい。こ のように構成すれば、撮像手段が撮像している光軸の向き (方位)と、傾斜角が算出 できるから、周辺画像に対して、表示する案内経路や進行方向案内画像を表示する 表示位置を決定することができるようになる。
[0045] また、前記第 1発明において、前記画像レイアウト手段は、表示手段に表示される 前記周辺画像に案内経路が含まれる場合に、前記姿勢検出手段が検出した携帯端 末装置の姿勢に基づいて、前記周辺画像上に表示する案内経路画像または進行方 向案内画像の表示位置を決定するように構成することが好ましい。このように構成す れば、携帯端末装置の姿勢に応じて、周辺画像に対して、表示する案内経路や進 行方向案内画像を表示する表示位置を決定することができるようになる。
[0046] また、前記第 1発明において、前記画像レイアウト手段が前記表示手段に表示され る該周辺画像に案内経路が含まれないことを判別した場合に、前記描画制御手段は
、前記撮像手段が撮像すべき向きとして案内経路の存在する方向を案内する撮像 方向案内画像を前記周辺画像上に表示するように構成することが好ましい。このよう に構成すれば、表示手段に表示される周辺画像に案内経路が含まれな ヽ場合に、 撮像手段が撮像すべき向きとして案内経路の存在する方向を示す撮像方向案内画 像を表示するから、利用者が撮像方向案内画像にそって撮像方向を変えることによ り、周辺画像に案内経路または進行方向が表示されるように携帯端末装置の向きを 容易に修正することができるようになる。
[0047] 更にまた、前記第 1発明において、前記描画制御手段が表示する前記撮像方向案 内画像は、前記進行方向案内画像とは異なる画像を用いて表示するように構成する ことが好ましい。このように構成すれば、利用者は進行方向案内画像と撮像方向案 内画像を容易に区別することができるようになる。
[0048] 本願の第 2発明によれば、前記第 1発明における携帯端末装置を提供することがで きるようになり、また、本願の第 2発明によれば、前記第 2発明における携帯端末装置 を実現するための経路案内表示方法を提供することができるようになる。
図面の簡単な説明
[0049] [図 1]本発明の実施例に力かるナビゲーシヨンシステムの構成を示すブロック図であ る。
[図 2]携帯端末装置の姿勢と撮像手段の光軸および撮像角度を示す模式図である。
[図 3]画像案内モードにおいて撮像手段により撮像した周辺画像を表示手段に表示 した場合の表示画像の一例を示す図である。
[図 4]撮像手段の光軸と案内経路の進行方向が同じであり、表示手段に表示した周 辺画像の範囲内に案内経路が存在する場合の表示画像の例を示す図である。
[図 5]図 5は、表示された周辺画像に案内経路が含まれる場合と含まれない場合の案 内画像表示を説明する表示画像の例を示す図であり、図 5Bは案内経路が表示され た周辺画像に含まれる場合の表示例を示す図、図 5Aは、案内経路が表示された周 辺画像に含まれず、画面に向かって右側に案内経路が存在する場合の表示例を示 す図、図 5Cは、案内経路が表示された周辺画像に含まれず、画面に向力つて左側 に案内経路が存在する場合の表示例を示す図である。
圆 6]撮像手段の光軸と案内経路の幾何学的な関係の一例を示す平面図である。
[図 7]本発明の実施例に力かるナビゲーシヨンシステムにおける動作手順を示すフロ 一チャートである。
圆 8]経路探索のための道路ネットワークデータの概念を説明するための模式図であ る。
圆 9]交通機関を利用した経路探索のための交通ネットワークデータの概念を説明す るための模式図である。
[図 10]地図データの構成を示す図である。
符号の説明
10·· •ナビゲーシヨンシステム
12·· 'ネットワーク
20·· ，携帯端末装置
201· ··制御手段
21·· •GPS受信手段
22·· ，撮像手段
23·· ，姿勢検出手段
24·· •画像レイアウト手段
25·· •描画制御手段
26·· ，通信手段
27·· •案内情報記憶手段
28·· •表示手段
29·· '操作入力手段
30·· •経路探索サーバ
301· ··制御手段 31 · · · ·通信手段
32 · · · ·案内情報編集手段
33 · · · ·経路探索手段
34 · · · ·地図データベース
35 · · • '経路探索用ネットワークデータベース
発明を実施するための最良の形態
[0051] 以下、本発明の具体例を実施例及び図面を用いて詳細に説明する。但し、以下に 示す実施例は、本発明の技術思想を具体ィ匕するためのナビゲーシヨンシステムを例 示するものであって、本発明をこのナビゲーシヨンシステムに特定することを意図する ものではなぐ特許請求の範囲に含まれるその他の実施形態のナビゲーシヨンシステ ムにも等しく適用し得るものである。
実施例 1
[0052] 図 1は、本発明の実施例に力かるナビゲーシヨンシステムの構成を示すブロック図 である。ナビゲーシヨンシステム 10は、図 1に示すようにインターネットなどのネットヮ ーク 12を介して接続される携帯端末装置 20と経路探索サーバ 30を備えて構成され ている。経路探索サーバ 30は、経路探索手段 33、地図データを蓄積した地図デー タベース 34、経路探索用の道路ネットワークデータや公共交通機関のネットワークデ ータである交通ネットワークデータを蓄積した経路探索用ネットワークデータベース 3 5を備えている。
[0053] 経路探索サーバ 30はまた、制御手段 301、通信手段 31、案内情報編集手段 32を 備えている。制御手段 301は、図示してはいないが RAM、 ROM、プロセッサを有す るマイクロプロセッサであり、 ROMに格納された制御プログラムにより各部の動作を 制御する。通信手段 31は、ネットワーク 12を介して携帯端末装置 20と通信するため のインターフェースである。
[0054] 経路探索サーバ 30は、携帯端末装置 20から現在位置、 目的地、移動手段（自動 車、徒歩、交通機関あるいは徒歩と交通機関併用など)などの経路探索条件を含む 経路探索要求があると、経路探索用ネットワークデータベース 35を参照して経路探 索条件に合致した案内経路を探索する。経路探索の結果得られた案内経路のデー タは、地図データベース 34から選択した携帯端末装置 20の現在位置を含む所定範 囲の単位地図データ (緯度 ·経度で所定の大きさのエリアに区分された地図データ） とともに案内情報編集手段 32で携帯端末装置 20に送信するための案内情報 (デー タ）に編集される。編集された案内情報は携帯端末装置 20に配信される。
[0055] 一方、携帯端末装置 20は、制御手段 201、 GPS受信手段 21、撮像手段 22、姿勢 検出手段 23、画像レイアウト手段 24、描画制御手段 25、通信手段 26、案内情報記 憶手段 27、表示手段 28、操作入力手段 29などを備えて構成されている。制御手段 201は、図示してはいないが RAM、 ROM,プロセッサを有するマイクロプロセッサで あり、 ROMに格納された制御プログラムにより各部の動作を制御する。通信手段 26 は、ネットワーク 12を介して経路探索サーバ 30と通信するためのインターフェースで ある。
[0056] 操作入力手段 29は、数字キーやアルファベットキー、その他の機能キー、選択キ 一、スクロールキーなど力もなる操作'入力手段ためのものであり、出力手段である表 示手段 28に表示されるメニュー画面力も所望のメニューを選択し、あるいは、キーを 操作して種々の入力操作を行うものである。従って、表示手段 28は操作入力手段 29 の一部としても機能する。
[0057] 利用者が経路探索サーバ 30に経路探索を依頼しょうとする場合、携帯端末装置 2 0において操作入力手段 29を操作し、表示手段 28に表示されるサービスメニューか ら経路探索を選択し、現在位置、目的地、移動手段（自動車、徒歩、交通機関あるい は徒歩と交通機関併用など)などの経路探索条件を入力する。入力された経路探索 条件は経路探索サーバ 30への配信要求に編集され、通信手段 26を介して経路探 索サーバ 30に経路探索要求として送信される。
[0058] 携帯端末装置 20は経路探索サーバ 30から経路探索の結果である案内情報を受 信すると、この案内情報を案内情報記憶手段 27に一時記憶する。通常、この案内情 報に基づいて、携帯端末装置 20の現在位置を中心として地図画像、案内経路の画 像が表示手段 28に表示される。この際、現在位置マークが地図画像上の該当位置 に表示される。現在位置が案内経路上の交差点ノードなどに接近すると、当該交差 点ノードおける右折、左折、直進などの進行方向を指示する進行方向案内画像が表 示される。また、携帯端末装置 20がスピーカなどの出力手段を備える場合、交差点ノ ードまでの距離や進行方向を音声により案内する音声案内を提供するように構成で きる。
[0059] 上記のような地図表示は通常の案内モードの場合である。本実施例においては撮 像手段 22により周辺画像を撮像し、その周辺画像を表示手段 28に表示するとともに 案内経路画像や進行方向案内画像を表示して案内する画像案内モードを備えてい る。以下この画像案内モードを実写モードということとする。実写モードへの切替えは 後述するように姿勢検出手段 23が携帯端末装置 20の姿勢を検出し、所定の状態の 場合に自動的に切替えられるようにすることが好ましい。もちろん操作入力手段 29に よって利用者が切替えることができるようにしてもよ 、。
[0060] 携帯端末装置 20の撮影手段 22 (例えば CCDカメラ)の焦点距離 (ZOOM)、表示 手段 28の画面サイズは所定の設定値に固定される。 GPS受信手段 21は所定の時 間間隔で携帯端末装置 20の現在位置を測位するから、撮像手段 22が操作され、周 辺画像を撮像した位置を特定することができる。 GPS受信手段 22による測位間隔は 、携帯電話を携帯端末装置 20とする場合、例えば 1秒おき〜 5秒おきである。
[0061] 利用者が携帯端末装置 20を前方にかざすと、撮像手段 22の光軸が水平から所定 の角度以内になったときに、姿勢検出手段 23がこれを検出して自動的に撮像手段 2 2のシャッターが作動して光軸方向の周辺画像 (静止画像）が撮影される。姿勢検出 手段 23は方位センサ、傾斜センサで構成されるから、光軸の向き (方位）は方位セン サ出力から得ることができ、光軸と水平方向のなす角度は傾斜センサ出力により得る ことができる。光軸の向きと、傾斜角は、撮像手段 22により撮像した周辺画像と共に 記憶される。一般的に撮像手段 22の撮影角度はある程度の角度を持っており、撮像 された周辺動画像は表示範囲の外になる部分も十分広範囲に撮影される。
[0062] このようにして撮像した周辺画像をそのまま表示手段 28に表示してもよいが、本実 施例では以下の補正を加える。（1)光軸周りの回転の補正。すなわち、画像上方向 が垂直となるように補正する。（2)光軸の垂直方向の傾き補正。光軸が水平と成す角 度に相当する分だけ、画像をシフトして、画像中心が水平方向となるようにする。また 、光軸の地表からの高さ（距離）は一般的な身長の人の目の高さとする。 [0063] 図 2は、撮像手段 22の姿勢と光軸および撮像角度を示す模式図である。利用者 U 力 Sある地点 Pにおいて周辺画像の撮像のため携帯端末装置 20を前方に力ざすと、 姿勢検出手段 23が撮像手段 22の光軸 AXと水平方向のなす角度を検出し、所定の 角度範囲内にあると自動的にシャッターが作動して前方の画像が撮像される。この時 の光軸 AXに対する垂直方向の撮像角度は aである。
[0064] 撮像手段 22は所定の焦点距離で周辺画像を撮像するから、撮像地点 Pから前方 の各地点 P1、P2、 P3はそれぞれ光軸 AXとなす角度 Θ 1、 Θ 2、 Θ 3から算出でき、 表示画像のどの位置が撮像位置力 何 m先の地点にあたるかは、上記の角度から 幾何学的に計算することができる。すなわち、図 2において地点 P1は撮像地点 Pから 3m前方であり、光軸とのなす角度 Θ 1である。地点 P2は撮像地点 Pから 10m前方で あり、光軸とのなす角度 Θ 2である。また地点 P3 (図示せず）は撮像地点 Pから 30m 前方であり、光軸とのなす角度 Θ 3である。
[0065] 図 3は、このようにして撮像手段 22により撮像した周辺画像を表示手段 28に表示し た場合の表示画像の一例を示す図である。表示画面の中心（図 3の線 X、 Yの交点） が光軸 AXと一致しかつ水平方向になるように周辺画像が表示される。図 2で説明し たように撮像地点 Pから前方の地点 PI (3m先）の画像は光軸とのなす角度 Θ 1であり 表示画像の最下部にあたる。地点 P2は（ 10m先）の画像は光軸とのなす角度 Θ 2で あり表示画像に示す線 L1の位置にあたる。同様に 20m先の地点は線 L2の位置、 3 Om先の地点は線 L3の位置にあたる。
[0066] このようにすれば、案内経路が撮像地点から前方何 m先にあるかによって表示画像 のどの位置に案内経路画像を表示するか、その表示位置を決定することができ、常 に安定した画像で経路を案内することができ、表示位置決定の演算処理も簡便にな る。すなわち、周辺画像の撮像すなわち、静止画取得時の位置情報 (撮像時の現在 位置）に基づいて案内経路の位置、方向を求め、光軸 AXの方向に対して案内経路 を表示画像上の所定の位置に描画する。図 4は、光軸 AXと案内経路の進行方向が 同じであり、画面に表示された周辺画像の範囲内に案内経路が存在し、撮像地点か ら 30m先で右折する案内経路画像 GRIを周辺画像に重ね合わせて描画した表示画 像例を示す図である。画像レイアウト手段 24は姿勢検出手段 23の検出出力に基づ いて以上の演算を行って案内経路画像 GRIの表示位置を決定する。
[0067] ところで、経路進行方向が画面に入らない方向を向いた場合の表示については、 前述したように従来十分な考慮が払われて!/、な 、。歩行者は交差点などで必ずしも 案内経路の進行方向を向 、て 、るとは限らな 、。このため撮像手段 22で撮像した周 辺画像を表示画面に表示した時、図 4のように案内経路画像 GRIが表示領域に含ま れて周辺画像とともに表示されるとは限らない。
[0068] 図 5は、表示された周辺画像に案内経路が含まれる場合と含まれない場合の案内 画像表示を説明する表示画像の例を示す図であり、図 5Bは案内経路が表示された 周辺画像に含まれる場合（図 4)の表示例を示す図、図 5Aは、案内経路が表示され た周辺画像に含まれず、画面に向かって右側に案内経路が存在する場合の表示例 を示す図、図 5Cは、案内経路が表示された周辺画像に含まれず、画面に向カゝつて 左側に案内経路が存在する場合の表示例を示す図である。
[0069] 歩行者が案内経路の方向、案内経路の進行方向を向いておらず、撮像手段 22で 撮像した周辺画像を表示手段 28の画面に表示した時、表示された周辺画像に案内 経路が含まれな!/ヽ場合、従来のように案内経路画像 GRIや右折や左折を示す矢印 形状の進行方向案内画像 51 (図 5B参照）を表示しょうとしても、表示範囲内に案内 経路が存在しないので表示することができない。図 5Aは、案内経路に対して左側に 向いている場合の表示画像を示しており、案内経路は全く含まれない。従って、従来 は表示がなくなり、利用者は戸惑ってしまう。
[0070] 本発明では、撮像手段 22が周辺画像を撮像した位置および光軸の角度と、案内 経路である経路のノードの位置やリンクの角度とから表示画面に表示されている周辺 画像のどちら側に案内経路とその進行方向が存在する力を幾何学的な演算により判 別する。これにより案内経路やその進行方向が表示できる撮像方向を案内するため の撮像方向案内画像 (例えば三角マーク）を表示し、利用者が撮像方向を変更する ように促す。利用者が撮像方向案内画像に従って撮像方向を変更すれば、表示手 段 28の表示画面に表示される周辺画像に案内経路画像や進行方向案内画像を表 示することがでさるよう〖こなる。
[0071] 例えば、表示画面に表示された周辺画像の右側に案内経路が存在する場合には 、図 5Aに示すように右向きに撮像方向を変えるように案内する撮像方向案内画像 5 2を表示する。また、表示画面に表示された周辺画像の左側に案内経路が存在する 場合には、図 5Cに示すように左向きに撮像方向を変えるように案内する撮像方向案 内画像 53を表示する。すなわち、図 5Cは、案内経路 GRIに対して右側に向いてい る場合で、遠方に案内経路が見えているが、現在地 Pからの案内経路の進行方向は 左側に存在するので、左側を向！ヽて撮像するように指示する撮像方向案内画像 (三 角マーク） 53を表示している。
[0072] 表示された撮像方向案内画像 (三角マーク） 52または 53に従って、利用者が撮像 方向を変えると、図 5Bに示すように、表示画面に表示される周辺画像に案内経路が 含まれるようになり、案内経路画像 GRIや進行方向案内画像 51を表示することがで きるようになる。なお、この撮像方向案内画像 (三角マーク）は、交差点などのガイダ ンスポイントでの右左折方向を示す進行方向案内画像（図 5Bの矢印マーク）とは異 なる画像 (マーク）にして、意味の違いがすぐにわ力るようにするとよい。
[0073] 図 6は、光軸の方向と案内経路の位置関係から撮像方向を算出する概念を説明す る模式図であり、撮像手段 22の光軸 AX (撮像方向）と案内経路 GRの幾何学的な関 係を平面図として示して 、る。撮像手段 22が地点 Pにお 、て光軸 AXの方向を向 ヽ て周辺画像を撮像した場合、表示手段 28の表示画面に表示される周辺画像は光軸 AXを中心に角度 Θ (画角ということとする）の範囲の画像である。
[0074] 現在位置すなわち撮像位置 Pからの案内経路 GRの進行方向力 画角 Θの範囲内 にあるときは、案内経路画像 GRIを表示する（図 5B)。撮像位置 Pが交差点などのガ ィダンスポイントである場合には、進行方向案内画像 51を表示する。
[0075] 撮像位置 Pからの案内経路 GRの進行方向力 画角 Θに含まれず、光軸 AXから見 て左側にある場合は、撮像方向を左側に向けて変更する指示（図 5Cの撮像方向案 内画像 53)を表示する。すなわち、図 5Cは、携帯端末装置 20 (撮像手段 22)が案内 経路 GR1に対して右側を向いている場合で、遠方に経路が見えているが、現在地か らの案内経路の進行方向は左側に存在するので、左側を向くようにという旨の撮像 方向指示画像を表示している。この点が、目的地方向を表示画面に示す表示方法と 異なる点であり、本発明の特徴的な点である。 [0076] 撮像位置 Pからの案内経路 GRの進行方向力 画角 Θに含まれず、光軸 AXから見 て右側にある場合は撮像方向を右側に向けて変更する指示（図 5Aの撮像方向案内 画像 52)を表示する。すなわち、図 5Aは、携帯端末装置 20 (撮像手段 22)が案内 経路 GR1に対して左を向 、て 、る場合で、現在地からの案内経路の進行方向は右 側に存在するので、右側を向くようにという旨の撮像方向指示画像を表示している。 画像レイアウト手段 24は姿勢検出手段 23の検出出力に基づいて以上の演算を行つ て表示手段 28の表示画面に表示された周辺画像に案内経路 GRが含まれるかを判 別する。
[0077] 図 7は、以上説明した本発明の実施例に力かるナビゲーシヨンシステムにおける経 路案内の動作手順を示すフローチャートである。携帯端末装置 20は経路探索サー バ 30に経路探索要求を行 、、経路探索サーバ 30から案内経路データやガイダンス ポイントなどのデータを含む案内情報を受信して一時記憶してあるものとする。この状 態で表示手段 28に表示される地図画像は平面地図画像を用いた一般的な表示モ ードである。
[0078] 先ず、ステップ S101の処理において姿勢検出手段 23が検出した傾斜角に基づい て携帯端末 20 (撮像手段 22の光軸）が水平方向に対して所定の角度範囲にあるか を検出する。所定の角度範囲は、一般的な人が撮像のためにカメラを構える時の平 均的な角度を設定しておけばよい。
[0079] 携帯端末装置 20の傾斜角が水平に対して所定の角度範囲内にな!/、 (NO)場合は 、ステップ S109の処理に進み、通常モードすなわち平面地図を用いた表示を行い、 ステップ S101の処理にリターンする。傾斜角が水平に対して所定の角度範囲内にあ る（YES)場合、ステップ S 102の処理において撮像手段 22のシャッターが自動的に 作動して光軸方向の周辺画像を撮像する。次いで、ステップ S103の処理において 描画制御手段 25は実写モードの表示制御に切替える。
[0080] ステップ S102の処理において撮像手段 22で撮像された画像データは、ステップ S 104の処理において、撮像時の現在位置、姿勢検出手段 23が検出した傾斜角度、 光軸が向!、て 、る方位 (携帯端末装置 20の向き)などのデータとともに適宜のメモリ 手段に一時記憶される。次いでステップ S105の処理に進み、画像レイアウト手段 24 は、図 6を参照して説明したように、光軸に対する画角 Θに基づいて案内情報記憶 手段 27に記憶された案内経路データを参照し、撮像地点 (現在位置）における案内 経路の進行方向を判別する。
[0081] ステップ S105の判別処理において、現在位置すなわち撮像位置から見て案内経 路の進行方向力 画角 Θの範囲内にあるときは、ステップ S106の処理に進み、画像 レイアウト手段 24が図 2、図 3を参照して説明したように案内経路画像、進行方向案 内画像の表示位置を算出し、描画制御手段 25がその算出結果に基づいて、撮像手 段 22で撮像した周辺画像の所定の表示位置に案内経路画像、進行方向案内画像 を、表示する（図 5B参照)。
[0082] ステップ S105の判別処理において、撮像位置から見た案内経路の進行方向が、 画角 Θに含まれず、光軸 AXから見て左側にある場合は、ステップ S 108の処理に進 み、描画制御手段 25は撮像方向を左側に向けて変更する指示（図 5Cの撮像方向 案内画像 53)を表示する。撮像位置 Pからの案内経路の進行方向が、画角 Θに含ま れず、光軸 AXから見て右側にある場合は、ステップ S 107の処理に進み、描画制御 手段 25は撮像方向を右側に向けて変更する指示（図 5Aの撮像方向案内画像 52) を表示する。ステップ S106〜ステップ S108の表示処理の後、処理をリターンしてス テツプ S 101の傾斜角判別処理に戻る。
[0083] 次に、経路探索サーバ 30における経路探索について説明する。経路探索用ネット ワークデータベース 35は、道路ネットワークデータと交通ネットワークデータを備えて いる。これらのネットワークデータは以下のように構成されている。例えば、道路が図 8 に示すように道路 A、 B、 C力 なる場合、道路 A、 B、 Cの端点、交差点、屈曲点など をノードとし、各ノード間を結ぶ道路を有向性のリンクで表し、ノードデータ（ノードの 緯度'経度）、リンクデータ（リンク番号）と各リンクのリンクコスト（リンクの距離またはリ ンクを走行するのに必要な所要時間）をデータとしたリンクコストデータとで構成される
[0084] すなわち、図 8において、 Nn (〇印）、 Nm((§)印）がノードを示し、 Nm ((§)印）は道 路の交差点を示している。各ノード間を結ぶ有向性のリンクを矢印線 (実線、点線、 2 点鎖線)で示している。リンクは、道路の上り、下りそれぞれの方向を向いたリンクが存 在するが、図 8では図示を簡略ィ匕するため矢印の向きのリンクのみを図示している。
[0085] このような道路ネットワークのデータを経路探索用のデータベースとして経路探索を 行う場合、出発地のノードから目的地のノードまで連結されたリンクをたどりそのリンク コストを累積し、累積リンクコストの最少になる経路を探索して案内する。すなわち、図 8において出発地をノード AX、目的地をノード CYとして経路探索を行う場合、ノード AXから道路 Aを走行して 2つ目の交差点で右折して道路 Cに入りノード CYにいたる リンクを順次たどりリンクコストを累積し、リンクコストの累積値が最少になる経路を探 索して案内する。
[0086] 図 8ではノード AXからノード CYに至る他の経路は図示されていないが、実際には そのような経路が他にも存在するため、ノード AXからノード CYに至ることが可能な複 数の経路を同様にして探索し、それらの経路のうちリンクコストが最少になる経路を最 適経路として決定するものである。この手法は、例えば、ダイクストラ法と呼ばれる周 知の手法によって行われる。
[0087] これに対して、交通機関の経路探索のための交通ネットワークデータは以下のよう に構成されている。例えば、図 9に示すように交通路線 A、 B、 C力もなる場合、各交 通路線 A、 B、 Cに設けられた各駅 (航空機の路線においては各空港)をノードとし、 各ノード間を結ぶ区間を有向性のリンクで表し、ノードデータ (緯度 ·経度）、リンクデ ータ（リンク番号）をネットワークデータとしている。図 9において、 Nn(〇印）、 Nm (© 印）がノードを示し、 Nm (◎印）は交通路線の乗り継ぎ点 (乗換え駅など)を示し、各ノ 一ド間を結ぶ有向性のリンクを矢印線 (実線、点線、 2点鎖線)で示している。リンクは 、交通路線の上り、下りそれぞれの方向を向いたリンクが存在する力 図 9では図示 を簡略ィ匕するため矢印の向きのリンクのみを図示している。
[0088] し力しながら、交通ネットワークは道路ネットワークと比べリンクコストが基本的に異な る。すなわち、道路ネットワークではリンクコストは固定的、静的なものであった力 交 通ネットワークでは、図 9に示すように交通路線を運行する列車や航空機（以下個々 の列車や航空機などの各経路を交通手段と称する）が複数ある。各交通手段毎にあ るノードを出発する時刻と次のノードに到着する時刻とが定まっており（時刻表データ 、運行データで規定される）、かつ、個々の経路が必ずしも隣接するノードにリンクし ない場合がある。例えば、急行と各駅停車の列車のような場合である。このような場合 には同じ交通路線上に異なる複数のリンクが存在することになり、またノード間の所要 時間が交通手段により異なる場合もある。
[0089] 図 9に例示する交通ネットワークにおいては、交通路線 Aの同じリンクに複数の交通 手段 (経路) Aa〜Ac…、交通路線 Cに複数の交通手段 (経路) Ca〜Cc · · ·が存在 することになる。従って、交通機関の運行ネットワークは、単純な道路ネットワークと異 なり、ノード、リンク、リンクコストの各データは交通手段 (個々の航空機や列車などの 経路）の総数に比例したデータ量になる。このため交通ネットワークのデータは道路 ネットワークのデータ量に比べて膨大なデータ量になる。従って、それに応じて、経 路探索に要する時間も多くの時間が必要になる。
[0090] このような交通ネットワークデータを用いて、ある出発地からある目的地までの経路 を探索するためには、出発地から目的地まで到達する際に使用（乗車)できる全ての 交通手段を探索して探索条件に合致する交通手段を特定する必要がある。
[0091] 例えば、図 9において、出発地を交通路線 Aのノード AXとしてある特定の出発時刻 を指定して、交通路線 Cのノード CYを目的地とする経路探索を行う場合、交通路線 A上を運行する交通手段 Aa〜Ac…のうち出発時刻以降の全ての交通手段を順次 出発時の経路として選択する。そして交通路線 Cへの乗り継ぎノードへの到着時刻に 基づいて、交通路線 C上を運行する各交通手段 Ca〜Cc' ' 'のうち、乗り継ぎノード において乗車可能な時刻以降の交通手段の全ての組み合わせを探索して各経路の 所要時間や乗り換え回数などを累計して案内することになる。
[0092] このようなネットワークデータを参照して探索された案内経路はベクトル地図データ とともに携帯端末装置 20に配信される。地図データベース 34に蓄積される地図デー タは図 10に示すように所定の緯度 ·経度範囲で区分された単位地図データ力も構成 されている。地図データは図 10に示すように所定の緯度、経度単位で地図エリアが 分けられ、メッシュ状の単位地図データ Ml 1〜M33のように構成されている。携帯 端末装置 20に配信される場合は、携帯端末装置 20の現在位置 PPを含む単位地図 データ M22を中心にして、その上下方向、左右方向、斜め方向に隣接する単位地 図データ M21、 M23、 M12、 M32、 Mi l, M13、 M31、 M33の合計 9つの単位地 図が配信される。
[0093] 携帯端末装置 20が移動して地図データが不足する場合は、携帯端末装置 20の移 動方向を判別して経路探索サーバ 30は不足分の単位地図データを配信する。携帯 端末装置 20が特定の地点や POI (興味対象場所： Point of Interest)の位置を 指定して地図データの配信要求をした場合も同様である。案内経路のデータはこの ベクトル地図データとともに携帯端末装置 20に配信される。携帯端末装置 20は、経 路探索サーバ 30からこのようにして地図データおよび案内経路のデータを受信して 、地図および案内経路を表示手段 28に表示する。
[0094] なお、本発明は、歩行者が経路力 わずかに逸脱して、表示画面から案内経路が 消失した場合にも、案内経路が見える方向を指示する方法として利用することができ る。
また、本実施例にぉ ヽては撮像手段 22で撮像する周辺画像は静止画である場合 を説明したが、携帯端末装置 20の画像処理能力が十分に高ければ、動画を用いる ようにしてもよい。
[0095] また、本実施例においては、撮像手段 22の光軸が水平から所定の角度以内にな つたときに、姿勢検出手段 23がこれを検出して自動的に撮像手段 22のシャッターが 作動するように構成しているので、実写モードへの切替えが自動的に行われ、この条 件を満たさない場合には通常の地図表示モードに戻る。従って歩行中に撮像手段 2 2が撮像した周辺画像表示による実写モードになることはなぐ歩行の安全性が保た れる。

Claims

請求の範囲
[1] 経路探索用のネットワークデータを参照して出発地から目的地までの案内経路を 探索する経路探索手段を備えた経路探索サーバと、案内経路データを含む案内情 報を記憶する案内情報記憶手段と、現在位置を測位する GPS受信手段と、撮像手 段と、撮像手段が撮像した周辺画像を表示する表示手段と、表示手段に表示された 周辺画像に案内経路画像または進行方向案内画像を表示する描画制御手段と、を 備えた携帯端末装置とから構成されるナビゲーシヨンシステムにおいて、
前記携帯端末装置は更に、前記撮像手段が周辺画像を撮像した際の携帯端末装 置の姿勢を検出する姿勢検出手段と、前記姿勢検出手段が検出した携帯端末装置 の姿勢に基づいて、案内経路画像または進行方向案内画像の表示位置を決定する 画像レイアウト手段と、を備え、
前記画像レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含 まれないことを判別した場合に、前記描画制御手段は、前記撮像手段が撮像すべき 向きを案内する撮像方向案内画像を前記周辺画像上に表示することを特徴とするナ ピゲーシヨンシステム。
[2] 前記姿勢検出手段は、前記撮像手段が周辺画像を撮像した際の該撮像手段の向 きを検出する方位検出手段と、前記撮像手段の水平方向に対する傾斜角を検出す る傾斜角検出手段とを含んで構成されたことを特徴とする請求項 1に記載のナビゲー シヨンシステム。
[3] 前記画像レイアウト手段は、表示手段に表示される前記周辺画像に案内経路が含 まれる場合に、前記姿勢検出手段が検出した携帯端末装置の姿勢に基づいて、前 記周辺画像上に表示する案内経路画像または進行方向案内画像の表示位置を決 定することを特徴とする請求項 1または請求項 2に記載のナビゲーシヨンシステム。
[4] 前記画像レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含 まれないことを判別した場合に、前記描画制御手段は、前記撮像手段が撮像すべき 向きとして案内経路の存在する方向を案内する撮像方向案内画像を前記周辺画像 上に表示することを特徴とする請求項 1に記載のナビゲーシヨンシステム。
[5] 前記描画制御手段が表示する前記撮像方向案内画像は、前記進行方向案内画 像とは異なる画像を用いて表示することを特徴とする請求項 1に記載のナビゲーショ ンシステム。
[6] 経路探索用のネットワークデータを参照して出発地から目的地までの案内経路を 探索する経路探索手段を備えた経路探索サーバにネットワークを介して接続される 携帯端末装置であって、案内経路データを含む案内情報を記憶する案内情報記憶 手段と、現在位置を測位する GPS受信手段と、撮像手段と、撮像手段が撮像した周 辺画像を表示する表示手段と、表示手段に表示された周辺画像に案内経路画像ま たは進行方向案内画像を表示する描画制御手段と、を備えた携帯端末装置におい て、
前記携帯端末装置は更に、前記撮像手段が周辺画像を撮像した際の携帯端末装 置の姿勢を検出する姿勢検出手段と、前記姿勢検出手段が検出した携帯端末装置 の姿勢に基づいて、案内経路画像または進行方向案内画像の表示位置を決定する 画像レイアウト手段と、を備え、
前記画像レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含 まれないことを判別した場合に、前記描画制御手段は、前記撮像手段が撮像すべき 向きを案内する撮像方向案内画像を前記周辺画像上に表示することを特徴とする携 帯端末装置。
[7] 前記姿勢検出手段は、前記撮像手段が周辺画像を撮像した際の該撮像手段の向 きを検出する方位検出手段と、前記撮像手段の水平方向に対する傾斜角を検出す る傾斜角検出手段とを含んで構成されたことを特徴とする請求項 6に記載の携帯端 末装置。
[8] 前記画像レイアウト手段は、表示手段に表示される前記周辺画像に案内経路が含 まれる場合に、前記姿勢検出手段が検出した携帯端末装置の姿勢に基づいて、前 記周辺画像上に表示する案内経路画像または進行方向案内画像の表示位置を決 定することを特徴とする請求項 6または請求項 7に記載の携帯端末装置。
[9] 前記画像レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含 まれないことを判別した場合に、前記描画制御手段は、前記撮像手段が撮像すべき 向きとして案内経路の存在する方向を案内する撮像方向案内画像を前記周辺画像 上に表示することを特徴とする請求項 6に記載の携帯端末装置。
[10] 前記描画制御手段が表示する前記撮像方向案内画像は、前記進行方向案内画 像とは異なる画像を用いて表示することを特徴とする請求項 6に記載の携帯端末装 置。
[11] 経路探索用のネットワークデータを参照して出発地から目的地までの案内経路を 探索する経路探索手段を備えた経路探索サーバにネットワークを介して接続される 携帯端末装置であって、案内経路データを含む案内情報を記憶する案内情報記憶 手段と、現在位置を測位する GPS受信手段と、撮像手段と、撮像手段が撮像した周 辺画像を表示する表示手段と、表示手段に表示された周辺画像に案内経路画像ま たは進行方向案内画像を表示する描画制御手段と、を備えた携帯端末装置の案内 表示方法おいて、
前記携帯端末装置は更に、前記撮像手段が周辺画像を撮像した際の携帯端末装 置の姿勢を検出する姿勢検出手段と、前記姿勢検出手段が検出した携帯端末装置 の姿勢に基づいて、案内経路画像または進行方向案内画像の表示位置を決定する 画像レイアウト手段と、を備え、
前記画像レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含 まれる力否かを判別するステップと、前記画像レイアウト手段が前記表示手段に表示 される該周辺画像に案内経路が含まれな ヽことを判別した場合に、前記描画制御手 段が、前記撮像手段が撮像すべき向きを案内する撮像方向案内画像を前記周辺画 像上に表示するステップと、を有することを特徴とする経路案内表示方法。
[12] 前記姿勢検出手段は、前記撮像手段が周辺画像を撮像した際の該撮像手段の向 きを検出する方位検出手段と、前記撮像手段の水平方向に対する傾斜角を検出す る傾斜角検出手段とを含んで構成され
前記方位検出手段と傾斜角検出手段の検出出力に基づいて、画像レイアウト手段 が前記表示手段に表示される該周辺画像に案内経路が含まれる力否かを判別する ステップと、前記画像レイアウト手段が前記表示手段に表示される該周辺画像に案 内経路が含まれないことを判別した場合に、前記描画制御手段が、前記撮像手段が 撮像すべき向きを案内する撮像方向案内画像を前記周辺画像上に表示するステツ プと、を有することを特徴とする請求項 11に記載の経路案内表示方法。
[13] 前記画像レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含 まれるか否かを判別するステップにお！/ヽて、前記画像レイアウト手段が前記表示手段 に表示される該周辺画像に案内経路が含まれると判別した場合に、前記姿勢検出 手段が検出した携帯端末装置の姿勢に基づいて、前記周辺画像上に表示する案内 経路画像または進行方向案内画像の表示位置を決定するステップを更に有すること を特徴とする請求項 11または請求項 12に記載の経路案内表示方法。
[14] 前記画像レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含 まれるか否かを判別するステップにお！/ヽて、前記画像レイアウト手段が前記表示手段 に表示される該周辺画像に案内経路が含まれな ヽことを判別した場合に、前記描画 制御手段が、前記撮像手段が撮像すべき向きとして案内経路の存在する方向を案 内する撮像方向案内画像を前記周辺画像上に表示するステップを更に有することを 特徴とする請求項 11に記載の経路案内表示方法。
[15] 前記撮像方向案内画像を前記周辺画像上に表示するステップは、前記描画制御 手段が表示する前記撮像方向案内画像は、前記進行方向案内画像とは異なる画像 を用いて表示する処理を含むことを特徴とする請求項 11に記載の経路案内表示方 法。
PCT/JP2006/320461 2006-10-13 2006-10-13 Navigation system, mobile terminal device, and route guiding method WO2008044309A1 (en)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP06811740.7A EP2080983B1 (en) 2006-10-13 2006-10-13 Navigation system, mobile terminal device, and route guiding method
JP2007523913A JP4068661B1 (ja) 2006-10-13 2006-10-13 ナビゲーションシステム、携帯端末装置および経路案内方法
PCT/JP2006/320461 WO2008044309A1 (en) 2006-10-13 2006-10-13 Navigation system, mobile terminal device, and route guiding method
CN2006800560825A CN101523158B (zh) 2006-10-13 2006-10-13 导航系统、便携终端装置及路径向导方法
KR1020097007604A KR101084450B1 (ko) 2006-10-13 2006-10-13 네비게이션 시스템, 휴대 단말 장치 및 경로 안내 방법
US12/445,237 US20100070162A1 (en) 2006-10-13 2006-10-13 Navigation system, mobile terminal device, and route guiding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2006/320461 WO2008044309A1 (en) 2006-10-13 2006-10-13 Navigation system, mobile terminal device, and route guiding method

Publications (1)

Publication Number Publication Date
WO2008044309A1 true WO2008044309A1 (en) 2008-04-17

Family

ID=39282521

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/320461 WO2008044309A1 (en) 2006-10-13 2006-10-13 Navigation system, mobile terminal device, and route guiding method

Country Status (6)

Country Link
US (1) US20100070162A1 (ja)
EP (1) EP2080983B1 (ja)
JP (1) JP4068661B1 (ja)
KR (1) KR101084450B1 (ja)
CN (1) CN101523158B (ja)
WO (1) WO2008044309A1 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011055978A2 (en) * 2009-11-03 2011-05-12 Samsung Electronics Co., Ltd. User terminal, method for providing position and method for guiding route thereof
JP2011188340A (ja) * 2010-03-10 2011-09-22 Nec Casio Mobile Communications Ltd 撮像装置及びプログラム
JP4801232B1 (ja) * 2010-11-18 2011-10-26 パイオニア株式会社 端末装置、端末装置によって実行される画像表示方法及び画像表示プログラム
WO2012050026A1 (ja) * 2010-10-12 2012-04-19 京セラ株式会社 携帯端末装置
JP2012108097A (ja) * 2011-08-03 2012-06-07 Pioneer Electronic Corp 端末装置、端末装置によって実行される画像表示方法及び画像表示プログラム
JP2013506218A (ja) * 2009-10-01 2013-02-21 オラワークス・インコーポレイテッド 端末の動きまたは姿勢に基づいてビジュアルサーチを行うための方法、端末およびコンピュータ読取可能な記録媒体
JP2014222230A (ja) * 2014-06-19 2014-11-27 京セラ株式会社 携帯端末装置
JP2014228448A (ja) * 2013-05-24 2014-12-08 富士通テン株式会社 経路表示装置、及び、経路表示方法
JP2016151453A (ja) * 2015-02-17 2016-08-22 株式会社Ｓｃｒｅｅｎホールディングス 経路案内装置、及び経路案内方法
JP2017060033A (ja) * 2015-09-17 2017-03-23 カシオ計算機株式会社 携帯情報機器、携帯情報システム、表示方法及びプログラム
JP2019184439A (ja) * 2018-04-11 2019-10-24 株式会社Ｎｔｔドコモ 経路案内プログラム、経路案内方法及び情報処理装置
JP2020046254A (ja) * 2018-09-18 2020-03-26 株式会社Ｓｃｒｅｅｎホールディングス 経路案内プログラム、経路案内装置、および経路案内システム
US10795354B2 (en) 2014-12-25 2020-10-06 SZ DJI Technology Co., Ltd. Flight aiding method and system for unmanned aerial vehicle, unmanned aerial vehicle, and mobile terminal
JP6999052B2 (ja) 2021-01-14 2022-01-18 マクセル株式会社 携帯機器および映像表示方法
JP2022050443A (ja) * 2021-01-14 2022-03-30 マクセル株式会社 携帯機器および表示制御方法
JP7469008B2 (ja) 2018-09-10 2024-04-16 ライン プラス コーポレーション 経路案内のためのコンテンツ提供方法および装置

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5076468B2 (ja) * 2006-12-01 2012-11-21 株式会社デンソー 通信型ナビゲーションシステム、車両ナビゲーション装置及びセンター装置
KR20110079782A (ko) * 2007-07-31 2011-07-07 산요덴키가부시키가이샤 내비게이션 장치 및 화상 관리 방법
JP4994256B2 (ja) * 2008-01-28 2012-08-08 株式会社ジオ技術研究所 経路案内データベースのデータ構造
US20120010816A1 (en) * 2009-04-06 2012-01-12 Navitime Japan Co., Ltd. Navigation system, route search server, route search agent server, and navigation method
JP5644081B2 (ja) * 2009-09-28 2014-12-24 日本電気株式会社 情報提供装置、情報提供方法、及びプログラム
US9250328B2 (en) * 2009-09-30 2016-02-02 Javad Gnss, Inc. Graphics-aided remote position measurement with handheld geodesic device
US9488488B2 (en) * 2010-02-12 2016-11-08 Apple Inc. Augmented reality maps
CN102338639B (zh) * 2010-07-26 2015-04-22 联想(北京)有限公司 信息处理设备和信息处理方法
US20120050183A1 (en) * 2010-08-27 2012-03-01 Google Inc. Switching display modes based on connection state
US8125376B1 (en) 2010-08-30 2012-02-28 Javad Gnss, Inc. Handheld global positioning system device
US8634852B2 (en) 2011-01-04 2014-01-21 Qualcomm Incorporated Camera enabled headset for navigation
US9228835B2 (en) 2011-09-26 2016-01-05 Ja Vad Gnss, Inc. Visual stakeout
US20130234926A1 (en) * 2012-03-07 2013-09-12 Qualcomm Incorporated Visually guiding motion to be performed by a user
US9037411B2 (en) * 2012-05-11 2015-05-19 Honeywell International Inc. Systems and methods for landmark selection for navigation
JP6384898B2 (ja) * 2014-01-08 2018-09-05 Kddi株式会社 経路案内システム、方法及びプログラム
CN105222794A (zh) * 2014-06-10 2016-01-06 联想(北京)有限公司 一种信息处理方法及电子设备
CN108447146B (zh) 2017-02-16 2020-11-06 腾讯科技（深圳）有限公司 拍摄方向偏移检测方法及装置
TWI606250B (zh) * 2017-03-15 2017-11-21 qi-hong Lin Indoor positioning system and mobile terminal device
CN107656961B (zh) * 2017-08-04 2020-03-27 阿里巴巴集团控股有限公司 一种信息显示方法及装置
JP7027725B2 (ja) * 2017-08-24 2022-03-02 沖電気工業株式会社 情報処理装置、情報処理方法およびプログラム
JP7269103B2 (ja) * 2019-06-05 2023-05-08 日立Astemo株式会社 電子制御装置、制御方法、自動運転システム
KR20220088710A (ko) * 2019-11-06 2022-06-28 엘지전자 주식회사 차량용 디스플레이 장치 및 그 제어 방법
DE102020212520B3 (de) * 2020-10-05 2021-10-21 Volkswagen Aktiengesellschaft Horizontale Positionsfestlegung für das Einblenden virtueller Objekte bei einer Head-Up-Displayeinrichtung

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0933271A (ja) * 1995-07-21 1997-02-07 Canon Inc ナビゲーション装置及び撮像装置
JP2000149193A (ja) * 1998-11-09 2000-05-30 Nippon Telegr & Teleph Corp <Ntt> 移動支援装置及び移動支援方法
JP2000207577A (ja) * 1999-01-13 2000-07-28 Sumitomo Electric Ind Ltd 地図立体表示装置
JP2000259861A (ja) 1999-03-09 2000-09-22 Square Co Ltd テクスチャマッピング装置、方法、及び記録媒体
JP2001027535A (ja) 1999-05-12 2001-01-30 Denso Corp 地図表示装置
JP2001165681A (ja) 1999-12-09 2001-06-22 Navitime Japan Co Ltd 交通ネットワーク経路探索方法
JP2003121195A (ja) * 2001-08-07 2003-04-23 Casio Comput Co Ltd 目標位置探索装置、目標位置探索方法及びプログラム
JP2004257979A (ja) 2003-02-27 2004-09-16 Sanyo Electric Co Ltd ナビゲーション装置
JP2005241385A (ja) 2004-02-25 2005-09-08 Sony Ericsson Mobilecommunications Japan Inc 目的地案内装置および携帯端末装置
JP2006162442A (ja) 2004-12-07 2006-06-22 Matsushita Electric Ind Co Ltd ナビゲーション装置及びナビゲーション方法
JP2006194665A (ja) * 2005-01-12 2006-07-27 Sanyo Electric Co Ltd ナビゲーション機能付き携帯型端末機

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69938801D1 (de) * 1999-06-22 2008-07-03 Mitsubishi Electric Corp Server in einem Navigationssystem
EP1071285A1 (en) * 1999-07-19 2001-01-24 Texas Instruments Inc. Vertical compensation in a moving camera
JP4546166B2 (ja) * 2004-06-28 2010-09-15 ヤマハ発動機株式会社 船舶の航行情報表示制御装置
JP2006038513A (ja) * 2004-07-23 2006-02-09 Navitime Japan Co Ltd ナビゲーションシステム、経路探索装置およびナビゲーション装置ならびにプログラム
JP4428208B2 (ja) * 2004-11-16 2010-03-10 株式会社デンソー 車両用物体認識装置
US8108142B2 (en) * 2005-01-26 2012-01-31 Volkswagen Ag 3D navigation system for motor vehicles

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0933271A (ja) * 1995-07-21 1997-02-07 Canon Inc ナビゲーション装置及び撮像装置
JP2000149193A (ja) * 1998-11-09 2000-05-30 Nippon Telegr & Teleph Corp <Ntt> 移動支援装置及び移動支援方法
JP2000207577A (ja) * 1999-01-13 2000-07-28 Sumitomo Electric Ind Ltd 地図立体表示装置
JP2000259861A (ja) 1999-03-09 2000-09-22 Square Co Ltd テクスチャマッピング装置、方法、及び記録媒体
JP2001027535A (ja) 1999-05-12 2001-01-30 Denso Corp 地図表示装置
JP2001165681A (ja) 1999-12-09 2001-06-22 Navitime Japan Co Ltd 交通ネットワーク経路探索方法
JP2003121195A (ja) * 2001-08-07 2003-04-23 Casio Comput Co Ltd 目標位置探索装置、目標位置探索方法及びプログラム
JP2004257979A (ja) 2003-02-27 2004-09-16 Sanyo Electric Co Ltd ナビゲーション装置
JP2005241385A (ja) 2004-02-25 2005-09-08 Sony Ericsson Mobilecommunications Japan Inc 目的地案内装置および携帯端末装置
JP2006162442A (ja) 2004-12-07 2006-06-22 Matsushita Electric Ind Co Ltd ナビゲーション装置及びナビゲーション方法
JP2006194665A (ja) * 2005-01-12 2006-07-27 Sanyo Electric Co Ltd ナビゲーション機能付き携帯型端末機

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2080983A4 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013506218A (ja) * 2009-10-01 2013-02-21 オラワークス・インコーポレイテッド 端末の動きまたは姿勢に基づいてビジュアルサーチを行うための方法、端末およびコンピュータ読取可能な記録媒体
WO2011055978A2 (en) * 2009-11-03 2011-05-12 Samsung Electronics Co., Ltd. User terminal, method for providing position and method for guiding route thereof
WO2011055978A3 (en) * 2009-11-03 2011-11-10 Samsung Electronics Co., Ltd. User terminal, method for providing position and method for guiding route thereof
US9546879B2 (en) 2009-11-03 2017-01-17 Samsung Electronics Co., Ltd. User terminal, method for providing position and method for guiding route thereof
JP2011188340A (ja) * 2010-03-10 2011-09-22 Nec Casio Mobile Communications Ltd 撮像装置及びプログラム
WO2012050026A1 (ja) * 2010-10-12 2012-04-19 京セラ株式会社 携帯端末装置
JP2012083209A (ja) * 2010-10-12 2012-04-26 Kyocera Corp 携帯端末装置
US9026181B2 (en) 2010-10-12 2015-05-05 Kyocera Corporation Portable terminal device
WO2012066668A1 (ja) * 2010-11-18 2012-05-24 パイオニア株式会社 端末装置、端末装置によって実行される画像表示方法及び画像表示プログラム
JP4801232B1 (ja) * 2010-11-18 2011-10-26 パイオニア株式会社 端末装置、端末装置によって実行される画像表示方法及び画像表示プログラム
JP2012108097A (ja) * 2011-08-03 2012-06-07 Pioneer Electronic Corp 端末装置、端末装置によって実行される画像表示方法及び画像表示プログラム
JP2014228448A (ja) * 2013-05-24 2014-12-08 富士通テン株式会社 経路表示装置、及び、経路表示方法
JP2014222230A (ja) * 2014-06-19 2014-11-27 京セラ株式会社 携帯端末装置
US10795354B2 (en) 2014-12-25 2020-10-06 SZ DJI Technology Co., Ltd. Flight aiding method and system for unmanned aerial vehicle, unmanned aerial vehicle, and mobile terminal
US11474516B2 (en) 2014-12-25 2022-10-18 SZ DJI Technology Co., Ltd. Flight aiding method and system for unmanned aerial vehicle, unmanned aerial vehicle, and mobile terminal
JP2016151453A (ja) * 2015-02-17 2016-08-22 株式会社Ｓｃｒｅｅｎホールディングス 経路案内装置、及び経路案内方法
JP2017060033A (ja) * 2015-09-17 2017-03-23 カシオ計算機株式会社 携帯情報機器、携帯情報システム、表示方法及びプログラム
JP2019184439A (ja) * 2018-04-11 2019-10-24 株式会社Ｎｔｔドコモ 経路案内プログラム、経路案内方法及び情報処理装置
JP7023775B2 (ja) 2018-04-11 2022-02-22 株式会社Ｎｔｔドコモ 経路案内プログラム、経路案内方法及び情報処理装置
JP7469008B2 (ja) 2018-09-10 2024-04-16 ライン プラス コーポレーション 経路案内のためのコンテンツ提供方法および装置
JP2020046254A (ja) * 2018-09-18 2020-03-26 株式会社Ｓｃｒｅｅｎホールディングス 経路案内プログラム、経路案内装置、および経路案内システム
WO2020059271A1 (ja) * 2018-09-18 2020-03-26 株式会社Ｓｃｒｅｅｎホールディングス 経路案内プログラムを記録した記録媒体、経路案内装置、および経路案内システム
JP7146542B2 (ja) 2018-09-18 2022-10-04 株式会社Ｓｃｒｅｅｎホールディングス 経路案内プログラム、経路案内装置、および経路案内システム
JP6999052B2 (ja) 2021-01-14 2022-01-18 マクセル株式会社 携帯機器および映像表示方法
JP2022050443A (ja) * 2021-01-14 2022-03-30 マクセル株式会社 携帯機器および表示制御方法
JP7169422B2 (ja) 2021-01-14 2022-11-10 マクセル株式会社 携帯機器および表示制御方法

Also Published As

Publication number Publication date
EP2080983A1 (en) 2009-07-22
JP4068661B1 (ja) 2008-03-26
CN101523158A (zh) 2009-09-02
EP2080983A4 (en) 2012-01-04
JPWO2008044309A1 (ja) 2010-02-04
EP2080983B1 (en) 2014-07-02
US20100070162A1 (en) 2010-03-18
CN101523158B (zh) 2013-01-16
KR101084450B1 (ko) 2011-11-21
KR20090052903A (ko) 2009-05-26

Similar Documents

Publication Publication Date Title
JP4068661B1 (ja) ナビゲーションシステム、携帯端末装置および経路案内方法
JP4038529B1 (ja) ナビゲーションシステム、携帯端末装置および周辺画像表示方法
US8352177B2 (en) Navigation apparatus
EP3682194B1 (en) Methods and systems of providing lane information using a navigation apparatus
EP2881710B1 (en) Camera parameter computation device, navigation system, and camera parameter computation method
JP4895313B2 (ja) ナビゲーション装置およびその方法
US20100250116A1 (en) Navigation device
US20100245561A1 (en) Navigation device
US20050209776A1 (en) Navigation apparatus and intersection guidance method
JP5079683B2 (ja) 地図表示システムおよび地図表示システムにおける地図表示方法ならびに地図表示装置およびプログラム
JP4352031B2 (ja) ナビゲーションシステム、端末装置および地図表示方法
JP5063871B2 (ja) 携帯機用地図表示システム
JP4906272B2 (ja) 地図表示システム、情報配信サーバ、地図表示装置およびプログラム
KR100689512B1 (ko) 네비게이션 시스템에서 경로 이탈지로부터 이탈 전경로까지의 멀티패스를 계산하는 리-라우팅 장치 및 방법
JP2017026453A (ja) 経路案内システム、経路案内方法及びコンピュータプログラム
JP4428712B2 (ja) ナビゲーションシステム、経路探索サーバ、端末装置および地図表示方法
JP2021157018A (ja) 地図表示システム、地図表示プログラム
JP5348806B2 (ja) 地図表示システム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680056082.5

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2007523913

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 06811740

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2006811740

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12445237

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1020097007604

Country of ref document: KR

NENP Non-entry into the national phase

Ref country code: DE