WO2018135167A1 - ナビゲーションシステム、コンピュータプログラム製品、車載装置 - Google Patents

ナビゲーションシステム、コンピュータプログラム製品、車載装置 Download PDF

Info

Publication number
WO2018135167A1
WO2018135167A1 PCT/JP2017/043838 JP2017043838W WO2018135167A1 WO 2018135167 A1 WO2018135167 A1 WO 2018135167A1 JP 2017043838 W JP2017043838 W JP 2017043838W WO 2018135167 A1 WO2018135167 A1 WO 2018135167A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
navigation
unit
captured image
walking
Prior art date
Application number
PCT/JP2017/043838
Other languages
English (en)
French (fr)
Inventor
貴士 松本
靖 永井
剛 羽野
Original Assignee
クラリオン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クラリオン株式会社 filed Critical クラリオン株式会社
Priority to US16/479,416 priority Critical patent/US20190360837A1/en
Priority to EP17892975.8A priority patent/EP3572772A4/en
Priority to CN201780084139.0A priority patent/CN110214263A/zh
Publication of WO2018135167A1 publication Critical patent/WO2018135167A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3647Guidance involving output of stored or live camera images or video streams
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • G01C21/3423Multimodal routing, i.e. combining two or more modes of transportation, where the modes can be any of, e.g. driving, walking, cycling, public transport
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3605Destination input or retrieval
    • G01C21/362Destination input or retrieval received from an external device or application, e.g. PDA, mobile phone or calendar application
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3688Systems comprising multiple parts or multiple output devices (not client-server), e.g. detachable faceplates, key fobs or multiple output screens
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/005Traffic control systems for road vehicles including pedestrian guidance indicator
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003Maps
    • G09B29/006Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes
    • G09B29/007Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes using computer methods
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10Map spot or coordinate position indicators; Map reading aids

Definitions

  • the present invention relates to a navigation system, a computer program product, and an in-vehicle device.
  • vehicle navigation that is mounted on a vehicle and guides the vehicle to a destination
  • walking navigation that is mounted on a mobile terminal and guides a pedestrian who moves on foot to the destination
  • an end-to-end navigation system is known in which vehicle navigation is used for a driving section of a vehicle and a pedestrian navigation system is used in combination for a walking section after parking.
  • the in-vehicle navigation device detects the vehicle direction when the vehicle is stopped, transmits vehicle direction information that is information on the vehicle direction, and the portable terminal displays a map and a guidance route.
  • a navigation system that displays in a direction determined based on the vehicle direction information.
  • a navigation system is a navigation system including a portable terminal and an in-vehicle device mounted on a vehicle, and the in-vehicle device guides the vehicle from a vehicle navigation start point to a vehicle navigation destination.
  • the mobile terminal includes a display unit that presents image information, a walking navigation unit that guides a walking route from a walking navigation start point to a walking navigation destination, and the vehicle navigation destination And a start point output unit that outputs auxiliary information indicating the start point of walking navigation to the display unit by combining with the surrounding shot image and the shot image.
  • the computer program product stores a navigation program executed in a portable terminal having a display unit, and the navigation program walks from the walking navigation start point to the walking navigation destination on the portable terminal. It is possible to realize guidance of a moving route, and output of auxiliary information indicating the walking navigation start point to the display unit in combination with a captured image received from the outside and the captured image.
  • An in-vehicle device is an in-vehicle device provided in a vehicle equipped with a camera, and an image input unit to which a photographed image obtained by photographing the surroundings of the camera is input, and a predetermined point
  • An auxiliary information creation unit that creates auxiliary information indicating the predetermined point by combining with the photographed image based on the position where the photographed image was photographed and the optical axis direction of the camera when the photographed image was photographed
  • an in-vehicle communication unit that transmits the captured image and the auxiliary information to the outside.
  • the start point of walking navigation can be shown in an easy-to-understand manner.
  • FIG. 1st Embodiment Hardware configuration diagram of an in-vehicle device according to the first embodiment Hardware configuration diagram of portable terminal in the first embodiment Functional block diagram of the in-vehicle device in the first embodiment Functional block diagram of portable terminal in the first embodiment
  • the figure which shows an example of the auxiliary information displayed on a portable display part The figure which shows the example from which the auxiliary information displayed on a portable display part differs
  • FIG. 4th Embodiment shows the structure of the navigation system in 4th Embodiment.
  • Functional block diagram of a portable terminal in the sixth embodiment The flowchart which shows operation
  • FIG. 1 is a diagram showing a configuration of the navigation system 1.
  • the navigation system 1 is a system that provides end-to-end navigation, and includes an in-vehicle device 10 and a portable terminal 20.
  • the end-to-end navigation in the present embodiment includes vehicle navigation that is road guidance and guidance relating to vehicle movement, and foot navigation that is road guidance and guidance relating to movement by walking.
  • a departure point in vehicle navigation is called “vehicle navigation start point”, and a destination in vehicle navigation is called “vehicle navigation destination” or “vehicle destination”.
  • the departure point in walking navigation is called “walking navigation start point”, and the destination in walking navigation is called “walking navigation destination”. That is, the departure point of the end-to-end navigation in the present embodiment is a vehicle navigation start point, and the destination of the end-to-end navigation is a walking navigation destination.
  • the in-vehicle device 10 and the mobile terminal 20 are connected using a communication function that can be used for connection between terminals such as USB (Universal Serial Bus), Bluetooth (registered trademark), and wireless LAN (Local Area Network).
  • terminals such as USB (Universal Serial Bus), Bluetooth (registered trademark), and wireless LAN (Local Area Network).
  • the in-vehicle device 10 and the mobile terminal 20 may be connected to a common network, for example, the Internet, and may be connected directly via the Internet or indirectly via another device connected to the Internet.
  • FIG. 2 is a hardware configuration diagram of the vehicle 50.
  • the vehicle 50 includes an in-vehicle device 10, a vehicle signal line 51, an in-vehicle network 52, and a camera 53.
  • the in-vehicle device 10 is connected to the vehicle signal line 51 and the in-vehicle network 52 to refer to outputs of various devices included in the vehicle 50.
  • the in-vehicle device 10 can refer to the speed of the vehicle 50, the steering angle of the steering wheel, the position of the shift lever, and the state of the parking brake.
  • the in-vehicle device 10 further acquires an image obtained by photographing by the camera 53 (hereinafter referred to as “captured image”).
  • the camera 53 is an optical device that is attached to a predetermined position of the vehicle 50, for example, with the optical axis facing the front of the vehicle 50, and captures the front and surroundings and outputs a captured image.
  • the camera 53 may be configured to be connected to the in-vehicle device 10 via the inter-device communication device 130 using a USB, a wireless LAN, or the like.
  • the in-vehicle device 10 includes a CPU 100, a ROM 101, a RAM 102, an in-vehicle display unit 110, an in-vehicle operation unit 111, an auxiliary storage device 112, a sensor 113, and an inter-device communication device 130.
  • the CPU100 controls each part of the vehicle-mounted apparatus 10, and performs the car navigation program etc. which are read by RAM102.
  • the ROM 101 is a read-only storage device in which a control program, a car navigation program, and the like are written.
  • the RAM 102 is a device that reads a program stored in the auxiliary storage device 112 and temporarily stores it, or stores work data generated by the CPU 100 when the program is executed.
  • the in-vehicle display unit 110 is a device that displays image information to the user, such as a liquid crystal display or an organic EL (Electro-Luminescence) display.
  • the in-vehicle operation unit 111 is an apparatus such as a button, a switch, a keyboard, or a touch panel that allows the user to operate the in-vehicle apparatus 10 with a finger.
  • the auxiliary storage device 112 is a large-capacity storage device that stores various data such as a map database and a setting file used by a program such as a car navigation system. For example, an HDD (Hard Disk Drive) or an SSD (Solid State Drive). It is.
  • the inter-device communication apparatus 130 is an interface apparatus for connecting to the mobile terminal 20 and exchanging data.
  • the connection method may be wired connection conforming to standards such as USB and HDMI (registered trademark) (High-Definition Multimedia Interface), and conforms to standards such as IEEE802.11a / b / g / n of wireless LAN and Bluetooth.
  • a wireless connection may be used.
  • FIG. 3 is a diagram illustrating a hardware configuration of the mobile terminal 20.
  • the portable terminal 20 includes a CPU 200, a ROM 201, a RAM 202, a portable display unit 210, a portable operation unit 211, an auxiliary storage device 212, a sensor 213, and an inter-device communication device 231.
  • the CPU 200 is a device that controls each part of the mobile terminal 20 and executes a walking navigation program or the like read into the RAM 202.
  • ROM 201 a control program, a walking navigation program, and the like are written.
  • the RAM 202 is a device that reads a program stored in the auxiliary storage device 212 and temporarily stores it, or stores work data generated by the CPU 200 when the program is executed.
  • the portable display unit 210 is a device that displays image information to the user, such as a liquid crystal display or an organic EL display.
  • the portable operation unit 211 is a device such as a button, a switch, a keyboard, or a touch panel that allows the user to operate the portable terminal 20 with a finger.
  • the auxiliary storage device 212 is a large-capacity storage device that stores various data such as a map database and a setting file used by a program such as car navigation, and is an SSD, for example.
  • the sensor 213 includes a GPS receiver that outputs a position indicated by latitude and longitude, and an attitude sensor that can calculate the attitude angle of the mobile terminal 20.
  • the inter-device communication device 231 is an interface device for connecting to the in-vehicle device 10 and exchanging data.
  • the connection method may be a wired connection based on a standard such as USB or HDMI, or a wireless connection based on a standard such as IEEE802.11a / b / g / n of a wireless LAN or Bluetooth.
  • FIG. 4 is a functional block diagram illustrating the functions of the in-vehicle device 10 as functional blocks.
  • the in-vehicle device 10 includes an in-vehicle device information generation unit 400, an in-vehicle communication unit 480, a position specifying unit 482, a vehicle navigation unit 484, a map database 486, and a camera control unit 490 as functions thereof. These functions are implemented as programs that run on the OS.
  • the program is stored in the ROM 101 or the auxiliary storage device 112, loaded into the RAM 102, and executed by the CPU 100.
  • the in-vehicle communication unit 480 is a function that provides data communication with the mobile terminal 20 and is realized by the inter-device communication device 130.
  • the position specifying unit 482 is a function that calculates the current position, that is, the latitude and longitude, and the direction of travel of the vehicle 50 from the information acquired from the sensor 113.
  • the azimuth is represented by an angle of 0 to 360 degrees with a predetermined direction, for example, north as a reference, that is, zero degrees, east at 90 degrees and west at 270 degrees.
  • the vehicle navigation unit 484 provides a vehicle navigation function using data acquired from the position specifying unit 482, the map database 486, the vehicle signal line 51, the in-vehicle network 52, and the like.
  • the vehicle navigation function is a function for guiding the vehicle navigation start point to the vehicle navigation destination. This vehicle navigation function includes a notification that the vehicle 50 has arrived at the set vehicle navigation destination.
  • the map database 486 stores map information used by the vehicle navigation unit 484.
  • the camera control unit 490 outputs a shooting command to the camera 53 every predetermined time and acquires an image shot by the camera 53.
  • the in-vehicle device information generation unit 400 includes a vehicle information acquisition unit 420 and an image acquisition unit 430.
  • the vehicle information acquisition unit 420 is connected to the position specifying unit 482 and the vehicle navigation unit 484, and acquires the current position coordinates of the vehicle 50 and the direction of travel of the vehicle 50.
  • the vehicle information acquisition unit 420 detects parking of the vehicle 50 and arrival at the vehicle navigation destination under conditions described later, the vehicle information acquisition unit 420 transmits a parking arrival notification indicating parking or arrival to the mobile terminal 20 via the in-vehicle communication unit 480.
  • the image acquisition unit 430 is connected to the camera control unit 490, and acquires an image ahead of the vehicle 50 and a shooting angle of view of the image from the camera control unit 490.
  • the captured image and the captured angle of view acquired by the image acquisition unit 430 are transmitted to the mobile terminal 20 via the in-vehicle communication unit 480.
  • the camera control unit 490 and the image acquisition unit 430 that acquire a captured image of the camera 53 also function as a connection interface with the camera 53.
  • FIG. 5 is a functional block diagram showing functions provided in the mobile terminal 20 as functional blocks.
  • the mobile terminal 20 includes a mobile terminal information generation unit 500, a mobile communication unit 580, a position specifying unit 582, a walking navigation unit 584, and a map database 586 as its functions. These functions are implemented as programs that run on the OS.
  • the program is stored in the ROM 201 or the auxiliary storage device 212, loaded into the RAM 202, and executed by the CPU 200.
  • the mobile communication unit 580 is a function that provides data communication with the in-vehicle device 10 and is realized by the inter-device communication device 231.
  • the position specifying unit 582 is a function that calculates the current position, that is, the latitude and longitude, and the direction in which the mobile terminal 20 faces from the information acquired from the sensor 213.
  • the walking navigation unit 584 provides a walking navigation function using data acquired from the position specifying unit 582, the map database 586, and the like.
  • the walking navigation function is a function of calculating a route from the walking navigation start point to the walking navigation destination (hereinafter referred to as “walking navigation route”) and guiding the user to the walking navigation destination.
  • the walking navigation function includes a function of drawing a walking navigation route on a map.
  • the map database 586 provides map information to the walking navigation unit 584.
  • the portable terminal information generation unit 500 includes a vehicle state monitoring unit 510, a positional relationship calculation unit 520, and an auxiliary information creation unit 530.
  • the vehicle state monitoring unit 510 monitors the state of the vehicle by an arrival notification, a parking notification, or the like received from the vehicle-mounted device 10.
  • the positional relationship calculation unit 520 calculates the positional relationship between the range captured in the captured image and the walking navigation start point. This calculation is performed based on the current position coordinates of the vehicle 50, the direction in which the optical axis of the camera 53 is directed (hereinafter referred to as “shooting direction”), the angle of view of the camera 53, and the walking navigation start point.
  • the auxiliary information creation unit 530 generates auxiliary information to be described later using the calculation result of the positional relationship calculation unit 520 and the like. This auxiliary information is displayed on the portable display unit 210 together with the captured image received from the in-vehicle device 10.
  • the auxiliary information in the present embodiment is information for guiding the user to the walking navigation start point, and is displayed on the portable display unit 210 together with the captured image.
  • the auxiliary navigation information alone cannot represent the walking navigation start point, but the walking navigation start point can be shown in an easy-to-understand manner by being displayed together with the captured image.
  • FIG. 6 is a diagram illustrating an example of auxiliary information displayed on the mobile display unit 210.
  • walking navigation information 660 and walking navigation start point information 670 are displayed on the mobile display unit 210.
  • the walking navigation information 660 includes a map 600, a walking navigation route 610, a parked vehicle 640, and a walking navigation start point 650.
  • the walking navigation start point information 670 includes a captured image 620 and auxiliary information 630.
  • the captured image 620 is the latest captured image that the mobile terminal 20 has received from the in-vehicle device 10.
  • the auxiliary information 630 includes a message 631 that is a character string “Please go in the direction of the arrow” and an arrow 632 that indicates a walking navigation start point.
  • the arrow shown inside the parked vehicle 640 shows the direction which the front of a vehicle, ie, the camera 53 image
  • the arrow 632 points in front of “A bank B branch” and the message 631 is the arrow 632. Urges movement in the direction of.
  • the message 631 may be a message indicating the walking navigation start point 650 without using the arrow 632, for example, “go to the center of the photograph”.
  • An arrow 632 is an example of a marker, and a marker having another shape, for example, a round or square marker may be used.
  • FIG. 7 is a diagram illustrating different examples of auxiliary information displayed on the mobile display unit 210. 7 is different from FIG. 6 in that the walking navigation start point 650 is moved in front of the “supermarket F”.
  • the arrow 632 points in the direction of “supermarket F”, that is, the lower right in the figure, based on the positional relationship between “A bank B branch” captured in the captured image 620 and the walking navigation start point. , Like the arrow 632, is urged to move diagonally right rearward. Note that the message 631 may prompt the movement in the direction indicated by the arrow 632 as in FIG.
  • the user may search for a direction in which the user's own field of view matches the display content of the captured image 620, the arrow 632, and the message 631.
  • the user does not need to consider the direction from the walking navigation start point 650 and the position of the parked vehicle 640 displayed on the map of the walking navigation information 660, and can intuitively recognize the direction to go.
  • FIG. 8 is a flowchart showing the operation of the navigation system 1 according to the first embodiment.
  • the user operates the portable operation unit 211 to input a destination, that is, a walking navigation destination to the portable terminal 20 (S750).
  • the portable terminal 20 searches for a parking lot that exists in the vicinity of the walking navigation destination input using the map DB 586, and determines a parking lot where the vehicle 50 is parked and a walking start point, that is, a walking navigation starting point. (S751).
  • the user may input the destination and the parking position, or the mobile terminal 20 may present some candidates for the parking position, and the candidate selected by the user may be set as the parking position.
  • the walking navigation start point is, for example, a road that is in contact with the determined parking lot, and is set as an intersection of the road and the straight line connecting the walking navigation destination from the central area of the determined parking lot. Moreover, you may consider the positional information on the entrance / exit of a parking lot in determination of a walking navigation start point.
  • the connection between the two is established.
  • the portable terminal 20 transmits parking lot information, that is, vehicle navigation destination information, to the in-vehicle device 10 (S753).
  • the walking navigation unit 584 calculates a walking navigation route from the walking navigation starting point to the walking navigation destination (S754), and waits for communication from the in-vehicle device 10.
  • the in-vehicle device information generation unit 400 When the in-vehicle device 10 receives the information on the vehicle navigation destination, the in-vehicle device information generation unit 400 is activated, the vehicle navigation unit 484 searches for a route from the current location to the vehicle navigation destination, and the vehicle 50 to the vehicle navigation destination. Is started (S702). Next, the image acquisition unit 430 of the in-vehicle device 10 acquires information on the captured image and the angle of view from the camera control unit 490 (S704). Then, the vehicle information acquisition unit 420 acquires vehicle information, that is, the current position coordinates of the vehicle 50 and the direction of travel of the vehicle 50 from the position specifying unit 482 and the vehicle navigation unit 484 (S706). As described above, since the camera 53 faces the front of the vehicle 50 in the present embodiment, the traveling direction of the vehicle 50 coincides with the direction of the optical axis of the camera 53.
  • the in-vehicle device 10 transmits the captured image, the angle of view, and the vehicle information to the mobile terminal 20 (S708).
  • the in-vehicle device 10 determines whether or not the vehicle 50 has arrived at the vehicle navigation destination (S710) and whether or not the vehicle 50 has been parked (S712). If an affirmative determination is made in any one of S710 and S712, the in-vehicle device 10 transmits a parking arrival notification to the mobile terminal 20 (S714). When negative determination is made in both S710 and S712, the process returns to S704.
  • the in-vehicle device 10 executes steps S704 to S708 every predetermined time until the vehicle 50 arrives at the vehicle navigation destination and the parking is completed, and carries the captured image, the angle of view, and the vehicle information. It transmits to the terminal 20.
  • the positional relationship calculation unit 520 causes the last captured image transmitted by the in-vehicle device 10 last, that is, immediately before or immediately after the vehicle 50 arrives at the vehicle navigation destination.
  • the positional relationship with the walking navigation start point in the captured image obtained by the camera 53 photographing the periphery of the vehicle navigation destination immediately before (or immediately after the completion of parking) is calculated (S758). This calculation is performed based on the current position coordinates of the latest vehicle 50 received from the in-vehicle device 10, the shooting direction of the camera 53, and the walking navigation start point determined in step S751.
  • the auxiliary information creation unit 530 generates auxiliary information based on the calculation result of the positional relationship calculation unit 520 (S762) and outputs the auxiliary information to the walking navigation unit 584.
  • the auxiliary information is, for example, a combination of an arrow indicating a walking navigation start point to be displayed on the captured image and a message.
  • the walking navigation unit 584 displays the walking navigation start point information 670 and the walking navigation information 660 on the portable display unit 210 as shown in FIG. 6 (S766). Subsequently, the walking navigation unit 584 acquires the position of the mobile terminal 20 from the position specifying unit 582 and determines whether or not the walking navigation starting point has been reached (S770). The walking navigation unit 584 proceeds to step S772 when determining that the walking navigation start point has been reached, and remains at step S770 when determining that the walking navigation start point has not been reached. In step S772, the walking navigation unit 584 deletes the walking navigation start point information 670 from the portable display unit 210, and displays only the walking navigation information 660 on the portable display unit 210.
  • End-to-End navigation system which is a combination of vehicle navigation and walking navigation, it indicates which direction the user should go after getting off at the timing when the route guidance is taken over from the vehicle navigation to the walking navigation.
  • auxiliary information By generating and displaying the auxiliary information, it is possible to intuitively recognize the direction to be directed to the user.
  • the navigation system 1 includes a mobile terminal 20 and an in-vehicle device 10 mounted on the vehicle 50.
  • the in-vehicle device 10 includes a vehicle navigation unit 484 that guides the vehicle 50 from a vehicle navigation start point to a vehicle navigation destination.
  • the portable terminal 20 includes a portable display unit 210 that presents image information, a walking navigation unit 584 that guides a route that walks from a walking navigation start point to a walking navigation destination, a captured image around the vehicle navigation destination, And a start point output unit, for example, a walk navigation unit 584, which outputs auxiliary information indicating the start point of walking navigation to the portable display unit 210 by combining with a captured image.
  • the walking navigation start point can be easily shown.
  • the walking navigation start point can be indicated using the walking navigation information 660 illustrated in FIG. 6, the user may have difficulty in comparing a feature such as a building drawn on the map 600 with an object that is visible to the eye. .
  • the captured image obtained by capturing with the camera 53 is very close to the viewpoint of the user as compared with the map 600, so that it is easy to compare the feature in the captured image with the object that is visible. Therefore, it is effective to use a photographed image to indicate a walking navigation start point.
  • the effect by this structure is remarkable especially in the place visited for the first time.
  • the in-vehicle device 10 is input to the image acquisition unit 430 to which a captured image obtained by the camera 53 mounted on the vehicle 50 is captured around the vehicle navigation destination and the image acquisition unit 430. And an in-vehicle communication unit 480 that transmits the captured image to the mobile terminal 20.
  • the walking navigation unit 584 outputs the captured image received from the in-vehicle device 10 to the portable display unit 210. Therefore, the captured image displayed on the mobile terminal 20 is an image captured by the camera 53 mounted on the same vehicle 50 as the in-vehicle device 10. Therefore, there is a high possibility that the user has already seen the scenery photographed in the photographed image from within the vehicle 50, and the user can easily determine the starting point for walking navigation.
  • the in-vehicle device 10 includes a notification unit that detects that the vehicle 50 is parked and transmits a notification indicating the parking of the vehicle 50 to the portable terminal 20, that is, a vehicle information acquisition unit 420. Therefore, the walking navigation start point information 670 can be displayed on the portable display unit 210 at an appropriate timing triggered by the parking of the vehicle 50.
  • the in-vehicle communication unit 480 transmits the captured image input to the image acquisition unit 430 to the mobile terminal 20 every predetermined time until the vehicle information acquisition unit 420 detects parking.
  • the mobile terminal 20 includes an auxiliary information creation unit 530 that creates auxiliary information based on the walking navigation start point, the position where the captured image was captured, and the optical axis direction of the camera 53 when the captured image was captured. . Therefore, the mobile terminal 20 can calculate the relationship between the captured image and the walking navigation start point.
  • the auxiliary information creation unit 530 further creates auxiliary information using the angle-of-view information of the captured image. Therefore, the mobile terminal 20 can accurately determine whether or not the walking navigation start point is included in the captured image, and can create and present it as auxiliary information to the user.
  • the program executed in the portable terminal 20 including the portable display unit 210 is received from the outside with a walking navigation function that guides the portable terminal 20 on a walking route from the walking navigation start point to the walking navigation destination.
  • a start point output function for outputting auxiliary information 630 indicating the start point of walking navigation to the portable display unit 210 is realized.
  • FIG. 9 is a flowchart showing the operation of the navigation system 1 in the first modification.
  • the difference with FIG. 8 in 1st Embodiment is the order of the process which the vehicle-mounted apparatus 10 performs.
  • the vehicle information acquisition unit 420 acquires vehicle information, that is, the current position coordinates of the vehicle 50 and the direction of travel of the vehicle 50 ( S706).
  • the in-vehicle device 10 determines whether or not the vehicle 50 has arrived at the vehicle navigation destination (S710) and whether or not the vehicle 50 has been parked (S712).
  • the in-vehicle device 10 acquires the captured image and the information on the angle of view (S704), and the acquired captured image and the information on the angle of view acquired in the most recent step S706.
  • the vehicle information is transmitted to the mobile terminal 20 (S708).
  • the in-vehicle device 10 transmits a parking arrival notification to the mobile terminal 20 (S714). If a negative determination is made in both S710 and S712, the process returns to S706.
  • the following functions and effects can be obtained.
  • the vehicle information acquisition unit 420 detects parking
  • the in-vehicle communication unit 480 transmits the captured image input to the image acquisition unit 430 to the mobile terminal 20. Therefore, since the mobile terminal 20 obtains a captured image at an appropriate timing immediately before presenting the walking navigation start point information 670 to the user, the number of times the in-vehicle device 10 acquires the captured image, and the in-vehicle device 10 captures the captured image. The number of transmissions to 20 can be reduced.
  • auxiliary storage device 112 of the in-vehicle device 10 may be updateable from other devices.
  • the other device may be a device such as a notebook personal computer or a storage medium brought into the vehicle or installed in the vehicle.
  • the other device may be a device existing outside the vehicle 50 connected via wireless communication, for example, a server installed in a data center.
  • the program constituting the vehicle navigation unit 484 may be updatable.
  • the auxiliary information 630 is composed of a message 631 and an arrow 632 indicating a walking navigation start point.
  • the auxiliary information 630 may be configured only from the message 631, or the auxiliary information 630 may be configured only from the arrow 632.
  • the message 631 in the case where the auxiliary information 630 includes only the message 631 is, for example, “Please go to the center of the photograph”.
  • the walking navigation unit 584 may realize walking navigation without performing display on the portable display unit 210.
  • the walking navigation unit 584 performs, for example, voice navigation using a speaker (not shown) or navigation notifying a traveling direction and a left / right turn position using a vibrator (not shown).
  • voice navigation using a speaker (not shown) or navigation notifying a traveling direction and a left / right turn position using a vibrator (not shown).
  • the walking navigation start point information 670 is displayed on the mobile display unit 210, and the walking navigation information 660 is not displayed.
  • the walking navigation information 660 may not be displayed together with the walking navigation start point information 670. In other words, only the walking navigation start point information 670 is displayed on the mobile display unit 210 until it arrives at the walking navigation start point, and when it reaches the walking navigation start point, the walking navigation information 660 is displayed instead of the walking navigation start point information 670. May be.
  • the functions of the in-vehicle device 10 in the first embodiment may be realized by sharing with a plurality of devices.
  • the vehicle may include an in-vehicle device, a camera, and a car navigation device
  • the camera 53 may have a function of transmitting a captured image to the mobile terminal 20
  • the car navigation device may have a function of the vehicle navigation unit 484.
  • the in-vehicle device has a configuration in which the vehicle navigation unit 484, the map DB 486, the image acquisition unit 430, and the camera control unit 490 are excluded from the configuration of the in-vehicle device 10 in the first embodiment.
  • Modification 7 If the angle of view of the camera 53 is fixed, for example, if the focus of the lens provided in the camera 53 is fixed, the image acquisition unit 430 may not acquire the angle of view or transmit it to the mobile terminal 20. In this case, the auxiliary information creation unit 530 of the mobile terminal 20 generates auxiliary information using a known angle of view of the camera 53.
  • the walking navigation function provided in the mobile terminal 20 and the vehicle navigation function provided in the in-vehicle device 10 may be realized by a server (not shown) connected by wireless communication.
  • the mobile terminal 20 transmits information indicating the walking navigation destination to a server (not shown), and from the server, the parking position, start of walking navigation, and walking navigation. A route may be received.
  • the user may input a walking navigation destination to the in-vehicle device 10, and the in-vehicle device 10 may notify the portable terminal 20 of the walking navigation destination.
  • the vehicle navigation destination may be set by the mobile terminal 20, or the vehicle navigation destination may be set by the in-vehicle device 10, and the vehicle navigation destination may be notified to the mobile terminal 20 together with the walking navigation destination. .
  • the in-vehicle device 10 may process an image captured by the camera 53 and transmit it to the mobile terminal 20. This processing includes crop processing that cuts out a part of a captured image, distortion removal processing that corrects distortion of the captured image based on lens distortion, and viewpoint conversion processing that processes the captured image from different viewpoints.
  • Modification 11 In the first embodiment described above, it is determined whether or not the vehicle 50 has arrived at the vehicle navigation destination (S710) and whether or not the vehicle 50 has been parked (S712). If determined, the in-vehicle device 10 transmits a parking arrival notification to the mobile terminal 20 (S714). However, when it is determined that the vehicle 50 has arrived at the vehicle navigation destination and the parking of the vehicle 50 has been completed, the in-vehicle device 10 may transmit a parking arrival notification to the mobile terminal 20. In other words, S710 and S712 may be evaluated as AND conditions instead of being evaluated as OR conditions.
  • FIG. 1 A second embodiment of the navigation system 1 according to the present invention will be described with reference to FIG.
  • the same components as those in the first embodiment are denoted by the same reference numerals, and different points will be mainly described. Points that are not particularly described are the same as those in the first embodiment.
  • This embodiment is different from the first embodiment mainly in that the mobile terminal 20 starts walking navigation without receiving an explicit notification from the in-vehicle device 10.
  • the hardware configuration and functional configuration of the navigation system 1 in the second embodiment are the same as those in the first embodiment. However, the operation of the program stored in the ROM of the portable terminal 20 is different from that of the first embodiment.
  • the vehicle state monitoring unit 510 of the mobile terminal 20 detects that the mobile communication unit 580 has been disconnected from the vehicle 50.
  • the auxiliary information creation unit 530 creates auxiliary information when the vehicle state monitoring unit 510 detects a disconnection.
  • FIG. 10 is a flowchart showing the operation of the navigation system 1 according to the second embodiment.
  • the processing executed before step S754 of the portable terminal 20 and the processing executed after step S758 are the same as those in the first embodiment in the processing items and the order of the processing, and are omitted.
  • the walking navigation unit 584 calculates the walking navigation route from the walking navigation start point to the walking navigation destination (S754).
  • the vehicle state monitoring unit 510 determines whether or not the connection with the in-vehicle device 10 is disconnected (S900) and whether or not a parking arrival notification is received from the in-vehicle device 10 (S902).
  • the mobile terminal 20 proceeds to step S758 if an affirmative determination is made in either one of S900 and S902, and returns to S900 if a negative determination is made in both S900 and S902. Since the process after step S758 is the same as that of the first embodiment, the description thereof is omitted.
  • the mobile terminal 20 includes a disconnection detection unit that detects that the wireless communication connection with the in-vehicle device 10 has been disconnected, that is, a vehicle state monitoring unit 510.
  • the auxiliary information creation unit 530 creates auxiliary information when the vehicle state monitoring unit 510 detects disconnection.
  • the start point output unit for example, the walking navigation unit 584 outputs the captured image 620 and the auxiliary information 630 to the portable display unit 210 when the auxiliary information generation unit 530 generates the auxiliary information.
  • the walking navigation starts on the mobile terminal 20.
  • the point information 670 can be displayed.
  • the mobile terminal 20 selects a suitable captured image from the captured images received from the in-vehicle device 10 and uses it for guidance to the walking navigation start point, and after arrival at the walking navigation destination. It differs from the first embodiment in that guidance when returning to the vehicle is also executed.
  • the hardware configuration and functional configuration of the navigation system 1 in the third embodiment are the same as those in the first embodiment. However, the operation of the program stored in the ROM of the portable terminal 20 is different from that of the first embodiment.
  • the captured image received from the in-vehicle device 10 is stored in the RAM 202 or the auxiliary storage device 212 of the mobile terminal 20. When a predetermined number, for example 100, of the photographed images are accumulated, the oldest photographed image is deleted every time a new photographed image is stored.
  • FIG. 11 is a flowchart showing the operation of the navigation system 1 according to the third embodiment.
  • the operation of the in-vehicle device 10 is the same as that of the first embodiment, and only step S714 is described in FIG.
  • the operation of the mobile terminal 20 is the same as that of the first embodiment up to step S754, and only the operation after receiving the notification in step S714 of the in-vehicle device 10 is described.
  • the portable terminal 20 selects a suitable captured image from the captured images stored in the RAM 202 or the auxiliary storage device 212 (S1000).
  • S1000 auxiliary storage device 212
  • the selection criteria of a suitable picked-up image are not limited to one, it is as follows, for example.
  • step S1000 the position where the captured image is captured is closer to the current position of the mobile terminal 20.
  • step S1000 the positional relationship calculation unit 520 of the mobile terminal 20 calculates the positional relationship with the walking navigation start point in the captured image selected in step S1000 (S758).
  • the portable terminal 20 executes Steps S762, S766, S770, and S772 as in the first embodiment.
  • the captured image selected in step S1000 is used in place of the latest captured image received from the in-vehicle device 10.
  • FIG. 12 is a flowchart illustrating an operation in which the mobile terminal 20 presents information for returning to the vehicle 50 to the user after arriving at the walking navigation destination.
  • the walking navigation unit 584 of the mobile terminal 20 performs walking navigation (S1104).
  • the current location or the previously set walking navigation destination is set as the walking navigation start point.
  • the self position last acquired from the in-vehicle device 10 hereinafter referred to as “final vehicle position”
  • the position of the parking lot determined in step S751 are set as the walking navigation destination.
  • the portable terminal 20 acquires the current position (S1106), and determines whether or not it is near the vehicle 50 (S1108).
  • the vicinity of the vehicle 50 means that the current position acquired in step S1106 is within a predetermined distance from the final vehicle position, for example.
  • the process proceeds to step S ⁇ b> 1110, and when it is determined that the mobile terminal 20 is not near the vehicle 50, the process returns to step S ⁇ b> 1106.
  • step S1110 the portable terminal 20 selects a suitable captured image from the captured images stored in the RAM 202 or the auxiliary storage device 212.
  • the selection criteria of a suitable picked-up image are not limited to one, it is as follows, for example. That is, first, it is better that the final vehicle position is closer to the current position of the mobile terminal 20. Second, the closer the final vehicle position is to the center of the captured image, the better.
  • the positional relationship calculation unit 520 of the mobile terminal 20 calculates the positional relationship with the final vehicle position in the captured image selected in step S1110 (S1112).
  • the auxiliary information creation unit 530 generates auxiliary information indicating the final vehicle position (S1114), and the walking navigation unit 584 uses the captured image selected in step S1110 and the auxiliary information generated in step S1114 as the parking position of the vehicle 50. Is displayed on the portable display unit 210 as parking spot information (S1116). When the user approaches the vehicle 50 with reference to the parking spot information and approaches a distance where the in-vehicle device 10 and the portable terminal 20 can communicate, the connection between the two is established. Then, the portable terminal 20 ends the display of the parking spot information on the portable display unit 210 (S1118).
  • the mobile terminal 20 selects one captured image from a plurality of captured images received from the in-vehicle device 10 based on the stop position of the vehicle 50 and the walking navigation start point (step S1000 in FIG. 11). Is provided.
  • the auxiliary information creation unit 530 operates using the captured image selected by the image selection unit. Therefore, it is not limited to the image last image
  • the portable terminal 20 includes a stop point output unit (step S1116 in FIG. 12) that outputs a captured image and stop auxiliary information indicating the stop position of the vehicle to the portable display unit 210 in combination with the captured image. Therefore, it is possible to assist the user in searching for the parking position of the vehicle 50 when returning to the vehicle 50 after arriving at the walking navigation destination.
  • FIGS. 1 -Fourth embodiment- A fourth embodiment of the navigation system 1 according to the present invention will be described with reference to FIGS.
  • the same components as those in the first embodiment are denoted by the same reference numerals, and different points will be mainly described. Points that are not particularly described are the same as those in the first embodiment.
  • This embodiment is different from the first embodiment mainly in that the mobile terminal 20 receives a captured image from a server.
  • FIG. 13 is a diagram illustrating a configuration of the navigation system 1 according to the fourth embodiment.
  • the navigation system 1 according to the fourth embodiment includes an in-vehicle device 10, a mobile terminal 20, and a server 30.
  • the hardware configuration of the mobile terminal 20 further includes a wireless communication unit 232 that communicates with the server 30 outside the vehicle in addition to the configuration of the first embodiment.
  • the wireless communication unit 232 corresponds to, for example, any one of 3G, LTE (Long Term Evolution), wireless LAN, or a plurality of communication standards.
  • In-vehicle device 10 may not include camera control unit 490 in the present embodiment. Note that the vehicle 50 may not include the camera 53.
  • the server 30 includes an image database in which photographed images are stored and a server communication unit that can communicate with the mobile terminal 20.
  • the captured images stored in the image database are associated with positional information indicating the location where the image was captured, for example, latitude and longitude, and the direction of the optical axis of the camera when the image was captured, in other words, the information on the orientation that was captured. .
  • positional information indicating the location where the image was captured, for example, latitude and longitude
  • the direction of the optical axis of the camera when the image was captured in other words, the information on the orientation that was captured.
  • the server 30 When the server 30 receives the position information and the azimuth information from the portable terminal 20, the server 30 extracts a photographed image closest to the conditions received from the plurality of photographed images stored in the image database as a photographed image around the vehicle navigation destination. To the mobile terminal 20. That is, a captured image having position information closest to the position indicated by the position information received from the mobile terminal 20 and having direction information closest to the direction indicated by the direction information received from the mobile terminal 20 is transmitted to the mobile terminal 20. To do. If the captured image with the best conditions is different for both the position information and the direction information, the position information may be prioritized or the direction information may be prioritized. Further, the position information and the direction information may be evaluated with a predetermined weight.
  • FIG. 14 is a flowchart showing the operation of the navigation system 1 according to the fourth embodiment.
  • the operation of the mobile terminal 20 is the same as that of the first embodiment until the calculation of the walking navigation route (S754).
  • the in-vehicle device 10 starts guidance to the vehicle destination, that is, the vehicle navigation destination, as in the first embodiment (S702), and then the current position of the vehicle 50
  • the coordinates are acquired (S706A). That is, in the fourth embodiment, the captured image and the direction of the traveling direction of the vehicle 50 are not acquired.
  • the in-vehicle device 10 transmits the current position coordinates of the vehicle 50 acquired in step S706A to the portable terminal 20 (S708A). Subsequent operations of the in-vehicle device 10 are the same as those in the first embodiment, and thus description thereof is omitted.
  • the mobile terminal 20 When the mobile terminal 20 receives the parking arrival notification (S714) from the in-vehicle device 10, the mobile terminal 20 calculates the direction from the current position, that is, the current position coordinates last received from the in-vehicle device 10 to the walking navigation start point (S1301). Next, the portable terminal 20 requests the server 30 for a captured image around the vehicle navigation destination by transmitting the current position and the azimuth calculated in step S1301 to the server 30 through the wireless communication unit 232 (S1302).
  • the server 30 extracts the captured image closest to the received current position and azimuth conditions as a captured image around the vehicle navigation destination from the image database. Then, the server 30 transmits the extracted photographed image, the position where the extracted photographed image was photographed, and the photographing orientation of the extracted photographed image to the mobile terminal 20 (S1303).
  • the mobile terminal 20 receives a captured image or the like from the server 30, the mobile terminal 20 executes the processes after step S758.
  • the processing after step S758 uses the captured image received from the server 30, the captured orientation, and the position where the captured image was captured, instead of the captured image received from the in-vehicle device 10, the captured orientation, and the current position. Is the same as in the first embodiment.
  • the mobile terminal 20 includes a wireless communication unit 232 that performs wireless communication with the server 30 in which a plurality of captured images including captured images around the vehicle navigation destination are stored in advance.
  • the walking navigation unit 584 outputs, to the mobile display unit 210, the captured image around the vehicle navigation destination received by the wireless communication unit 584, which is extracted from the plurality of captured images by the server 30 and transmitted to the mobile terminal 20. Therefore, the vehicle 50 may not include a camera.
  • the vehicle-mounted device 10 includes a vehicle information acquisition unit 420 that detects that the vehicle 50 is parked, and a vehicle-mounted communication unit that transmits a notification indicating the parking of the vehicle to the portable terminal 20 when the vehicle information acquisition unit 420 detects parking. 480.
  • the wireless communication unit 232 of the portable terminal 20 requests the captured image from the server 30. Therefore, even when the vehicle 50 does not include a camera, the mobile terminal 20 can acquire a captured image.
  • the in-vehicle device 10 may not transmit the current position coordinates of the vehicle 50 to the mobile terminal 20.
  • the portable terminal 20 acquires the current position from the position specifying unit 582 in step S1301, and uses this instead of the current position coordinates of the vehicle 50.
  • the in-vehicle device 10 may not include the vehicle information acquisition unit 420.
  • the server may process a captured image obtained in advance and transmit it to the mobile terminal 20.
  • This processing includes crop processing that cuts out a part of a captured image, distortion removal processing that corrects distortion of the captured image based on lens distortion, and viewpoint conversion processing that processes the captured image from different viewpoints.
  • the server creates an image similar to a captured image obtained by capturing a specific direction from a specific position based on survey data obtained in advance, that is, three-dimensional shape data and color information, and transmits the image to the mobile terminal 20. May be.
  • the specific position is the position of the vehicle 50
  • the specific direction is the direction from the position of the vehicle 50 toward the walking navigation start point.
  • the server may create an image based on a three-dimensional model of a building around the current location of the vehicle 50 and transmit this to the mobile terminal 20 as a captured image.
  • FIGS. 1 -Fifth embodiment- A fifth embodiment of the navigation system 1 according to the present invention will be described with reference to FIGS.
  • the same components as those in the first embodiment are denoted by the same reference numerals, and different points will be mainly described. Points that are not particularly described are the same as those in the first embodiment.
  • This embodiment is different from the first embodiment mainly in that the mobile terminal 20 determines a walking navigation start point again after the vehicle 50 is parked.
  • FIG. 15 is a flowchart showing the operation of the navigation system 1 according to the fifth embodiment. Since the operation of the in-vehicle device 10 is the same as that of the first embodiment, only step S714 is described in FIG. The operation of the portable terminal 20 is the same as that of the first embodiment up to step S754, and only the operation after the notification in step S714 of the in-vehicle device 10 is shown in FIG.
  • the mobile terminal 20 When the mobile terminal 20 receives the parking arrival notification from the in-vehicle device 10, the mobile terminal 20 again determines a walking navigation start point based on the latest vehicle position received from the in-vehicle device 10 and the walking navigation destination input in step S750 ( S1401). In step S751, the walking navigation start point has already been determined, but in step S751, a representative position of the parking lot, for example, the center of the parking lot or the planned parking position is used. In contrast, in this step, the position where the vehicle 50 is actually parked is used for calculation.
  • the mobile terminal 20 calculates again the walking navigation route from the walking navigation start point calculated in step S1401 to the walking navigation destination input in step S750 (S754A). However, when the walking navigation start point determined in step S1401 is the same as the walking navigation start point determined in step S751, step S754A may be omitted.
  • the portable terminal 20 executes the processing from step S762 onward using the walking navigation start point determined in step S1401 and the walking navigation route generated in step S754A.
  • FIG. 16 is a diagram showing the walking navigation information 660 and the walking navigation start point information 670 displayed on the mobile display unit 210 in the fifth embodiment. However, what is actually displayed in the walking navigation information 660 is indicated by a solid line, and what is not actually displayed is indicated by a broken line.
  • the walking navigation information 660 will be described.
  • Reference numeral 1550 indicates step S751, that is, a walking navigation start point determined initially
  • reference numeral 1560 indicates step S1401, that is, a walking navigation start point determined after the vehicle 50 is parked.
  • Reference numeral 1510 indicates step S754, that is, the walking navigation route calculated initially
  • reference numeral 1520 indicates step S754A, that is, the walking navigation route calculated after the vehicle 50 is parked.
  • the route 1510 and the walking navigation start point 1550 are not actually displayed on the mobile display unit 210, as can be seen from the broken lines.
  • the walking navigation start point and the walking navigation route are updated. Therefore, actually, the updated walking navigation start point and the walking navigation route represented by reference numerals 1560 and 1520 are displayed on the portable display unit 210.
  • the walking navigation start point information 670 will be described.
  • the photographed image 620 and auxiliary information 630 constituting the walking navigation start point information 670 the photographed image 620 is the same as the first embodiment in that the portable terminal 20 is the latest photographed image received from the in-vehicle device 10. is there.
  • the auxiliary information 630 is different from the first embodiment in that the auxiliary information 630 is created using the walking navigation start point determined in step S1401, that is, updated. Since the auxiliary information 630 is created using the updated walking navigation start point, as shown in FIG. 16, the message 631 and the arrow 632 indicate the updated walking navigation start point 1560.
  • the mobile terminal 20 includes a changing unit (S1401 in FIG. 15) that changes the walking navigation start point based on the stop position of the vehicle 50 and the walking navigation destination.
  • the auxiliary information creation unit 530 creates auxiliary information based on the walking navigation start point changed by the changing unit, the position where the captured image was captured, and the optical axis direction of the camera when the captured image was captured. Therefore, the walking navigation start point can be flexibly changed based on the stop position of the vehicle 50 to reduce the burden on the user.
  • FIGS. A sixth embodiment of the navigation system 1 according to the present invention will be described with reference to FIGS.
  • the same components as those in the first embodiment are denoted by the same reference numerals, and different points will be mainly described. Points that are not particularly described are the same as those in the first embodiment.
  • This embodiment is different from the first embodiment mainly in that the in-vehicle device 10, not the mobile terminal 20, generates the walking navigation start point information 670 and the walking navigation information 660.
  • the hardware configuration of the navigation system 1 in the sixth embodiment is the same as that of the first embodiment.
  • the programs stored in the ROMs of the in-vehicle device 10 and the portable terminal 20 are different from those in the first embodiment, and the functional configuration is different from that in the first embodiment as follows.
  • FIG. 17 is a functional block diagram showing the functions of the in-vehicle device 10 according to the sixth embodiment as functional blocks.
  • the in-vehicle device 10 further includes a positional relationship calculation unit 1610 and an auxiliary information creation unit 1620 as its functions in addition to the functions in the first embodiment.
  • the functions and operations of the positional relationship calculation unit 1610 correspond to the positional relationship calculation unit 520 of the mobile terminal 20 in the first embodiment.
  • the function and operation of the auxiliary information creation unit 1620 correspond to the auxiliary information creation unit 530 of the mobile terminal 20 in the first embodiment.
  • the auxiliary information creation unit 1620 transmits the generated auxiliary information to the mobile terminal 20.
  • FIG. 18 is a functional block diagram showing the functions of the mobile terminal 20 in the sixth embodiment as functional blocks.
  • the positional relationship calculation unit 520 and the auxiliary information creation unit 530 are deleted from the function in the first embodiment, and further includes a walking information acquisition unit 1710.
  • the walking information acquisition unit 1710 outputs auxiliary information received from the in-vehicle device 10 to the walking navigation unit 584.
  • FIG. 19 is a flowchart showing the operation of the navigation system 1 in the sixth embodiment.
  • the operations of step S750 and step S751 of the portable terminal 20 are the same as those in the first embodiment.
  • the portable terminal 20 transmits information on the start point of walking navigation to the in-vehicle device 10 in addition to the parking lot information (S753A).
  • the operation of the in-vehicle device 10 is the same as that in the first embodiment until an affirmative determination is made in step S712. However, the in-vehicle device 10 does not transmit information to the mobile terminal 20 in step S708.
  • the positional relationship calculation unit 1610 calculates the positional relationship with the walking navigation start point in the captured image (S1801). This calculation is performed based on the current position coordinates of the latest vehicle 50 acquired in step S706, the traveling direction of the vehicle 50, and the walking navigation start point received in step S753A.
  • the auxiliary information creation unit 1620 of the in-vehicle device 10 generates auxiliary information based on the calculation result of the positional relationship calculation unit 1610 (S1802). And the vehicle-mounted communication part 480 of the vehicle-mounted apparatus 10 transmits the newest picked-up image acquired in step S704, and the auxiliary information produced
  • the walking information acquisition unit 1710 of the mobile terminal 20 that has received this outputs the auxiliary information to the walking navigation unit 584. Since the operation of the mobile terminal 20 after step S766 is the same as that of the first embodiment, the description thereof is omitted.
  • the in-vehicle device 10 includes an auxiliary information creation unit 1620 that creates auxiliary information based on a walking navigation start point, a position where a captured image is captured, and an optical axis direction of the camera 53 when the captured image is captured, An auxiliary information transmission unit (S708B in FIG. 19) that transmits auxiliary information to the mobile terminal 20; Therefore, when the in-vehicle device 10 creates auxiliary information, the processing load on the mobile terminal 20 can be reduced.
  • the in-vehicle device 10 provided in the vehicle 50 equipped with the camera 53 has an image acquisition unit 430 to which a photographed image obtained by photographing the surroundings by the camera 53 is input, and a predetermined point and a photographed image are photographed. Based on the position and the optical axis direction of the camera 53 when the captured image is captured, an auxiliary information creating unit 1620 that creates auxiliary information indicating a predetermined point by combining with the captured image, and the captured image and the auxiliary information are externally provided. An in-vehicle communication unit 480 for transmission. Therefore, since the in-vehicle device 10 also creates auxiliary information, the processing load on the mobile terminal 20 can be reduced.
  • the mobile terminal 20 includes the positional relationship calculation unit 520 and the auxiliary information creation unit 530, and the in-vehicle device 10 may execute step S708 as in the first embodiment.
  • the mobile terminal 20 detects that the connection with the in-vehicle device 10 is disconnected or there is no communication from the in-vehicle device 10 for a predetermined time, the mobile terminal 20 executes the processing from step S758 onward in the first embodiment. To do.
  • step S708B even when step S708B is not executed, such as when the user immediately turns off the power of the in-vehicle device 10 after the vehicle 50 reaches the vehicle navigation destination, the mobile terminal 20 remains on foot.
  • the navigation start point information 670 can be displayed.
  • step S708B the in-vehicle device 10 creates auxiliary information as in the sixth embodiment, thereby reducing the processing load on the mobile terminal 20.
  • the map database 486 provided in the in-vehicle device 10 includes not only roadway information but also sidewalk information, and the in-vehicle device 10 may calculate a walking navigation route and transmit it to the portable terminal 20.
  • the mobile terminal 20 receives the walking navigation route from the in-vehicle device 10 instead of executing step S754 shown in FIG. Then, the portable terminal 20 displays and navigates the walking navigation information 660 using the received walking navigation route. According to this modification, the processing load of the mobile terminal 20 can be further reduced.
  • the program of the portable terminal 20 is stored in the ROM 201, the program may be stored in the auxiliary storage device 212. Further, the portable terminal 20 may include an input / output interface (not shown), and the program may be read from another device via the input / output interface and a medium that can be used by the portable terminal 20 when necessary.
  • the medium refers to, for example, a storage medium that can be attached to and detached from the input / output interface, or a communication medium, that is, a wired, wireless, or optical network, or a carrier wave or digital signal that propagates through the network.
  • part or all of the functions realized by the program may be realized by a hardware circuit or FPGA.
  • FIG. 1 A seventh embodiment of the navigation system 1 according to the present invention will be described with reference to FIG.
  • the same components as those in the fourth embodiment are denoted by the same reference numerals, and different points will be mainly described. Points that are not particularly described are the same as in the fourth embodiment.
  • the mobile terminal 20 is different from the fourth embodiment in that after the vehicle 50 is parked, the walking navigation start point is determined again based on the captured image position acquired from the server 30.
  • FIG. 20 is a flowchart showing the operation of the navigation system 1 in the seventh embodiment. Since the operation of the in-vehicle device 10 is the same as that of the fourth embodiment, only step S714 is described in FIG. The operation of the portable terminal 20 is the same as that of the fourth embodiment up to step S714, and only the operation after the notification in step S714 of the in-vehicle device 10 is shown in FIG.
  • the portable terminal 20 When receiving the stop report notification (S714) from the in-vehicle device 10, the portable terminal 20 transmits the current position information to the server 30 (S2001).
  • the server 30 specifies a captured image having position information closest to the position indicated by the current position information received from the mobile terminal 20, and transmits the captured position coordinates of the captured image to the mobile terminal 20 (S2002).
  • the mobile terminal 20 determines the shooting position coordinates received from the server 30 as the start point of walking navigation (S2003), and calculates the walking navigation route (S754A).
  • the direction from the current position to the start point of walking navigation, that is, the azimuth to the shooting position coordinates of the shot image stored in the server 30 is calculated (S1301), and the shooting position coordinates and the azimuth are transmitted to the server 30 (S2004).
  • the captured image of the walking navigation start point is acquired from 30 (S1303).
  • the portable terminal 20 resets the shooting position coordinates of the shot image stored in the server 30 as the start position of walking navigation.
  • the image of the server 30 is searched based on the start position of the walking navigation set regardless of the captured image stored in the server 30 as in the fourth embodiment, so that the condition is met. Occurrence of a situation where no image exists can be prevented.
  • the program for operating the mobile terminal can be provided through a recording medium such as a CD-ROM or a data signal such as the Internet.
  • FIG. 21 is a diagram showing this state.
  • the portable terminal 20 receives a program via the USB memory 900.
  • the mobile terminal 20 has a connection function with the communication line 901.
  • a computer 902 is a server computer that provides the program, and stores the program in a recording medium such as a hard disk 903.
  • the communication line 901 is a communication line such as the Internet or a dedicated communication line.
  • the computer 902 reads the program using the hard disk 903 and transmits the program to the mobile terminal 20 via the communication line 901.
  • the program is transmitted as a data signal via a communication line 901 via a carrier wave.
  • the program can be supplied as a computer-readable computer program product in various forms such as a recording medium and a data signal (carrier wave).

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ecology (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

携帯端末、および車両に搭載される車載装置を備えるナビゲーションシステムであって、車載装置は、車両を車両ナビ開始地点から車両ナビ目的地まで誘導する車両ナビ部を備え、携帯端末は、画像情報を提示する表示部と、徒歩ナビ開始地点から徒歩ナビ目的地まで徒歩で移動する経路を案内する徒歩ナビ部と、車両ナビ目的地の周囲の撮影画像、および撮影画像と組み合わせることにより徒歩ナビ開始地点を示す補助情報を表示部に出力する開始地点出力部とを備える。

Description

ナビゲーションシステム、コンピュータプログラム製品、車載装置
 本発明は、ナビゲーションシステム、コンピュータプログラム製品、および車載装置に関する。
 ナビゲーションには、車両に搭載され車両を目的地まで誘導する車両ナビゲーションや、携帯端末に搭載され徒歩で移動する歩行者を目的地まで誘導する徒歩ナビゲーションが提供されている。また、車両の運転区間には車両ナビゲーションを利用し、駐車後の徒歩での移動区間には歩行者用ナビゲーションシステムを組み合わせて利用するEnd-to-Endナビゲーションシステムが知られている。
 特許文献1には、車載ナビゲーション装置は、車両の停車時における車両方向を検出し、車両方向の情報である車両方向情報を送信し、携帯端末は、地図及び案内経路を表示する携帯端末側表示部を有しており、前記車載ナビゲーション装置からの前記車両方向情報を受信し、前記地図及び前記案内経路を前記携帯端末側表示部に表示するとともに、その地図に車両方向を示す車両方向図形を前記車両方向情報に基づいて定まる向きで表示することを特徴とするナビゲーションシステムが開示されている。
日本国特開2011-220861号公報
 特許文献1に記載されている発明では、徒歩用のナビゲーション開始地点の認識が困難である。
 本発明の第1の態様によるナビゲーションシステムは、携帯端末、および車両に搭載される車載装置を備えるナビゲーションシステムであって、前記車載装置は、前記車両を車両ナビ開始地点から車両ナビ目的地まで誘導する車両ナビ部を備え、前記携帯端末は、画像情報を提示する表示部と、徒歩ナビ開始地点から徒歩ナビ目的地まで徒歩で移動する経路を案内する徒歩ナビ部と、前記車両ナビ目的地の周囲の撮影画像、および前記撮影画像と組み合わせることにより前記徒歩ナビ開始地点を示す補助情報を前記表示部に出力する開始地点出力部とを備える。
 本発明の第2の態様によるコンピュータプログラム製品は、表示部を備える携帯端末において実行されるナビゲーションプログラムを格納し、そのナビゲーションプログラムは、携帯端末に、徒歩ナビ開始地点から徒歩ナビ目的地まで徒歩で移動する経路を案内させることと、外部から受信した撮影画像、および前記撮影画像と組み合わせることにより前記徒歩ナビ開始地点を示す補助情報を前記表示部に出力させることと、を実現させる。
 本発明の第3の態様による車載装置は、カメラを搭載する車両に備えられる車載装置であって、前記カメラが周囲を撮影して得られた撮影画像が入力される画像入力部と、所定地点、前記撮影画像が撮影された位置、および前記撮影画像が撮影された際の前記カメラの光軸方向に基づき、前記撮影画像と組み合わせることにより前記所定地点を示す補助情報を作成する補助情報作成部と、前記撮影画像および前記補助情報を外部に送信する車載通信部とを備える。
 本発明によれば、徒歩ナビ開始地点をわかりやすく示すことができる。
第1の実施の形態におけるナビゲーションシステムの構成を示す図 第1の実施の形態における車載装置のハードウェア構成図 第1の実施の形態における携帯端末のハードウェア構成図 第1の実施の形態における車載装置の機能ブロック図 第1の実施の形態における携帯端末の機能ブロック図 携帯表示部に表示される補助情報の一例を示す図 携帯表示部に表示される補助情報の異なる例を示す図 第1の実施の形態におけるナビゲーションシステム1の動作を示すフロー図 変形例1におけるナビゲーションシステムの動作を示すフロー図 第2の実施の形態におけるナビゲーションシステムの動作を示すフロー図 第3の実施の形態におけるナビゲーションシステムの動作を示すフロー図 徒歩ナビ目的地への到着した後に、車両へ戻るための情報を携帯端末がユーザに提示する動作を示すフロー図 第4の実施の形態におけるナビゲーションシステムの構成を示す図 第4の実施の形態におけるナビゲーションシステムの動作を示すフロー図 第5の実施の形態におけるナビゲーションシステムの動作を示すフロー図 第5の実施の形態において携帯表示部に表示される徒歩ナビ情報および徒歩ナビ開始地点情報を示す図 第6の実施の形態における車載装置の機能ブロック図 第6の実施の形態における携帯端末の機能ブロック図 第6の実施の形態におけるナビゲーションシステムの動作を示すフロー図 第7の実施の形態におけるナビゲーションシステムの動作を示すフロー図 コンピュータプログラム製品を用いて携帯端末にプログラムを供給する様子を示す図
-第1の実施の形態-
 以下、図1~図8を参照して、本発明に係るナビゲーションシステム1の第1の実施の形態を説明する。
(構成)
 図1はナビゲーションシステム1の構成を示す図である。ナビゲーションシステム1は、End-to-Endナビゲーションを提供するシステムであって、車載装置10と携帯端末20とから構成される。本実施の形態におけるEnd-to-Endナビゲーションは、車両の移動に関する道案内や誘導である車両ナビゲーションと、徒歩による移動に関する道案内や誘導である徒歩ナビゲーションとから構成される。車両ナビゲーションにおける出発地を「車両ナビ開始地点」と呼び、車両ナビゲーションにおける目的地を「車両ナビ目的地」または「車両目的地」と呼ぶ。また、徒歩ナビゲーションにおける出発地を「徒歩ナビ開始地点」と呼び、徒歩ナビゲーションにおける目的地を「徒歩ナビ目的地」と呼ぶ。すなわち本実施の形態におけるEnd-to-Endナビゲーションの出発地は車両ナビ開始地点であり、End-to-Endナビゲーションの目的地は徒歩ナビ目的地である。
 車載装置10と携帯端末20は、USB(Universal Serial Bus)やBluetooth(登録商標)、無線LAN(Local Area Network)等の端末間の接続に利用可能な通信機能を使用して接続される。ただし車載装置10および携帯端末20がそれぞれ共通するネットワーク、たとえばインターネットに接続され、インターネットを経由して直接、またはインターネットに接続された他の装置を介して間接的に接続されてもよい。
(ハードウエア構成)
 図2は車両50のハードウェア構成図である。車両50は、車載装置10と、車両信号線51と、車載ネットワーク52と、カメラ53とを備える。車載装置10は、車両信号線51および車載ネットワーク52と接続されることにより、車両50が備える様々な装置の出力を参照する。車載装置10はたとえば、車両50の速度やハンドルの操舵角度、シフトレバーの位置やパーキングブレーキの状態を参照できる。車載装置10はさらに、カメラ53が撮影して得られた画像(以下、「撮影画像」と呼ぶ)を取得する。
 カメラ53は、車両50の所定の位置、たとえば車両50の前方に光軸を向けて取り付けられ、前方や周辺を撮影して撮影画像を出力する光学装置である。なおカメラ53は、機器間通信装置130を介してUSBや無線LAN等を用いて車載装置10と接続される構成であってもよい。
 車載装置10は、CPU100、ROM101、RAM102、車載表示部110、車載操作部111、補助記憶装置112、センサ113、および機器間通信装置130を備える。
 CPU100は、車載装置10の各部を制御し、RAM102に読み込まれるカーナビゲーションプログラム等を実行する。ROM101は、制御プログラムやカーナビゲーションプログラムなどが書き込まれた読み出し専用の記憶装置である。RAM102は、補助記憶装置112に記憶されているプログラムを読み込んで一時的に保管したり、CPU100がプログラムの実行時に生成するワークデータ等を記憶する装置である。車載表示部110は、液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイ等、ユーザに画像情報を表示する装置である。
 車載操作部111は、ユーザが車載装置10を指で操作するボタン、スイッチ、キーボード、タッチパネル等の装置である。
 補助記憶装置112は、カーナビゲーション等のプログラムが使用する地図データベースや設定ファイル等の各種データ等を記憶する大容量の記憶装置であり、例えば、HDD(Hard Disk Drive)やSSD(Solid State Drive)である。
 センサ113は、地球上での緯度および経度で示される位置を出力するGPS受信機、および車両50の姿勢角を算出可能な姿勢センサを含む。
 機器間通信装置130は、携帯端末20と接続して、データをやり取りするためのインタフェース装置である。接続方式は、USBやHDMI(登録商標)(High-Definition Multimedia Interface)等の規格に準拠した有線接続でもよいし、無線LANのIEEE 802.11a/b/g/nやBluetooth等の規格に準拠した無線接続でもよい。
 図3は携帯端末20のハードウェア構成を示す図である。
 携帯端末20は、CPU200、ROM201、RAM202、携帯表示部210、携帯操作部211、補助記憶装置212、センサ213、および機器間通信装置231を備える。
 CPU200は、携帯端末20の各部を制御し、RAM202に読み込まれる徒歩ナビゲーションプログラム等を実行する装置である。ROM201には、制御プログラムや徒歩ナビゲーションプログラムなどが書き込まれる。RAM202は、補助記憶装置212に記憶されているプログラムを読み込んで一時的に保管したり、CPU200がプログラムの実行時に生成するワークデータ等を記憶する装置である。携帯表示部210は、液晶ディスプレイや有機ELディスプレイ等、ユーザに画像情報を表示する装置である。
 携帯操作部211は、ユーザが携帯端末20を指で操作するボタン、スイッチ、キーボード、タッチパネル等の装置である。補助記憶装置212は、カーナビゲーション等のプログラムが使用する地図データベースや設定ファイル等の各種データ等を記憶する大容量の記憶装置であり、例えば、SSDである。
 センサ213は、緯度および経度で示される位置を出力するGPS受信機、および携帯端末20の姿勢角を算出可能な姿勢センサを含む。
 機器間通信装置231は、車載装置10と接続して、データをやり取りするためのインタフェース装置である。接続方式は、USBやHDMI等の規格に準拠した有線接続でもよいし、無線LANのIEEE 802.11a/b/g/nやBluetooth等の規格に準拠した無線接続でもよい。
(機能構成)
 図4は、車載装置10が備える機能を機能ブロックとして表した機能ブロック図である。車載装置10はその機能として、車載装置情報生成部400、車載通信部480、位置特定部482、車両ナビゲーション部484、地図データベース486、およびカメラ制御部490を備える。これらの機能はOS上で動作するプログラムとして実装される。そのプログラムは、ROM101または補助記憶装置112に記憶され、RAM102にロードされてCPU100によって実行される。
 車載通信部480は、携帯端末20との間でのデータ通信を提供する機能であり、機器間通信装置130により実現される。位置特定部482は、センサ113から取得した情報から現在位置、すなわち緯度および経度や、車両50の進行方向の方位を算出する機能である。本実施の形態では、方位は所定の方角、たとえば北を基準、すなわちゼロ度とし、時計回りに東を90度、西を270度として0度~360度の角度で表されることとする。
 車両ナビゲーション部484は、位置特定部482、地図データベース486、車両信号線51および車載ネットワーク52等から取得したデータを使用して、車両ナビゲーション機能を提供する。車両ナビゲーション機能とは、車両ナビ開始地点から車両ナビ目的地へ誘導する機能である。この車両ナビゲーション機能には、設定された車両ナビ目的地へ車両50が到着したことの通知を含む。地図データベース486は、車両ナビゲーション部484で使用する地図情報を格納する。カメラ制御部490は、所定時間ごとにカメラ53に撮影指令を出力しカメラ53が撮影した画像を取得する。
 車載装置情報生成部400は、車両情報取得部420および画像取得部430から構成される。車両情報取得部420は、位置特定部482および車両ナビゲーション部484と接続され、車両50の現在位置座標、および車両50の進行方向の方位を取得する。車両情報取得部420は、後述する条件下で車両50の駐車、および車両ナビ目的地への到着を検出すると、駐車または到着を示す駐車到着通知を車載通信部480を介して携帯端末20に送信する。画像取得部430はカメラ制御部490と接続され、カメラ制御部490から車両50の前方の画像およびその画像の撮影画角を取得する。画像取得部430が取得した撮影画像と撮影画角は、車載通信部480を介して携帯端末20に送信される。なお、カメラ53の撮影画像を取得するカメラ制御部490および画像取得部430は、カメラ53との接続インタフェースとしても機能する。
 図5は、携帯端末20が備える機能を機能ブロックとして表した機能ブロック図である。携帯端末20はその機能として、携帯端末情報生成部500、携帯通信部580、位置特定部582、徒歩ナビゲーション部584、および地図データベース586を備える。これらの機能はOS上で動作するプログラムとして実装される。そのプログラムは、ROM201または補助記憶装置212に記憶され、RAM202にロードされてCPU200によって実行される。
 携帯通信部580は、車載装置10との間でデータ通信を提供する機能であり、機器間通信装置231により実現される。位置特定部582は、センサ213から取得した情報から現在位置、すなわち緯度および経度や、携帯端末20が向いている方位を算出する機能である。徒歩ナビゲーション部584は、位置特定部582や地図データベース586等から取得したデータを使用して、徒歩ナビゲーション機能を提供する。徒歩ナビゲーション機能は、徒歩ナビ開始地点から徒歩ナビ目的地への経路(以下、「徒歩ナビ経路」と呼ぶ)を算出し、徒歩ナビ目的地へユーザを誘導する機能である。徒歩ナビゲーション機能には、地図上に徒歩ナビ経路を描画する機能が含まれる。地図データベース586は、徒歩ナビゲーション部584へ地図情報を提供する。
 携帯端末情報生成部500は、車両状態監視部510、位置関係計算部520および補助情報作成部530から構成される。
 車両状態監視部510は、車載装置10より受信する車両ナビ目的地への到着通知や駐車通知等により、車両の状態を監視する。
 位置関係計算部520は、撮影画像に撮影されている範囲と徒歩ナビ開始地点との位置関係を計算する。この計算は、車両50の現在位置座標、カメラ53の光軸が向いている方位(以下、「撮影方位」と呼ぶ)、カメラ53の画角、および徒歩ナビ開始地点に基づいて行われる。この計算により、たとえば徒歩ナビ開始地点は撮影画像の中央に位置することや、徒歩ナビ開始地点は撮影画像の範囲外にあり撮影画像の右側に位置することなどがわかる。
 補助情報作成部530は、位置関係計算部520の計算結果などを用いて、後述する補助情報を生成する。この補助情報は、車載装置10から受信した撮影画像とともに携帯表示部210に表示される。
(補助情報)
 本実施の形態における補助情報とは、ユーザを徒歩ナビ開始地点へ誘導するための情報であり、撮影画像とともに携帯表示部210に表示される。補助情報のみでは徒歩ナビ開始地点を表すことができないが、撮影画像とともに表示されることにより徒歩ナビ開始地点をわかりやすく示すことができる。
 図6は、携帯表示部210に表示される補助情報の一例を示す図である。図6に示す例では携帯表示部210には、徒歩ナビ情報660と徒歩ナビ開始地点情報670とが表示される。徒歩ナビ情報660には、地図600、徒歩ナビ経路610、駐車車両640、および徒歩ナビ開始地点650が含まれる。徒歩ナビ開始地点情報670には、撮影画像620と補助情報630が含まれる。撮影画像620は、携帯端末20が車載装置10から受信した最新の撮影画像である。補助情報630は、「矢印の方向に向かってください」という文字列であるメッセージ631と徒歩ナビ開始地点を示す矢印632とから構成される。なお駐車車両640の内部に示す矢印は、車両の前方すなわちカメラ53が撮影する方向を示す。
 図6に示す例では、撮影画像620に撮影されている「A銀行B支店」と徒歩ナビ開始地点の位置関係に基づき、矢印632が「A銀行B支店」の前を指しメッセージ631が矢印632の方向への移動を促している。なおメッセージ631は矢印632を利用せずに徒歩ナビ開始地点650を示すメッセージ、たとえば「写真の中央部にむかってください」でもよい。また矢印632はマーカーの一例であり、他の形状を有するマーカー、たとえば丸や四角のマーカーを用いてもよい。
 図7は、携帯表示部210に表示される補助情報の異なる例を示す図である。図7を図6と比較すると、徒歩ナビ開始地点650が「スーパーマーケットF」の前方に移動している点が異なる。図7に示す例では、撮影画像620に撮影されている「A銀行B支店」と徒歩ナビ開始地点の位置関係に基づき、矢印632が「スーパーマーケットF」の方向、すなわち図示右下を指しメッセージ631が矢印632と同じく右斜め後方への移動を促している。なおメッセージ631は、図6と同様に矢印632が指す方向への移動を促すものでもよい。
 ユーザは、図6や図7に示した徒歩ナビ開始地点情報670に基づき、ユーザ自身の視界と撮影画像620、矢印632およびメッセージ631による表示内容が一致する方向を探して向かえばよい。ユーザは徒歩ナビ情報660の地図に表示された徒歩ナビ開始地点650と駐車車両640の位置から向かう方向を考える必要がなくなり、直感的に向かうべき方向を認識することができる。
(フロー図)
 図8は、第1の実施の形態におけるナビゲーションシステム1の動作を示すフロー図である。
 まずユーザが携帯操作部211を操作して携帯端末20に目的地、すなわち徒歩ナビ目的地を入力する(S750)。すると携帯端末20は、地図DB586を用いて入力された徒歩ナビ目的地の付近に存在する駐車場を検索し、車両50を駐車する駐車場、および歩行開始地点、すなわち徒歩ナビ開始地点を決定する(S751)。ただし、ユーザが目的地および駐車位置を入力してもよいし、携帯端末20が駐車位置の候補をいくつか提示し、ユーザにより選択された候補を駐車位置としてもよい。徒歩ナビ開始地点はたとえば、決定された駐車場に接する道路であって、決定された駐車場の中心領域から徒歩ナビ目的地を結んだ直線とその道路の交点として設定される。また、徒歩ナビ開始地点の決定に、駐車場の出入り口の位置情報を加味してもよい。
 その後、ユーザが携帯端末20を所持して車両50に乗車するために接近し、車載装置10と携帯端末20とが通信可能な距離まで近づくと両者の接続が確立する。携帯端末20は、接続が確立されると(S752)、駐車場情報、すなわち車両ナビ目的地の情報を車載装置10に送信する(S753)。その後携帯端末20は、徒歩ナビゲーション部584が徒歩ナビ開始地点から徒歩ナビ目的地までの徒歩ナビ経路を計算し(S754)、車載装置10からの通信を待機する。
 車載装置10は車両ナビ目的地の情報を受信すると、車載装置情報生成部400が起動され、車両ナビゲーション部484が現在地から車両ナビ目的地までの経路を検索し、車両ナビ目的地までの車両50の案内を開始する(S702)。次に車載装置10の画像取得部430は、カメラ制御部490から撮影画像および画角の情報を取得する(S704)。そして車両情報取得部420は、位置特定部482および車両ナビゲーション部484から車両情報、すなわち車両50の現在位置座標および車両50の進行方向の方位を取得する(S706)。なお前述のとおり本実施の形態ではカメラ53は車両50の前方を向いているので、車両50の進行方向とカメラ53の光軸の方向は一致する。
 その後、車載装置10は、撮影画像、画角、および車両情報を携帯端末20に送信する(S708)。次に車載装置10は、車両50が車両ナビ目的地に到着したか否か(S710)、および車両50の駐車が完了したか否か(S712)を判断する。S710およびS712のいずれか片方でも肯定判定されると、車載装置10は携帯端末20に駐車到着通知を送信する(S714)。S710およびS712のいずれも否定判定された場合は、S704に戻る。これにより、車載装置10は、車両50が車両ナビ目的地に到着して駐車が完了するまでは、所定時間ごとにステップS704~S708を実行して、撮影画像、画角、および車両情報を携帯端末20に送信する。
 携帯端末20は、車載装置10から駐車到着通知を受信すると、位置関係計算部520は、車載装置10が最後に送信した直近の撮影画像、すなわち車両50が車両ナビ目的地に到着する直前や直後(または駐車が完了した直前や直後)にカメラ53が車両ナビ目的地の周囲を撮影して得られた撮影画像における徒歩ナビ開始地点との位置関係を算出する(S758)。この算出は、車載装置10から受信した最新の車両50の現在位置座標、カメラ53の撮影方位、およびステップS751で決定した徒歩ナビ開始地点に基づいて行われる。次に補助情報作成部530は、位置関係計算部520の算出結果に基づき補助情報を生成(S762)して徒歩ナビゲーション部584に出力する。補助情報はたとえば、撮影画像に表示させる徒歩ナビ開始地点を示す矢印とメッセージとの組み合わせである。
 徒歩ナビゲーション部584は、携帯表示部210に図6に示したように徒歩ナビ開始地点情報670、および徒歩ナビ情報660を表示する(S766)。続いて徒歩ナビゲーション部584は、位置特定部582から携帯端末20の位置を取得し、徒歩ナビ開始地点に到達したか否かを判断する(S770)。徒歩ナビゲーション部584は、徒歩ナビ開始地点に到達したと判断する場合はステップS772に進み、徒歩ナビ開始地点に到達していないと判断する場合はステップS770に留まる。ステップS772では徒歩ナビゲーション部584は、携帯表示部210から徒歩ナビ開始地点情報670を消去し、徒歩ナビ情報660のみを携帯表示部210に表示させる。
 以上説明したように、車両ナビゲーションと徒歩ナビゲーションの組み合わせであるEnd-to-Endナビゲーションシステムにおいて、車両ナビゲーションから徒歩ナビゲーションに経路誘導を引き継いだタイミングで、ユーザが降車後にどちらに向かえばよいかを示す補助情報を生成し表示することで、ユーザに対して向かうべき方向を直感的に認識させることができる。
 上述した第1の実施の形態によれば、次の作用効果が得られる。
(1)ナビゲーションシステム1は、携帯端末20、および車両50に搭載される車載装置10を備える。車載装置10は、車両50を車両ナビ開始地点から車両ナビ目的地まで誘導する車両ナビゲーション部484を備える。携帯端末20は、画像情報を提示する携帯表示部210と、徒歩ナビ開始地点から徒歩ナビ目的地まで徒歩で移動する経路を案内する徒歩ナビゲーション部584と、車両ナビ目的地の周囲の撮影画像、および撮影画像と組み合わせることにより徒歩ナビ開始地点を示す補助情報を携帯表示部210に出力する開始地点出力部、たとえば徒歩ナビゲーション部584とを備える。
 ナビゲーションシステム1は、撮影画像と補助情報とを組み合わせることにより徒歩ナビ開始地点を示すので、徒歩ナビ開始地点をわかりやすく示すことができる。図6に示した徒歩ナビ情報660を用いて徒歩ナビ開始地点を示すこともできるが、ユーザは地図600に描かれた建物などの地物と目に映る物体との対比が困難な場合がある。一方、カメラ53が撮影して得られた撮影画像は、地図600と比較するとユーザの視点に非常に近いので、撮影画像における地物と目に映る物体との対比は容易である。そのため徒歩ナビ開始地点を示すために撮影画像を用いることが効果的である。この構成による効果は、特に初めて訪れた場所において顕著である。
(2)車載装置10は、車両50に搭載されているカメラ53が車両ナビ目的地の周囲を撮影して得られた撮影画像が入力される画像取得部430と、画像取得部430に入力された撮影画像を携帯端末20に送信する車載通信部480とを備える。徒歩ナビゲーション部584は、車載装置10から受信した撮影画像を携帯表示部210に出力する。
 そのため、携帯端末20に表示される撮影画像は、車載装置10と同一の車両50に搭載されていたカメラ53により撮影された画像である。したがって、撮影画像に撮影された風景をユーザが車両50内からすでに目にしている可能性が高く、ユーザは容易に徒歩ナビ開始地点を判断することができる。
(3)車載装置10は、車両50が駐車したことを検知し携帯端末20に車両50の駐車を示す通知を送信する通知部、すなわち車両情報取得部420を備える。そのため、車両50の駐車をトリガーとした適切なタイミングで携帯表示部210に徒歩ナビ開始地点情報670を表示することができる。
(4)車載通信部480は、車両情報取得部420が駐車を検知するまで所定時間ごとに、画像取得部430に入力された撮影画像を携帯端末20に送信する。
(5)携帯端末20は、徒歩ナビ開始地点、撮影画像が撮影された位置、および撮影画像が撮影された際のカメラ53の光軸方向に基づき補助情報を作成する補助情報作成部530を備える。そのため携帯端末20は、撮影画像と徒歩ナビ開始地点の関係を算出することができる。
(6)補助情報作成部530は、さらに撮影画像の画角情報を用いて補助情報を作成する。そのため携帯端末20は、徒歩ナビ開始地点が撮影画像内に含まれるか否かを的確に判断し、補助情報として作成してユーザに提示することができる。
(7)携帯表示部210を備える携帯端末20において実行されるプログラムは、携帯端末20に、徒歩ナビ開始地点から徒歩ナビ目的地まで徒歩で移動する経路を案内する徒歩ナビ機能と、外部から受信した撮影画像620、および撮影画像と組み合わせることにより徒歩ナビ開始地点を示す補助情報630を携帯表示部210に出力する開始地点出力機能と、を実現させる。
(変形例1)
 車載装置10は、撮影画像の取得や撮影画像の携帯端末20への送信を常時行わなくてもよい。
 図9は、変形例1におけるナビゲーションシステム1の動作を示すフロー図である。第1の実施の形態における図8との違いは、車載装置10が実行する処理の順番である。変形例1では、車両ナビ目的地までの案内が開始されると(S702)、車両情報取得部420は、車両情報、すなわち車両50の現在位置座標および車両50の進行方向の方位を取得する(S706)。そして次に車載装置10は、車両50が車両ナビ目的地に到着したか否か(S710)、および車両50の駐車が完了したか否か(S712)を判断する。S710およびS712のいずれか片方でも肯定判定されると、車載装置10は撮影画像および画角の情報を取得し(S704)、取得した撮影画像および画角の情報と、直近のステップS706で取得した車両情報とを、携帯端末20に送信する(S708)。続いて車載装置10は、携帯端末20に駐車到着通知を送信する(S714)。S710およびS712のいずれも否定判定された場合は、S706に戻る。
 この変形例1によれば、第1の実施の形態における作用効果に加えて、以下の作用効果が得られる。
(8)車載通信部480は、車両情報取得部420が駐車を検知すると、画像取得部430に入力された撮影画像を携帯端末20に送信する。そのため、ユーザに徒歩ナビ開始地点情報670を提示する直前の適切なタイミングで携帯端末20が撮影画像を得るので、車載装置10が撮影画像を取得する回数、および車載装置10が撮影画像を携帯端末20に送信する回数を減らすことができる。
(変形例2)
 車載装置10の補助記憶装置112に保存されている各種データは、他の装置から更新可能であってもよい。この他の装置とは、ノート型パソコンや記憶媒体など車内に持ち込まれた、または車内に設置された装置であってもよい。また他の装置とは、無線通信を介して接続される車両50の外部に存在する装置、たとえばデータセンターに設置されたサーバであってもよい。さらに、車両ナビゲーション部484を構成するプログラムも更新可能であってよい。
(変形例3)
 上述した第1の実施の形態では、補助情報630はメッセージ631と徒歩ナビ開始地点を示す矢印632とから構成された。しかし、補助情報630はメッセージ631のみから構成されてもよいし、補助情報630は矢印632のみから構成されてもよい。補助情報630はメッセージ631のみから構成される場合のメッセージ631とはたとえば、「写真の中央部に向かってください」である。
(変形例4)
 徒歩ナビゲーション部584は、携帯表示部210への表示を行わずに徒歩ナビゲーションを実現してもよい。この場合徒歩ナビゲーション部584は、たとえば不図示のスピーカを用いた音声によるナビゲーションや、不図示の振動子を用いて進行方向や右左折位置を知らせるナビゲーションを行う。またこの場合は、携帯表示部210には徒歩ナビ開始地点情報670のみが表示され、徒歩ナビ情報660は表示されない。
(変形例5)
 携帯表示部210には、徒歩ナビ開始地点情報670とともに徒歩ナビ情報660が表示されなくてもよい。すなわち、徒歩ナビ開始地点に到着するまでは携帯表示部210には徒歩ナビ開始地点情報670のみが表示され、徒歩ナビ開始地点に到着すると徒歩ナビ開始地点情報670に代わって徒歩ナビ情報660が表示されてもよい。
(変形例6)
 第1の実施の形態において車載装置10が備える機能を、複数の装置により分担して実現してもよい。たとえば、車両が車載装置とカメラとカーナビゲーション装置とを備え、カメラ53が携帯端末20への撮影画像の送信機能を備え、カーナビゲーション装置が車両ナビゲーション部484の機能を備えてもよい。この場合、車載装置は第1の実施の形態における車載装置10の構成から車両ナビゲーション部484、地図DB486、画像取得部430、およびカメラ制御部490を除いた構成を有する。
(変形例7)
 カメラ53の画角が固定ならば、たとえばカメラ53に備えられたレンズの焦点が固定ならば、画像取得部430は画角を取得しなくてよいし、携帯端末20に送信しなくてよい。この場合は、携帯端末20の補助情報作成部530は既知であるカメラ53の画角を用いて補助情報を生成する。
(変形例8)
 第1の実施の形態では携帯端末20に備えられる徒歩ナビゲーション機能、および車載装置10に備えられる車両ナビゲーション機能は、無線通信により接続される不図示のサーバにより実現されてもよい。たとえば、ユーザにより携帯端末20に徒歩ナビ目的地が入力されると、携帯端末20は徒歩ナビ目的地を示す情報を不図示のサーバに送信し、サーバから駐車位置、徒歩ナビ開始、および徒歩ナビ経路を受信してもよい。
(変形例9)
 ユーザが車載装置10に徒歩ナビ目的地を入力し、車載装置10から携帯端末20に徒歩ナビ目的地が通知されてもよい。この場合は、携帯端末20により車両ナビ目的地が設定されてもよいし、車載装置10により車両ナビ目的地が設定され徒歩ナビ目的地とともに車両ナビ目的地が携帯端末20に通知されてもよい。
(変形例10)
 車載装置10は、カメラ53の撮影画像を加工して携帯端末20に送信してもよい。この加工とは、撮影画像に一部を切り抜くクロップ加工、レンズの歪みに基づく撮影画像の歪みを補正する歪み除去加工、異なる視点から撮影されたように加工する視点変換加工である。
(変形例11)
 上述した第1の実施の形態では、車両50が車両ナビ目的地に到着したか否か(S710)、および車両50の駐車が完了したか否か(S712)を判断し、いずれか片方でも肯定判定されると、車載装置10は携帯端末20に駐車到着通知を送信した(S714)。しかし、車両50が車両ナビ目的地に到着し、かつ車両50の駐車が完了したと判断する場合に、車載装置10が携帯端末20に駐車到着通知を送信してもよい。換言すると、S710およびS712をOR条件として評価するのではなく、AND条件として評価してもよい。
―第2の実施の形態―
 図10を参照して、本発明に係るナビゲーションシステム1の第2の実施の形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、主に、携帯端末20が車載装置10から明示の通知を受信しなくても徒歩ナビゲーションを開始する点で、第1の実施の形態と異なる。
(構成)
 第2の実施の形態におけるナビゲーションシステム1のハードウエア構成、および機能構成は第1の実施の形態と同様である。ただし携帯端末20のROMに格納されるプログラムの動作が第1の実施の形態と異なる。また携帯端末20の車両状態監視部510は、携帯通信部580が車両50との通信が切断されたことを検出する。そして補助情報作成部530は車両状態監視部510が切断を検出すると補助情報を作成する。
(フロー図)
 図10は、第2の実施の形態におけるナビゲーションシステム1の動作を示すフロー図である。ただし図10では携帯端末20のステップS754よりも先に実行する処理、およびステップS758よりも後に実行する処理は処理項目および処理の順番ともに第1の実施の形態と同様なので省略している。
 携帯端末20は、徒歩ナビゲーション部584が徒歩ナビ開始地点から徒歩ナビ目的地までの徒歩ナビ経路を計算する(S754)。そして車両状態監視部510が、車載装置10との接続が切断されたか否か(S900)、および車載装置10から駐車到着通知を受信したか否か(S902)を判断する。携帯端末20は、S900およびS902のいずれか片方でも肯定判定されるとステップS758に進み、S900およびS902のいずれも否定判定された場合は、S900に戻る。ステップS758以降の処理は第1の実施の形態と同様なので説明を省略する。
 上述した第2の実施の形態によれば、次の作用効果が得られる。
(9)携帯端末20は、車載装置10との無線通信接続が切断されたことを検出する切断検出部、すなわち車両状態監視部510を備える。補助情報作成部530は車両状態監視部510が切断を検出すると補助情報を作成する。開始地点出力部、たとえば徒歩ナビゲーション部584は、補助情報作成部530が補助情報を作成すると撮影画像620および補助情報630を携帯表示部210に出力する。
 そのため、ユーザが車両目的地の周辺に到着後、すぐに車載装置10の電源をオフにした場合など、車載装置10が駐車到着通知を送信できない場合であっても、携帯端末20に徒歩ナビ開始地点情報670を表示させることができる。
―第3の実施の形態―
 図11~図12を参照して、本発明に係るナビゲーションシステム1の第3の実施の形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、主に、携帯端末20が車載装置10から受信した撮影画像から好適な撮影画像を選択して徒歩ナビ開始地点への誘導に用いる点、および徒歩ナビ目的地への到着後に車両へ戻る際の案内も実行される点で、第1の実施の形態と異なる。
(構成)
 第3の実施の形態におけるナビゲーションシステム1のハードウエア構成、および機能構成は第1の実施の形態と同様である。ただし携帯端末20のROMに格納されるプログラムの動作が第1の実施の形態と異なる。また携帯端末20のRAM202または補助記憶装置212には、車載装置10から受信した撮影画像が蓄積される。この撮影画像は、所定数、たとえば100枚が蓄積されると、新たに撮影画像が保存されるたびに最も古い撮影画像が消去される。
(フロー図)
 図11は、第3の実施の形態におけるナビゲーションシステム1の動作を示すフロー図である。車載装置10の動作は第1の実施の形態と同一であり、図11ではステップS714のみを記載する。携帯端末20の動作はステップS754までは第1の実施の形態と同一であり、車載装置10のステップS714による通知を受信する以後の動作のみ記載する。
 携帯端末20は、車載装置10から駐車到着通知を受信すると、RAM202または補助記憶装置212に蓄積した撮影画像から好適な撮影画像を選択する(S1000)。好適な撮影画像の選択基準は1つに限定されないが、たとえば以下のとおりである。すなわち第1に、撮影画像が撮影された位置が、現在の携帯端末20の位置に近いほどよい。また第2に、徒歩ナビ開始地点が撮影画像の中央部に近いほどよい。なお本ステップは、位置関係計算部520が実行してもよいし、補助情報作成部530が実行してもよい。
 次に携帯端末20の位置関係計算部520は、ステップS1000において選択された撮影画像における徒歩ナビ開始地点との位置関係を算出する(S758)。以下、携帯端末20は第1の実施の形態と同様にステップS762、S766、S770、S772を実行する。ただしこれらのステップでは車載装置10から受信した最新の撮影画像の代わりにステップS1000において選択された撮影画像を用いる。
 図12は、徒歩ナビ目的地への到着した後に、車両50へ戻るための情報を携帯端末20がユーザに提示する動作を示すフロー図である。まず携帯端末20の徒歩ナビゲーション部584は、徒歩ナビゲーションを実行する(S1104)。この徒歩ナビゲーションは、現在地、または前回設定された徒歩ナビ目的地が徒歩ナビ開始地点に設定される。また、車載装置10から最後に取得した自己位置(以下、「最終車両位置」と呼ぶ)、またステップS751において決定された駐車場の位置が徒歩ナビ目的地に設定される。
 次に携帯端末20は、現在位置を取得し(S1106)、車両50の付近であるか否かを判断する(S1108)。車両50の付近とは、たとえばステップS1106において取得した現在位置が、最終車両位置から所定距離以内であることである。携帯端末20は、車両50の付近であると判断する場合はステップS1110に進み、車両50の付近ではないと判断する場合はステップS1106に戻る。
 以下のステップS1110~S1116の処理は、図10におけるS1000~S766の処理に対応する。ステップS1110では、携帯端末20は、RAM202または補助記憶装置212に蓄積した撮影画像から好適な撮影画像を選択する。好適な撮影画像の選択基準は1つに限定されないが、たとえば以下のとおりである。すなわち第1に、最終車両位置が現在の携帯端末20の位置に近いほどよい。また第2に、最終車両位置が撮影画像の中央部に近いほどよい。次に携帯端末20の位置関係計算部520は、ステップS1110において選択された撮影画像における最終車両位置との位置関係を算出する(S1112)。そして補助情報作成部530が最終車両位置を示す補助情報を生成し(S1114)、徒歩ナビゲーション部584がステップS1110において選択された撮影画像とステップS1114において生成された補助情報を、車両50の駐車位置を示す駐車地点情報として携帯表示部210に表示する(S1116)。
 ユーザが駐車地点情報を参考にして車両50に近づき、車載装置10と携帯端末20とが通信可能な距離まで近づくと両者の接続が確立する。すると携帯端末20は、携帯表示部210への駐車地点情報の表示を終了する(S1118)。
 上述した第3の実施の形態によれば、次の作用効果が得られる。
(10)携帯端末20は、車載装置10から受信する複数の撮影画像から、車両50の停車位置、および徒歩ナビ開始地点に基づき1つの撮影画像を選択する画像選択部(図11のステップS1000)を備える。補助情報作成部530は、画像選択部が選択した撮影画像を用いて動作する。そのため、車載装置10が最後に撮影した画像に限定されず、徒歩ナビ開始地点を示すために適した画像を用いて徒歩ナビ開始地点を示すことができる。
(11)携帯端末20は、撮影画像、および撮影画像と組み合わせることにより車両の停車位置を示す停車補助情報を携帯表示部210に出力する停車地点出力部(図12のステップS1116)を備える。そのため、ユーザが徒歩ナビ目的地に到着後、車両50まで戻る際に車両50の駐車位置を探すのを補助することが可能となる。
―第4の実施の形態―
 図13~図14を参照して、本発明に係るナビゲーションシステム1の第4の実施の形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、主に、携帯端末20がサーバから撮影画像を受信する点で、第1の実施の形態と異なる。
(構成)
 図13は、第4の実施の形態におけるナビゲーションシステム1の構成を示す図である。第4の実施の形態におけるナビゲーションシステム1は、車載装置10、携帯端末20、およびサーバ30から構成される。
 携帯端末20のハードウエア構成は第1の実施の形態の構成に加えて、無線により車外のサーバ30と通信する無線通信部232をさらに備える。無線通信部232はたとえば、3GやLTE(Long Term Evolution)、無線LANのいずれか1つ、または複数の通信規格に対応する。車載装置10は、本実施の形態ではカメラ制御部490を備えなくてもよい。なお車両50は、カメラ53を備えなくてもよい。
 サーバ30は、撮影画像が蓄積された画像データベースと、携帯端末20との通信が可能なサーバ通信部とを備える。画像データベースに蓄積された撮影画像は、撮影された場所を示す位置情報、たとえば緯度と経度、および撮影された際のカメラの光軸の方位、換言すると撮影された方位の情報と関連付けられている。後述するように撮影画像が携帯端末20に送信される際には、この撮影画像だけでなく撮影画像が撮影された位置および撮影された方位の情報も併せて送信される。
(サーバの動作)
 サーバ30は、携帯端末20から位置情報および方位情報を受信すると、画像データベースに蓄積された複数の撮影画像から受信した条件に最も近い撮影画像を、車両ナビ目的地の周囲の撮影画像として抽出し、携帯端末20に送信する。すなわち、携帯端末20から受信した位置情報により示される位置に最も近い位置情報を有し、携帯端末20から受信した方位情報により示される方位に最も近い方位情報を有する撮影画像を携帯端末20に送信する。位置情報と方位情報の両方で最も条件の良い撮影画像が異なる場合は、位置情報を優先してもよいし方位情報を優先してもよい。また、位置情報と方位情報を所定の重みづけで評価してもよい。
(フロー図)
 図14は、第4の実施の形態におけるナビゲーションシステム1の動作を示すフロー図である。携帯端末20の動作は、徒歩ナビ経路の計算(S754)までは第1の実施の形態と同様である。
 車載装置10は、携帯端末20から駐車場情報を受信すると第1の実施の形態と同様に車両目的地、すなわち車両ナビ目的地への案内を開始し(S702)、次に車両50の現在位置座標を取得する(S706A)。すなわち、第4の実施の形態では撮影画像および車両50の進行方向の方位を取得しない。次に車載装置10はステップS706Aにおいて取得した車両50の現在位置座標を携帯端末20に送信し(S708A)する。これ以降の車載装置10の動作は第1の実施の形態と同様なので説明を省略する。
 携帯端末20は、車載装置10から駐車到着通知(S714)を受信すると、現在位置、すなわち最後に車載装置10から受信した現在位置座標から徒歩ナビ開始地点への方位を算出する(S1301)。次に携帯端末20は、無線通信部232により、現在位置およびステップS1301において算出した方位をサーバ30に送信することで、車両ナビ目的地の周囲の撮影画像をサーバ30に要求する(S1302)。
 サーバ30は、受信した現在位置、および方位の条件に最も近い撮影画像を、車両ナビ目的地の周囲の撮影画像として画像データベースから抽出する。そしてサーバ30は、抽出した撮影画像、抽出した撮影画像が撮影された位置、および抽出した撮影画像の撮影方位を携帯端末20に送信する(S1303)。
 携帯端末20は、サーバ30から撮影画像などを受信するとステップS758以降の処理を実行する。ステップS758以降の処理は、車載装置10から受信した撮影画像、撮影方位、および現在位置に代えて、サーバ30から受信した撮影画像、撮影方位、および撮影画像が撮影された位置を使用する点以外は第1の実施の形態と同様である。
 上述した第4の実施の形態によれば、次の作用効果が得られる。
(12)携帯端末20は、車両ナビ目的地の周囲の撮影画像を含む複数の撮影画像が予め蓄積されたサーバ30と無線通信を行う無線通信部232を備える。徒歩ナビゲーション部584は、サーバ30が複数の撮影画像から抽出して携帯端末20に送信し、無線通信部584が受信した車両ナビ目的地の周囲の撮影画像を、携帯表示部210に出力する。そのため、車両50がカメラを備えなくてもよい。
(13)車載装置10は、車両50が駐車したことを検知する車両情報取得部420と、車両情報取得部420が駐車を検知すると携帯端末20に車両の駐車を示す通知を送信する車載通信部480を備える。携帯端末20の無線通信部232は、携帯端末20が通知を受信すると撮影画像をサーバ30に要求する。そのため車両50がカメラを備えない場合でも携帯端末20が撮影画像を取得できる。
(第4の実施の形態の変形例1)
 車載装置10は携帯端末20に車両50の現在位置座標を送信しなくてもよい。この場合は、携帯端末20はステップS1301において位置特定部582から現在位置を取得し、これを車両50の現在位置座標の代わりに使用する。また、この場合には、車載装置10は車両情報取得部420を備えなくてもよい。
(第4の実施の形態の変形例2)
 サーバは、あらかじめ得られた撮影画像を加工して携帯端末20に送信してもよい。この加工とは、撮影画像に一部を切り抜くクロップ加工、レンズの歪みに基づく撮影画像の歪みを補正する歪み除去加工、異なる視点から撮影されたように加工する視点変換加工である。
 またサーバは、あらかじめ得られた測量データ、すなわち3次元形状データと色情報に基づき、特定の位置から特定の方向を撮影すると得られる撮影画像と同様の画像を作成して携帯端末20に送信してもよい。この場合の特定の位置とは車両50の位置であり、特定の方向とは車両50の位置から徒歩ナビ開始地点へ向く方向である。
 さらにサーバは、車両50の現在地周辺の建物の3次元モデルに基づき画像を作成し、これを撮影画像として携帯端末20に送信してもよい。
―第5の実施の形態―
 図15~図16を参照して、本発明に係るナビゲーションシステム1の第5の実施の形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、主に、携帯端末20が車両50の駐車後に改めて徒歩ナビ開始地点を決定する点で、第1の実施の形態と異なる。
(構成)
 第5の実施の形態におけるナビゲーションシステム1のハードウエア構成、および機能構成は第1の実施の形態と同様である。ただし携帯端末20のROMに格納されるプログラムの動作が第1の実施の形態と異なる。
(フロー図)
 図15は、第5の実施の形態におけるナビゲーションシステム1の動作を示すフロー図である。車載装置10の動作は第1の実施の形態と同一なので、図15ではステップS714のみを記載する。携帯端末20の動作はステップS754までは第1の実施の形態と同一であり、車載装置10のステップS714による通知を受信した以後の動作のみ図15に記載する。
 携帯端末20は、車載装置10から駐車到着通知を受信すると、車載装置10から受信した最新の車両位置、およびステップS750において入力された徒歩ナビ目的地に基づき、徒歩ナビ開始地点を改めて決定する(S1401)。なおステップS751においてすでに徒歩ナビ開始地点は決定されているが、ステップS751では駐車場の代表となる位置、たとえば駐車場の中心の位置や駐車予定の位置が用いられた。これに対して本ステップでは、車両50が実際に駐車された位置が算出に用いられる。
 次に携帯端末20は、ステップS1401において算出された徒歩ナビ開始地点からステップS750において入力された徒歩ナビ目的地までの徒歩ナビ経路を再度計算する(S754A)。ただし、ステップS1401において決定された徒歩ナビ開始地点がステップS751において決定された徒歩ナビ開始地点と同一の場合は、ステップS754Aを省略してもよい。携帯端末20は、ステップS1401において決定した徒歩ナビ開始地点、およびステップS754Aにおいて生成した徒歩ナビ経路を用いてステップS762以下の処理を実行する。
(動作例)
 図16は、第5の実施の形態において携帯表示部210に表示される徒歩ナビ情報660および徒歩ナビ開始地点情報670を示す図である。ただし徒歩ナビ情報660のうち実際に表示されるものは実線で示し、実際には表示されないものを破線で示している。
 まず徒歩ナビ情報660を説明する。符号1550はステップS751、すなわち当初に決定された徒歩ナビ開始地点を示し、符号1560はステップS1401、すなわち車両50の駐車後に決定された徒歩ナビ開始地点を示す。符号1510はステップS754、すなわち当初に算出された徒歩ナビ経路を示し、符号1520はステップS754A、すなわち車両50の駐車後に算出された徒歩ナビ経路を示す。
 経路1510と徒歩ナビ開始地点1550は、破線で示していることからもわかるように、実際には携帯表示部210には表示されない。図15のステップS1401およびステップS1402が実行されることにより、徒歩ナビ開始地点および徒歩ナビ経路が更新される。そのため実際には、符号1560および符号1520により表される、更新後の徒歩ナビ開始地点および徒歩ナビ経路が携帯表示部210に表示される。
 次に徒歩ナビ開始地点情報670を説明する。徒歩ナビ開始地点情報670を構成する撮影画像620と補助情報630のうち、撮影画像620は携帯端末20が車載装置10から受信した最新の撮影画像である点で第1の実施の形態と同様である。しかし補助情報630は、ステップS1401において決定された、換言すると更新された徒歩ナビ開始地点を用いて作成される点が第1の実施の形態と異なる。補助情報630は更新後の徒歩ナビ開始地点を用いて作成されるので、図16に示すように、メッセージ631および矢印632は更新後の徒歩ナビ開始地点1560を示している。
 上述した第5の実施の形態によれば、次の作用効果が得られる。
(14)携帯端末20は、車両50の停車位置、および徒歩ナビ目的地に基づき徒歩ナビ開始地点を変更する変更部(図15のS1401)を備える。補助情報作成部530は、変更部が変更した徒歩ナビ開始地点、撮影画像が撮影された位置、および撮影画像が撮影された際のカメラの光軸方向に基づき補助情報を作成する。そのため、車両50の停車位置に基づき徒歩ナビ開始地点を柔軟に変更しユーザの負担を軽減することができる。
―第6の実施の形態―
 図17~図19を参照して、本発明に係るナビゲーションシステム1の第6の実施の形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、主に、携帯端末20ではなく車載装置10が徒歩ナビ開始地点情報670および徒歩ナビ情報660を生成する点で、第1の実施の形態と異なる。
(構成)
 第6の実施の形態におけるナビゲーションシステム1のハードウエア構成は第1の実施の形態と同様である。ただし車載装置10および携帯端末20のROMに格納されるプログラムが第1の実施の形態と異なり、以下のように機能構成が第1の実施の形態と異なる。
 図17は、第6の実施の形態における車載装置10が備える機能を機能ブロックとして表した機能ブロック図である。車載装置10はその機能として、第1の実施の形態における機能に加えて位置関係計算部1610、および補助情報作成部1620をさらに備える。位置関係計算部1610の機能および動作は、第1の実施の形態における携帯端末20の位置関係計算部520に相当する。補助情報作成部1620の機能および動作は、第1の実施の形態における携帯端末20の補助情報作成部530に相当する。補助情報作成部1620は、生成した補助情報を携帯端末20に送信する。
 図18は、第6の実施の形態における携帯端末20が備える機能を機能ブロックとして表した機能ブロック図である。携帯端末20はその機能として、第1の実施の形態における機能から位置関係計算部520および補助情報作成部530が削除され、徒歩情報取得部1710をさらに備える。徒歩情報取得部1710は、車載装置10から受信する補助情報を徒歩ナビゲーション部584に出力する。
(フロー図)
 図19は、第6の実施の形態におけるナビゲーションシステム1の動作を示すフロー図である。携帯端末20のステップS750、およびステップS751の動作は第1の実施の形態と同様である。携帯端末20は車載装置10との接続が確立すると(S752)、駐車場情報に加えて徒歩ナビ開始地点の情報を車載装置10に送信する(S753A)。
 車載装置10の動作は、ステップS712において肯定判断されるまでは第1の実施の形態と同様である。ただし車載装置10は、ステップS708における携帯端末20への情報の送信を行わない。車載装置10は、ステップS712において肯定判断されると、位置関係計算部1610が撮影画像における徒歩ナビ開始地点との位置関係を算出する(S1801)。この算出は、ステップS706において取得した最新の車両50の現在位置座標、車両50の進行方向、およびステップS753Aで受信した徒歩ナビ開始地点に基づいて行われる。
 次に車載装置10の補助情報作成部1620は、位置関係計算部1610の算出結果に基づき補助情報を生成(S1802)する。そして車載装置10の車載通信部480は、ステップS704において取得した最新の撮影画像、およびステップS1802において生成した補助情報を携帯端末20に送信する(S708B)。
 これを受信した携帯端末20の徒歩情報取得部1710は補助情報を徒歩ナビゲーション部584に出力する。ステップS766以降の携帯端末20の動作は第1の実施の形態と同様なので説明を省略する。
 上述した第6の実施の形態によれば、次の作用効果が得られる。
(15)車載装置10は、徒歩ナビ開始地点、撮影画像が撮影された位置、および撮影画像が撮影された際のカメラ53の光軸方向に基づき補助情報を作成する補助情報作成部1620と、補助情報を携帯端末20に送信する補助情報送信部(図19のS708B)とを備える。そのため補助情報を車載装置10が作成することにより、携帯端末20の処理負荷を軽減することができる。
(16)カメラ53を搭載する車両50に備えられる車載装置10は、カメラ53が周囲を撮影して得られた撮影画像が入力される画像取得部430と、所定地点、撮影画像が撮影された位置、および撮影画像が撮影された際のカメラ53の光軸方向に基づき、撮影画像と組み合わせることにより所定地点を示す補助情報を作成する補助情報作成部1620と、撮影画像および補助情報を外部に送信する車載通信部480とを備える。
 そのため車載装置10が補助情報も作成するので携帯端末20の処理負荷を軽減することができる。
(第6の実施の形態の変形例1)
 携帯端末20が位置関係計算部520および補助情報作成部530を備え、車載装置10は第1の実施の形態と同様にステップS708を実行してもよい。この場合に携帯端末20は、車載装置10との接続が切断されたこと、または車載装置10から所定の時間通信がないことを検出すると、第1の実施の形態におけるステップS758以下の処理を実行する。
 本変形例によれば、車両50が車両ナビ目的地に到達後、ユーザがすぐに車載装置10の電源をオフにする場合など、ステップS708Bが実行されない場合であっても、携帯端末20は徒歩ナビ開始地点情報670を表示することができる。またステップS708Bが実行された場合は、第6の実施の形態と同様に車載装置10が補助情報を作成することにより携帯端末20の処理負荷を軽減させることができる。
(第6の実施の形態の変形例2)
 車載装置10に備えられる地図データベース486に車道だけではなく歩道の情報も含まれており、車載装置10が徒歩ナビ経路を算出して携帯端末20に送信してもよい。この場合は、携帯端末20は図19に示したステップS754を実行する代わりに、車載装置10から徒歩ナビ経路を受信する。そして携帯端末20は、受信した徒歩ナビ経路を用いて徒歩ナビ情報660の表示、およびナビゲーションを行う。
 本変形例によれば、携帯端末20の処理負荷をさらに軽減させることができる。
 携帯端末20のプログラムはROM201に格納されるとしたが、プログラムは補助記憶装置212に格納されていてもよい。また、携帯端末20が不図示の入出力インタフェースを備え、必要なときに入出力インタフェースと携帯端末20が利用可能な媒体を介して、他の装置からプログラムが読み込まれてもよい。ここで媒体とは、例えば入出力インタフェースに着脱可能な記憶媒体、または通信媒体、すなわち有線、無線、光などのネットワーク、または当該ネットワークを伝搬する搬送波やディジタル信号、を指す。また、プログラムにより実現される機能の一部または全部がハードウエア回路やFPGAにより実現されてもよい。
―第7の実施の形態―
 図20を参照して、本発明に係るナビゲーションシステム1の第7の実施の形態を説明する。以下の説明では、第4の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第4の実施の形態と同じである。主に、携帯端末20が車両50の駐車後に、サーバ30から取得した撮影画像位置に基づき改めて徒歩ナビ開始地点を決定する点で、第4の実施の形態と異なる。
(構成)
 第7の実施の形態におけるナビゲーションシステム1のハードウエア構成、および機能構成は第4の実施の形態と同様である。ただし携帯端末20のROM201に格納されるプログラムの動作およびサーバ30の動作が第4の実施の形態と異なる。
(フロー図)
 図20は、第7の実施の形態におけるナビゲーションシステム1の動作を示すフロー図である。車載装置10の動作は第4の実施の形態と同一なので、図20ではステップS714のみを記載する。携帯端末20の動作はステップS714までは第4の実施の形態と同一であり、車載装置10のステップS714による通知を受信した以後の動作のみ図20に記載する。
 携帯端末20は、車載装置10から停車報告通知(S714)を受信すると、サーバ30に現在位置情報を送信する(S2001)。サーバ30は、携帯端末20から受信した現在位置情報により示される位置に最も近い位置情報を有する撮影画像を特定し、その撮影画像の撮影位置座標を携帯端末20へ送信する(S2002)。
 携帯端末20は、サーバ30より受信した撮影位置座標を徒歩ナビの開始地点に決定し(S2003)、徒歩ナビ経路を算出(S754A)する。現在位置から徒歩ナビの開始地点、すなわち、サーバ30に格納された撮影画像の撮影位置座標への方位を算出し(S1301)、サーバ30に撮影位置座標と方位を送信して(S2004)、サーバ30より徒歩ナビ開始地点の撮影画像を取得する(S1303)。
 上述した第7の実施の形態によれば、次の作用効果が得られる。
 携帯端末20は、サーバ30に格納された撮影画像の撮影位置座標を徒歩ナビの開始位置として再設定する。これにより、第4の実施の形態のようなサーバ30に格納された撮影画像とは無関係に設定された徒歩ナビの開始位置を基準としてサーバ30の画像を検索することにより、条件に当てはまるような画像が存在しない状況の発生を防ぐことができる。
 上述した各実施の形態および変形例において携帯端末を動作させるプログラムは、CD-ROMなどの記録媒体やインターネットなどのデータ信号を通じて提供することができる。図21はその様子を示す図である。携帯端末20は、USBメモリ900を介してプログラムの提供を受ける。また、携帯端末20は通信回線901との接続機能を有する。コンピュータ902は上記プログラムを提供するサーバーコンピュータであり、ハードディスク903などの記録媒体にプログラムを格納する。通信回線901は、インターネットなどの通信回線、または専用通信回線などである。コンピュータ902はハードディスク903を使用してプログラムを読み出し、通信回線901を介してプログラムを携帯端末20に送信する。すなわち、プログラムをデータ信号として搬送波を介して、通信回線901を介して送信する。このように、プログラムは、記録媒体やデータ信号(搬送波)などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。
 上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
 次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
 日本国特許出願2017年第007480号(2017年1月19日出願)
   1 … ナビゲーションシステム
  10 … 車載装置
  20 … 携帯端末
  53 … カメラ
 210 … 携帯表示部
 231 … 機器間通信装置
 420 … 車両情報取得部
 430 … 画像取得部
 480 … 車載通信部
 482 … 位置特定部
 484 … 車両ナビゲーション部
 500 … 携帯端末情報生成部
 510 … 車両状態監視部
 520、1610 … 位置関係計算部
 530、1620 … 補助情報作成部
 580 … 携帯通信部
 582 … 位置特定部
 584 … 徒歩ナビゲーション部
 610 … 徒歩ナビ経路
 620 … 撮影画像
 630 … 補助情報
 650 … 徒歩ナビ開始地点

Claims (16)

  1.  携帯端末、および車両に搭載される車載装置を備えるナビゲーションシステムであって、
     前記車載装置は、前記車両を車両ナビ開始地点から車両ナビ目的地まで誘導する車両ナビ部を備え、
     前記携帯端末は、
     画像情報を提示する表示部と、
     徒歩ナビ開始地点から徒歩ナビ目的地まで徒歩で移動する経路を案内する徒歩ナビ部と、
     前記車両ナビ目的地の周囲の撮影画像、および前記撮影画像と組み合わせることにより前記徒歩ナビ開始地点を示す補助情報を前記表示部に出力する開始地点出力部とを備えるナビゲーションシステム。
  2.  請求項1に記載のナビゲーションシステムにおいて、
     前記車載装置は、
     前記車両に搭載されているカメラが前記車両ナビ目的地の周囲を撮影して得られた撮影画像が入力される画像入力部と、
     前記画像入力部に入力された前記撮影画像を前記携帯端末に送信する画像送信部とをさらに備え、
     前記開始地点出力部は、前記車載装置から受信した前記撮影画像を前記表示部に出力するナビゲーションシステム。
  3.  請求項1に記載のナビゲーションシステムにおいて、
     前記携帯端末は、前記車両ナビ目的地の周囲の撮影画像を含む複数の撮影画像が予め蓄積されたサーバと無線通信を行う無線通信部をさらに備え、
     前記開始地点出力部は、前記サーバが前記複数の撮影画像から抽出して前記携帯端末に送信し、前記無線通信部が受信した前記車両ナビ目的地の周囲の撮影画像を、前記表示部に出力するナビゲーションシステム。
  4.  請求項2に記載のナビゲーションシステムにおいて、
     前記車載装置は、
     前記車両が駐車したことを検知する駐車検知部と、
     前記駐車検知部が駐車を検知すると前記携帯端末に前記車両の駐車を示す通知を送信する通知部をさらに備え、
     前記携帯端末の前記開始地点出力部は、前記携帯端末が前記通知を受信すると前記撮影画像および前記補助情報を前記表示部に出力するナビゲーションシステム。
  5.  請求項3に記載のナビゲーションシステムにおいて、
     前記車載装置は、
     前記車両が駐車したことを検知する駐車検知部と、
     前記駐車検知部が駐車を検知すると前記携帯端末に前記車両の駐車を示す通知を送信する通知部をさらに備え、
     前記携帯端末の前記無線通信部は、前記携帯端末が前記通知を受信すると前記撮影画像を前記サーバに要求するナビゲーションシステム。
  6.  請求項4に記載のナビゲーションシステムにおいて、
     前記画像送信部は、前記駐車検知部が駐車を検知するまで所定時間ごとに、または前記駐車検知部が駐車を検知すると、前記画像入力部に入力された前記撮影画像を前記携帯端末に送信するナビゲーションシステム。
  7.  請求項1に記載のナビゲーションシステムにおいて、
     前記車載装置は、
     前記徒歩ナビ開始地点、前記撮影画像が撮影された位置、および前記撮影画像が撮影された際のカメラの光軸方向に基づき前記補助情報を作成する補助情報作成部と、
     前記補助情報を前記携帯端末に送信する補助情報送信部とをさらに備えるナビゲーションシステム。
  8.  請求項1に記載のナビゲーションシステムにおいて、
     前記携帯端末は、
     前記徒歩ナビ開始地点、前記撮影画像が撮影された位置、および前記撮影画像が撮影された際のカメラの光軸方向に基づき前記補助情報を作成する補助情報作成部をさらに備えるナビゲーションシステム。
  9.  請求項7または請求項8に記載のナビゲーションシステムにおいて、
     前記補助情報作成部は、さらに前記撮影画像の画角情報を用いて前記補助情報を作成するナビゲーションシステム。
  10.  請求項8に記載のナビゲーションシステムにおいて、
     前記携帯端末は、
     前記車載装置との無線通信接続の切断を検出する切断検出部をさらに備え、
     前記補助情報作成部は前記切断検出部が前記切断を検出すると前記補助情報を作成し、
     前記開始地点出力部は、前記補助情報作成部が前記補助情報を作成すると前記撮影画像および前記補助情報を前記表示部に出力するナビゲーションシステム。
  11.  請求項8に記載のナビゲーションシステムにおいて、
     前記携帯端末は、
     複数の前記撮影画像から、前記車両の駐車位置、および前記徒歩ナビ開始地点に基づき1つの前記撮影画像を選択する画像選択部をさらに備え、
     前記補助情報作成部および前記開始地点出力部は、前記画像選択部が選択した前記撮影画像を用いて動作するナビゲーションシステム。
  12.  請求項8に記載のナビゲーションシステムにおいて、
     前記携帯端末は、
     前記車両の駐車位置、および前記徒歩ナビ目的地に基づき前記徒歩ナビ開始地点を変更する変更部をさらに備え、
     前記補助情報作成部は、前記変更部が変更した前記徒歩ナビ開始地点、前記撮影画像が撮影された位置、および前記撮影画像が撮影された際の前記カメラの光軸方向に基づき前記補助情報を作成するナビゲーションシステム。
  13.  請求項1に記載のナビゲーションシステムにおいて、
     前記携帯端末は、
     前記撮影画像と組み合わせることにより前記車両の駐車位置を示す駐車地点情報を前記表示部に出力する駐車地点出力部をさらに備えるナビゲーションシステム。
  14.  表示部を備える携帯端末において実行されるナビゲーションプログラムが格納されるコンピュータプログラム製品であって、前記ナビゲーションプログラムは、
     携帯端末に、
     徒歩ナビ開始地点から徒歩ナビ目的地まで徒歩で移動する経路を案内させることと、
     外部から受信した撮影画像、および前記撮影画像と組み合わせることにより前記徒歩ナビ開始地点を示す補助情報を前記表示部に出力させることと、を実現させるためのコンピュータプログラム製品。
  15.  カメラを搭載する車両に備えられる車載装置であって、
     前記カメラが周囲を撮影して得られた撮影画像が入力される画像入力部と、
     所定地点、前記撮影画像が撮影された位置、および前記撮影画像が撮影された際の前記カメラの光軸方向に基づき、前記撮影画像と組み合わせることにより前記所定地点を示す補助情報を作成する補助情報作成部と、
     前記撮影画像および前記補助情報を外部に送信する車載通信部とを備える車載装置。
  16.  請求項1に記載のナビゲーションシステムにおいて、
     前記携帯端末は、
     前記車両ナビ目的地の周囲の撮影画像を含む複数の撮影画像が予め蓄積されたサーバと無線通信を行い、当該サーバへ車両位置を示す車両位置情報を送信し、当該サーバが前記複数の撮影画像のうちから当該車両位置情報に基づき抽出した撮影画像および当該画像の撮影位置を示す撮影画像位置情報を前記サーバから受信する無線通信部をさらに備え、
     前記徒歩ナビ部は、受信した前記撮影画像位置情報に対応する前記撮影位置を徒歩開始地点として当該徒歩開始地点から徒歩目的地まで徒歩で移動する経路を案内し、
     前記開始地点出力部は、前記サーバが前記複数の撮影画像から前記車両位置情報に基づき抽出した撮影画像および前記補助情報を、前記表示部に出力するナビゲーションシステム。
     
PCT/JP2017/043838 2017-01-19 2017-12-06 ナビゲーションシステム、コンピュータプログラム製品、車載装置 WO2018135167A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/479,416 US20190360837A1 (en) 2017-01-19 2017-12-06 Navigation system, computer program product, and in-vehicle apparatus
EP17892975.8A EP3572772A4 (en) 2017-01-19 2017-12-06 NAVIGATION SYSTEM, COMPUTER PROGRAM PRODUCT AND ON-BOARD DEVICE
CN201780084139.0A CN110214263A (zh) 2017-01-19 2017-12-06 导航系统、计算机程序产品和车载装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-007480 2017-01-19
JP2017007480A JP6674914B2 (ja) 2017-01-19 2017-01-19 ナビゲーションシステム、ナビゲーションプログラム、車載装置

Publications (1)

Publication Number Publication Date
WO2018135167A1 true WO2018135167A1 (ja) 2018-07-26

Family

ID=62908415

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/043838 WO2018135167A1 (ja) 2017-01-19 2017-12-06 ナビゲーションシステム、コンピュータプログラム製品、車載装置

Country Status (5)

Country Link
US (1) US20190360837A1 (ja)
EP (1) EP3572772A4 (ja)
JP (1) JP6674914B2 (ja)
CN (1) CN110214263A (ja)
WO (1) WO2018135167A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11015937B2 (en) * 2018-07-12 2021-05-25 Here Global B.V. Method and system for guiding users in a parking facility
JP7259708B2 (ja) 2019-11-11 2023-04-18 トヨタ自動車株式会社 車両用ナビゲーション装置
JP7290551B2 (ja) * 2019-11-18 2023-06-13 ヤフー株式会社 情報処理装置、情報処理方法および情報処理プログラム
CN111735473B (zh) * 2020-07-06 2022-04-19 无锡广盈集团有限公司 一种能上传导航信息的北斗导航系统
CN112013864A (zh) * 2020-08-25 2020-12-01 中国第一汽车股份有限公司 远程启动车辆导航的方法、装置、设备及存储介质
CN114267194B (zh) * 2021-12-16 2023-01-06 青岛创智融信数字科技集团有限公司 一种停车位智能管理方法及系统
US20230194270A1 (en) * 2021-12-21 2023-06-22 Rivian Ip Holdings, Llc Multi-modal navigation system
CN115273526A (zh) * 2022-06-20 2022-11-01 广州小鹏汽车科技有限公司 提供路线指引的方法、车辆和移动终端
CN116045978A (zh) * 2022-08-26 2023-05-02 荣耀终端有限公司 一种导航方法、移动终端、车载设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006194665A (ja) * 2005-01-12 2006-07-27 Sanyo Electric Co Ltd ナビゲーション機能付き携帯型端末機
JP2007065902A (ja) * 2005-08-30 2007-03-15 Matsushita Electric Ind Co Ltd 駐車位置探索支援装置、方法およびプログラム
JP2011220861A (ja) 2010-04-09 2011-11-04 Denso Corp ナビゲーションシステム、車載ナビゲーション装置、及び携帯端末
JP2014115257A (ja) * 2012-12-12 2014-06-26 Toshiba Corp ナビゲーション装置
JP2017007480A (ja) 2015-06-19 2017-01-12 東海化成工業株式会社 ヘッドレスト、ヘッドレストを備えるシート

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3160434B2 (ja) * 1993-08-31 2001-04-25 アルパイン株式会社 車載用ナビゲーション装置の走行案内画像表示方法
JP4187419B2 (ja) * 2001-03-01 2008-11-26 アルパイン株式会社 歩行経路案内システム
JP2005003526A (ja) * 2003-06-12 2005-01-06 Denso Corp ナビゲーションシステム
JP2005308456A (ja) * 2004-03-25 2005-11-04 Nippon Telegr & Teleph Corp <Ntt> 3次元経路案内方法および3次元経路案内サーバ
JP2009103521A (ja) * 2007-10-22 2009-05-14 Fujitsu Ten Ltd ナビゲーションシステム、携帯端末装置および車載装置
WO2009078079A1 (ja) * 2007-12-14 2009-06-25 Pioneer Corporation ナビゲーションシステム、携帯用端末装置、サーバ装置、携帯用端末装置用プログラム、サーバ装置用プログラム及び誘導方法
JP2011149835A (ja) * 2010-01-22 2011-08-04 Clarion Co Ltd カーナビゲーション装置
JP2011174748A (ja) * 2010-02-23 2011-09-08 Aisin Aw Co Ltd 地図表示装置、方法およびプログラム
WO2011154050A1 (en) * 2010-06-11 2011-12-15 Tomtom International B.V. Navigation device and method having enhanced instruction including a panoramic image of a scene
JP6207715B2 (ja) * 2014-02-26 2017-10-04 三菱電機株式会社 ナビゲーションシステム、画像サーバ、携帯端末、ナビゲーション支援方法、およびナビゲーション支援プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006194665A (ja) * 2005-01-12 2006-07-27 Sanyo Electric Co Ltd ナビゲーション機能付き携帯型端末機
JP2007065902A (ja) * 2005-08-30 2007-03-15 Matsushita Electric Ind Co Ltd 駐車位置探索支援装置、方法およびプログラム
JP2011220861A (ja) 2010-04-09 2011-11-04 Denso Corp ナビゲーションシステム、車載ナビゲーション装置、及び携帯端末
JP2014115257A (ja) * 2012-12-12 2014-06-26 Toshiba Corp ナビゲーション装置
JP2017007480A (ja) 2015-06-19 2017-01-12 東海化成工業株式会社 ヘッドレスト、ヘッドレストを備えるシート

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3572772A4 *

Also Published As

Publication number Publication date
EP3572772A1 (en) 2019-11-27
JP6674914B2 (ja) 2020-04-01
CN110214263A (zh) 2019-09-06
EP3572772A4 (en) 2021-01-20
JP2018115980A (ja) 2018-07-26
US20190360837A1 (en) 2019-11-28

Similar Documents

Publication Publication Date Title
WO2018135167A1 (ja) ナビゲーションシステム、コンピュータプログラム製品、車載装置
JP4895313B2 (ja) ナビゲーション装置およびその方法
JP4293917B2 (ja) ナビゲーション装置及び交差点案内方法
EP2881710B1 (en) Camera parameter computation device, navigation system, and camera parameter computation method
JP6368651B2 (ja) 走行環境認識システム
JP6540485B2 (ja) 経路変更装置及び経路変更システム
JP6207715B2 (ja) ナビゲーションシステム、画像サーバ、携帯端末、ナビゲーション支援方法、およびナビゲーション支援プログラム
JP6361403B2 (ja) 自動運転支援システム、自動運転支援方法及びコンピュータプログラム
JP6236954B2 (ja) 運転支援システム、方法およびプログラム
JP2023165757A (ja) 情報表示制御装置、情報表示制御方法及び情報表示制御プログラム
JP6179166B2 (ja) 地点表示システム、方法およびプログラム
JP2009237945A (ja) 動画情報収集システム及び車載機
JP2012037475A (ja) サーバ装置、ナビゲーションシステム、ナビゲーション装置
JP2012032284A (ja) ナビゲーションシステム
JP2008002965A (ja) ナビゲーション装置およびその方法
JP2015049039A (ja) ナビゲーション装置、及びナビゲーションプログラム
US20180293796A1 (en) Method and device for guiding a user to a virtual object
JP2009264835A (ja) ナビゲーション装置、方法及びプログラム
JP2006258669A (ja) ナビゲーション装置、ナビゲーション方法及びナビゲーションプログラム
JP4705394B2 (ja) ナビゲーション装置、ナビゲーション方法及びナビゲーションプログラム
JP2014071629A (ja) 走行情報表示システム、走行情報表示方法、及び走行情報表示プログラム
JP6264020B2 (ja) 運転支援装置
JP7082588B2 (ja) プログラム、ナビゲーションシステム、ナビゲーション装置
JP2017172986A (ja) ナビゲーションシステム
JP6432312B2 (ja) ナビゲーションシステム、ナビゲーション方法、及びナビゲーションプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17892975

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017892975

Country of ref document: EP

Effective date: 20190819