WO2015128959A1 - ナビゲーションシステム、画像サーバ、携帯端末、ナビゲーション支援方法、およびナビゲーション支援プログラム - Google Patents
ナビゲーションシステム、画像サーバ、携帯端末、ナビゲーション支援方法、およびナビゲーション支援プログラム Download PDFInfo
- Publication number
- WO2015128959A1 WO2015128959A1 PCT/JP2014/054668 JP2014054668W WO2015128959A1 WO 2015128959 A1 WO2015128959 A1 WO 2015128959A1 JP 2014054668 W JP2014054668 W JP 2014054668W WO 2015128959 A1 WO2015128959 A1 WO 2015128959A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- information
- guidance
- unit
- point
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3647—Guidance involving output of stored or live camera images or video streams
Definitions
- the present invention relates to a navigation system, an image server, a mobile terminal, a navigation support method, and a navigation support program that display a support video when guiding a route to a moving body.
- Patent Documents 1 and 2 when the image server collects captured images taken around the vehicle or the camera of the mobile terminal, and the mobile terminal travels the shooting location, the mobile terminal captures the captured image from the image server. Navigation systems that obtain and display on a display have been proposed. Further, Patent Document 2 proposes a configuration in which when a vehicle approaches a guide point, an image in front of the vehicle captured in real time by the camera of the mobile terminal is displayed on the display.
- the conventional navigation system Since the conventional navigation system is configured as described above, it was taken when there was traffic congestion at the guide point, when the guide point was an intersection with poor visibility, or when the guide point was in the middle of a slope. There is a problem that the image is not intuitively easy for the driver because the guide points are difficult to distinguish or different from the actual scenery of the guide points. Therefore, if the driver does not drive while carefully checking the captured image, the driver may pass the guidance point or change the course direction at an incorrect point. In addition, there was also a risk that it would lead to excessive driving while watching the captured images. At the same time, the driver needs to remove the line of sight from the front and check the navigation information, and there is a problem that attention to the surroundings is distracted during that time.
- the present invention has been made to solve the above-described problems, and an object of the present invention is to provide navigation support by displaying a live-action image of a guidance point before a guide point that is intuitively easy for a driver to understand.
- a navigation system includes a navigation device that is mounted on a mobile body and guides a travel route to a destination, an image server provided outside the mobile body, and a mobile terminal that can communicate with the navigation device and each of the image servers.
- a location information acquisition unit configured to acquire location information of a moving body, and a guidance information storage unit that stores guidance information including information used for guidance of the travel route and information on guide points set on the travel route
- a guidance information acquisition unit that acquires guidance information about the nearest guidance point of the moving object from the guidance information storage unit based on the location information acquired by the location information acquisition unit, and guidance of the guidance point acquired by the guidance information acquisition unit
- a display request information generation unit that generates display request information for displaying information and a live-action image taken at a guide point in front of the guide point;
- An image acquisition unit that acquires a live-action image of the guidance point specified by the display request information from the image server that stores the live-action image when there is not, the guidance information included in the display request information and the guidance acquired by the image acquisition
- the image server of the present invention stores a data communication unit that transmits / receives data to / from a portable terminal, a real image when there is no traffic jam, and carries the real image used for navigation support video via the data communication unit. And an image database to be transmitted to the terminal.
- the portable terminal displays guidance information including information used for guidance of a movement route and information about guidance points set on the movement route, and a live-action image captured at a guidance point before the guidance point.
- Display request information from the navigation device an image acquisition unit for acquiring a real image from the image server when there is no traffic jam at the guide point specified by the display request information, and guide information included in the display request information
- a display information generation unit that generates a navigation support video by superimposing a live-action image of the guidance point acquired by the image acquisition unit, and a visual field range of the driver of the moving body that displays the navigation support video generated by the display information generation unit
- the navigation support method of the present invention is capable of communicating with a navigation device that is mounted on a mobile body and guides a travel route to a destination, an image server provided outside the mobile body, and each of the navigation device and the image server, And a navigation system method comprising a mobile terminal having a display unit disposed in front of the driver's field of view of the mobile object, wherein the positional information acquisition unit acquires the positional information of the mobile object Based on the position information acquired in the position information acquisition step, the acquisition step and the guide information acquisition unit store the guide information including information used for guidance of the travel route and information on the guide points set on the travel route.
- the display request information includes an image acquisition step of acquiring a live-action image of the guidance point specified by the display request information from the image server that stores the live-action image when there is no traffic jam, and the display information generation unit.
- the navigation support program of the present invention is executed by a navigation device that is mounted on a moving body and guides a moving route to a destination, and a portable terminal that can communicate with each of image servers provided outside the moving body, Display for displaying guidance information including information used for guidance of the movement route and information on guidance points set on the movement route, and a live-action image captured at the guidance point before the guidance point by the image acquisition unit
- the navigation assistance video in which the guidance information is superimposed and displayed on the real image taken at the guidance point before the guidance point when there is no traffic jam is arranged in front of the visual field range of the driver of the mobile object. Since it is displayed on the display unit, it is possible to display a navigation support video that is intuitively easy for the user to understand.
- FIG. 2 (a) is a screen display example at the time of the navigation function execution of a navigation apparatus
- FIG.2 (b) is a screen table
- 6 is a flowchart illustrating a transmission process of navigation request video display request information by the navigation device according to the first embodiment.
- 4 is a flowchart illustrating a navigation assistance video display process performed by the mobile terminal according to the first embodiment.
- FIG. 2 shows the structure of the navigation system which concerns on Embodiment 2 of this invention.
- FIG. 10 is a diagram illustrating a viewpoint position changing process by the mobile terminal according to the second embodiment.
- FIG. 7A is a diagram for explaining processing of a photographed image by the image server according to the second embodiment.
- FIG. 7A is a photographed image taken at a guide point before a guide point
- FIG. 7B is a photographed photographed image.
- FIG. 7C shows an example of the pseudo real image.
- 10 is a flowchart illustrating a navigation assistance video display process by the mobile terminal according to the second embodiment.
- 10 is a flowchart illustrating a process of searching for a photographed image by the image server according to the second embodiment.
- 10 is a flowchart illustrating an image DB update process of the image server according to the second embodiment.
- FIG. 7A is a diagram for explaining processing of a photographed image by the image server according to the second embodiment.
- FIG. 7A is a photographed image taken at a guide point before a guide point
- FIG. 7B is a photographed photographed image.
- FIG. 10 is a block diagram showing a modification of the navigation system according to the second embodiment. It is a block diagram which shows the structure of the navigation system which concerns on Embodiment 3 of this invention. It is a figure explaining the change process of the guidance point by the portable terminal of Embodiment 3, and shows a photographed image. It is a figure explaining the adjustment process of the viewing angle by the portable terminal of Embodiment 3, and shows the mode of guide point vicinity. It is a figure explaining the adjustment process of the viewing angle by the portable terminal of Embodiment 3, and shows a real image.
- FIG. 10 is a diagram for describing a facility highlighting process that serves as a mark of navigation assistance video by the mobile terminal according to the third embodiment.
- 10 is a flowchart illustrating a display process of navigation assistance video by the mobile terminal according to the third embodiment. It is a block diagram which shows the structure of the navigation system which concerns on Embodiment 4 of this invention. 15 is a flowchart showing a guide information storing process when the relay station arrives by the navigation device and the mobile terminal according to the fourth embodiment.
- FIG. 1 shows a basic configuration of a navigation system according to the present invention.
- the navigation system includes a navigation device 100 that is mounted on a mobile body and guides a travel route, an image server 300 provided outside the mobile body, and a mobile terminal 200 that can communicate with the navigation device 100 and the image server 300.
- the This navigation system is for a moving body including a vehicle, a railway, a ship, an aircraft, or the like.
- a vehicle is assumed as an example of a mobile body, but any mobile body may be used, and the present invention is not limited to a vehicle.
- the navigation device 100 is an electronic device having a function of communicating with the mobile terminal 200.
- a 2DIN type navigation device mounted on a vehicle a PND (Portable Navigation Device), a tablet PC (Personal Computer), or the like.
- the mobile terminal 200 is an electronic device having a function of communicating with the navigation device 100 and the image server 300, such as a smartphone, a mobile phone, a PHS (Personal Handy-phone System), a PDA (Personal Digital Assistant), a tablet PC, and a portable media player.
- the image server 300 is assumed to be a server system on the Web.
- the navigation device 100 includes a data communication unit 101, a vehicle information acquisition unit 102, a guidance information storage unit 103, a guidance information acquisition unit 104, and a display request information generation unit 105.
- the navigation device 100 has a navigation function of searching for a movement route from a departure point to a destination point set by the user and guiding the user by screen display and voice output.
- FIG. 2A shows a screen display example when the navigation device 100 executes the navigation function. A map is displayed on the display of the navigation device 100, and the vehicle position 1 is superimposed and displayed. In addition, there is a nearest guide point 2 on the moving route of the vehicle position 1.
- the data communication unit 101 performs data communication with the data communication unit 201 of the mobile terminal 200 via USB (Universal Serial Bus), wireless LAN (Local Area Network), Bluetooth (registered trademark, description is omitted below), and the like.
- USB Universal Serial Bus
- wireless LAN Local Area Network
- Bluetooth registered trademark, description is omitted below
- the vehicle information acquisition unit 102 is an interface that acquires information from a sensor group mounted on the host vehicle, and includes a position information acquisition unit 1021 that acquires at least position information of the host vehicle.
- the position information acquisition unit 1021 acquires the position information of the own vehicle from an in-vehicle sensor group that measures the three-dimensional position and posture information of the own vehicle such as a GPS (Global Positioning System) and a gyro sensor.
- the position information acquisition unit 1021 may be an interface that acquires information from the in-vehicle sensor group, or may include an in-vehicle sensor group.
- the guidance information storage unit 103 has a volatile memory, and a navigation function (not shown) manages guidance information used for route guidance of the host vehicle.
- the guidance information includes navigation information such as the name of a guide point such as an intersection, the position of the guide point (latitude and longitude, etc.), guide point information such as map information around the guide point, and the course direction with respect to the guide point.
- the guidance information acquisition unit 104 acquires guidance information regarding the nearest guide point on the moving route from the guidance information storage unit 103 based on the own vehicle position acquired by the position information acquisition unit 1021.
- the display request information generation unit 105 generates display request information that combines the vehicle position acquired by the position information acquisition unit 1021 and the guidance information acquired by the guidance information acquisition unit 104.
- the display request information is for causing the display unit 204 of the portable terminal 200 to display a navigation support image for guiding to the nearest guide point.
- the own vehicle has a predetermined distance (for example, the guide point) , 500 m), the photographed image is displayed at the guidance point in front of the guide point by a predetermined distance (for example, 50 m).
- a method in which the display request information generation unit 105 obtains the distance from the vehicle position to the guidance point is obtained by obtaining guidance information (such as the position of the guidance point (latitude and longitude)) from the guidance information acquisition unit 104, and guiding information and position information
- the distance from the vehicle position to the guide point is calculated from the position information acquired from the acquisition unit 1021.
- the guidance information acquisition unit 104 acquires guidance information (such as the position of the guide point (latitude and longitude)) and the position information of the host vehicle, calculates the distance from the host vehicle position to the guide point, and calculates the calculated distance. You may output to the display request information generation part 105.
- the mobile terminal 200 is arranged in front of the driver's field of view, such as on the driver's side dashboard, and includes a data communication unit 201, an image acquisition unit 202, and a display information generation unit. 203 and a display unit 204.
- the data communication unit 201 performs data communication with the data communication unit 101 of the navigation device 100 via USB, wireless LAN, Bluetooth, etc., and displays the display request information generated by the display request information generation unit 105 of the navigation device 100. Receive.
- the data communication unit 201 performs HTTP (Hyper Text Transfer Protocol) communication with the data communication unit 301 of the image server 300 through the mobile line, and receives a real image stored in the image DB (database) 302. .
- HTTP Hyper Text Transfer Protocol
- FIG. 1 the communication between the mobile terminal 200 and the navigation device 100 and the communication between the mobile terminal 200 and the image server 300 are performed by one data communication unit 201.
- the data communication unit may perform the configuration.
- the image acquisition unit 202 When the image acquisition unit 202 receives display request information from the navigation device 100 through the data communication unit 201, the image acquisition unit 202 acquires a real image specified by the display request information from the image server 300 through the data communication unit 201. In addition, the image acquisition unit 202 changes the scale of the image acquired from the image server 300 according to the image size of the mobile terminal 200.
- the display information generation unit 203 Upon receiving display request information from the navigation device 100 through the data communication unit 201, the display information generation unit 203 receives guidance information (guidance point information and navigation information) of the nearest guidance point included in the display request information, and an image acquisition unit. A navigation support video is generated using the photographed image for guiding to the guidance point acquired by 202.
- the display unit 204 has a display, and displays the navigation support video generated by the display information generation unit 203.
- FIG. 2B shows a screen display example of the display unit 204 of the mobile terminal 200.
- This screen display example is an example of a navigation support video, and is displayed, for example, from 500 m before the guide point.
- a live-action image 2a for guiding the host vehicle to a guide point closest to the host vehicle (for example, guide point 2 in FIG. 2A) is displayed, and guide point information of the guide point is displayed.
- 2b and navigation information 2c are superimposed and displayed.
- the photographed image taken at the guide point before the guide point is, for example, an image obtained by shooting the guide point from the guide point 50 m before the guide point.
- a live-action image obtained by photographing a guide point from a guide point 50 m before the guide point is displayed from 500 m before the guide point.
- the distance (400m) from the vehicle position 1 to the guide point 2 and the name (Chiseya-ku 1-chome) are displayed as the guide point information 2b, and the navigation information 2c is An arrow indicating the course direction is displayed.
- the image server 300 includes a data communication unit 301 and an image DB 302.
- the data communication unit 301 performs HTTP communication with the data communication unit 201 of the mobile terminal 200.
- the image DB 302 has a storage device, and stores a photographed image obtained by photographing a guide point from a guidance point in each approach direction.
- the image DB 302 transmits, through the data communication unit 301, a live-action image of the nearest guide point instructed from the mobile terminal 200 through the data communication unit 301.
- a black image may be transmitted when the instructed real image is not in the image DB 302.
- the actual image of the guide point stored in the image DB 302 is an ideal live image that is taken when there is no traffic jam and can be seen from the guide point. Images are preferred.
- a predetermined ratio for example, the case where the ratio of the image of the vehicle existing on the road is equal to or less than a predetermined ratio.
- predetermined predetermined ratio or less means, for example, a case where the ratio of the area of the vehicle image to the area occupied by the road image is 30% or less.
- FIG. 3 is a flowchart illustrating a transmission process of display request information for navigation assistance video by the navigation device 100.
- the guidance information acquisition unit 104 and the display request information generation unit 105 acquire position information as a kind of vehicle information from the vehicle information acquisition unit 102 (step ST1).
- the guidance information acquisition unit 104 acquires the guidance information of the nearest guide point from the guidance information storage unit 103 based on the position information, and notifies the display request information generation unit 105 (step ST2).
- the display request information generation unit 105 generates display request information for the navigation assistance video based on the position information and guidance information acquired in steps ST1 and ST2, and notifies the data communication unit 101 (step ST3).
- the data communication unit 101 transmits display request information to the portable terminal 200 (step ST4).
- FIG. 4 is a flowchart showing navigation assistance video display processing by the portable terminal 200.
- the display information generation unit 203 analyzes the display request information received by the data communication unit 201, 500 m before the guide point, and determines update processing (step ST11). For example, when the vehicle passes the nearest guide point and comes to the start point of navigation support video display 500m before the next guide point, the guide point specified by the current display request information is the previous display request information. Since it is changed from the guide point, it is necessary to update the entire navigation support video.
- the display information generation unit 203 determines that updating is necessary (step ST11 “YES”), and instructs the image acquisition unit 202 to acquire a live-action image obtained by shooting a new guide point from a guidance point 50 meters before.
- the image acquisition unit 202 acquires the corresponding real image from the image DB 302 (step ST12).
- the acquired live-action image of the guide point is temporarily stored in the display information generation unit 203 (step ST13).
- the guidance distance for example, the distance display of “400 m” in the guidance point information 2b shown in FIG. 2B
- the display information generation unit 203 determines that updating of the entire navigation support video is unnecessary (step ST11 “NO”), and proceeds to the next step ST14.
- step ST14 a live-action image that is temporarily stored in the previous step ST13 and photographed at a guidance point 50m before the guide point is used.
- the display information generation unit 203 uses the photographed image taken at the guide point 50 m before the guide point temporarily stored in step ST13 and the guide information included in the display request information received from the navigation device 100. Then, a navigation support video is generated (step ST14). Finally, the display unit 204 displays the navigation support video generated by the display information generation unit 203 (step ST15).
- the navigation apparatus 100 acquires the vehicle information acquisition unit 102 that acquires the position information of the host vehicle, the navigation information used for guiding the movement route, and the guide points set on the movement route. Based on the position information acquired by the vehicle information acquisition unit 102 and the guidance information storage unit 103 that stores the guidance information including the guidance point information about the guidance information about the guidance point nearest to the vehicle from the guidance information storage unit 103 Display request information generation for generating the guidance information acquisition unit 104 to be acquired and the display request information for displaying the guidance information of the guidance point acquired by the guidance information acquisition unit 104 and the navigation support video of the guidance point before the guidance point
- the image D includes a unit 105, and the image server 300 stores a live-action image obtained by photographing a guide point from a guidance point when there is no traffic jam.
- the mobile terminal 200 acquires from the image server 300 a real image of the guide point before the guide point specified by the display request information, and guide information and image acquisition included in the display request information
- the display information generation unit 203 that generates a navigation support video by superimposing the real image of the guidance point acquired by the unit 202 and the display unit 204 that displays the navigation support video generated by the display information generation unit 203 are provided. . For this reason, even if the actual guide point is congested, an ideal live-action image that is not congested is displayed as the navigation support video, so that the driver can easily grasp the place to bend. Therefore, it is possible to display a navigation support video that is intuitively understandable for the driver.
- the display unit 204 (which the portable terminal 200 has here) that displays a live-action image is disposed in front of the driver's visual field range, the driver can display the navigation support video without removing the line of sight from the front. I can confirm.
- the driver can view the guidance information of the route actually traveled together with the live-action image of the scenery when the guidance point is viewed from the guidance point before the guidance point, You can drive with confidence.
- the navigation device 100 or the mobile terminal 200 it is not necessary for the navigation device 100 or the mobile terminal 200 to hold a real image taken from a guidance point in front of the nationwide guide point, and the amount of data that the navigation device 100 and the mobile terminal 200 should hold inside is small.
- the support video cannot be displayed unless it is just before the guide point.
- the actual image stored in the image server 300 is displayed as the navigation support. Since it can be displayed as a video from 500m before the guide point, it is highly convenient.
- the navigation function of the existing navigation device 100 is not hindered.
- effective use such as displaying a map on the entire display of the navigation device 100 is possible.
- the navigation device 100 does not need to have a communication function with the image server 300 and a display function of navigation support video, the device is correspondingly inexpensive.
- the navigation device 100 or the portable terminal 200 is replaced by managing a photographed image taken from the guidance point with the image server 300, if the function of the first embodiment is provided, the image can be obtained. It is possible to acquire a real image of the guidance point from the server 300.
- the point where the display of the navigation assistance video is started is described as being 500 meters before the guide point.
- the distance at which the navigation support video starts to be displayed may be changed depending on whether the intersection has a good line-of-sight or the type of road that is running. For example, on an expressway, the display may be started 2 km before the guide point.
- the guidance point is described as being 50 meters before the guide point, but the distance may be changed depending on whether the guidance point is an intersection with good visibility or the type of road on which the vehicle is traveling.
- the guidance point may be 30m before the guide point.
- the guidance point may be 100m before the guide point. That is, while driving on a highway, the navigation support video starts to be displayed 2 km before the guide point, and the actual image displayed at that time can be an image viewed from the guide point 100 m before the guide point.
- FIG. FIG. 5 is a block diagram showing a configuration of a navigation system according to Embodiment 2 of the present invention. 5 that are the same as or equivalent to those in FIG. 1 are denoted by the same reference numerals and description thereof is omitted.
- the navigation device 100 newly includes a speed information acquisition unit 1022 and an obstacle information acquisition unit 1023.
- the speed information acquisition unit 1022 acquires speed information from a vehicle-mounted sensor group that measures the speed of the host vehicle such as a vehicle speed sensor and an acceleration sensor.
- the obstacle information acquisition unit 1023 acquires obstacle information indicating the presence or absence of an obstacle from a vehicle-mounted sensor group that detects obstacles around the host vehicle such as an ultrasonic sensor, a millimeter wave radar, and a vehicle-mounted camera.
- the speed information acquisition unit 1022 and the obstacle information acquisition unit 1023 may be an interface that acquires information from the in-vehicle sensor group, or may include an in-vehicle sensor group.
- the portable terminal 200 of Embodiment 2 newly includes a viewpoint position estimation unit 210, a captured image posting unit 211, and a camera 212.
- the mobile terminal 200 includes a viewing angle adjustment unit 2031a by extending the function of the display information generation unit 203a.
- the viewpoint position estimation unit 210 is information on at least one of the lane, altitude, and vehicle type of the vehicle at the guidance point before the guide point. Is used to estimate the driver's viewpoint position (three-dimensional position) at the guidance point. In addition, the viewpoint position estimation unit 210 sets a direction extending horizontally ahead of the vehicle from the estimated viewpoint position as the driver's line-of-sight direction. The viewpoint position estimation unit 210 outputs the estimated viewpoint position and line-of-sight direction to the display information generation unit 203a.
- the three-dimensional position of the driver's viewpoint is acquired from a three-dimensional map (for example, map information included in the navigation device 100) having longitude / latitude and altitude information.
- Altitude is the height of the road.
- a photographed image as seen by the driver is acquired from the image server 300 or the image server 300 I can't register with.
- the viewpoint position estimation unit 210 estimates the viewpoint position of the driver in the height direction based on the altitude of the road at the guidance point.
- the vehicle type is obtained in advance by user input or the like.
- the vehicle type information is used to determine the height from the road surface to the driver's seat, so that the viewpoint position in the driver's height direction is estimated more accurately. Further, a difference in viewpoint position due to a difference between the left handle and the right handle may be considered. For example, in the case of a left steering wheel, the viewpoint position is set in the left half of one lane divided into two.
- the display information generation unit 203a displays a navigation support image in a live-action image obtained by photographing a guide point from the guidance point according to the driver's viewpoint position and line-of-sight direction at the guidance point estimated by the viewpoint position estimation unit 210. Change the range. That is, the viewpoint position and the line-of-sight direction of the navigation assistance video are changed in accordance with the viewpoint position and the line-of-sight direction of the driver at the guidance point. It is assumed that a panoramic image obtained by photographing a guide point from a guide point in front of the guide point is stored in the image DB 302a of the image server 300 so that the display range can be changed in the display information generation unit 203a.
- the display information generation unit 203a provides navigation support for the region of the right display range 3a in the panoramic live-action image 3 obtained by capturing the guide points.
- a live-action image used for video For example, when the vehicle type is a truck, the viewpoint position of the driver in the height direction at the guidance point is higher than that of a normal vehicle. Therefore, the display information generation unit 203a shifts the display range 3b of the truck above the display range 3a of the ordinary vehicle.
- an image in which the guide point is viewed along the driver's line of sight from the viewpoint position of the driver at the guidance point is used for the navigation assistance video.
- the viewing angle adjustment unit 2031a adjusts the viewing angle of the photographed image displayed as the navigation support video.
- the viewing angle adjustment unit 2031a sets a standard value for the viewing angle of the navigation assistance video. Even if the viewing angle is too wide or too narrow, it is difficult to see the scenery when the guidance point is viewed from the guidance point. Therefore, the standard value of the viewing angle is preferably close to the actual viewing angle of the driver. Therefore, the viewing angle adjustment unit 2031a sets the standard value of the viewing angle in consideration of the driver's moving body viewing angle (+ margin) according to the traveling speed before the guidance point. In the vicinity of this guidance point, the driver tries to turn at a certain speed or less, so there is little variation in the traveling speed.
- the photographed image posting unit 211 When a shooting request for a guide point is received from the image server 300 through the data communication unit 201, the photographed image posting unit 211 operates the camera 212 mounted on the mobile terminal 200 to photograph the guide point from the guidance point, and shoots.
- the image is posted to the image server 300 through the data communication unit 201.
- the portable terminal 200 is installed in advance so that the camera 212 faces the front of the vehicle so that the photographed image posting unit 211 can automatically photograph at the guidance point.
- the camera 212 that can capture a panoramic image is desirable.
- the image server 300 newly includes an image search unit 310, a processed image generation unit 311, a photographing instruction unit 312, an image acquisition unit 313, and an image update unit 314.
- the image DB 302a has information on at least one of the weather, date, and season when the live-action image is taken, and the guide point where the live-action image is taken. (3-dimensional position, travel lane) information is stored in association with each other.
- the image search unit 310 When the image search unit 310 is requested by the image acquisition unit 202 of the mobile terminal 200 for a real image at the guidance point through the data communication unit 301, the image search unit 310 searches the image DB 302a for the real image and returns it. At this time, the image search unit 310 searches for a photographed image having information on the shooting environment and the guidance point corresponding to the guidance point, at least one of the weather, date / time, and season when the request is received.
- the processed image generation unit 311 selects the actual image when there is no actual image in which the shooting environment and the guidance point completely match but there is a partial image in the image DB 302 a.
- a processed processed photograph image is generated and returned to the image acquisition unit 202.
- the processed image generation unit 311 generates a pseudo real image of the guidance point requested from the image acquisition unit 202 by CG (Computer Graphics) when the real image does not partially match the shooting environment and the guidance point. Send back.
- the processed image generation unit 311 registers the generated processed photographed image and pseudo-realistic captured image in the image DB 302a, and temporarily uses them until the actual captured image corresponding to the condition is registered.
- FIG. 7A shows an actual image obtained by photographing the guide point from the guidance point
- FIG. 7B shows an example of the processed actual image
- FIG. 7C shows an example of the pseudo-real image.
- the processed image generation unit 311 performs the day guidance. Processing that lowers the brightness of the actual photographed image at the point is performed to generate a processed photographed image that was captured at night as shown in FIG.
- the photographed image posting unit 211 may further perform processing such as recognizing a nightly photographed image to brighten a neon sign of a facility building.
- a pseudo-real-time image representing a scene where the processed image generation unit 311 viewed the guide point from the guidance point as illustrated in FIG. Generate.
- the processed image generation unit 311 reproduces a scenery such as a road or a building near the guide point based on the guidance information included in the display request information.
- the processed image generation unit 311 changes the image of the real image at the time of fine weather to an image that is snowing.
- the imaging instruction unit 312 When the imaging instruction unit 312 receives a notification from the image search unit 310 that there is no actual image of the guidance point according to the vehicle situation from the image search unit 310, the imaging instruction unit 312 passes the guidance point to the portable terminal 200 through the data communication unit 301. Send an instruction to shoot at the guide point and post a live-action image.
- the photographed image posting unit 211 of the portable terminal 200 that has received the instruction from the photographing instruction unit 312 operates the camera 212 of the portable terminal 200 at the guidance point to photograph the guide point viewed from the guidance point, and captures the photographed image.
- the information is posted to the image server 300 together with information on the guide point.
- the image acquisition unit 313 acquires a real image of the guidance point captured by the captured image posting unit 211 through the data communication unit 301.
- the image update unit 314 registers the actual image, the shooting environment, and the guidance point information acquired by the image acquisition unit 313 in the image DB 302a. Note that if the processed live-action image or the pseudo-real-life image that matches the shooting environment and the guidance point with the actual image acquired by the image acquisition unit 313 has already been registered in the image DB 302a, the image update unit 314 replaces the acquired actual image.
- the shooting instruction unit 312, the image acquisition unit 313, and the image update unit 314 together with the processed image generation unit 311 it is possible to supplement a real image in a short time.
- FIG. 8 is a flowchart showing a navigation assistance video display process by the mobile terminal 200.
- the processes in steps ST11 to ST15 in FIG. 8 are the same as the processes in steps ST11 to ST15 in FIG.
- the viewpoint position estimation unit 210 estimates the driver's viewpoint position and line-of-sight direction at the guidance point based on the display request information received by the data communication unit 201, and notifies the display information generation unit 203a.
- the viewing angle adjustment unit 2031 a sets the viewing angle of the photographed image used for the navigation assistance video according to the road type of the guidance point.
- the display information generation unit 203a When the display information generation unit 203a generates the navigation support video in step ST14, the display information generation unit 203a displays a live-action image used for the navigation support video according to the viewpoint position and line-of-sight direction of the driver estimated by the viewpoint position estimation unit 210. In addition to setting the range, the viewing angle of the navigation assistance video is set to the standard value of the viewing angle set by the viewing angle adjustment unit 2031a.
- FIG. 9 is a flowchart showing a process of searching for a real image at a guidance point by the image server 300.
- the image acquisition unit 202 of the portable terminal 200 transmits image request information including information on the guidance point before the guide point to the image server 300 through the data communication unit 201.
- the image search unit 310 searches the image DB 302a for a photographed image corresponding to the guidance point information included in the image request information received through the data communication unit 301 (step ST21).
- step ST22 “YES” the image search unit 310 further determines whether or not the shooting environment information of the real-shot image corresponds to the current environment.
- the image search unit 310 returns the real-shot image to the mobile terminal 200 through the data communication unit 301 (step ST24). .
- the processed image generation unit 311 is notified from the image search unit 310, and the processed image generation unit 311 sets the photographed image to the current environment. It processes so that it respond
- step ST22 “NO” when the actual image of the guidance point does not exist in the image DB 302a (step ST22 “NO”), the processed image generation unit 311 is notified from the image search unit 310, and the processed image generation unit 311 viewed the guidance point from the guidance point.
- a pseudo real image (CG image) representing the scenery is generated and returned to the portable terminal 200 through the data communication unit 301 (step ST26).
- the processed image generation unit 311 registers the generated processed photograph image or pseudo-real photograph image in the image DB 302a (step ST27).
- the shooting instruction unit 312 transmits a shooting instruction of a photographed image obtained by viewing the guide point from the guidance point to the mobile terminal 200 through the data communication unit 301 (step ST28).
- FIG. 10 is a flowchart showing an update process of the image DB 302a of the image server 300.
- the photographed image posting unit 211 of the mobile terminal 200 determines whether the vehicle position has reached the guidance point based on the position information included in the display request information (step ST31), and has not reached the guidance point. If (step ST31 "NO"), it waits until it reaches.
- the captured image posting unit 211 operates the camera 212 to capture a real image of the guide point viewed from the guide point (step ST32).
- the photographed image posting unit 211 transmits the photographed actual image together with the information of the environment at the time of photographing and the guidance point to the image server 300 through the data communication unit 201 (step ST33).
- the image acquisition unit 313 of the image server 300 notifies the image update unit 314 of the actual image received through the data communication unit 301 (step ST34).
- the image update unit 314 replaces the processed live image or the pseudo real image registered in the image DB 302a by the processing of steps ST25 to ST27 shown in FIG. 9 with the real image image notified from the image acquisition unit 313, and The DB 302a is updated (step ST35).
- the mobile terminal 200 captures a live-action image
- the obstacle information is acquired by the obstacle information acquisition unit 1023, and the presence / absence of an obstacle in shooting is detected around the vehicle to determine whether shooting can be performed. May be.
- the value as the photographed image used for the navigation support video is lowered, and this is effective in preventing it.
- the mobile terminal 200 acquires speed information of the speed information acquisition unit 1022 when shooting the real image, and determines that the camera 212 does not vibrate if the speed is equal to or less than a predetermined speed.
- An intersection with poor visibility refers to an intersection on the road where the left and right sides are surrounded by obstacles (high fences, planted trees, etc.).
- the image search unit 310 of the image server 300 uses at least one of the weather, date / time, and season at the time of shooting, or information on the shooting guide point as a live-action image. From the image DB 302a accumulated together, a photographed image corresponding to at least one of the weather, date, and season when the image acquisition unit 202 requests a photographed image, or a season, or a guidance point is searched. I made it. For this reason, on the image server 300 side, since the live-action image to be distributed is changed according to the current weather, date and time, season, and guidance point, the mobile terminal 200 can use the live-action image with less discomfort for the driver. The driver can intuitively understand the navigation support video.
- the processed image generation unit 311 of the image server 300 has the same guidance point when the image DB 302a does not have a real image corresponding to the environment when the image acquisition unit 202 requests a real image.
- the real image is processed to generate a processed real image corresponding to the environment and the real image corresponding to the environment and the guidance point is not in the image DB 302a
- the pseudo real image corresponding to the environment and the guidance point by the CG An image is generated
- the image DB 302a stores the processed real image and the pseudo real image generated by the processed image generation unit 311. This makes it possible to distribute a live-action image that is less uncomfortable for the driver, but when there is no appropriate live-action image in the image DB 302a, the real-life image at the same guide point can be processed to make it unlikely to occur.
- the imaging instruction unit 312 of the image server 300 is portable when the image DB 302a does not have a live-action image corresponding to the environment or the guidance point when the image acquisition unit 202 requests the real-shot image.
- the terminal 200 is instructed to shoot at the guidance point before the guide point. For this reason, when there is no live-action image to be distributed, the real-life image can be replenished smoothly by instructing the mobile terminal 200 of the vehicle passing through the guidance point before the corresponding guide point to take a picture.
- the shooting time zone and season match the conditions of the image request information, but the shooting date is one year ago, the live-action image can be updated to the latest one. Even if the scenery changes during the year, it can be flexibly dealt with.
- the image acquisition unit 313 of the image server 300 performs the processing when the image DB 302a does not have an environment when the image acquisition unit 202 requests an actual image or an actual image corresponding to the guidance point.
- a live-action image corresponding to the guidance point is acquired from the mobile terminal 200.
- the real-image image can be supplemented using the mobile terminal 200 of the vehicle currently traveling on the road.
- the image acquisition unit 313 updates the real-action image to the latest one.
- the photographed image that has passed a certain period from the time of shooting may be discarded and replaced with a newly photographed photographed image. Since the surrounding scenery of the guide point does not change in a short period, the certain period is set to one month, for example.
- the image update unit 314 of the image server 300 when the image acquisition unit 313 acquires a live-action image from the mobile terminal 200, the image DB 302a corresponding to the environment or the guidance point of the real-shot image.
- the modified live-action image or pseudo real-life image is replaced with the real-life image.
- the mobile terminal 200 can use the photographed image that is less uncomfortable for the driver.
- the viewpoint position estimation unit 210 of the mobile terminal 200 is based on at least one of the vehicle type, the lane of the road on which the vehicle travels, and the altitude.
- the viewpoint information is estimated, and the display information generation unit 203a changes the range to be displayed as the navigation support video in the photographed image to the range where the guidance point is seen from the viewpoint position estimated by the viewpoint position estimation unit 210.
- the actual image of the guidance point to be displayed as the navigation assistance video varies depending on the lane or the traveling position. For example, when a live-action image of a guide point viewed from the left lane is displayed on a vehicle traveling on the right side in three lanes, the sense of discomfort increases. Therefore, by changing the viewpoint position of the navigation support video according to the vehicle type, lane, or altitude by the viewpoint position estimation unit 210, an image of the driver looking at the guidance point from the guidance point is used for the navigation support video. Make it less likely to cause discomfort.
- the captured image posting unit 211 of the mobile terminal 200 operates the camera 212 mounted on the mobile terminal 200 based on the imaging instruction from the image server 300 to capture the image at the guidance point.
- the captured real image is transmitted to the image server 300. For this reason, when there is no live-action image to be distributed by the image server 300, it is possible to smoothly replenish the real-action image at the corresponding guidance point, and to enhance the real-image image in the image DB 302a and to enhance the variation of the processed live-action image. Can be achieved.
- a live-action image is taken at the guidance point using the camera 212 of the mobile terminal 200.
- the navigation device 100 includes a camera, it can also be taken using the camera. is there. In that case, shooting request information is transmitted from the captured image posting unit 211 to the navigation device 100 via the data communication unit 201, and a real image captured by the navigation device 100 is received again via the data communication unit 201 and transmitted to the image server 300. Then, the image DB 302a is updated.
- the navigation device 100 may include a camera 198 and a captured image posting unit 199.
- the image server 300 transmits shooting request information to the navigation device 100 via the data communication unit 301.
- the photographed image posting unit 199 of the navigation device 100 operates the camera 198 according to the photographing request information received via the data communication unit 101 to photograph a photographed image, and transmits the photographed image to the image server 300 via the data communication unit 101. To do. For this reason, it is not always necessary to integrate the photographing / posting function for the photographed image into the mobile terminal 200.
- FIG. 12 is a block diagram showing a configuration of a navigation system according to Embodiment 3 of the present invention.
- parts that are the same as or equivalent to those in FIGS. 1 and 5 are given the same reference numerals, and descriptions thereof are omitted.
- the mobile terminal 200 newly includes a guidance point control unit 220 and a display unit operation control unit 221, and expands the functions of the display information generation unit 203b to provide a viewing angle adjustment unit 2031b and a landmark determination unit 2032b. , An emphasis display processing unit 2033b, and a line-of-sight adjustment unit 2034b.
- the guidance point control unit 220 determines the guidance point when it is estimated that the guidance point is difficult to see in a live-action image obtained by looking at the guidance point from the viewpoint position and line-of-sight direction of the driver at the guidance point estimated by the viewpoint position estimation unit 210. , Change the position so that you can see through the guide points.
- the guidance point control unit 220 determines whether the guidance point can be seen through the guidance point and the map information around the guidance point or the obstacle information included in the display request information received from the navigation device 100. .
- the obstacle information is information output by the obstacle information acquisition unit 1023 of the navigation device 100 and is transmitted from the navigation device 100 to the mobile terminal 200 as display request information.
- the guidance point control unit 220 determines the viewpoint of the navigation support video to a position where the visibility is good based on map information or the like.
- the position that is, the guidance point
- FIG. 13 shows an example of a live-action image of an intersection where the guide point has poor visibility.
- the bad spot 6 is enlarged and displayed in the live-action image viewed from the viewpoint position close to the guide point as shown in FIG. 13B, rather than the live-action image as seen from a guide point far from the guide point as shown in FIG.
- the navigation assistance video is highly convenient for the driver.
- the display range of the photographed image is changed so that the display information generation unit 203b has an optimum navigation support video.
- the guidance point control unit 220 performs the movement to the guidance point control unit 220 using an external device provided in the mobile terminal 200 (or the navigation device 100). It is also possible to input the position of.
- an external device a touch panel mounted on the mobile terminal 200 or the navigation apparatus 100, a remote control device provided on the handle (or installed externally), a voice recognition device, a gesture operation device, or the like can be used.
- the landmark determination unit 2032b of the display information generation unit 203b determines the location of the facility serving as the landmark from the photographed images taken from the guidance point before the guide point based on the map information included in the display request information.
- Examples of information that can serve as landmarks include convenience stores, gas stations, and public facilities such as police stations, post offices, and hospitals.
- the viewing angle adjustment unit 2031b adjusts the viewing angle of the photographed image so that the mark determined by the viewing angle adjustment unit 2031b is reflected in the photographed image acquired by the image acquisition unit 202 from the image server 300.
- the real image of the area is used for the navigation support video.
- FIG. 14 shows a situation near the guide point.
- the viewing angle adjustment unit 2031b provides navigation assistance based on the driver's viewpoint position 4 at the guidance point determined by the guidance point control unit 220 and the location of the landmark facility (for example, the post office 5) included in the display request information.
- a viewing angle ⁇ of a real image to be displayed as a video is calculated.
- the viewing angle ⁇ 1 for example, the standard value of the viewing angle described in the second embodiment
- the viewing angle ⁇ 1 to be displayed as the navigation assistance video is narrower than the viewing angle ⁇ among the captured images shown in FIG. 2031b widens the viewing angle from ⁇ 1 to ⁇ so that the post office 5 is reflected in the navigation support video.
- the highlighting display processing unit 2033b highlights the facility that is a landmark that appears in the live-action image.
- the rough position of the landmark facility in the live-action image can be estimated by the landmark determination unit 2032b. Therefore, the highlighting processing unit 2033b performs image analysis on the estimated position of the landmark facility, extracts the contour of the landmark facility, and performs highlighting such as surrounding with a red frame.
- the highlight display processing of the mark by the highlight display processing unit 2033b will be described. Since it is known in advance that the post office 5 serving as a landmark facility exists at the right end of the photographed image shown in FIG. 16, the highlighting processing unit 2033 b performs image analysis on the position, and the post office 5 The outline of the building is extracted and highlighted with a thick frame. Note that a display method other than enclosing with a red frame and a thick frame may be used as the highlight display. For example, a method of displaying a landmark facility brightly in the case of a live-action image taken at night can be mentioned.
- the line-of-sight adjustment unit 2034b determines whether or not it is difficult to see the guidance point at the guidance point set by the guidance point control unit 220 when the guidance point is viewed from the viewpoint position and line-of-sight direction of the driver estimated by the viewpoint position estimation unit 210. And the display range of the live-action image used for the navigation support video is changed to a range in which the guide point is seen in the line-of-sight direction that is easy to see. The determination as to whether or not the guidance point is easily visible is performed based on information representing the attitude (tilt) of the vehicle included in the display request information received from the navigation device 100 through the data communication unit 201.
- the posture of the host vehicle may be determined from road gradient information included in the map information, or may be determined from vehicle inclination information detected by the gyro sensor of the position information acquisition unit 1021. This information is collected in the display request information generation unit 105 in the navigation device 100, for example, and is transmitted from the navigation device 100 to the portable terminal 200 as display request information.
- the line-of-sight adjustment unit 2034b lowers the line-of-sight direction of the navigation assistance video while keeping the viewpoint position of the navigation assistance video, so that the display range of the photographed image is the range in which the feature is captured. Can be changed.
- the display unit operation control unit 221 displays the display unit of the mobile terminal 200 just before the vehicle passes the guidance point (for example, 500 m before the guidance point).
- the display 204 is switched from off to on, and the display unit 204 switches the display from on to off after a predetermined time after the display information generation unit 203b displays the navigation support video.
- FIG. 17 is a flowchart showing navigation assist video display processing by the mobile terminal 200.
- the processes in steps ST11 to ST16 in FIG. 17 are the same as the processes in steps ST11 to ST16 in FIG.
- the guidance point control unit 220 determines whether or not the guidance point can be seen from the viewpoint position and the line-of-sight direction of the driver at the guidance point. If the guidance point cannot be seen (step ST41 “NO”), the guidance point can be seen. The guidance point is changed to such a position (step ST42).
- the line-of-sight adjustment unit 2034b determines whether or not the guidance point can be seen in the driver's line-of-sight direction.
- step ST41 If the guidance point cannot be seen (“NO” in step ST41), the line-of-sight direction can be seen.
- the display range of the photographed image is changed by estimation (step ST42).
- step ST41 “YES” the process proceeds to step ST43 without changing the guidance point or the line-of-sight direction.
- the landmark determination unit 2032b determines a landmark facility near the guide point based on the display request information (step ST43).
- the highlighting display processing unit 2033b emphasizes the display portion of the landmark facility in the live-action image (step ST44).
- the viewing angle adjustment unit 2031b adjusts the viewing angle of the photographed image so that the landmark facility is included in the display range of the photographed image (step ST45). If the landmark facility information does not exist (step ST43 “NO”), the process proceeds to step ST14 without performing the highlighting process and adjusting the viewing angle.
- the display unit operation control unit 221 determines that the display timing of the navigation support video (for example, 500 m before the guide point) is based on the own vehicle position included in the display request information (step ST46 “YES”), the display unit The display 204 is turned on (step ST47), and the navigation support video generated by the display information generation unit 203b in the subsequent step ST15 (for example, guidance information and a live-action image of the guidance point 50m before the guide point) is displayed on the display unit 204. To display. If it is not the display timing (“NO” at step ST46), it waits until the display timing is reached. Note that the display unit operation control unit 221 turns off the power of the display of the display unit 204 when a predetermined time has elapsed after the display of the navigation support video on the display unit 204 is started.
- the display unit operation control unit 221 turns off the power of the display of the display unit 204 when a predetermined time has elapsed after the display of the navigation support video on the display unit 204 is started.
- the viewing angle adjustment unit 2031b of the mobile terminal 200 adjusts the viewing angle of the photographed image so that the landmark facility serving as the guide point landmark is displayed on the navigation support video. did.
- the driver can travel without losing the guidance point such as an intersection by using the landmark facility displayed in the navigation support video as a clue.
- the driver can focus on finding a landmark facility in front of her eyes, which is less labor-intensive than matching the navigation assistance video to the scenery in front of her. Therefore, the driver can drive without distracting attention.
- the highlight display processing unit 2033b of the mobile terminal 200 emphasizes the landmark facility that appears in the live-action image. Accordingly, the driver can pay attention to the landmark facility before reaching the guide point, and can minimize the movement of the line of sight.
- the line-of-sight adjustment unit 2034b of the mobile terminal 200 changes the range to be displayed as the navigation support video in the actual image according to the inclination of the vehicle. For this reason, for example, for a driver who is climbing uphill, a lot of the front landscape is empty, but this does not serve as a guide, so the driver is more gaze than the landscape that the driver actually sees. It is possible to use a live-action image in which the feature is photographed as navigation assistance video by moving downward.
- the guidance point control unit 220 of the mobile terminal 200 moves the guidance point when it is difficult to see the guidance point from the viewpoint position of the driver at the guidance point, and the display information generation unit 203b. Has changed the range to be displayed as the navigation assistance video in the photographed image to a range where the guidance point is viewed from the guidance point where the guidance point control unit 220 has moved. For this reason, it is possible to use a live-action image in which the guidance point is easy to see by moving the guidance point close to or away from the guidance point in the navigation support video.
- the guidance point control unit 220 of the mobile terminal 200 is a point input from an external device operated by the driver or a guidance transmitted from the navigation device 100 as a destination of the guidance point.
- the guide point estimated based on the information was used as a point where it was easy to see. Fine adjustment to the viewing angle desired by the driver by accepting the information of the point input by the driver and adjusting the display range when the navigation support video that is easy for the driver to see cannot be displayed. Can do.
- the direction of the driver's line of sight immediately before the guide point is in a certain direction unless there is a problem, so that the guidance point control unit 220 transmits the guidance transmitted from the navigation device 100. You may estimate the viewpoint position which is easy to see a guidance point according to information.
- the display unit operation control unit 221 of the mobile terminal 200 is configured to turn on the display unit 204 while the display unit 204 displays the navigation support video. For this reason, at an unnecessary timing, the display power supply of the display unit 204 can be turned off, and the battery consumption of the mobile terminal 200 can be saved.
- FIG. 18 is a block diagram showing a configuration of a navigation system according to Embodiment 4 of the present invention.
- the same or corresponding parts as those in FIGS. 1, 5, and 12 are denoted by the same reference numerals and description thereof is omitted.
- the navigation device 100 further includes a relay point determination unit 130.
- the relay point here is a point between the departure point and the destination point where the driver gets off and heads for the destination by another means. For example, when the parking lot is away from the destination store, the driver needs to get off the parking lot and head to the store by another means. In this case, the parking lot corresponds to the transit point. It is assumed that the location information of the relay point is included in advance in guidance information used by a navigation function (not shown) to guide a travel route from the departure point of the host vehicle to the destination point.
- the relay point determination unit 130 determines that the relay point has been reached based on the vehicle position acquired by the position information acquisition unit 1021 of the vehicle information acquisition unit 102.
- the display request information generation unit 105 is instructed from the relay point determination unit 130 to transmit guidance information from the vehicle position (that is, the relay point) to the destination.
- the display request information generation unit 105 instructs the guidance information acquisition unit 104 to acquire collective guidance information from the relay point to the destination, generates display request information from the guidance information,
- the data is transmitted to the mobile terminal 200 through the data communication unit 101.
- the mobile terminal 200 according to Embodiment 4 newly includes a guidance information storage unit 230 and a position information acquisition unit 231.
- the guidance information storage unit 230 is an internal memory, receives display request information transmitted from the navigation device 100 after arrival at the relay point through the data communication unit 201, and guides from the relay point to the destination in the display request information. Store information.
- the position information acquisition unit 231 acquires the position information of its own terminal from a sensor that measures three-dimensional position and posture information such as GPS (Global Positioning System) and a gyro sensor.
- the position information acquisition unit 231 may be an interface for acquiring information from a sensor mounted on the mobile terminal 200, or may include this sensor.
- the image acquisition unit 202 and the display information generation unit 203 are based on the guidance information stored in the guidance information storage unit 230 and the location information acquired by the location information acquisition unit 231 from the relay point to the destination. Generate navigation support video. Thereby, even after getting off, it becomes possible to continuously guide the travel route to the destination for the user who has the mobile terminal 200.
- the image server 300 further includes an image size changing unit 330.
- the image size changing unit 330 acquires the display size (and resolution, aspect ratio, etc.) of the display included in the display unit 204 of the mobile terminal 200 from the mobile terminal 200 side when the mobile terminal 200 and the image server 300 are connected. Thereafter, the image size changing unit 330 changes the image size of the photographed image searched by the image search unit 310 from the image DB 302 to the display size, and transmits it to the mobile terminal 200 through the data communication unit 301.
- FIG. 19 is a flowchart showing the guide information storage process when the navigation device 100 and the mobile terminal 200 arrive at the relay point.
- the relay point determination unit 130 determines whether or not it has arrived at a relay point near the destination from the information of the vehicle information acquisition unit 102 (step ST51). If it is determined that the relay point has arrived (step ST51 “YES”), the relay point determination unit 130 notifies the display request information generation unit 105 to transmit the guidance information from the vehicle position to the destination in a lump, and displays the information.
- the request information generation unit 105 transmits display request information including the guidance information to the mobile terminal 200 through the data communication unit 101 (step ST52).
- the display request information generation unit 105 Until the arrival at the relay point (step ST51 “NO”), as in the first to third embodiments, the display request information generation unit 105 generates display request information for guidance information on the nearest guide point on the moving route. And transmitted to the portable terminal 200.
- the guidance information storage unit 230 stores the guidance information among the display request information received through the data communication unit 201 (step ST53).
- the location information acquisition unit 231 acquires the location of the mobile terminal 200 until it reaches the destination, instead of the location information acquisition unit 1021 of the navigation device 100 (step ST54). Thereafter, the mobile terminal 200 operates in accordance with the display process of the navigation support video (for example, the flowchart shown in FIG. 4), and displays the navigation support video according to the position of the own terminal on the display unit 204 even after getting off.
- the guidance information storage unit 230 of the mobile terminal 200 receives the destination from the relay point when the host vehicle reaches the relay point set before the destination on the moving route.
- Display request information including guidance information regarding guide points between the ground and the storage is acquired and stored, and the image acquisition unit 202 and the display information generation unit 203 receive the guidance information storage unit 230 after the vehicle reaches the relay point.
- the display request information stored in is used. For this reason, the driver who arrived at the relay point can smoothly go to the destination by carrying the mobile terminal 200 and referring to the navigation support video after getting off the vehicle.
- the image size changing unit 330 of the image server 300 changes the photographed image to an image size corresponding to the display size of the display unit 204 of the mobile terminal 200.
- the image size changing unit 330 of the image server 300 changes the photographed image to an image size corresponding to the display size of the display unit 204 of the mobile terminal 200.
- the image size changing unit 330 is included in the image server 300, but the mobile terminal 200 may be included.
- the navigation device 100 is provided with the navigation function and the navigation support function is provided in the portable terminal 200.
- the present invention is not limited to this, and the portable terminal 200 includes the navigation function and the navigation function. Both navigation support functions may be provided.
- any combination of each embodiment, any component of each embodiment can be modified, or any component can be omitted in each embodiment. .
- the navigation system uses the photographed image taken from the guidance point in front of the guide point on the actually traveling route for the navigation support video, and thus performs the route guidance of the vehicle. Suitable for use in navigation systems.
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
携帯端末200は、ナビゲーション装置100から受信した表示要求情報に含まれる誘導情報に基づいて、誘導経路上に設定された案内点をその手前の誘導地点で撮影した実写画像を画像サーバ300から取得し、当該実写画像に誘導情報を重畳してナビゲーション支援映像を生成し、運転者の視野範囲内の前方に配置された表示部204に表示する。
Description
この発明は、移動体に対する経路誘導の際に支援映像を表示するナビゲーションシステム、画像サーバ、携帯端末、ナビゲーション支援方法、およびナビゲーション支援プログラムに関する。
従来のナビゲーションシステムでは、誘導経路上の案内点付近に自車が接近した際に、案内点周辺の風景を簡略化した画像を表示し、自車を誘導していた。しかしながら、簡略化した画像を用いているため、初めて走行する場所では運転者が画像と周囲の風景とを一致させることができず、誤った案内点において進路変更してしまう可能性があった。
これに対し、特許文献1,2では、車両または携帯端末のカメラによって撮影された車両周辺の撮影画像を画像サーバが収集し、撮影地点を走行するときに、携帯端末が画像サーバから撮影画像を取得してディスプレイ上に表示するナビゲーションシステムが提案されている。
さらに特許文献2では、車両が案内地点に近づくと、携帯端末のカメラによってリアルタイムに撮影している車両前方の映像をディスプレイ上に表示する構成も提案されている。
さらに特許文献2では、車両が案内地点に近づくと、携帯端末のカメラによってリアルタイムに撮影している車両前方の映像をディスプレイ上に表示する構成も提案されている。
従来のナビゲーションシステムは以上のように構成されているので、案内点で渋滞が発生している場合、案内点が見通しの悪い交差点の場合、案内点が坂道の途中にある場合等に、撮影した画像は案内点が見分け難いものになったり、実際の案内点の景色と異なったりして、運転者にとって直感的に分かりやすいものではないという課題があった。
そのため、運転者は、注意深く撮影画像を確認しながら走行しなければ、案内点を通り過ぎてしまったり、誤った地点で進路方向を変更してしまったりする恐れがあった。加えて、撮影画像を注視するあまり余所見運転につながる恐れもあった。
また同時に、運転者は、前方から視線を外してナビゲーション情報を確認する必要があるため、その間は周囲に対する注意力が散漫になってしまうという課題があった。
そのため、運転者は、注意深く撮影画像を確認しながら走行しなければ、案内点を通り過ぎてしまったり、誤った地点で進路方向を変更してしまったりする恐れがあった。加えて、撮影画像を注視するあまり余所見運転につながる恐れもあった。
また同時に、運転者は、前方から視線を外してナビゲーション情報を確認する必要があるため、その間は周囲に対する注意力が散漫になってしまうという課題があった。
この発明は、上記のような課題を解決するためになされたもので、運転者にとって直感的に分かりやすい案内点の手前の誘導地点の実写画像を表示することで、ナビゲーション支援を行うことを目的とする。
この発明のナビゲーションシステムは、移動体に搭載されて目的地までの移動経路を誘導するナビゲーション装置と、移動体外に備えられた画像サーバと、ナビゲーション装置および画像サーバそれぞれと通信可能な携帯端末とから構成され、移動体の位置情報を取得する位置情報取得部と、移動経路の誘導に使用する情報および移動経路上に設定された案内点に関する情報を含む誘導情報を記憶している誘導情報記憶部と、位置情報取得部が取得した位置情報に基づいて、誘導情報記憶部から移動体の最寄りの案内点に関する誘導情報を取得する誘導情報取得部と、誘導情報取得部が取得した案内点の誘導情報および案内点の手前の誘導地点で撮影した実写画像を表示するための表示要求情報を生成する表示要求情報生成部と、渋滞していないときの実写画像を蓄積している画像サーバから、表示要求情報で指定された誘導地点の実写画像を取得する画像取得部と、表示要求情報に含まれる誘導情報および画像取得部が取得した誘導地点の実写画像を重畳してナビゲーション支援映像を生成する表示情報生成部と、表示情報生成部が生成したナビゲーション支援映像を表示する、移動体の運転者の視野範囲内の前方に配置された表示部とを備えるものである。
この発明の画像サーバは、携帯端末との間でデータを送受信するデータ通信部と、渋滞していないときの実写画像を蓄積し、ナビゲーション支援映像に使用する実写画像をデータ通信部を介して携帯端末に送信する画像データベースとを有するものである。
この発明の携帯端末は、移動経路の誘導に使用する情報および移動経路上に設定された案内点に関する情報を含む誘導情報と、案内点の手前の誘導地点で撮像した実写画像とを表示するための表示要求情報をナビゲーション装置から受信して、当該表示要求情報で指定された誘導地点の渋滞していないときの実写画像を画像サーバから取得する画像取得部と、表示要求情報に含まれる誘導情報および画像取得部が取得した誘導地点の実写画像を重畳してナビゲーション支援映像を生成する表示情報生成部と、表示情報生成部が生成したナビゲーション支援映像を表示する、移動体の運転者の視野範囲内の前方に配置された表示部とを備えるものである。
この発明のナビゲーション支援方法は、移動体に搭載されて目的地までの移動経路を誘導するナビゲーション装置と、移動体外に備えられた画像サーバと、ナビゲーション装置および画像サーバそれぞれと通信可能であって、かつ移動体の運転者の視野範囲内の前方に表示部が配置された携帯端末とから構成されるナビゲーションシステムの方法であって、位置情報取得部が、移動体の位置情報を取得する位置情報取得ステップと、誘導情報取得部が、位置情報取得ステップで取得した位置情報に基づいて、移動経路の誘導に使用する情報および移動経路上に設定された案内点に関する情報を含む誘導情報を記憶している誘導情報記憶部から、移動体の最寄りの案内点に関する誘導情報を取得する誘導情報取得ステップと、表示要求情報生成部が、誘導情報取得ステップで取得した案内点の誘導情報および案内点の手前の誘導地点で撮影した実写画像を表示するための表示要求情報を生成する表示要求情報生成ステップと、画像取得部が、渋滞していないときの実写画像を蓄積している画像サーバから、表示要求情報で指定された誘導地点の実写画像を取得する画像取得ステップと、表示情報生成部が、表示要求情報に含まれる誘導情報および画像取得ステップで取得した誘導地点の実写画像を重畳してナビゲーション支援映像を生成する表示情報生成ステップと、表示部が、表示情報生成ステップで生成したナビゲーション支援映像を表示する表示ステップとを備えるものである。
この発明のナビゲーション支援プログラムは、移動体に搭載されて目的地までの移動経路を誘導するナビゲーション装置、および移動体外に備えられた画像サーバそれぞれと通信可能な携帯端末に実行させるものであって、画像取得部が、移動経路の誘導に使用する情報および移動経路上に設定された案内点に関する情報を含む誘導情報と、案内点の手前の誘導地点で撮像した実写画像とを表示するための表示要求情報をナビゲーション装置から受信して、当該表示要求情報で指定された誘導地点の渋滞していないときの実写画像を画像サーバから取得する画像取得手順と、表示情報生成部が、表示要求情報に含まれる誘導情報および画像取得手順で取得した誘導地点の実写画像を重畳してナビゲーション支援映像を生成する表示情報生成手順と、移動体の運転者の視野範囲内の前方に配置された表示部が、表示情報生成手順で生成したナビゲーション支援映像を表示する表示手順とを備えるものである。
この発明によれば、渋滞していないときの案内点の手前の誘導地点で撮影した実写画像に誘導情報を重畳表示したナビゲーション支援映像を、移動体の運転者の視野範囲内の前方に配置された表示部に表示するようにしたので、ユーザにとって直感的に分かりやすいナビゲーション支援映像を表示することができる。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1に、この発明に係るナビゲーションシステムの基本的な構成を示す。ナビゲーションシステムは、移動体に搭載されて移動経路を誘導するナビゲーション装置100と、移動体外に備えられた画像サーバ300と、ナビゲーション装置100および画像サーバ300それぞれと通信可能な携帯端末200とから構成される。
このナビゲーションシステムは、車両、鉄道、船舶または航空機等を含む移動体用である。以下では、移動体の一例として車両を想定して説明するが、移動体であれば何でもよく、車両に限らない。
実施の形態1.
図1に、この発明に係るナビゲーションシステムの基本的な構成を示す。ナビゲーションシステムは、移動体に搭載されて移動経路を誘導するナビゲーション装置100と、移動体外に備えられた画像サーバ300と、ナビゲーション装置100および画像サーバ300それぞれと通信可能な携帯端末200とから構成される。
このナビゲーションシステムは、車両、鉄道、船舶または航空機等を含む移動体用である。以下では、移動体の一例として車両を想定して説明するが、移動体であれば何でもよく、車両に限らない。
ナビゲーション装置100は、携帯端末200と通信する機能を有した電子機器であって、例えば車両に搭載される2DINタイプのナビゲーション装置、あるいは、PND(Portable Navigation Device)、タブレットPC(Personal Computer)などを想定する。
携帯端末200は、ナビゲーション装置100および画像サーバ300と通信する機能を有した電子機器、例えばスマートフォン、携帯電話、PHS(Personal Handy-phone System)、PDA(Personal Digital Assistant)、タブレットPC、ポータブルメディアプレーヤ、デジタルカメラ、デジタルビデオカメラなどを想定する。
画像サーバ300は、Web上にあるサーバシステムを想定する。
携帯端末200は、ナビゲーション装置100および画像サーバ300と通信する機能を有した電子機器、例えばスマートフォン、携帯電話、PHS(Personal Handy-phone System)、PDA(Personal Digital Assistant)、タブレットPC、ポータブルメディアプレーヤ、デジタルカメラ、デジタルビデオカメラなどを想定する。
画像サーバ300は、Web上にあるサーバシステムを想定する。
なお、上記の電子機器をナビゲーション装置100または携帯端末200として使用する場合に、当該電子機器にインストールされるアプリケーションプログラムとして、以下に説明するナビゲーション支援方法を実現してもよい。
次に、ナビゲーション装置100、携帯端末200、画像サーバ300それぞれの詳細を説明する。
ナビゲーション装置100は、データ通信部101、車両情報取得部102、誘導情報記憶部103、誘導情報取得部104、表示要求情報生成部105を備えている。
また、図1では図示を省略したが、ナビゲーション装置100は、ユーザが設定した出発地点から目的地点までの移動経路を探索し、画面表示および音声出力により誘導するナビゲーション機能を有する。
図2(a)に、ナビゲーション装置100のナビゲーション機能実行時の画面表示例を示す。ナビゲーション装置100のディスプレイ上には地図が表示され、自車位置1が重畳表示されている。また、自車位置1の移動経路上に最寄りの案内点2がある。
また、図1では図示を省略したが、ナビゲーション装置100は、ユーザが設定した出発地点から目的地点までの移動経路を探索し、画面表示および音声出力により誘導するナビゲーション機能を有する。
図2(a)に、ナビゲーション装置100のナビゲーション機能実行時の画面表示例を示す。ナビゲーション装置100のディスプレイ上には地図が表示され、自車位置1が重畳表示されている。また、自車位置1の移動経路上に最寄りの案内点2がある。
データ通信部101は、携帯端末200のデータ通信部201との間でUSB(Universal Serial Bus)、無線LAN(Local Area Network)、Bluetooth(登録商標、以下記載を省略する)などを介してデータ通信を行い、表示要求情報生成部105の生成した表示要求情報を送信する。
車両情報取得部102は、自車に搭載されたセンサ群から情報を取得するインタフェースであって、少なくとも自車の位置情報を取得する位置情報取得部1021を有する。位置情報取得部1021は、GPS(Global Positioning System)、ジャイロセンサといった自車の3次元位置および姿勢情報を測定する車載センサ群から、自車の位置情報を取得する。
なお、位置情報取得部1021は、車載センサ群から情報を取得するインタフェースであってもよいし、車載センサ群を備えていてもよい。
なお、位置情報取得部1021は、車載センサ群から情報を取得するインタフェースであってもよいし、車載センサ群を備えていてもよい。
誘導情報記憶部103は、揮発性メモリを有し、不図示のナビゲーション機能が、自車を経路誘導するために使用する誘導情報を管理している。誘導情報は、交差点などの案内点の名称、案内点の位置(緯度経度等)、案内点の周辺の地図情報といった案内点情報、および、案内点に対する進路方向といったナビゲーション情報を含んでいる。
誘導情報取得部104は、位置情報取得部1021が取得した自車位置に基づいて、移動経路上の最寄りの案内点に関する誘導情報を誘導情報記憶部103から取得する。
表示要求情報生成部105は、位置情報取得部1021が取得した自車位置と、誘導情報取得部104が取得した誘導情報を組み合わせた表示要求情報を生成する。表示要求情報は、携帯端末200の表示部204に、最寄りの案内点へ誘導するためのナビゲーション支援映像を表示させるためのものであり、具体的には、自車が案内点の所定距離(例えば、500m)だけ手前に来たときに、案内点の所定距離(例えば、50m)だけ手前の誘導地点で撮像した実写画像を表示させるためのものである。
表示要求情報生成部105が自車位置から案内点までの距離を得る方法は、誘導情報取得部104から誘導情報(案内点の位置(緯度経度等)等)を取得し、誘導情報と位置情報取得部1021から取得した位置情報により自車位置から案内点までの距離を演算する。あるいは、誘導情報取得部104が、誘導情報(案内点の位置(緯度経度等)等)と自車の位置情報を取得して自車位置から案内点までの距離を演算し、演算した距離を表示要求情報生成部105に出力してもよい。
表示要求情報生成部105が自車位置から案内点までの距離を得る方法は、誘導情報取得部104から誘導情報(案内点の位置(緯度経度等)等)を取得し、誘導情報と位置情報取得部1021から取得した位置情報により自車位置から案内点までの距離を演算する。あるいは、誘導情報取得部104が、誘導情報(案内点の位置(緯度経度等)等)と自車の位置情報を取得して自車位置から案内点までの距離を演算し、演算した距離を表示要求情報生成部105に出力してもよい。
携帯端末200は、例えば運転席側のダッシュボードの上などのように、運転者の視野範囲内の前方に配置されたものであって、データ通信部201、画像取得部202、表示情報生成部203、表示部204を備えている。
データ通信部201は、ナビゲーション装置100のデータ通信部101との間でUSB、無線LAN、Bluetoothなどを介してデータ通信を行い、ナビゲーション装置100の表示要求情報生成部105が生成した表示要求情報を受信する。
また、データ通信部201は、モバイル回線を通じて、画像サーバ300のデータ通信部301との間でHTTP(HyperText Transfer Protcol)通信を行い、画像DB(データベース)302が蓄積している実写画像を受信する。
なお、図1では、携帯端末200とナビゲーション装置100の通信、および携帯端末200と画像サーバ300の通信を1つのデータ通信部201で行う構成にしたが、これに限定されるものではなく、個別のデータ通信部が行う構成にしてもよい。
また、データ通信部201は、モバイル回線を通じて、画像サーバ300のデータ通信部301との間でHTTP(HyperText Transfer Protcol)通信を行い、画像DB(データベース)302が蓄積している実写画像を受信する。
なお、図1では、携帯端末200とナビゲーション装置100の通信、および携帯端末200と画像サーバ300の通信を1つのデータ通信部201で行う構成にしたが、これに限定されるものではなく、個別のデータ通信部が行う構成にしてもよい。
画像取得部202は、データ通信部201を通じてナビゲーション装置100から表示要求情報を受け取ると、この表示要求情報が指定する実写画像を、データ通信部201を通じて画像サーバ300から取得する。
また、この画像取得部202は、画像サーバ300から取得した画像の縮尺を、携帯端末200の画像サイズに合せて変更する。
また、この画像取得部202は、画像サーバ300から取得した画像の縮尺を、携帯端末200の画像サイズに合せて変更する。
表示情報生成部203は、データ通信部201を通じてナビゲーション装置100から表示要求情報を受け取ると、この表示要求情報に含まれる最寄りの案内点の誘導情報(案内点情報およびナビゲーション情報)と、画像取得部202が取得した当該案内点へ誘導するための実写画像とを用いて、ナビゲーション支援映像を生成する。
表示部204は、ディスプレイを有し、表示情報生成部203が生成したナビゲーション支援映像を表示する。
図2(b)に、携帯端末200の表示部204の画面表示例を示す。この画面表示例は、ナビゲーション支援映像の例であって、例えば案内点の500m手前から表示されるものである。表示部204のディスプレイ上には、自車最寄りの案内点(例えば、図2(a)の案内点2)へ自車を誘導するための実写画像2aが表示され、当該案内点の案内点情報2bとナビゲーション情報2cが重畳表示されている。ここで、案内点の手前の誘導地点で撮影した実写画像とは、例えば、案内点の50m手前の誘導地点から当該案内点を撮影した画像である。即ち、この実施の形態1では、案内点の手前50mの誘導地点から案内点を撮影した実写画像を、案内点の手前500mから表示する。
図2(b)のナビゲーション支援映像例では、案内点情報2bとして、自車位置1から案内点2までの距離(400m)および名称(知世谷区一丁目)が表示され、ナビゲーション情報2cとして、進路方向を示す矢印が表示されている。
図2(b)に、携帯端末200の表示部204の画面表示例を示す。この画面表示例は、ナビゲーション支援映像の例であって、例えば案内点の500m手前から表示されるものである。表示部204のディスプレイ上には、自車最寄りの案内点(例えば、図2(a)の案内点2)へ自車を誘導するための実写画像2aが表示され、当該案内点の案内点情報2bとナビゲーション情報2cが重畳表示されている。ここで、案内点の手前の誘導地点で撮影した実写画像とは、例えば、案内点の50m手前の誘導地点から当該案内点を撮影した画像である。即ち、この実施の形態1では、案内点の手前50mの誘導地点から案内点を撮影した実写画像を、案内点の手前500mから表示する。
図2(b)のナビゲーション支援映像例では、案内点情報2bとして、自車位置1から案内点2までの距離(400m)および名称(知世谷区一丁目)が表示され、ナビゲーション情報2cとして、進路方向を示す矢印が表示されている。
画像サーバ300は、データ通信部301、画像DB302を備えている。
データ通信部301は、携帯端末200のデータ通信部201との間でHTTP通信を行う。画像DB302は、記憶装置を有し、案内点を各進入方向の誘導地点から撮影した実写画像を記憶している。この画像DB302は、データ通信部301を通じて携帯端末200から指示された自車最寄りの誘導地点の実写画像を、データ通信部301を通じて送信する。指示された実写画像が画像DB302にない場合に、黒画像を送信してもよい。
なお、ユーザが案内点の様子を把握しやすいよう、画像DB302に記憶しておく誘導地点の実写画像としては、渋滞していないときに撮影された、誘導地点から案内点を見通せる理想的な実写画像が好ましい。
ここでいう渋滞していないときとは、例えば道路上に存在する車両の画像の割合が予め定めた所定の割合以下の場合をいう。ここで、予め定めた所定の割合以下とは、例えば、道路画像の占める面積に対する車両画像の面積の割合が30%以下の場合をいう。
データ通信部301は、携帯端末200のデータ通信部201との間でHTTP通信を行う。画像DB302は、記憶装置を有し、案内点を各進入方向の誘導地点から撮影した実写画像を記憶している。この画像DB302は、データ通信部301を通じて携帯端末200から指示された自車最寄りの誘導地点の実写画像を、データ通信部301を通じて送信する。指示された実写画像が画像DB302にない場合に、黒画像を送信してもよい。
なお、ユーザが案内点の様子を把握しやすいよう、画像DB302に記憶しておく誘導地点の実写画像としては、渋滞していないときに撮影された、誘導地点から案内点を見通せる理想的な実写画像が好ましい。
ここでいう渋滞していないときとは、例えば道路上に存在する車両の画像の割合が予め定めた所定の割合以下の場合をいう。ここで、予め定めた所定の割合以下とは、例えば、道路画像の占める面積に対する車両画像の面積の割合が30%以下の場合をいう。
次に、実施の形態1に係るナビゲーションシステムの動作を説明する。
図3は、ナビゲーション装置100によるナビゲーション支援映像の表示要求情報の送信処理を示すフローチャートである。先ず、誘導情報取得部104および表示要求情報生成部105が、車両情報取得部102から車両情報の一種として位置情報を取得する(ステップST1)。続いて誘導情報取得部104が、位置情報を基に、誘導情報記憶部103から最寄りの案内点の誘導情報を取得し、表示要求情報生成部105に通知する(ステップST2)。表示要求情報生成部105は、ナビゲーション支援映像の表示要求情報を、ステップST1,ST2で取得した位置情報と誘導情報に基づいて生成し、データ通信部101に通知する(ステップST3)。最後に、データ通信部101が表示要求情報を携帯端末200へ送信する(ステップST4)。
図3は、ナビゲーション装置100によるナビゲーション支援映像の表示要求情報の送信処理を示すフローチャートである。先ず、誘導情報取得部104および表示要求情報生成部105が、車両情報取得部102から車両情報の一種として位置情報を取得する(ステップST1)。続いて誘導情報取得部104が、位置情報を基に、誘導情報記憶部103から最寄りの案内点の誘導情報を取得し、表示要求情報生成部105に通知する(ステップST2)。表示要求情報生成部105は、ナビゲーション支援映像の表示要求情報を、ステップST1,ST2で取得した位置情報と誘導情報に基づいて生成し、データ通信部101に通知する(ステップST3)。最後に、データ通信部101が表示要求情報を携帯端末200へ送信する(ステップST4)。
図4は、携帯端末200によるナビゲーション支援映像の表示処理を示すフローチャートである。ここでは、ナビゲーション装置100から表示要求情報がすでに送信されているものとして説明する。
先ず、表示情報生成部203は、案内点の500m手前で、データ通信部201が受信した表示要求情報を解析し、更新処理の判断を行う(ステップST11)。例えば、自車が最寄りの案内点を通過し、次の案内点の500m手前のナビゲーション支援映像表示の開始地点に来た場合、今回の表示要求情報が指定する案内点が前回の表示要求情報の案内点から変更になるので、ナビゲーション支援映像全体の更新が必要となる。その場合、表示情報生成部203は、更新が必要と判断し(ステップST11“YES”)、新たな案内点を50m手前の誘導地点から撮影した実写画像を取得するよう画像取得部202に指示し、画像取得部202が、該当する実写画像を画像DB302から取得する(ステップST12)。取得した誘導地点の実写画像は表示情報生成部203で一時保存する(ステップST13)。
先ず、表示情報生成部203は、案内点の500m手前で、データ通信部201が受信した表示要求情報を解析し、更新処理の判断を行う(ステップST11)。例えば、自車が最寄りの案内点を通過し、次の案内点の500m手前のナビゲーション支援映像表示の開始地点に来た場合、今回の表示要求情報が指定する案内点が前回の表示要求情報の案内点から変更になるので、ナビゲーション支援映像全体の更新が必要となる。その場合、表示情報生成部203は、更新が必要と判断し(ステップST11“YES”)、新たな案内点を50m手前の誘導地点から撮影した実写画像を取得するよう画像取得部202に指示し、画像取得部202が、該当する実写画像を画像DB302から取得する(ステップST12)。取得した誘導地点の実写画像は表示情報生成部203で一時保存する(ステップST13)。
一方、自車が案内点に近づいた場合、誘導する距離(例えば、図2(b)に示した案内点情報2bの「400m」という距離表示)が変更になるので、ナビゲーション支援映像の誘導情報の更新が必要となる。案内点の50m手前の誘導地点で撮影した実写画像はそのまま使用可能である。その場合、表示情報生成部203は、ナビゲーション支援映像全体の更新は不要と判断し(ステップST11“NO”)、次のステップST14へ進む。この場合は、ステップST14において、前回のステップST13で一時保存してある、案内点の50m手前の誘導地点で撮影した実写画像を使用することになる。
続いて表示情報生成部203は、ステップST13で一時保存した、案内点の50m手前の誘導地点で撮影した実写画像と、ナビゲーション装置100から受信済みの表示要求情報に含まれる誘導情報を使用して、ナビゲーション支援映像を生成する(ステップST14)。最後に、表示部204が、表示情報生成部203が生成したナビゲーション支援映像を表示する(ステップST15)。
以上より、実施の形態1によれば、ナビゲーション装置100が、自車の位置情報を取得する車両情報取得部102と、移動経路の誘導に使用するナビゲーション情報および移動経路上に設定された案内点に関する案内点情報を含む誘導情報を記憶している誘導情報記憶部103と、車両情報取得部102が取得した位置情報に基づいて、誘導情報記憶部103から自車最寄りの案内点に関する誘導情報を取得する誘導情報取得部104と、誘導情報取得部104が取得した案内点の誘導情報および当該案内点の手前の誘導地点のナビゲーション支援映像を表示するための表示要求情報を生成する表示要求情報生成部105とを備え、画像サーバ300が、渋滞していないときに誘導地点から案内点を撮影した実写画像を蓄積している画像DB302を備え、携帯端末200が、表示要求情報で指定された案内点の手前の誘導地点の実写画像を画像サーバ300から取得する画像取得部202と、表示要求情報に含まれる誘導情報および画像取得部202が取得した誘導地点の実写画像を重畳してナビゲーション支援映像を生成する表示情報生成部203と、表示情報生成部203が生成したナビゲーション支援映像を表示する表示部204とを備える構成にした。このため、実際の案内点が渋滞していても、ナビゲーション支援映像としては渋滞していない理想的な実写画像が表示されるので、運転者は曲がるべき場所などを把握しやすくなる。従って運転者にとって直感的に分かりやすいナビゲーション支援映像を表示できる。
また、実写画像を表示する表示部204(ここでは携帯端末200が有する)は、運転者の視野範囲内の前方に配置されているので、運転者は前方から視線を外すことなくナビゲーション支援映像を確認できる。
また、実写画像を表示する表示部204(ここでは携帯端末200が有する)は、運転者の視野範囲内の前方に配置されているので、運転者は前方から視線を外すことなくナビゲーション支援映像を確認できる。
また、運転者は、実際に走行する経路の誘導情報を、案内点手前の誘導地点から案内点を見た風景の実写画像と合わせて閲覧することが可能なため、初めて走行するルートにおいても、安心して走行できる。
また、全国の案内点の手前の誘導地点から撮影した実写画像を、ナビゲーション装置100または携帯端末200に保持させる必要がなく、ナビゲーション装置100および携帯端末200が内部に保持すべきデータ量は少なく済む。
また、リアルタイムで撮影している画像を使用する従来のナビゲーションシステムでは案内点直前にならないと支援映像を表示できないが、実施の形態1によれば画像サーバ300に蓄積された実写画像を、ナビゲーション支援映像として案内点の500m手前から表示可能なため、利便性が高い。
また、全国の案内点の手前の誘導地点から撮影した実写画像を、ナビゲーション装置100または携帯端末200に保持させる必要がなく、ナビゲーション装置100および携帯端末200が内部に保持すべきデータ量は少なく済む。
また、リアルタイムで撮影している画像を使用する従来のナビゲーションシステムでは案内点直前にならないと支援映像を表示できないが、実施の形態1によれば画像サーバ300に蓄積された実写画像を、ナビゲーション支援映像として案内点の500m手前から表示可能なため、利便性が高い。
また、ナビゲーション装置100のディスプレイと、携帯端末200のディスプレイ(表示部204)とで機能分担したので、既存のナビゲーション装置100のナビゲーション機能を阻害することがない。また、ナビゲーション装置100のディスプレイ全面に地図を表示するなど有効利用が可能となる。さらに、ナビゲーション装置100が、画像サーバ300との通信機能およびナビゲーション支援映像の表示機能を持つ必要が無いので、その分装置が安価になる。
また、誘導地点から案内点を撮影した実写画像を画像サーバ300で管理することにより、ナビゲーション装置100または携帯端末200を買い替えた場合においても、上記実施の形態1の機能が備わっていれば、画像サーバ300から誘導地点の実写画像を取得することが可能となる。
なお、実施の形態1において、ナビゲーション支援映像の表示を開始する地点を、案内点の500m手前として説明した。しかしナビゲーション支援映像を表示開始する地点は、見通しの良い交差点かどうか、あるいは走行している道路の種別などによりその距離を変更してもよい。例えば高速道路では案内点の2km手前で表示を開始してもよい。
同様に、誘導地点を、案内点の50m手前として説明したが、これも見通しの良い交差点かどうか、あるいは走行している道路の種別などによりその距離を変更してもよい。例えば見通しの悪い交差点の場合は案内点の30m手前を誘導地点としてもよい。また高速道路の場合は案内点の100m手前を誘導地点としてもよい。
即ち、高速道路を走行中には案内点の2km手前からナビゲーション支援映像を表示開始すると共に、そのとき表示する実写画像は案内点の100m手前の誘導地点から見た画像とすることもできる。
なお、実施の形態1において、ナビゲーション支援映像の表示を開始する地点を、案内点の500m手前として説明した。しかしナビゲーション支援映像を表示開始する地点は、見通しの良い交差点かどうか、あるいは走行している道路の種別などによりその距離を変更してもよい。例えば高速道路では案内点の2km手前で表示を開始してもよい。
同様に、誘導地点を、案内点の50m手前として説明したが、これも見通しの良い交差点かどうか、あるいは走行している道路の種別などによりその距離を変更してもよい。例えば見通しの悪い交差点の場合は案内点の30m手前を誘導地点としてもよい。また高速道路の場合は案内点の100m手前を誘導地点としてもよい。
即ち、高速道路を走行中には案内点の2km手前からナビゲーション支援映像を表示開始すると共に、そのとき表示する実写画像は案内点の100m手前の誘導地点から見た画像とすることもできる。
実施の形態2.
図5は、この発明の実施の形態2に係るナビゲーションシステムの構成を示すブロック図である。なお、図5において図1と同一または相当の部分については同一の符号を付し説明を省略する。
図5は、この発明の実施の形態2に係るナビゲーションシステムの構成を示すブロック図である。なお、図5において図1と同一または相当の部分については同一の符号を付し説明を省略する。
実施の形態2のナビゲーション装置100は、新たに速度情報取得部1022および障害物情報取得部1023を備える。
速度情報取得部1022は、車速センサ、加速度センサといった自車の速度を測定する車載センサ群から速度情報を取得する。障害物情報取得部1023は、超音波センサ、ミリ波レーダ、車載カメラといった自車周辺の障害物を検知する車載センサ群から、障害物の有無を示す障害物情報を取得する。
なお、速度情報取得部1022および障害物情報取得部1023は、車載センサ群から情報を取得するインタフェースであってもよいし、車載センサ群を備えていてもよい。
速度情報取得部1022は、車速センサ、加速度センサといった自車の速度を測定する車載センサ群から速度情報を取得する。障害物情報取得部1023は、超音波センサ、ミリ波レーダ、車載カメラといった自車周辺の障害物を検知する車載センサ群から、障害物の有無を示す障害物情報を取得する。
なお、速度情報取得部1022および障害物情報取得部1023は、車載センサ群から情報を取得するインタフェースであってもよいし、車載センサ群を備えていてもよい。
実施の形態2の携帯端末200は、新たに視点位置推定部210、撮影画像投稿部211、およびカメラ212を備える。また、携帯端末200は、表示情報生成部203aの機能を拡張して、視野角調整部2031aを備える。
視点位置推定部210は、ナビゲーション装置100から受信した表示要求情報に含まれる位置情報と誘導情報に基づいて、案内点の手前の誘導地点における車線、高度、車両の車種のうちの少なくとも1つの情報を使用して、誘導地点における運転者の視点位置(3次元位置)を推定する。また、視点位置推定部210は、運転者の視線方向として、推定した視点位置から車両前方に水平にのびる方向を設定する。視点位置推定部210は、推定した視点位置と視線方向を、表示情報生成部203aに出力する。
なお、運転者の視点の3次元位置は、経度緯度および高度の情報を有する3次元地図(例えば、ナビゲーション装置100が有する地図情報)から取得する。
高度は、道路の高さである。高速道路と一般道路などの上下差がある道路の場合、両者を判別できないとそれぞれの道路から見える風景が変わるため、運転者が見たままの実写画像を画像サーバ300から取得したり画像サーバ300に登録したりできない。これを防ぐために、視点位置推定部210が、誘導地点の道路の高度に基づいて、運転者の高さ方向の視点位置を推定する。
車種は、ユーザによる入力等で事前に入手しておく。普通車とトラックとでは路面から運転者の座席までの高さが異なるので、運転者から見た前方風景も変わる。そこで、車種の情報を、路面から運転者の座席までの高さを割り出すために使用して、運転者の高さ方向の視点位置をより正確に推定する。また、左ハンドルと右ハンドルの違いによる視点位置の違いを考慮してもよい。例えば左ハンドルの場合には1車線を2つに分割したうちの左半分に視点位置を設定する。
これらの情報は、例えばナビゲーション装置100において表示要求情報生成部105に集められ、表示要求情報としてナビゲーション装置100から携帯端末200へ送信される。
高度は、道路の高さである。高速道路と一般道路などの上下差がある道路の場合、両者を判別できないとそれぞれの道路から見える風景が変わるため、運転者が見たままの実写画像を画像サーバ300から取得したり画像サーバ300に登録したりできない。これを防ぐために、視点位置推定部210が、誘導地点の道路の高度に基づいて、運転者の高さ方向の視点位置を推定する。
車種は、ユーザによる入力等で事前に入手しておく。普通車とトラックとでは路面から運転者の座席までの高さが異なるので、運転者から見た前方風景も変わる。そこで、車種の情報を、路面から運転者の座席までの高さを割り出すために使用して、運転者の高さ方向の視点位置をより正確に推定する。また、左ハンドルと右ハンドルの違いによる視点位置の違いを考慮してもよい。例えば左ハンドルの場合には1車線を2つに分割したうちの左半分に視点位置を設定する。
これらの情報は、例えばナビゲーション装置100において表示要求情報生成部105に集められ、表示要求情報としてナビゲーション装置100から携帯端末200へ送信される。
表示情報生成部203aは、視点位置推定部210が推定した誘導地点における運転者の視点位置と視線方向に合わせて、誘導地点から案内点を撮影した実写画像のうちのナビゲーション支援映像として表示する表示範囲を変更する。つまり、誘導地点における運転者の視点位置および視線方向に合わせて、ナビゲーション支援映像の視点位置および視線方向を変更する。
なお、表示情報生成部203aにおいて表示範囲の変更が可能なように、画像サーバ300の画像DB302aには案内点をその手前の誘導地点から撮影したパノラマ画像が記憶されていることとする。
なお、表示情報生成部203aにおいて表示範囲の変更が可能なように、画像サーバ300の画像DB302aには案内点をその手前の誘導地点から撮影したパノラマ画像が記憶されていることとする。
ここで、図6を参照して、表示情報生成部203aによる視点位置の変更処理を説明する。
視点位置推定部210において自車が右車線を走行中であると判断した場合、表示情報生成部203aは、案内点を撮像したパノラマ実写画像3のうち、右側の表示範囲3aの領域をナビゲーション支援映像に使用する実写画像に設定する。
また、例えば車種がトラックの場合には、普通車に比べて、誘導地点における運転者の高さ方向の視点位置が高くなる。そのため、表示情報生成部203aは、トラックの表示範囲3bを、普通車の表示範囲3aよりも上にずらす。
このように、実施の形態2では、誘導地点における運転者の視点位置から、当該運転者の視線方向に沿って案内点を見たままの画像を、ナビゲーション支援映像に使用する。
視点位置推定部210において自車が右車線を走行中であると判断した場合、表示情報生成部203aは、案内点を撮像したパノラマ実写画像3のうち、右側の表示範囲3aの領域をナビゲーション支援映像に使用する実写画像に設定する。
また、例えば車種がトラックの場合には、普通車に比べて、誘導地点における運転者の高さ方向の視点位置が高くなる。そのため、表示情報生成部203aは、トラックの表示範囲3bを、普通車の表示範囲3aよりも上にずらす。
このように、実施の形態2では、誘導地点における運転者の視点位置から、当該運転者の視線方向に沿って案内点を見たままの画像を、ナビゲーション支援映像に使用する。
視野角調整部2031aは、ナビゲーション支援映像として表示する実写画像の視野角を調整する。実施の形態2では、視野角調整部2031aが、ナビゲーション支援映像の視野角に標準値を設定する。視野角を広げすぎても、狭すぎても、誘導地点から案内点を見た景色が見づらくなるため、視野角の標準値は、運転者の実際の視野角に近い値が望ましい。そのため、視野角調整部2031aは、誘導地点手前での走行速度に準じた運転者の動体視野角(+余裕)を考慮して、視野角の標準値を設定する。この誘導地点付近では、運転者が一定速度以下で曲がろうとするため、走行速度のばらつきは少ないと考えられる。そのため、例えば一般道路では、視点位置を中心にして左右(または上下)50度ずつ、合計100度を視野角の標準値にする。高速道路の場合は、左右(または上下)30度ずつ、合計60度を視野角の標準値にする。
撮影画像投稿部211は、データ通信部201を通じて画像サーバ300から案内点の撮影要求が来た場合に、携帯端末200に搭載されたカメラ212を操作して誘導地点から案内点を撮影し、撮影画像をデータ通信部201を通じて画像サーバ300へ投稿する。
なお、撮影画像投稿部211の操作により自動的に誘導地点で撮影可能とするために、カメラ212が車両前方を向くように、予め携帯端末200を設置しておくことが好ましい。また、パノラマ画像を撮影可能なカメラ212が望ましい。
なお、撮影画像投稿部211の操作により自動的に誘導地点で撮影可能とするために、カメラ212が車両前方を向くように、予め携帯端末200を設置しておくことが好ましい。また、パノラマ画像を撮影可能なカメラ212が望ましい。
実施の形態2の画像サーバ300は、新たに画像検索部310、加工画像生成部311、撮影指示部312、画像獲得部313および画像更新部314を備える。
また、画像DB302aは、誘導地点の実写画像に対して、この実写画像が撮影されたときの天気、日時、季節のうちの少なくとも1つの撮影環境の情報、およびこの実写画像が撮影された誘導地点の(3次元位置、走行車線)の情報を対応付けて記憶している。
また、画像DB302aは、誘導地点の実写画像に対して、この実写画像が撮影されたときの天気、日時、季節のうちの少なくとも1つの撮影環境の情報、およびこの実写画像が撮影された誘導地点の(3次元位置、走行車線)の情報を対応付けて記憶している。
画像検索部310は、携帯端末200の画像取得部202からデータ通信部301を通じて誘導地点の実写画像を要求されると、その実写画像を画像DB302aから検索して返信する。このとき、画像検索部310は、要求を受け付けたときの天気、日時、季節のうちの少なくとも1つの環境、および誘導地点に対応する撮影環境および誘導地点の情報を持った実写画像を検索する。
加工画像生成部311は、画像検索部310による実写画像検索の結果、撮影環境および誘導地点が完全一致する実写画像はないが部分一致する実写画像が画像DB302aにあった場合に、その実写画像を加工した加工実写画像を生成し、画像取得部202へ返信する。また、加工画像生成部311は、撮影環境および誘導地点に部分一致する実写画像すらない場合、CG(Computer Graphics)により、画像取得部202から要求のあった誘導地点の疑似実写画像を生成して返信する。
また、加工画像生成部311は、生成した加工実写画像および疑似実写画像を画像DB302aに登録し、条件に該当する実写画像が登録されるまで一時的に利用する。
また、加工画像生成部311は、生成した加工実写画像および疑似実写画像を画像DB302aに登録し、条件に該当する実写画像が登録されるまで一時的に利用する。
ここで、図7(a)に誘導地点から案内点を撮影した実写画像、図7(b)にその加工実写画像、図7(c)にその疑似実写画像の一例を示す。携帯端末200から夜の誘導地点の実写画像を要求された場合、画像DB302aに昼の誘導地点の実写画像(図7(a))しか記憶されていなければ、加工画像生成部311が昼の誘導地点の実写画像の明度を下げる加工を施して、図7(b)のような夜に撮影したような加工実写画像を生成する。
撮影画像投稿部211は、さらに、夜の実写画像を画像認識して施設建物のネオンサインを明るくする等の加工を施してもよい。
撮影画像投稿部211は、さらに、夜の実写画像を画像認識して施設建物のネオンサインを明るくする等の加工を施してもよい。
また、画像DB302aに該当する誘導地点の実写画像が記憶されていなければ、加工画像生成部311が図7(c)のような誘導地点から案内点を見た景色を表現した疑似実写画像をCG生成する。加工画像生成部311は、表示要求情報に含まれる誘導情報に基づいて案内点付近の道路、建物などの景色を再現する。
また例えば、加工画像生成部311は、画像DB302aに晴天時の実写画像はあるが、降雪時の実写画像がない場合に、晴天時の実写画像を雪が降っているような画像に変化させる。
撮影指示部312は、車両状況に応じた誘導地点の実写画像が画像DB302aにない旨の通知を画像検索部310から受け付けると、データ通信部301を通じて携帯端末200へ、案内点を通過する手前の誘導地点で撮影を行って実写画像を投稿するよう指示を送信する。
撮影指示部312の指示を受け付けた携帯端末200の撮影画像投稿部211は、その誘導地点で携帯端末200のカメラ212を操作して誘導地点から見た案内点を撮影し、実写画像を撮影環境および誘導地点の情報と共に画像サーバ300へ投稿する。
撮影指示部312の指示を受け付けた携帯端末200の撮影画像投稿部211は、その誘導地点で携帯端末200のカメラ212を操作して誘導地点から見た案内点を撮影し、実写画像を撮影環境および誘導地点の情報と共に画像サーバ300へ投稿する。
画像獲得部313は、撮影画像投稿部211が撮影した誘導地点の実写画像を、データ通信部301を通じて取得する。画像更新部314は、画像獲得部313が取得した実写画像、撮影環境、誘導地点の情報を画像DB302aに登録する。なお、画像獲得部313が取得した実写画像と撮影環境および誘導地点が一致する加工実写画像または疑似実写画像が既に画像DB302aに登録されていた場合、画像更新部314は取得した実写画像と差し替える。
このように、撮影指示部312、画像獲得部313および画像更新部314を、加工画像生成部311と合わせて利用することで、短時間で実写画像を補完することができる。
このように、撮影指示部312、画像獲得部313および画像更新部314を、加工画像生成部311と合わせて利用することで、短時間で実写画像を補完することができる。
次に、実施の形態2に係るナビゲーションシステムの動作を説明する。
ナビゲーション装置100の動作は、上記実施の形態1で説明した図3のフローチャートと同様であるため、説明を省略する。
ナビゲーション装置100の動作は、上記実施の形態1で説明した図3のフローチャートと同様であるため、説明を省略する。
図8は、携帯端末200によるナビゲーション支援映像の表示処理を示すフローチャートである。図8のステップST11~ST15の処理は、図4のステップST11~ST15の処理と同様であるため、説明を省略する。
ステップST16において、視点位置推定部210が、データ通信部201で受信した表示要求情報に基づいて誘導地点における運転者の視点位置と視線方向を推定し、表示情報生成部203aに通知する。続くステップST17において、視野角調整部2031aが、ナビゲーション支援映像に使用する実写画像の視野角を、誘導地点の道路種別に応じて設定する。表示情報生成部203aは、ステップST14にてナビゲーション支援映像を生成する際に、視点位置推定部210が推定した運転者の視点位置と視線方向に応じて、ナビゲーション支援映像に使用する実写画像の表示範囲を設定すると共に、ナビゲーション支援映像の視野角を視野角調整部2031aが設定した視野角の標準値にする。
ステップST16において、視点位置推定部210が、データ通信部201で受信した表示要求情報に基づいて誘導地点における運転者の視点位置と視線方向を推定し、表示情報生成部203aに通知する。続くステップST17において、視野角調整部2031aが、ナビゲーション支援映像に使用する実写画像の視野角を、誘導地点の道路種別に応じて設定する。表示情報生成部203aは、ステップST14にてナビゲーション支援映像を生成する際に、視点位置推定部210が推定した運転者の視点位置と視線方向に応じて、ナビゲーション支援映像に使用する実写画像の表示範囲を設定すると共に、ナビゲーション支援映像の視野角を視野角調整部2031aが設定した視野角の標準値にする。
図9は、画像サーバ300による誘導地点の実写画像の検索処理を示すフローチャートである。携帯端末200の画像取得部202は、データ通信部201を通じて画像サーバ300へ、案内点手前の誘導地点の情報を含めた画像要求情報を送信する。
画像検索部310は、データ通信部301を通じて受信した画像要求情報に含まれる誘導地点の情報に対応した実写画像を、画像DB302aの中から検索する(ステップST21)。画像DB302aに該当する実写画像が存在する場合(ステップST22“YES”)、画像検索部310は、さらに、その実写画像がもつ撮影環境の情報が、現在の環境に対応しているか否か判断する(ステップST23)。
画像検索部310は、データ通信部301を通じて受信した画像要求情報に含まれる誘導地点の情報に対応した実写画像を、画像DB302aの中から検索する(ステップST21)。画像DB302aに該当する実写画像が存在する場合(ステップST22“YES”)、画像検索部310は、さらに、その実写画像がもつ撮影環境の情報が、現在の環境に対応しているか否か判断する(ステップST23)。
実写画像の撮影環境が現在の車両の環境に対応している場合(ステップST23“YES”)、画像検索部310は、その実写画像をデータ通信部301を通じて携帯端末200へ返信する(ステップST24)。
あるいは、実写画像が現在の環境に対応していない場合(ステップST23“NO”)、画像検索部310から加工画像生成部311へ通知し、加工画像生成部311においてその実写画像を現在の環境に対応するように加工し、加工実写画像をデータ通信部301を通じて携帯端末200へ返信する(ステップST25)。
あるいは、実写画像が現在の環境に対応していない場合(ステップST23“NO”)、画像検索部310から加工画像生成部311へ通知し、加工画像生成部311においてその実写画像を現在の環境に対応するように加工し、加工実写画像をデータ通信部301を通じて携帯端末200へ返信する(ステップST25)。
一方、誘導地点の実写画像が画像DB302aに存在しない場合(ステップST22“NO”)、画像検索部310から加工画像生成部311へ通知し、加工画像生成部311において誘導地点から案内点を見た景色を表現した疑似実写画像(CG画像)を生成し、データ通信部301を通じて携帯端末200へ返信する(ステップST26)。
続いて加工画像生成部311は、生成した加工実写画像または疑似実写画像を画像DB302aに登録する(ステップST27)。最後に撮影指示部312が、データ通信部301を通じて携帯端末200へ、誘導地点から案内点を見た実写画像の撮影指示を送信する(ステップST28)。
図10は、画像サーバ300の画像DB302aの更新処理を示すフローチャートである。ここでは、画像サーバ300から実写画像の撮影指示がすでに送信されているものとして説明する。
先ず、携帯端末200の撮影画像投稿部211が、表示要求情報に含まれる位置情報に基づいて、自車位置が誘導地点に到達しているか判断し(ステップST31)、誘導地点に到達していなければ(ステップST31“NO”)、到達するまで待機する。誘導地点に到達したとき(ステップST31“YES”)、撮影画像投稿部211はカメラ212を操作して誘導地点から案内点を見た実写画像を撮影する(ステップST32)。続いて撮影画像投稿部211は、撮影した実写画像を、撮影したときの環境および誘導地点の情報と合わせて、データ通信部201を通じて画像サーバ300へ送信する(ステップST33)。
先ず、携帯端末200の撮影画像投稿部211が、表示要求情報に含まれる位置情報に基づいて、自車位置が誘導地点に到達しているか判断し(ステップST31)、誘導地点に到達していなければ(ステップST31“NO”)、到達するまで待機する。誘導地点に到達したとき(ステップST31“YES”)、撮影画像投稿部211はカメラ212を操作して誘導地点から案内点を見た実写画像を撮影する(ステップST32)。続いて撮影画像投稿部211は、撮影した実写画像を、撮影したときの環境および誘導地点の情報と合わせて、データ通信部201を通じて画像サーバ300へ送信する(ステップST33)。
続いて、画像サーバ300の画像獲得部313が、データ通信部301を通じて受信した実写画像を画像更新部314へ通知する(ステップST34)。最後に、画像更新部314は、図9に示したステップST25~ST27の処理により画像DB302aに登録された加工実写画像または疑似実写画像を、画像獲得部313から通知された実写画像に差し替え、画像DB302aを更新する(ステップST35)。
なお、携帯端末200が実写画像を撮影するに際し、障害物情報取得部1023の障害物情報を取得して、車両周辺に撮影の障害となるものの有無を検知して、撮影実行の可否を判断してもよい。実写画像に障害物が写りこんだ場合、ナビゲーション支援映像に使用する実写画像としての価値が低くなるため、それを防ぐ効果がある。例えば、撮影時に周辺に自車以外の車が多数存在する場合(渋滞)などでは撮影しない。
また、ブレがない実写画像が好ましいため、携帯端末200が実写画像を撮影するに際して速度情報取得部1022の速度情報を取得し、所定速度以下であればカメラ212が振動していないと判断し、そのときに撮影する構成にしてもよい。
さらに、案内点が見通しの悪い交差点の場合、交差点が見通しやすい実写画像を撮影するために、撮影する地点を変更(例えば、案内点の50m手前での撮影から、30m手前での撮影に変更するなど)してもよい。ここでいう見通しの悪い交差点は、左右が障害物(高い塀、植木など)で囲まれている道路上の交差点を指す。
また、ブレがない実写画像が好ましいため、携帯端末200が実写画像を撮影するに際して速度情報取得部1022の速度情報を取得し、所定速度以下であればカメラ212が振動していないと判断し、そのときに撮影する構成にしてもよい。
さらに、案内点が見通しの悪い交差点の場合、交差点が見通しやすい実写画像を撮影するために、撮影する地点を変更(例えば、案内点の50m手前での撮影から、30m手前での撮影に変更するなど)してもよい。ここでいう見通しの悪い交差点は、左右が障害物(高い塀、植木など)で囲まれている道路上の交差点を指す。
以上より、実施の形態2によれば、画像サーバ300の画像検索部310は、撮影したときの天気、日時、および季節のうちの少なくとも1つの環境、または撮影した誘導地点の情報を実写画像と合わせて蓄積している画像DB302aの中から、画像取得部202が実写画像を要求したときの天気、日時、および季節のうちの少なくとも1つの環境、または誘導地点に対応した実写画像を検索するようにした。このため、画像サーバ300側で、現在の天気、日時、季節、誘導地点に応じて配信する実写画像を変更するので、携帯端末200は運転者にとって違和感の少ない実写画像を利用できるようになり、運転者はナビゲーション支援映像を直感的に理解可能となる。
また、実施の形態2によれば、画像サーバ300の加工画像生成部311は、画像取得部202が実写画像を要求したときの環境に対応する実写画像が画像DB302aにない場合、同じ誘導地点の実写画像を画像処理して当該環境に対応させた加工実写画像を生成し、環境および誘導地点に対応する実写画像が画像DB302aにない場合、CGにより当該環境および当該誘導地点に対応させた疑似実写画像を生成し、画像DB302aは、加工画像生成部311が生成した加工実写画像および疑似実写画像を蓄積するようにした。これにより、運転者にとって違和感の少ない実写画像を配信したいが、画像DB302aに適当な実写画像がない場合に、同じ誘導地点の実写画像を加工することで違和感を生じにくくすることができる。
また、実施の形態2によれば、画像サーバ300の撮影指示部312は、画像取得部202が実写画像を要求したときの環境または誘導地点に対応する実写画像が画像DB302aにない場合に、携帯端末200に対して、案内点手前の誘導地点での撮影を指示するようにした。このため、配信すべき実写画像がない場合に、該当する案内点手前の誘導地点を通過する車両の携帯端末200に撮影を指示することで、実写画像の補充をスムーズに行うことができる。
また同時に、画像サーバ300から任意の携帯端末200に撮影を指示することで、画像DB302aの実写画像の充実化および加工実写画像のバリエーション強化を図ることができる。例えば、撮影した時間帯および季節は、画像要求情報の条件に一致しているが、撮影した日付が1年前といった場合において、実写画像を最新のものに更新可能となるため、案内点の周辺風景が1年の間に変わっていたとしても柔軟に対応することができる。
また、実施の形態2によれば、画像サーバ300の画像獲得部313は、画像取得部202が実写画像を要求したときの環境または誘導地点に対応する実写画像が画像DB302aにない場合に、環境または誘導地点に対応する実写画像を携帯端末200から取得するようにした。このため、新設された道路のように、配信すべき実写画像がない場合に、現在その道路を走行中の車両の携帯端末200などを利用して、その実写画像を補充することができる。
なお、画像DB302aに、画像要求情報の条件(撮影した時間帯および季節等)に一致する実写画像が存在する場合においても、その実写画像を最新のものに更新するために、画像獲得部313が、撮影時より一定期間が経過した実写画像を破棄して新たに撮影した実写画像に差し替えてもよい。案内点の周辺風景は短期では変化しないので、上記一定期間を例えば1ヶ月に設定する。
なお、画像DB302aに、画像要求情報の条件(撮影した時間帯および季節等)に一致する実写画像が存在する場合においても、その実写画像を最新のものに更新するために、画像獲得部313が、撮影時より一定期間が経過した実写画像を破棄して新たに撮影した実写画像に差し替えてもよい。案内点の周辺風景は短期では変化しないので、上記一定期間を例えば1ヶ月に設定する。
また、実施の形態2によれば、画像サーバ300の画像更新部314は、画像獲得部313が携帯端末200から実写画像を取得した場合に、当該実写画像の環境または誘導地点に対応する画像DB302a内の加工実写画像または疑似実写画像を当該実写画像に差し替えるようにした。このように、加工実写画像および疑似実写画像を実写画像に差し替えることで、携帯端末200は運転者にとって違和感の少ない実写画像を利用できるようになる。
また、実施の形態2によれば、携帯端末200の視点位置推定部210は、車両の車種、車両が走行する道路の車線および高度のうちの少なくとも1つに基づいて、誘導地点における運転者の視点位置を推定し、表示情報生成部203aは、実写画像のうちのナビゲーション支援映像として表示する範囲を、視点位置推定部210が推定した視点位置から案内点を見た範囲に変更するようにした。ナビゲーション支援映像として表示するべき誘導地点の実写画像は、車線または走行位置に応じて異なる。例えば、3車線中右側を走行している車両に、左側の車線から見た案内点の実写画像を表示すると、違和感が大きくなる。そこで、視点位置推定部210により車種、車線、または高度に応じてナビゲーション支援映像の視点位置を変更することにより、運転者が誘導地点から案内点を見たままの画像をナビゲーション支援映像に使用して違和感を生じにくくする。
また、実施の形態2によれば、携帯端末200の撮影画像投稿部211は、画像サーバ300からの撮影指示に基づいて、携帯端末200に搭載されたカメラ212を操作して誘導地点で撮影し、撮影した実写画像を画像サーバ300へ送信するようにした。このため、画像サーバ300が配信すべき実写画像がない場合に、該当する誘導地点の実写画像の補充をスムーズに行うことができると共に、画像DB302aの実写画像の充実化および加工実写画像のバリエーション強化を図ることができる。
なお、実施の形態2において、携帯端末200のカメラ212を利用して誘導地点で実写画像を撮影したが、ナビゲーション装置100がカメラを備える場合にはそのカメラを利用して撮影することも可能である。その場合、撮影画像投稿部211からデータ通信部201経由でナビゲーション装置100へ撮影要求情報を送信し、ナビゲーション装置100が撮影した実写画像を再度データ通信部201経由で受信し、画像サーバ300へ送信して画像DB302aを更新する。
または、図11に示すように、ナビゲーション装置100がカメラ198と撮影画像投稿部199とを備える構成であってもよい。図11では、画像サーバ300がデータ通信部301経由でナビゲーション装置100へ撮影要求情報を送信する。ナビゲーション装置100の撮影画像投稿部199は、データ通信部101経由で受信した撮影要求情報に従ってカメラ198を操作して実写画像を撮影し、その実写画像をデータ通信部101経由で画像サーバ300へ送信する。
そのため、実写画像の撮影・投稿機能を、携帯端末200に必ず集約する必要はない。
または、図11に示すように、ナビゲーション装置100がカメラ198と撮影画像投稿部199とを備える構成であってもよい。図11では、画像サーバ300がデータ通信部301経由でナビゲーション装置100へ撮影要求情報を送信する。ナビゲーション装置100の撮影画像投稿部199は、データ通信部101経由で受信した撮影要求情報に従ってカメラ198を操作して実写画像を撮影し、その実写画像をデータ通信部101経由で画像サーバ300へ送信する。
そのため、実写画像の撮影・投稿機能を、携帯端末200に必ず集約する必要はない。
実施の形態3.
図12は、この発明の実施の形態3に係るナビゲーションシステムの構成を示すブロック図である。なお、図12において、図1および図5と同一または相当の部分については同一の符号を付し説明を省略する。
図12は、この発明の実施の形態3に係るナビゲーションシステムの構成を示すブロック図である。なお、図12において、図1および図5と同一または相当の部分については同一の符号を付し説明を省略する。
実施の形態3の携帯端末200は、新たに誘導地点制御部220および表示部動作制御部221を備えると共に、表示情報生成部203bの機能を拡張して、視野角調整部2031b、目印判断部2032b、強調表示処理部2033b、および視線調整部2034bを備える。
誘導地点制御部220は、視点位置推定部210が推定した誘導地点における運転者の視点位置および視線方向から案内点を見た実写画像では案内点を見通しにくいと推測される場合に、誘導地点を、案内点を見通せるような位置に変更する。誘導地点制御部220は、ナビゲーション装置100から受信した表示要求情報に含まれる案内点と誘導地点の周辺の地図情報、または障害物情報に基づいて、案内点を見通せる誘導地点か否かを判定する。
障害物情報は、ナビゲーション装置100の障害物情報取得部1023が出力した情報であり、表示要求情報としてナビゲーション装置100から携帯端末200へ送信される。
障害物情報は、ナビゲーション装置100の障害物情報取得部1023が出力した情報であり、表示要求情報としてナビゲーション装置100から携帯端末200へ送信される。
例えば、案内点が見通しの悪い交差点の場合、場所によっては視野が狭くなることがあるので、誘導地点制御部220は地図情報等に基づいて、見通しが良くなるような位置にナビゲーション支援映像の視点位置(即ち、誘導地点)を移動させる。
ここで、図13に、案内点が見通しの悪い交差点の実写画像の例を示す。図13(a)のような案内点から遠い俯瞰するような実写画像よりも、図13(b)のような案内点間近の視点位置からみた実写画像のほうが、悪所6が拡大表示されて、運転者にとって利便性の高いナビゲーション支援映像になる場合がある。その場合に、誘導地点制御部220が誘導地点を移動することによって、表示情報生成部203bにおいて最適なナビゲーション支援映像になるよう実写画像の表示範囲が変更される。
なお、誘導地点の移動は、誘導地点制御部220が行う他、例えば携帯端末200(あるいはナビゲーション装置100でもよい)が備える外部デバイスを使用して、運転者が誘導地点制御部220に対して所望の位置を入力することでも可能である。
外部デバイスは、携帯端末200またはナビゲーション装置100に搭載されているタッチパネル、ハンドルに設けられている(または外付けで設置可能な)リモコンデバイス、音声認識デバイス、ジェスチャ操作デバイスなどを使用可能である。
外部デバイスは、携帯端末200またはナビゲーション装置100に搭載されているタッチパネル、ハンドルに設けられている(または外付けで設置可能な)リモコンデバイス、音声認識デバイス、ジェスチャ操作デバイスなどを使用可能である。
表示情報生成部203bの目印判断部2032bは、表示要求情報に含まれる地図情報に基づいて、案内点手前の誘導地点から撮影した実写画像の中から、目印となる施設の位置を判断する。目印となる情報の一例として、コンビニエンスストア、ガソリンスタンド、警察署・郵便局・病院といった公共施設などが挙げられる。
視野角調整部2031bは、視野角調整部2031bが判断した目印が、画像取得部202が画像サーバ300から取得した実写画像に写るように、当該実写画像の視野角を調整し、その視野角の領域の実写画像をナビゲーション支援映像に使用する。
ここで、図14および図15を参照して、視野角調整部2031bによる視野角の調整処理を説明する。図14には案内点付近の様子を示す。視野角調整部2031bは、誘導地点制御部220が決定した誘導地点における運転者の視点位置4と、表示要求情報に含まれる目印施設の位置(例えば、郵便局5)の2点から、ナビゲーション支援映像として表示すべき実写画像の視野角θを算出する。図15に示す実写画像のうち、ナビゲーション支援映像として表示する予定の視野角θ1(例えば、上記実施の形態2で説明した視野角の標準値)が視野角θより狭い場合に、視野角調整部2031bが視野角をθ1からθに広げ、郵便局5がナビゲーション支援映像に写るようにする。
強調表示処理部2033bは、実写画像に写る目印となる施設を強調表示する。目印判断部2032bにより、実写画像内の目印施設の大まかな位置は推定できている。そこで、強調表示処理部2033bはその目印施設の推定位置に対して画像解析を行い、目印施設の輪郭を抽出し、赤枠で囲むなどの強調表示を施す。
ここで、図16を参照して、強調表示処理部2033bによる目印の強調表示処理を説明する。図16に示す実写画像のうち、右端に目印施設となる郵便局5が存在することが予め分かっているので、強調表示処理部2033bは、その位置に対して画像解析を行い、郵便局5の建物の輪郭を抽出して太枠で囲んで強調する。
なお、強調表示として赤枠・太枠で囲む以外の表示方法を用いてもよい。例えば、夜に撮影された実写画像の場合に目印施設を明るく表示する方法などが挙げられる。
なお、強調表示として赤枠・太枠で囲む以外の表示方法を用いてもよい。例えば、夜に撮影された実写画像の場合に目印施設を明るく表示する方法などが挙げられる。
視線調整部2034bは、誘導地点制御部220が設定した誘導地点において、視点位置推定部210が推定した運転者の視点位置および視線方向から案内点をみたときに、案内点を見通しにくいか否かを判定し、ナビゲーション支援映像に使用する実写画像の表示範囲を、案内点を見通しやすい視線方向に見た範囲に変更する。案内点を見通しやすいか否かの判定は、データ通信部201を通じてナビゲーション装置100から受信した表示要求情報に含まれる自車の姿勢(傾き)を表す情報に基づいて行う。
自車の姿勢は、地図情報に含まれる道路勾配の情報から判断してもよいし、位置情報取得部1021のジャイロセンサが検出する車両の傾きの情報から判断してもよい。この情報は、例えばナビゲーション装置100において表示要求情報生成部105に集められ、表示要求情報としてナビゲーション装置100から携帯端末200へ送信される。
自車の姿勢は、地図情報に含まれる道路勾配の情報から判断してもよいし、位置情報取得部1021のジャイロセンサが検出する車両の傾きの情報から判断してもよい。この情報は、例えばナビゲーション装置100において表示要求情報生成部105に集められ、表示要求情報としてナビゲーション装置100から携帯端末200へ送信される。
例えば、案内点の手前が上り坂であって車両が後傾している場合、上記実施の形態2のように運転者の視線方向を車両前方に設定すると、ナビゲーション支援映像の視線方向が案内点上空に向いてしまう。これに対して、実施の形態3では、視線調整部2034bが、ナビゲーション支援映像の視点位置はそのままにナビゲーション支援映像の視線方向を下げることによって、実写画像の表示範囲を地物が撮影された範囲に変更できる。
表示部動作制御部221は、表示要求情報に含まれる案内点までの距離の情報に基づき、自車が案内点を通過する手前(例えば、案内点の500m手前)で、携帯端末200の表示部204のディスプレイの電源をオフからオンに切り替え、表示部204が表示情報生成部203bのナビゲーション支援映像を表示してから一定時間後にディスプレイの電源をオンからオフに切り替える。
なお、上記手段で携帯端末200のバッテリ消費を最小限に抑えることが可能となるが、それ以外の方法を用いてバッテリ消費を抑えてもよい。例えば、ディスプレイの明るさを下げるなどの方法が考えられる。
なお、上記手段で携帯端末200のバッテリ消費を最小限に抑えることが可能となるが、それ以外の方法を用いてバッテリ消費を抑えてもよい。例えば、ディスプレイの明るさを下げるなどの方法が考えられる。
次に、実施の形態3に係るナビゲーションシステムの動作を説明する。
ナビゲーション装置100の動作および画像サーバ300の動作は、上記実施の形態1,2で説明したとおりであるので、説明を省略する。
ナビゲーション装置100の動作および画像サーバ300の動作は、上記実施の形態1,2で説明したとおりであるので、説明を省略する。
図17は、携帯端末200によるナビゲーション支援映像の表示処理を示すフローチャートである。図17のステップST11~ST16の処理は、図4のステップST11~ST16の処理と同様であるため、説明を省略する。
ステップST41において、誘導地点制御部220が、誘導地点における運転者の視点位置および視線方向から案内点を見通せるか否かを判定し、見通せない場合に(ステップST41“NO”)、案内点が見通せるような位置に誘導地点を変更する(ステップST42)。また、ステップST41において、視線調整部2034bが、運転者の視線方向に案内点を見通せるか否かを判定し、見通せない場合に(ステップST41“NO”)、案内点が見通せるような視線方向を推定して、実写画像の表示範囲を変更する(ステップST42)。
案内点が見通せる場合(ステップST41“YES”)、誘導地点の変更または視線方向の変更はせずにステップST43の処理へ進む。
ステップST41において、誘導地点制御部220が、誘導地点における運転者の視点位置および視線方向から案内点を見通せるか否かを判定し、見通せない場合に(ステップST41“NO”)、案内点が見通せるような位置に誘導地点を変更する(ステップST42)。また、ステップST41において、視線調整部2034bが、運転者の視線方向に案内点を見通せるか否かを判定し、見通せない場合に(ステップST41“NO”)、案内点が見通せるような視線方向を推定して、実写画像の表示範囲を変更する(ステップST42)。
案内点が見通せる場合(ステップST41“YES”)、誘導地点の変更または視線方向の変更はせずにステップST43の処理へ進む。
続いて目印判断部2032bは、表示要求情報に基づいて案内点付近の目印施設を判断する(ステップST43)。目印施設が存在する場合(ステップST43“YES”)、強調表示処理部2033bは、実写画像内の目印施設の表示部分を強調する(ステップST44)。視野角調整部2031bは、実写画像の表示範囲に目印施設が含まれるように、実写画像の視野角を調整する(ステップST45)。目印施設の情報が存在しない場合(ステップST43“NO”)、強調表示処理および視野角の調整はせずにステップST14の処理へ進む。
表示部動作制御部221は、表示要求情報に含まれる自車位置に基づいて、ナビゲーション支援映像の表示タイミング(例えば、案内点の500m手前)と判断した場合(ステップST46“YES”)、表示部204のディスプレイの電源をオンし(ステップST47)、続くステップST15で表示情報生成部203bが生成したナビゲーション支援映像(例えば、案内点の50m手前の誘導地点の誘導情報と実写画像)を表示部204に表示する。表示タイミングでない場合(ステップST46“NO”)、表示タイミングになるまで待機する。
なお、表示部動作制御部221は、表示部204にナビゲーション支援映像を表示開始してから一定時間が経過すると、表示部204のディスプレイの電源をオフする。
なお、表示部動作制御部221は、表示部204にナビゲーション支援映像を表示開始してから一定時間が経過すると、表示部204のディスプレイの電源をオフする。
以上より、実施の形態3によれば、携帯端末200の視野角調整部2031bは、ナビゲーション支援映像に案内点の目印となる目印施設が表示されるよう、実写画像の視野角を調整するようにした。これにより、運転者はナビゲーション支援映像に表示された目印施設を手がかりにして、交差点などの案内点を曲がり損なうことなく走行可能になる。
また同時に、運転者は目の前の目印施設を探すことに注力できるので、ナビゲーション支援映像を目の前の風景に一致させるよりも労力がかからない。よって、運転者は注意力を散漫にすることなく運転できる。
また同時に、運転者は目の前の目印施設を探すことに注力できるので、ナビゲーション支援映像を目の前の風景に一致させるよりも労力がかからない。よって、運転者は注意力を散漫にすることなく運転できる。
また、実施の形態3によれば、携帯端末200の強調表示処理部2033bは、実写画像に写る目印施設を強調するようにした。これにより、運転者は、案内点に到達する前に目印施設に注目し、視線移動を最小限にすることができる。
また、実施の形態3によれば、携帯端末200の視線調整部2034bは、実写画像の内、ナビゲーション支援映像として表示する範囲を、車両の傾きに応じて変更するようにした。このため、例えば上り坂を登坂している運転者にとっては前方風景の多くの部分が空になるが、これでは案内の用をなさないため、運転者が実際に見ている風景よりも視線を下方向に移動して、地物が撮影された実写画像をナビゲーション支援映像に使用できる。
また、実施の形態3によれば、携帯端末200の誘導地点制御部220は、誘導地点における運転者の視点位置から案内点を見通しにくい場合に、当該誘導地点を移動し、表示情報生成部203bは、実写画像のうちのナビゲーション支援映像として表示する範囲を、誘導地点制御部220が移動した誘導地点から案内点を見た範囲に変更するようにした。このため、誘導地点を案内点に近づけたり遠ざけたりして、案内点を見通しやすい実写画像をナビゲーション支援映像に使用できる。
また、実施の形態3によれば、携帯端末200の誘導地点制御部220は、誘導地点の移動先として、運転者が操作する外部デバイスから入力された地点、またはナビゲーション装置100から送信された誘導情報に基づいて推定した案内点を見通しやすい地点を使用するようにした。運転者にとって視認しやすいナビゲーション支援映像を表示することが出来ない場合に、運転者が入力した地点の情報を受け付けて表示範囲を調整することにより、運転者が所望する視野角に微調整することができる。
また、図1のように案内点直前での運転者の視線方向は、よほどのことがない限りは一定の方向に向いているので、誘導地点制御部220が、ナビゲーション装置100から送信される誘導情報に従って案内点を見通しやすい視点位置を推定してもよい。
また、図1のように案内点直前での運転者の視線方向は、よほどのことがない限りは一定の方向に向いているので、誘導地点制御部220が、ナビゲーション装置100から送信される誘導情報に従って案内点を見通しやすい視点位置を推定してもよい。
また、実施の形態3によれば、携帯端末200の表示部動作制御部221は、表示部204がナビゲーション支援映像を表示する間、表示部204のディスプレイの電源をオンするようにした。このため、不要なタイミングにおいては表示部204のディスプレイ電源をオフして、携帯端末200のバッテリ消費量を節約することができる。
実施の形態4.
図18は、この発明の実施の形態4に係るナビゲーションシステムの構成を示すブロック図である。なお、図18において、図1、図5および図12と同一または相当の部分については同一の符号を付し説明を省略する。
図18は、この発明の実施の形態4に係るナビゲーションシステムの構成を示すブロック図である。なお、図18において、図1、図5および図12と同一または相当の部分については同一の符号を付し説明を省略する。
実施の形態4のナビゲーション装置100は、新たに中継地判定部130を備える。
ここで言う中継地とは、出発地点から目的地点までの間にあって、運転者が降車して別の手段で目的地に向かう地点のことである。例えば、駐車場と目的地の店舗とが離れている場合、運転者は駐車場で降車して別の手段で店舗に向かう必要がある。この場合の駐車場が中継地にあたる。中継地の位置情報は、不図示のナビゲーション機能が、自車の出発地点から目的地点までの移動経路を誘導するために使用する誘導情報の中に予め含まれているものとする。
ここで言う中継地とは、出発地点から目的地点までの間にあって、運転者が降車して別の手段で目的地に向かう地点のことである。例えば、駐車場と目的地の店舗とが離れている場合、運転者は駐車場で降車して別の手段で店舗に向かう必要がある。この場合の駐車場が中継地にあたる。中継地の位置情報は、不図示のナビゲーション機能が、自車の出発地点から目的地点までの移動経路を誘導するために使用する誘導情報の中に予め含まれているものとする。
中継地判定部130は、車両情報取得部102の位置情報取得部1021が取得した自車位置に基づいて、中継地に到達したことを判定する。中継地に到達したと判定した場合、自車位置(即ち、中継地)から目的地までの誘導情報を送信するよう、中継地判定部130から表示要求情報生成部105へ指示する。
表示要求情報生成部105は、その指示を受けると、誘導情報取得部104に指示して中継地から目的地までの一括した誘導情報を取得させて、その誘導情報から表示要求情報を生成し、データ通信部101を通じて携帯端末200へ送信する。
表示要求情報生成部105は、その指示を受けると、誘導情報取得部104に指示して中継地から目的地までの一括した誘導情報を取得させて、その誘導情報から表示要求情報を生成し、データ通信部101を通じて携帯端末200へ送信する。
実施の形態4の携帯端末200は、新たに誘導情報格納部230および位置情報取得部231を備える。
誘導情報格納部230は、内部メモリであり、中継地到着後にナビゲーション装置100から送信された表示要求情報をデータ通信部201を通じて受信し、その表示要求情報のうち、中継地から目的地までの誘導情報を格納する。
位置情報取得部231は、GPS(Global Positioning System)、ジャイロセンサといった3次元位置および姿勢情報を測定するセンサから、自端末の位置情報を取得する。
なお、位置情報取得部231は、携帯端末200に搭載されているセンサから情報を取得するインタフェースであってもよいし、このセンサを備えていてもよい。
なお、位置情報取得部231は、携帯端末200に搭載されているセンサから情報を取得するインタフェースであってもよいし、このセンサを備えていてもよい。
画像取得部202および表示情報生成部203は、中継地から目的地までの間、誘導情報格納部230に格納されている誘導情報と、位置情報取得部231が取得する位置情報とに基づいて、ナビゲーション支援映像を生成する。これにより、降車後においても、携帯端末200を所持しているユーザに対して、目的地までの移動経路の誘導を継続して行うことが可能となる。
実施の形態4の画像サーバ300は、新たに画像サイズ変更部330を備える。
画像サイズ変更部330は、携帯端末200と画像サーバ300の接続時に、携帯端末200の表示部204が有するディスプレイの表示サイズ(および解像度、アスペクト比など)を携帯端末200側から取得する。その後、画像サイズ変更部330は、画像検索部310が画像DB302から検索した実写画像の画像サイズを当該表示サイズに変更して、データ通信部301を通じて携帯端末200へ送信する。
画像サイズ変更部330は、携帯端末200と画像サーバ300の接続時に、携帯端末200の表示部204が有するディスプレイの表示サイズ(および解像度、アスペクト比など)を携帯端末200側から取得する。その後、画像サイズ変更部330は、画像検索部310が画像DB302から検索した実写画像の画像サイズを当該表示サイズに変更して、データ通信部301を通じて携帯端末200へ送信する。
次に、実施の形態4に係るナビゲーションシステムの動作を説明する。
図19は、ナビゲーション装置100と携帯端末200による、中継地到着時の誘導情報の格納処理を示すフローチャートである。
先ず、中継地判定部130は、車両情報取得部102の情報から目的地付近の中継地に到着したか否か判定する(ステップST51)。中継地到着と判断した場合(ステップST51“YES”)、自車位置から目的地までの誘導情報を一括して送信するよう、中継地判定部130から表示要求情報生成部105に通知し、表示要求情報生成部105がその誘導情報を含めた表示要求情報をデータ通信部101を通じて携帯端末200へ送信する(ステップST52)。
図19は、ナビゲーション装置100と携帯端末200による、中継地到着時の誘導情報の格納処理を示すフローチャートである。
先ず、中継地判定部130は、車両情報取得部102の情報から目的地付近の中継地に到着したか否か判定する(ステップST51)。中継地到着と判断した場合(ステップST51“YES”)、自車位置から目的地までの誘導情報を一括して送信するよう、中継地判定部130から表示要求情報生成部105に通知し、表示要求情報生成部105がその誘導情報を含めた表示要求情報をデータ通信部101を通じて携帯端末200へ送信する(ステップST52)。
中継地に到着するまでは(ステップST51“NO”)、上記実施の形態1~3と同様に、表示要求情報生成部105が移動経路上の最寄りの案内点に関する誘導情報について表示要求情報を生成し、携帯端末200へ送信する。
誘導情報格納部230は、データ通信部201を通じて受信した表示要求情報のうち、誘導情報を格納する(ステップST53)。位置情報取得部231は、ナビゲーション装置100の位置情報取得部1021の代わりとして、目的地に到着するまで、携帯端末200の位置を取得する(ステップST54)。
以降は、ナビゲーション支援映像の表示処理(例えば、図4に示したフローチャート)に従って携帯端末200が動作し、降車後においても自端末の位置に応じたナビゲーション支援映像を表示部204に表示する。
以降は、ナビゲーション支援映像の表示処理(例えば、図4に示したフローチャート)に従って携帯端末200が動作し、降車後においても自端末の位置に応じたナビゲーション支援映像を表示部204に表示する。
以上より、実施の形態4によれば、携帯端末200の誘導情報格納部230は、自車が移動経路上の目的地より手前に設定された中継地に到達した場合に、当該中継地から目的地までの間にある案内点に関する誘導情報を含む表示要求情報を取得して格納し、画像取得部202および表示情報生成部203は、自車が中継地に到達した後、誘導情報格納部230が格納している表示要求情報を使用するようにした。このため、中継地に到達した運転者が、降車後に携帯端末200を所持してナビゲーション支援映像を参照することで、円滑に目的地に向かうことができる。
また、実施の形態4によれば、画像サーバ300の画像サイズ変更部330は、実写画像を、携帯端末200の表示部204の表示サイズに応じた画像サイズに変更するようにした。このように、携帯端末200と画像サーバ300の間で、最適な画像サイズを取り決めておくことで、運転者にとって視認しやすいナビゲーション視線映像を提供することが可能となる。
なお、上記説明では、画像サイズ変更部330を画像サーバ300が備える構成にしたが、携帯端末200が備えてもよい。
また、上記実施の形態1~4では、ナビゲーション機能をナビゲーション装置100に持たせ、ナビゲーション支援機能を携帯端末200に持たせたが、これに限定されるものではなく、携帯端末200にナビゲーション機能とナビゲーション支援機能の両方を持たせてもよい。
なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
以上のように、この発明に係るナビゲーションシステムは、実際に走行する経路上の案内点の手前の誘導地点から撮影した実写画像をナビゲーション支援映像に利用するようにしたので、車両の経路誘導を行うナビゲーションシステムなどに用いるのに適している。
1 自車位置、2 案内点、2a 実写画像、2b 案内点情報、2c ナビゲーション情報、3 パノラマ実写画像、3a 視野角、4 視点位置、5 郵便局(目印施設)、6 悪所、100 ナビゲーション装置、101 データ通信部、102 車両情報取得部、103 誘導情報記憶部、104 誘導情報取得部、105 表示要求情報生成部、130 中継地判定部、198,212 カメラ、199,211 撮影画像投稿部、200 携帯端末、201 データ通信部、202 画像取得部、203,203a,203b 表示情報生成部、204 表示部、210 視点位置推定部、220 誘導地点制御部、221 表示部動作制御部、230 誘導情報格納部、231 位置情報取得部、300 画像サーバ、301 データ通信部、302,302a 画像DB、310 画像検索部、311 加工画像生成部、312 撮影指示部、313 画像獲得部、314 画像更新部、330 画像サイズ変更部、1021 位置情報取得部、1022 速度情報取得部、1023 障害物情報取得部、2031a,2031b 視野角調整部、2032b 目印判断部、2033b 強調表示処理部、2034b 視線調整部。
Claims (21)
- 移動体に搭載されて目的地までの移動経路を誘導するナビゲーション装置と、
前記移動体外に備えられた画像サーバと、
前記ナビゲーション装置および前記画像サーバそれぞれと通信可能な携帯端末とから構成されるナビゲーションシステムであって、
前記移動体の位置情報を取得する位置情報取得部と、
前記移動経路の誘導に使用する情報および前記移動経路上に設定された案内点に関する情報を含む誘導情報を記憶している誘導情報記憶部と、
前記位置情報取得部が取得した前記位置情報に基づいて、前記誘導情報記憶部から前記移動体の最寄りの案内点に関する誘導情報を取得する誘導情報取得部と、
前記誘導情報取得部が取得した前記案内点の誘導情報および前記案内点の手前の誘導地点で撮影した実写画像を表示するための表示要求情報を生成する表示要求情報生成部と、
渋滞していないときの前記実写画像を蓄積している前記画像サーバから、前記表示要求情報で指定された前記誘導地点の実写画像を取得する画像取得部と、
前記表示要求情報に含まれる前記誘導情報および前記画像取得部が取得した前記誘導地点の実写画像を重畳してナビゲーション支援映像を生成する表示情報生成部と、
前記表示情報生成部が生成した前記ナビゲーション支援映像を表示する、前記移動体の運転者の視野範囲内の前方に配置された表示部とを備えることを特徴とするナビゲーションシステム。 - 前記誘導地点の実写画像を、前記表示部の表示サイズに応じた画像サイズに変更する画像サイズ変更部を備えることを特徴とする請求項1記載のナビゲーションシステム。
- 移動体の移動経路の誘導に使用する情報および前記移動経路上に設定された案内点に関する情報を含む誘導情報と前記案内点の手前の誘導地点で撮影した実写画像とを重畳したナビゲーション支援映像を、前記移動体の運転者の視野範囲内の前方に配置された表示部に表示する携帯端末との間で通信可能な画像サーバであって、
前記携帯端末との間でデータを送受信するデータ通信部と、
渋滞していないときの前記実写画像を蓄積し、前記ナビゲーション支援映像に使用する前記実写画像を前記データ通信部を介して前記携帯端末に送信する画像データベースとを有することを特徴とする画像サーバ。 - 前記実写画像を撮影したときの天気、日時、および季節のうちの少なくとも1つの環境、または撮影した前記誘導地点の情報を前記実写画像と合わせて蓄積している前記画像データベースの中から、前記携帯端末が前記ナビゲーション支援映像に使用する実写画像を要求したときの、天気、日時、および季節のうちの少なくとも1つの環境、または誘導地点に対応した実写画像を検索する画像検索部を有することを特徴とする請求項3記載の画像サーバ。
- 前記環境に対応する実写画像が前記画像データベースにない場合、前記誘導地点が同じ実写画像を画像処理して前記環境に対応させた加工実写画像を生成し、前記環境および前記誘導地点に対応する実写画像が前記画像データベースにない場合、コンピュータグラフィックスにより前記環境および前記誘導地点に対応させた疑似実写画像を生成する加工画像生成部を有し、
前記画像データベースは、前記加工画像生成部が生成した前記加工実写画像および前記疑似実写画像を蓄積することを特徴とする請求項4記載の画像サーバ。 - 実写画像を外部から取得した場合に、当該実写画像の前記環境または前記誘導地点に対応する前記画像データベース内の前記加工実写画像または前記疑似実写画像を当該実写画像に差し替える画像更新部を有することを特徴とする請求項5記載の画像サーバ。
- 前記携帯端末が前記実写画像を要求したときの前記環境または前記誘導地点に対応する実写画像が前記画像データベースにない場合に、前記環境または前記誘導地点に対応する実写画像を外部から取得する画像獲得部を有することを特徴とする請求項4記載の画像サーバ。
- 前記携帯端末が前記実写画像を要求したときの前記環境または前記誘導地点に対応する実写画像が前記画像データベースにない場合に、前記携帯端末に対して、前記誘導地点での撮影を指示する撮影指示部を有することを特徴とする請求項7記載の画像サーバ。
- 移動体に搭載されて目的地までの移動経路を誘導するナビゲーション装置および前記移動体外に備えられた画像サーバそれぞれと通信可能な携帯端末であって、
前記ナビゲーション装置および前記画像サーバそれぞれとの間でデータを送受信するデータ通信部と、
前記移動経路の誘導に使用する情報および前記移動経路上に設定された案内点に関する情報を含む誘導情報と前記案内点の手前の誘導地点で撮像した実写画像とを表示するための表示要求情報を前記データ通信部を介して前記ナビゲーション装置から受信して、前記表示要求情報で指定された前記誘導地点の渋滞していないときの実写画像を前記データ通信部を介して前記画像サーバから取得する画像取得部と、
前記表示要求情報に含まれる前記誘導情報および前記画像取得部が取得した前記誘導地点の実写画像を重畳してナビゲーション支援映像を生成する表示情報生成部と、
前記表示情報生成部が生成した前記ナビゲーション支援映像を表示する、前記移動体の運転者の視野範囲内の前方に配置された表示部とを備えることを特徴とする携帯端末。 - 前記ナビゲーション支援映像に、前記案内点の目印となる目印施設が表示されるよう、前記実写画像の視野角を調整する視野角調整部を有することを特徴とする請求項9記載の携帯端末。
- 前記実写画像に写る前記目印施設を強調する強調表示処理部を有することを特徴とする請求項10記載の携帯端末。
- 前記移動体が車両の場合に、前記誘導地点における当該車両の運転者の視点位置を推定する視点位置推定部と、
前記表示情報生成部は、前記実写画像のうちの前記ナビゲーション支援映像として表示する範囲を、前記視点位置推定部が推定した視点位置から前記案内点を見た範囲に変更することを特徴とする請求項9記載の携帯端末。 - 前記視点位置推定部は、前記車両の車種、前記車両が走行する道路の車線および高度のうちの少なくとも1つに基づいて、前記誘導地点における前記運転者の3次元の視点位置を推定することを特徴とする請求項12記載の携帯端末。
- 前記実写画像のうちの前記ナビゲーション支援映像として表示する範囲を、前記車両の傾きに応じて変更する視線調整部を有することを特徴とする請求項12記載の携帯端末。
- 前記表示部が前記ナビゲーション支援映像を表示する間、前記表示部のディスプレイの電源をオンする表示部動作制御部を有することを特徴とする請求項9記載の携帯端末。
- 前記画像サーバからの撮影指示に基づいて、前記携帯端末に搭載されたカメラを操作して前記誘導地点で撮影し、撮影した実写画像を前記データ通信部を介して前記画像サーバへ送信する画像投稿部を有することを特徴とする請求項9記載の携帯端末。
- 前記移動体が前記移動経路上の前記目的地より手前に設定された中継地に到達した場合に、当該中継地から前記目的地までの間にある前記案内点に関する前記誘導情報を含む前記表示要求情報を、前記データ通信部を介して前記ナビゲーション装置から取得して格納する誘導情報格納部を有し、
前記画像取得部および前記表示情報生成部は、前記移動体が前記中継地に到着した後、前記誘導情報格納部が格納している前記表示要求情報を使用することを特徴とする請求項9記載の携帯端末。 - 前記誘導地点における前記運転者の視点位置から前記案内点を見通しにくい場合に、当該誘導地点を移動する誘導地点制御部を有し、
前記表示情報生成部は、前記実写画像のうちの前記ナビゲーション支援映像として表示する範囲を、前記誘導地点制御部が移動した前記誘導地点から前記案内点を見た範囲に変更することを特徴とする請求項12記載の携帯端末。 - 前記誘導地点制御部は、前記誘導地点の移動先として、前記運転者が操作する外部デバイスから入力された地点、または前記ナビゲーション装置から送信された前記誘導情報に基づいて推定した前記案内点を見通しやすい地点を使用することを特徴とする請求項18記載の携帯端末。
- 移動体に搭載されて目的地までの移動経路を誘導するナビゲーション装置と、
前記移動体外に備えられた画像サーバと、
前記ナビゲーション装置および前記画像サーバそれぞれと通信可能であって、かつ前記移動体の運転者の視野範囲内の前方に表示部が配置された携帯端末とから構成されるナビゲーションシステムのナビゲーション支援方法であって、
位置情報取得部が、前記移動体の位置情報を取得する位置情報取得ステップと、
誘導情報取得部が、前記位置情報取得ステップで取得した前記位置情報に基づいて、前記移動経路の誘導に使用する情報および前記移動経路上に設定された案内点に関する情報を含む誘導情報を記憶している誘導情報記憶部から、前記移動体の最寄りの案内点に関する誘導情報を取得する誘導情報取得ステップと、
表示要求情報生成部が、前記誘導情報取得ステップで取得した前記案内点の誘導情報および前記案内点の手前の誘導地点で撮影した実写画像を表示するための表示要求情報を生成する表示要求情報生成ステップと、
画像取得部が、渋滞していないときの前記実写画像を蓄積している前記画像サーバから、前記表示要求情報で指定された前記誘導地点の実写画像を取得する画像取得ステップと、
表示情報生成部が、前記表示要求情報に含まれる前記誘導情報および前記画像取得ステップで取得した前記誘導地点の実写画像を重畳してナビゲーション支援映像を生成する表示情報生成ステップと、
前記表示部が、前記表示情報生成ステップで生成した前記ナビゲーション支援映像を表示する表示ステップとを備えることを特徴とするナビゲーション支援方法。 - 移動体に搭載されて目的地までの移動経路を誘導するナビゲーション装置、および前記移動体外に備えられた画像サーバそれぞれと通信可能な携帯端末に実行させるナビゲーション支援プログラムであって、
画像取得部が、前記移動経路の誘導に使用する情報および前記移動経路上に設定された案内点に関する情報を含む誘導情報と、前記案内点の手前の誘導地点で撮像した実写画像とを表示するための表示要求情報を前記ナビゲーション装置から受信して、当該表示要求情報で指定された前記誘導地点の渋滞していないときの実写画像を前記画像サーバから取得する画像取得手順と、
表示情報生成部が、前記表示要求情報に含まれる前記誘導情報および前記画像取得手順で取得した前記誘導地点の実写画像を重畳してナビゲーション支援映像を生成する表示情報生成手順と、
前記移動体の運転者の視野範囲内の前方に配置された表示部が、前記表示情報生成手順で生成した前記ナビゲーション支援映像を表示する表示手順とを備えることを特徴とするナビゲーション支援プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2014/054668 WO2015128959A1 (ja) | 2014-02-26 | 2014-02-26 | ナビゲーションシステム、画像サーバ、携帯端末、ナビゲーション支援方法、およびナビゲーション支援プログラム |
JP2016504907A JP6207715B2 (ja) | 2014-02-26 | 2014-02-26 | ナビゲーションシステム、画像サーバ、携帯端末、ナビゲーション支援方法、およびナビゲーション支援プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2014/054668 WO2015128959A1 (ja) | 2014-02-26 | 2014-02-26 | ナビゲーションシステム、画像サーバ、携帯端末、ナビゲーション支援方法、およびナビゲーション支援プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2015128959A1 true WO2015128959A1 (ja) | 2015-09-03 |
Family
ID=54008331
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2014/054668 WO2015128959A1 (ja) | 2014-02-26 | 2014-02-26 | ナビゲーションシステム、画像サーバ、携帯端末、ナビゲーション支援方法、およびナビゲーション支援プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6207715B2 (ja) |
WO (1) | WO2015128959A1 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018018472A (ja) * | 2016-07-31 | 2018-02-01 | Ihi運搬機械株式会社 | サーバの運用方法と電気通信機器用のソフトウエア |
CN109790362A (zh) * | 2016-09-29 | 2019-05-21 | Jxtg能源株式会社 | 聚酯树脂组合物 |
CN110033632A (zh) * | 2018-01-11 | 2019-07-19 | 丰田自动车株式会社 | 车辆摄影支援装置、方法以及存储介质 |
CN110214263A (zh) * | 2017-01-19 | 2019-09-06 | 歌乐株式会社 | 导航系统、计算机程序产品和车载装置 |
US11072343B2 (en) * | 2015-04-21 | 2021-07-27 | Panasonic Intellectual Property Management Co., Ltd. | Driving assistance method, and driving assistance device, driving control device, vehicle, driving assistance program, and recording medium using said method |
CN114646320A (zh) * | 2022-02-09 | 2022-06-21 | 江苏泽景汽车电子股份有限公司 | 一种路径引导方法、装置、电子设备及可读存储介质 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016166794A (ja) * | 2015-03-10 | 2016-09-15 | パイオニア株式会社 | 画像作成装置、画像作成方法、画像作成装置用プログラム、および、画像作成システム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003317193A (ja) * | 2002-04-23 | 2003-11-07 | Denso Corp | 装 置 |
JP2005077214A (ja) * | 2003-08-29 | 2005-03-24 | Mitsubishi Electric Corp | 道案内システム |
WO2005098364A1 (ja) * | 2004-03-31 | 2005-10-20 | Pioneer Corporation | 経路案内システム及び方法 |
JP2011215412A (ja) * | 2010-03-31 | 2011-10-27 | Zenrin Datacom Co Ltd | 地図画像処理装置、地図画像処理方法及び地図画像処理プログラム |
JP2013113601A (ja) * | 2011-11-25 | 2013-06-10 | Alpine Electronics Inc | 車載システムおよびナビゲーション割り込み方法 |
WO2013168373A1 (ja) * | 2012-05-09 | 2013-11-14 | 株式会社デンソー | 通信システム |
JP2014026413A (ja) * | 2012-07-26 | 2014-02-06 | Fujitsu Ten Ltd | 電子装置、通信システム、携帯通信端末、通信方法及びプログラム |
-
2014
- 2014-02-26 JP JP2016504907A patent/JP6207715B2/ja active Active
- 2014-02-26 WO PCT/JP2014/054668 patent/WO2015128959A1/ja active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003317193A (ja) * | 2002-04-23 | 2003-11-07 | Denso Corp | 装 置 |
JP2005077214A (ja) * | 2003-08-29 | 2005-03-24 | Mitsubishi Electric Corp | 道案内システム |
WO2005098364A1 (ja) * | 2004-03-31 | 2005-10-20 | Pioneer Corporation | 経路案内システム及び方法 |
JP2011215412A (ja) * | 2010-03-31 | 2011-10-27 | Zenrin Datacom Co Ltd | 地図画像処理装置、地図画像処理方法及び地図画像処理プログラム |
JP2013113601A (ja) * | 2011-11-25 | 2013-06-10 | Alpine Electronics Inc | 車載システムおよびナビゲーション割り込み方法 |
WO2013168373A1 (ja) * | 2012-05-09 | 2013-11-14 | 株式会社デンソー | 通信システム |
JP2014026413A (ja) * | 2012-07-26 | 2014-02-06 | Fujitsu Ten Ltd | 電子装置、通信システム、携帯通信端末、通信方法及びプログラム |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11072343B2 (en) * | 2015-04-21 | 2021-07-27 | Panasonic Intellectual Property Management Co., Ltd. | Driving assistance method, and driving assistance device, driving control device, vehicle, driving assistance program, and recording medium using said method |
JP2018018472A (ja) * | 2016-07-31 | 2018-02-01 | Ihi運搬機械株式会社 | サーバの運用方法と電気通信機器用のソフトウエア |
CN109790362A (zh) * | 2016-09-29 | 2019-05-21 | Jxtg能源株式会社 | 聚酯树脂组合物 |
CN110214263A (zh) * | 2017-01-19 | 2019-09-06 | 歌乐株式会社 | 导航系统、计算机程序产品和车载装置 |
CN110033632A (zh) * | 2018-01-11 | 2019-07-19 | 丰田自动车株式会社 | 车辆摄影支援装置、方法以及存储介质 |
CN114646320A (zh) * | 2022-02-09 | 2022-06-21 | 江苏泽景汽车电子股份有限公司 | 一种路径引导方法、装置、电子设备及可读存储介质 |
CN114646320B (zh) * | 2022-02-09 | 2023-04-28 | 江苏泽景汽车电子股份有限公司 | 一种路径引导方法、装置、电子设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP6207715B2 (ja) | 2017-10-04 |
JPWO2015128959A1 (ja) | 2017-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6207715B2 (ja) | ナビゲーションシステム、画像サーバ、携帯端末、ナビゲーション支援方法、およびナビゲーション支援プログラム | |
JP4895313B2 (ja) | ナビゲーション装置およびその方法 | |
US9197863B2 (en) | Display system that displays augmented reality image of posted data icons on captured image for vehicle-mounted apparatus | |
JP4293917B2 (ja) | ナビゲーション装置及び交差点案内方法 | |
US10227042B2 (en) | Device and method for providing information data with respect to an object of a vehicle environment contained in a video image stream | |
TW200848703A (en) | Navigation assistance using camera | |
US20110288763A1 (en) | Method and apparatus for displaying three-dimensional route guidance | |
WO2018135167A1 (ja) | ナビゲーションシステム、コンピュータプログラム製品、車載装置 | |
JP2008139295A (ja) | カメラを用いた車両用ナビゲーションの交差点案内装置及びその方法 | |
JP2009020089A (ja) | ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム | |
JPH11108684A (ja) | カーナビゲーションシステム | |
JP5294827B2 (ja) | 画像収集装置、サーバ装置及び画像収集配信システム | |
JP2005214857A (ja) | ナビゲーション装置、案内画像作成方法 | |
JP2008145364A (ja) | 経路案内装置 | |
JP2009288212A (ja) | 道路情報配信システムおよび移動体端末装置 | |
JP2012037475A (ja) | サーバ装置、ナビゲーションシステム、ナビゲーション装置 | |
JP4800252B2 (ja) | 車載装置及び交通情報提示方法 | |
JP6424100B2 (ja) | ナビゲーションシステム、ナビゲーション装置、グラス型デバイス及び装置間連携方法 | |
JP4737523B2 (ja) | 車載ナビゲーション装置 | |
JP2014074627A (ja) | 車両用ナビゲーションシステム | |
US10753759B2 (en) | Vector map display system and method based on map scale change | |
US20180293796A1 (en) | Method and device for guiding a user to a virtual object | |
JP5231595B2 (ja) | ナビゲーション装置 | |
KR20100029453A (ko) | 네비게이션 장치를 이용한 태양 및 날씨 표시 시스템 및 그방법 | |
JP3753306B2 (ja) | 移動体ナビゲーションシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 14883766 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2016504907 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 14883766 Country of ref document: EP Kind code of ref document: A1 |