WO2014002167A1 - 情報表示装置、情報表示方法、情報表示プログラム及び記録媒体 - Google Patents

情報表示装置、情報表示方法、情報表示プログラム及び記録媒体 Download PDF

Info

Publication number
WO2014002167A1
WO2014002167A1 PCT/JP2012/066169 JP2012066169W WO2014002167A1 WO 2014002167 A1 WO2014002167 A1 WO 2014002167A1 JP 2012066169 W JP2012066169 W JP 2012066169W WO 2014002167 A1 WO2014002167 A1 WO 2014002167A1
Authority
WO
WIPO (PCT)
Prior art keywords
route guidance
image
guidance image
information display
display
Prior art date
Application number
PCT/JP2012/066169
Other languages
English (en)
French (fr)
Inventor
公彦 廣井
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Priority to PCT/JP2012/066169 priority Critical patent/WO2014002167A1/ja
Publication of WO2014002167A1 publication Critical patent/WO2014002167A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself

Definitions

  • the present invention relates to the technical field of displaying information.
  • a technology for displaying a guidance image such as navigation information in a manner superimposed on a real landscape in the traveling direction of a vehicle or on a real image obtained by photographing a real landscape Is appropriately called “AR (Augmented Reality) display”.
  • AR Augmented Reality
  • a navigation device that displays a route guidance arrow superimposed on a forward image captured by a camera a color that easily recognizes the route guidance arrow when there is a forward vehicle (the route guidance arrow A technique for displaying a route guidance arrow in a position that does not overlap with a traffic light or a preceding vehicle is disclosed.
  • the route guidance arrow is displayed at a position that does not overlap the traffic signal, and thus the visibility of the traffic signal is ensured.
  • the display position of the route guidance arrow is changed in this way, it may be difficult to recognize the route guidance arrow.
  • the present invention mainly provides an information display device, an information display method, an information display program, and a recording medium that can appropriately ensure both the visibility of signs and traffic lights and the visibility of guide images. Objective.
  • the information display device should extend along a route from the current position of the moving body to the destination, the image acquiring means for acquiring the image including the road ahead of the moving body.
  • Display control means for displaying a route guidance image for guiding directions at a predetermined height from the road surface corresponding to the route in the video, and the display control means has a predetermined feature in the video.
  • the information display method executed by the information display device includes an image acquisition step of acquiring an image including a road ahead of the moving body, and a route from the current position of the moving body to the destination.
  • the information display program executed by the information display device having a computer is an image acquisition means for acquiring an image including a road ahead of the moving object, from the current position of the moving object to the destination
  • the computer functions as display control means for displaying a route guidance image that extends along the route of the vehicle to guide the direction to be advanced from a road surface corresponding to the route in the video at a predetermined height
  • the display control means is characterized in that when a predetermined feature is included in the video, a part or all of the route guidance image is displayed with an increased transmittance.
  • the invention according to claim 8 is characterized in that the information display program according to claim 7 is recorded on a recording medium.
  • FIG. 1 shows a schematic configuration of a navigation device.
  • 1 shows a schematic configuration of a head-up display.
  • marker may deteriorate with a route guidance image is shown.
  • the example of a display by 1st Example is shown.
  • the processing flow which the control part in a head-up display performs in 1st Example is shown. It is a flow which shows a label
  • a specific example of moving object candidate detection will be shown. Specific examples of straight line detection and corner detection will be described.
  • the example of a display by 2nd Example is shown.
  • the processing flow which the control part in a head-up display performs in 2nd Example is shown.
  • the information display device includes a video acquisition unit that acquires a video including a road ahead of the moving body, and a direction to travel along the route from the current position of the moving body to the destination.
  • Display control means for displaying a route guidance image for guiding the vehicle at a predetermined height from the road surface corresponding to the route in the video, and the display control means includes a predetermined feature in the video. Is included, the route guidance image is partially or wholly increased in transmittance and displayed.
  • the above information display device is suitable for displaying a guide image superimposed on an actual scene in front of a moving object or superimposed on an image obtained by photographing the actual scenery in front of the moving object.
  • the image acquisition means acquires an image including a road ahead of the moving body.
  • the display control means displays a route guidance image for guiding the direction to be extended along the route from the current position of the moving body to the destination at a predetermined height from the road surface corresponding to the route in the video. .
  • the display control means increases the transmittance of a part or all of the route guidance image and displays it when a predetermined feature is included in the video.
  • the predetermined feature By displaying the route guidance image as described above, the predetermined feature can be recognized through the route guidance image, so that the visibility of the predetermined feature can be appropriately ensured.
  • the visibility of the route guidance image can be appropriately ensured. it can. Therefore, according to the information display device described above, it is possible to appropriately ensure both the visibility of the predetermined feature and the visibility of the route guidance image.
  • the display control unit displays a part or all of the route guidance image with increased transmittance only when the route guidance image overlaps the predetermined feature.
  • the route guidance image is not changed and the route to the predetermined feature is not changed. Only when the guide images overlap, the transmittance of the route guide image is increased. Thereby, the visibility of a route guidance image can be ensured more appropriately by narrowing down the conditions for increasing the transmittance of the route guidance image for display.
  • the display control means increases the transmittance of a portion of the route guidance image that overlaps the predetermined feature and causes the display to be displayed. As a result, it is possible to minimize the portion of the route guidance image that is displayed with increased transmittance, and it is possible to more appropriately ensure the visibility of the route guidance image.
  • the predetermined feature is a traffic sign or a traffic light.
  • the display control means displays the route guidance image so as to overlap the actual scenery through the front window of the moving body.
  • a head-up display can be applied as the information display device.
  • an information display method executed by an information display device includes an image acquisition step of acquiring an image including a road ahead of a moving body, and a route from the current position of the moving body to a destination.
  • an information display program executed by an information display device having a computer is a video acquisition means for acquiring a video including a road ahead of a moving body, from the current position of the moving body to a destination.
  • the computer functions as display control means for displaying a route guidance image that extends along the route of the vehicle to guide the direction to be advanced from a road surface corresponding to the route in the video at a predetermined height, and
  • the display control means increases the transmittance of a part or all of the route guidance image when the predetermined feature is included in the video.
  • the above information display program can be suitably handled in a state of being recorded on a recording medium.
  • FIG. 1 shows a configuration example of a system according to the present embodiment.
  • the system includes a navigation device 1 and a head-up display 2.
  • the system is mounted on a vehicle.
  • the navigation device 1 has a function of performing route guidance from the departure point to the destination.
  • the navigation device 1 can be, for example, a stationary navigation device installed in a vehicle, a PND (Portable Navigation Device), or a mobile phone such as a smartphone.
  • PND Portable Navigation Device
  • mobile phone such as a smartphone.
  • the head-up display 2 generates a guide image that displays map information including the current position, route guidance information, travel speed, and other information for assisting driving, and the guidance image is displayed from the eye position (eye point) of the driver. It is a device that is visually recognized as a virtual image.
  • the head-up display 2 is supplied from the navigation device 1 with various information such as the current position of the vehicle, the traveling speed of the vehicle, map information, and facility data.
  • the head-up display 2 is an example of the “information display device” in the present invention.
  • the navigation device 1 may be held by a cradle or the like. In this case, the navigation device 1 may exchange information with the head-up display 2 via a cradle or the like.
  • FIG. 2 shows the configuration of the navigation device 1.
  • the navigation device 1 includes a self-supporting positioning device 10, a GPS receiver 18, a system controller 20, a disk drive 31, a data storage unit 36, a communication interface 37, a communication device 38, an interface 39, and a display unit 40.
  • the self-supporting positioning device 10 includes an acceleration sensor 11, an angular velocity sensor 12, and a distance sensor 13.
  • the acceleration sensor 11 is made of, for example, a piezoelectric element, detects vehicle acceleration, and outputs acceleration data.
  • the angular velocity sensor 12 is composed of, for example, a vibrating gyroscope, detects the angular velocity of the vehicle when the direction of the vehicle is changed, and outputs angular velocity data and relative azimuth data.
  • the distance sensor 13 measures a vehicle speed pulse composed of a pulse signal generated with the rotation of the vehicle wheel.
  • the GPS receiver 18 receives radio waves 19 carrying downlink data including positioning data from a plurality of GPS satellites.
  • the positioning data is used to detect the absolute position of the vehicle (hereinafter also referred to as “current position”) from latitude and longitude information.
  • the system controller 20 includes an interface 21, a CPU (Central Processing Unit) 22, a ROM (Read Only Memory) 23, and a RAM (Random Access Memory) 24, and controls the entire navigation device 1.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the interface 21 performs an interface operation with the acceleration sensor 11, the angular velocity sensor 12, the distance sensor 13, and the GPS receiver 18. From these, vehicle speed pulses, acceleration data, relative azimuth data, angular velocity data, GPS positioning data, absolute azimuth data, and the like are input to the system controller 20.
  • the CPU 22 controls the entire system controller 20.
  • the ROM 23 includes a nonvolatile memory (not shown) in which a control program for controlling the system controller 20 is stored.
  • the RAM 24 stores various data such as route data preset by the user via the input device 60 so as to be readable, and provides a working area to the CPU 22.
  • a system controller 20 a disk drive 31 such as a CD-ROM drive or a DVD-ROM drive, a data storage unit 36, a communication interface 37, a display unit 40, an audio output unit 50 and an input device 60 are mutually connected via a bus line 30. It is connected to the.
  • the disk drive 31 reads and outputs content data such as music data and video data from a disk 33 such as a CD or DVD under the control of the system controller 20.
  • the disk drive 31 may be either a CD-ROM drive or a DVD-ROM drive, or may be a CD and DVD compatible drive.
  • the data storage unit 36 is configured by, for example, an HDD or the like, and stores various data used for navigation processing such as map data.
  • the communication device 38 includes, for example, an FM tuner, a beacon receiver, a mobile phone, a dedicated communication card, and the like, and information distributed from a VICS (Vehicle Information Communication System) center or the like (“VICS” is a registered trademark). Is acquired from the radio wave 39.
  • the interface 37 performs an interface operation of the communication device 38 and inputs the VICS information to the system controller 20 or the like. Further, the communication device 38 transmits information on the current position acquired from the GPS receiver 18 to the head-up display 2.
  • the display unit 40 displays various display data on a display device such as a display under the control of the system controller 20. Specifically, the system controller 20 reads map data from the data storage unit 36. The display unit 40 displays the map data read from the data storage unit 36 by the system controller 20 on the display screen.
  • the display unit 40 includes a graphic controller 41 that controls the entire display unit 40 based on control data sent from the CPU 22 via the bus line 30, and image information that can be displayed immediately, such as a VRAM (Video) RAM) memory.
  • a buffer memory 42 that temporarily stores, a display control unit 43 that controls display of a display 44 such as a liquid crystal based on image data output from the graphic controller 41, and a display 44 are provided.
  • the display 44 functions as an image display unit, and includes, for example, a liquid crystal display device having a diagonal size of about 5 to 10 inches and is mounted near the front panel in the vehicle.
  • the audio output unit 50 performs D / A (Digital-to-Analog) conversion of audio digital data sent from the CD-ROM drive 31, DVD-ROM 32, RAM 24, or the like via the bus line 30 under the control of the system controller 20.
  • a D / A converter 51 to perform an amplifier (AMP) 52 that amplifies the audio analog signal output from the D / A converter 51, and a speaker 53 that converts the amplified audio analog signal into sound and outputs the sound into the vehicle. It is prepared for.
  • AMP amplifier
  • the input device 60 includes keys, switches, buttons, a remote controller, a voice input device, and the like for inputting various commands and data.
  • the input device 60 is disposed around the front panel and the display 44 of the main body of the in-vehicle electronic system mounted in the vehicle.
  • the display 44 is a touch panel system
  • the touch panel provided on the display screen of the display 44 also functions as the input device 60.
  • the navigation device 1 generates guidance information for guiding the user based on the current position of the vehicle and transmits the guidance information to the head-up display 2. For example, the navigation device 1 obtains a guidance route to the destination based on the map data stored in the data storage unit 36 and transmits it to the head-up display 2.
  • FIG. 3 is a schematic configuration diagram of the head-up display 2.
  • the head-up display 2 includes a light source unit 3, a camera 6, and a combiner 9, and includes a front window 25, a ceiling portion 27, a hood 28, a dashboard 29, and the like. It is attached to the vehicle equipped.
  • the light source unit 3 is installed on the ceiling portion 27 in the passenger compartment via the support members 5a and 5b, and emits light constituting a guide image indicating information for assisting driving toward the combiner 9. Specifically, the light source unit 3 generates an original image (real image) of the display image in the light source unit 3 based on the control of the control unit 4, and emits light constituting the image to the combiner 9.
  • the virtual image “Iv” is visually recognized by the driver via the combiner 9.
  • the light source unit 3 has a light source such as a laser light source or an LCD light source, and emits light from the light source.
  • the combiner 9 projects the display image emitted from the light source unit 3 and reflects the display image to the driver's eye point Pe to display the display image as a virtual image Iv. And the combiner 9 has the support shaft part 8 installed in the ceiling part 27, and rotates the support shaft part 8 as a spindle.
  • the support shaft portion 8 is installed, for example, in the vicinity of the ceiling portion 27 in the vicinity of the upper end of the front window 25, in other words, the position where a sun visor (not shown) for the driver is installed.
  • the support shaft portion 8 may be installed instead of the above-described sun visor.
  • the camera 6 takes pictures of the scenery in the traveling direction of the vehicle.
  • the camera 6 is set in position and orientation so that a landscape including at least a road in the traveling direction of the vehicle is photographed.
  • the position and orientation of the camera 6 may be set so that a range including the virtual image Iv formed by the head-up display 2 is captured.
  • the camera 6 supplies an image obtained by shooting (hereinafter referred to as “camera image” as appropriate) to the control unit 4.
  • the control unit 4 includes a CPU, RAM, ROM, and the like (not shown), and performs general control of the head-up display 2.
  • the control unit 4 can communicate with the navigation device 1 and receives the guide information as described above from the navigation device 1. Then, the control unit 4 performs control to display a guidance image corresponding to the guidance information by superimposing it on the actual scenery observed through the combiner 9. That is, the guide image is displayed in AR.
  • the control unit 4 based on the guidance route transmitted from the navigation device 1, the control unit 4 performs control to display a band-shaped route guidance image indicating the direction to be traveled along the guidance route by AR display.
  • control unit 4 performs control so that a route guidance image as a virtual image is superimposed and visually recognized at a predetermined height from the road surface corresponding to the guidance route in the real scenery observed through the combiner 9. Do.
  • control unit 4 corresponds to an example of the “video acquisition unit” and the “display control unit” in the present invention.
  • FIG. 3 it is not limited to displaying a guidance image using the combiner 9, You may display a guidance image using a windshield instead of the combiner 9.
  • FIG. The light source unit 3 is not limited to being installed on the ceiling portion 27, and the light source unit 3 may be installed inside the dashboard 29 instead of the ceiling portion 27.
  • the control unit 4 in the head-up display 2 changes the display mode of the route guidance image when the camera image includes a sign (meaning various signs related to traffic; the same shall apply hereinafter). Change. Specifically, the control unit 4 increases the transmittance of the route guidance image and displays it when a sign is included in the camera image.
  • the label is an example of the “predetermined feature” in the present invention.
  • FIG. 4 is a diagram for explaining that the visibility of the sign may be deteriorated by the route guidance image.
  • FIG. 4A shows an example of an image visually recognized by the driver through the combiner 9 when the route guidance image is not displayed. That is, the actual scenery itself that the driver sees through the combiner 9 is illustrated. In this example, the sign 80 is included in the actual landscape.
  • FIG. 4B shows an example of an image that the driver sees through the combiner 9 when the route guidance image 81 is superimposed and displayed on the same real scene as FIG. 4A. . As shown in FIG. 4B, the route guidance image 81 is superimposed and displayed so as to be visually recognized at a predetermined height from the road surface corresponding to the guidance route in the actual scenery observed through the combiner 9. . This predetermined height is determined in advance as a position where the route guidance image 81 is well recognized, for example.
  • the control unit 4 determines the route guidance image when the sign 80 is included in the camera image acquired from the camera 6. The transmittance of 81 is increased and displayed.
  • FIG. 5 shows a display example according to the first embodiment.
  • FIG. 5A shows a situation where the driver displays the combiner 9 when the control unit 4 displays the route guidance image 82 superimposed on the actual scenery similar to that shown in FIG. The image visually recognized through is shown.
  • the control unit 4 displays a route guidance image 82 in which the entire route guidance image 81 described above is translucent.
  • the control unit 4 displays the outline of the route guidance image 82 as it is (that is, displays it without making it transparent), and increases the transmittance inside the route guidance image 82 surrounded by the outline. Is displayed. Note that the outline of the route guidance image 82 may also be displayed with increased transmittance.
  • the control unit 4 displays a route guidance image 83 that makes the entire route guidance image 81 completely transparent.
  • the control unit 4 displays the outline of the route guidance image 83 as it is (that is, displays it without making it transparent), and makes the inside of the route guidance image 83 surrounded by the outline completely transparent. Is displayed. In other words, the control unit 4 eliminates the internal filling of the route guidance image 83.
  • route guidance images 82 and 83 By displaying such route guidance images 82 and 83, the sign 80 existing in the forward scenery can be recognized through the route guidance images 82 and 83, so that the visibility of the sign 80 is appropriately secured. be able to. Further, since the route guidance images 82 and 83 are changed only in the transmittance and the display position cannot be changed (that is, the display at a predetermined height set in advance is maintained), the route guidance images 82 and 83 are displayed. It is also possible to appropriately ensure the visibility. From the above, according to the first embodiment, both the visibility of the sign 80 and the visibility of the route guidance images 82 and 83 can be appropriately ensured.
  • control unit 4 does not depend on whether the route guidance image overlaps the sign 80 or not.
  • the sign 80 is included in the camera image, a route guidance image with increased transmittance is displayed.
  • This processing flow is repeatedly executed by the control unit 4 at a predetermined cycle.
  • step S101 the control unit 4 acquires a camera image generated by photographing with the camera 6. Then, the process proceeds to step S102.
  • step S102 the control unit 4 performs a process for detecting a sign (a sign detection process) for the acquired camera image. The details of the label detection process will be described later. Then, the process proceeds to step S103.
  • step S103 the control unit 4 determines whether or not a sign is detected from the camera image by the sign detection process in step S102.
  • the control unit 4 changes the display mode of the route guidance image (step S104). Specifically, the control unit 4 displays a route guidance image with increased transmittance (see, for example, FIG. 5). Then, the process ends.
  • step S105 determines whether or not the display mode of the route guidance image has been changed. That is, the control unit 4 determines whether or not a route guidance image with increased transmittance is displayed.
  • step S106 restores the display mode of the route guidance image (step S106). Specifically, the control unit 4 displays a route guidance image in which the transmittance is restored (for example, a route guidance image in which the transmittance is zero). Then, the process ends.
  • the display mode of the route guidance image has not been changed (step S105: No)
  • the process ends.
  • FIG. 7 is a flowchart showing the label detection process performed in step S102 described above. This flow is also executed by the control unit 4.
  • step S201 the control unit 4 detects a moving object candidate corresponding to a region (moving object region) including a moving object from the camera image. And the control part 4 performs a straight line detection by the Hough transform etc. about the moving body candidate detected by step S201 (step S202), and detects the corner where the detected straight line crosses (step S203). And the control part 4 determines whether the number of the corners detected by step S203 is larger than predetermined value (for example, 3) (step S204). When the number of corners is larger than the predetermined value (step S204: Yes), the control unit 4 determines that a sign is present in the camera image (step S205). On the other hand, when the number of corners is equal to or smaller than the predetermined value (step S204: No), the control unit 4 determines that no sign is present in the camera image (step S206).
  • predetermined value for example, 3
  • FIG. 8 is a diagram illustrating a specific example of moving object candidate detection performed in step S201.
  • the control unit 4 uses three camera images that are temporally continuous (camera images acquired at time T, time T ⁇ 1, and time T + 1), and uses the camera image at time T + 1 and the camera image at time T to The difference portion is extracted, and the difference portion between the camera image at time T and the camera image at time T-1 is extracted.
  • the control unit 4 examines the correlation between the block areas at any same position in the two camera images by template matching or the like. And the control part 4 takes out a location with low correlation as a location (difference location) with a change.
  • control unit 4 performs a logical product of the difference portion extracted from the camera image at time T + 1 and the camera image at time T, and the difference portion extracted from the camera image at time T and the camera image at time T-1. (AND) is obtained and a moving object candidate is detected (that is, a moving object region of a camera image at time T is extracted).
  • a moving object candidate is detected (that is, a moving object region of a camera image at time T is extracted).
  • portions that are not painted black in the camera image correspond to moving object candidates.
  • FIG. 9 is a diagram illustrating a specific example of straight line detection performed in step S202 and corner detection performed in step S203.
  • the control unit 4 detects straight lines L1 to L4 from the moving object candidates by performing Hough transform or the like on the moving object candidates detected as described above. Then, the control unit 4 detects corners C1 to C4 formed by the intersection of the straight lines L1 to L4. The control unit 4 sets a portion surrounded by the corners C1 to C4 thus detected as a label candidate. It may be further determined whether or not the label candidate is a label based on the color of the label candidate. For example, if the label candidate color is green or blue, it may be determined that the label candidate is a label.
  • both the visibility of the sign and the visibility of the route guidance image can be appropriately achieved by increasing the transmittance of the route guidance image when the sign is included in the camera image. It can be secured.
  • the method for detecting the label is not limited to the above-described method (see FIGS. 7 to 9).
  • various known image analysis methods can be applied.
  • control unit 4 displays the route guidance image with increased transmittance when the sign is included in the camera image regardless of whether the route guidance image overlaps with the sign.
  • control unit 4 displays the route guidance image with increased transmittance only when the route guidance image overlaps the sign.
  • control unit 4 displays the route guidance image with an increased overall transmittance.
  • the control unit 4 displays a partial transmittance of the route guidance image. Raise the display.
  • the control unit 4 displays only the portion of the route guidance image that overlaps the sign with an increased transmittance.
  • FIG. 10 shows a display example according to the second embodiment.
  • FIG. 10A shows a situation where the driver displays the combiner 9 when the control unit 4 displays the route guidance image 84 superimposed on the actual scenery similar to FIG. 4A (the scenery including the sign 80). The image visually recognized through is shown.
  • the control unit 4 displays a route guidance image 84 in which the transmittance of the portion overlapping the sign 80 is increased.
  • the control unit 4 displays the part of the route guidance image 84 that does not overlap the sign 80 as it is (that is, displays it without making it transparent), and transmits the part of the route guide image 84 that overlaps the sign 80.
  • the rate is increased and displayed.
  • FIG. 10B shows a case where the control unit 4 superimposes and displays a route guidance image 85 different from the route guidance image 84 on the actual landscape (the landscape including the sign 80) similar to FIG.
  • operator visually recognizes through the combiner 9 is shown.
  • the control unit 4 displays a route guidance image 85 in which a portion overlapping the sign 80 is completely transparent.
  • the control unit 4 displays the portion of the route guidance image 85 that does not overlap the sign 80 as it is (that is, displays it without making it transparent), and completely displays the portion of the route guidance image 85 that overlaps the sign 80. It is displayed with transparency.
  • the control unit 4 displays the route guidance image 85 in which a portion overlapping the sign 80 is missing.
  • both the visibility of the sign 80 and the visibility of the route guidance images 84 and 85 can be appropriately ensured. Further, in the route guidance images 84 and 85, only the portion overlapping the sign 80 is displayed with an increased transmittance, that is, the portion displayed with the increased transmittance in the route guidance images 84 and 85 is minimized. The visibility of the route guidance images 84 and 85 can be more appropriately ensured.
  • steps S301 to S303, S306, and S307 are the same as the processes of steps S101 to S103, S105, and S106 shown in FIG. 6, description thereof will be omitted. Here, only the processing of steps S304 and S305 will be described.
  • step S304 the control unit 4 determines whether or not the route guidance image overlaps the sign. That is, the control unit 4 determines whether or not the driver visually recognizes that the route guidance image is superimposed on the sign 80 in the actual scenery observed through the combiner 9. For example, if a range in which the virtual image Iv formed by the head-up display 2 is included is captured by the camera 6, the control unit 4 uses the camera image captured by the camera 6 as a virtual image. Whether or not the route guidance image overlaps the sign is determined based on the relationship between the position where the route guidance image is displayed and the position of the sign 80.
  • step S304: Yes the control unit 4 changes the display mode of the route guidance image (step S305). Specifically, the control unit 4 displays a route guidance image in which the transmittance of the portion overlapping the sign is increased (see, for example, FIG. 10). Then, the process ends.
  • step S304: No the process proceeds to step S306. In this case, the control unit 4 does not change the display mode of the route guidance image.
  • the visibility of the sign and the route guidance image are improved by increasing the transmittance of the portion of the route guidance image that overlaps the sign. Both visibility can be ensured more appropriately.
  • the transmittance of the portion of the route guidance image that overlaps the sign is increased (that is, a part of the route guidance image is transmitted).
  • the present invention is not limited to displaying such route guidance images.
  • the entire route guidance image can be displayed with an increased transmittance (the route guidance image does not overlap the sign). (In such a case, the route guide image is not displayed with the increased transmittance).
  • Modification 1 In the above-described embodiment, an example in which the present invention is applied to a label is shown, but the present invention is not limited to application to a label.
  • the present invention can be similarly applied to traffic lights, commercial signs, and the like. That is, a traffic light, a commercial signboard, etc. can be applied as the “predetermined feature” in the present invention.
  • the head-up display 2 receives the guidance information from the navigation device 1 and performs control to display a guidance image (route guidance image) corresponding to the guidance information.
  • the configuration to which the present invention is applicable is not limited to this.
  • the navigation device 1 performs control to change the display mode of the route guidance image, and transmits the route guidance image after such control to the head-up display 2 in the same manner as the head-up display 2 described above.
  • the head-up display 2 can display the received route guidance image as it is.
  • the system controller 20 of the navigation device 1 performs part or all of the processing performed by the control unit 4 of the head-up display 2.
  • the navigation device 1 corresponds to the “information display device” in the present invention, or the navigation device 1 and the head-up display 2 correspond to the “information display device” in the present invention.
  • the head-up display 2 can perform control to generate guidance information and display a guidance image (route guidance image) corresponding to the guidance information without communicating with the navigation device 1. .
  • the head-up display 2 is provided with a self-supporting positioning device such as a GPS receiver and a distance sensor and map data is stored in a memory, the head-up display 2 generates a guidance route, Control for changing the display mode of the route guidance image corresponding to the guidance route can be performed.
  • the present invention can also be applied to an apparatus in which a real landscape in the traveling direction of a vehicle is photographed by a camera, and a guide image is displayed by superimposing on a camera image obtained by photographing.
  • the present invention can be applied to a smartphone or the like that performs navigation by AR display using a live-action image of a built-in camera.
  • the navigation device may photograph a real landscape in the traveling direction of the vehicle with a camera, and display a guide image on the display of the device itself with the camera image obtained by photographing. Even when the present invention is applied to such an apparatus, control for changing the display mode of the route guidance image can be performed by the same method as in the above-described embodiments and modifications.
  • the present invention is not limited to application to the above-described devices (such as the navigation device 1 and the head-up display 2).
  • the present invention can be applied to various devices capable of realizing AR display.
  • the present invention can be applied to a head mounted display.
  • the present invention can be applied to a head-up display, a navigation device (including a mobile phone such as a smartphone), and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)

Abstract

　情報表示装置は、移動体の前方の道路を含む映像を取得する映像取得手段と、移動体の現在位置から目的地へのルートに沿って延びて進むべき方向を案内するルート案内画像を、映像中のルートに対応した道路の路面から所定の高さに表示させる表示制御手段と、を備え、表示制御手段は、映像中に所定の特徴物が含まれる場合に、ルート案内画像の一部または全部の透過率を上げて表示させる。これにより、所定の特徴物の視認性及びルート案内画像の視認性の両方を、適切に確保することが可能となる。

Description

情報表示装置、情報表示方法、情報表示プログラム及び記録媒体
　本発明は、情報を表示する技術分野に関する。
　近年、車両の進行方向の実風景に重ね合わせて、又は実風景を撮影することにより得られた実写画像に重ね合わせて、ナビゲーション情報などの案内画像を表示させる技術（以下では、このような表示を適宜「ＡＲ（Augmented Reality）表示」と呼ぶ。）が提案されている。例えば、特許文献１には、カメラで撮影された前方の映像に重畳させて経路誘導矢印を表示するナビゲーション装置において、前方車両が存在する場合に経路誘導矢印を認識しやすい色（経路誘導矢印の背景色に応じた色）で表示させたり、信号機や前方車両に重ならないような位置に経路誘導矢印を表示させたりする技術が開示されている。
ＷＯ２００９－８４１２９号公報
　ところで、交通に関する標識や信号機などについては、ＡＲ表示させた案内画像に阻害されずに視認性が確保されることが望ましい。例えば、案内画像が上に重なることで標識や信号機などが見えにくくなってしまうことは望ましくない。上記した特許文献１に記載された技術では、信号機に重ならないような位置に経路誘導矢印を表示させていたため、信号機の視認性は確保されていた。しかしながら、このように経路誘導矢印の表示位置を変更すると、経路誘導矢印が認識しにくくなってしまう可能性があった。
　本発明が解決しようとする課題としては、上記のものが一例として挙げられる。本発明は、標識や信号機などの視認性及び案内画像の視認性の両方を、適切に確保することが可能な情報表示装置、情報表示方法、情報表示プログラム及び記録媒体を提供することを主な目的とする。
　請求項１に記載の発明では、情報表示装置は、移動体の前方の道路を含む映像を取得する映像取得手段と、前記移動体の現在位置から目的地へのルートに沿って延びて進むべき方向を案内するルート案内画像を、前記映像中の前記ルートに対応した道路の路面から所定の高さに表示させる表示制御手段と、を備え、前記表示制御手段は、前記映像中に所定の特徴物が含まれる場合に、前記ルート案内画像の一部または全部の透過率を上げて表示させることを特徴とする。
　請求項６に記載の発明では、情報表示装置によって実行される情報表示方法は、移動体の前方の道路を含む映像を取得する映像取得工程と、前記移動体の現在位置から目的地へのルートに沿って延びて進むべき方向を案内するルート案内画像を、前記映像中の前記ルートに対応した道路の路面から所定の高さに表示させる表示制御工程と、を備え、前記表示制御工程は、前記映像中に所定の特徴物が含まれる場合に、前記ルート案内画像の一部または全部の透過率を上げて表示させることを特徴とする。
　請求項７に記載の発明では、コンピュータを有する情報表示装置によって実行される情報表示プログラムは、移動体の前方の道路を含む映像を取得する映像取得手段、前記移動体の現在位置から目的地へのルートに沿って延びて進むべき方向を案内するルート案内画像を、前記映像中の前記ルートに対応した道路の路面から所定の高さに表示させる表示制御手段、として前記コンピュータを機能させ、前記表示制御手段は、前記映像中に所定の特徴物が含まれる場合に、前記ルート案内画像の一部または全部の透過率を上げて表示させることを特徴とする。
　請求項８に記載の発明では、記録媒体は、請求項７に記載の情報表示プログラムを記録したことを特徴とする。
実施例に係るシステムの構成例を示す。 ナビゲーション装置の概略構成を示す。 ヘッドアップディスプレイの概略構成を示す。 ルート案内画像により標識の視認性が悪化してしまう場合があることを説明するための図を示す。 第１実施例による表示例を示す。 第１実施例においてヘッドアップディスプレイ内の制御部が行う処理フローを示す。 標識検出処理を示すフローである。 動体候補の検出の具体例を示す。 直線検出及びコーナ検出の具体例を示す。 第２実施例による表示例を示す。 第２実施例においてヘッドアップディスプレイ内の制御部が行う処理フローを示す。
　本発明の１つの観点では、情報表示装置は、移動体の前方の道路を含む映像を取得する映像取得手段と、前記移動体の現在位置から目的地へのルートに沿って延びて進むべき方向を案内するルート案内画像を、前記映像中の前記ルートに対応した道路の路面から所定の高さに表示させる表示制御手段と、を備え、前記表示制御手段は、前記映像中に所定の特徴物が含まれる場合に、前記ルート案内画像の一部または全部の透過率を上げて表示させる。
　上記の情報表示装置は、移動体の前方の実風景に重ね合わせて、又は移動体の前方の実風景を撮影することにより得られた映像に重ね合わせて、案内画像を表示させるために好適に利用される。映像取得手段は、移動体の前方の道路を含む映像を取得する。表示制御手段は、移動体の現在位置から目的地へのルートに沿って延びて進むべき方向を案内するルート案内画像を、映像中のルートに対応した道路の路面から所定の高さに表示させる。具体的には、表示制御手段は、映像中に所定の特徴物が含まれる場合に、ルート案内画像の一部または全部の透過率を上げて表示させる。
　上記のようなルート案内画像を表示させることで、ルート案内画像を透して所定の特徴物を認識させることができるので、所定の特徴物の視認性を適切に確保することができる。また、ルート案内画像は、透過率のみが変えられ、表示位置は変えられないため（つまり所定の高さでの表示が維持されるため）、ルート案内画像の視認性も適切に確保することができる。したがって、上記の情報表示装置によれば、所定の特徴物の視認性及びルート案内画像の視認性の両方を、適切に確保することが可能となる。
　上記の情報表示装置の一態様では、前記表示制御手段は、前記所定の特徴物に前記ルート案内画像が重なる場合にのみ、前記ルート案内画像の一部または全部の透過率を上げて表示させる。この態様では、映像中に所定の特徴物が含まれていても、所定の特徴物にルート案内画像が重ならない場合には、ルート案内画像の透過率を変化させず、所定の特徴物にルート案内画像が重なる場合にのみ、ルート案内画像の透過率を上げる。これにより、ルート案内画像の透過率を上げて表示させる条件を絞ることで、ルート案内画像の視認性を、より適切に確保することができる。
　上記の情報表示装置の他の一態様では、前記表示制御手段は、前記ルート案内画像のうち前記所定の特徴物に重なる部分の透過率を上げて表示させる。これにより、ルート案内画像において透過率を上げて表示させる箇所を最小限に止めることができ、ルート案内画像の視認性を、より適切に確保することが可能となる。
　好適な例では、前記所定の特徴物は、交通に関する標識または信号機である。
　また好適な例では、前記表示制御手段は、前記ルート案内画像を、前記移動体のフロントウィンドウ越しに実際の風景と重なるように表示させる。例えば、情報表示装置として、ヘッドアップディスプレイを適用することができる。
　本発明の他の観点では、情報表示装置によって実行される情報表示方法は、移動体の前方の道路を含む映像を取得する映像取得工程と、前記移動体の現在位置から目的地へのルートに沿って延びて進むべき方向を案内するルート案内画像を、前記映像中の前記ルートに対応した道路の路面から所定の高さに表示させる表示制御工程と、を備え、前記表示制御工程は、前記映像中に所定の特徴物が含まれる場合に、前記ルート案内画像の一部または全部の透過率を上げて表示させる。
　本発明の更に他の観点では、コンピュータを有する情報表示装置によって実行される情報表示プログラムは、移動体の前方の道路を含む映像を取得する映像取得手段、前記移動体の現在位置から目的地へのルートに沿って延びて進むべき方向を案内するルート案内画像を、前記映像中の前記ルートに対応した道路の路面から所定の高さに表示させる表示制御手段、として前記コンピュータを機能させ、前記表示制御手段は、前記映像中に所定の特徴物が含まれる場合に、前記ルート案内画像の一部または全部の透過率を上げて表示させる。
　上記の情報表示プログラムは、記録媒体に記録した状態で好適に取り扱うことができる。
　以下、図面を参照して本発明の好適な実施例について説明する。
　［システム構成］
　図１は、本実施例に係るシステムの構成例を示す。図１に示すように、当該システムは、ナビゲーション装置１と、ヘッドアップディスプレイ２とを備える。また、当該システムは、車両に搭載される。
　ナビゲーション装置１は、出発地から目的地までの経路案内を行う機能などを有する。ナビゲーション装置１は、例えば、車両に設置される据え置き型のナビゲーション装置、ＰＮＤ（Portable Navigation Device）、又はスマートフォンなどの携帯電話とすることができる。
　ヘッドアップディスプレイ２は、現在位置を含む地図情報や経路案内情報、走行速度、その他運転を補助する情報を表示する案内画像を生成し、当該案内画像を運転者の目の位置（アイポイント）から虚像として視認させる装置である。ヘッドアップディスプレイ２には、車両の現在位置、車両の走行速度、地図情報、及び施設データなどの各種情報がナビゲーション装置１から供給される。ヘッドアップディスプレイ２は、本発明における「情報表示装置」の一例である。
　なお、ナビゲーション装置１がスマートフォンなどの携帯電話である場合、ナビゲーション装置１は、クレードルなどによって保持されても良い。この場合、ナビゲーション装置１は、クレードルなどを介して、ヘッドアップディスプレイ２と情報の授受を行うこととしても良い。
　［ナビゲーション装置の構成］
　図２は、ナビゲーション装置１の構成を示す。図２に示すように、ナビゲーション装置１は、自立測位装置１０、ＧＰＳ受信機１８、システムコントローラ２０、ディスクドライブ３１、データ記憶ユニット３６、通信用インタフェース３７、通信装置３８、インタフェース３９、表示ユニット４０、音声出力ユニット５０、及び入力装置６０を備える。
　自立測位装置１０は、加速度センサ１１、角速度センサ１２及び距離センサ１３を備える。加速度センサ１１は、例えば圧電素子からなり、車両の加速度を検出し、加速度データを出力する。角速度センサ１２は、例えば振動ジャイロからなり、車両の方向変換時における車両の角速度を検出し、角速度データ及び相対方位データを出力する。距離センサ１３は、車両の車輪の回転に伴って発生されているパルス信号からなる車速パルスを計測する。
　ＧＰＳ受信機１８は、複数のＧＰＳ衛星から、測位用データを含む下り回線データを搬送する電波１９を受信する。測位用データは、緯度及び経度情報等から車両の絶対的な位置（以下では「現在位置」とも呼ぶ。）を検出するために用いられる。
　システムコントローラ２０は、インタフェース２１、ＣＰＵ（Central Processing Unit）２２、ＲＯＭ（Read Only Memory）２３及びＲＡＭ（Random Access Memory）２４を含んでおり、ナビゲーション装置１全体の制御を行う。
　インタフェース２１は、加速度センサ１１、角速度センサ１２及び距離センサ１３並びにＧＰＳ受信機１８とのインタフェース動作を行う。そして、これらから、車速パルス、加速度データ、相対方位データ、角速度データ、ＧＰＳ測位データ、絶対方位データ等をシステムコントローラ２０に入力する。ＣＰＵ２２は、システムコントローラ２０全体を制御する。ＲＯＭ２３は、システムコントローラ２０を制御する制御プログラム等が格納された図示しない不揮発性メモリ等を有する。ＲＡＭ２４は、入力装置６０を介して使用者により予め設定された経路データ等の各種データを読み出し可能に格納したり、ＣＰＵ２２に対してワーキングエリアを提供したりする。
　システムコントローラ２０、ＣＤ－ＲＯＭドライブ又はＤＶＤ－ＲＯＭドライブなどのディスクドライブ３１、データ記憶ユニット３６、通信用インタフェース３７、表示ユニット４０、音声出力ユニット５０及び入力装置６０は、バスライン３０を介して相互に接続されている。
　ディスクドライブ３１は、システムコントローラ２０の制御の下、ＣＤ又はＤＶＤといったディスク３３から、音楽データ、映像データなどのコンテンツデータを読み出し、出力する。なお、ディスクドライブ３１は、ＣＤ－ＲＯＭドライブ又はＤＶＤ－ＲＯＭドライブのうち、いずれか一方としてもよいし、ＣＤ及びＤＶＤコンパチブルのドライブとしてもよい。
　データ記憶ユニット３６は、例えば、ＨＤＤなどにより構成され、地図データなどのナビゲーション処理に用いられる各種データを記憶するユニットである。通信装置３８は、例えば、ＦＭチューナやビーコンレシーバ、携帯電話や専用の通信カードなどにより構成され、ＶＩＣＳ（Vehicle Information Communication System）センタなどから配信される情報（「ＶＩＣＳ」は登録商標である。）を電波３９より取得する。そしてインタフェース３７は、通信装置３８のインタフェース動作を行い、ＶＩＣＳ情報をシステムコントローラ２０等に入力する。また、通信装置３８は、ＧＰＳ受信機１８から取得した現在位置の情報などをヘッドアップディスプレイ２に送信する。
　表示ユニット４０は、システムコントローラ２０の制御の下、各種表示データをディスプレイなどの表示装置に表示する。具体的には、システムコントローラ２０は、データ記憶ユニット３６から地図データを読み出す。表示ユニット４０は、システムコントローラ２０によってデータ記憶ユニット３６から読み出された地図データなどを表示画面上に表示する。表示ユニット４０は、バスライン３０を介してＣＰＵ２２から送られる制御データに基づいて表示ユニット４０全体の制御を行うグラフィックコントローラ４１と、ＶＲＡＭ（Video RAM）等のメモリからなり即時表示可能な画像情報を一時的に記憶するバッファメモリ４２と、グラフィックコントローラ４１から出力される画像データに基づいて、液晶等のディスプレイ４４を表示制御する表示制御部４３と、ディスプレイ４４とを備える。ディスプレイ４４は、画像表示部として機能し、例えば対角５～１０インチ程度の液晶表示装置等からなり、車内のフロントパネル付近に装着される。
　音声出力ユニット５０は、システムコントローラ２０の制御の下、ＣＤ－ＲＯＭドライブ３１又はＤＶＤ－ＲＯＭ３２、若しくはＲＡＭ２４等からバスライン３０を介して送られる音声デジタルデータのＤ／Ａ（Digital to Analog）変換を行うＤ／Ａコンバータ５１と、Ｄ／Ａコンバータ５１から出力される音声アナログ信号を増幅する増幅器（ＡＭＰ）５２と、増幅された音声アナログ信号を音声に変換して車内に出力するスピーカ５３とを備えて構成されている。
　入力装置６０は、各種コマンドやデータを入力するための、キー、スイッチ、ボタン、リモコン、音声入力装置等から構成されている。入力装置６０は、車内に搭載された当該車載用電子システムの本体のフロントパネルやディスプレイ４４の周囲に配置される。また、ディスプレイ４４がタッチパネル方式の場合、ディスプレイ４４の表示画面上に設けられたタッチパネルも入力装置６０として機能する。
　本実施例では、ナビゲーション装置１は、車両の現在位置などに基づいて、ユーザを案内するための案内情報を生成し、当該案内情報をヘッドアップディスプレイ２に送信する。例えば、ナビゲーション装置１は、データ記憶ユニット３６に記憶された地図データなどに基づいて、目的地までの案内ルートを求めてヘッドアップディスプレイ２に送信する。
　［ヘッドアップディスプレイの構成］
　図３は、ヘッドアップディスプレイ２の概略構成図である。図３に示すように、本実施例に係るヘッドアップディスプレイ２は、光源ユニット３と、カメラ６と、コンバイナ９とを備え、フロントウィンドウ２５、天井部２７、ボンネット２８、及びダッシュボード２９などを備える車両に取り付けられる。
　光源ユニット３は、支持部材５ａ、５ｂを介して車室内の天井部２７に設置され、運転を補助する情報を示す案内画像を構成する光を、コンバイナ９に向けて出射する。具体的には、光源ユニット３は、制御部４の制御に基づき、光源ユニット３内に表示像の元画像（実像）を生成し、その画像を構成する光をコンバイナ９へ出射することで、コンバイナ９を介して運転者に虚像「Ｉｖ」を視認させる。例えば、光源ユニット３は、レーザ光源やＬＣＤ光源などの光源を有しており、光源から光を出射する。
　コンバイナ９は、光源ユニット３から出射される表示像が投影されると共に、表示像を運転者のアイポイントＰｅへ反射することで当該表示像を虚像Ｉｖとして表示させる。そして、コンバイナ９は、天井部２７に設置された支持軸部８を有し、支持軸部８を支軸として回動する。支持軸部８は、例えば、フロントウィンドウ２５の上端近傍の天井部２７、言い換えると運転者用の図示しないサンバイザが設置される位置の近傍に設置される。なお、支持軸部８は、上述のサンバイザに代えて設置されても良い。
　カメラ６は、車両の進行方向の風景を撮影する。カメラ６は、少なくとも車両の進行方向の道路を含む風景が撮影されるように、位置や向きなどが設定される。また、カメラ６は、ヘッドアップディスプレイ２によって形成された虚像Ｉｖが含まれるような範囲が撮影されるように、位置や向きなどが設定されても良い。カメラ６は、撮影により得られた画像（以下では適宜「カメラ画像」と呼ぶ。）を制御部４に供給する。
　制御部４は、図示しないＣＰＵやＲＡＭ、ＲＯＭなどを有し、ヘッドアップディスプレイ２の全般的な制御を行う。制御部４は、ナビゲーション装置１と通信が可能であり、上記したような案内情報をナビゲーション装置１から受信する。そして、制御部４は、コンバイナ９を透して観察される実風景に重畳させて、案内情報に対応する案内画像を表示させる制御を行う。つまり、案内画像をＡＲ表示させる。本実施例では、制御部４は、ナビゲーション装置１から送信された案内ルートに基づいて、当該案内ルートに沿って延びて進むべき方向を示す帯状のルート案内画像を、ＡＲ表示させる制御を行う。この場合、制御部４は、コンバイナ９を通して観察される実風景中の案内ルートに対応する道路の路面から所定の高さに、虚像としてのルート案内画像が重畳して視認されるように制御を行う。このように、制御部４は、本発明における「映像取得手段」及び「表示制御手段」の一例に相当する。
　なお、図３に示したように、コンバイナ９を用いて案内画像を表示させることに限定はされず、コンバイナ９の代わりにフロントガラスを用いて案内画像を表示させても良い。また、光源ユニット３を天井部２７に設置することに限定はされず、天井部２７の代わりにダッシュボード２９の内部に光源ユニット３を設置しても良い。
　［制御方法］
　次に、本実施例において、ヘッドアップディスプレイ２内の制御部４が行う制御方法について具体的に説明する。
　（第１実施例）
　第１実施例では、ヘッドアップディスプレイ２内の制御部４は、カメラ画像に標識（交通に関する各種の標識を意味する。以下同様とする。）が含まれる場合に、ルート案内画像の表示態様を変化させる。具体的には、制御部４は、カメラ画像に標識が含まれる場合に、ルート案内画像の透過率を上げて表示させる。なお、標識は、本発明における「所定の特徴物」の一例である。
　上記のような表示を行う理由を、図４を参照して説明する。図４は、ルート案内画像により標識の視認性が悪化してしまう場合があることを説明するための図を示す。
　図４（ａ）は、ルート案内画像を表示していない際に、運転者がコンバイナ９を透して視認する像の一例を示している。つまり、運転者がコンバイナ９を透して視認する実風景そのものを例示している。この例では、実風景に標識８０が含まれている。図４（ｂ）は、図４（ａ）と同様の実風景に対してルート案内画像８１を重畳表示させた際に、運転者がコンバイナ９を透して視認する像の一例を示している。図４（ｂ）に示すように、ルート案内画像８１は、コンバイナ９を通して観察される実風景中の案内ルートに対応する道路の路面から所定の高さにて視認されるように重畳表示される。この所定の高さは、例えばルート案内画像８１が良好に認識されるような位置として予め決定されたものである。
　図４（ｂ）に示す例では、ルート案内画像８１が標識８０の上に重なっていることがわかる。この場合には、標識８０の視認性が悪化してしまう可能性がある。そのため、第１実施例では、ルート案内画像８１による標識８０の視認性の悪化を抑制すべく、制御部４は、カメラ６から取得されたカメラ画像に標識８０が含まれる場合に、ルート案内画像８１の透過率を上げて表示させる。
　図５は、第１実施例による表示例を示している。図５（ａ）は、図４（ａ）と同様の実風景（標識８０が含まれる風景）に対して、制御部４がルート案内画像８２を重畳表示させた際に、運転者がコンバイナ９を透して視認する像を示している。この例では、制御部４は、上記したルート案内画像８１の全体を半透明にしたようなルート案内画像８２を表示させている。具体的には、制御部４は、ルート案内画像８２の輪郭線についてはそのまま表示させ（つまり透明にせずに表示させ）、当該輪郭線で囲まれたルート案内画像８２の内部の透過率を上げて表示させている。なお、ルート案内画像８２の輪郭線も透過率を上げて表示させても良い。
　図５（ｂ）は、図４（ａ）と同様の実風景（標識８０が含まれる風景）に対して、制御部４がルート案内画像８２とは異なるルート案内画像８３を重畳表示させた際に、運転者がコンバイナ９を透して視認する像を示している。この例では、制御部４は、上記したルート案内画像８１の全体を完全に透明にしたようなルート案内画像８３を表示させている。具体的には、制御部４は、ルート案内画像８３の輪郭線についてはそのまま表示させ（つまり透明にせずに表示させ）、当該輪郭線で囲まれたルート案内画像８３の内部を完全に透明にして表示させている。言い換えると、制御部４は、ルート案内画像８３の内部の塗りつぶしを無くしている。
　このようなルート案内画像８２、８３を表示させることで、前方風景に存在する標識８０をルート案内画像８２、８３を透して認識させることができるので、標識８０の視認性を適切に確保することができる。また、ルート案内画像８２、８３は、透過率のみが変えられ、表示位置は変えられないため（つまり予め設定された所定の高さでの表示が維持されるため）、ルート案内画像８２、８３の視認性も適切に確保することができる。以上のことから、第１実施例によれば、標識８０の視認性と、ルート案内画像８２、８３の視認性の両方を適切に確保することが可能となる。
　なお、図４及び図５では、標識８０にルート案内画像が重なるような場合を例示したが、第１実施例では、制御部４は、標識８０にルート案内画像が重なるか否かによらず、カメラ画像に標識８０が含まれる場合に、透過率を上げたルート案内画像を表示させる。
　次に、図６を参照して、第１実施例においてヘッドアップディスプレイ２内の制御部４が行う処理フローについて説明する。この処理フローは、制御部４によって所定の周期で繰り返し実行される。
　まず、ステップＳ１０１では、制御部４は、カメラ６による撮影により生成されたカメラ画像を取得する。そして、処理はステップＳ１０２に進む。ステップＳ１０２では、制御部４は、取得されたカメラ画像に対して、標識を検出するための処理（標識検出処理）を行う。標識検出処理については、詳細は後述する。そして、処理はステップＳ１０３に進む。
　ステップＳ１０３では、制御部４は、ステップＳ１０２の標識検出処理により、カメラ画像から標識が検出されたか否かを判定する。標識が検出された場合（ステップＳ１０３：Ｙｅｓ）、制御部４は、ルート案内画像の表示態様を変更する（ステップＳ１０４）。具体的には、制御部４は、透過率を上げたルート案内画像を表示させる（例えば図５参照）。そして、処理は終了する。
　これに対して、標識が検出されなかった場合（ステップＳ１０３：Ｎｏ）、制御部４は、ルート案内画像の表示態様が変更されているか否かを判定する（ステップＳ１０５）。つまり、制御部４は、透過率を上げたルート案内画像を表示させているか否かを判定する。ルート案内画像の表示態様が変更されている場合（ステップＳ１０５：Ｙｅｓ）、制御部４は、ルート案内画像の表示態様を元に戻す（ステップＳ１０６）。具体的には、制御部４は、透過率を元に戻したルート案内画像（例えば透過率をゼロにしたルート案内画像）を表示させる。そして、処理は終了する。他方で、ルート案内画像の表示態様が変更されていない場合（ステップＳ１０５：Ｎｏ）、処理は終了する。
　次に、図７乃至図９を参照して、標識検出処理について具体的に説明する。
　図７は、上記したステップＳ１０２で行われる標識検出処理を示すフローである。このフローも制御部４によって実行される。
　まず、ステップＳ２０１では、制御部４は、カメラ画像から、動物体が含まれる領域（動体領域）に相当する動体候補を検出する。そして、制御部４は、ステップＳ２０１で検出した動体候補について、ハフ変換などにより直線検出を行い（ステップＳ２０２）、こうして検出した直線が交わるコーナを検出する（ステップＳ２０３）。そして、制御部４は、ステップＳ２０３で検出したコーナの数が所定値（例えば３）より大きいか否かを判定する（ステップＳ２０４）。コーナの数が所定値より大きい場合（ステップＳ２０４：Ｙｅｓ）、制御部４は、カメラ画像中に標識が存在すると判断する（ステップＳ２０５）。これに対して、コーナの数が所定値以下である場合（ステップＳ２０４：Ｎｏ）、制御部４は、カメラ画像中に標識が存在しないと判断する（ステップＳ２０６）。
　図８は、ステップＳ２０１で行われる動体候補の検出の具体例を示す図である。まず、制御部４は、時間的に連続する３つのカメラ画像（時刻Ｔ、時刻Ｔ－１、時刻Ｔ＋１で取得されたカメラ画像）を用い、時刻Ｔ＋１のカメラ画像と時刻Ｔのカメラ画像との差分箇所を取り出すと共に、時刻Ｔのカメラ画像と時刻Ｔ－１のカメラ画像との差分箇所を取り出す。この場合、制御部４は、２つのカメラ画像において、任意の同じ位置についてブロックのエリアの相関をテンプレートマッチングなどにより調べる。そして、制御部４は、相関が低い箇所は、変化のある箇所（差分箇所）として取り出す。この後、制御部４は、時刻Ｔ＋１のカメラ画像と時刻Ｔのカメラ画像とから取り出した差分箇所と、時刻Ｔのカメラ画像と時刻Ｔ－１のカメラ画像とから取り出した差分箇所との論理積（ＡＮＤ）を求めて、動体候補を検出する（つまり時刻Ｔのカメラ画像の動体領域を取り出す）。図８では、カメラ画像において黒で塗りつぶされていない箇所が動体候補に相当する。
　図９は、ステップＳ２０２で行われる直線検出及びステップＳ２０３で行われるコーナ検出の具体例を示す図である。図９に示すように、制御部４は、上記のように検出した動体候補に対してハフ変換などを行うことで、動体候補から直線Ｌ１～Ｌ４を検出する。そして、制御部４は、直線Ｌ１～Ｌ４が交わることで形成されるコーナＣ１～Ｃ４を検出する。制御部４は、こうして検出したコーナＣ１～Ｃ４によって囲まれる部分を標識候補とする。なお、標識候補の色に基づいて、標識候補が標識であるか否かの判定を更に行っても良い。例えば、標識候補の色が緑色又は青色ならば、当該標識候補は標識であると判定することとしても良い。
　以上説明した第１実施例によれば、カメラ画像に標識が含まれる場合にルート案内画像の透過率を上げて表示させることで、標識の視認性及びルート案内画像の視認性の両方を適切に確保することが可能となる。
　なお、標識を検出する手法は、上記した手法（図７乃至図９参照）に限定はされない。上記した手法以外にも、公知の種々の画像解析手法を適用することができる。
　（第２実施例）
　次に、第２実施例について説明する。第１実施例では、制御部４は、標識にルート案内画像が重なるか否かによらず、カメラ画像に標識が含まれる場合に、透過率を上げたルート案内画像を表示させていたが、第２実施例では、制御部４は、標識にルート案内画像が重なる場合にのみ、透過率を上げたルート案内画像を表示させる。
　また、第１実施例では、制御部４は、ルート案内画像の全体の透過率を上げて表示させていたが、第２実施例では、制御部４は、ルート案内画像の一部の透過率を上げて表示させる。具体的には、第２実施例では、制御部４は、ルート案内画像のうち標識に重なる部分のみを、透過率を上げて表示させる。
　図１０は、第２実施例による表示例を示している。図１０（ａ）は、図４（ａ）と同様の実風景（標識８０が含まれる風景）に対して、制御部４がルート案内画像８４を重畳表示させた際に、運転者がコンバイナ９を透して視認する像を示している。この例では、制御部４は、標識８０に重なる部分の透過率を上げたルート案内画像８４を表示させている。具体的には、制御部４は、ルート案内画像８４のうち標識８０に重ならない部分についてはそのまま表示させ（つまり透明にせずに表示させ）、ルート案内画像８４のうち標識８０に重なる部分の透過率を上げて表示させている。
　図１０（ｂ）は、図４（ａ）と同様の実風景（標識８０が含まれる風景）に対して、制御部４がルート案内画像８４とは異なるルート案内画像８５を重畳表示させた際に、運転者がコンバイナ９を透して視認する像を示している。この例では、制御部４は、標識８０に重なる部分を完全に透明にしたルート案内画像８５を表示させている。具体的には、制御部４は、ルート案内画像８５のうち標識８０に重ならない部分についてはそのまま表示させ（つまり透明にせずに表示させ）、ルート案内画像８５のうち標識８０に重なる部分を完全に透明にして表示させている。言い換えると、制御部４は、標識８０に重なる部分が欠けたようなルート案内画像８５を表示させている。
　このようなルート案内画像８４、８５によっても、標識８０の視認性と、ルート案内画像８４、８５の視認性の両方を適切に確保することができる。また、ルート案内画像８４、８５では標識８０に重なる部分のみが透過率が上げて表示されるため、つまりルート案内画像８４、８５において透過率が上げて表示される箇所が最小限に止められるため、ルート案内画像８４、８５の視認性をより適切に確保することができる。
　次に、図１１を参照して、第２実施例においてヘッドアップディスプレイ２内の制御部４が行う処理フローについて説明する。この処理フローは、制御部４によって所定の周期で繰り返し実行される。
　ステップＳ３０１～Ｓ３０３、Ｓ３０６、Ｓ３０７の処理は、それぞれ、図６に示したステップＳ１０１～Ｓ１０３、Ｓ１０５、Ｓ１０６の処理と同様であるため、その説明を省略する。ここでは、ステップＳ３０４、Ｓ３０５の処理のみを説明する。
　ステップＳ３０４では、制御部４は、ルート案内画像が標識に重なるか否かを判定する。つまり、制御部４は、コンバイナ９を透して観察される実風景中の標識８０の上にルート案内画像が重なっているように運転者に視認されるか否かを判定する。例えば、ヘッドアップディスプレイ２により形成された虚像Ｉｖが含まれるような範囲をカメラ６で撮影すれば、制御部４は、そのようなカメラ６で撮影されたカメラ画像などに基づいて、虚像としてのルート案内画像が表示される位置と標識８０の位置との関係により、ルート案内画像が標識に重なるか否かを判定する。
　ルート案内画像が標識に重なる場合（ステップＳ３０４：Ｙｅｓ）、制御部４は、ルート案内画像の表示態様を変更する（ステップＳ３０５）。具体的には、制御部４は、標識に重なる部分の透過率を上げたルート案内画像を表示させる（例えば図１０参照）。そして、処理は終了する。これに対して、ルート案内画像が標識に重ならない場合（ステップＳ３０４：Ｎｏ）、処理はステップＳ３０６に進む。この場合には、制御部４は、ルート案内画像の表示態様を変更しない。
　以上説明した第２実施例によれば、ルート案内画像が標識に重なる場合に、ルート案内画像のうち標識に重なる部分の透過率を上げて表示させることで、標識の視認性及びルート案内画像の視認性の両方を、より適切に確保することが可能となる。
　なお、上記した第２実施例では、ルート案内画像が標識に重なる場合に、ルート案内画像のうち標識に重なる部分の透過率を上げて表示させていたが（つまりルート案内画像の一部の透過率を上げて表示させていたが）、このようなルート案内画像を表示させることに限定はされない。他の例では、ルート案内画像が標識に重なる場合に、第１実施例で示したように、ルート案内画像の全体の透過率を上げて表示させることができる（ルート案内画像が標識に重ならない場合には、ルート案内画像の透過率を上げて表示させない）。
　［変形例］
　以下では、上記した実施例に好適な変形例について説明する。なお、下記の変形例は、任意に組み合わせて上述の実施例に適用することができる。
　（変形例１）
　上記した実施例では、本発明を標識に適用した例を示したが、本発明は標識への適用に限定はされない。本発明は、標識以外にも、信号機や、商業的な看板などにも同様に適用することができる。つまり、信号機や、商業的な看板なども、本発明における「所定の特徴物」として適用することができる。
　（変形例２）
　図１等の説明では、ヘッドアップディスプレイ２は、ナビゲーション装置１から案内情報などを受信して、案内情報に対応する案内画像（ルート案内画像）を表示させる制御を行っていた。しかしながら、本発明が適用可能な構成はこれに限定はされない。他の例では、ナビゲーション装置１は、上記したヘッドアップディスプレイ２と同様に、ルート案内画像の表示態様を変化させる制御を行い、そのような制御後のルート案内画像をヘッドアップディスプレイ２に送信し、ヘッドアップディスプレイ２は、受信したルート案内画像をそのまま表示させることができる。この場合には、ナビゲーション装置１のシステムコントローラ２０は、ヘッドアップディスプレイ２の制御部４が行う処理の一部又は全部を行う。この例では、ナビゲーション装置１が本発明における「情報表示装置」に相当する、若しくはナビゲーション装置１及びヘッドアップディスプレイ２が本発明における「情報表示装置」に相当する。
　更に他の例では、ヘッドアップディスプレイ２は、ナビゲーション装置１と通信を行うことなく、案内情報を生成すると共に、案内情報に対応する案内画像（ルート案内画像）を表示させる制御を行うことができる。この場合、ヘッドアップディスプレイ２に、ＧＰＳ受信機及び距離センサなどの自立測位装置を具備させると共に、地図データなどをメモリに記憶させておけば、当該ヘッドアップディスプレイ２は、案内ルートを生成し、当該案内ルートに対応するルート案内画像の表示態様を変化させる制御を行うことができる。
　（変形例３）
　本発明は、車両の進行方向の実風景をカメラによって撮影し、撮影により得られたカメラ画像に重ね合わせて、案内画像を表示させるような装置にも適用することができる。１つの例では、本発明は、内蔵するカメラの実写画像を用いて、ＡＲ表示によってナビゲーションを行うスマートフォンなどに適用することができる。他の例では、ナビゲーション装置が車両の進行方向の実風景をカメラによって撮影し、撮影により得られたカメラ画像に案内画像を重ね合わせて自装置のディスプレイに表示させても良い。このような装置に本発明を適用する場合にも、上記した実施例や変形例と同様の方法により、ルート案内画像の表示態様を変化させる制御を行うことができる。
　（変形例４）
　本発明は、上記したような装置（ナビゲーション装置１やヘッドアップディスプレイ２など）への適用に限定はされない。本発明は、ＡＲ表示を実現可能な種々の装置に適用することができる。例えば、本発明は、ヘッドマウントディスプレイに適用することができる。
　本発明は、ヘッドアップディスプレイやナビゲーション装置（スマートフォンなどの携帯電話も含む）などに適用することができる。
　１　ナビゲーション装置
　２　ヘッドアップディスプレイ
　３　光源ユニット
　４　制御部
　６　カメラ
　９　コンバイナ

Claims (8)

  1. 　移動体の前方の道路を含む映像を取得する映像取得手段と、
    　前記移動体の現在位置から目的地へのルートに沿って延びて進むべき方向を案内するルート案内画像を、前記映像中の前記ルートに対応した道路の路面から所定の高さに表示させる表示制御手段と、を備え、
    　前記表示制御手段は、前記映像中に所定の特徴物が含まれる場合に、前記ルート案内画像の一部または全部の透過率を上げて表示させることを特徴とする情報表示装置。
  2. 　前記表示制御手段は、前記所定の特徴物に前記ルート案内画像が重なる場合にのみ、前記ルート案内画像の一部または全部の透過率を上げて表示させることを特徴とする請求項１に記載の情報表示装置。
  3. 　前記表示制御手段は、前記ルート案内画像のうち前記所定の特徴物に重なる部分の透過率を上げて表示させることを特徴とする請求項２に記載の情報表示装置。
  4. 　前記所定の特徴物は、交通に関する標識または信号機であることを特徴とする請求項１乃至３のいずれか一項に記載の情報表示装置。
  5. 　前記表示制御手段は、前記ルート案内画像を、前記移動体のフロントウィンドウ越しに実際の風景と重なるように表示させることを特徴とする請求項１乃至４のいずれか一項に記載の情報表示装置。
  6. 　情報表示装置によって実行される情報表示方法であって、
    　移動体の前方の道路を含む映像を取得する映像取得工程と、
    　前記移動体の現在位置から目的地へのルートに沿って延びて進むべき方向を案内するルート案内画像を、前記映像中の前記ルートに対応した道路の路面から所定の高さに表示させる表示制御工程と、を備え、
    　前記表示制御工程は、前記映像中に所定の特徴物が含まれる場合に、前記ルート案内画像の一部または全部の透過率を上げて表示させることを特徴とする情報表示方法。
  7. 　コンピュータを有する情報表示装置によって実行される情報表示プログラムであって、
    　移動体の前方の道路を含む映像を取得する映像取得手段、
    　前記移動体の現在位置から目的地へのルートに沿って延びて進むべき方向を案内するルート案内画像を、前記映像中の前記ルートに対応した道路の路面から所定の高さに表示させる表示制御手段、として前記コンピュータを機能させ、
    　前記表示制御手段は、前記映像中に所定の特徴物が含まれる場合に、前記ルート案内画像の一部または全部の透過率を上げて表示させることを特徴とする情報表示プログラム。
  8. 　請求項７に記載の情報表示プログラムを記録したことを特徴とする記録媒体。
PCT/JP2012/066169 2012-06-25 2012-06-25 情報表示装置、情報表示方法、情報表示プログラム及び記録媒体 WO2014002167A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/066169 WO2014002167A1 (ja) 2012-06-25 2012-06-25 情報表示装置、情報表示方法、情報表示プログラム及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/066169 WO2014002167A1 (ja) 2012-06-25 2012-06-25 情報表示装置、情報表示方法、情報表示プログラム及び記録媒体

Publications (1)

Publication Number Publication Date
WO2014002167A1 true WO2014002167A1 (ja) 2014-01-03

Family

ID=49782402

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/066169 WO2014002167A1 (ja) 2012-06-25 2012-06-25 情報表示装置、情報表示方法、情報表示プログラム及び記録媒体

Country Status (1)

Country Link
WO (1) WO2014002167A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3184365A3 (en) * 2015-12-24 2017-07-19 Lg Electronics Inc. Display device for vehicle and control method thereof
CN109472204A (zh) * 2018-10-08 2019-03-15 咪咕互动娱乐有限公司 一种运动路线的展示方法、装置及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006284458A (ja) * 2005-04-01 2006-10-19 Denso Corp 運転支援情報表示システム
JP2011047649A (ja) * 2007-12-28 2011-03-10 Mitsubishi Electric Corp ナビゲーション装置
JP2011529569A (ja) * 2008-07-31 2011-12-08 テレ アトラス ベスローテン フエンノートシャップ ナビゲーションデータを三次元で表示するコンピュータ装置および方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006284458A (ja) * 2005-04-01 2006-10-19 Denso Corp 運転支援情報表示システム
JP2011047649A (ja) * 2007-12-28 2011-03-10 Mitsubishi Electric Corp ナビゲーション装置
JP2011529569A (ja) * 2008-07-31 2011-12-08 テレ アトラス ベスローテン フエンノートシャップ ナビゲーションデータを三次元で表示するコンピュータ装置および方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3184365A3 (en) * 2015-12-24 2017-07-19 Lg Electronics Inc. Display device for vehicle and control method thereof
US10924679B2 (en) 2015-12-24 2021-02-16 Lg Electronics Inc. Display device for vehicle and control method thereof
CN109472204A (zh) * 2018-10-08 2019-03-15 咪咕互动娱乐有限公司 一种运动路线的展示方法、装置及计算机可读存储介质
CN109472204B (zh) * 2018-10-08 2021-03-09 咪咕互动娱乐有限公司 一种运动路线的展示方法、装置及计算机可读存储介质

Similar Documents

Publication Publication Date Title
JP5735657B2 (ja) 表示装置及び表示方法
JP5964332B2 (ja) 画像表示装置、画像表示方法及び画像表示プログラム
JPH11249551A (ja) 地図情報表示装置及びナビゲーション用プログラムを記録した記録媒体
JP5735658B2 (ja) 表示装置及び表示方法
JP2015172548A (ja) 表示制御装置、制御方法、プログラム、及び記憶媒体
JP5795386B2 (ja) 表示装置及び制御方法
JP2015128956A (ja) ヘッドアップディスプレイ、制御方法、プログラム、及び記憶媒体
WO2013046424A1 (ja) ヘッドアップディスプレイ、制御方法、及び表示装置
WO2015111213A1 (ja) 表示装置、制御方法、プログラム、及び記憶媒体
JP2015141155A (ja) 虚像表示装置、制御方法、プログラム、及び記憶媒体
JP5702476B2 (ja) 表示装置、制御方法、プログラム、記憶媒体
WO2013046426A1 (ja) ヘッドアップディスプレイ、画像表示方法、画像表示プログラム、及び表示装置
WO2014002167A1 (ja) 情報表示装置、情報表示方法、情報表示プログラム及び記録媒体
JP6401925B2 (ja) 虚像表示装置、制御方法、プログラム、及び記憶媒体
WO2011121788A1 (ja) ナビゲーション装置、情報表示装置、ナビゲーション方法、ナビゲーションプログラムおよび記録媒体
WO2013088512A1 (ja) 表示装置及び表示方法
WO2014192135A1 (ja) 表示装置、表示方法及び表示プログラム
JP5438172B2 (ja) 情報表示装置、情報表示方法、情報表示プログラムおよび記録媒体
WO2013069141A1 (ja) ヘッドアップディスプレイ、表示方法、及び案内装置
WO2014049705A1 (ja) 表示制御装置、表示制御方法及びプログラム、並びにサーバ装置
WO2014038044A1 (ja) 表示装置、表示方法、プログラム及び記録媒体
WO2013046423A1 (ja) ヘッドアップディスプレイ、制御方法、及び表示装置
WO2013046425A1 (ja) ヘッドアップディスプレイ、制御方法、及び表示装置
JP2014235054A (ja) 表示装置、表示方法及び表示プログラム
JP6058123B2 (ja) 表示装置、制御方法、プログラム、及び記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12879958

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12879958

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP