WO2019097755A1 - 表示装置及びコンピュータプログラム - Google Patents

表示装置及びコンピュータプログラム Download PDF

Info

Publication number
WO2019097755A1
WO2019097755A1 PCT/JP2018/024290 JP2018024290W WO2019097755A1 WO 2019097755 A1 WO2019097755 A1 WO 2019097755A1 JP 2018024290 W JP2018024290 W JP 2018024290W WO 2019097755 A1 WO2019097755 A1 WO 2019097755A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
guidance
traveling path
display device
Prior art date
Application number
PCT/JP2018/024290
Other languages
English (en)
French (fr)
Inventor
賢二 渡邊
広之 三宅
穣作 中西
Original Assignee
アイシン・エィ・ダブリュ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2017222167A external-priority patent/JP7151073B2/ja
Application filed by アイシン・エィ・ダブリュ株式会社 filed Critical アイシン・エィ・ダブリュ株式会社
Priority to US16/649,434 priority Critical patent/US11511627B2/en
Priority to DE112018004583.8T priority patent/DE112018004583T5/de
Publication of WO2019097755A1 publication Critical patent/WO2019097755A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/365Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B60K2360/166
    • B60K35/23
    • B60K35/28
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions

Definitions

  • the present invention relates to a display device and computer program for providing driving assistance for a vehicle.
  • various means have been used as information providing means for providing vehicle occupants with various information for providing vehicle travel support such as route guidance and obstacle warning.
  • a display by a liquid crystal display installed in a vehicle an audio output from a speaker, and the like.
  • an image superimposed on the driver's surrounding environment such as a head-up display (hereinafter referred to as HUD) or a window shield display (hereinafter referred to as WSD)
  • HUD head-up display
  • WSD window shield display
  • a landmark (such as a convenience store) serving as a mark of the route is announced by a voice guidance device, and a real view of the front of the vehicle using a HUD. It is disclosed about displaying the virtual image which superimposes on the position of the landmark in. The occupant can grasp the position of the landmark which is the mark of the left / right turn (that is, the position of the intersection where the left / right turn is made) based on the position of the virtual image seen through the front window.
  • a virtual image is displayed so as to be viewed from an occupant superimposed on the position of a landmark that is a mark of turning to the left or right in a real view.
  • the virtual image to be displayed is superimposed on a part of the landmark and displayed only superimposed, and the context of the landmark and the virtual image is unclear.
  • the present invention has been made to solve the above-mentioned problems in the prior art, and by clarifying the positional relationship between the guide image and the object in the real view, the vehicle occupant should be exactly on the traveling route. It is an object of the present invention to provide a display device and a computer program that can be notified.
  • the display device is mounted on a vehicle, and a guide image for guiding the traveling direction of the traveling path on which the vehicle travels after leaving the guidance junction is a landscape in front of the vehicle.
  • a computer program is a program for supporting the running of a vehicle. Specifically, a display device mounted on a vehicle and displaying a guidance image for guiding the traveling direction of the traveling path on which the vehicle travels after leaving the guidance junction is superimposed on a landscape in front of the vehicle and visually recognized. An area overlapping with a peripheral object present on the front side of the traveling path where the vehicle travels is excluded from the guidance image, and functions as guidance image display means for displaying the guidance image.
  • the guidance image for guiding the traveling direction after leaving the guidance junction is a peripheral object present on the front side of the traveling path on which the vehicle travels.
  • the vehicle occupant clearly indicates the anteroposterior relationship between the position of the peripheral object (for example, a building, a pedestrian, a vehicle, a roadside tree, etc.) included in the real view and the position of the guide image because the overlapping region is excluded from the overlapping target. It becomes possible to grasp. As a result, it is possible to accurately notify the occupants of the vehicle of the traveling route to be advanced.
  • FIG. 1 is a schematic block diagram of a superimposed image display device 1 according to the first embodiment.
  • the superimposed image display device 1 includes a navigation device 3 mounted on the vehicle 2 and a head-up display device (hereinafter referred to as HUD) 4 mounted on the vehicle 2 and connected to the navigation device 3 as well.
  • HUD head-up display device
  • the navigation device 3 searches for a recommended route to a destination, displays a map image around the current position of the vehicle 2 based on map data acquired from a server or stored in a memory, or is set. It has a function of performing travel guidance along the guided route together with the HUD 4. It is not necessary for the navigation device 3 to have all of the above-described functions, and the present invention can be configured as long as it has at least a function for performing travel guidance along the guidance route. The details of the structure of the navigation device 3 will be described later.
  • the HUD 4 is installed inside the dashboard 5 of the vehicle 2 and has a liquid crystal display 6 which is an image display surface on which an image is displayed. Then, the image projected on the liquid crystal display 6 is reflected by the front window 8 in front of the driver's seat through the concave mirror 7 and the like included in the HUD 4 as described later, and is made visible to the occupant 9 of the vehicle 2 ing.
  • the images displayed on the liquid crystal display 6 include information related to the vehicle 2 and various information used to support the driving of the occupant 9. For example, a warning for an object (other vehicle or pedestrian) to be a warning target for the occupant 9, guidance information based on the guidance route or guidance route set by the navigation device 3 (arrow etc. indicating a turning direction), There are warnings (such as collision warning and speed limit), current vehicle speed, advertisement image, guide sign, map image, traffic information, news, weather forecast, time, screen of connected smartphone, television program and the like.
  • the occupant 9 when the occupant 9 visually recognizes the image displayed on the liquid crystal display 6 by reflecting the front window 8, the occupant 9 is not at the front window 8 but at the front window 8.
  • the image displayed on the liquid crystal display 6 at the distant position is visually recognized as a virtual image 10.
  • the virtual image 10 is displayed superimposed on the scenery in front of the vehicle (real scenery), for example, superimposed on any object (road surface, building, moving object to be warned, etc.) located in front of the vehicle It is also possible to display.
  • the virtual image 10 visible to the occupant 9 is an image displayed on the liquid crystal display 6, the vertical direction and the horizontal direction may be reversed by the concave mirror 7 and other mirrors. It is necessary to display the image of the liquid crystal display 6.
  • the size is also changed by the concave mirror 7.
  • the curvature of the concave mirror 7 included in the HUD 4, the liquid crystal display 6 and the concave mirror 7, and the position at which the virtual image 10 is generated more specifically, the distance L from the occupant 9 to the virtual image 10 (hereinafter referred to as imaging distance)
  • imaging distance the distance L from the occupant 9 to the virtual image 10
  • the imaging distance L is determined by the distance (optical path length) along the optical path from the position where the image is displayed on the liquid crystal display 6 to the concave mirror 7.
  • the optical path length is set such that the imaging distance L is 2.5 m.
  • HUD4 is used as a means to display the image superimposed on the scenery ahead of a vehicle in 1st Embodiment
  • a window shield display that displays an image on the front window 8
  • an image may be displayed from the projector with the front window 8 as a screen, or the front window 8 may be a transmissive liquid crystal display.
  • the image displayed on the front window 8 by the WSD is an image to be superimposed on the scenery in front of the vehicle, similarly to the HUD 4.
  • the scenery in front of the vehicle captured by the front camera 11 described later on a liquid crystal display in the car, and to display an image superimposed on the scenery displayed in the same liquid crystal display.
  • the image displayed on the liquid crystal display is an image to be superimposed on the scenery in front of the vehicle, similarly to the HUD 4.
  • the front camera 11 is installed above the front bumper of the vehicle, the back side of the rearview mirror, and the like.
  • the front camera 11 is an imaging device having a camera using a solid-state imaging device such as a CCD, for example, and is installed with the optical axis direction facing forward in the traveling direction of the vehicle. Then, image processing is performed on the captured image captured by the front camera 11 to detect the condition of the front environment (that is, the environment in which the virtual image 10 is superimposed) which is visually recognized by the occupant 9 through the front window 8 Be done.
  • a sensor such as a millimeter wave radar may be used instead of the front camera 11.
  • an in-vehicle camera 12 is installed on the upper surface of the instrument panel of the vehicle.
  • the in-vehicle camera 12 is an imaging device having a camera using a solid-state imaging device such as a CCD, for example, and is installed with the optical axis direction facing the driver's seat. Then, the face of the occupant 9 sitting in the driver's seat is imaged. Then, image processing is performed on the captured image captured by the in-vehicle camera 12 to detect the eye position (gaze start point) of the occupant 9 and the gaze direction.
  • FIG. 2 is a block diagram showing the navigation device 3 according to the first embodiment.
  • the navigation device 3 includes a current position detection unit 13 for detecting the current position of the vehicle 2 on which the navigation device 3 is mounted, and a data recording unit 14 in which various data are recorded.
  • the navigation ECU 15 performs various arithmetic processing based on the input information, the operation unit 16 that receives an operation from the user, and a liquid crystal display that displays the map of the vehicle and facility information related to the facility to the user Communication is performed between a speaker 18, which outputs voice guidance regarding route guidance, a DVD drive 19 which reads a DVD as a storage medium, and an information center such as a VICS (registered trademark: Vehicle Information and Communication System) center.
  • a communication module 20 is connected to the above-described HUD 4, the front camera 11, the in-vehicle camera 12, and the like via an on-vehicle network such as CAN.
  • the current position detection unit 13 includes the GPS 21, the vehicle speed sensor 22, the steering sensor 23, the gyro sensor 24, and the like, and can detect the current position, orientation, traveling speed of the vehicle, current time, etc. .
  • the vehicle speed sensor 22 is a sensor for detecting the moving distance of the vehicle and the vehicle speed, generates a pulse according to the rotation of the drive wheel of the vehicle, and outputs a pulse signal to the navigation ECU 15.
  • navigation ECU15 calculates the rotational speed and the movement distance of a driving wheel by counting the pulse which generate
  • the navigation device 3 does not have to include all the four types of sensors described above, and the navigation device 3 may be configured to include only one or more of these sensors.
  • the data recording unit 14 is a hard disk (not shown) as an external storage device and a recording medium, a driver for reading a map information DB 31 recorded on the hard disk, a predetermined program, etc. and writing predetermined data on the hard disk And a recording head (not shown).
  • the data recording unit 14 may have a flash memory, a memory card, or an optical disk such as a CD or a DVD instead of the hard disk.
  • the map information DB 31 may be stored in an external server, and the navigation device 3 may acquire the map information through communication.
  • the two-dimensional map information 33 is map information used in the general navigation device 3 and, for example, link data related to roads (links), node data related to node points, facility data related to facilities, search data used for route search processing , Map display data for displaying a map, intersection data regarding each intersection, search data for searching for a point, and the like.
  • the three-dimensional map information 34 is not only a plane but also height information, and is map information for expressing a map in three dimensions.
  • the contours of the road, the shape of the building, the lane markings of the road, traffic lights, road signs, signboards and the like in three dimensions are used as map information.
  • the three-dimensional map information 34 may include information other than the outline of the road, the shape of the building, the lane line of the road, the traffic light, the road sign, and the signboard.
  • road trees and road markings may also include information for expressing in three dimensions.
  • the map itself may be stored in which the objects of the outline of the road, the shape of the building, the road division line, the traffic signal, the road sign, the signboard, etc. And may store information necessary for expressing a map in three dimensions (such as the outline of a road, the shape of a building, a road lane line, a traffic signal, a road sign, a signboard, etc.) .
  • the navigation device 3 three-dimensionally displays the target area using the information stored as the three-dimensional map information 34 at the necessary timing. Generate a map that you expressed.
  • the navigation device 3 performs two-dimensional map information 33 for general functions such as display of a map image on the liquid crystal display 17 and search for a guide route.
  • the process related to the display of the guidance image is performed using the three-dimensional map information 34 as described later.
  • the navigation ECU (Electronic Control Unit) 15 is an electronic control unit that controls the entire navigation device 3 and is a working memory when the CPU 41 as an arithmetic device and control device and the CPU 41 perform various arithmetic processing.
  • the RAM 42 which stores route data etc. when a route is searched, and a program for control, it is read out from ROM 43 and ROM 43 where the driving support processing program (FIG. 3) and the like described later are recorded.
  • An internal storage device such as a flash memory 44 for storing a program is provided.
  • the navigation ECU 15 has various means as a processing algorithm.
  • the peripheral object determination means determines the presence or absence of the peripheral object present around the guidance junction in the guidance route.
  • the correction means corrects, as a non-drawing area excluded from the drawing target, a portion overlapping with the peripheral object in the guidance image for guiding the traveling direction of the traveling path on which the vehicle travels after leaving the guidance junction.
  • the display means displays the corrected guide image.
  • the operation unit 16 is operated when inputting a departure place as a travel start point and a destination as the travel end point, and has a plurality of operation switches (not shown) such as various keys and buttons. And navigation ECU15 performs control in order to perform various corresponding operations based on the switch signal outputted by pressing etc. of each switch.
  • the operation unit 16 may have a touch panel provided on the front of the liquid crystal display 17. Moreover, you may have a microphone and a speech recognition apparatus.
  • the liquid crystal display 17 includes map images including roads, traffic information, operation guidance, operation menus, guidance of keys, guidance route from the departure place to the destination, guidance information along the guidance route, news, weather forecast, The time, mail, television program etc. are displayed.
  • the liquid crystal display 17 since the HUD 4 is provided as the information display means, the liquid crystal display 17 may be omitted if the display of the map image etc. is performed by the HUD 4.
  • the speaker 18 outputs voice guidance for guiding traveling along the guidance route based on an instruction from the navigation ECU 15 and guidance for traffic information.
  • the DVD drive 19 is a drive capable of reading data recorded on a recording medium such as a DVD or a CD. Then, based on the read data, reproduction of music and video, update of the map information DB 31, and the like are performed. In place of the DVD drive 19, a card slot for reading and writing a memory card may be provided.
  • the communication module 20 is a communication device for receiving traffic information including traffic jam information, regulation information, traffic accident information and the like transmitted from a traffic information center, for example, a VICS center or a probe center.
  • a traffic information center for example, a VICS center or a probe center.
  • a mobile phone or DCM corresponds.
  • FIG. 3 is a flowchart of a driving support processing program according to the first embodiment.
  • the driving support processing program is a program that is executed after the ACC power supply (accessory power supply) of the vehicle is turned on, and uses the HUD 4 to guide the occupant 9 of the vehicle 2 to the traveling direction of the vehicle at the guidance junction.
  • the program shown in the flowchart of FIG. 3 below is stored in the RAM 42 or the ROM 43 provided in the navigation device 3 and is executed by the CPU 41.
  • the “guide branch point” is a branch point at which it is necessary to guide the traveling direction of the vehicle when guiding the traveling of the vehicle along the guide route set in the navigation device 3, for example, a crossroad,
  • the intersections such as T-shaped road and Y-shaped road correspond.
  • the guidance junction is not limited to the intersection where two roads intersect, and may be, for example, a junction where one road branches into a plurality of roads.
  • the CPU 41 determines in step (hereinafter abbreviated as S) 1 whether or not a guidance branch point exists within a predetermined distance (for example, 700 m) ahead of the traveling direction of the vehicle 2. Specifically, the CPU 41 is based on the guide route currently set in the navigation apparatus 3, the map information stored in the map information DB 31, and the current position of the vehicle 2 detected based on the current position detection unit 13. To judge.
  • the guide route is determined by a route search process using a known Dijkstra method, for example, when the user sets a destination at the start of traveling or the like.
  • the means for determining whether or not a guidance junction is present at a predetermined distance ahead of the traveling direction of the vehicle 2 in S1 is not limited to the above method.
  • the CPU 41 identifies the current position of the vehicle in the three-dimensional map information 34 by collating the captured image captured by the front camera 11 with the three-dimensional map information 34, and the guidance branch point It may be determined whether or not it exists.
  • the process proceeds to S2.
  • the process waits until it is determined that the guidance branch point exists.
  • the CPU 41 repeatedly executes the process of S1 with an interval of, for example, a preset time.
  • the CPU 41 determines whether a road sign is particularly present as a peripheral object located around the guidance junction which is ahead of the vehicle in the traveling direction.
  • the determination process in S2 may be performed by performing image processing on a captured image captured by the front camera 11, or may be determined based on the current position of the vehicle and the three-dimensional map information 34.
  • the three-dimensional map information 34 includes information for specifying the installation position of the road sign in advance.
  • peripheral objects to be judged in S2 also include guardrails, curve mirrors, utility poles, artificial objects such as buildings, artificial objects such as windbreak forests, etc. good.
  • the peripheral objects are not limited to fixed ones, and may be moving objects such as people. Below, a road sign is mentioned as an example and explained as an example of a peripheral subject.
  • the CPU 41 generates, as an image to be displayed on the liquid crystal display 6 of the HUD 4, an image of an arrow for guiding the traveling direction of the traveling path in which the vehicle advances after leaving the guidance branch point.
  • the shape of the generated arrow image is determined by the traveling direction of the vehicle and the shape of the guiding junction.
  • the image displayed on the liquid crystal display 6 is viewed from the occupant of the vehicle as a virtual image 10 superimposed on the landscape in front of the vehicle (see FIG. 1).
  • the CPU 41 corrects the generated image of the arrow at S3. Specifically, the tip side of the arrow is extended toward the tip side in the traveling direction along the traveling path, and the length of the entire arrow is made longer.
  • the CPU 41 transmits a control signal to the HUD 4, and displays the arrow image after being generated and corrected in S3 on the liquid crystal display 6 of the HUD 4.
  • a virtual image 10 of an arrow is visually recognized from the occupants of the vehicle superimposed on the landscape in front of the vehicle as a guide image for guiding the traveling direction of the traveling path on which the vehicle travels after leaving the guidance junction.
  • FIG. 4 is a diagram showing a virtual image of an arrow visually recognized from the occupant of the vehicle, in particular, when the traveling direction of the traveling path on which the vehicle travels after leaving the guidance junction is straight ahead.
  • an arrow 71 (arrow image) indicating that the vehicle travels forward while being superimposed on the road surface of the traveling path 73 is displayed as a virtual image.
  • the virtual image of the arrow 71 passes through the guidance junction 72 which is a crossroad, and is extended along the traveling path 73 toward the tip of the traveling direction.
  • the arrow 71 is extended, for example, to the upper end of the displayable area of the HUD 4.
  • FIG. 5 is a view showing a virtual image of an arrow visually recognized by the occupant of the vehicle when the traveling direction of the traveling path on which the vehicle travels after leaving the guidance junction is the left direction (i.e., left turn). is there.
  • the traveling path 74 after turning left at the guidance junction 72 from the traveling path 73 is superimposed on a position separated upward with respect to the road surface.
  • An arrow 71 (arrow image) indicating to move to the left is displayed as a virtual image.
  • the virtual image of the arrow 71 is extended toward the end of the traveling direction along the traveling path 74 after turning left at the guidance junction 72.
  • the arrow 71 is extended, for example, to the left end of the displayable area of the HUD 4.
  • the occupant who visually recognizes the virtual image of the arrow 71 shown in FIG. 5 can easily grasp that the guidance junction 72 is turned left and exits to the traveling path 74.
  • the CPU 41 acquires the type and size (not the size in the captured image but the actual size) of the road sign installed around the guidance junction 72. Specifically, the CPU 41 performs image processing on the image of the road sign taken by the front camera 11 and determines the type and size of the road sign based on features such as shape and design. In the case of Japan, for example, the shape (size), design, etc. of the road sign is defined by a road sign, a division line and an instruction (marking order) relating to the road marking. In the map information DB 31, information on the shape and design is stored in advance for each type of road sign specified by the sign command, and the CPU 41 extracts the data of the corresponding road sign, and the periphery of the guidance junction 72 is obtained.
  • the shape (size), design, etc. of the road sign is defined by a road sign, a division line and an instruction (marking order) relating to the road marking.
  • the map information DB 31 information on the shape and design is stored in advance for each type of road sign specified by the sign
  • Get the type and size of the road signs installed in The type and size of the road sign may be acquired using the three-dimensional map information 34.
  • the three-dimensional map information 34 includes, in addition to the installation position of the road sign in advance, information for specifying the type and size of the road sign.
  • the CPU 41 calculates the distance from the vehicle 2 to the road sign installed around the guidance junction (hereinafter referred to as the first distance).
  • the details of the method of calculating the first distance in S6 will be described below.
  • FIG. 6 shows the first distance D1 from the vehicle 2 to the road sign 81 installed around the guidance junction 72.
  • the first distance D1 is particularly the distance from the position X of the head of the occupant 9 of the vehicle 2 to the road sign 81.
  • the in-vehicle camera 12 is installed on the instrument panel or ceiling of the vehicle 2 as described above, is installed with the imaging direction facing the driver's seat, and the captured image includes the face of the occupant 9 who is the driver. It becomes. Therefore, the CPU 41 can detect the position X of the head of the occupant 9 based on the image captured by the in-vehicle camera 12.
  • the CPU 41 compares the size of the road sign 81 acquired in S5 with the size of the road sign 81 in the image captured by the front camera 11, and the straight distance connecting the front camera 11 and the road sign 81 Calculate
  • the size of the road sign 81 imaged by the front camera 11 decreases as the first distance D1 between the road sign 81 and the vehicle 2 increases. Therefore, the CPU 41 can calculate the linear distance between the front camera 11 and the road sign 81 by comparing the size of the road sign 81 in the captured image with the actual size of the road sign 81. is there. If the front camera 11 is a stereo camera, it is possible to calculate the linear distance between the front camera 11 and the road sign 81 directly from the captured image.
  • the CPU 41 adds the distance between the front camera 11 and the position X of the head of the occupant 9 to the calculated linear distance, and calculates the linear distance D3 connecting the position X of the head of the occupant 9 and the road sign 81 Do.
  • the CPU 41 calculates an angle ⁇ formed by a straight line connecting the position X of the head of the occupant 9 and the road sign 81 and the width direction of the vehicle 2. Specifically, the CPU 41 first performs image processing on the captured image captured by the front camera 11 to specify the position of the road sign 81 in the captured image. Thereafter, the angle ⁇ is calculated based on the specified position of the road sign 81 and the linear distance between the front camera 11 and the road sign 81. Then, the CPU 41 calculates a first distance D1 from the position X of the head of the occupant 9 to the road sign 81 based on the linear distance D3 and the angle ⁇ .
  • the first distance D1 or the linear distance D3 may be calculated by methods other than the above-described method.
  • the CPU 41 calculates the linear distance D3 and the first distance D1 based on the position information of the road sign 81 included in the three-dimensional map information 34 and the current position of the vehicle 2 detected by the current position detection unit 13 It is also good.
  • the CPU 41 can also calculate the angle ⁇ based on the line of sight of the occupant 9 detected by the image processing of the in-vehicle camera 12. Specifically, by processing the image captured by the in-vehicle camera 12 first, the line-of-sight start point (eye position) and the line-of-sight direction are detected.
  • the line-of-sight starting point and the line-of-sight direction for example, there is a method of detecting using the center position of the pupil measured by the corneal reflection method or a Purkinje image. Since these methods are already known techniques, details are omitted. Thereafter, when the CPU 41 concentrates on the traveling path 74 guided by the line of sight of the occupant 9, it is possible to calculate the angle ⁇ based on the line of sight assuming that the occupant gazes at the road sign 81.
  • the CPU 41 calculates the first distance D1 for each of the existing road signs.
  • not all road signs are targeted, but only road signs installed on the traveling path 74 side of the guidance junction 72 are targeted.
  • the road signs 81 and 82 installed on the traveling path 74 side of the guidance branch point 72 are the first distance It becomes an object to calculate D1.
  • a road sign 83 installed on the sidewalk on the left side of the traveling path 73 is also an object.
  • the road sign 84 on the traveling path 75 side where the guide branch point 72 which deviates from the guide route is turned to the right is excluded from the calculation of the first distance D1.
  • the first distance D1 may be calculated for other than the road sign (for example, the road sign 84 in FIG. 6) installed on the traveling path 74 side of the guidance junction 72.
  • the CPU 41 calculates a second distance D2 which is a distance between the vehicle 2 and the road end Y of the traveling path 74 after leaving the guidance junction 72.
  • the road end Y is a road end on the side of the guidance junction 72 of the traveling path 74, and is at the closest side (vehicle side).
  • the CPU 41 detects the position of the road end Y of the traveling path 74 based on the map information.
  • the CPU 41 calculates a second distance D2 based on the position of the road end Y of the traveling path 74, the current position of the vehicle 2, and the position X of the head of the occupant 9.
  • first distance D1 and the second distance D2 described above are based on the position X of the head of the occupant 9, the present invention is not limited thereto, and the front camera 11 of the vehicle 2, the front end of the vehicle, the position of the vehicle center, etc. As well.
  • the CPU 41 stands on the near side of the traveling path 74 after leaving the guidance junction 72. Determine if a road sign is present.
  • the first distance D1 of the road sign 81 standing on the front side of the traveling path 74 is equal to or less than the second distance D2 of the road end Y of the traveling path 74.
  • the first distance D1 of the road sign 82 standing on the far side of the traveling path 74 is longer than the second distance D2. Therefore, the CPU 41 can determine whether the road sign is present on the near side of the traveling path 74 based on the second distance D2.
  • the CPU 41 determines the distance D4 from the position X of the head of the occupant 9 shown in FIG. It may be determined whether the road signs 81 and 82 are standing on the front side or the rear side of the traveling path 74 using the road width W1 or the like. For example, the CPU 41 can compare the distance obtained by adding the road width W1 to the second distance D2 and the first distance D1 of the road sign 82 to determine whether it is present on the front side of the traveling path 74 . The CPU 41 can detect the road width W1 based on the map information.
  • the CPU 41 is a road sign standing on the near side of the traveling path 74 after leaving the guidance junction 72 (for example, the road sign 81 in the example shown in FIG. Is determined as a road sign to be displayed entangled with the virtual image 10 of the arrow displayed as a guide image.
  • the target road sign determined in S9 is placed on the front side of the virtual image 10 of the arrow, the following processing is performed.
  • the CPU 41 calculates the position of the target road sign shown on the front window 8. More specifically, when the occupant 9 views the target road sign over the front window 8, the CPU 41 calculates the position where the line of sight of the occupant 9 looking at the target road sign overlaps the front window 8.
  • FIG. 7 shows the position 91 of the road sign 81 on the front window 8.
  • the position 91 for example, the center of the road sign 81 in the vertical direction is a position when the occupant 9 looks.
  • the CPU 41 calculates the position 91 based on the angle ⁇ , the position X of the head of the occupant, and the vehicle information.
  • the position X of the head of the occupant is, for example, a position in the front-rear direction, the left-right direction, and the vertical direction of the vehicle 2 (that is, a position in a three-dimensional space).
  • the vehicle information is, for example, information such as the size of the front window 8, the arrangement (distance from the driver's seat), and the inclination angle, and is stored in the data recording unit 14 in advance. Then, the CPU 41 calculates, as the position 91 of the road sign 81 on the front window 8, a position where the straight line extending in the horizontal direction at an angle ⁇ with the width direction of the vehicle at the position X of the head overlaps the front window 8.
  • the CPU 41 calculates an area where the virtual image of the arrow 71, which is a guidance image, and the target road sign overlap when the occupant 9 views the target road sign, and sets the overlapping area as a non-drawing area excluding the drawing target. Do. Specifically, in S11, the CPU 41 executes the following processing.
  • the CPU 41 calculates the size of the target road sign shown in the front window 8 based on the straight line distance D3 connecting the position X of the head of the occupant and the target road sign.
  • the CPU 41 calculates the position and size of the target road sign shown in the front window 8 visible to the occupant 9 Do.
  • the CPU 41 determines an area where the virtual image of the arrow 71 and the target road sign overlap when the occupant 9 looks at the target road sign based on the position and size of the target road sign and the position and size of the arrow 71 displayed. calculate.
  • the CPU 41 sets the calculated area as a non-drawing area in which the arrow 71 is not drawn. After that, when displaying the image of the arrow 71 on the liquid crystal display 6 of the HUD 4 as described later, the CPU 41 performs display control so that the virtual image of the arrow 71 is not displayed in the set non-drawing area.
  • the CPU 41 first generates, as an image to be displayed on the liquid crystal display 6 of the HUD 4, an image of an arrow for guiding the traveling direction of the traveling path traveled by the vehicle after leaving the guidance branch point.
  • the shape of the generated arrow image is determined by the traveling direction of the vehicle and the shape of the guiding junction.
  • the image displayed on the liquid crystal display 6 is viewed from the occupant of the vehicle as a virtual image 10 superimposed on the landscape in front of the vehicle (see FIG. 1).
  • the CPU 41 sets an image of an arrow lacking the corresponding area so that a virtual image is not displayed in the non-drawing area set in S11 among the generated images of the arrows. Thereafter, the CPU 41 transmits a control signal to the HUD 4 and displays an arrow image after being generated and corrected on the liquid crystal display 6 of the HUD 4. As a result, a virtual image of an arrow excluded from the drawing target is displayed for the portion overlapping the target road sign.
  • FIG. 8 shows a state in which the virtual image of the arrow 71 in which the non-drawing area 93 is set, that is, the correction based on the non-drawing area 93 is displayed.
  • the virtual image of the arrow 71 is corrected (set) in the non-drawing area 93 in a portion overlapping the pole 81 A of the road sign 81. Therefore, the virtual image of the arrow 71 is displayed so as to pass through the back side (rear side) of the pole 81 A of the road sign 81 standing on the front side of the traveling path 74 in the non-drawing area 93.
  • the virtual image of the arrow 71 is displayed so as to overlap on the front side of the road sign 82.
  • the occupant 9 can grasp the positional relationship between the road signs 81 and 82 and the virtual image of the arrow 71, and can accurately recognize the traveling path 74 to be advanced.
  • the CPU 41 continuously displays the virtual image of the arrow 71 until it passes the guidance junction. Then, the process ends after passing the guidance junction. After that, when the next guidance branch point approaches, the processing after S1 is executed again.
  • the non-drawing area is set for the road signs 81 and 82, but the same processing is performed for other peripheral objects such as guardrails, curve mirrors, buildings, and windbreaks. It can be done.
  • the CPU 41 may set a non-drawing area 94 as a portion where the virtual image of the arrow 71 and the building 85 overlap.
  • the arrow 71 is displayed as if the tip end portion of the arrow 71 has turned to the back side of the building 85.
  • the occupant 9 can recognize the traveling path 74 passing the back side of the building 85 with the building 85 as a mark, and the occurrence of a situation in which the road on which the vehicle is bent is erroneously suppressed.
  • the arrow 71 that guides the traveling direction after turning left at the guidance branch point 72
  • the virtual image is corrected such that a portion overlapping the road sign 81 existing around the guidance junction 72 is a non-drawing area 93.
  • the virtual image of the arrow 71 after correction is displayed with the position of the non-drawing area 93 aligned with the position of the road sign 81.
  • a part (pole 81A) of the road sign 81 is visually recognized so as to be located on the near side of the arrow 71 after the correction in the non-drawing area 93. Accordingly, the occupant 9 can recognize the anteroposterior relationship between the position of the road sign 81 and the position of the virtual image of the arrow 71 after correction, and can accurately grasp the traveling path 74 to be advanced.
  • the schematic configuration of the superimposed image display device according to the second embodiment is substantially the same as that of the superimposed image display device 1 according to the first embodiment.
  • the various control processes are also substantially the same control processes as the superimposed image display device 1 according to the first embodiment.
  • the superimposed image display device 1 according to the first embodiment calculates the non-drawing area based on the positional relationship between the vehicle and the peripheral object, and determines the shape of the guidance image to be displayed from the calculated non-drawing area.
  • the superimposed image display device according to the second embodiment determines the shape of the guide image to be displayed by placing a model of the guide image on the three-dimensional map information 34. It differs from the superimposed image display device 1 concerned.
  • FIG. 10 is a flowchart of a driving support processing program according to the second embodiment.
  • the CPU 41 determines whether or not a guidance branch point exists within a predetermined distance (for example, 700 m) ahead of the traveling direction of the vehicle 2.
  • a predetermined distance for example, 700 m
  • the process proceeds to S22.
  • the process waits until it is determined that the guidance branch point exists.
  • the CPU 41 repeatedly executes the process of S21 with an interval of, for example, a preset time.
  • the CPU 41 acquires a captured image obtained by capturing an image of a scene in front of the vehicle by the front camera 11. Furthermore, the CPU 41 reads three-dimensional map information 34 around the current position of the vehicle from the map information DB 31. In addition, information necessary for expressing a map in three dimensions (three-dimensional coordinate data of a road contour, a building shape, a road division line, a traffic signal, a road sign, a signboard, etc.) in the three-dimensional map information 34 Etc. are stored.
  • the CPU 41 generates a three-dimensional three-dimensional map (map representing a building, a road, etc. in three dimensions) showing the vicinity of the guidance junction based on the three-dimensional map information 34 read in S22. Specifically, a three-dimensional three-dimensional map is generated by executing the following processing.
  • the CPU 41 acquires an object (shape data) obtained by modeling a road, a building, a road sign, a signboard, and the like on a three-dimensional space from the three-dimensional map information 34. It should be noted that the CPU 41 may be configured to acquire the corresponding object among the objects modeled in advance and stored in the DB, or may be configured to perform modeling at S23 to newly create an object. When modeling is performed, information for specifying the shape and position of a structure (building, road sign, signboard, etc.) around a road or a guidance junction is acquired from the three-dimensional map information 34, and the acquired information is Based on the modeling process.
  • an object shape data obtained by modeling a road, a building, a road sign, a signboard, and the like on a three-dimensional space from the three-dimensional map information 34. It should be noted that the CPU 41 may be configured to acquire the corresponding object among the objects modeled in advance and stored in the DB, or may be configured to perform modeling at S23 to newly create an object.
  • modeling is a process of creating the shape of a model (object) in a three-dimensional space, and more specifically, determination of coordinates of each vertex, determination of parameters of equations representing boundaries, planes, etc. I do.
  • the modeled object shape data
  • the modeled object shape data
  • the modeled object is expressed in a form such as a “wire frame model” that displays only the side depending on the application, a “surface model” that displays a surface, or the like.
  • a three-dimensional space in which each object is formed is taken as a three-dimensional three-dimensional map.
  • the CPU 41 also specifies the current position and the heading of the vehicle in the generated three-dimensional three-dimensional map based on the parameters detected by the current position detection unit 13.
  • the current position of the host vehicle is particularly the installation position of the front camera 11 installed on the host vehicle, and the heading of the host vehicle is the front It is desirable to set the direction of the optical axis of the camera 11.
  • FIG. 11 is a view showing an example of the three-dimensional three-dimensional map 101 generated at S23.
  • objects 102 indicating roads and structures (buildings, road signs, signboards, etc.) are arranged in a three-dimensional space.
  • objects 102 indicating roads and structures around a guidance junction 103 located in front of the traveling direction of the vehicle are disposed.
  • the three-dimensional three-dimensional map 101 is also arranged for the vehicle position mark 104 indicating the current position and the direction of the vehicle.
  • the CPU 41 collates the captured image acquired in S22 with the three-dimensional three-dimensional map generated in S23, and determines whether or not there is a gap between the two. Specifically, the CPU 41 uses the current position of the vehicle (more specifically, the installation position of the front camera 11 and the height also taken into consideration) set in the three-dimensional three-dimensional map as a viewpoint, and the direction of the vehicle The direction is set, and the image when the three-dimensional three-dimensional map is visually recognized according to the set viewpoint and gaze direction is collated with the captured image.
  • a three-dimensional three-dimensional map does not include moving objects such as pedestrians and other vehicles, and some fixed objects such as trees, displacement due to them is basically ignored and determined.
  • the CPU 41 sets the current position and orientation of the vehicle set in the three-dimensional stereo map so that the difference between the three-dimensional stereo map generated in S23 and the captured image acquired in S22 becomes small. to correct.
  • the current position and orientation of the vehicle in the three-dimensional three-dimensional map may be fixed to correct the object side.
  • it is possible to specify the current position and orientation of the host vehicle (more specifically, the installation position of the front camera 11 and the optical axis direction) within the three-dimensional three-dimensional map. After that, it returns to S24.
  • the CPU 41 arranges a guidance image for guiding at the guidance junction with respect to the three-dimensional solid map generated in S23.
  • a guidance image for guiding the traveling direction of the traveling path on which the vehicle travels after leaving the guidance junction is used as a guidance image.
  • a predetermined distance for example, 1 m
  • the guide image is arranged in a state of being vertically erected at a position away from the image.
  • the CPU 41 detects a moving object (moving object) located around the guidance junction.
  • a moving object to be detected is, for example, a pedestrian, a bicycle, or a vehicle, and is detected by performing image processing on a captured image captured by the front camera 11.
  • the CPU 41 also identifies the position, type, and shape of the moving object detected based on the captured image, and the traveling path (traveling direction) thereafter.
  • the CPU 41 arranges the model (virtual body) of the moving object detected around the guidance junction at a position detected with respect to the three-dimensional solid map generated in S23.
  • the virtual body arranged for the three-dimensional three-dimensional map has a shape that simulates the shape of an actual moving object. For example, if it is a pedestrian, it will be set as a virtual body which has a human shape, and if it is a vehicle, it is set as a virtual body which has a vehicle shape.
  • the size also corresponds to the size of the actual moving object. However, when the moving object is indeterminate (the shape and the type can not be specified), the virtual object is exceptionally the smallest rectangular solid including all of the moving object.
  • FIG. 12 is a diagram in which the guide image 105 and the virtual bodies 106 and 107 of the moving object are arranged on the three-dimensional stereoscopic map 101, respectively.
  • the virtual body 106 indicates a pedestrian
  • the virtual body 106 indicates a bicycle. That is, it is shown that a pedestrian and a bicycle exist as moving objects around the guidance junction 103, respectively.
  • the CPU 41 determines whether or not there is "a moving object that has an influence when the host vehicle travels along the traveling path" among moving objects in which a virtual body is arranged on the three-dimensional three-dimensional map. Determine Specifically, for a moving object in which the traveling path of the vehicle overlaps with the traveling path in the future, it is determined as "a moving object that has an influence when the host vehicle travels along the traveling path".
  • the traveling path (traveling direction) of the pedestrian modeled by the virtual body 106 is a traveling path crossing the road connected to the left side of the guidance junction, the pedestrian's future The traveling path of the vehicle and the traveling path 108 of the own vehicle overlap. Therefore, the pedestrian modeled by the virtual body 106 is determined to be “a moving object that has an influence when the host vehicle travels along the traveling path”.
  • the traveling path (traveling direction) of the bicycle modeled by the virtual body 107 is a traveling path moving away from the guiding junction 103 without crossing a road connected to the left side of the guiding junction.
  • the future traveling route of the bicycle and the traveling route 108 of the own vehicle do not overlap. Therefore, it is determined that the bicycle modeled by the virtual body 107 is not “a moving object that has an influence when the host vehicle travels along the traveling path”.
  • the viewpoint of the vehicle is the position of the eyes of the vehicle occupant.
  • the position of the occupant's eyes can be detected by the in-vehicle camera 12, and the current position and orientation of the vehicle finally identified as a result of comparison between the captured image in S24 and the three-dimensional solid map
  • the positions of the eyes of the occupant in the three-dimensional map are specified.
  • each object a road, a building, a road sign, a signboard, a virtual object of a moving object, a guide image, etc.
  • the guidance image arranged on the three-dimensional three-dimensional map is corrected to a guidance image lacking an area overlapping the virtual body of the influential object so that the virtual image is not displayed in the area overlapping the influential object.
  • an area where the guidance image 105 and the virtual object 106 of the influential moving object overlap in the visual recognition image is an arrow lacking.
  • the tip of the arrow overlaps with the virtual object 106 of the influential object, the tip of the arrow is displayed by extending or contracting the tip of the arrow.
  • the guidance image disposed on the three-dimensional three-dimensional map is corrected to a guidance image having a shape that bypasses the virtual body of the influential object so that the virtual image is not displayed in the area overlapping the influential object.
  • the guidance image 105 is a curved arrow so as not to overlap the virtual object 106 of the moving object in the visible image.
  • the process of S30 is performed only for the influence target object located particularly on the back side of the traveling path of the vehicle (that is, the back side than the guide image 105).
  • the influence target object located on the near side that is, the front side of the guide image 105
  • the shape of the guide image is determined in the process of S31 described later.
  • the part overlapping with the influence object is the guidance image removed.
  • the CPU 41 stores the shape of the guide image (the shape after correction when the correction in S30 is performed) included in the visible image as the shape of the guide image to be displayed by the HUD 4.
  • the shape of the guide image included in the visible image is obtained by using each object (a road, a building, a road sign, a signboard, a virtual object of a moving object, a guide image, etc.) arranged on a three-dimensional three-dimensional map It is a shape of a guidance image that can be viewed when viewed from a viewpoint.
  • the shape of the guide image stored in S31 overlaps with each object (for example, a road sign, a building, a virtual object of a moving object arranged in S28, etc.) located on the front side of the traveling path If it is used, it has a shape excluding the overlapping part.
  • the shape of the guide image is the shape of an arrow
  • the shape of the arrow is excluded from the area that is viewed overlapping with each object.
  • the tip of the arrow is prevented from overlapping with the object by extending or contracting the tip of the arrow, and at least the tip of the arrow is included.
  • the overlapping portion is also included.
  • the CPU 41 acquires the position of the guide image arranged in the three-dimensional three-dimensional map. Specifically, after leaving the guidance junction, the vehicle travels at a position away from the road surface by a predetermined distance (for example, 1 m).
  • the CPU 41 performs display range determination processing described later.
  • a range in which the guidance image is displayed in the HUD 4 (a range in which the guidance image is projected on the front window 8 or a range in which the guidance image is displayed on the liquid crystal display 6 of the HUD 4) is determined.
  • the CPU 41 transmits a control signal to the HUD 4 and displays the guidance image of the shape stored in S21 on the liquid crystal display 6 of the HUD 4 in the display range determined in S33.
  • a virtual image of an arrow is visually recognized from the occupants of the vehicle superimposed on the landscape in front of the vehicle as a guide image for guiding the traveling direction of the traveling path on which the vehicle travels after leaving the guidance junction.
  • FIG. 16 shows a virtual image of the guidance image visually recognized by the occupant of the vehicle when the traveling direction of the traveling route on which the vehicle travels after leaving the guidance junction is the left direction (that is, left turn).
  • FIG. 16 an arrow indicating that the vehicle travels to the left at a position separated upward with respect to the road surface of the traveling path after turning left at the guidance branch point 103 over the front window 8 of the vehicle.
  • the guide image 105 of is displayed as a virtual image.
  • the virtual image of the guidance image 105 is displayed except for the area
  • the guidance image 105 is viewed so as to pass through the back side (rear side) of the road sign 112.
  • the road sign 113 standing on the far side of the traveling path is displayed overlapping. Therefore, the guide image 105 is viewed as passing through the near side of the road sign 113.
  • the occupant 9 can recognize the anteroposterior relationship between the positions of the road signs 112 and 113 and the position of the virtual image of the guide image 105, and can accurately grasp the traveling path to be advanced.
  • the peripheral object overlapping the virtual image of the guide image 105 is a road sign, but the same applies to a building or a moving object (a pedestrian or another vehicle). .
  • the corresponding region is missing or the moving object 110 so that the virtual image is not displayed in the region overlapping with the moving object 110.
  • FIG. 17 is a flowchart of a sub-processing program of display range determination processing.
  • the CPU 41 detects the position of the eyes of the occupant of the vehicle based on the captured image captured by the in-vehicle camera 12.
  • the position of the detected eye is specified by three-dimensional position coordinates.
  • the CPU 41 determines whether the display of the HUD 4 is ON. In addition, it is possible to perform switching of ON or OFF of the display of HUD4 by operation of the passenger
  • the CPU 41 acquires position coordinates of the front window 8 which is an object on which an image is projected by the HUD 4.
  • the position coordinates of the front window 8 are specified by three-dimensional position coordinates.
  • the CPU 41 acquires, as position coordinates of the guidance image, coordinates specifying the position of the guidance image arranged in the three-dimensional three-dimensional map acquired in S32.
  • the position coordinates of the guide image are also specified by three-dimensional position coordinates.
  • the CPU 41 determines the projection range of the guide image in the front window 8 based on the respective position coordinates acquired in S41, S43 and S44. Furthermore, the display range of the guidance image on the liquid crystal display 6 inside the HUD 4 is also determined from the determined projection range. Thereafter, the flow proceeds to S34, and a virtual image is displayed using the HUD 4 based on the determined projection range and display range. The processes of S31 to S34 are repeated until the display of the HUD is turned off.
  • the traveling direction of the traveling route along which the vehicle advances after leaving the guidance junction is
  • the guidance image to be guided is superimposed on the landscape in front of the vehicle for visual recognition
  • an area overlapping with the peripheral object present on the front side of the traveling path on which the vehicle travels is excluded from the guidance image (S31 to S34) Therefore, the vehicle occupant can clearly grasp the anteroposterior relationship between the position of the peripheral object (for example, a building, a pedestrian, a vehicle, a street tree, etc.) included in the real view and the position of the guidance image.
  • the position of the peripheral object for example, a building, a pedestrian, a vehicle, a street tree, etc.
  • the guidance junction 72 which is a crossroad as the guidance junction is described as an example, but the present invention is not limited thereto.
  • a branch point 76 where the traveling path 73 branches into two may be used.
  • the virtual image of the arrow 71 is, for example, a virtual image extended to the left front along the traveling path 74 after leaving the branch point 76.
  • the arrow 71 is set in the non-drawing area 95 in a portion overlapping the road sign 81 on the front side of the traveling path 74.
  • the arrow 71 is displayed overlapping on the front side of the road sign 82 present on the far side of the traveling path 74. Also in such a case, the traveling path 74 to be advanced by the occupant 9 can be accurately grasped as in the above embodiment.
  • the present invention can be applied not only to the left side passage but also to the right side passage.
  • the HUD 4 generates a virtual image in front of the front window 8 of the vehicle 2.
  • a virtual image may be generated in front of windows other than the front window 8.
  • an object to which an image is reflected by the HUD 4 may be a visor (combiner) installed around the front window 8 instead of the front window 8 itself.
  • the HUD 4 is used as a means for displaying an image superimposed on the surrounding environment, but a window shield display (WSD) for displaying an image on the front window 8 is used. Also good. Alternatively, it may be a display device in which the guidance image is superimposed on the real scene displayed on the liquid crystal display 17 of the navigation device 3.
  • WSD window shield display
  • the processing of the driving support processing program is performed by the navigation ECU 15 of the navigation device 3.
  • the execution subject can be changed as appropriate. It is.
  • the control unit of the HUD 4, the vehicle control ECU, or another on-vehicle device may execute.
  • the control part of HUD4 performs, it is also possible to comprise the display apparatus which concerns on this invention only by HUD4.
  • the display device may have the following configuration, in which case the following effects can be obtained.
  • the first configuration is as follows.
  • a guide image display means (41) for displaying the guide image.
  • the guidance image for guiding the traveling direction after leaving the guidance junction point is a superposition target for a region overlapping the peripheral object present on the front side of the traveling path on which the vehicle travels Since it is excluded, the vehicle occupant can clearly grasp the anteroposterior relationship between the position of a peripheral object (for example, a building, a pedestrian, a vehicle, a street tree, etc.) included in the real view and the position of the guide image. . As a result, it is possible to accurately notify the occupants of the vehicle of the traveling route to be advanced.
  • a peripheral object for example, a building, a pedestrian, a vehicle, a street tree, etc.
  • the second configuration is as follows. Peripheral object determining means (41) for determining presence / absence of the peripheral object present on the near side of the traveling path (74, 108) on which the vehicle (2) travels; Correction means (41) for correcting the guidance image as a non-drawing area (93 to 96) excluding the area overlapping the peripheral object when the peripheral object (81, 112) is present on the near side And the guide image display means (41) displays the corrected guide image. According to the display device having the above configuration, the guidance image for guiding the traveling direction after leaving the guidance branch point is corrected such that a portion overlapping the peripheral object present around the guidance branch point is a non-drawing area It will be.
  • the guidance image after correction is displayed with the position of the non-drawing area aligned with the position of the peripheral object.
  • a part of the peripheral object is displayed so as to overlap (on) the front side of the corrected guide image in the non-drawing area.
  • the third configuration is as follows.
  • the peripheral object determination means (41) is the peripheral object present on the near side of the traveling path (74, 108) on which the vehicle (2) travels after bending the guidance branch point (72, 103)
  • the presence or absence of an object (81, 112) is determined.
  • a portion overlapping the peripheral object present on the front side of the traveling path on which the vehicle traveling at the guidance branch point travels is a non-drawing area.
  • the fourth configuration is as follows.
  • the guidance image display means (41) superimposes the guidance image (71, 105) on the actual view seen through the front window (25) of the vehicle (2), and the vehicle (2) and the peripheral object (81, 112) an angle acquiring means (41) for acquiring an angle ( ⁇ ) formed by a straight line (D3) connecting the vehicle and the width direction of the vehicle, and the front based on the angle acquired by the angle acquiring means
  • Position acquisition means (41) for acquiring the position (91) at which the occupant (26) of the vehicle in the window visually recognizes the peripheral object, and the correction means (41) is acquired by the position acquisition means
  • the position of the non-drawing area (93 to 96) is determined based on the position.
  • the angle acquiring unit acquires an angle formed by the straight line connecting the vehicle and the peripheral object and the width direction of the vehicle.
  • the position acquisition means detects the position where the occupant in the front window visually recognizes the peripheral object based on the angle.
  • the correction means determines the position of the non-drawing area based on the position detected by the position acquisition means.
  • the fifth configuration is as follows. First distance acquiring means (41) for acquiring a first distance (D1) from the vehicle (2) to the peripheral object based on the size of the peripheral object (81, 112); and the vehicle (2) And a second distance acquiring means (41) for acquiring a second distance (D2) from the traveling road (74) to the road end (74A) on the front side of the traveling path (74); ) Determines the presence or absence of the peripheral object based on the fact that the first distance is equal to or less than the second distance.
  • the size of a road sign (peripheral object) is regulated by a law or the like. Therefore, the first distance from the vehicle to the peripheral object can be acquired based on the prescribed size of the road sign and the size of the imaged road sign.
  • the display device based on the first distance and the second distance from the vehicle to the front side of the traveling path, the peripheral object is present on the front side or the back side of the traveling path It is possible to determine more accurately what to do.
  • the sixth configuration is as follows.
  • the guidance image (71, 105) is an image showing an arrow
  • the correction means (41) is an arrow of the guidance image toward the tip side in the traveling direction along the traveling path (74, 108) Extend the tip side of the According to the display device having the above configuration, the arrow of the guide image is extended toward the end of the traveling direction of the traveling path. As a result, the user can easily imagine the traveling direction after going straight or turning left at the guidance junction.
  • the seventh configuration is as follows.
  • the guidance image display means (41) is the guidance image (71, 105) in front of the back side peripheral object (82, 113) present on the back side of the traveling path (74, 108) on which the vehicle travels.
  • the guidance image after correction is displayed superimposed on the near side of the peripheral object on the far side of the traveling path.
  • peripheral objects in front of the traveling path are displayed in front of the guidance image
  • peripheral objects in the back of the traveling path are displayed on the back side of the guidance image. Therefore, the user can more accurately grasp the anteroposterior relationship between the peripheral object and the guide image.
  • the eighth configuration is as follows.
  • the guide image display means (41) displays the guide image (71, 105) as a virtual image.
  • the display device having the above-described configuration it is possible to superimpose a virtual image guiding the traveling direction on the real view and to make the virtual image visually recognized by the user along with the traveling path and the like. For example, the user can more accurately understand the intersection to be turned by checking the positional relationship between the virtual image (guide image) superimposed on the real scene viewed through the front window and the peripheral object.
  • the ninth configuration is as follows.
  • the guide image (71, 105) is displayed at a position where it is visually recognized as being separated upward with respect to the road surface. According to the display device having the above configuration, it is possible to identify the guidance image from the scenery for the occupant of the vehicle and make it clearly visible, without the guidance image being in harmony with the scenery such as the road surface.
  • the tenth configuration is as follows.
  • the guidance image (71, 105) is an image of an arrow indicating the traveling direction of the traveling path (74, 108) traveled by the vehicle after leaving the guidance junction (72, 103), and the guidance image
  • the display means (41) displays the tip of the arrow in a region not overlapping with the peripheral object (81, 112). According to the display device having the above configuration, even when the guidance image and the peripheral object overlap, it is possible to display at least the tip of the arrow, so the occupant can move in the direction indicated by the guidance image. It is possible to understand about
  • the eleventh configuration is as follows.
  • the guidance image display means displays the guidance image of the shape acquired by the shape acquisition means.
  • the display device having the above configuration, by using the captured image obtained by capturing the scenery in front of the vehicle and the three-dimensional map information, the region overlapping with the peripheral object present on the front side of the traveling path on which the vehicle travels is superimposed It becomes possible to easily generate a guidance image excluded from the subject.
  • the twelfth configuration is as follows.
  • the peripheral objects (81, 112) are at least one building, a road sign, a moving object.
  • the guidance image for guiding the traveling direction after leaving the guidance junction overlaps the building, the road sign, the moving object, etc. existing on the front side of the traveling path where the vehicle travels Since the region is excluded from the objects to be superimposed, it is possible for the vehicle occupant to clearly grasp the anteroposterior relationship between the positions of buildings, road signs, moving objects and the like included in the real view and the position of the guide image. As a result, it is possible to accurately notify the occupants of the vehicle of the traveling route to be advanced.

Abstract

進むべき進行路を正確に車両の乗員に通知可能な表示装置及びコンピュータプログラムを提供する。具体的には、ナビゲーション装置3は、案内経路における案内分岐点72の周辺に存在する道路標識81の有無を判定し、案内分岐点72を退出した後の車両2が進行する進行路74の進行方向を案内する矢印71のうち、道路標識81と重なる部分を描画対象から除く非描画領域93として補正する。ナビゲーション装置3は、補正後の矢印71を表示する。

Description

表示装置及びコンピュータプログラム
 本発明は、車両の走行支援を行う表示装置及びコンピュータプログラムに関する。
 従来より、車両の乗員に対して経路案内や障害物の警告等の車両の走行支援を行う為の各種情報を提供する情報提供手段として、様々な手段が用いられている。例えば、車両に設置された液晶ディスプレイによる表示や、スピーカから出力する音声等である。そして、近年、このような情報提供手段の一つとして、ヘッドアップディスプレイ(以下、HUDという)やウインドウシールドディスプレイ(以下、WSDという)のように運転者の周辺環境(風景)に重畳する画像を表示することによって、情報の提供を行う装置がある。
 例えば、特開2005-69800号公報には、ナビゲーションシステムによって経路を案内する際に、経路の目印となるランドマーク(コンビニなど)を音声案内装置によってアナウンスするとともに、HUDを用いて車両前方の実景の中におけるランドマークの位置に重畳する虚像を表示することについて開示されている。乗員はフロントウィンドウを通して見える虚像の位置に基づいて、右左折の目印となるランドマークの位置(即ち右左折する交差点の位置)を把握することが可能となる。
特開2005-69800号公報(図4)
 ここで、上記特許文献1に記載の技術では、実景内の右左折の目印となるランドマークの位置に重畳して、乗員から視認されるように虚像を表示している。しかしながら、表示される虚像はランドマークの一部に上書きして重畳表示するのみで、ランドマークと虚像の前後関係が不明確であった。
 本発明は前記従来における問題点を解消するためになされたものであり、案内画像と実景内の対象物との前後の位置関係を明確とすることによって、進むべき進行路を正確に車両の乗員に通知可能な表示装置及びコンピュータプログラムを提供することを目的とする。
 前記目的を達成するため本発明に係る表示装置は、車両に搭載され、案内分岐点を退出した後の車両が進行する進行路の進行方向を案内する案内画像を、前記車両の前方の風景に重畳して視認させる表示装置であって、前記車両が進行する前記進行路の手前側に存在する周辺対象物と重なる領域を前記案内画像から除いて、前記案内画像を表示する案内画像表示手段を有する。
 また、本発明に係るコンピュータプログラムは、車両の走行支援を行うプログラムである。具体的には、車両に搭載され、案内分岐点を退出した後の車両が進行する進行路の進行方向を案内する案内画像を、前記車両の前方の風景に重畳して視認させる表示装置を、前記車両が進行する前記進行路の手前側に存在する周辺対象物と重なる領域を前記案内画像から除いて、前記案内画像を表示する案内画像表示手段として機能させる。
 前記構成を有する本発明に係る表示装置及びコンピュータプログラムによれば、案内分岐点を退出した後の進行方向を案内する案内画像は、車両が進行する進行路の手前側に存在する周辺対象物と重なる領域については重畳対象から除かれるので、実景に含まれる周辺対象物(例えば建物、歩行者、車両、街路樹等)の位置と、案内画像の位置との前後関係を車両の乗員は明確に把握することが可能となる。その結果、進むべき進行路を正確に車両の乗員に通知可能となる。
第1実施形態に係る重畳画像表示装置の概略構成図である。 第1実施形態に係るナビゲーション装置を示したブロック図である。 第1実施形態に係る走行支援処理プログラムのフローチャートである。 前進を案内する矢印を虚像表示した状態を示す図である。 左折を案内する矢印を虚像表示した状態を示す図である。 車両から案内分岐点に設置された道路標識までの距離を示す図である。 フロントウィンドウ上の道路標識の位置を示す図である。 道路標識と重なる非描画領域を設定した矢印を虚像表示した状態を示す図である。 道路標識及び建物と重なる非描画領域を設定した矢印を虚像表示した状態を示す図である。 第2実施形態に係る走行支援処理プログラムのフローチャートである。 3次元地図情報に基づいて生成される3次元立体地図を示した図である。 案内画像と動体物を配置した後の3次元立体地図を示した図である。 自車両が進行路に沿って進行する場合に影響のある動体物を説明した図である。 影響動体物と重なる領域に虚像が表示されないように案内画像を補正する例を示した図である。 影響動体物と重なる領域に虚像が表示されないように案内画像を補正する例を示した図である。 車両の乗員から視認される案内画像の虚像の例を示した図である。 表示範囲決定処理のサブ処理プログラムのフローチャートである。 変形例について説明した図である。
 以下、本発明に係る表示装置を重畳画像表示装置1に具体化した第1実施形態及び第2実施形態について図面を参照しつつ詳細に説明する。
 [第1実施形態]
 先ず、第1実施形態に係る重畳画像表示装置1の概略構成について図1を用いて説明する。図1は第1実施形態に係る重畳画像表示装置1の概略構成図である。
 図1に示すように重畳画像表示装置1は、車両2に搭載されたナビゲーション装置3と、同じく車両2に搭載されるとともにナビゲーション装置3と接続されたヘッドアップディスプレイ装置(以下、HUDという)4とを基本的に有する。
 ここで、ナビゲーション装置3は、目的地までの推奨経路を探索したり、サーバから取得したりメモリに格納された地図データに基づいて車両2の現在位置周辺の地図画像を表示したり、設定された案内経路に沿った走行案内をHUD4とともに行う機能を有する。尚、上記機能の全てをナビゲーション装置3が備えている必要はなく、少なくとも案内経路に沿った走行案内を行う機能を有していれば本願発明を構成することが可能である。尚、ナビゲーション装置3の構造の詳細については後述する。
 一方、HUD4は、車両2のダッシュボード5内部に設置されており、内部には映像が表示される映像表示面である液晶ディスプレイ6を有する。そして、液晶ディスプレイ6に投射された映像を、後述のようにHUD4が備える凹面鏡7等を介し、更に運転席の前方のフロントウィンドウ8に反射させて車両2の乗員9に視認させるように構成されている。尚、液晶ディスプレイ6に表示される映像としては、車両2に関する情報や乗員9の運転の支援の為に用いられる各種情報がある。例えば乗員9に対して警告対象となる対象物(他車両や歩行者)に対する警告、ナビゲーション装置3で設定された案内経路や案内経路に基づく案内情報(右左折方向を示す矢印等)、路面に表示する警告(追突注意、制限速度等)、現在車速、広告画像、案内標識、地図画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面、テレビ番組等がある。
 また、第1実施形態のHUD4では、フロントウィンドウ8を反射して乗員9が液晶ディスプレイ6に表示された映像を視認した場合に、乗員9にはフロントウィンドウ8の位置ではなく、フロントウィンドウ8の先の遠方の位置に液晶ディスプレイ6に表示された映像が虚像10として視認されるように構成される。また、虚像10は車両前方の風景(実景)に重畳して表示されることとなり、例えば車両前方に位置する任意の対象物(路面、建築物、警告対象となる動体物等)に重畳させて表示させることも可能である。尚、乗員9が視認できる虚像10は液晶ディスプレイ6に表示された映像であるが、凹面鏡7やその他のミラーを介することによって上下方向や左右方向が反転する場合があり、それらの反転を考慮して液晶ディスプレイ6の映像の表示を行う必要がある。また、凹面鏡7を介することによってサイズも変更する。
 ここで、虚像10を生成する位置、より具体的には乗員9から虚像10までの距離(以下、結像距離という)Lについては、HUD4が備える凹面鏡7の曲率、液晶ディスプレイ6と凹面鏡7との相対位置等によって適宜設定することが可能である。例えば、凹面鏡7の曲率が固定であれば、液晶ディスプレイ6において映像の表示された位置から凹面鏡7までの光路に沿った距離(光路長)によって結像距離Lが決定される。例えば結像距離Lが2.5mとなるように光路長が設定されている。
 また、第1実施形態では車両前方の風景に重畳する画像を表示する手段としてHUD4を用いているが、他の手段を用いても良い。例えば、フロントウィンドウ8に対して映像を表示するウインドウシールドディスプレイ(WSD)を用いても良い。WSDでは、フロントウィンドウ8をスクリーンとしてプロジェクタから映像を表示しても良いし、フロントウィンドウ8を透過液晶ディスプレイとしても良い。WSDによってフロントウィンドウ8に対して表示された画像は、HUD4と同様に車両前方の風景に重畳する画像となる。
 更に、後述のフロントカメラ11で撮像した車両前方の風景を車内の液晶ディスプレイに表示し、同一の液晶ディスプレイ内において表示された風景に重畳する画像を表示することも可能である。その場合においても液晶ディスプレイに表示された画像は、HUD4と同様に車両前方の風景に重畳する画像となる。
 また、車両のフロントバンパの上方やルームミラーの裏側等にはフロントカメラ11が設置される。フロントカメラ11は、例えばCCD等の固体撮像素子を用いたカメラを有する撮像装置であり、光軸方向を車両の進行方向前方に向けて設置される。そして、フロントカメラ11により撮像された撮像画像に対して画像処理が行われることによって、フロントウィンドウ8越しに乗員9に視認される前方環境(即ち虚像10が重畳される環境)の状況等が検出される。尚、フロントカメラ11の代わりにミリ波レーダ等のセンサを用いても良い。
 また、車両のインストルメントパネルの上面には車内カメラ12が設置される。車内カメラ12は、例えばCCD等の固体撮像素子を用いたカメラを有する撮像装置であり、光軸方向を運転席に向けて設置される。そして、運転席に座った乗員9の顔を撮像する。そして、車内カメラ12により撮像された撮像画像に対して画像処理が行われることによって、乗員9の目の位置(視線開始点)や視線方向を検出する。
 次に、上記重畳画像表示装置1を構成するナビゲーション装置3の概略構成について図2を用いて説明する。図2は第1実施形態に係るナビゲーション装置3を示したブロック図である。
 図2に示すように第1実施形態に係るナビゲーション装置3は、ナビゲーション装置3が搭載された車両2の現在位置を検出する現在位置検出部13と、各種のデータが記録されたデータ記録部14と、入力された情報に基づいて、各種の演算処理を行うナビゲーションECU15と、ユーザからの操作を受け付ける操作部16と、ユーザに対して車両周辺の地図や施設の関する施設情報を表示する液晶ディスプレイ17と、経路案内に関する音声ガイダンスを出力するスピーカ18と、記憶媒体であるDVDを読み取るDVDドライブ19と、VICS(登録商標:Vehicle Information and Communication System)センタ等の情報センタとの間で通信を行う通信モジュール20と、を有する。また、ナビゲーション装置3はCAN等の車載ネットワークを介して、前述したHUD4、フロントカメラ11及び車内カメラ12等が接続されている。
 以下に、ナビゲーション装置3が有する各構成要素について順に説明する。
 現在位置検出部13は、GPS21、車速センサ22、ステアリングセンサ23、ジャイロセンサ24等からなり、現在の車両の位置、方位、車両の走行速度、現在時刻等を検出することが可能となっている。ここで、特に車速センサ22は、車両の移動距離や車速を検出する為のセンサであり、車両の駆動輪の回転に応じてパルスを発生させ、パルス信号をナビゲーションECU15に出力する。そして、ナビゲーションECU15は発生するパルスを計数することにより駆動輪の回転速度や移動距離を算出する。尚、上記4種類のセンサをナビゲーション装置3が全て備える必要はなく、これらの内の1又は複数種類のセンサのみをナビゲーション装置3が備える構成としても良い。
 また、データ記録部14は、外部記憶装置及び記録媒体としてのハードディスク(図示せず)と、ハードディスクに記録された地図情報DB31や所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド(図示せず)とを備えている。尚、データ記録部14はハードディスクの代わりにフラッシュメモリやメモリーカードやCDやDVD等の光ディスクを有していても良い。また、地図情報DB31は外部のサーバに格納させ、ナビゲーション装置3が通信により取得する構成としても良い。
 ここで、地図情報DB31は、2次元地図情報33と3次元地図情報34とがそれぞれ記憶される。2次元地図情報33は、一般的なナビゲーション装置3において用いられる地図情報であり、例えば、道路(リンク)に関するリンクデータ、ノード点に関するノードデータ、施設に関する施設データ、経路探索処理に用いられる探索データ、地図を表示するための地図表示データ、各交差点に関する交差点データ、地点を検索するための検索データ等を含む。
 一方、3次元地図情報34は、平面だけではなく高さ情報についても有し、3次元で地図を表現する為の地図情報である。特に本実施形態では3次元で道路の輪郭、建築物の形状、道路の区画線、信号機、道路標識、看板等を表現する為の地図情報とする。尚、3次元地図情報34としては上記道路の輪郭、建築物の形状、道路の区画線、信号機、道路標識、看板以外の情報についても含めても良い。例えば、街路樹や路面標示等についても3次元で表現する為の情報を含めても良い。また、3次元地図情報34としては3次元空間上に上記道路の輪郭、建築物の形状、道路の区画線、信号機、道路標識、看板等の各オブジェクトを配置した地図そのものを記憶しても良いし、3次元で地図を表現する為に必要な情報(道路の輪郭、建築物の形状、道路の区画線、信号機、道路標識、看板等の3次元の座標データなど)を記憶しても良い。3次元で地図を表現する為に必要な情報が格納されている場合には、ナビゲーション装置3は、必要なタイミングで3次元地図情報34として記憶された情報を用いて、対象エリアを3次元で表現した地図を生成する。
 そして、ナビゲーション装置3は、液晶ディスプレイ17における地図画像の表示、案内経路の探索等の一般的な機能については2次元地図情報33を用いて行う。また、後述のように案内画像の表示に係る処理については2次元地図情報33に加えて3次元地図情報34についても用いて行う。
 一方、ナビゲーションECU(エレクトロニック・コントロール・ユニット)15は、ナビゲーション装置3の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのCPU41、並びにCPU41が各種の演算処理を行うにあたってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるRAM42、制御用のプログラムのほか、後述の走行支援処理プログラム(図3)等が記録されたROM43、ROM43から読み出したプログラムを記憶するフラッシュメモリ44等の内部記憶装置を備えている。尚、ナビゲーションECU15は、処理アルゴリズムとしての各種手段を有する。例えば、周辺対象物判定手段は、案内経路における案内分岐点の周辺に存在する周辺対象物の有無を判定する。補正手段は、案内分岐点を退出した後の車両が進行する進行路の進行方向を案内する案内画像のうち、周辺対象物と重なる部分を描画対象から除く非描画領域として補正する。表示手段は、補正後の案内画像を表示する。
 操作部16は、走行開始地点としての出発地及び走行終了地点としての目的地を入力する際等に操作され、各種のキー、ボタン等の複数の操作スイッチ(図示せず)を有する。そして、ナビゲーションECU15は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、操作部16は液晶ディスプレイ17の前面に設けたタッチパネルを有していても良い。また、マイクと音声認識装置を有していても良い。
 また、液晶ディスプレイ17には、道路を含む地図画像、交通情報、操作案内、操作メニュー、キーの案内、出発地から目的地までの案内経路、案内経路に沿った案内情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。尚、第1実施形態では情報の表示手段としてHUD4を備えているので、上記地図画像等の表示をHUD4で行う構成とすれば液晶ディスプレイ17は省略しても良い。
 また、スピーカ18は、ナビゲーションECU15からの指示に基づいて案内経路に沿った走行を案内する音声ガイダンスや、交通情報の案内を出力する。
 また、DVDドライブ19は、DVDやCD等の記録媒体に記録されたデータを読み取り可能なドライブである。そして、読み取ったデータに基づいて音楽や映像の再生、地図情報DB31の更新等が行われる。尚、DVDドライブ19に替えてメモリーカードを読み書きする為のカードスロットを設けても良い。
 また、通信モジュール20は、交通情報センタ、例えば、VICSセンタやプローブセンタ等から送信された渋滞情報、規制情報、交通事故情報等の各情報から成る交通情報を受信する為の通信装置であり、例えば携帯電話機やDCMが該当する。
 続いて、前記構成を有する重畳画像表示装置1の内、特にナビゲーション装置3において実行する走行支援処理プログラムについて図3に基づき説明する。図3は第1実施形態に係る走行支援処理プログラムのフローチャートである。ここで、走行支援処理プログラムは車両のACC電源(accessory power supply)がONされた後に実行され、HUD4を用いて車両2の乗員9に案内分岐点における車両の進行方向の案内を行うプログラムである。尚、以下の図3にフローチャートで示されるプログラムは、ナビゲーション装置3が備えているRAM42やROM43に記憶されており、CPU41により実行される。
 尚、「案内分岐点」とは、ナビゲーション装置3において設定されている案内経路に沿った車両の走行案内を行う場合において、車両の進行方向を案内する必要がある分岐点であり、例えば十字路、T字路、Y字路などの交差点が該当する。但し、案内分岐点は、2つの道路が交わる交差点に限らず、例えば一つの道路が複数の道路に分岐する分岐部分でも良い。
 先ず、走行支援処理プログラムでは、ステップ(以下、Sと略記する)1においてCPU41は、車両2の進行方向前方の所定距離(例えば700m)以内に案内分岐点が存在するか否かを判定する。具体的には、CPU41は、ナビゲーション装置3において現在設定されている案内経路と、地図情報DB31に格納された地図情報と、現在位置検出部13に基づいて検出した車両2の現在位置とに基づいて判定する。尚、案内経路は、例えば走行開始時等においてユーザが目的地を設定した場合に、公知のダイクストラ法を用いた経路探索処理により決定される。
 また、前記S1において車両2の進行方向前方の所定距離に案内分岐点が存在するか否かを判定する手段は、上記方法に限られない。例えば、CPU41は、フロントカメラ11で撮像された撮像画像と3次元地図情報34とを照合することによって、3次元地図情報34内における車両の現在位置を特定し、進行方向前方に案内分岐点が存在するか否かを判定してもよい。
 そして、車両2の進行方向前方の所定距離に案内分岐点が存在すると判定された場合(S1:YES)には、S2へと移行する。それに対して、車両2の進行方向前方の所定距離に案内分岐点が存在しないと判定された場合(S1:NO)には、案内分岐点が存在すると判定されるまで待機する。この場合、CPU41は、例えば予め設定された時間だけ間を空けてS1の処理を繰り返し実行する。
 S2においてCPU41は、車両の進行方向前方にある案内分岐点の周辺にある周辺対象物として、特に道路標識が存在するか否かを判定する。前記S2における判定処理は、フロントカメラ11で撮像された撮像画像を画像処理することによって判定しても良いし、車両の現在位置と3次元地図情報34に基づいて判定しても良い。尚、3次元地図情報34には、予め道路標識の設置位置を特定する情報が含まれている。
 また、上記S2で判定対象となる「周辺対象物」としては、道路標識以外に、案内分岐点に存在するガードレール、カーブミラー、電柱、建物などの人工物や防風林などの人工物を対象としても良い。更に、周辺対象物は、固定されたものに限らず、人などの動く動体物でも良い。以下では、周辺対象物の一例として道路標識を例に挙げて説明する。
 そして、車両の進行方向前方にある案内分岐点の周辺に道路標識が存在すると判定された場合(S2:YES)には、S5へと移行する。それに対して、車両の進行方向前方にある案内分岐点の周辺に道路標識が存在しないと判定された場合(S2:NO)には、S3へと移行する。
 S3においてCPU41は、HUD4の液晶ディスプレイ6に対して表示する画像として、特に案内分岐点を退出した後の車両が進行する進行路の進行方向を案内する矢印の画像を生成する。生成される矢印の画像の形状は、車両の進行方向と案内分岐点の形状によって決定される。尚、液晶ディスプレイ6に表示された画像は、虚像10として車両の乗員からは車両の車両前方の風景に重畳して視認される(図1参照)。
 更に、前記S3においてCPU41は、生成された矢印の画像を補正する。具体的には、進行路に沿って進行方向の先端側に向かって矢印の先端側を延長し、矢印全体の長さをより長くする。
 その後、S4においてCPU41は、HUD4に対して制御信号を送信し、HUD4の液晶ディスプレイ6に対して前記S3で生成並びに補正された後の矢印の画像を表示する。その結果、案内分岐点を退出した後の車両が進行する進行路の進行方向を案内する案内画像として特に矢印の虚像10が、車両の乗員から車両前方の風景に重畳して視認される。
 ここで、図4は特に案内分岐点を退出した後の車両が進行する進行路の進行方向が直進方向である場合に、車両の乗員から視認される矢印の虚像を示した図である。
 図4に示すように、車両のフロントウィンドウ8越しには、走行路73の路面上に重畳して、前方へ進むことを示す矢印71(矢印画像)が虚像として表示されている。また、矢印71の虚像は、十字路である案内分岐点72を通過し、走行路73に沿って進行方向の先に向かって延長されている。矢印71は、例えば、HUD4の表示可能な領域の上側端部まで延長されている。その結果、図4に示す矢印71の虚像を視認した乗員は、案内分岐点72を直進して進むことを容易に把握することが可能となる。
 また、図5は特に案内分岐点を退出した後の車両が進行する進行路の進行方向が左方向(即ち左折)である場合に、車両の乗員から視認される矢印の虚像を示した図である。
 図5に示すように、車両のフロントウィンドウ8越しには、走行路73から案内分岐点72を左折した後の進行路74に跨って、路面に対して上方に離間した位置に重畳して、左方へ進むことを示す矢印71(矢印画像)が虚像として表示されている。また、矢印71の虚像は、案内分岐点72を左折した後の進行路74に沿って、進行方向の先に向かって延長されている。矢印71は、例えば、HUD4の表示可能な領域の左側端部まで延長されている。その結果、図5に示す矢印71の虚像を視認した乗員は、案内分岐点72を左折して進行路74へと退出することを容易に把握することが可能となる。
 一方、S5においてCPU41は、案内分岐点72の周辺に設置された道路標識の種類及び大きさ(撮像画像中の大きさではなく実際の大きさ)を取得する。具体的にはCPU41は、フロントカメラ11で撮像した道路標識の画像を画像処理し、形状、図柄などの特徴に基づいて道路標識の種類及び大きさを判定する。道路標識の形状(大きさ)、図柄等は、例えば、日本国内であれば、道路標識、区画線及び道路標示に関する命令(標識令)で規定されている。地図情報DB31には、標識令で規定された道路標識の種類毎に形状や図柄の情報が予め格納されており、CPU41は該当する道路標識のデータを抽出することによって、案内分岐点72の周辺に設置された道路標識の種類及び大きさを取得する。尚、3次元地図情報34を用いて道路標識の種類及び大きさを取得しても良い。3次元地図情報34には、予め道路標識の設置位置に加えて、道路標識の種類や大きさを特定する情報が含まれている。
 次に、S6においてCPU41は、車両2から案内分岐点の周辺に設置された道路標識までの距離(以下、第一距離という)を算出する。以下に、前記S6の第一距離の算出方法の詳細について説明する。
 ここで、図6は車両2から案内分岐点72の周辺に設置された道路標識81までの第一距離D1を示している。
 図6に示すように第1実施形態では、第一距離D1は、特に車両2の乗員9の頭部の位置Xから道路標識81までの距離とする。車内カメラ12は、上記したように車両2のインストルメントパネルや天井に設置され、撮像方向を運転席に向けて設置されており、撮像画像には運転者である乗員9の顔が含まれることとなる。従って、CPU41は、車内カメラ12の撮像画像に基づいて、乗員9の頭の位置Xを検出することが可能である。
 また、CPU41は、前記S5で取得した道路標識81の大きさと、フロントカメラ11で撮像した撮像画像中の道路標識81の大きさとを比較して、フロントカメラ11と道路標識81とを結ぶ直線距離を算出する。フロントカメラ11で撮像された道路標識81の大きさは、道路標識81と車両2との間の第一距離D1が長いほど小さくなる。このため、CPU41は、撮像画像中の道路標識81の大きさと、道路標識81の実際の大きさとを比較することで、フロントカメラ11と道路標識81と間の直線距離を算出することが可能である。尚、フロントカメラ11をステレオカメラとすれば、撮像画像から直接、フロントカメラ11と道路標識81と間の直線距離を算出することも可能である。CPU41は、算出した直線距離に、フロントカメラ11と乗員9の頭部の位置Xとの間の距離を加算し、乗員9の頭部の位置Xと道路標識81とを結ぶ直線距離D3を算出する。
 また、CPU41は、乗員9の頭部の位置Xと道路標識81とを結ぶ直線と、車両2の幅方向とがなす角度θを算出する。具体的には、CPU41は先ずフロントカメラ11で撮像した撮像画像を画像処理することによって、撮像画像内の道路標識81の位置を特定する。その後、特定された道路標識81の位置と、フロントカメラ11と道路標識81と間の直線距離とに基づいて角度θを算出する。そして、CPU41は、直線距離D3と角度θとに基づいて、乗員9の頭部の位置Xから道路標識81までの第一距離D1を算出する。
 尚、前記S6では上記した方法以外で第一距離D1や直線距離D3を算出してもよい。例えば、CPU41は、3次元地図情報34に含まれる道路標識81の位置情報と、現在位置検出部13により検出した車両2の現在位置とに基づいて直線距離D3や第一距離D1を算出してもよい。更に、CPU41は、車内カメラ12の画像処理によって検出した乗員9の視線に基づいて角度θを算出することも可能である。具体的には、先ず車内カメラ12の撮像画像を処理することで、視線開始点(目の位置)及び視線方向を検出する。視線開始点や視線方向の検出方法としては、例えば角膜反射法により計測された瞳孔の中心位置やプルキニエ像を用いて検出する方法がある。それらの方法は既に公知の技術であるので、詳細は省略する。その後、CPU41は、乗員9の視線が案内する進行路74に集中した場合、乗員が道路標識81を注視していると仮定して視線方向に基づいて角度θを算出することが可能である。
 また、前記S6においてCPU41は、案内分岐点72の周囲に複数の道路標識が存在数する場合には、存在する道路標識毎に第一距離D1を算出する。但し、全ての道路標識が対象となるのではなく、案内分岐点72の進行路74側に設置された道路標識のみが対象となる。例えば図6に示す例では、案内分岐点72を左折して進行路74を進むように案内する場合、案内分岐点72の進行路74側に設置された道路標識81、82が、第一距離D1を算出する対象となる。また、走行路73の左側の歩道に設置された道路標識83も対象となる。一方、案内経路から外れる案内分岐点72を右折した進行路75側の道路標識84は、第一距離D1を算出する対象外とする。但し、案内分岐点72の進行路74側に設置された道路標識以外(例えば図6の道路標識84)についても第一距離D1の算出対象としても良い。
 その後、S7においてCPU41は、車両2と、案内分岐点72を退出した後の進行路74の道路端Yとの間の距離である第二距離D2を算出する。尚、道路端Yは、特に進行路74の案内分岐点72側の道路端であって、且つ最も手前側(車両側)の位置とする。 具体的には先ずCPU41は、地図情報に基づいて進行路74の道路端Yの位置を検出する。次にCPU41は、進行路74の道路端Yの位置、車両2の現在位置、乗員9の頭の位置Xに基づいて第二距離D2を算出する。尚、上記した第一距離D1及び第二距離D2は、乗員9の頭の位置Xを基準としたが、これに限らず、車両2のフロントカメラ11、車両先端、車両中心の位置などを基準としても良い。
 次に、S8においてCPU41は、S6で算出した第一距離D1と、S7で算出した第二距離D2とに基づいて、案内分岐点72を退出した後の進行路74の手前側に立っている道路標識が存在するか否かを判定する。図6に示すように、進行路74の手前側に立つ道路標識81の第一距離D1は、進行路74の道路端Yの第二距離D2以下となる。一方、進行路74の奥側に立つ道路標識82の第一距離D1は、第二距離D2よりも長くなる。このため、CPU41は、第二距離D2を基準として、道路標識が進行路74の手前側に存在すか否かを判定できる。
 尚、CPU41は、第一距離D1や第二距離D2以外にも、図6に示す乗員9の頭部の位置Xから進行路74の奥側の道路端までの距離D4や、進行路74の道路幅W1などを用いて、道路標識81、82が進行路74の手前側に立っているか、奥側に立っているかを判定してもよい。例えば、CPU41は、第二距離D2に道路幅W1を加えた距離と、道路標識82の第一距離D1とを比較して、進行路74の手前側に存在するか判定することが可能である。CPU41は、道路幅W1を、地図情報に基づいて検出できる。
 そして、案内分岐点72を退出した後の進行路74の手前側に立っている道路標識が存在すると判定された場合(S8:YES)には、S9へと移行する。それに対して、案内分岐点72を退出した後の進行路74の手前側に立っている道路標識が存在しないと判定された場合(S8:NO)には、S3へと移行する。その後、前述したように、HUD4の液晶ディスプレイ6に対して表示する画像として、特に案内分岐点を退出した後の車両が進行する進行路の進行方向を案内する矢印の画像を生成し、液晶ディスプレイ6に対して表示する。尚、矢印の先端は、進行路に沿って進行方向の先端側へと延長される。
 一方で、S9においてCPU41は、案内分岐点72を退出した後の進行路74の手前側に立っている道路標識(例えば、図6に示す例では道路標識81であり、以下、対象道路標識という)を、案内画像として表示される矢印の虚像10と絡めた表示を行う対象の道路標識として決定する。尚、前記S9で決定された対象道路標識が矢印の虚像10の手前側に設置されていることを明確にする為に、以下の処理が実行される。
 S10においてCPU41は、フロントウィンドウ8上に映る対象道路標識の位置を算出する。より具体的には、CPU41は、乗員9がフロントウィンドウ8越しに対象道路標識を見た場合、乗員9の対象道路標識を見る視線と、フロントウィンドウ8とが重なる位置を算出する。
 図7は、フロントウィンドウ8上の道路標識81の位置91を示している。位置91は、例えば、道路標識81の上下方向の中央を、乗員9が見た場合の位置とする。
 先ずCPU41は、上記した角度θ、乗員の頭部の位置X、及び車両情報に基づいて位置91を算出する。ここでいう乗員の頭部の位置Xとは、例えば、車両2の前後方向、左右方向、上下方向における位置(即ち3次元空間における位置)である。また、車両情報とは、例えば、フロントウィンドウ8の大きさ、配置(運転席との距離)、傾斜角度などの情報であり、データ記録部14に予め保存されている。そして、CPU41は、頭部の位置Xにおいて車両の幅方向に対し角度θで水平方向に延びる直線とフロントウィンドウ8とが重なる位置を、フロントウィンドウ8上の道路標識81の位置91として算出する。
 続いてS11においてCPU41は、乗員9が対象道路標識を見た際に案内画像である矢印71の虚像と対象道路標識とが重なる領域を算出し、重なる領域を描画対象から除く非描画領域に設定する。具体的に前記S11ではCPU41は以下の処理を実行する。
 先ずCPU41は、乗員の頭部の位置Xと対象道路標識とを結ぶ直線距離D3に基づき、フロントウィンドウ8に映る対象道路標識の大きさを算出する。次にCPU41は、算出した対象道路標識の大きさと、上記したS10で算出された対象道路標識の位置とに基づいて、乗員9から見えるフロントウィンドウ8に映る対象道路標識の位置や大きさを算出する。更にCPU41は、対象道路標識の位置や大きさと、矢印71の表示する位置や大きさに基づいて、乗員9が対象道路標識を見た際に矢印71の虚像と対象道路標識とが重なる領域を算出する。そして、CPU41は、算出された領域を、矢印71を描画しない非描画領域に設定する。その後、CPU41は、後述のように矢印71の画像をHUD4の液晶ディスプレイ6に表示する際に、設定された非描画領域に矢印71の虚像が表示されないように表示制御する。
 続いてS4においてCPU41は、先ずHUD4の液晶ディスプレイ6に対して表示する画像として、特に案内分岐点を退出した後の車両が進行する進行路の進行方向を案内する矢印の画像を生成する。生成される矢印の画像の形状は、車両の進行方向と案内分岐点の形状によって決定される。尚、液晶ディスプレイ6に表示された画像は、虚像10として車両の乗員からは車両の車両前方の風景に重畳して視認される(図1参照)。
 更に、前記S4においてCPU41は、生成された矢印の画像の内、前記S11において設定された非描画領域に虚像が表示されないように、該当する領域を欠いた矢印の画像とする。その後、CPU41はHUD4に対して制御信号を送信し、HUD4の液晶ディスプレイ6に対して生成並びに補正された後の矢印の画像を表示する。その結果、対象道路標識と重なる部分について描画対象から除かれた矢印の虚像が表示される。
 ここで図8は、非描画領域93を設定した、即ち、非描画領域93に基づく補正を行った矢印71の虚像を表示した状態を示している。図8に示すように、矢印71の虚像は、道路標識81のポール81Aと重なる部分を非描画領域93に補正(設定)されている。従って、矢印71の虚像は、非描画領域93において進行路74の手前側に立つ道路標識81のポール81Aの奥側(後側)を通るように表示される。
 また、進行路74の奥側の道路標識82に対しては非描画領域を設定しないため、矢印71の虚像は、道路標識82の手前側を通るように上に重なって表示される。これにより、乗員9は、道路標識81、82と矢印71の虚像との前後の位置関係を把握でき、進むべき進行路74を正確に認識できる。CPU41は、案内分岐点を通過するまで継続して矢印71の虚像の表示を行う。そして、案内分岐点を通過した後に終了する。その後は次の案内分岐点が近づいた場合にS1以降の処理を再度実行する。
 また、上記した図8に示す例では、道路標識81、82を対象として非描画領域を設定しているが、ガードレール、カーブミラー、建物、防風林などの他の周辺対象物についても同様の処理を実行することができる。例えば、図9に示すように、進行路74の手前側に建物85が立っている場合、CPU41は、矢印71の虚像と建物85とが重なる部分を非描画領域94に設定してもよい。図9に示す例では、矢印71は、その先端部分を建物85の奥側に回り込ませたように表示される。これにより、乗員9は、建物85を目印にして建物85の奥側を通る進行路74を把握でき、曲がる道を誤るような事態の発生が抑制される。
 以上詳細に説明した通り、第1実施形態に係る重畳画像表示装置1及び重畳画像表示装置1で実行されるコンピュータプログラムによれば、案内分岐点72を左折した後の進行方向を案内する矢印71の虚像は、案内分岐点72の周辺に存在する道路標識81と重なる部分を非描画領域93とする補正が行われる。更に補正後の矢印71の虚像は、道路標識81の位置に非描画領域93の位置を合わせて表示される。その結果、道路標識81の一部(ポール81A)は、非描画領域93において、補正後の矢印71の手前側に位置するように視認される。これにより、乗員9は、道路標識81の位置と、補正後の矢印71の虚像の位置との前後関係を認識することができ、進むべき進行路74を正確に把握できる。
〔第2実施形態〕
 次に、第2実施形態に係る重畳画像表示装置について図10乃至図16に基づいて説明する。尚、以下の説明において上記図1乃至図9の第1実施形態に係る重畳画像表示装置1の構成と同一符号は、前記第1実施形態に係る重畳画像表示装置1等の構成と同一あるいは相当部分を示すものである。
 この第2実施形態に係る重畳画像表示装置の概略構成は、第1実施形態に係る重畳画像表示装置1とほぼ同じ構成である。また、各種制御処理も第1実施形態に係る重畳画像表示装置1とほぼ同じ制御処理である。
 ただし、第1実施形態に係る重畳画像表示装置1が、車両と周辺対象物との位置関係に基づいて非描画領域を算出し、算出した非描画領域から表示する案内画像の形状を決定しているのに対して、第2実施形態に係る重畳画像表示装置は、3次元地図情報34に対して案内画像のモデルを置くことによって表示する案内画像の形状を決定する点で第1実施形態に係る重畳画像表示装置1と異なっている。
 以下に、第2実施形態に係る重畳画像表示装置において実行される走行支援処理プログラムについて図10に基づき説明する。図10は第2実施形態に係る走行支援処理プログラムのフローチャートである。
 先ず、S21においてCPU41は、車両2の進行方向前方の所定距離(例えば700m)以内に案内分岐点が存在するか否かを判定する。詳細は前記S1と同様であるので省略する。
 そして、車両2の進行方向前方の所定距離に案内分岐点が存在すると判定された場合(S21:YES)には、S22へと移行する。それに対して、車両2の進行方向前方の所定距離に案内分岐点が存在しないと判定された場合(S21:NO)には、案内分岐点が存在すると判定されるまで待機する。この場合、CPU41は、例えば予め設定された時間だけ間を空けてS21の処理を繰り返し実行する。
 S22においてCPU41は、フロントカメラ11によって車両前方の風景を撮像した撮像画像を取得する。更に、CPU41は、地図情報DB31から車両の現在位置周辺の3次元地図情報34を読み出す。尚、3次元地図情報34には、3次元で地図を表現する為に必要な情報(道路の輪郭、建築物の形状、道路の区画線、信号機、道路標識、看板等の3次元の座標データなど)が記憶される。
 次に、S23においてCPU41は、前記S22で読み出した3次元地図情報34に基づいて、案内分岐点付近を示す3次元立体地図(3次元で建物や道路等を表現した地図)を生成する。具体的には、以下の処理を実行することにより3次元立体地図を生成する。
 先ず、CPU41は、3次元地図情報34から3次元空間上に道路、建築物、道路標識、看板等をモデリングしたオブジェクト(形状データ)を取得する。尚、CPU41は、予めモデリングしてDBに格納しておいたオブジェクトの内、該当するオブジェクトを取得する構成としても良いし、S23においてモデリングを実施してオブジェクトを新たに作成する構成としても良い。モデリングを実施する場合には、3次元地図情報34から道路や案内分岐点周辺にある構造物(建築物、道路標識、看板等)の形状や位置を特定する情報を取得し、取得した情報に基づいてモデリング処理を行う。
 ここで、モデリングとは3次元空間上においてモデル(物体)の形状を作成する処理であり、より具体的には各頂点の座標の決定や、境界線、面を表現する方程式のパラメータの決定などを行う。尚、モデリングについては公知の技術であるので詳細は省略する。そして、モデリングされたオブジェクト(形状データ)は、用途に応じて辺のみ表示する「ワイヤーフレームモデル」、面を表示する「サーフィスモデル」等の形で表現される。そして各オブジェクトが形成された3次元空間を3次元立体地図とする。
 また、前記S23でCPU41は、現在位置検出部13で検出されたパラメータに基づいて、生成された3次元立体地図における自車両の現在位置及び方位についても特定する。尚、後述の3次元立体地図と撮像画像との照合の処理を容易化する為に、自車両の現在位置は特に自車両に設置されたフロントカメラ11の設置位置とし、自車両の方位はフロントカメラ11の光軸方向とするのが望ましい。
 ここで、図11は前記S23で生成される3次元立体地図101の一例を示した図である。図11に示すように3次元立体地図101には、3次元空間に対して、道路や構造物(建築物、道路標識、看板等)を示す各オブジェクト102が配置される。特に車両の進行方向前方にある案内分岐点103周辺の道路や構造物を示す各オブジェクト102が配置される。また、3次元立体地図101には自車両の現在位置と方位を示す自車位置マーク104についても配置される。
 続いてS24においてCPU41は、前記S22で取得した撮像画像と前記S23で生成された3次元立体地図とを照合し、両者の間にズレが生じていないかを判定する。具体的にはCPU41は、3次元立体地図に設定されている自車両の現在位置(より具体的にはフロントカメラ11の設置位置であり高さも考慮する)を視点とし、自車両の方位を視線方向に設定し、設定された視点及び視線方向によって3次元立体地図を視認した際の像と、撮像画像とを照合する。尚、3次元立体地図には、歩行者や他車両等の動体物、樹木などの一部の固定物については含まれないので、それらに起因するズレは基本的には無視して判定する。また、ズレが生じていないとは両者が完全に一致する場合のみに限らず、ある程度の許容範囲内のズレが生じている場合においてもズレが生じていないとみなすのが望ましい。
 そして、前記S22で取得した撮像画像と前記S23で生成された3次元立体地図との間にズレが生じていないと判定された場合(S24:YES)には、S26へと移行する。それに対して、前記S22で取得した撮像画像と前記S23で生成された3次元立体地図との間にズレが生じていると判定された場合(S24:NO)には、S25へと移行する。
 S25においてCPU41は、前記S23で生成された3次元立体地図について、前記S22で取得した撮像画像と間のズレが小さくなるように3次元立体地図内に設定された自車両の現在位置及び方位を補正する。尚、3次元立体地図における自車両の現在位置及び方位は固定してオブジェクト側を補正しても良い。それによって、3次元立体地図内における正確な自車両の現在位置及び方位(より具体的にはフロントカメラ11の設置位置と光軸方向)を特定することが可能となる。その後、S24へと戻る。
 一方、S26においてCPU41は、案内分岐点での案内を行う案内画像を、前記S23で生成された3次元立体地図に対して配置する。尚、第2実施形態では案内分岐点を退出した後の車両が進行する進行路の進行方向を案内する矢印の画像を、案内画像とする。そして、案内分岐点を退出した後に車両が進行する進行路(例えば案内分岐点で左折する場合には、案内分岐点の左側に接続される道路)の路面に対して所定距離(例えば1m)上方に離間した位置に鉛直方向に立てた状態で案内画像を配置する。
 次に、S27においてCPU41は、案内分岐点の周辺に位置する動体物(移動いている物体)を検出する。尚、検出対象となる動体物は例えば歩行者、自転車、車両であり、フロントカメラ11で撮像した撮像画像に対して画像処理を行うことにより検出される。また、CPU41は、撮像画像に基づいて検出された動体物の位置、種類、形状、その後の進行路(進行方向)についても特定する。
 続いて、S28においてCPU41は、案内分岐点の周辺で検出された動体物のモデル(仮想体)を、前記S23で生成された3次元立体地図に対して検出された位置に配置する。複数の動体物が検出された場合には、検出された全ての動体物を3次元立体地図に対して配置する。尚、3次元立体地図に対して配置される仮想体は実際の動体物の形状を模した形状とする。例えば歩行者であれば人の形状を有する仮想体として、車両であれば車両の形状を有する仮想体とする。サイズについても実際の動体物のサイズと対応させる。但し、動体物が不定形である(形状や種類を特定できない)場合には、例外的に仮想体は該動体物の全てを含む最小の直方体とする。
 ここで、図12は3次元立体地図101に対して案内画像105と動体物の仮想体106、107をそれぞれ配置した図である。尚、図12に示す例では仮想体106は歩行者を示し、仮想体106は自転車を示している。即ち、案内分岐点103の周辺には動体物として歩行者と自転車がそれぞれ存在することを示している。
 その後、S29においてCPU41は、3次元立体地図に対して仮想体が配置されている動体物の内、“自車両が進行路に沿って進行する場合に影響のある動体物”があるか否かを判定する。具体的には、車両の進行路と今後の進行路が重複する動体物については、“自車両が進行路に沿って進行する場合に影響のある動体物”であると判定する。
 例えば、図13に示すように仮想体106でモデリングされた歩行者の進行路(進行方向)が、案内分岐点の左側に接続する道路を横断する進行路である場合には、歩行者の今後の進行路と自車両の進行路108とが重複することとなる。従って、仮想体106でモデリングされた歩行者は、“自車両が進行路に沿って進行する場合に影響のある動体物”であると判定される。一方で、仮想体107でモデリングされた自転車の進行路(進行方向)は、案内分岐点の左側に接続する道路を横断せずに案内分岐点103から離れる方向へと移動する進行路であるので、自転車の今後の進行路と自車両の進行路108とは重複しない。従って、仮想体107でモデリングされた自転車は、“自車両が進行路に沿って進行する場合に影響のある動体物”でないと判定される。
 そして、3次元立体地図に対して仮想体が配置されている動体物の内、“自車両が進行路に沿って進行する場合に影響のある動体物”があると判定された場合(S29:YES)には、S30へと移行する。一方で、3次元立体地図に対して仮想体が配置されている動体物が、いずれも“自車両が進行路に沿って進行する場合に影響のある動体物”ではないと判定された場合(S29:NO)には、S31へと移行する。
 S30においてCPU41は、車両が進行路に沿って進行する場合に影響があると判定された動体物(以下、影響動体物という)と重ならない態様で案内画像を表示する為に、3次元立体地図に配置された案内画像の補正を行う。具体的には、先ずCPU41は動体物や案内画像が配置された3次元立体地図を、車両(乗員)の視点から車両の進行方向に視認した画像(以下、視認画像という)を取得する。特に車両の視点は車両の乗員の目の位置とする。尚、乗員の目の位置については車内カメラ12によって検出することが可能であり、前記S24での撮像画像と3次元立体地図の照合の結果、最終的に特定された車両の現在位置及び方位と、車内カメラ12の検出結果を組み合わせることによって、3次元立体地図における乗員の目の位置を特定する。そして、視認画像は、3次元立体地図に配置された各オブジェクト(道路、建築物、道路標識、看板、動体物の仮想体、案内画像等)を車両(乗員)の視点から車両の進行方向に視認した際に視認できる像であり、車両の乗員の視界に相当する。但し、視認画像については車両(乗員)の視点から視認した画像であれば、必ずしも車両の進行方向に視認した画像である必要は無い。但し、少なくとも視認画像に案内画像が含まれる必要はある。そして、上記のように取得された視認画像において図12に示すように影響動体物の仮想体106と案内画像が重複している場合に、以下の(1)、(2)のいずれかの補正を行う。
(1)影響動体物と重なる領域に虚像が表示されないように、3次元立体地図に配置された案内画像を、影響動体物の仮想体と重なる領域を欠いた案内画像へと補正する。例えば、図15に示すように視認画像において案内画像105と影響動体物の仮想体106とが重なる領域を欠いた矢印とする。但し、特に矢印の先端において影響動体物の仮想体106と重なる場合については、矢印の先端を伸ばす或いは縮めることにより矢印の先端については表示する。
(2)影響動体物と重なる領域に虚像が表示されないように、3次元立体地図に配置された案内画像を、影響動体物の仮想体を迂回する形状の案内画像へと補正する。例えば、図16に示すように視認画像において案内画像105を影響動体物の仮想体106と重ならないように湾曲した矢印とする。
 尚、第2実施形態では特に自車両の進行路の奥側(即ち案内画像105よりも奥側)に位置する影響対象物のみを対象として上記S30の処理を行う。自車両の進行路の手前側(即ち案内画像105よりも手前側)に位置する影響対象物については、S30の補正を行わなかったとしても後述のS31の処理において案内画像の形状を決定する際に、影響対象物と重複する部分は除かれた案内画像となるからである。
 次に、S31においてCPU41は、視認画像に含まれる案内画像の形状(前記S30の補正を行った場合には補正後の形状)を、HUD4により表示対象とする案内画像の形状として記憶する。尚、視認画像に含まれる案内画像の形状は、3次元立体地図に配置された各オブジェクト(道路、建築物、道路標識、看板、動体物の仮想体、案内画像等)を車両(乗員)の視点から視認した際に視認できる案内画像の形状である。ここで、前記S31で記憶される案内画像の形状は、進行路の手前側に位置する各オブジェクト(例えば道路標識、建築物、前記S28で配置された動体物の仮想体など)と重なって視認される場合には、重なる部分を除いた形状となる。例えば案内画像の形状が矢印の形状であれば、矢印の内、各オブジェクトと重なって視認される領域について除かれた形状となる。但し、特に矢印の先端においてオブジェクトと重なる場合については、矢印の先端を伸ばす或いは縮めることによって矢印の先端がオブジェクトと重ならないようにし、少なくとも矢印の先端については含む形状とする。一方で、案内画像が進行路の奥側に位置する各オブジェクトと重なって視認される場合には、重なる部分についても含む形状となる。
 更に、S32においてCPU41は、3次元立体地図において配置された案内画像の位置を取得する。具体的には案内分岐点を退出した後に車両が進行する進行路の路面に対して所定距離(例えば1m)上方に離間した位置となる。
 その後、S33においてCPU41は、後述の表示範囲決定処理を行う。表示範囲決定処理では、HUD4において案内画像を表示する範囲(フロントウィンドウ8に対して案内画像を投影する範囲、或いはHUD4の液晶ディスプレイ6に対して案内画像を表示する範囲)を決定する。
 続いて、S34においてCPU41は、HUD4に対して制御信号を送信し、HUD4の液晶ディスプレイ6に対して前記S21で記憶された形状の案内画像を、前記S33で決定された表示範囲に表示する。その結果、案内分岐点を退出した後の車両が進行する進行路の進行方向を案内する案内画像として特に矢印の虚像が、車両の乗員から車両前方の風景に重畳して視認される。
 ここで、図16は特に案内分岐点を退出した後の車両が進行する進行路の進行方向が左方向(即ち左折)である場合に、車両の乗員から視認される案内画像の虚像を示した図である。
 図16に示すように、車両のフロントウィンドウ8越しには、案内分岐点103を左折した後の進行路の路面に対して上方に離間した位置に重畳して、左方へ進むことを示す矢印の案内画像105が虚像として表示されている。また、案内画像105の虚像は、進行路の手前側に位置する周辺対象物である道路標識112と重なる領域については除いて表示される。従って、案内画像105は、道路標識112の奥側(後側)を通るように視認される。一方、進行路の奥側に立つ道路標識113に対しては重なって表示される。従って、案内画像105は、道路標識113の手前側を通るように視認される。その結果、乗員9は、道路標識112、113の位置と、案内画像105の虚像の位置との前後関係を認識することができ、進むべき進行路を正確に把握できる。尚、図16に示す例では特に案内画像105の虚像と重なる周辺対象物が道路標識の場合であるが、建築物や動体物(歩行者や他車両)の場合についても同様にして表示される。
 更に、前述したように案内分岐点103の周辺に影響動体物110がある場合については、影響動体物110と重なる領域に虚像が表示されないように、該当する領域を欠いた、或いは影響動体物110を迂回する形状の案内画像105となる。その結果、乗員9は、案内画像105によって影響動体物110の視認性が阻害されることなく、影響動体物110について確実に視認することが可能となる。
 次に、前記S33において実行される表示範囲決定処理のサブ処理について図17に基づき説明する。図17は表示範囲決定処理のサブ処理プログラムのフローチャートである。
 先ず、S41においてCPU41は、車両の乗員の目の位置を車内カメラ12で撮像した撮像画像に基づいて検出する。尚、検出された目の位置は3次元の位置座標で特定される。
 次に、S42においてCPU41は、HUD4の表示がONになっているか否かを判定する。尚、HUD4の表示のON又はOFFの切り替えは車両の乗員の操作によって行うことが可能である。また、周辺状況や車両の状態に基づいてON又はOFFを自動で切り替えても良い。
 そして、HUD4の表示がONになっていると判定された場合(S42:YES)には、S43へと移行する。一方、HUD4の表示がOFFになっていると判定された場合(S42:NO)には、HUD4による案内画像の虚像の表示を行うことなく終了する。
 S43においてCPU41は、HUD4によって画像を投影する対象となるフロントウィンドウ8の位置座標を取得する。尚、フロントウィンドウ8の位置座標は3次元の位置座標で特定される。
 次に、S44においてCPU41は、前記S32で取得された3次元立体地図において配置された案内画像の位置を特定する座標を、案内画像の位置座標として取得する。尚、案内画像の位置座標は同じく3次元の位置座標で特定される。
 続いて、S45においてCPU41は、前記S41、S43及びS44で取得された各位置座標に基づいて、フロントウィンドウ8における案内画像の投影範囲を決定する。更に、決定された投影範囲からHUD4の内部の液晶ディスプレイ6における案内画像の表示範囲についても決定する。その後、S34へと移行し、決定された投影範囲や表示範囲に基づいてHUD4を用いた虚像の表示を行う。尚、HUDの表示がオフになるまで繰り返しS31~S34の処理を行うこととなる。
 以上詳細に説明した通り、第2実施形態に係る重畳画像表示装置及び重畳画像表示装置で実行されるコンピュータプログラムによれば、案内分岐点を退出した後の車両が進行する進行路の進行方向を案内する案内画像を、車両前方の風景に重畳して視認させる場合に、車両が進行する進行路の手前側に存在する周辺対象物と重なる領域を案内画像から除いて表示する(S31~S34)ので、実景に含まれる周辺対象物(例えば建物、歩行者、車両、街路樹等)の位置と、案内画像の位置との前後関係を車両の乗員は明確に把握することが可能となる。その結果、進むべき進行路を正確に車両の乗員に通知可能となる。
 尚、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
 例えば、上記第1実施形態及び第2実施形態では、案内分岐点として十字路である案内分岐点72を例に説明したが、これに限らない。例えば、図18に示すように走行路73が2つに分岐する分岐点76でもよい。この場合、矢印71の虚像は、図18に示すように、例えば、分岐点76を退出した後の進行路74に沿って左斜め前方へと延長した虚像となる。また、矢印71は、進行路74の手前側の道路標識81と重なる部分を非描画領域95に設定される。また、矢印71は、進行路74の奥側に存在する道路標識82の手前側に重なって表示される。このような場合にも、上記実施形態と同様に、乗員9に進むべき進行路74を正確に把握させることができる。
 また、上記実施形態では特に言及していないが、本願発明は、左側通行だけでなく、右側通行の場合にも同様に適用できる。
 また、第1実施形態及び第2実施形態では、HUD4によって車両2のフロントウィンドウ8の前方に虚像を生成する構成としているが、フロントウィンドウ8以外のウィンドウの前方に虚像を生成する構成としても良い。また、HUD4により映像を反射させる対象はフロントウィンドウ8自身ではなくフロントウィンドウ8の周辺に設置されたバイザー(コンバイナー)であっても良い。
 また、第1実施形態及び第2実施形態では、周辺環境に重畳する画像を表示する手段としてHUD4を用いているが、フロントウィンドウ8に対して画像を表示するウインドウシールドディスプレイ(WSD)を用いても良い。或いはナビゲーション装置3の液晶ディスプレイ17に表示した実景に、案内画像を重畳させる表示装置でもよい。
 また、第1実施形態及び第2実施形態では、走行支援処理プログラム(図3、図10)の処理をナビゲーション装置3のナビゲーションECU15が実行する構成としているが、実行主体は適宜変更することが可能である。例えば、HUD4の制御部、車両制御ECU、その他の車載器が実行する構成としても良い。尚、HUD4の制御部が実行する場合には、本発明に係る表示装置はHUD4のみで構成することも可能である。
 また、本発明に係る表示装置を具体化した実施例について上記に説明したが、表示装置は以下の構成を有することも可能であり、その場合には以下の効果を奏する。
 例えば、第1の構成は以下のとおりである。
 車両(2)に搭載され、案内分岐点(72、103)を退出した後の車両が進行する進行路(74、108)の進行方向を案内する案内画像(71、105)を、前記車両の前方の風景に重畳して視認させる表示装置(1)であって、前記車両が進行する前記進行路の手前側に存在する周辺対象物(81、112)と重なる領域を前記案内画像から除いて、前記案内画像を表示する案内画像表示手段(41)を有する。
 上記構成を有する表示装置によれば、案内分岐点を退出した後の進行方向を案内する案内画像は、車両が進行する進行路の手前側に存在する周辺対象物と重なる領域については重畳対象から除かれるので、実景に含まれる周辺対象物(例えば建物、歩行者、車両、街路樹等)の位置と、案内画像の位置との前後関係を車両の乗員は明確に把握することが可能となる。その結果、進むべき進行路を正確に車両の乗員に通知可能となる。
 また、第2の構成は以下のとおりである。
 前記車両(2)が進行する前記進行路(74、108)の手前側に存在する前記周辺対象物の有無を判定する周辺対象物判定手段(41)と、前記車両が進行する前記進行路の手前側に前記周辺対象物(81、112)が存在する場合に、前記周辺対象物と重なる領域を描画対象から除く非描画領域(93~96)として前記案内画像を補正する補正手段(41)と、を有し、前記案内画像表示手段(41)は、補正後の前記案内画像を表示する。
 上記構成を有する表示装置によれば、案内分岐点を退出した後の進行方向を案内する案内画像は、案内分岐点の周辺に存在する周辺対象物と重なる部分を非描画領域とする補正が行われる。補正後の案内画像は、周辺対象物の位置に非描画領域の位置を合わせて表示される。周辺対象物の一部は、非描画領域において、補正後の案内画像の手前側に(上に)重なるように表示される。これにより、ユーザは、実景の物体(周辺対象物)の位置と、補正後の案内画像の位置との前後関係を認識することができ、進むべき進行路を把握できる。
 また、第3の構成は以下のとおりである。
 前記周辺対象物判定手段(41)は、前記案内分岐点(72、103)を曲がった後の前記車両(2)が進行する前記進行路(74、108)の手前側に存在する前記周辺対象物(81,112)の有無を判定する。
 上記構成を有する表示装置によれば、案内画像は、案内分岐点を曲がった車両が進行する進行路の手前側に存在する周辺対象物と重なる部分が非描画領域となる。これにより、曲がった後の進行路の手前側の周辺対象物を案内画像の手前側に表示することで、曲がる位置や曲がった後の進行路をユーザにより確実に認識させることができる。
 また、第4の構成は以下のとおりである。
 前記案内画像表示手段(41)は、前記車両(2)のフロントウィンドウ(25)を通じて見える実景に前記案内画像(71、105)を重畳させ、前記車両(2)と前記周辺対象物(81、112)とを結ぶ直線(D3)と、前記車両の幅方向とがなす角度(θ)を取得する角度取得手段(41)と、前記角度取得手段により取得された前記角度に基づいて、前記フロントウィンドウにおける前記車両の乗員(26)が前記周辺対象物を視認する位置(91)を取得する位置取得手段(41)と、有し、前記補正手段(41)は、前記位置取得手段により取得された位置に基づいて、前記非描画領域(93~96)の位置を決定する。
 上記構成を有する表示装置によれば、角度取得手段は、車両と周辺対象物とを結ぶ直線と、車両の幅方向とがなす角度を取得する。位置取得手段は、この角度に基づいて、フロントウィンドウにおける乗員が周辺対象物を視認する位置を検出する。補正手段は、位置取得手段によって検出した位置に基づいて非描画領域の位置を決定する。これにより、HUDやウィンドシールドディスプレイ装置などのフロントウィンドウ越しの実景に案内画像を重畳させる表示装置では、非描画領域の位置を周辺対象物の位置により正確に合わせることができる。
 また、第5の構成は以下のとおりである。
 前記周辺対象物(81、112)の大きさに基づいて前記車両(2)から前記周辺対象物までの第一距離(D1)を取得する第一距離取得手段(41)と、前記車両(2)から前記進行路(74)の手前側の道路端(74A)までの第二距離(D2)を取得する第二距離取得手段(41)と、を有し、前記周辺対象物判定手段(41)は、前記第一距離が前記第二距離以下であることに基づいて前記周辺対象物の有無を判定する。
 例えば、道路標識(周辺対象物)は、法令などによって大きさが規定されている。このため、道路標識の規定の大きさと、撮像された道路標識の大きさとに基づいて、車両から周辺対象物までの第一距離を取得できる。そして、当該表示装置によれば、第一距離と、車両から進行路の手前側までの第二距離とに基づいて、周辺対象物が進行路の手前側に存在するのか、あるいは奥側に存在するのかをより正確に判定できる。
 また、第6の構成は以下のとおりである。
 前記案内画像(71、105)は、矢印を示す画像であり、前記補正手段(41)は、前記進行路(74、108)に沿って前記進行方向の先端側に向かって前記案内画像の矢印の先端側を延長する。
 上記構成を有する表示装置によれば、案内画像の矢印を、進行路の進行方向の先に向かって延長する。これにより、ユーザは、案内分岐点を直進や左折した後の進行方向をイメージし易くなる。
 また、第7の構成は以下のとおりである。
 前記案内画像表示手段(41)は、前記車両が進行する前記進行路(74、108)の奥側に存在する奥側周辺対象物(82、113)の手前に前記案内画像(71、105)を重ねて表示する。
 上記構成を有する表示装置によれば、補正後の案内画像は、進行路の奥側の周辺対象物の手前側に重ねて表示される。例えば、進行路の手前にある周辺対象物は、案内画像の手前に表示され、進行路の奥側の周辺対象物は、案内画像の奥側に表示される。このため、ユーザは、周辺対象物と案内画像の前後関係をより正確に把握できる。
 また、第8の構成は以下のとおりである。
 前記案内画像表示手段(41)は、前記案内画像(71、105)を虚像として表示する。
 上記構成を有する表示装置によれば、進行方向を案内する虚像を実景に重畳させ、進行路などと合わせて虚像をユーザに視認させることができる。ユーザは、例えば、フロントウィンドウ越しに見える実景に重畳された虚像(案内画像)と周辺対象物との位置関係を確認することで、曲がるべき交差点などをより正確に把握できる。
 また、第9の構成は以下のとおりである。
 前記案内画像(71、105)は、路面に対して上方に離間して視認される位置に表示される。
 上記構成を有する表示装置によれば、路面等の風景に対して案内画像が調和することなく、車両の乗員に対して風景から案内画像を識別して、明確に視認させることが可能となる。
 また、第10の構成は以下のとおりである。
 前記案内画像(71、105)は、前記案内分岐点(72、103)を退出した後の車両が進行する進行路(74、108)の進行方向を示す矢印の画像であって、前記案内画像表示手段(41)は、前記周辺対象物(81、112)と重ならない領域に矢印の先端部分を表示する。
 上記構成を有する表示装置によれば、案内画像と周辺対象物が重なった場合であっても、少なくとも矢印の先端部分については表示することが可能となるので、乗員は案内画像により示される進行方向について把握することが可能となる。
 また、第11の構成は以下のとおりである。
 前記車両(2)の前方の風景を撮像した撮像画像を取得する撮像画像取得手段(41)と、3次元地図情報(34)を取得する地図情報取得手段(41)と、前記撮像画像と3次元地図情報を照合する照合手段(41)と、前記照合手段の照合結果に基づいて、3次元地図情報内における案内分岐点を退出した後の車両が進行する進行路に前記案内画像(71、105)を配置する画像配置手段(41)と、3次元地図情報内における車両の位置から前記案内画像を視認した場合の前記案内画像の形状を取得する形状取得手段(41)と、を有し、前記案内画像表示手段は、前記形状取得手段によって取得された形状の前記案内画像を表示する。
 上記構成を有する表示装置によれば、車両前方の風景を撮像した撮像画像と3次元地図情報とを用いることによって、車両が進行する進行路の手前側に存在する周辺対象物と重なる領域について重畳対象から除かれた案内画像を容易に生成することが可能となる。
 また、第12の構成は以下のとおりである。
 前記周辺対象物(81、112)は、少なくとも一つの建築物、道路標識、動体物である。
 上記構成を有する表示装置によれば、案内分岐点を退出した後の進行方向を案内する案内画像は、車両が進行する進行路の手前側に存在する建築物、道路標識、動体物等と重なる領域については重畳対象から除かれるので、実景に含まれる建築物、道路標識、動体物等の位置と、案内画像の位置との前後関係を車両の乗員は明確に把握することが可能となる。その結果、進むべき進行路を正確に車両の乗員に通知可能となる。
  1             重畳画像表示装置
  2             車両
  3             ナビゲーション装置
  4             HUD
  8             フロントウィンドウ
  9             乗員
  41            CPU
  42            RAM
  43            ROM
  72、103        案内分岐点
  71            矢印
  74、108        進行路
  81~84、112,113 道路標識
  93            非描画領域
  105           案内画像
  106、107       動体物の仮想体

Claims (13)

  1.  車両に搭載され、案内分岐点を退出した後の車両が進行する進行路の進行方向を案内する案内画像を、前記車両の前方の風景に重畳して視認させる表示装置であって、
     前記車両が進行する前記進行路の手前側に存在する周辺対象物と重なる領域を前記案内画像から除いて、前記案内画像を表示する案内画像表示手段を有する表示装置。
  2.  前記車両が進行する前記進行路の手前側に存在する前記周辺対象物の有無を判定する周辺対象物判定手段と、
     前記車両が進行する前記進行路の手前側に前記周辺対象物が存在する場合に、前記周辺対象物と重なる領域を描画対象から除く非描画領域として前記案内画像を補正する補正手段と、を有し、
     前記案内画像表示手段は、補正後の前記案内画像を表示する請求項1に記載の表示装置。
  3.  前記周辺対象物判定手段は、前記案内分岐点を曲がった後の前記車両が進行する前記進行路の手前側に存在する前記周辺対象物の有無を判定する請求項2に記載の表示装置。
  4.  前記案内画像表示手段は、前記車両のフロントウィンドウを通じて見える風景に前記案内画像を重畳させ、
     前記車両と前記周辺対象物とを結ぶ直線と、前記車両の幅方向とがなす角度を取得する角度取得手段と、
     前記角度取得手段により取得された前記角度に基づいて、前記フロントウィンドウにおける前記車両の乗員が前記周辺対象物を視認する位置を取得する位置取得手段と、有し、
     前記補正手段は、前記位置取得手段により取得された位置に基づいて、前記非描画領域の位置を決定する請求項2又は請求項3に記載の表示装置。
  5.  前記周辺対象物の大きさに基づいて前記車両から前記周辺対象物までの第一距離を取得する第一距離取得手段と、
     前記車両から前記進行路の手前側の道路端までの第二距離を取得する第二距離取得手段と、を有し、
     前記周辺対象物判定手段は、前記第一距離が前記第二距離以下であることに基づいて前記周辺対象物の有無を判定する請求項2乃至請求項4の何れかに記載の表示装置。
  6.  前記案内画像は、矢印を示す画像であり、
     前記補正手段は、前記進行路に沿って前記進行方向の先端側に向かって前記案内画像の矢印の先端側を延長する請求項2乃至請求項5の何れかに記載の表示装置。
  7.  前記案内画像表示手段は、前記車両が進行する前記進行路の奥側に存在する奥側周辺対象物の手前に前記案内画像を重ねて表示する請求項1乃至請求項6の何れかに記載の表示装置。
  8.  前記案内画像表示手段は、前記案内画像を虚像として表示する請求項1乃至請求項7の何れかに記載の表示装置。
  9.  前記案内画像は、路面に対して上方に離間して視認される位置に表示される請求項1乃至請求項8のいずれかに記載の表示装置。
  10.  前記案内画像は、前記案内分岐点を退出した後の車両が進行する進行路の進行方向を示す矢印の画像であって、
     前記案内画像表示手段は、前記周辺対象物と重ならない領域に矢印の先端部分を表示する請求項1乃至請求項9のいずれかに記載の表示装置。
  11.  前記車両の前方の風景を撮像した撮像画像を取得する撮像画像取得手段と、
     3次元地図情報を取得する地図情報取得手段と、
     前記撮像画像と3次元地図情報を照合する照合手段と、
     前記照合手段の照合結果に基づいて、3次元地図情報内における案内分岐点を退出した後の車両が進行する進行路に前記案内画像を配置する画像配置手段と、
     3次元地図情報内における車両の位置から前記案内画像を視認した場合の前記案内画像の形状を取得する形状取得手段と、を有し、
     前記案内画像表示手段は、前記形状取得手段によって取得された形状の前記案内画像を表示する請求項1乃至請求項10のいずれかに記載の表示装置。
  12.  前記周辺対象物は、少なくとも一つの建築物、道路標識、動体物である請求項1乃至請求項11のいずれかに記載の表示装置。
  13.  車両に搭載され、案内分岐点を退出した後の車両が進行する進行路の進行方向を案内する案内画像を、前記車両の前方の風景に重畳して視認させる表示装置を、
     前記車両が進行する前記進行路の手前側に存在する周辺対象物と重なる領域を前記案内画像から除いて、前記案内画像を表示する案内画像表示手段として機能させる為のコンピュータプログラム。
PCT/JP2018/024290 2017-11-17 2018-06-27 表示装置及びコンピュータプログラム WO2019097755A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/649,434 US11511627B2 (en) 2017-11-17 2018-06-27 Display device and computer program
DE112018004583.8T DE112018004583T5 (de) 2017-11-17 2018-06-27 Anzeigevorrichtung und Computerprogramm

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017222167A JP7151073B2 (ja) 2017-03-31 2017-11-17 表示装置及びコンピュータプログラム
JP2017-222167 2017-11-17

Publications (1)

Publication Number Publication Date
WO2019097755A1 true WO2019097755A1 (ja) 2019-05-23

Family

ID=66540499

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/024290 WO2019097755A1 (ja) 2017-11-17 2018-06-27 表示装置及びコンピュータプログラム

Country Status (3)

Country Link
US (1) US11511627B2 (ja)
DE (1) DE112018004583T5 (ja)
WO (1) WO2019097755A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111121815A (zh) * 2019-12-27 2020-05-08 重庆利龙科技产业(集团)有限公司 一种基于ar-hud导航的路径显示方法、系统及计算机存储介质

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108139584B (zh) * 2015-10-15 2020-08-28 麦克赛尔株式会社 信息显示装置
KR102547823B1 (ko) * 2017-12-13 2023-06-26 삼성전자주식회사 컨텐츠 시각화 장치 및 방법
US11479245B2 (en) * 2019-02-14 2022-10-25 Honda Motor Co., Ltd. Semi-autonomous vehicle control system and method of controlling a semi-autonomous vehicle
CN113811931B (zh) * 2019-06-20 2024-02-02 住友电气工业株式会社 车载通信系统、交换机装置、功能部、通信控制方法以及通信控制程序
WO2021039198A1 (ja) * 2019-08-23 2021-03-04 株式会社デンソー 表示制御装置及び表示制御プログラム
US11318887B1 (en) * 2020-10-29 2022-05-03 GM Global Technology Operations LLC Panoramic virtual environment for in-vehicle entertainment
CN112785831A (zh) * 2020-12-02 2021-05-11 及宇智能科技(上海)有限公司 一种自适应ai路线选择调度方法
FR3117585A1 (fr) * 2020-12-15 2022-06-17 Psa Automobiles Sa Procédé d’affichage d’éléments de guidage, à destination d’un conducteur d’un véhicule comprenant un dispositif d’affichage tête haute
JP2022154082A (ja) * 2021-03-30 2022-10-13 パナソニックIpマネジメント株式会社 表示補正システム、表示システム、表示補正方法、及びプログラム
JP2022184350A (ja) * 2021-06-01 2022-12-13 マツダ株式会社 ヘッドアップディスプレイ装置
US20240095263A1 (en) * 2022-07-06 2024-03-21 Northrop Grumman Systems Corporation Map item cluster control

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006035755A1 (ja) * 2004-09-28 2006-04-06 National University Corporation Kumamoto University 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
JP2006284458A (ja) * 2005-04-01 2006-10-19 Denso Corp 運転支援情報表示システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2677834B1 (fr) * 1986-09-16 1993-12-31 Thomson Csf Systeme d'imagerie laser a barrette detectrice.
JP4093144B2 (ja) 2003-08-22 2008-06-04 株式会社デンソー 車両用表示装置
JP2006214999A (ja) 2005-02-07 2006-08-17 Denso Corp 車両用ナビゲーション装置
JP4731627B2 (ja) 2007-12-28 2011-07-27 三菱電機株式会社 ナビゲーション装置
US10215583B2 (en) * 2013-03-15 2019-02-26 Honda Motor Co., Ltd. Multi-level navigation monitoring and control
JP6176541B2 (ja) * 2014-03-28 2017-08-09 パナソニックIpマネジメント株式会社 情報表示装置、情報表示方法及びプログラム
KR101750876B1 (ko) * 2015-05-28 2017-06-26 엘지전자 주식회사 차량용 디스플레이 장치 및 차량
JP7331696B2 (ja) * 2017-08-31 2023-08-23 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、および移動体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006035755A1 (ja) * 2004-09-28 2006-04-06 National University Corporation Kumamoto University 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
JP2006284458A (ja) * 2005-04-01 2006-10-19 Denso Corp 運転支援情報表示システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111121815A (zh) * 2019-12-27 2020-05-08 重庆利龙科技产业(集团)有限公司 一种基于ar-hud导航的路径显示方法、系统及计算机存储介质
CN111121815B (zh) * 2019-12-27 2023-07-07 重庆利龙中宝智能技术有限公司 一种基于ar-hud导航的路径显示方法、系统及计算机存储介质

Also Published As

Publication number Publication date
DE112018004583T5 (de) 2020-08-27
US11511627B2 (en) 2022-11-29
US20200282832A1 (en) 2020-09-10

Similar Documents

Publication Publication Date Title
WO2019097755A1 (ja) 表示装置及びコンピュータプログラム
WO2019097763A1 (ja) 重畳画像表示装置及びコンピュータプログラム
JP6700623B2 (ja) 走行支援装置及びコンピュータプログラム
EP1961613B1 (en) Driving support method and driving support device
JP6946963B2 (ja) 重畳画像表示装置及びコンピュータプログラム
JP5654269B2 (ja) 車両用ディスプレイ装置及び車両用ディスプレイの表示方法
JP2019049505A (ja) 車両用表示装置および表示制御方法
JP7151073B2 (ja) 表示装置及びコンピュータプログラム
US11493357B2 (en) Superimposed image display device, superimposed image drawing method, and computer program
JP6626069B2 (ja) 車両用表示装置
JP2014120111A (ja) 走行支援システム、走行支援方法及びコンピュータプログラム
JP2008236711A (ja) 運転支援方法及び運転支援装置
JP2014120114A (ja) 走行支援システム、走行支援方法及びコンピュータプログラム
JP2019056884A (ja) 重畳画像表示装置
JP6136238B2 (ja) 走行支援システム、走行支援方法及びコンピュータプログラム
JP2023012793A (ja) 重畳画像表示装置
JP6287351B2 (ja) ヘッドアップディスプレイ装置
JP7143728B2 (ja) 重畳画像表示装置及びコンピュータプログラム
JP2019010919A (ja) 走行支援装置及びコンピュータプログラム
JP6984341B2 (ja) 重畳画像表示装置及びコンピュータプログラム
JP2020085897A (ja) 重畳画像表示装置及びコンピュータプログラム
WO2020084827A1 (ja) 重畳画像表示装置及びコンピュータプログラム
JP2019082382A (ja) 重畳画像表示装置
JP2022110828A (ja) 重畳画像表示装置
JP2021081232A (ja) 重畳画像表示装置及びコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18879426

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18879426

Country of ref document: EP

Kind code of ref document: A1