WO2016088312A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2016088312A1
WO2016088312A1 PCT/JP2015/005730 JP2015005730W WO2016088312A1 WO 2016088312 A1 WO2016088312 A1 WO 2016088312A1 JP 2015005730 W JP2015005730 W JP 2015005730W WO 2016088312 A1 WO2016088312 A1 WO 2016088312A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
visually recognized
vehicle
image
travel
Prior art date
Application number
PCT/JP2015/005730
Other languages
English (en)
French (fr)
Inventor
神谷 玲朗
希 北川
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2015200537A external-priority patent/JP6536340B2/ja
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to US15/527,931 priority Critical patent/US10166998B2/en
Publication of WO2016088312A1 publication Critical patent/WO2016088312A1/ja
Priority to US16/201,159 priority patent/US10946871B2/en
Priority to US17/176,781 priority patent/US11840251B2/en
Priority to US18/499,705 priority patent/US20240059309A1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • B60K35/233Head-up displays [HUD] controlling the size or position in display areas of virtual images depending on the condition of the vehicle or the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • B60K35/81Arrangements for controlling instruments for controlling displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10Path keeping
    • B60W30/12Lane keeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/177Augmented reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/21Optical features of instruments using cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/31Virtual images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/20Static objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402Type
    • B60W2554/4029Pedestrians
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • B60W40/072Curvature of the road
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display

Definitions

  • the present disclosure relates to an image processing device that generates a display image used for display of a head-up display device.
  • LDW device lane departure warning device
  • LKA device lane maintenance assist device
  • the present disclosure is intended to provide an image processing device that makes it easy for the driver to intuitively recognize the state of the driving support device that operates by detecting the position of the lane marking.
  • a driving support device that detects a relative position of a lane marking provided on a traveling path with respect to the vehicle and supports driving of the vehicle based on the detected position information, and the vehicle.
  • the image processing apparatus that generates the display image is applied to a driving support system that includes a head-up display device that visually recognizes a virtual image of the display image by projecting the display image onto a projection area.
  • an generating device that generates the display image including a predetermined display element.
  • the generation apparatus is configured such that the display element is visually recognized at a position associated with the position information acquired by the acquisition apparatus and is visually recognized in a shape inclined from the lane marking toward the vehicle.
  • the display image is generated.
  • the display element is visually recognized at a position associated with the position information of the lane line detected by the driving support apparatus. Therefore, the position of the display element changes in conjunction with the change in position information. That is, for example, when the relative position of the lane marking with respect to the vehicle swings in the vehicle width direction as the vehicle travels, the display element can be displayed to swing in the vehicle width direction along with the swing.
  • the display element since the display element is displayed by the head-up display device in the above invention, the display element (virtual image) is visually recognized by being superimposed on the traveling path (real image) visually recognized in front of the windshield. Therefore, since the display element that is visually recognized in this way changes in position in conjunction with the position information, it is easy for the driver to intuitively recognize that the driving support device is in the active state.
  • the display element is visually recognized in a shape inclined from the lane line toward the vehicle, so that an image in which the vehicle is guided or regulated inside the lane line due to the inclination of the display element is visually recognized.
  • the driving support device is in an active state such that driving of the vehicle is supported based on the position information of the lane markings.
  • FIG. 1 is a cross-sectional view showing a vehicle-mounted position of a head-up display device provided in a driving support system to which an image processing device is applied in the first embodiment of the present disclosure.
  • FIG. 2 is a diagram illustrating a relationship between a background seen from the indoor side of the windshield and a position where a display image is visually recognized in the first embodiment.
  • FIG. 3 is a block diagram showing the driving support system and the image processing apparatus according to the first embodiment.
  • FIG. 4 is a diagram illustrating a visual recognition position of a display element (virtual image) with respect to a lane marking (real image) in the first embodiment.
  • FIG. 1 is a cross-sectional view showing a vehicle-mounted position of a head-up display device provided in a driving support system to which an image processing device is applied in the first embodiment of the present disclosure.
  • FIG. 2 is a diagram illustrating a relationship between a background seen from the indoor side of the windshield and a position where a display image is visually recognized in
  • FIG. 5 is a diagram illustrating a visual recognition position of a display element (virtual image) with respect to a lane marking (real image) in the second embodiment of the present disclosure
  • FIG. 6 is a diagram illustrating a visual recognition position of a display element (virtual image) with respect to a lane marking (real image) in the third embodiment of the present disclosure
  • FIG. 7 is a diagram illustrating a visual recognition position of a display element (virtual image) with respect to a lane marking (real image) in the fourth embodiment of the present disclosure
  • FIG. 8 is a diagram illustrating a visual recognition position of a display element (virtual image) with respect to a lane marking (real image) in the fifth embodiment of the present disclosure.
  • FIG. 9 is a diagram illustrating a visual recognition position of a display element (virtual image) with respect to a lane marking (real image) in the sixth embodiment of the present disclosure
  • FIG. 10 is a diagram illustrating the shape of a display element when the recognition rate of a lane marking is high in the eighth embodiment of the present disclosure
  • FIG. 11 is a diagram illustrating the shape of the display element when the recognition rate of the lane marking is low in the eighth embodiment.
  • FIG. 12 is a diagram illustrating the shape of a display element when the recognition rate of a lane marking is high in the ninth embodiment of the present disclosure
  • FIG. 13 is a diagram showing the shape of a display element when the recognition rate of a lane marking is low in the ninth embodiment.
  • FIG. 10 is a diagram illustrating the shape of a display element when the recognition rate of a lane marking is high in the eighth embodiment of the present disclosure
  • FIG. 11 is a diagram illustrating the shape of the display element when the recognition rate of the lane marking is low
  • FIG. 14 is a diagram illustrating the number of display elements when the recognition rate of lane markings is high in the tenth embodiment of the present disclosure
  • FIG. 15 is a diagram illustrating the number of display elements when the recognition rate of lane markings is low in the tenth embodiment
  • FIG. 16 is a diagram illustrating a shape of a display element when waiting in a state where driving assistance is possible in the eleventh embodiment of the present disclosure
  • FIG. 17 is a diagram illustrating an automatic offset function by the driving support system in the twelfth embodiment of the present disclosure.
  • FIG. 18 is a diagram for explaining the function of automatic cornering by the driving support system in the twelfth embodiment.
  • FIG. 19 is a diagram showing the shape of the display element in the case of the traveling situation of FIG. FIG.
  • FIG. 20 is an imaginary view of the cross-sectional shape of the display element taken along one-dot chain lines A and C in FIG.
  • FIG. 21 is an imaginary view of the cross-sectional shape of the display element taken along one-dot chain line B1 in FIG.
  • FIG. 22 is a diagram showing the shape of the display element in the case of the traveling situation of FIG.
  • FIG. 23 is an imaginary view of the cross-sectional shape of the display element taken along one-dot chain line B2 in FIG.
  • FIG. 24 is a diagram illustrating the shape of the display element in the case of the traveling state of FIG. 17 in the thirteenth embodiment of the present disclosure.
  • FIG. 25 is an imaginary view of the cross-sectional shape of the display element taken along one-dot chain line B10 in FIG.
  • FIG. 26 is a diagram showing the shape of the display element in the case of the traveling situation of FIG.
  • FIG. 27 is an imaginary view of the cross-sectional shape of the display element taken along one-dot chain line
  • a display device 20 and a head-up display device (HUD 30) are attached to an instrument panel 11 installed in the vehicle 10.
  • the display device 20 is configured by housing the liquid crystal panel 21 in a case 22 and is disposed in front of the driver of the vehicle 10 (see FIG. 2).
  • the liquid crystal panel 21 displays various warning displays and vehicle speeds.
  • the HUD 30 is configured by housing the liquid crystal panel 31 and the reflecting mirror 32 in a case 33, and is disposed below the windshield 12 positioned in front of the driver.
  • the light of the display image emitted from the liquid crystal panel 31 is reflected by the reflecting mirror 32.
  • the reflected light reflected by the reflecting mirror 32 is projected onto the projection area 12 p provided in the vehicle 10.
  • the projection region 12p is formed by a reflection sheet 12a attached to the indoor side of the windshield 12.
  • FIG. 2 shows the scenery seen from the windshield 12 in front of the vehicle 10 and the positional relationship of the virtual image by the HUD 30 at an angle seen from the driver's viewpoint.
  • the vehicle 10 is traveling on a three-lane highway. Specifically, the vehicle travels in the center lane of the three-lane travel path R, and the other vehicle V is seen in front of the left lane.
  • a plurality of lane markings R1, R2, R3, R4, R5, R6, R7, R8, and R9 that divide three lanes are provided on the travel path R.
  • the lane markings indicated by reference signs R1, R2, R3, R8, and R9 divide the center lane and the right lane, and are provided at regular intervals at a predetermined pitch in the traveling direction.
  • the lane markings indicated by reference signs R4, R5, R6, R7, and R8 divide the center lane and the left lane, and are provided at regular intervals at a predetermined pitch in the traveling direction.
  • the display image (virtual image) by the HUD 30 includes a vehicle speed display element Ms representing the vehicle speed and predetermined display elements M1, M2, M3, M4, M5, and M6 described in detail later.
  • the display elements M1 to M6 are positioned above the vehicle speed display element Ms, and are visually recognized in the visual field region above the hood (not shown) of the vehicle 10.
  • an instruction display of the traveling direction of the vehicle 10 by the navigation device and various warning displays are given as specific examples of display elements included in the display image.
  • the electronic control unit (ECU 40) shown in FIG. 3 is mounted on the vehicle 10 and constitutes a display system together with the display device 20, the HUD 30, and the like.
  • the ECU 40 controls the operations of the display device 20 and the HUD 30.
  • the ECU 40 acquires vehicle speed information through a local area network in the vehicle, and controls the display device 20 and the HUD 30 to display the vehicle speed based on the acquired vehicle speed information.
  • the ECU 40 includes a memory such as a ROM and a RAM, a CPU, an I / O, and a bus connecting them. Note that some or all of the functions executed by the ECU 40 may be configured in hardware by one or a plurality of ICs.
  • the in-vehicle camera 13 for photographing the driver's face is attached to the instrument panel 11.
  • the ECU 40 analyzes the driver's face image taken by the in-vehicle camera 13 and calculates the driver's eyeball position (viewpoint position). Then, by adjusting the projection position of the display image in accordance with the viewpoint position obtained by the analysis, the virtual image is made visible at a desired position. For example, the projection position of the vehicle speed display element Ms is adjusted so that the vehicle speed display element Ms does not overlap with the steering wheel. In addition, the projection positions of the display elements M1 to M6 are adjusted so that the display elements M1 to M6 are visually recognized by overlapping with the division lines R1 to R6. Note that the initial viewpoint position (initial position) may be analyzed before the driver sits on the driver's seat and starts traveling, and the initial position may be continuously used during traveling. Alternatively, the viewpoint position may be periodically analyzed and updated during traveling.
  • the vehicle 10 is equipped with a front camera 50 for photographing the front and an electronic control unit (ECU 60) that functions as a lane maintenance assist device.
  • ECU 60 electronice control unit
  • the lane markings R1 to R8 positioned in front of the vehicle among the lane markings R1 to R9 provided on the traveling path R are photographed by the front camera 50.
  • the ECU 60 analyzes the image taken by the front camera 50 and calculates the relative positions of the lane markings R1 to R6 with respect to the vehicle 10, the shapes and sizes of the lane markings R1 to R6, and the like.
  • the ECU 60 detects the relative positions of the pair of lane markings R1 to R3 and R4 to R6, and the ECU 60 executes the driving support control described below based on the position information representing the relative positions. For example, based on the calculated position information, it is determined whether or not the vehicle 10 has deviated from the central lane against the driver's intention, or whether or not the possibility of deviating is greater than or equal to a predetermined probability.
  • the ECU 60 controls the operation of a steering device (not shown) so that a steering force is applied in a direction that does not cause a departure.
  • the direction indicator is not operated and the speed at which the relative distance between the lane markings R1 to R3 of the pair of lane markings R1 to R3 and R4 to R6 is shorter than a predetermined value, It is determined that there is a high possibility of deviating from the lane markings R1 to R3. Then, a steering force is applied to the other lane markings R4 to R6. As a result, if the vehicle tries to deviate to the right lane while traveling in the central lane, a steering force is applied in a direction to be pulled back to the central lane.
  • the ECU 60 when executing such control corresponds to a “driving support device” that detects the relative positions of the lane markings R1 to R6 with respect to the vehicle 10 and supports the driving of the vehicle 10 based on the detected position information. To do.
  • the position information calculated by the ECU 60 is transmitted to the ECU 40 through a local area network in the vehicle.
  • the ECU 40 generates the display image described above based on the acquired position information.
  • the ECU 40 when functioning to acquire position information from the driving support device corresponds to the acquisition device 41, and the ECU 40 when functioning to generate a display image corresponds to the generation device 42.
  • the ECU 40 controls the light of the display image emitted from the liquid crystal panel 31 by transmitting the generated display image data to the liquid crystal panel 31 of the HUD 30. That is, the ECU 40 is applied to a driving support system including the HUD 30 and the ECU 60, and corresponds to an “image processing device” that generates a display image.
  • predetermined display elements M1 to M6 included in the display image will be described in detail with reference to FIG.
  • FIG. 4 represents the appearance from the viewpoint position analyzed in the image of the in-vehicle camera 13. Therefore, for example, if the viewpoint position is moved to the right without changing the display image shown in FIG. 4 and the forward traveling path R is viewed, the display elements M1 to M6 are shifted to the left with respect to the lane markings R1 to R6. It will be visually recognized.
  • the generation device 42 When the vehicle front is viewed from the analyzed viewpoint position, the generation device 42 generates a display image so that the display elements M1 to M6 and the lane markings R1 to R6 are visually recognized in the positional relationship shown in FIG.
  • the display elements M1 to M6 are shaped to incline from the lane markings R1 to R6 toward the vehicle 10 in a direction (horizontal direction) perpendicular and horizontal to the direction in which the lane markings R1 to R6 extend (front-rear direction). Visible. In other words, the display elements M1 to M6 are visually recognized on an inclined surface whose height in the vertical direction decreases from the lane markings R1 to R6 toward the center of the lane.
  • the lane markings R1 to R6 are rectangles whose longitudinal direction is the traveling direction, but the display elements M1 to M6 are also rectangles whose longitudinal direction is the traveling direction.
  • the positional relationship between the partition line R4 and the display element M4 will be described in detail, but the positional relationship between the other partition lines R1 to R3, R5, and R6 and the display elements M1 to M3, M5, and M6 is the same. Description is omitted.
  • FIG. 4 shows how the viewpoint is detected in an ideal state in which there is no deviation in the detection of the viewpoint position and the detection of the partition lines R1 to R6. However, in actuality, there is a deviation between these detection positions and the actual positions, so that the display elements M1 to M6 appear to deviate from the positions shown in FIG.
  • the outline (inside outline R4a) on the side (inside) of the lane in which the vehicle 10 is traveling and the inside outline (inside outline M4a) of the display element M4 have the same position. is there. That is, the positions of the two inner outlines R4a and M4a in the left-right direction are the same. The lengths of the two inner outlines R4a and M4a are the same. The two inner outlines R4a and M4a are parallel.
  • the outer contour line (outer contour line R4b) of the partition line R4 and the outer contour line (outer contour line M4b) of the display element M4 are different in the left-right direction. Specifically, the outer outline M4b of the display element M4 is positioned inside the outer outline R4b of the partition line R4. The lengths of the two outer outlines R4b and M4b are the same. The two outer outlines R4b and M4b are parallel.
  • the front outline of the division line R1 (front outline R4c) and the lower end of the inner outline M4a of the display element M4 have the same vertical position.
  • the position in the vertical direction is the same as the outline on the back side of the partition line R4 (the back outline R4d) and the upper end of the inner outline M4a of the display element M4.
  • the lower outline (lower outline M4c) of the display element M4 is not parallel to the outline R4c in front of the partition line R4.
  • the outer end portion of the lower outline M4c of the display element M4 is located above the inner end portion. Therefore, the lower outline M4c is visually recognized as a line inclined in a downward direction.
  • the upper outline (upper outline M4d) of the display element M4 is not parallel to the rear outline R4d of the partition line R4.
  • the outer end of the upper outline M4d of the display element M4 is positioned above the inner end. Therefore, the upper outline M4d is visually recognized as a line that is inclined in a downward direction.
  • the inner outline M4a and the outer outline M4b of the display element M4 are visually recognized as lines parallel to the partition line R4.
  • the lower outline M4c and the upper outline M4d of the display element M4 are visually recognized as inclined lines. Therefore, the entire display element M4 is visually recognized on the inclined surface that is inclined in the direction of falling inward. A part (half or more) of the display element M4 is visually recognized by being superimposed on the lane marking R4.
  • the inner contour line M4a of the display element M4 and the inner contour line R4a of the partition line R4 are made to coincide with each other on the inclined surface. Therefore, the virtual three-dimensional object RM4 in which the display element M4 is the first virtual surface and the partition line R4 is the second virtual surface is visually recognized.
  • the display element M4 which is a virtual image and the partition line R4 which is a real image are integrated so as to be seen as one virtual solid object RM4.
  • the second virtual surface is illusioned as the bottom surface of the virtual three-dimensional object RM4 placed on the traveling road R
  • the first virtual surface is illusioned as an inclined surface protruding upward from the traveling road R.
  • a plurality of lane markings R1 to R6 are provided in the traveling direction of the traveling path R at a predetermined pitch.
  • the plurality of display elements M1 to M6 are also visually recognized side by side in the traveling direction and at the predetermined pitch.
  • a pair of lane markings R 1 to R 3 and R 4 to R 6 are positioned on the left and right of the vehicle 10.
  • the plurality of display elements M 1 to M 6 are also visually recognized on the left and right of the vehicle 10.
  • the background including the traveling path R and the like seen on the outdoor side of the windshield 12 seems to flow from the front of the vehicle 10 to the rear. That is, the lane markings that were at the positions indicated by reference characters R3 and R6 in FIG. 4 at the first time point are moved to the position of reference characters R2 and R5 at the subsequent second time point, and to the positions of reference characters R1 and R4 at the subsequent third time point. And approaches the vehicle 10. Then, the display positions of the plurality of display elements M1 to M6 are also changed in response to such relative position changes of the partition lines R1 to R6. Further, the display elements M1 to M6 are gradually enlarged and displayed as time passes.
  • the enlargement speed is the same as the approach speed of the lane markings R1 to R6. Therefore, as the lane markings R1 to R6 approach the vehicle 10, the display elements M1 to M6 are visually recognized so as to approach the driver together with the lane markings R1 to R6. Also, the display elements M1 to M6 are visually recognized so as to approach at the same speed as the lane markings R1 to R6.
  • the internal area surrounded by the outlines M4a, M4b, M4c, and M4d of the display elements M1 to M6 is displayed in a predetermined color.
  • the outlines M4a, M4b, M4c, and M4d (outline) and the internal area are displayed in different colors.
  • the acquisition device 41 that acquires the position information of the lane markings R1 to R6 and the generation device 42 that generates the display image including the predetermined display elements M1 to M6 are provided. Then, the generation device 42 displays the display elements M1 to M6 so that the display elements M1 to M6 are visually recognized at positions associated with the acquired position information and are visually recognized in a shape inclined from the lane markings R1 to R6 toward the vehicle. Generate an image.
  • the display elements M1 to M6 are visually recognized at the positions associated with the position information of the lane markings R1 to R6 detected by the ECU 60 functioning as the driving support device. Therefore, the positions of the display elements M1 to M6 change in conjunction with the change of the position information.
  • the display elements M1 to M6 are displayed on the HUD 30, the display elements M1 to M6 (virtual images) are visually recognized while being superimposed on the traveling path R (real image) visually recognized in front of the windshield 12. Therefore, since the display elements M1 to M6 that are visually recognized in this way change in position in conjunction with the position information, it is easy for the driver to intuitively recognize that the driving support device is in the active state.
  • the display elements M1 to M6 are visually recognized in a shape inclined from the lane markings R1 to R6 toward the vehicle 10 side. This makes it easier for the viewer to associate an image in which the vehicle 10 is guided or regulated inside the lane markings R1 to R6 due to the inclination of the display elements M1 to M6. Therefore, it becomes easy for the driver to intuitively recognize that the driving support device is in the active state.
  • the active state means that when the ECU 60 detects the lane markings R1 to R6 normally and deviates or is determined to have a high possibility of deviating, the steering force is applied in a direction not to deviate. This is a standby state that can be made to occur.
  • the inactive state is when there are no lane markings R1 to R6 on the road R, when the lane markings R1 to R6 are partially peeled off, or there is foreign matter such as sand on the lane markings R1 to R6. That is, the lane markings R1 to R6 are not detected.
  • the generation device 42 generates a display image so that the display elements M1 to M6 are close to the driver and visually recognized as the lane markings R1 to R6 approach the vehicle 10 as the vehicle 10 travels. To do. For this reason, the display elements M1 to M6 (virtual images) are melted into the traveling path R (real image) visually recognized in front of the windshield 12 and are urged to look natural. Therefore, it is possible to reduce the risk that the display elements M1 to M6 are displayed in positions overlapping with the travel path R, which makes the driver feel bothersome.
  • the display elements M1 to M6 are visually recognized as the first virtual surface
  • the partition lines R1 to R6 real images
  • the generation device 42 generates a display image so that the virtual three-dimensional objects RM1 to RM6 are visually recognized. Therefore, since the virtual three-dimensional objects RM1 to RM6 are visually recognized in a shape inclined from the lane markings R1 to R6 toward the vehicle 10, the effect of making it easier for the driver to intuitively recognize the operation content of the driving support device is promoted. it can.
  • the generation device 42 generates a display image so that the display elements M1 to M6 are visually recognized with being superimposed on the lane markings R1 to R6. Therefore, it is possible to reduce a range in which the display elements M1 to M6 are superimposed on a portion (other background portion) other than the lane markings R1 to R6 in the background including the traveling path R and the like that can be seen on the outdoor side of the windshield 12. Therefore, it is possible to prevent the other background portion from being difficult to see by the display elements M1 to M6, and the visibility to the other background portion can be improved.
  • the generation device 42 when the plurality of lane markings R1 to R6 are provided at a predetermined pitch in the traveling direction of the traveling path R, the plurality of display elements M1 to M6 are visually recognized side by side in the traveling direction and at a predetermined pitch.
  • the generation device 42 generates a display image. Therefore, the range in which the display elements M1 to M6 are superimposed on the other background portion described above can be reduced, and the visibility with respect to the other background portion can be improved.
  • the driving support device detects a pair of lane markings R1 to R3 and R4 to R6 located on the left and right of the vehicle 10
  • the display is made for each lane marking R1 to R3 and R4 to R6.
  • the generation device 42 generates a display image so that the elements M1 to M3 and M4 to M6 are visually recognized. According to this, due to the inclination of the display elements M1 to M3 and M4 to M6, an image in which the vehicle 10 is guided or regulated is easily associated with the viewer from both the left and right sides of the vehicle 10. Therefore, the above-mentioned effect of making it easy to intuitively recognize the active state of the driving support device can be promoted.
  • the display image is generated such that the length of the inner outline R4a of the partition line R4 and the length of the inner outline M4a of the display element M4 are visually recognized.
  • the display image is generated so that the length of the inner outline M4a of the display element M4 is shorter than the length of the inner outline R4a of the partition line R4. is doing.
  • the lower end portion of the inner outline M4a of the display element M4 is visually recognized above the outline R4c in front of the partition line R4.
  • the upper end portion of the inner outline M4a of the display element M4 is visually recognized below the rear outline R4d of the partition line R4.
  • the position of the inner outline R4a of the partition line R4 and the position of the inner outline M4a of the display element M4 are made to coincide with each other in the direction perpendicular to the traveling direction (left-right direction).
  • a display image is generated so that the inner outline M4a of the display element M4 is visually recognized inside than the inner outline R4a of the partition line R4. Yes.
  • the display image is generated so that the outer outline M4b of the display element M4 is visually recognized inward in the left-right direction rather than the outer outline R4b of the partition line R4.
  • a display image is generated so that the outer outline M4b of the display element M4 is visually recognized outside the outer outline R4b of the partition line R4. Yes.
  • the horizontal length of the display element M4 is viewed longer than the horizontal length of the lane marking R4, and the display element M4 is superimposed across the horizontal direction of the lane marking R4. Visible. For this reason, even if there is a deviation in the detection of the viewpoint position and the detection of the lane markings R1 to R6, the appearance does not change if there is a slight deviation. Therefore, the change in the appearance due to the detection deviation is less likely to occur, and the robustness of the appearance with respect to the detection deviation can be improved. In addition, since the display element M4 is visually recognized so as to overlap the left and right direction of the lane marking R4, it is easy for the driver to recognize that the display element M4 is displayed in association with the position of the lane marking R4. .
  • the second virtual surface of the virtual three-dimensional object RM4 is illusioned as the bottom surface of the virtual three-dimensional object RM4 placed on the travel path R, and the first virtual surface of the virtual three-dimensional object RM4 is separated from the travel path R.
  • the illusion is an inclined surface projecting upward.
  • the second virtual surface of the virtual three-dimensional object RM4 is illusioned as the bottom surface of the virtual three-dimensional object RM4 placed on the travel path R, and the first virtual surface of the virtual three-dimensional object RM4. Is viewed as an inclined surface recessed downward from the travel path R.
  • the inner outline R4a of the partition line R4 and the outer outline M4b of the display element M4 have the same position in the left-right direction.
  • the inner outline R4a and the outer outline M4b have the same length and are parallel.
  • the inner outline M4a and the outer outline M4b of the display element M4 are visually recognized as lines parallel to the partition line R4.
  • the lower outline M4c and the upper outline M4d of the display element M4 are visually recognized as inclined lines. Therefore, the entire display element M4 is visually recognized on the inclined surface that is inclined in the direction of falling inward.
  • the inner outline R4a of the partition line R4 and the outer outline M4b of the display element M4 have the same position in the left-right direction.
  • the outer outline M4b of the display element M4 in the left-right direction, is visually recognized inward than the inner outline R4a of the partition line R4. That is, it is visually recognized so that a gap CL exists between the inner outline R4a and the outer outline M4b, and is visually recognized so that the display element M4 and the partition line R4 do not overlap.
  • the display positions of the display elements M1 to M6 are also changed in response to the lane markings R1 to R6 approaching the vehicle 10 as the vehicle travels. Therefore, as the lane markings R1 to R6 approach the vehicle 10, the display positions of the display elements M1 to M6 in the traveling direction are changed so that the display elements M1 to M6 are visually recognized so as to approach the driver. .
  • the display position in the traveling direction is fixed and displayed. However, in the left-right direction, the display position is changed according to the positions of the lane markings R1 to R6.
  • the generation device 42 generates a display image. According to this, since the display elements M1 to M6 do not move up and down, it is possible to reduce a possibility that the display elements M1 to M6 move and feel annoying.
  • the driving support device may fall into an inactive state. For example, when there are no lane markings R1 to R6 on the travel path R, when the lane markings R1 to R6 are partially peeled off, or when there is foreign matter such as sand on the lane markings R1 to R6, etc. In this state, R1 to R6 cannot be detected. On the other hand, even in the active state where the lane markings R1 to R6 can be detected, the detection accuracy may be deteriorated due to the degree to which the lane markings R1 to R6 are peeled off or the degree of the foreign matter. is there.
  • the shapes of the display elements M10 and M40 are varied according to the detection accuracy of the lane markings R1 to R6.
  • the ECU 40 or the ECU 60 calculates a numerical value serving as a detection accuracy index as a recognition rate.
  • the generation device 42 generates a display image so that the display elements M10 and M40 are visually recognized by a virtual solid object with a steep inclination angle.
  • This virtual three-dimensional object is an illusion that virtual band-shaped objects formed by the two display elements M10 and M40 exist side by side.
  • the display elements M10 and M40 are displayed in the form of FIG. 10, and if the recognition rate is less than the threshold, the display elements M10 and M40 are displayed in the form of FIG.
  • These display elements M10 and M40 are a combination of FIG. 9 and FIG. That is, as in FIG. 9, each of the display elements M10 and M40 has a single band shape extending in the traveling direction. Further, similarly to FIG. 4, the display elements M ⁇ b> 10 and M ⁇ b> 40 have an illusion as an inclined surface protruding upward from the travel path R.
  • the display elements M10 and M40 are inclined so that the vertical height decreases as approaching the vehicle 10 from the lane markings R1 to R6, and the inclination angle ⁇ increases as the calculated recognition rate increases.
  • the outlines of the display elements M10 and M40 are flattened rectangles, and the inclination angle ⁇ with respect to the horizontal direction of the lower side (lower outlines M40C and M10C) of the short sides of the rectangles is set. Increase the recognition rate.
  • the inclination angles of the display elements M10 and M40 are constant regardless of the recognition rate.
  • the shapes of the display elements M10 and M40 are made different according to the detection accuracy of the lane markings R1 to R6. Therefore, it is possible to intuitively understand the detection accuracy of the driving support device.
  • the steeper inclination angle ⁇ gives a stronger impression to the user that the vehicle 10 is automatically controlled so as not to deviate from the lane markings R1 to R6.
  • the inclination angle ⁇ of the display elements M10 and M40 is made steeper as the detection accuracy is higher. Therefore, the detection accuracy of the lane markings R1 to R6 by the driving support device, that is, the probability that the driving support device functions to apply the steering force in a direction that does not deviate is the difference in the inclination angle ⁇ of the display elements M10 and M40. It is expressed by Therefore, the above certainty can be intuitively easily understood.
  • the inclination angle ⁇ of the display elements M10 and M40 is made steeper as the detection accuracy is higher.
  • the higher the detection accuracy the higher the vertical height of the display elements M10 and M40.
  • the recognition rate is equal to or higher than the threshold, the vertical heights of the display elements M10 and M40 are increased as shown in FIG. That is, the short side length of the rectangular display elements M10 and M40 is increased.
  • the recognition rate is less than the threshold, the vertical heights of the display elements M10 and M40 are lowered as shown in FIG.
  • the display elements M10 and M40 have a shape that inclines in a direction in which the vertical height decreases as approaching the vehicle 10 from the lane markings R1 to R6, and is a single band shape extending in the traveling direction.
  • the vertical height H of the band shape is set to be larger as the calculated recognition rate is higher.
  • the lower outlines M40C and M10C are made longer as the recognition rate is higher.
  • the inclination angles of the display elements M10 and M40 are set to be constant regardless of the recognition rate.
  • the higher the height of the display elements M10 and M40 the stronger the impression that the vehicle 10 is automatically controlled so as not to deviate from the lane markings R1 to R6.
  • the height in the vertical direction of the display elements M10 and M40 is increased as the detection accuracy is higher. Therefore, the certainty that the driving support device functions so as to apply the steering force in a direction that does not deviate is expressed by the difference in height between the display elements M10 and M40. Therefore, the above certainty can be intuitively easily understood.
  • each of the display elements M10 and M40 has a single band shape extending in the traveling direction.
  • a plurality of display elements M1, M2, M3, M3a, M3b, M4, M5, M6, M6a, and M6b are arranged side by side in the traveling direction as in the first embodiment. .
  • the intervals in the traveling direction of the plurality of display elements M1 to M6b are shortened as the detection accuracy is higher. In other words, the number of display elements M1 to M6b is increased as the detection accuracy is higher.
  • the interval is shortened and the number of display elements M1 to M6b is increased as shown in FIG.
  • the recognition rate is less than the threshold, the interval is lengthened and the number of display elements M1 to M6 is decreased as shown in FIG.
  • the shorter the interval between the display elements M1 to M6b and the greater the number the stronger the impression that the vehicle 10 is automatically controlled so as not to depart from the lane markings R1 to R6.
  • the higher the detection accuracy the shorter the interval between the display elements M1 to M6b and the larger the number. Therefore, the probability that the driving support device functions to apply the steering force in a direction that does not deviate is expressed by the difference in the interval and the number of the display elements M1 to M6b. Therefore, the above certainty can be intuitively easily understood.
  • an inactive state a state in which driving assistance cannot be performed due to circumstances such as the driving assistance apparatus not detecting the lane markings R1 to R6 is referred to as an inactive state. Even in the active state where the lane markings R1 to R6 are detected and the driving support can be executed, when the user does not permit the start of the driving support, there is a case where the driving support is not started and the standby is not started. is there.
  • the shapes of the display elements M10 and M40 are different between such a standby time and the above-described execution time during which driving assistance is executed. The execution time corresponds to the standby state described in the first embodiment.
  • the display elements M10 and M40 are displayed so as to be visually recognized.
  • the display elements M10 and M40 are displayed in such a manner that the display element M10 and M40 are visually recognized so that the inclination angle ⁇ is zero and the display elements M10 and M40 are not inclined as shown in FIG. In other words, the lower outlines M40C and M10C are made horizontal. Further, if the driving support device is in an inactive state, the display elements M10 and M40 are turned off and are not displayed.
  • the shapes of the display elements M10 and M40 are made different between the standby time and the execution time of the driving support device. Therefore, it can be intuitively understood whether the driving support device is in the standby state or the execution state.
  • the display elements M10 and M40 are displayed so that the display elements M10 and M40 are visually recognized by the virtual three-dimensional object whose inclination angle ⁇ of the display elements M10 and M40 is steep or whose height in the vertical direction is higher than that at the time of execution. Change the shape. Specifically, at the time of standby, the inclination angle ⁇ is set to zero and the vertical height is set to zero. Therefore, it is possible to improve the intuitive understanding of whether the standby state or the execution state.
  • the ECU 60 shown in FIG. 3 functions as a lane maintenance assist device. That is, it is determined whether or not the vehicle 10 has deviated from the portion of the travel path R between the pair of lane markings R1 to R6 against the driver's intention, or whether or not there is a high possibility of departure. When an affirmative determination is made, the ECU 60 controls the operation of the steering device so that the steering force is applied in a direction that does not deviate.
  • the ECU 60 has an automatic offset function shown in FIG. 17 and an automatic cornering function shown in FIG. With the automatic offset function, these functions temporarily change the travel position in the vehicle width direction of the vehicle 10 from the current position within a range that does not deviate from the portion of the travel path R between the pair of lane markings R1 and R4. It is automatically controlled to change.
  • Control targets are a steering device, a brake device, and a travel drive output device. Specific examples of the travel drive output device include an internal combustion engine and an electric motor.
  • the automatic offset function is a travel section in which an external object existing outside the vehicle 10 is aligned with the vehicle 10 in the vehicle width direction, and the travel position is temporarily set so as to increase the distance between the external object and the vehicle 10 in the vehicle width direction. It changes automatically.
  • the external object is another vehicle 10 ⁇ / b> A that travels in the same direction in the lane adjacent to the lane in which the vehicle 10 travels.
  • pedestrians, traffic regulation signs accompanying road construction, and the like can be given as specific examples of external objects.
  • the automatic cornering function temporarily changes the traveling position temporarily in a direction to decrease the curve traveling radius within a range that does not deviate from the portion between the pair of lane markings R1 and R4 when the vehicle 10 travels in a curve. Is.
  • the travel position of the vehicle 10 in the vehicle width direction is changed to the right during the period in which the vehicle 10 curves to the right and to the left during the period in which the vehicle 10 curves. Thereby, the curve traveling radius at the time of curve traveling is reduced, and the centrifugal force generated on the vehicle 10 due to the curve traveling is reduced.
  • the current position in the vehicle width direction within the pair of lane markings R1 to R6 and before the automatic offset function or the automatic cornering function is activated is referred to as a reference position PA.
  • a section planned to travel at the reference position PA is referred to as a reference travel section W1.
  • a position temporarily changed from the reference position PA that is, a section scheduled to travel at the offset position PB1
  • a transient travel section W2 is referred to as a transient travel section W2.
  • a section scheduled to return to the reference position PA after finishing the operation of the automatic offset function or the automatic cornering function is also referred to as a reference travel section W1.
  • Display elements M10 and M40 include reference display parts M10A, M40A, M10C and M40C and change display parts M10B1 and M40B1 described below.
  • the reference display parts M10A, M40A, M10C, and M40C are visually recognized at positions associated with the reference travel section W1.
  • the change display portions M10B1, M40B1, M10B2, and M40B2 are visually recognized at positions associated with the change travel sections W3, W31, and W32.
  • the lane marking located on the side where the external object is present with respect to the vehicle 10 It is called a line R4, and the lane marking located on the opposite side is called an anti-object side lane marking R1.
  • the reference display portions M10A, M40A, M10C, and M40C portions that are visually recognized at positions associated with the object-side marking line R4 are referred to as object-side reference display portions M40A and M40C.
  • object-side reference display portions M40A and M40C portions that are visually recognized at positions associated with the anti-object-side partition line R1 are referred to as anti-object-side reference display portions M10A and M10C.
  • an object-side change display portion M40B1 a portion visually recognized at a position associated with the object-side partition line R4 is referred to as an object-side change display portion M40B1, and a portion visually recognized at a position associated with the anti-object-side partition line R1. This is called an anti-object-side change display unit 40C.
  • the generation device 42 generates an image so that the reference display parts M10A, M40A, M10C, and M40C and the change display parts M10B1 and M40B1 are visually recognized by different shapes of virtual solid objects. Specifically, in the reference display units M10A, M40A, M10C, and M40C, the inclination angle ⁇ of the object side reference display units M40A and M40C and the inclination angle ⁇ of the anti-object side reference display units M10A and M10C are visually recognized. An image is generated. In the change display portions M10B1 and M40B1, images are generated so that the inclination angle ⁇ of the object side change display portion M40B1 and the inclination angle ⁇ of the anti-object side change display portion M10B1 are viewed differently.
  • the lane marking located on the side with the larger curve traveling radius with respect to the vehicle 10 is the outer lane marking.
  • the lane marking located on the opposite side is called the inner lane marking.
  • portions that are visually recognized at positions associated with the outer lane markings are referred to as outer reference display portions M40A and M40C.
  • portions that are visually recognized at positions associated with the inner lane markings are referred to as inner reference display portions M10A and M10C.
  • outer change display portions M40B1 and M10B2 portions that are visually recognized at positions associated with the outer partition lines are referred to as outer change display portions M40B1 and M10B2.
  • inner change display portions M10B1 and M40B2 portions that are visually recognized at positions associated with the inner lane marking are referred to as inner change display portions M10B1 and M40B2.
  • the generation device 42 generates an image so that the reference display units M10A, M40A, M10C, and M40C and the change display units M10B1, M40B1, M10B2, and M40B2 are visually recognized by different shapes of virtual solid objects. Specifically, in the reference display portions M10A, M40A, M10C, and M40C, the images are so viewed that the inclination angle ⁇ of the outer reference display portions M40A and M40C and the inclination angle ⁇ of the inner reference display portions M10A and M10C are visually recognized. Generated.
  • the shapes of the display elements M10 and M40 are set as shown in FIG.
  • the travel position of the vehicle 10 in the vehicle width direction is changed from the reference position PA to the offset position PB1 during the period of overtaking the other vehicle 10A. Thereafter, after overtaking another vehicle 10A, the traveling position is changed from the offset position PB1 to the current position PA.
  • the object-side reference display portions M40A and M40C are visually recognized as if the inclination angle ⁇ of the anti-object-side reference display portions M10A and M10C are the same. .
  • the object side reference display parts M40A and M40C and the anti-object side reference display parts M10A and M10C are illusioned as if they are three-dimensional objects inclined at the same inclination angle ⁇ .
  • the change display portions M10B1 and M40B1 are visually recognized as if the inclination angle ⁇ of the object side change display portion M40B1 is larger than the inclination angle ⁇ of the anti-object side change display portion M10B1.
  • the object side change display unit M40B1 and the anti-object side change display unit M10B1 are illusioned as if they were three-dimensional objects inclined at different inclination angles ⁇ .
  • the illusion is made as if the object-side change display unit M40B1 is a three-dimensional object that exists at a steeper inclination angle than the anti-object-side change display unit M10B1.
  • the reference position PA is a central portion between the object side marking line R4 and the anti-object side marking line R1, and the offset position PB1 is farther from the object side marking line than the reference position PA. Position.
  • the shapes of the display elements M10 and M40 are set as shown in FIG.
  • the travel position in the vehicle width direction of the vehicle 10 is changed from the reference position PA to the right position (offset position PB1) during curve travel to the right, and from the reference position PA during curve travel to the left. Change to the left position (offset position PB2).
  • the inclination angle ⁇ of the outer reference display portions M40A and M40C and the inclination angle ⁇ of the inner reference display portions M10A and M10C are visually recognized.
  • the optical illusion is as shown in FIG.
  • the inclination angle ⁇ of the outer change display section M40B1 is visually recognized as if it is larger than the inclination angle ⁇ of the inner change display section M10B1.
  • the illusion is made as shown in FIG. Specifically, the illusion is that the outer change display portion M40B1 is a three-dimensional object that exists at a steeper inclination angle than the inner change display portion M10B1.
  • the inclination angle ⁇ of the outer change display section M10B2 is visually recognized as if it is larger than the inclination angle ⁇ of the inner change display section M40B2.
  • the illusion is as shown in FIG. Specifically, the illusion is made as if the outer change display portion M10B2 is an existing three-dimensional object with a steeper inclination angle than the inner change display portion M40B2.
  • the generation device 42 generates a display image so that the reference display units M10A, M10C, M40A, and M40C and the change display units M10B1 and M40B1 are visually recognized by different shapes of virtual solid objects. .
  • the change display part can be visually recognized in different shapes.
  • the reference display unit is visually recognized at a position associated with the reference travel section W1
  • the change display section is visually recognized at positions associated with the change travel sections W3, W31, and W32. Therefore, it becomes easy for the user who has visually recognized in this way to intuitively understand that the traveling position is automatically controlled so that the traveling position changes in the changed traveling sections W3, W31, and W32. Therefore, it is possible to make the user intuitively understand that the automatic control is planned to be automatically controlled before the travel position is automatically offset by the automatic offset function or the automatic cornering function.
  • the generation device 42 when the travel position is automatically offset by the automatic offset function, the generation device 42 is configured so that the object side change display unit M40B1 and the object side reference display unit M40A are visually recognized by different shapes of virtual solid objects. Generates a display image.
  • the display unit on the side where the external object exists is changed. That is, the object-side reference display M40A associated with the reference travel section W1 and the object-side change display M40B1 associated with the change travel section W3 can be viewed in different shapes. Therefore, the user who visually recognizes in this way can easily intuitively know whether there is an external object on the left or right side, that is, on which of the left and right is offset. Therefore, prior to the automatic offset function, the user can intuitively grasp that the travel position is shifted before the travel position is automatically offset.
  • the generation device 42 generates a display image so that the object-side change display unit M40B1 is visually recognized as a virtual three-dimensional object with a steeper angle than the object-side reference display unit M40A. . Therefore, before the travel position is automatically offset by the automatic offset function, the user can intuitively grasp the direction of the offset movement, that is, the direction away from the external object.
  • the generation device 42 generates a display image so that the anti-object side change display unit M10B1 and the anti-object side reference display unit M10A are visually recognized by different shapes of virtual solid objects.
  • the anti-object-side display unit is also targeted for the display unit having different shapes in the reference traveling section W1 and the changed traveling sections W3, W31, and W32. Therefore, it is possible to promote the above-described effect of allowing the user to intuitively grasp that the traveling position is scheduled to be offset-moved automatically.
  • the generation device 42 generates a display image so that the inclination angle of the anti-object side change display unit M10B1 is visually recognized as a virtual solid object that is gentler than the inclination angle of the anti-object side reference display unit M10A. . Therefore, on the anti-object side, the impression given to the user is weak at the change position so that the vehicle 10 is automatically controlled so as not to depart from the lane markings R1 and R4. Therefore, prior to automatically shifting the travel position by the automatic offset function, it is possible to facilitate the user to intuitively grasp the direction of the offset movement, that is, the direction away from the external object.
  • the generation device 42 displays the display image so that the outer change display unit M40B1 and the outer reference display unit M40A are visually recognized by different shapes of virtual solid objects. Is generated.
  • the display part on the side with the larger curve running radius is changed. That is, the outer reference display portion M40A associated with the reference travel section W1 and the outer change display portion M40B1 associated with the change travel section W31 can be visually recognized in different shapes. Therefore, it becomes easy for the user who has visually recognized in this way to intuitively know whether the travel position is moved to the left or right. Therefore, prior to automatically moving the travel position by the automatic cornering function, the user can intuitively grasp that the travel position is moved.
  • the generation device 42 generates a display image so that the outer change display unit M40B1 is visually recognized as a virtual three-dimensional object with a steeper angle than the outer reference display unit M40A. Therefore, prior to automatically moving the travel position by the automatic cornering function, the user can intuitively grasp the direction of the movement.
  • the generation device 42 generates a display image so that the inner change display portion M10B1 and the inner reference display portion M10A are visually recognized by different shapes of virtual solid objects.
  • the inner display unit is also targeted for the display unit having different shapes in the reference travel section W1 and the changed travel sections W3, W31, and W32. Therefore, it is possible to promote the above-described effect of allowing the user to intuitively understand that the traveling position is scheduled to be automatically moved.
  • the generation device 42 generates a display image so that the inclination angle of the inner change display portion M10B1 is visually recognized as a virtual three-dimensional object that is gentler than the inclination angle of the inner reference display portion M10A. Therefore, about the inside, the impression given to the user is weakened so that the vehicle 10 is automatically controlled so as not to deviate from the lane markings R1 and R4 at the change position. Therefore, prior to automatically moving the travel position by the automatic cornering function, it is possible to promote the user to intuitively grasp the direction of the travel.
  • the display section associated with the reference travel section W1 and the display section associated with the change travel section W3 are visually recognized so that the inclination angle ⁇ is different.
  • the display unit associated with the reference traveling section W1 and the display section associated with the changed traveling section W3 are visually recognized so that the height in the vertical direction is different.
  • the vertical direction height of the object side reference display portions M40A and M40C and the vertical height of the anti-object side reference display portions M10A and M10C are visually recognized.
  • the object side reference display units M40A and M40C and the anti-object side reference display units M10A and M10C are solid objects having the same vertical height on the object side and the anti-object side as shown in FIG. As shown in the figure, the display is illusioned.
  • the vertical height of the object side change display portion M40B1 is visually recognized as if it is larger than the vertical height of the anti-object side change display portion M10B1.
  • the display unit is illusioned as if the object side is a three-dimensional object having a higher vertical height H than the anti-object side.
  • the inclination angle ⁇ is set to be the same on the object side and the opposite object side in both the reference position and the change position.
  • the vertical reference height H of the outer reference display portions M40A and M40C and the vertical height of the inner reference display portions M10A and M10C are visually recognized. As a result, the illusion is as shown in FIG.
  • the vertical height H of the outer change display section M40B1 outside the curve travel is higher than the inner change display section M10B1 inside the curve travel. It is visually recognized as if it is larger than the direction height H. As a result, the illusion is made as shown in FIG.
  • the vertical height H of the outer change display section M10B2 outside the curve travel is higher than the inner change display section M40B2 inside the curve travel. It is visually recognized as if it is larger than the direction height H. As a result, the illusion is as shown in FIG.
  • the reference display portions M10A, M10C, M40A, and M40C and the change display portions M10B1 and M40B1 are visually recognized as different shapes in the same manner as in the twelfth embodiment. It becomes. Further, the object-side change display unit M40B1 and the object-side reference display unit M40A are visually recognized by different shapes of virtual solid objects. Further, the outer change display portion M40B1 and the outer reference display portion M40A are visually recognized by different shapes of virtual solid objects. Therefore, it is possible to make the user intuitively understand that the vehicle is scheduled to be automatically controlled before the travel position is automatically moved by the automatic offset function or the automatic cornering function.
  • the generation device 42 displays the display image so that the object-side change display unit M40B1 is visually recognized by a virtual three-dimensional object having a higher vertical height H than the object-side reference display unit M40A. Generate. Therefore, before the travel position is automatically offset by the automatic offset function, the user can intuitively grasp the direction of the offset movement, that is, the direction away from the external object.
  • the generation device 42 generates a display image so that the outer change display portion M40B1 is visually recognized by a virtual three-dimensional object having a height H in the vertical direction higher than that of the outer reference display portion M40A. Therefore, prior to automatically moving the traveling position by the automatic cornering function, the user can intuitively grasp the moving direction.
  • the generation device 42 is visually recognized by a virtual three-dimensional object in which the vertical height H of the anti-object side change display unit M10B1 is lower than the vertical height H of the anti-object side reference display unit M10A. Generate a display image. Therefore, on the anti-object side, the impression given to the user is weak at the change position so that the vehicle 10 is automatically controlled so as not to depart from the lane markings R1 and R4. Therefore, prior to automatically shifting the travel position by the automatic offset function, it is possible to facilitate the user to intuitively grasp the direction of the offset movement, that is, the direction away from the external object.
  • the generation device 42 generates a display image so that the vertical change height H of the inner change display portion M10B1 is visually recognized by a virtual three-dimensional object lower than the vertical height H of the inner reference display portion M10A. Therefore, the impression given to the user that the vehicle 10 is automatically controlled so that the vehicle 10 does not deviate from the lane markings R1 and R4 at the change position is weakened inside the curve travel. Therefore, prior to automatically moving the traveling position by the automatic cornering function, it is possible to promote the user to intuitively grasp the direction of the movement.
  • the left and right display elements M1 to M6 are displayed in different ways, so that the contents of the operation of the driving support device can be intuitively understood. It may be easy to understand. For example, when the vehicle 10 deviates from the left lane markings R4, R5, and R6 in FIG. 2 or when the possibility of deviating is greater than or equal to a predetermined value, the driving support device moves the travel position of the vehicle 10 to the right. A steering force is applied to the. In this case, the display elements M4, M5, and M6 on the left side are blinked or the display color is changed so that the display elements M1, M2, and M3 on the right side are highlighted.
  • the degree of deviation or the degree of possibility of deviation may be expressed by the inclination angles of the display elements M1 to M6.
  • the inclination angle may be made steeper as the amount deviating from the lane markings R1 to R6 is larger or the possibility of deviating is higher.
  • the driving support device (ECU 60) shown in FIG. 3 supports driving by applying a steering force, but when the vehicle 10 departs from the lane markings R1 to R6, or the possibility of deviating is more than a predetermined value. In this case, a warning sound or a warning sound may be output from the speaker.
  • the plurality of display elements M1 to M6 are also visually recognized along with the predetermined pitch in the traveling direction.
  • the display image is generated as shown.
  • the display image may be generated so that the display elements M1 to M6 are visually recognized at a pitch different from the pitch of the travel path R.
  • the colors of the display elements M1 to M6 may be changed according to the lane markings R1 to R6 and the color of the travel path R detected by the front camera 50. For example, it is possible to suppress the display elements M1 to M6 from being bothersome by changing the colors of the display elements M1 to M6 so as not to stand out.
  • the inner region surrounded by the outlines M4a, M4b, M4c, and M4d of the display elements M1 to M6 is displayed in a predetermined color, and the outlines M4a, M4b, M4c, and M4d (outline) And the inner area are displayed in different colors.
  • the outlines M4a, M4b, M4c, M4d and the internal area may be displayed in the same color.
  • the display of the outlines M4a, M4b, M4c, and M4d may be omitted and only the display of the internal area may be performed.
  • the display color of the internal region may be set so low that the portion overlapping the display elements M1 to M6 in the travel path R is not visible, or set so high that the portion overlapping is visible. May be.
  • the display image is generated so that the anti-object side reference display unit M10A and the anti-object side change display unit M10B1 are visually recognized by different shapes of virtual solid objects.
  • the display image may be generated so that the anti-object side reference display unit M10A and the anti-object side change display unit M10B1 are visually recognized by the virtual solid object having the same shape. That is, it may be abolished that the inclination angle ⁇ of the anti-object-side change display unit M10B1 is visually recognized gently or the vertical height H is visually recognized low.
  • the display image may be generated so that the inner reference display portion M10A and the inner change display portion M10B1 are visually recognized by a virtual solid object having the same shape.
  • the reference display unit and the change display unit are viewed with different inclination angles or vertical heights.
  • the reference display unit and the change display are displayed.
  • the part may be visually recognized differently.
  • the reference display unit and the change display unit may be displayed in different colors.
  • the object-side change display unit M40B1 and the outer change display unit M40B1 may be displayed in a different color from the other display units.
  • the inclination angle or the vertical height differs depending on the recognition rate.
  • the shape of the display element is different depending on the recognition rate. It may be allowed.
  • the light of the display image emitted from the HUD 30 is projected onto the reflection sheet 12a.
  • the light of the display image may be directly projected onto the windshield 12 by eliminating the reflection sheet 12a.
  • the windshield 12 forms the projection region 12p.
  • a translucent projection member separate from the windshield 12 may be disposed in front of the driver's seat, and the light of the display image may be projected onto the projection member.
  • the driver side surface of the projection member forms the projection region 12p.
  • the HUD 30 that emits the light of the display image from the liquid crystal panel 31 is employed.
  • the HUD that emits the light of the display image by scanning the laser beam instead of the liquid crystal panel 31. May be adopted.
  • the means and / or function provided by the ECU 40 can be provided by software recorded in a substantial storage medium and a computer that executes the software, only software, only hardware, or a combination thereof.
  • the controller can be provided by a circuit that is hardware, it can be provided by a digital circuit including a number of logic circuits, or an analog circuit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)
  • Instrument Panels (AREA)

Abstract

 区画線(R1、R2、R3、R4、R5、R6)の車両(10)に対する相対位置を検知し、検知された位置情報に基づき前記車両の運転を支援する運転支援装置(60)と、前記車両に設けられた投影領域(12p)に表示画像を投影することにより、前記表示画像の虚像を視認させるヘッドアップディスプレイ装置(30)と、を備える運転支援システムに適用される画像処理装置は、前記位置情報を取得する取得装置(41)と、所定の表示要素(M1、M2、M3、M4、M5、M6、M10、M40)を含んだ前記表示画像を生成する生成装置(42)とを備える。前記表示要素が、前記位置情報と関連付けられた位置に視認され、かつ、前記区画線から前記車両の側に向けて傾斜する形状に視認されるよう、前記生成装置は前記表示画像を生成する。

Description

画像処理装置 関連出願の相互参照
 本出願は、2014年12月1日に出願された日本特許出願番号2014-243429号および2015年10月8日に出願された日本特許出願番号2015―200537号に基づくもので、ここにその記載内容を援用する。
 本開示は、ヘッドアップディスプレイ装置の表示に用いる表示画像を生成する、画像処理装置に関するものである。
 近年、レーン逸脱警告装置(LDW装置)やレーン維持アシスト装置(LKA装置)等の運転支援装置が搭載された車両が開発されてきている。これらの装置は、走行路をカメラで撮影し、撮影された映像から走行用の区画線を抽出することで、区画線の位置情報を取得する。そして、取得した位置情報に基づき、走行車両が区画線を逸脱したと判定、或いは逸脱する可能性が高いと判定した場合には、その旨を運転者へ警告したり操舵力を付与させたりする。
 特許文献1に記載の表示装置では、上記装置が正常に作動可能なアクティブ状態になっている場合に、その旨を連想させる図柄を表示装置に表示させて、運転支援装置がアクティブ状態である旨を運転者に報知している。また、走行路に区画線が無い場合や、区画線が部分的に剥げ落ちている場合、区画線の上に砂等の異物がある場合等、区画線を検知できない場合がある。そのような場合には、上記図柄を表示させないことで、運転支援装置がアクティブ状態でないことを運転者に認識させている。
 しかしながら、上述の如く図柄を表示させるだけでは、LDW装置やLKA装置等がアクティブ状態になっていることを、直感的に認識させるには不十分である。
特表2004-533080号公報
 本開示は、区画線の位置を検知して作動する運転支援装置の状態を、運転者が直感的に認識しやすくした画像処理装置を提供することを目的とする。
 本開示のひとつの態様において、走行路に設けられた区画線の車両に対する相対位置を検知し、検知された位置情報に基づき前記車両の運転を支援する運転支援装置と、前記車両に設けられた投影領域に表示画像を投影することにより、前記表示画像の虚像を視認させるヘッドアップディスプレイ装置と、を備える運転支援システムに適用され、前記表示画像を生成する画像処理装置は、前記位置情報を取得する取得装置と、所定の表示要素を含んだ前記表示画像を生成する生成装置とを備える。前記表示要素が、前記取得装置により取得された前記位置情報と関連付けられた位置に視認され、かつ、前記区画線から前記車両の側に向けて傾斜する形状に視認されるよう、前記生成装置は前記表示画像を生成する。
 上記画像処理装置によれば、運転支援装置が検知した区画線の位置情報と関連付けられた位置に表示要素が視認される。そのため、位置情報の変化に連動して表示要素の位置が変化する。すなわち、例えば車両が走行することに伴い、区画線の車両に対する相対位置が車幅方向に揺れ動くと、その揺動に伴い表示要素も車幅方向に揺動するように表示させることができる。しかも、上記発明はヘッドアップディスプレイ装置により表示要素を表示させるので、ウインドシールドの前方に視認される走行路(実像)に重畳して表示要素(虚像)が視認される。よって、このように重畳視認される表示要素が位置情報に連動して位置変化するので、運転支援装置がアクティブ状態であることを、運転者は直感的に認識しやすくなる。
 さらに、上記画像処理装置によれば、区画線から車両に向けて傾斜する形状に表示要素が視認されるので、表示要素の傾斜により区画線の内側に車両が誘導または規制されるイメージを、視認者が連想しやすくなる。よって、区画線の位置情報に基づいて車両の運転が支援されるといった、運転支援装置がアクティブ状態になっている旨を、運転者は直感的に認識しやすくなる。
 本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図1は、本開示の第1実施形態において、画像処理装置が適用される運転支援システムに備えられた、ヘッドアップディスプレイ装置の車両搭載位置を示す断面図であり、 図2は、第1実施形態において、ウインドシールドの室内側から見える背景と、表示画像が視認される位置との関係を示す図であり、 図3は、第1実施形態に係る運転支援システムおよび画像処理装置を示すブロック図であり、 図4は、第1実施形態において、区画線(実像)に対する表示要素(虚像)の視認位置を示す図であり、 図5は、本開示の第2実施形態において、区画線(実像)に対する表示要素(虚像)の視認位置を示す図であり、 図6は、本開示の第3実施形態において、区画線(実像)に対する表示要素(虚像)の視認位置を示す図であり、 図7は、本開示の第4実施形態において、区画線(実像)に対する表示要素(虚像)の視認位置を示す図であり、 図8は、本開示の第5実施形態において、区画線(実像)に対する表示要素(虚像)の視認位置を示す図であり、 図9は、本開示の第6実施形態において、区画線(実像)に対する表示要素(虚像)の視認位置を示す図であり、 図10は、本開示の第8実施形態において、区画線の認識率が高い場合における表示要素の形状を示す図であり、 図11は、第8実施形態において、区画線の認識率が低い場合における表示要素の形状を示す図であり、 図12は、本開示の第9実施形態において、区画線の認識率が高い場合における表示要素の形状を示す図であり、 図13は、第9実施形態において、区画線の認識率が低い場合における表示要素の形状を示す図であり、 図14は、本開示の第10実施形態において、区画線の認識率が高い場合における表示要素の数を示す図であり、 図15は、第10実施形態において、区画線の認識率が低い場合における表示要素の数を示す図であり、 図16は、本開示の第11実施形態において、運転支援が可能な状態で待機している時の表示要素の形状を示す図であり、 図17は、本開示の第12実施形態において、運転支援システムによる自動オフセットの機能を説明する図であり、 図18は、第12実施形態において、運転支援システムによる自動コーナリングの機能を説明する図であり、 図19は、図17の走行状況の場合における表示要素の形状を示す図であり、 図20は、図19中の一点鎖線A、Cにおける表示要素の断面形状の想像図であり、 図21は、図19中の一点鎖線B1における表示要素の断面形状の想像図であり、 図22は、図18の走行状況の場合における表示要素の形状を示す図であり、 図23は、図22中の一点鎖線B2における表示要素の断面形状の想像図であり、 図24は、本開示の第13実施形態において、図17の走行状況の場合における表示要素の形状を示す図であり、 図25は、図24中の一点鎖線B10における表示要素の断面形状の想像図であり、 図26は、図18の走行状況の場合における表示要素の形状を示す図であり、 図27は、図26中の一点鎖線B20における表示要素の断面形状の想像図である。
 以下、図面を参照しながら開示を実施するための複数の形態を説明する。各形態において、先行する形態で説明した事項に対応する部分には同一の参照符号を付して重複する説明を省略する場合がある。各形態において、構成の一部のみを説明している場合は、構成の他の部分については先行して説明した他の形態を参照し適用することができる。
 (第1実施形態)
 図1に示すように、車両10の室内に設置されるインストルメントパネル11には、表示装置20およびヘッドアップディスプレイ装置(HUD30)が取り付けられている。表示装置20は、液晶パネル21をケース22内に収容して構成されたものであり、車両10の運転者の正面に配置されている(図2参照)。液晶パネル21は、各種の警告表示や車速を表示させる。
 HUD30は、液晶パネル31および反射鏡32をケース33内に収容して構成されており、運転者の前方に位置するウインドシールド12の下方に配置されている。液晶パネル31から射出された表示画像の光は反射鏡32で反射される。反射鏡32にて反射された反射光は、車両10に設けられた投影領域12pに投影される。この投影領域12pは、ウインドシールド12の室内側に取り付けられた反射シート12aによって形成される。これにより、表示画像の虚像が車両10の運転者に視認される。具体的には、ウインドシールド12に対して車両10の前方側(車室外側)に虚像が視認される。
 図2は、運転者の視点から見た角度における、ウインドシールド12から車両10前方に見える風景と、HUD30による虚像の位置関係とを示す。図2の例では、車両10が3車線の高速道路を走行している状況である。詳細には、3車線の走行路Rのうちの中央の車線を走行しており、左側の車線の前方には他車両Vが見えている。また、走行路Rには3つの車線を区画する複数の区画線R1、R2、R3、R4、R5、R6、R7、R8、R9が設けられている。符号R1、R2、R3、R8、R9に示す区画線は、中央の車線と右側の車線を区画するものであり、走行方向において所定のピッチで等間隔に設けられている。符号R4、R5、R6、R7、R8に示す区画線は、中央の車線と左側の車線を区画するものであり、走行方向において所定のピッチで等間隔に設けられている。
 HUD30による表示画像(虚像)には、車速を表した車速表示要素Msと、後に詳述する所定の表示要素M1、M2、M3、M4、M5、M6とが含まれている。表示要素M1~M6は、車速表示要素Msよりも上方に位置し、車両10のボンネット(図示せず)よりも上方の視界領域で視認される。車速表示要素Msの他に、ナビゲーション装置による車両10の進行方向の指示表示や各種の警告表示が、表示画像に含ませる表示要素の具体例として挙げられる。
 図3に示す電子制御ユニット(ECU40)は、車両10に搭載されたものであり、表示装置20およびHUD30等と共に表示システムを構成している。ECU40は、表示装置20およびHUD30の作動を制御する。例えば、車内のローカルエリアネットワークを通じてECU40は車速情報を取得し、取得した車速情報に基づき、表示装置20およびHUD30が車速を表示するように制御する。なお、ECU40は、ROMやRAM等のメモリ、CPU、I/O、及びこれらを接続するバスを備える。なお、ECU40が実行する機能の一部又は全部を、一つ或いは複数のIC等によりハードウェア的に構成してもよい。
 インストルメントパネル11には、運転者の顔を撮影する車内カメラ13が取り付けられている。ECU40は、車内カメラ13により撮影された運転者の顔画像を解析して、運転者の眼球位置(視点位置)を演算する。そして、解析により得られた視点位置に応じて、表示画像の投影位置を調節することで、所望の位置に虚像を視認させる。例えば、車速表示要素Msがステアリングホイールと重畳しないように車速表示要素Msの投影位置を調節する。また、表示要素M1~M6が区画線R1~R6と重畳して視認されるように表示要素M1~M6の投影位置を調節する。なお、運転者が運転席に着座して走行を開始する前に初期の視点位置(初期位置)を解析し、走行時には初期位置を継続して用いてもよい。或いは、走行時に視点位置を定期的に解析して更新してもよい。
 車両10には、前方を撮影する前方カメラ50、およびレーン維持アシスト装置として機能する電子制御ユニット(ECU60)が搭載されている。例えば図2の走行状況において、走行路Rに設けられた区画線R1~R9のうち車両前方に位置する区画線R1~R8が前方カメラ50により撮影される。
 ECU60は、前方カメラ50により撮影された画像を解析して、区画線R1~R6の車両10に対する相対位置や、区画線R1~R6の形状、大きさ等を演算する。図2の例では、一対の区画線R1~R3、R4~R6の相対位置がECU60により検知され、その相対位置を表した位置情報に基づき、以下に説明する運転支援制御をECU60は実行する。例えば、演算した位置情報に基づき、車両10が中央車線から運転者の意図に反して逸脱しているか否か、或いは逸脱する可能性が所定確率以上であるか否かを判定する。そして、逸脱している或いは逸脱の可能性が高いと判定した場合には、逸脱させない向きに操舵力を付与させるよう、操舵装置(図示せず)の作動をECU60が制御する。
 例えば、方向指示器が操作されていない状況で、一対の区画線R1~R3、R4~R6のうちの一方の区画線R1~R3との相対距離が短くなる速度が所定以上であれば、その区画線R1~R3を逸脱する可能性が高いと判定する。そして、他方の区画線R4~R6の側へ操舵力を付与させる。これにより、中央車線を走行している最中に右側の車線へ逸脱しようとすると、中央車線へ引き戻される向きに操舵力が付与される。
 このような制御を実行している時のECU60は、区画線R1~R6の車両10に対する相対位置を検知し、検知された位置情報に基づき車両10の運転を支援する「運転支援装置」に相当する。ECU60が演算した位置情報は、車内のローカルエリアネットワークを通じてECU40へ送信される。ECU40は、取得した位置情報に基づき先述した表示画像を生成する。
 運転支援装置から位置情報を取得するように機能している時のECU40は取得装置41に相当し、表示画像を生成するように機能している時のECU40は生成装置42に相当する。ECU40は、生成した表示画像のデータをHUD30の液晶パネル31へ送信することで、液晶パネル31から射出される表示画像の光を制御する。つまり、ECU40は、HUD30およびECU60を備える運転支援システムに適用され、表示画像を生成する「画像処理装置」に相当する。
 次に、図4を用いて、表示画像に含まれる所定の表示要素M1~M6について詳細に説明する。
 図4は、車内カメラ13の画像で解析された視点位置からの見え方を表現したものである。したがって、例えば、図4に示す表示画像を変化させずに視点位置を右側に移動させて前方の走行路Rを見ると、表示要素M1~M6は区画線R1~R6に対して左側にずれて視認されることとなる。解析した視点位置から車両前方を見た場合に、表示要素M1~M6と区画線R1~R6とが図4に示す位置関係に視認されるよう、生成装置42は表示画像を生成する。
 すなわち、表示要素M1~M6は、区画線R1~R6が延びる方向(前後方向)に対して垂直かつ水平な方向(左右方向)において、区画線R1~R6から車両10に向けて傾斜する形状に視認される。換言すれば、区画線R1~R6から車線中央に向けて、上下方向高さが低くなる傾斜面に表示要素M1~M6は視認される。
 一般的に、区画線R1~R6は走行方向を長手方向とする矩形であるが、これに合わせて、表示要素M1~M6も走行方向を長手方向とする矩形である。以下、区画線R4と表示要素M4との位置関係について詳述するが、他の区画線R1~R3、R5、R6と表示要素M1~M3、M5、M6との位置関係についても同様であり、説明を省略する。また、図4では、視点位置の検出および区画線R1~R6の検出にずれが生じていない理想状態での見え方を表している。しかし、実際にはこれらの検出位置と実際の位置とにずれが生じるため、表示要素M1~M6が図4に示す位置からずれて見えることとなる。
 区画線R4のうち車両10が走行している車線の側(内側)の外形線(内側外形線R4a)と、表示要素M4の内側の外形線(内側外形線M4a)とは、位置が同じである。すなわち、2つの内側外形線R4a、M4aの左右方向における位置は同じである。2つの内側外形線R4a、M4aの長さは同じである。2つの内側外形線R4a、M4aは平行である。
 区画線R4の外側の外形線(外側外形線R4b)と、表示要素M4の外側の外形線(外側外形線M4b)とは、左右方向における位置が異なる。具体的には、区画線R4の外側外形線R4bの内側に表示要素M4の外側外形線M4bは位置する。2つの外側外形線R4b、M4bの長さは同じである。2つの外側外形線R4b、M4bは平行である。
 区画線R1の手前側の外形線(手前外形線R4c)と、表示要素M4の内側外形線M4aの下端部とは、上下方向における位置が同じである。区画線R4の奥側の外形線(奥側外形線R4d)と、表示要素M4の内側外形線M4aの上端部とは、上下方向における位置が同じである。
 表示要素M4の下側の外形線(下側外形線M4c)は、区画線R4の手前外形線R4cに対して非平行である。表示要素M4の下側外形線M4cの外側端部は、内側端部よりも上方に位置する。よって、下側外形線M4cは内側へ下がる向きに傾斜する線に視認される。
 表示要素M4の上側の外形線(上側外形線M4d)は、区画線R4の奥側外形線R4dに対して非平行である。表示要素M4の上側外形線M4dの外側端部は、内側端部よりも上方に位置する。よって、上側外形線M4dは内側へ下がる向きに傾斜する線に視認される。
 このように、表示要素M4の内側外形線M4aおよび外側外形線M4bは区画線R4と平行な線に視認される。一方、表示要素M4の下側外形線M4cおよび上側外形線M4dは傾斜する線に視認される。よって、表示要素M4の全体が、内側へ下がる向きに傾斜する傾斜面に視認される。なお、表示要素M4の一部(半分以上)は区画線R4と重畳して視認される。
 さらに、表示要素M4の内側外形線M4aと区画線R4の内側外形線R4aとを一致させつつ傾斜面に視認させる。そのため、表示要素M4が第1仮想面、区画線R4が第2仮想面とした仮想立体物RM4が視認される。つまり、虚像である表示要素M4と実像である区画線R4とが一体となって一つの仮想立体物RM4に見えるように錯視させる。第2仮想面は、走行路Rに置かれた仮想立体物RM4の底面として錯視され、第1仮想面は、走行路Rから上方に突出した傾斜面として錯視される。
 図4の例では、複数の区画線R1~R6が走行路Rの走行方向に所定ピッチで設けられている。これに対応して、複数の表示要素M1~M6も上記走行方向かつ上記所定ピッチで並んで視認される。また、一対の区画線R1~R3、R4~R6が車両10の左右に位置している。これに対応して、複数の表示要素M1~M6も車両10の左右に視認される。
 さて、車両10が走行することに伴い、ウインドシールド12の室外側に見える走行路R等を含んだ背景は、車両10の前方から後方へ流れていくように見える。つまり、第1時点で図4の符号R3、R6に示す位置にあった区画線は、その後の第2時点では符号R2、R5の位置へ、その後の第3時点では符号R1、R4の位置へと車両10に接近してくる。そして、このような区画線R1~R6の相対位置変化に対応して、複数の表示要素M1~M6の表示位置も変化させる。また、表示要素M1~M6は時間経過とともに徐々に拡大して表示される。その拡大速度は、区画線R1~R6の接近速度と同じである。そのため、区画線R1~R6が車両10に接近するにつれ、表示要素M1~M6が区画線R1~R6とともに運転者に接近してくるように視認されることとなる。また、表示要素M1~M6は、区画線R1~R6と同じ速度で接近してくるように視認される。
 表示要素M1~M6の外形線M4a、M4b、M4c、M4dで囲まれる内部領域は、所定の色で表示されている。図4の例では、外形線M4a、M4b、M4c、M4d(輪郭線)と内部領域は異なる色で表示されている。
 以上により、本実施形態によれば、区画線R1~R6の位置情報を取得する取得装置41と、所定の表示要素M1~M6を含んだ表示画像を生成する生成装置42と、を備える。そして、表示要素M1~M6が、取得した位置情報と関連付けられた位置に視認され、かつ、区画線R1~R6から車両の側に向けて傾斜する形状に視認されるよう、生成装置42は表示画像を生成する。
 これによれば、運転支援装置として機能するECU60が検知した区画線R1~R6の位置情報と関連付けられた位置に表示要素M1~M6が視認される。そのため、位置情報の変化に連動して表示要素M1~M6の位置が変化する。しかも、HUD30で表示要素M1~M6を表示させるので、ウインドシールド12の前方に視認される走行路R(実像)に重畳して表示要素M1~M6(虚像)が視認される。よって、このように重畳視認される表示要素M1~M6が位置情報に連動して位置変化するので、運転支援装置がアクティブ状態であることを、運転者は直感的に認識しやすくなる。
 しかも、本実施形態によれば、区画線R1~R6から車両10の側に向けて傾斜する形状に表示要素M1~M6が視認される。そのため、表示要素M1~M6の傾斜により区画線R1~R6の内側に車両10が誘導または規制されるイメージを、視認者が連想しやすくなる。よって、運転支援装置がアクティブ状態になっている旨を、運転者は直感的に認識しやすくなる。
 なお、上記アクティブ状態とは、ECU60が区画線R1~R6を正常に検知しており、逸脱している、或いは逸脱の可能性が高いと判定された場合に、逸脱させない向きに操舵力を付与させることが可能なスタンバイ状態のことである。非アクティブ状態とは、走行路Rに区画線R1~R6が無い場合や、区画線R1~R6が部分的に剥げ落ちている場合、区画線R1~R6の上に砂等の異物がある場合等、区画線R1~R6を検知できていない状態のことである。
 さらに本実施形態では、車両10の走行に伴い区画線R1~R6が車両10に接近するにつれ、表示要素M1~M6が運転者に接近して視認されるよう、生成装置42は表示画像を生成する。そのため、ウインドシールド12の前方に視認される走行路R(実像)に表示要素M1~M6(虚像)が溶け込んで自然に見えることが促される。よって、走行路Rと重なる位置に表示要素M1~M6を表示させることが運転者に煩わしく感じさせる、といったおそれを低減できる。
 さらに本実施形態では、表示要素M1~M6(虚像)が第1仮想面、区画線R1~R6(実像)が第2仮想面として視認され、かつ、第1仮想面および第2仮想面を有する仮想立体物RM1~RM6が視認されるよう、生成装置42は表示画像を生成する。そのため、仮想立体物RM1~RM6が、区画線R1~R6から車両10に向けて傾斜する形状に視認されるので、運転支援装置の作動内容を運転者が直感的に認識しやすくなる効果を促進できる。
 さらに本実施形態では、表示要素M1~M6が区画線R1~R6と重畳して視認されるよう、生成装置42は表示画像を生成する。そのため、ウインドシールド12の室外側に見える走行路R等を含んだ背景のうち、区画線R1~R6以外の部分(他背景部分)に表示要素M1~M6が重畳する範囲を小さくできる。よって、他背景部分が表示要素M1~M6により見づらくなることを抑制でき、他背景部分に対する視認性を向上できる。
 さらに本実施形態では、複数の区画線R1~R6が走行路Rの走行方向に所定ピッチで設けられている場合に、複数の表示要素M1~M6が上記走行方向かつ所定ピッチで並んで視認されるよう、生成装置42は表示画像を生成する。そのため、上述した他背景部分に表示要素M1~M6が重畳する範囲を小さくでき、他背景部分に対する視認性を向上できる。
 さらに本実施形態では、車両10の左右に位置する一対の区画線R1~R3、R4~R6を運転支援装置が検知している場合に、各区画線R1~R3、R4~R6に対して表示要素M1~M3、M4~M6を視認させるよう、生成装置42は表示画像を生成する。これによれば、表示要素M1~M3、M4~M6の傾斜により、車両10の左右両側から、車両10が誘導または規制されるイメージが視認者に連想されやすくなる。よって、運転支援装置のアクティブ状態を直感的に認識しやすくする、といった先述の効果を促進できる。
 (第2実施形態)
 上記第1実施形態では、区画線R4の内側外形線R4aの長さと、表示要素M4の内側外形線M4aの長さとが、同一に視認されるように表示画像を生成している。これに対し、図5に示す本実施形態では、区画線R4の内側外形線R4aの長さに比べて、表示要素M4の内側外形線M4aの長さが短く視認されるように表示画像を生成している。
 詳細に説明すると、区画線R4の手前外形線R4cよりも上側に、表示要素M4の内側外形線M4aの下端部を視認させる。また、区画線R4の奥側外形線R4dよりも下側に、表示要素M4の内側外形線M4aの上端部を視認させる。
 これによれば、視点位置の検出および区画線R1~R6の検出にずれが生じている場合であっても、多少のずれであれば、手前外形線R4cと奥側外形線R4dの間に内側外形線M4aが存在するといった見え方は変わらない。よって、検出ずれによる見え方の変化が生じにくくなり、検出ずれに対する見え方のロバスト性を向上できる。
 (第3実施形態)
 上記第1実施形態では、走行方向に対して垂直な方向(左右方向)において、区画線R4の内側外形線R4aの位置と、表示要素M4の内側外形線M4aの位置とを一致させている。これに対し、図6に示す本実施形態では、左右方向において、区画線R4の内側外形線R4aよりも、表示要素M4の内側外形線M4aが内側に視認されるように表示画像を生成している。
 また、上記第1実施形態では、左右方向において、区画線R4の外側外形線R4bよりも、表示要素M4の外側外形線M4bが内側に視認されるように表示画像を生成している。これに対し、図6に示す本実施形態では、左右方向において、区画線R4の外側外形線R4bよりも、表示要素M4の外側外形線M4bが外側に視認されるように表示画像を生成している。
 以上により、本実施形態によれば、表示要素M4の左右方向長さが、区画線R4の左右方向長さよりも長く視認され、区画線R4の左右方向に跨って表示要素M4が重畳するように視認される。そのため、視点位置の検出および区画線R1~R6の検出にずれが生じている場合であっても、多少のずれであれば見え方は変わらない。よって、検出ずれによる見え方の変化が生じにくくなり、検出ずれに対する見え方のロバスト性を向上できる。また、区画線R4の左右方向に跨って表示要素M4が重畳するように視認されるので、区画線R4の位置に関連づけて表示要素M4が表示されていることを、運転者に認識させやすくなる。
 (第4実施形態)
 上記第1実施形態では、仮想立体物RM4の第2仮想面は、走行路Rに置かれた仮想立体物RM4の底面として錯視され、仮想立体物RM4の第1仮想面は、走行路Rから上方に突出した傾斜面として錯視される。これに対し、図7に示す本実施形態では、仮想立体物RM4の第2仮想面は、走行路Rに置かれた仮想立体物RM4の底面として錯視され、仮想立体物RM4の第1仮想面は、走行路Rから下方に凹んだ傾斜面として錯視される。
 具体的には、区画線R4の内側外形線R4aと、表示要素M4の外側外形線M4bとは、左右方向における位置が同じである。これら内側外形線R4aおよび外側外形線M4bは、同じ長さかつ平行である。表示要素M4の内側外形線M4aおよび外側外形線M4bは区画線R4と平行な線に視認される。一方、表示要素M4の下側外形線M4cおよび上側外形線M4dは傾斜する線に視認される。よって、表示要素M4の全体が、内側へ下がる向きに傾斜する傾斜面に視認される。
 (第5実施形態)
 上記第4実施形態では、区画線R4の内側外形線R4aと、表示要素M4の外側外形線M4bとは、左右方向における位置が同じである。これに対し、図8に示す本実施形態では、左右方向において、区画線R4の内側外形線R4aよりも、表示要素M4の外側外形線M4bを内側に視認させている。つまり、これら内側外形線R4aおよび外側外形線M4bの間に隙間CLが存在するように視認させており、表示要素M4と区画線R4が重畳しないように視認させる。但し、車両10と区画線R4の間の領域に表示要素M1~M6が位置するように視認させることが望ましい。
 (第6実施形態)
 上記第4実施形態では、走行方向において複数の区画線R1~R3、R4~R6が設けられている場合に、区画線R1~R3、R4~R6と同数の表示要素M1~M3、M4~M6を表示して視認させている。これに対し、図9に示す本実施形態では、走行方向に並ぶ複数の区画線R1~R3、R4~R6に対し、走行方向に延びる1本の表示要素M10、M40を表示して視認させている。
 これによれば、視点位置の検出および区画線R1~R6の検出にずれが生じている場合であっても、走行方向のずれに対しては区画線R1~R6に対する表示要素M10、M40の位置の見え方は殆ど変わらない。よって、検出ずれによる見え方の変化が生じにくくなり、検出ずれに対する見え方のロバスト性を向上できる。
 (第7実施形態)
 上記各実施形態では、車両走行に伴い区画線R1~R6が車両10に接近してくることに対応して、表示要素M1~M6の表示位置も変化させる。よって、区画線R1~R6が車両10に接近するにつれ、表示要素M1~M6の走行方向における表示位置を変化させて、表示要素M1~M6が運転者に接近してくるように視認させている。これに対し、本実施形態では、走行方向における表示位置を固定して表示する。但し、左右方向においては区画線R1~R6の位置に応じて表示位置を変化させる。
 要するに、本実施形態では、車両10の走行に伴い区画線R1~R6が車両10に接近してきても、車両10の運転者と表示要素M1~M6との距離が一定に維持されて視認されるよう、生成装置42は表示画像を生成する。これによれば、表示要素M1~M6が上下に移動しないので、表示要素M1~M6が移動することにより煩わしく感じさせてしまうおそれを低減できる。
 (第8実施形態)
 上記第1実施形態にて説明した通り、運転支援装置が非アクティブ状態に陥る場合がある。例えば、走行路Rに区画線R1~R6が無い場合や、区画線R1~R6が部分的に剥げ落ちている場合、区画線R1~R6の上に砂等の異物がある場合等、区画線R1~R6を検知できていない状態である。一方、区画線R1~R6を検知できているアクティブ状態であっても、区画線R1~R6が剥げ落ちている度合いや上記異物の度合いに起因して、検知の精度が悪くなっている場合がある。
 本実施形態では、アクティブ状態の場合において、区画線R1~R6の検知精度に応じて表示要素M10、M40の形状を異ならせている。具体的には、ECU40またはECU60は、検知精度の指標となる数値を認識率として演算する。演算された認識率が高いほど、表示要素M10、M40の傾斜角度が急峻な仮想立体物に視認されるよう、生成装置42は表示画像を生成する。この仮想立体物は、2本の表示要素M10、M40による仮想の帯形状物体が左右に並んで存在するように錯視されるものである。
 例えば、認識率が閾値以上であれば図10の態様で表示要素M10、M40を表示させ、認識率が閾値未満であれば図11の態様で表示要素M10、M40を表示させる。これらの表示要素M10、M40は、図9と図4を組み合わせたものである。つまり、図9と同様にして、表示要素M10、M40の各々は、走行方向に延びる1本の帯形状である。また、図4と同様にして、表示要素M10、M40は、走行路Rから上方に突出した傾斜面として錯視される形状である。
 そして、表示要素M10、M40は、区画線R1~R6から車両10へ近づくにつれて上下方向高さが低くなる向きに傾斜する形状であり、その傾斜角度θは、演算された認識率が高いほど大きい。換言すると、表示要素M10、M40の外形線は偏平した四角形であるが、その四角形の短辺のうち下側に位置する辺(下側外形線M40C、M10C)の、水平方向に対する傾斜角度θを、認識率が高いほど大きくする。なお、表示要素M10、M40の傾斜角度は認識率に拘らず一定である。
 以上により、本実施形態によれば、区画線R1~R6の検知精度に応じて表示要素M10、M40の形状を異ならせる。そのため、運転支援装置がどのような検知精度で作動しているかを、直感的に分かりやすくできる。
 ここで、傾斜角度θが急峻であるほど、車両10が区画線R1~R6を逸脱しないように自動制御されている印象を、ユーザに強く与えることとなる。この点に着目した本実施形態では、検知精度が高いほど表示要素M10、M40の傾斜角度θを急峻にしている。そのため、運転支援装置による区画線R1~R6の検知精度、つまり運転支援装置が逸脱させない向きに操舵力を付与させるように機能することの確からしさが、表示要素M10、M40の傾斜角度θの違いで表現される。よって、上記確からしさを直感的に分かりやすくできる。
 (第9実施形態)
 上記第8実施形態では、検知精度が高いほど、表示要素M10、M40の傾斜角度θを急峻にしている。これに対し本実施形態では、検知精度が高いほど、表示要素M10、M40の上下方向高さを高くしている。具体的には、認識率が閾値以上であれば、図12に示すように表示要素M10、M40の上下方向高さを高くする。つまり、四角形である表示要素M10、M40の短辺長さを長くする。一方、認識率が閾値未満であれば、図13に示すように表示要素M10、M40の上下方向高さを低くする。
 そして、表示要素M10、M40は、区画線R1~R6から車両10へ近づくにつれて上下方向高さが低くなる向きに傾斜する形状であり、走行方向に延びる1本の帯形状である。その帯形状の上下方向高さHは、演算された認識率が高いほど大きく設定される。換言すると、下側外形線M40C、M10Cの長さを、認識率が高いほど長くする。なお、表示要素M10、M40の傾斜角度は認識率に拘らず一定に設定される。
 ここで、表示要素M10、M40の高さが高いほど、車両10が区画線R1~R6を逸脱しないように自動制御されている印象を、ユーザに強く与えることとなる。この点に着目した本実施形態では、検知精度が高いほど表示要素M10、M40の上下方向高さを高くしている。そのため、運転支援装置が逸脱させない向きに操舵力を付与させるように機能することの確からしさが、表示要素M10、M40の高さの違いで表現される。よって、上記確からしさを直感的に分かりやすくできる。
 (第10実施形態)
 上記第9実施形態では、表示要素M10、M40の各々は、走行方向に延びる1本の帯形状である。これに対し本実施形態では、上記第1実施形態と同様にして、複数の表示要素M1、M2、M3、M3a、M3b、M4、M5、M6、M6a、M6bを走行方向に並べて配置している。そして、複数の表示要素M1~M6bの走行方向における間隔を、検知精度が高いほど短くする。換言すると、複数の表示要素M1~M6bの数を、検知精度が高いほど多くする。具体的には、認識率が閾値以上であれば、図14に示すように上記間隔を短くして、表示要素M1~M6bの数を多くする。一方、認識率が閾値未満であれば、図15に示すように上記間隔を長くして、表示要素M1~M6の数を少なくする。
 ここで、表示要素M1~M6bの間隔が短く数が多いほど、車両10が区画線R1~R6を逸脱しないように自動制御されている印象を、ユーザに強く与えることとなる。この点に着目した本実施形態では、検知精度が高いほど表示要素M1~M6bの間隔を短くして数を多くしている。そのため、運転支援装置が逸脱させない向きに操舵力を付与させるように機能することの確からしさが、表示要素M1~M6bの間隔および数の違いで表現される。よって、上記確からしさを直感的に分かりやすくできる。
 (第11実施形態)
 上記第1実施形態にて説明した通り、運転支援装置が区画線R1~R6を検知できていない等の事情により運転支援を実行できない状態を非アクティブ状態と呼ぶ。そして、区画線R1~R6の検知がなされて運転支援を実行可能なアクティブ状態であっても、ユーザが運転支援の開始を許可しない場合等には、運転支援を開始させずに待機させる場合がある。本実施形態では、このような待機時と、運転支援を実行させている先述した実行時とで、表示要素M10、M40の形状を異ならせている。なお、上記実行時は、上記第1実施形態にて説明したスタンバイ状態に相当する。
 例えば、運転支援装置の実行時には、図10~図13に示すように、表示要素M10、M40が傾斜しているように視認させる態様で表示させる。一方、待機時には、図16に示すように傾斜角度θがゼロであり表示要素M10、M40が傾斜していないように視認させる態様で、表示要素M10、M40を表示させる。換言すると、下側外形線M40C、M10Cを水平にする。また、運転支援装置が非アクティブ状態であれば、表示要素M10、M40を消して表示させない。
 以上により、本実施形態によれば、運転支援装置の待機時と実行時とで、表示要素M10、M40の形状を異ならせる。そのため、運転支援装置が待機状態および実行状態のいずれであるかを、直感的に分かりやすくできる。
 ここで、表示要素M10、M40の傾斜角度θが急峻であるほど、或いは上下方向高さが高いほど、車両10が区画線R1~R6を逸脱しないように自動制御されている印象を、ユーザに強く与えることとなる。この点に着目した本実施形態では、実行時には待機時に比べて、表示要素M10、M40の傾斜角度θが急峻または上下方向高さが高い仮想立体物に視認されるよう、表示要素M10、M40の形状を変化させる。具体的には、待機時には、傾斜角度θをゼロにして上下方向高さをゼロにする。そのため、待機状態および実行状態のいずれであるかの直感的な分かりやすさを向上できる。
 (第12実施形態)
 先述した通り、図3に示すECU60は、レーン維持アシスト装置として機能する。すなわち、走行路Rのうち一対の区画線R1~R6の間の部分から運転者の意図に反して車両10が逸脱しているか否か、或いは逸脱の可能性が高いか否かを判定する。そして、肯定判定した場合に、逸脱させない向きに操舵力を付与させるよう、ECU60は操舵装置の作動を制御する。
 さらに本実施形態では、ECU60は、図17に示す自動オフセット機能および図18に示す自動コーナリング機能を有する。自動オフセット機能とは、これらの機能は、走行路Rのうち一対の区画線R1、R4の間の部分から逸脱しない範囲内で、車両10の車幅方向における走行位置を現状位置から一時的に変化させるように自動制御するものである。制御対象は、操舵装置、ブレーキ装置、および走行駆動出力装置である。走行駆動出力装置の具体例としては、内燃機関や電動モータが挙げられる。
 自動オフセット機能は、車両10の外部に存在する外部物体が車両10と車幅方向に並ぶ走行区間で、外部物体と車両10との車幅方向における離間距離を拡大させる向きに走行位置を一時的に自動で変化させるものである。図17の例では、外部物体は、車両10が走行する車線の隣の車線を同方向に走行する他車両10Aである。このような他車両10Aの他にも、歩行者や、道路工事に伴う交通規制用の看板等が、外部物体の具体例として挙げられる。
 自動コーナリング機能は、車両10がカーブ走行する場合において、一対の区画線R1、R4の間の部分から逸脱しない範囲内で、カーブ走行半径を小さくさせる向きに走行位置を一時的に自動で変化させるものである。図18の例では、車両10の車幅方向における走行位置を、車両10が右側へカーブ走行する期間には右側へ変化させ、左側へカーブ走行する期間には左側へ変化させる。これにより、カーブ走行時のカーブ走行半径を小さくして、カーブ走行に伴い車両10へ生じる遠心力を低減させる。
 以下の説明では、一対の区画線R1~R6内のうち車幅方向における現状位置であって、自動オフセット機能または自動コーナリング機能を作動させる前の位置を基準位置PAと呼ぶ。車両10の走行区間のうち、基準位置PAで走行する予定の区間を基準走行区間W1と呼ぶ。基準位置PAから一時的に変化させた位置、つまりオフセット位置PB1で走行する予定の区間を変化走行区間W3と呼ぶ。基準位置PAからオフセット位置PB1へ移動するまでの走行区間を過渡走行区間W2と呼ぶ。自動オフセット機能または自動コーナリング機能の作動を終了させて基準位置PAへ戻る予定の区間についても基準走行区間W1と呼ぶ。
 表示要素M10、M40には、以下に説明する基準表示部M10A、M40A、M10C、M40Cおよび変化表示部M10B1、M40B1が含まれている。基準表示部M10A、M40A、M10C、M40Cは、基準走行区間W1と関連付けられた位置に視認される。変化表示部M10B1、M40B1、M10B2、M40B2は、変化走行区間W3、W31、W32と関連付けられた位置に視認される。
 自動オフセット機能が作動する図17の状況下において、車両10の左右に位置する各々の区画線R1、R4のうち、車両10に対して外部物体が存在する側に位置する区画線を物体側区画線R4と呼び、反対側に位置する区画線を反物体側区画線R1と呼ぶ。基準表示部M10A、M40A、M10C、M40Cのうち、物体側区画線R4と関連付けられた位置に視認される部分を物体側基準表示部M40A、M40Cと呼ぶ。反物体側区画線R1と関連付けられた位置に視認される部分を反物体側基準表示部M10A、M10Cと呼ぶ。変化表示部M10B1、M40B1のうち物体側区画線R4と関連付けられた位置に視認される部分を物体側変化表示部M40B1と呼び、反物体側区画線R1と関連付けられた位置に視認される部分を反物体側変化表示部40Cと呼ぶ。
 そして、基準表示部M10A、M40A、M10C、M40Cと、変化表示部M10B1、M40B1とが異なる形状の仮想立体物に視認されるように、生成装置42は画像を生成している。具体的には、基準表示部M10A、M40A、M10C、M40Cでは、物体側基準表示部M40A、M40Cの傾斜角度θと反物体側基準表示部M10A、M10Cの傾斜角度θが同じに視認されるように画像が生成される。変化表示部M10B1、M40B1では、物体側変化表示部M40B1の傾斜角度θと反物体側変化表示部M10B1の傾斜角度θが異なって視認されるように画像が生成される。
 自動コーナリング機能が作動する図18の状況下において、車両10の左右に位置する各々の区画線R1、R4のうち、車両10に対してカーブ走行半径が大きい側に位置する区画線を外側区画線と呼び、その反対側に位置する区画線を内側区画線と呼ぶ。基準表示部M10A、M40A、M10C、M40Cのうち、外側区画線と関連付けられた位置に視認される部分を外側基準表示部M40A、M40Cと呼ぶ。内側区画線と関連付けられた位置に視認される部分を内側基準表示部M10A、M10Cと呼ぶ。変化表示部M10B1、M40B1、M10B2、M40B2のうち外側区画線と関連付けられた位置に視認される部分を外側変化表示部M40B1、M10B2と呼ぶ。内側区画線と関連付けられた位置に視認される部分を内側変化表示部M10B1、M40B2と呼ぶ。
 そして、基準表示部M10A、M40A、M10C、M40Cと、変化表示部M10B1、M40B1、M10B2、M40B2とが異なる形状の仮想立体物に視認されるように、生成装置42は画像を生成している。具体的には、基準表示部M10A、M40A、M10C、M40Cでは、外側基準表示部M40A、M40Cの傾斜角度θと内側基準表示部M10A、M10Cの傾斜角度θが同じに視認されるように画像が生成される。変化表示部M10B1、M40B1では、外側変化表示部M40B1、M10B2の傾斜角度θと内側変化表示部M10B1、M40B2の傾斜角度θが異なって視認されるように画像が生成される。
 先ず、自動オフセット機能に係る表示の具体例について説明する。
 例えば、図17に示す如く自動オフセット機能を作動させる場合、図19の如く表示要素M10、M40の形状を設定する。図17に示す状況では、車両10の車幅方向における走行位置を、他車両10Aを追い越す期間中に基準位置PAからオフセット位置PB1へ変化させる。その後、他車両10Aを追い越した後に、オフセット位置PB1から現状位置PAへ走行位置を変化させる。
 そして、基準表示部M10A、M40A、M10C、M40Cでは、物体側基準表示部M40A、M40Cの傾斜角度θと反物体側基準表示部M10A、M10Cの傾斜角度θが同じであるかのように視認させる。その結果、図20に示すように、物体側基準表示部M40A、M40Cおよび反物体側基準表示部M10A、M10Cが同じ傾斜角度θで傾いた立体物であるかのように錯視させている。
 一方、変化表示部M10B1、M40B1では、物体側変化表示部M40B1の傾斜角度θが反物体側変化表示部M10B1の傾斜角度θよりも大きいかのように視認させる。その結果、図21に示すように、物体側変化表示部M40B1および反物体側変化表示部M10B1が互いに異なる傾斜角度θで傾いた立体物であるかのように錯視させている。詳細には、物体側変化表示部M40B1が反物体側変化表示部M10B1よりも急峻な傾斜角度で実存する立体物であるかのように錯視させている。
 なお、図17の例では、基準位置PAは、物体側区画線R4と反物体側区画線R1の間の中央部分であり、オフセット位置PB1は、基準位置PAに比べて物体側区画線から遠ざかる位置である。
 次に、自動コーナリング機能に係る表示の具体例について説明する。
 例えば、図18に示す如く自動コーナリング機能を作動させる場合、図22の如く表示要素M10、M40の形状を設定する。図18に示す状況では、車両10の車幅方向における走行位置を、右側へのカーブ走行時には基準位置PAから右側の位置(オフセット位置PB1)へ変化させ、左側へのカーブ走行時には基準位置PAから左側の位置(オフセット位置PB2)へ変化させる。
 そして、基準表示部M10A、M40A、M10C、M40Cでは、外側基準表示部M40A、M40Cの傾斜角度θと内側基準表示部M10A、M10Cの傾斜角度θが同じであるかのように視認させ、その結果、図20の如く錯視させている。
 一方、右カーブ走行する変化走行区間W31と関連付けられた変化表示部M10B1、M40B1では、外側変化表示部M40B1の傾斜角度θが、内側変化表示部M10B1の傾斜角度θよりも大きいかのように視認させる。その結果、図21の如く錯視させている。詳細には、外側変化表示部M40B1が内側変化表示部M10B1よりも急峻な傾斜角度で実存する立体物であるかのように錯視させている。
 また、左カーブ走行する変化走行区間W32と関連付けられた変化表示部M10B2、M40B2では、外側変化表示部M10B2の傾斜角度θが、内側変化表示部M40B2の傾斜角度θよりも大きいかのように視認させる。その結果、図23の如く錯視させている。詳細には、外側変化表示部M10B2が内側変化表示部M40B2よりも急峻な傾斜角度で実存する立体物であるかのように錯視させている。
 以上により、本実施形態によれば、基準表示部M10A、M10C、M40A、M40Cと変化表示部M10B1、M40B1とが異なる形状の仮想立体物に視認されるよう、生成装置42は表示画像を生成する。
 これによれば、自動オフセット機能や自動コーナリング機能が作動して、現状位置(基準位置PA)からオフセット位置PB1、PB2へ走行位置を自動で変化させる場合に、その変化に先立ち、基準表示部と変化表示部を異なる形状に視認させることができる。そして、基準表示部は基準走行区間W1と関連付けられた位置に視認され、変化表示部は変化走行区間W3、W31、W32と関連付けられた位置に視認される。よって、このように視認したユーザは、変化走行区間W3、W31、W32において走行位置が変化するように自動制御されることを、直感的に把握しやすくなる。したがって、自動オフセット機能や自動コーナリング機能により走行位置を自動でオフセット移動させるに先立ち、そのように自動制御する予定である旨を、ユーザに直感的に把握させることができる。
 さらに本実施形態では、自動オフセット機能により走行位置を自動でオフセット移動させるにあたり、物体側変化表示部M40B1と物体側基準表示部M40Aとが異なる形状の仮想立体物に視認されるよう、生成装置42は表示画像を生成する。
 これによれば、左右一対の表示部のうち、外部物体が存在する側の表示部を変化させることになる。つまり、基準走行区間W1と関連付けられた物体側基準表示部M40Aと、変化走行区間W3と関連付けられた物体側変化表示部M40B1とを、異なる形状に視認させることができる。よって、このように視認したユーザは、左右いずれに外部物体が存在するか、つまり左右いずれにオフセット移動させるかを、直感的に把握しやすくなる。したがって、自動オフセット機能により走行位置を自動でオフセット移動させるに先立ち、そのオフセット移動させる旨を、ユーザに直感的に把握させることができる。
 ここで、表示要素M10、M40の傾斜角度θが急峻であるほど、車両10が区画線R1、R4を逸脱しないように自動制御されている印象を、ユーザに強く与えることとなる。この点に着目した本実施形態では、物体側変化表示部M40B1が物体側基準表示部M40Aに比べて、傾斜角度が急峻な仮想立体物に視認されるよう、生成装置42は表示画像を生成する。そのため、自動オフセット機能により走行位置を自動でオフセット移動させるに先立ち、そのオフセット移動させる向き、つまり外部物体から離間する向きを、ユーザに直感的に把握させることができる。
 さらに本実施形態では、反物体側変化表示部M10B1と反物体側基準表示部M10Aとが異なる形状の仮想立体物に視認されるよう、生成装置42は表示画像を生成する。つまり、基準走行区間W1と変化走行区間W3、W31、W32とで表示部を異なる形状にすることを、物体側の表示部に加えて反物体側の表示部についても対象にする。そのため、走行位置を自動でオフセット移動させる予定である旨をユーザに直感的に把握させる、といった上述の効果を促進できる。
 さらに本実施形態では、反物体側変化表示部M10B1の傾斜角度が反物体側基準表示部M10Aの傾斜角度に比べて緩やかな仮想立体物に視認されるよう、生成装置42は表示画像を生成する。そのため、反物体側については、変化位置において、車両10が区画線R1、R4を逸脱しないように自動制御されているようにユーザに与える印象が弱くなる。よって、自動オフセット機能により走行位置を自動でオフセット移動させるに先立ち、そのオフセット移動させる向き、つまり外部物体から離間する向きを、ユーザに直感的に把握させることを促進できる。
 さらに本実施形態では、自動コーナリング機能により走行位置を自動で移動させるにあたり、外側変化表示部M40B1と外側基準表示部M40Aとが異なる形状の仮想立体物に視認されるよう、生成装置42は表示画像を生成する。
 これによれば、左右一対の表示部のうち、カーブ走行半径が大きい側の表示部を変化させることになる。つまり、基準走行区間W1と関連付けられた外側基準表示部M40Aと、変化走行区間W31と関連付けられた外側変化表示部M40B1とを、異なる形状に視認させることができる。よって、このように視認したユーザは、左右いずれに走行位置を移動させるかを、直感的に把握しやすくなる。したがって、自動コーナリング機能により走行位置を自動で移動させるに先立ち、その移動させる旨を、ユーザに直感的に把握させることができる。
 ここで、表示要素M10、M40の傾斜角度θが急峻であるほど、車両10が区画線R1、R4を逸脱しないように自動制御されている印象を、ユーザに強く与えることとなる。この点に着目した本実施形態では、外側変化表示部M40B1が外側基準表示部M40Aに比べて、傾斜角度が急峻な仮想立体物に視認されるよう、生成装置42は表示画像を生成する。そのため、自動コーナリング機能により走行位置を自動で移動させるに先立ち、その移動させる向きを、ユーザに直感的に把握させることができる。
 さらに本実施形態では、内側変化表示部M10B1と内側基準表示部M10Aとが異なる形状の仮想立体物に視認されるよう、生成装置42は表示画像を生成する。つまり、基準走行区間W1と変化走行区間W3、W31、W32とで表示部を異なる形状にすることを、外側の表示部に加えて内側の表示部についても対象にする。そのため、走行位置を自動で移動させる予定である旨をユーザに直感的に把握させる、といった上述の効果を促進できる。
 さらに本実施形態では、内側変化表示部M10B1の傾斜角度が内側基準表示部M10Aの傾斜角度に比べて緩やかな仮想立体物に視認されるよう、生成装置42は表示画像を生成する。そのため、内側については、変化位置において、車両10が区画線R1、R4を逸脱しないように自動制御されているようにユーザに与える印象が弱くなる。よって、自動コーナリング機能により走行位置を自動で移動させるに先立ち、その移動させる向きを、ユーザに直感的に把握させることを促進できる。
 (第13実施形態)
 上記第12実施形態では、基準走行区間W1と関連付けられた表示部と、変化走行区間W3と関連付けられた表示部とで、傾斜角度θが異なるように視認させている。これに対し本実施形態では、基準走行区間W1と関連付けられた表示部と、変化走行区間W3と関連付けられた表示部とで、上下方向高さが異なるように視認させている。
 具体的には、図17に示す如く自動オフセット機能を作動させる場合、図24の如く表示要素M10、M40の形状を設定する。
 基準表示部M10A、M40A、M10C、M40Cでは、物体側基準表示部M40A、M40Cの上下方向高さと反物体側基準表示部M10A、M10Cの上下方向高さが同じであるかのように視認させる。その結果、物体側基準表示部M40A、M40Cおよび反物体側基準表示部M10A、M10Cについては、図20に示すように、物体側と反物体側とで上下方向高さが同じ立体物であるかのように表示部を錯視させている。
 一方、変化表示部M10B1、M40B1では、物体側変化表示部M40B1の上下方向高さが反物体側変化表示部M10B1の上下方向高さよりも大きいかのように視認させる。その結果、図25に示すように、物体側の方が反物体側よりも上下方向高さHが高い立体物であるかのように表示部を錯視させている。なお、傾斜角度θについては、基準位置と変化位置とのいずれにおいても、物体側と反物体側とで同じに設定されている。
 次に、自動コーナリング機能に係る表示の具体例について説明する。例えば、図18に示す如く自動コーナリング機能を作動させる場合、図26の如く表示要素M10、M40の形状を設定する。
 基準表示部M10A、M40A、M10C、M40Cでは、外側基準表示部M40A、M40Cの上下方向高さHと内側基準表示部M10A、M10Cの上下方向高さが同じであるかのように視認させ、その結果、図20の如く錯視させている。
 一方、右カーブ走行する変化走行区間W31と関連付けられた変化表示部M10B1、M40B1では、カーブ走行外側の外側変化表示部M40B1の上下方向高さHが、カーブ走行内側の内側変化表示部M10B1の上下方向高さHよりも大きいかのように視認させる。その結果、図25の如く錯視させている。
 また、左カーブ走行する変化走行区間W32と関連付けられた変化表示部M10B2、M40B2では、カーブ走行外側の外側変化表示部M10B2の上下方向高さHが、カーブ走行内側の内側変化表示部M40B2の上下方向高さHよりも大きいかのように視認させる。その結果、図27の如く錯視させている。
 以上により、本実施形態によれば、上記第12実施形態と同様にして、基準表示部M10A、M10C、M40A、M40Cと変化表示部M10B1、M40B1とが異なる形状の仮想立体物に視認されることとなる。また、物体側変化表示部M40B1と物体側基準表示部M40Aとが異なる形状の仮想立体物に視認されることとなる。また、外側変化表示部M40B1と外側基準表示部M40Aとが異なる形状の仮想立体物に視認されることとなる。よって、自動オフセット機能や自動コーナリング機能により走行位置を自動で移動させるに先立ち、そのように自動制御する予定である旨を、ユーザに直感的に把握させることができる。
 ここで、表示要素M10、M40の上下方向高さHが高いほど、車両10が区画線R1、R4を逸脱しないように自動制御されている印象を、ユーザに強く与えることとなる。この点に着目した本実施形態では、物体側変化表示部M40B1が物体側基準表示部M40Aに比べて、上下方向高さHが高い仮想立体物に視認されるよう、生成装置42は表示画像を生成する。そのため、自動オフセット機能により走行位置を自動でオフセット移動させるに先立ち、そのオフセット移動させる向き、つまり外部物体から離間する向きを、ユーザに直感的に把握させることができる。また、外側変化表示部M40B1が外側基準表示部M40Aに比べて、上下方向高さHが高い仮想立体物に視認されるよう、生成装置42は表示画像を生成する。そのため、自動コーナリング機能により走行位置を自動で移動させるに先立ち、その移動させる向きをユーザに直感的に把握させることができる。
 さらに本実施形態では、反物体側変化表示部M10B1の上下方向高さHが反物体側基準表示部M10Aの上下方向高さHに比べて低い仮想立体物に視認されるよう、生成装置42は表示画像を生成する。そのため、反物体側については、変化位置において、車両10が区画線R1、R4を逸脱しないように自動制御されているようにユーザに与える印象が弱くなる。よって、自動オフセット機能により走行位置を自動でオフセット移動させるに先立ち、そのオフセット移動させる向き、つまり外部物体から離間する向きを、ユーザに直感的に把握させることを促進できる。また、内側変化表示部M10B1の上下方向高さHが内側基準表示部M10Aの上下方向高さHに比べて低い仮想立体物に視認されるよう、生成装置42は表示画像を生成する。そのため、カーブ走行の内側については、変化位置において、車両10が区画線R1、R4を逸脱しないように自動制御されているようにユーザに与える印象が弱くなる。よって、自動コーナリング機能により走行位置を自動で移動させるに先立ち、その移動させる向きをユーザに直感的に把握させることを促進できる。
 (他の実施形態)
 以上、開示の好ましい実施形態について説明したが、開示は上述した実施形態に何ら制限されることなく、以下に例示するように種々変形して実施することが可能である。各実施形態で具体的に組合せが可能であることを明示している部分同士の組合せばかりではなく、特に組合せに支障が生じなければ、明示してなくとも実施形態同士を部分的に組み合せることも可能である。
 区画線R1~R6を逸脱させない向きに運転支援装置が操舵力を付与している時に、左右の表示要素M1~M6を異なる態様で表示させることで、運転支援装置が作動している内容を直感的に分かりやすくしてもよい。例えば、図2の左側の区画線R4、R5、R6を車両10が逸脱した場合、または逸脱する可能性が所定以上である場合、運転支援装置は、車両10の走行位置を右側に移動させる向きに操舵力を付与する。この場合、左側の表示要素M4、M5、M6を点滅させたり表示色を変化させたりして、右側の表示要素M1、M2、M3よりも強調して表示させる。
 また、表示要素M1~M6の傾斜角度で、逸脱の度合いまたは逸脱する可能性の度合いを表現してもよい。つまり、区画線R1~R6を逸脱した量が大きいほど、或いは逸脱する可能性が高いほど、傾斜角度を急角度にすればよい。
 図3に示す運転支援装置(ECU60)は、操舵力を付与することで運転を支援しているが、区画線R1~R6を車両10が逸脱した場合、または逸脱する可能性が所定以上である場合に、警告音や警告音声をスピーカから出力させてもよい。
 上記第1実施形態では、区画線R1~R6が走行路Rの走行方向に所定ピッチで設けられていることに対応して、複数の表示要素M1~M6も走行方向に所定ピッチで並んで視認されるように表示画像を生成している。これに対し、走行路Rのピッチとは異なるピッチで表示要素M1~M6を視認させるように表示画像を生成してもよい。
 車両10と衝突の可能性が所定以上ある歩行者が存在する場合には、表示要素M1~M6の表示を禁止させて、歩行者に対する注意を集中させることを促進させることが望ましい。また、区画線R1~R6が検知されていない場合には、表示要素M1~M6の表示を禁止させることが望ましい。
 前方カメラ50により検知された区画線R1~R6や走行路Rの色に応じて、表示要素M1~M6の色を変化させてもよい。例えば、表示要素M1~M6の色が目立たないように変化させることで、表示要素M1~M6が煩わしく感じさせることの抑制を図ってもよい。
 上記各実施形態では、表示要素M1~M6の外形線M4a、M4b、M4c、M4dで囲まれる内部領域は、所定の色で表示されており、外形線M4a、M4b、M4c、M4d(輪郭線)と内部領域は異なる色で表示されている。これに対し、外形線M4a、M4b、M4c、M4dと内部領域を同じ色で表示してもよい。換言すれば、外形線M4a、M4b、M4c、M4dの表示を無くして、内部領域の表示のみとしてもよい。内部領域の表示色は、走行路Rのうち表示要素M1~M6と重畳する部分が視認できない程度に透過性を低く設定してもよいし、重畳する部分が視認できる程度に透過性高く設定してもよい。
 上記第12、13実施形態では、反物体側基準表示部M10Aと反物体側変化表示部M10B1とが異なる形状の仮想立体物に視認されるように、表示画像が生成されている。これに対し、反物体側基準表示部M10Aと反物体側変化表示部M10B1とが同じ形状の仮想立体物に視認されるように、表示画像を生成してもよい。つまり、反物体側変化表示部M10B1の傾斜角度θを緩やかに視認させたり、上下方向高さHを低く視認させたりすることを廃止してもよい。同様に、内側基準表示部M10Aと内側変化表示部M10B1とが同じ形状の仮想立体物に視認されるように表示画像を生成してもよい。
 上記第12、13実施形態では、基準表示部と変化表示部とで、傾斜角度または上下方向高さが異なって視認されるようにしているが、これら以外の態様で、基準表示部と変化表示部とが異なって視認されるようにしてもよい。また、基準表示部と変化表示部とを異なる色で表示させてもよい。また、物体側変化表示部M40B1や外側変化表示部M40B1を他の表示部とは異なる色で表示させてもよい。
 上記第8~10実施形態では、認識率に応じて傾斜角度または上下方向高さが異なって視認されるようにしているが、これら以外の態様で、認識率に応じて表示要素の形状を異ならせてもよい。また、認識率に応じて表示要素の色を異ならせてもよい。
 図1の例では、HUD30から射出された表示画像の光を反射シート12aに投影させているが、反射シート12aを廃止して、ウインドシールド12に表示画像の光を直接投影させてもよい。こうした形態では、ウインドシールド12が投影領域12pを形成する。さらに、ウインドシールド12とは別体の透光性の投影部材を、運転席の正面に配置し、その投影部材に表示画像の光を投影させてもよい。こうした形態では、投影部材の運転者側の面が投影領域12pを形成する。また、図1に示す例では、表示画像の光を液晶パネル31から射出するHUD30を採用しているが、液晶パネル31に替えて、レーザ光束を走査することで表示画像の光を射出するHUDを採用してもよい。
 ECU40(制御装置)が提供する手段および/または機能は、実体的な記憶媒体に記録されたソフトウェアおよびそれを実行するコンピュータ、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの組合せによって提供することができる。例えば、制御装置がハードウェアである回路によって提供される場合、それは多数の論理回路を含むデジタル回路、またはアナログ回路によって提供することができる。
 本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

Claims (21)

  1.  走行路(R)に設けられた区画線(R1、R2、R3、R4、R5、R6)の車両(10)に対する相対位置を検知し、検知された位置情報に基づき前記車両の運転を支援する運転支援装置(60)と、
     前記車両に設けられた投影領域(12p)に表示画像を投影することにより、前記表示画像の虚像を視認させるヘッドアップディスプレイ装置(30)と、を備える運転支援システムに適用され、前記表示画像を生成する画像処理装置において、
     前記位置情報を取得する取得装置(41)と、
     所定の表示要素(M1、M2、M3、M4、M5、M6、M10、M40)を含んだ前記表示画像を生成する生成装置(42)と、
    を備え、
     前記表示要素が、前記取得装置により取得された前記位置情報と関連付けられた位置に視認され、かつ、前記区画線から前記車両の側に向けて傾斜する形状に視認されるよう、前記生成装置は前記表示画像を生成する画像処理装置。
  2.  前記車両の走行に伴い前記区画線が前記車両に接近するにつれ、前記表示要素が前記車両の運転者に接近して視認されるよう、前記生成装置は前記表示画像を生成する請求項1に記載の画像処理装置。
  3.  前記車両の走行に伴い前記区画線が前記車両に接近してきても、前記車両の運転者と前記表示要素との距離が一定に維持されて視認されるよう、前記生成装置は前記表示画像を生成する請求項1に記載の画像処理装置。
  4.  前記表示要素が第1仮想面、前記区画線が第2仮想面として視認され、かつ、前記第1仮想面および前記第2仮想面を有する仮想立体物(RM1、RM2、RM3、RM4、RM5、RM6)が視認されるよう、前記生成装置は前記表示画像を生成する請求項1~3のいずれか1つに記載の画像処理装置。
  5.  前記表示要素が前記区画線と重畳して視認されるよう、前記生成装置は前記表示画像を生成する請求項1~4のいずれか1つに記載の画像処理装置。
  6.  複数の前記区画線が前記走行路の走行方向に所定ピッチで設けられている場合に、複数の前記表示要素が前記走行方向かつ前記所定ピッチで並んで視認されるよう、前記生成装置は前記表示画像を生成する請求項1~5のいずれか1つに記載の画像処理装置。
  7.  前記車両の左右に位置する各々の前記区画線を前記運転支援装置が検知している場合に、各々の前記区画線に対して前記表示要素を視認させるよう、前記生成装置は前記表示画像を生成する請求項1~6のいずれか1つに記載の画像処理装置。
  8.  前記生成装置は、前記区画線から前記車両へ近づくにつれて上下方向高さが低くなる向きに傾斜する形状に視認されるよう、前記表示画像を生成する請求項1~7のいずれか1つに記載の画像処理装置。
  9.  前記運転支援装置による前記相対位置の検知精度に応じて前記表示要素の形状を異ならせるよう、前記生成装置は前記表示画像を生成する請求項1~8のいずれか1つに記載の画像処理装置。
  10.  前記検知精度が高いほど、前記表示要素の傾斜角度が急峻に視認または前記表示要素の上下方向高さが高く視認されるよう、前記生成装置は前記表示画像を生成する請求項9に記載の画像処理装置。
  11.  前記運転支援装置が前記区画線を検知しているが運転支援を開始せずに待機している待機時と、前記運転支援装置が運転支援を実行している実行時とで、前記表示要素の形状を異ならせるよう、前記生成装置は前記表示画像を生成する請求項1~10のいずれか1つに記載の画像処理装置。
  12.  前記実行時には前記待機時に比べて、前記表示要素の傾斜角度が急峻に視認または前記表示要素の上下方向高さが高く視認されるよう、前記生成装置は前記表示画像を生成する請求項11に記載の画像処理装置。
  13.  前記運転支援装置は、前記走行路のうち一対の前記区画線の間から逸脱しない範囲内で、前記車両の車幅方向における走行位置を現状位置から一時的に変化させるように自動制御する機能を有しており、
     前記車両の走行区間のうち、前記現状位置で走行する予定の区間を基準走行区間(W1)とし、前記現状位置から一時的に変化させた位置で走行する予定の区間を変化走行区間(W3)とし、
     前記表示要素は、前記基準走行区間と関連付けられた位置に視認される基準表示部(M10A、M10C、M40A、M40C)、および前記変化走行区間と関連付けられた位置に視認される変化表示部(M10B1、M40B1、M10B2、M40B2)を有し、
     前記変化表示部と前記基準表示部とが異なる形状の仮想立体物に視認されるよう、前記生成装置は前記表示画像を生成する請求項1~12のいずれか1つに記載の画像処理装置。
  14.  前記自動制御の機能は、前記車両の外部に存在する外部物体(10A)が前記車両と車幅方向に並んで走行する予定の走行区間で、前記外部物体と前記車両との車幅方向における離間距離を拡大させる向きに前記走行位置を一時的に変化させるものであり、
     前記車両の左右に位置する各々の前記区画線のうち、前記車両に対して前記外部物体が存在する側に位置する区画線を物体側区画線とし、
     前記変化表示部のうち、前記物体側区画線と関連付けられた位置に視認される部分を物体側変化表示部とし、
     前記基準表示部のうち、前記物体側区画線と関連付けられた位置に視認される部分を物体側基準表示部とし、
     少なくとも前記物体側変化表示部と前記物体側基準表示部とが異なる形状の仮想立体物に視認されるよう、前記生成装置は前記表示画像を生成する請求項13に記載の画像処理装置。
  15.  前記物体側変化表示部が前記物体側基準表示部に比べて、傾斜角度が急峻または上下方向高さが高い仮想立体物に視認されるよう、前記生成装置は前記表示画像を生成する請求項14に記載の画像処理装置。
  16.  前記車両の左右に位置する各々の前記区画線のうち、前記車両に対して前記外部物体が存在する側の反対側に位置する区画線を反物体側区画線とし、
     前記変化表示部のうち、前記反物体側区画線と関連付けられた位置に視認される部分を反物体側変化表示部とし、
     前記基準表示部のうち、前記反物体側区画線と関連付けられた位置に視認される部分を反物体側基準表示部とし、
     前記反物体側変化表示部と前記反物体側基準表示部とが異なる形状の仮想立体物に視認されるよう、前記生成装置は前記表示画像を生成する請求項14または15に記載の画像処理装置。
  17.  前記反物体側変化表示部が前記反物体側基準表示部に比べて、傾斜角度が緩やかまたは上下方向高さが低い仮想立体物に視認されるよう、前記生成装置は前記表示画像を生成する請求項16に記載の画像処理装置。
  18.  前記自動制御の機能は、カーブ走行する予定の走行区間で、カーブ走行半径を小さくさせる向きに前記走行位置を一時的に変化させるものであり、
     前記車両の左右に位置する各々の前記区画線のうち、前記車両に対して前記カーブ走行半径が大きい側に位置する区画線を外側区画線とし、
     前記変化表示部のうち、前記外側区画線と関連付けられた位置に視認される部分を外側変化表示部とし、
     前記基準表示部のうち、前記外側区画線と関連付けられた位置に視認される部分を外側基準表示部とし、
     少なくとも前記外側変化表示部と前記外側基準表示部とが異なる形状の仮想立体物に視認されるよう、前記生成装置は前記表示画像を生成する請求項13に記載の画像処理装置。
  19.  前記外側変化表示部が前記外側基準表示部に比べて、傾斜角度が急峻または上下方向高さが高い仮想立体物に視認されるよう、前記生成装置は前記表示画像を生成する請求項18に記載の画像処理装置。
  20.  前記車両の左右に位置する各々の前記区画線のうち、前記車両に対して前記カーブ走行半径が小さい側に位置する区画線を内側区画線とし、
     前記変化表示部のうち、前記内側区画線と関連付けられた位置に視認される部分を内側変化表示部とし、
     前記基準表示部のうち、前記内側区画線と関連付けられた位置に視認される部分を内側基準表示部とし、
     前記内側変化表示部と前記内側基準表示部とが異なる形状の仮想立体物に視認されるよう、前記生成装置は前記表示画像を生成する請求項18または19に記載の画像処理装置。
  21.  前記内側変化表示部が前記内側基準表示部に比べて、傾斜角度が緩やかまたは上下方向高さが低い仮想立体物に視認されるよう、前記生成装置は前記表示画像を生成する請求項20に記載の画像処理装置。
     
PCT/JP2015/005730 2014-12-01 2015-11-17 画像処理装置 WO2016088312A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US15/527,931 US10166998B2 (en) 2014-12-01 2015-11-17 Image processing device
US16/201,159 US10946871B2 (en) 2014-12-01 2018-11-27 Image processing device
US17/176,781 US11840251B2 (en) 2014-12-01 2021-02-16 Image processing device
US18/499,705 US20240059309A1 (en) 2014-12-01 2023-11-01 Image processing device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014-243429 2014-12-01
JP2014243429 2014-12-01
JP2015200537A JP6536340B2 (ja) 2014-12-01 2015-10-08 画像処理装置
JP2015-200537 2015-10-08

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/527,931 A-371-Of-International US10166998B2 (en) 2014-12-01 2015-11-17 Image processing device
US16/201,159 Continuation US10946871B2 (en) 2014-12-01 2018-11-27 Image processing device

Publications (1)

Publication Number Publication Date
WO2016088312A1 true WO2016088312A1 (ja) 2016-06-09

Family

ID=56091278

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/005730 WO2016088312A1 (ja) 2014-12-01 2015-11-17 画像処理装置

Country Status (2)

Country Link
US (1) US20240059309A1 (ja)
WO (1) WO2016088312A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107933560A (zh) * 2016-10-12 2018-04-20 本田技研工业株式会社 车辆控制装置
CN110015303A (zh) * 2018-01-09 2019-07-16 丰田自动车株式会社 车辆用显示装置
WO2020173774A1 (de) * 2019-02-26 2020-09-03 Volkswagen Aktiengesellschaft Verfahren zum betreiben eines fahrerinformationssystems in einem ego-fahrzeug und fahrerinformationssystem
US11762616B2 (en) 2019-02-26 2023-09-19 Volkswagen Aktiengesellschaft Method for operating a driver information system in an ego-vehicle and driver information system
US11807260B2 (en) 2019-02-26 2023-11-07 Volkswagen Aktiengesellschaft Method for operating a driver information system in an ego-vehicle and driver information system
US12037006B2 (en) 2019-02-26 2024-07-16 Volkswagen Aktiengesellschaft Method for operating a driver information system in an ego-vehicle and driver information system
US12037005B2 (en) 2019-02-26 2024-07-16 Volkswagen Aktiengesellschaft Method for operating a driver information system in an ego-vehicle and driver information system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006031618A (ja) * 2004-07-21 2006-02-02 Denso Corp 車両用表示装置およびその表示方法
JP2009029203A (ja) * 2007-07-25 2009-02-12 Honda Motor Co Ltd 運転支援装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006031618A (ja) * 2004-07-21 2006-02-02 Denso Corp 車両用表示装置およびその表示方法
JP2009029203A (ja) * 2007-07-25 2009-02-12 Honda Motor Co Ltd 運転支援装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107933560A (zh) * 2016-10-12 2018-04-20 本田技研工业株式会社 车辆控制装置
CN107933560B (zh) * 2016-10-12 2020-06-09 本田技研工业株式会社 车辆控制装置
CN110015303A (zh) * 2018-01-09 2019-07-16 丰田自动车株式会社 车辆用显示装置
WO2020173774A1 (de) * 2019-02-26 2020-09-03 Volkswagen Aktiengesellschaft Verfahren zum betreiben eines fahrerinformationssystems in einem ego-fahrzeug und fahrerinformationssystem
US11762616B2 (en) 2019-02-26 2023-09-19 Volkswagen Aktiengesellschaft Method for operating a driver information system in an ego-vehicle and driver information system
US11807260B2 (en) 2019-02-26 2023-11-07 Volkswagen Aktiengesellschaft Method for operating a driver information system in an ego-vehicle and driver information system
US12037006B2 (en) 2019-02-26 2024-07-16 Volkswagen Aktiengesellschaft Method for operating a driver information system in an ego-vehicle and driver information system
US12037005B2 (en) 2019-02-26 2024-07-16 Volkswagen Aktiengesellschaft Method for operating a driver information system in an ego-vehicle and driver information system
US12043275B2 (en) 2019-02-26 2024-07-23 Volkswagen Aktiengesellschaft Method for operating a driver information system in an ego-vehicle and driver information system

Also Published As

Publication number Publication date
US20240059309A1 (en) 2024-02-22

Similar Documents

Publication Publication Date Title
JP6958653B2 (ja) 画像処理装置および運転支援システム
WO2016088312A1 (ja) 画像処理装置
JP6699646B2 (ja) 車両用表示制御装置
US20190359228A1 (en) Vehicle display control device
US10254539B2 (en) On-vehicle device, method of controlling on-vehicle device, and computer-readable storage medium
JP6273976B2 (ja) 車両用表示制御装置
EP2896937B1 (en) Roadway projection system
US9827907B2 (en) Drive assist device
JP6176478B2 (ja) 車両情報投影システム
US20210104212A1 (en) Display control device, and nontransitory tangible computer-readable medium therefor
JP6350247B2 (ja) 画像処理装置
WO2015163205A1 (ja) 車両用表示システム
JP2006284458A (ja) 運転支援情報表示システム
US11803053B2 (en) Display control device and non-transitory tangible computer-readable medium therefor
JP2017166913A (ja) 表示制御装置及び表示制御方法
US20230294517A1 (en) Vehicle display control device, display device, and vehicle display control method
JP2020095044A (ja) 表示制御装置及び表示制御方法
JP2019079351A (ja) 画像処理ユニット及びそれを備えるヘッドアップディスプレイ装置
JP7259802B2 (ja) 表示制御装置、表示制御プログラム及び車載システム
JP2017138796A (ja) 車両用表示装置
JP2019172070A (ja) 情報処理装置、移動体、情報処理方法、及びプログラム
WO2021015090A1 (ja) 制御装置
WO2019220884A1 (ja) 運転支援装置
JP2019202641A (ja) 表示装置
JP2019045257A (ja) 運転支援装置及び運転支援方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15865899

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15527931

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15865899

Country of ref document: EP

Kind code of ref document: A1