WO2017061230A1 - 表示支援装置及び表示支援方法 - Google Patents

表示支援装置及び表示支援方法 Download PDF

Info

Publication number
WO2017061230A1
WO2017061230A1 PCT/JP2016/076566 JP2016076566W WO2017061230A1 WO 2017061230 A1 WO2017061230 A1 WO 2017061230A1 JP 2016076566 W JP2016076566 W JP 2016076566W WO 2017061230 A1 WO2017061230 A1 WO 2017061230A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual viewpoint
lane
vehicle
viewpoint position
steering angle
Prior art date
Application number
PCT/JP2016/076566
Other languages
English (en)
French (fr)
Inventor
草柳　佳紀
則政 岸
Original Assignee
日産自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日産自動車株式会社 filed Critical 日産自動車株式会社
Priority to US15/765,957 priority Critical patent/US10311618B2/en
Priority to CA3001287A priority patent/CA3001287C/en
Priority to MX2018004231A priority patent/MX367989B/es
Priority to RU2018116738A priority patent/RU2678436C1/ru
Priority to CN201680057775.XA priority patent/CN108141569B/zh
Priority to JP2017544426A priority patent/JP6521086B2/ja
Priority to EP16853384.2A priority patent/EP3361721B1/en
Priority to BR112018007131-5A priority patent/BR112018007131A2/ja
Priority to KR1020187010342A priority patent/KR101983957B1/ko
Publication of WO2017061230A1 publication Critical patent/WO2017061230A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Definitions

  • the present invention relates to a display support apparatus and a display support method.
  • Patent Document 1 displays a composite image on a display to notify the driver of the surrounding situation of the host vehicle (for example, a subsequent vehicle).
  • Patent Document 1 when the virtual viewpoint is set behind the host vehicle, the position of the virtual viewpoint is moved by the driver's steering. And if the position of a virtual viewpoint moves, the succeeding vehicle displayed on the synthetic
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide a display support that allows the driver to grasp the surrounding situation of the host vehicle by controlling the position of the virtual viewpoint based on steering.
  • An apparatus and a display support method are provided.
  • the display support apparatus detects the steering angle of the vehicle and changes the position of the virtual viewpoint based on the detected steering angle.
  • the driver can grasp the surrounding situation of the own vehicle.
  • FIG. 1 is a configuration diagram of a display support apparatus according to the first embodiment of the present invention.
  • FIG. 2A is a diagram for explaining a virtual viewpoint position when traveling at a reference speed.
  • FIG. 2B is a diagram illustrating the virtual viewpoint position when traveling at a speed higher than the reference speed.
  • FIG. 2C illustrates the virtual viewpoint position when traveling at a lower speed than the reference speed.
  • FIGS. 3A and 3B are diagrams for explaining the virtual viewpoint position changed by the display support apparatus according to the first embodiment of the present invention.
  • 4 (a) to 4 (g) are diagrams illustrating images displayed on the display by the display support apparatus according to the first embodiment of the present invention.
  • FIG. 5 is a flowchart for explaining an operation example of the display support apparatus according to the first embodiment of the present invention.
  • FIG. 6 is a diagram for explaining the virtual viewpoint position changed by the display support apparatus according to the second embodiment of the present invention.
  • FIG. 7 is another diagram illustrating the virtual viewpoint position changed by the display support apparatus according to the second embodiment of the present invention.
  • FIG. 8 is still another diagram illustrating the virtual viewpoint position changed by the display support apparatus according to the second embodiment of the present invention.
  • FIG. 9 is a flowchart for explaining an operation example of the display support apparatus according to the second embodiment of the present invention.
  • FIG. 10 is a configuration diagram of a display support apparatus according to the third embodiment of the present invention.
  • FIGS. 11A and 11B are diagrams for explaining the virtual viewpoint position changed by the display support apparatus according to the third embodiment of the present invention.
  • FIG. 12 is a diagram illustrating an image displayed on the display by the display support apparatus according to the third embodiment of the present invention.
  • FIG. 13 is a flowchart for explaining an operation example of the display support apparatus according to the third embodiment of the present invention.
  • FIGS. 14A to 14C are diagrams illustrating display examples displayed on the display by the display support apparatus according to another embodiment of the present invention.
  • a display support apparatus 1 according to the first embodiment will be described with reference to FIG.
  • the display support apparatus 1 includes a front camera 10, a right camera 11, a left camera 12, a rear camera 13, a navigation device 14, a steering angle sensor 15, a vehicle speed sensor 16, and a blinker.
  • a switch 17, a controller 30, and a display 50 are provided.
  • the front camera 10, the right camera 11, the left camera 12, and the rear camera 13 are cameras each having an image sensor such as a charge-coupled device (CCD) or a complementary metal oxide semiconductor (CMOS). It is installed at a position where the front, right side, left side, and rear of the vehicle can be photographed. These cameras output the captured image to the controller 30.
  • CCD charge-coupled device
  • CMOS complementary metal oxide semiconductor
  • the four cameras of the front camera 10, the right camera 11, the left camera 12, and the rear camera 13 are referred to as “front camera 10 etc.”.
  • the navigation device 14 includes a GPS receiver and a map database, and calculates a travel route to the destination set by the occupant using the vehicle position detected by the GPS receiver and the map database.
  • the navigation device 14 outputs the calculated travel route to the controller 30.
  • the map database may be stored on the server instead of the navigation device 14. When the map database is stored on the server, the navigation device 14 can acquire map information at any time by communication.
  • the steering angle sensor 15 detects the steering angle of the host vehicle, and outputs the detected steering angle to the controller 30.
  • the vehicle speed sensor 16 detects the speed of the host vehicle from the number of rotations of the wheels, and outputs the detected speed to the controller 30.
  • the blinker switch 17 is installed near the steering wheel and detects the turning direction when the host vehicle turns right or left or changes lanes. The blinker switch 17 outputs the detected turning direction to the controller 30.
  • the controller 30 is a device that generates a composite image to be displayed on the display 50 using a camera image, a rudder angle, and the like. is there. When the controller 30 grasps this functionally, the controller 30 classifies it into a lane detection unit 31, a virtual viewpoint position calculation unit 32, a viewpoint conversion unit 33, a storage unit 34, a viewpoint switching unit 35, and a synthesis unit 36. can do.
  • the lane detection unit 31 acquires information from an image captured by the front camera 10 or the like or the navigation device 14 and detects a lane on a road including a traveling lane in which the host vehicle is traveling (hereinafter simply referred to as the host lane). .
  • the lane detector 31 also detects lane boundaries and lane markings such as roadway outer lines that distinguish areas other than lanes and lanes.
  • the virtual viewpoint position calculation unit 32 uses the steering angle and vehicle speed acquired from the steering angle sensor 15 and the vehicle speed sensor 16 to calculate the position of the virtual viewpoint over which the host vehicle is looked down from above (hereinafter simply referred to as the virtual viewpoint position). . More specifically, the virtual viewpoint position calculation unit 32 calculates the virtual viewpoint position with respect to the traveling direction of the host vehicle using the vehicle speed, and calculates the virtual viewpoint position with respect to the vehicle width direction of the host vehicle using the steering angle. In the first embodiment, the virtual viewpoint position is described as being set on the central axis with respect to the vehicle width direction of the host vehicle, but the virtual viewpoint position is not limited to this.
  • the viewpoint conversion unit 33 converts an image taken by the front camera 10 or the like using the conversion map stored in the storage unit 34 into a bird's-eye view image looking down from the virtual viewpoint.
  • the storage unit 34 stores a conversion map used by the viewpoint conversion unit 33, an icon used by the synthesis unit 36, and the like.
  • the viewpoint switching unit 35 (changing means) determines whether or not the virtual viewpoint position calculated by the virtual viewpoint position calculating unit 32 protrudes from the own lane. Then, the viewpoint switching unit 35 changes the virtual viewpoint position based on the determination result. Detailed operation of the viewpoint switching unit 35 will be described later.
  • the synthesizing unit 36 (processing means) generates a synthesized image by superimposing an icon or the like stored in the storage unit 34 on the overhead view image converted by the viewpoint converting unit 33. Then, the synthesis unit 36 outputs the generated synthesized image to the display 50.
  • the display 50 is, for example, a liquid crystal display mounted on an instrument panel or a liquid crystal display used for the navigation device 14, and displays various information to the passenger.
  • the virtual viewpoint position calculation unit 32 sets the virtual viewpoint position C1 from the host vehicle to the horizontal rear direction by 50 m and from the ground to the vertical upward direction. Calculated as a 25m position. Further, the virtual viewpoint position calculation unit 32 sets the angle formed by the direction of the line of sight when looking down at the host vehicle from the virtual viewpoint position C1 (dotted line in FIG. 2A) and the horizontal plane at the height of the virtual viewpoint position C1. Set to degrees.
  • the virtual viewpoint position calculation unit 32 compares the virtual viewpoint position C2 with the virtual viewpoint position C1 and is located farther backward from the host vehicle and the ground. To calculate as a low position. Specifically, as shown in FIG. 2B, the virtual viewpoint position calculation unit 32 calculates the virtual viewpoint position C2 as a position 70 m in the horizontal rear direction from the host vehicle and 15 m in the vertical upward direction from the ground.
  • the virtual viewpoint position calculation unit 32 sets the angle formed by the direction of the line of sight when looking down at the host vehicle from the virtual viewpoint position C2 (dotted line in FIG. 2B) and the horizontal plane at the height of the virtual viewpoint position C2. Set to degrees.
  • the virtual viewpoint position C2 shown in FIG. 2 (b) the bird's-eye view image looking down from the virtual viewpoint position C2 is behind the host vehicle in a wider range compared to FIG. 2 (a). Can be captured.
  • the driver can quickly know the presence of the following vehicle. This makes it easier for the driver to join and change lanes.
  • the virtual viewpoint position calculation unit 32 compares the virtual viewpoint position C3 with the virtual viewpoint position C1 and is located at a position closer to the rear than the host vehicle. To calculate as a high position. Specifically, as shown in FIG. 2C, the virtual viewpoint position calculation unit 32 calculates the virtual viewpoint position C3 as a position 30 m in the horizontal rearward direction from the host vehicle and 30 m in the vertical upward direction from the ground.
  • the virtual viewpoint position calculation unit 32 sets the angle formed by the direction of the line of sight when looking down at the host vehicle from the virtual viewpoint position C3 (dotted line in FIG. 2C) and the horizontal plane at the height of the virtual viewpoint position C3. Set to degrees.
  • the virtual viewpoint position C3 shown in FIG. 2C the overhead view image looking down from the virtual viewpoint position C3 shows the degree of change around the host vehicle as compared with FIG. It becomes easy to catch.
  • the driver can easily confirm the change in the inter-vehicle distance with the succeeding vehicle. This makes it easier for the driver to merge and change lanes.
  • the virtual viewpoint position is described from the viewpoint of whether it is faster or slower than this reference speed with respect to one reference speed. Is not limited to one.
  • a plurality of reference speeds may be set (reference speed 1, reference speed 2, reference speed 1> reference speed 2, etc.), the vehicle speed may be subdivided and associated with the reference speed, and the virtual viewpoint position may be calculated.
  • the travel scene shown in FIG. 3A is a scene in which the host vehicle traveling in the left lane on the two-lane road changes the lane to the right lane.
  • P1 to P7 shown in FIG. 3A are the vehicle positions.
  • P1 'to P7' shown in FIG. 3A are virtual viewpoint positions corresponding to the own vehicle positions P1 to P7, respectively.
  • the distance from the own vehicle to the virtual viewpoint position in the traveling direction of the own vehicle (hereinafter simply referred to as the own vehicle virtual viewpoint distance) is set according to the speed of the own vehicle.
  • An arrow extending from each virtual viewpoint position indicates the direction of the line of sight of each virtual viewpoint.
  • the virtual viewpoint position exists on the central axis with respect to the vehicle width direction of the host vehicle. For this reason, when the driver turns the steering wheel clockwise to change the lane to the right lane, the host vehicle moves from the host vehicle position P1 to the host vehicle position P2. At this time, the virtual viewpoint position P1 'moves to the virtual viewpoint position P2'. Thus, the virtual viewpoint position moves according to the driver's steering, that is, the steering angle. More specifically, at the vehicle position P1, the steering wheel is in the neutral position, and the steering angle is 0 degree. When the driver turns the steering wheel clockwise from the vehicle position P1, the steering angle increases. The virtual viewpoint position calculation unit 32 calculates the virtual viewpoint position P2 'according to the increased steering angle. In this way, the state in which the virtual viewpoint position moves in conjunction with the rudder angle is expressed as the vehicle fixed below.
  • the virtual viewpoint position P3 ′′ protrudes from the own lane.
  • the virtual viewpoint position is the own lane.
  • the viewpoint switching unit 35 changes the virtual viewpoint position to the right lane to which the lane is changed when the virtual viewpoint position P3 ′′ protrudes from the own lane. . Specifically, as shown in FIG.
  • the viewpoint switching unit 35 changes the virtual viewpoint position from the virtual viewpoint position P3 ′′ to the virtual viewpoint position P3 ′. As a result, the viewpoint switching unit 35 looks down from the virtual viewpoint position P3 ′.
  • the bird's-eye view image can capture more information behind the host vehicle than the bird's-eye view image looking down from the virtual viewpoint position P3 ′′.
  • the virtual viewpoint position when the host vehicle is traveling on a straight road, the virtual viewpoint position can be uniquely determined from the steering angle and the host vehicle virtual viewpoint distance. For example, as the own vehicle virtual viewpoint distance increases with respect to a certain steering angle, the virtual viewpoint position moves away from the own lane. In addition, the virtual viewpoint position is further away from the own lane as the rudder angle is larger than a certain own virtual viewpoint distance. Thus, the steering angle and the own vehicle virtual viewpoint distance have a correlation with the distance from the own lane to the virtual viewpoint position.
  • the viewpoint switching unit 35 includes a map showing the relationship between the steering angle obtained in advance through experiments and simulations and the distance from the own lane to the virtual viewpoint position, and the own vehicle virtual viewpoint distance and the distance from the own lane to the virtual viewpoint position. It is possible to determine whether or not the virtual viewpoint position protrudes from the own lane with reference to the map indicating the relationship between The map can be stored in the storage unit 34.
  • the virtual viewpoint position moves like the virtual viewpoint positions P4 'and P5'. That is, after the viewpoint switching unit 35 changes the virtual viewpoint position to the virtual viewpoint position P3 ′, the virtual viewpoint position remains fixed in the vehicle width direction without being linked to the steering angle until the host vehicle crosses the lane. The vehicle moves on the right lane of the lane change destination while maintaining the virtual viewpoint distance. In this way, a state in which the virtual viewpoint position moves on the lane while being fixed in the vehicle width direction without being linked to the steering angle is expressed as ground fixation below. The reason why the virtual viewpoint position is fixed to the ground until the host vehicle crosses the lane is that the overhead image obtains a lot of information behind the host vehicle.
  • the viewpoint switching unit 35 switches the virtual viewpoint position from the ground fixed to the host vehicle fixed.
  • the virtual viewpoint position moves from the virtual viewpoint position P5 'to the virtual viewpoint position P6'.
  • the steering angle becomes approximately 0 degrees as shown by the own vehicle position P7
  • the virtual viewpoint position moves from the virtual viewpoint position P6 'to the virtual viewpoint position P7'.
  • FIG. 3A when the virtual viewpoint position protrudes from the own lane, the virtual viewpoint position is changed to the lane to which the lane is changed.
  • the present invention is not limited to this.
  • the virtual viewpoint position may be changed not on the lane to which the lane is changed but on the lane boundary.
  • FIGS. 4A to 4G show examples of overhead images displayed on the display 50 when the virtual viewpoint position is changed as shown in FIG.
  • FIGS. 4A to 4G correspond to the overhead images viewed from the virtual viewpoint positions P1 'to P7' shown in FIG. 3B, respectively.
  • the virtual viewpoint position is fixed to the own vehicle, that is, moves in conjunction with the steering angle until the virtual viewpoint position protrudes from the own lane.
  • FIGS. 4C to 4E when the virtual viewpoint position protrudes from the own lane, the virtual viewpoint position is fixed to the ground until the own vehicle crosses the lane, and the lane boundary line is at the center of the overhead image. Is displayed. Thereby, the back of the own vehicle can be displayed in a wide range. When there is a following vehicle in the right lane, the driver can quickly know the presence of the following vehicle.
  • the viewpoint switching unit 35 switches the virtual viewpoint position from the ground fixation to the own vehicle fixation.
  • the present invention is not limited to this.
  • the virtual viewpoint position may be changed to the right lane when the virtual viewpoint position protrudes from the center lane to the left lane.
  • the virtual viewpoint position may be changed not on the right lane but on the lane boundary line between the center lane and the right lane.
  • the viewpoint switching unit 35 can determine whether or not the host vehicle straddles the lane using the steering angle.
  • the rudder angle in the lane change changes by one cycle in a sine wave shape by turning the steering wheel back and forth. For example, when the lane is changed to the right lane, the rudder angle gradually increases as the steering wheel is increased and takes a certain positive peak. After taking a positive peak, the steering angle decreases toward the neutral position by turning the steering wheel back. The rudder angle decreases beyond the neutral position, increases after exceeding the negative peak, and finally reaches 0 degree.
  • the steering angle is positive when the steering wheel is rotated clockwise, and the steering angle is negative when the steering wheel is rotated counterclockwise.
  • the viewpoint switching unit 35 determines that the host vehicle straddles the lane at the timing when the rudder angle switches from decrease to increase. Can do.
  • the viewpoint switching unit 35 may determine that the host vehicle has straddled the lane at the timing when the rudder angle finally becomes 0 degrees. Further, the viewpoint switching unit 35 may determine whether or not the host vehicle straddles a lane using an image of the front camera 10 or the like.
  • step S101 the controller 30 determines whether or not the blinker switch 17 is ON. If the winker switch is on (Yes in step S101), the process proceeds to step S102. On the other hand, if the winker switch is not on (No in step S101), the controller 30 stands by.
  • step S102 the controller 30 acquires the vehicle speed from the vehicle speed sensor 16.
  • step S103 the virtual viewpoint position calculation unit 32 calculates a virtual viewpoint position with respect to the traveling direction of the host vehicle based on the acquired vehicle speed.
  • step S104 the controller 30 acquires the traveling environment from an image such as the front camera 10 or the navigation device 14. Specifically, the controller 30 determines whether the road on which the host vehicle is traveling is a straight line or a curve, and acquires the presence / absence of a subsequent vehicle or a preceding vehicle.
  • the road on which the host vehicle travels is determined to be a straight line. A case where it is determined that the road on which the vehicle travels is a curve will be described in the second embodiment.
  • step S105 the virtual viewpoint position calculation unit 32 acquires the steering angle from the steering angle sensor.
  • step S106 the virtual viewpoint position calculation unit 32 calculates a virtual viewpoint position with respect to the vehicle width direction based on the acquired steering angle.
  • step S107 the viewpoint switching unit 35 determines whether or not the virtual viewpoint position calculated in step S106 protrudes from the own lane.
  • the process proceeds to step S108.
  • the process returns to step S105.
  • step S108 the viewpoint switching unit 35 changes the virtual viewpoint position to the lane to be changed or to the lane boundary. That is, the viewpoint switching unit 35 switches the virtual viewpoint position from the own vehicle fixing to the ground fixing.
  • step S109 the viewpoint switching unit 35 determines whether or not the host vehicle straddles the lane.
  • the viewpoint switching unit 35 switches the virtual viewpoint position from the ground fixation to the own vehicle fixation.
  • the process waits.
  • the display support apparatus 1 determines whether or not the virtual viewpoint position is out of the own lane based on the detected steering angle. When the display support apparatus 1 determines that the virtual viewpoint position has protruded from the own lane, the display assistance apparatus 1 changes the virtual viewpoint position. By controlling the virtual viewpoint position based on the steering in this way, the driver can grasp the surrounding situation of the host vehicle.
  • the display support apparatus 1 determines that the virtual viewpoint position protrudes from the own lane, the display support apparatus 1 changes the virtual viewpoint position to the adjacent lane side adjacent to the own lane.
  • the virtual viewpoint position is set on the adjacent lane adjacent to the own lane or on the lane boundary line between the own lane and the adjacent lane. change.
  • the bird's-eye view image looked down from the virtual viewpoint can include the vehicle rear side in a wide range.
  • the virtual viewpoint position moves in conjunction with steering.
  • steering occurs like a lane change
  • the scenery around the host vehicle displayed on the display 50 shakes greatly, which may cause motion sickness.
  • the display support apparatus 1 determines that the virtual viewpoint position is out of the own lane, the virtual viewpoint position is on the lane that is the lane change destination from the own lane or the lane between the own lane and the lane that is the lane change destination. Change the virtual viewpoint on the boundary. In this way, the display support apparatus 1 can suppress the shaking of the scenery around the vehicle displayed in the display 50 by switching the virtual viewpoint position from the vehicle fixed to the ground fixed, and can reduce image sickness. .
  • the virtual viewpoint position changing process based on the steering angle may be started.
  • the fact that the driver turns on the blinker switch 17 on the right side expresses the intention to change the lane to the right lane. Therefore, by starting the virtual viewpoint position changing process based on the steering angle after the signal of the blinker switch 17 is input, it is possible to prevent a situation in which the virtual viewpoint position is changed due to a malfunction of the driver's steering wheel. it can.
  • the display support apparatus 1 may fix the virtual viewpoint position to the ground and fix it to the own lane. In this case, after the host vehicle changes the lane, the display support apparatus 1 moves the virtual viewpoint position from the lane before the lane change to the lane to which the lane is changed.
  • the timing for moving the virtual viewpoint position can be set as follows. When the virtual viewpoint position is fixed to the own lane, as shown in FIG. 3A, the virtual viewpoint position is fixed to the virtual viewpoint position P1 'when the host vehicle is traveling in the left lane. At this time, the rudder angle is neutral. When the host vehicle changes to the right lane, the rudder angle changes to a sine wave as described above, and finally the rudder angle returns to neutral as shown by the host vehicle position P7 in FIG.
  • the viewpoint switching unit 35 can detect a change in the steering angle, and can switch the virtual viewpoint position after a predetermined time has elapsed since the steering angle finally returned to neutral.
  • the reason for providing the predetermined time is that there is an individual difference in the timing at which the steering wheel is finally returned to neutral when changing the lane. In this way, after changing the lane, the host vehicle moves on the display 50 by switching the virtual viewpoint position after a predetermined time has elapsed since the rudder angle finally returned to neutral. This makes it easier for the driver to check the vehicle on the display 50.
  • the display support apparatus 1 according to the second embodiment has the same configuration as that of the first embodiment described above, and the driving scene is different.
  • the operation on a straight road has been described as a traveling scene.
  • the operation on a curve will be described.
  • the traveling scene shown in FIG. 6 is a scene in which the host vehicle traveling in the right lane (outer lane) changes to the left lane (inner lane) on a two-lane road curve.
  • P1 to P3 shown in FIG. 6 are own vehicle positions.
  • P1 ′ to P3 ′ shown in FIG. 6 are virtual viewpoint positions corresponding to the own vehicle positions P1 to P3, respectively.
  • R1 to R3 shown in FIG. 6 is a following vehicle.
  • the viewpoint switching unit 35 changes the virtual viewpoint position P1 ′ to the virtual viewpoint position P1 ′′. Specifically, the viewpoint switching unit 35 positions the virtual viewpoint position P1 ′′ inside the curve from the virtual viewpoint position P1 ′. Thus, the virtual viewpoint position P1 ′ is changed to the virtual viewpoint position P1 ′′ so that the distance between the virtual viewpoint position P1 ′ and the virtual viewpoint position P1 ′′ is one lane width.
  • the steering wheel is fixed at a predetermined rudder angle during driving on the curve.
  • a predetermined rudder angle for driving along a curve is referred to as a fixed rudder angle.
  • the amount of change in the steering angle with respect to the fixed steering angle is almost zero.
  • the steering wheel is further increased in the curve turning direction from the fixed steering angle. That is, the amount of change in the steering angle with respect to the fixed steering angle increases in the curve turning direction.
  • the viewpoint switching unit 35 acquires the amount of change in the steering angle, and compares the acquired amount of change with a preset threshold value. When the viewpoint switching unit 35 determines that the acquired change amount is larger than the threshold, the viewpoint switching unit 35 moves the virtual viewpoint position P1 ′ to the inside of the curve by one lane width, and changes the virtual viewpoint position P1 ′′.
  • the visual field range R1 ′ at the position P1 ′′ can include the following vehicle V2.
  • the virtual viewpoint position remains in the offset state from the virtual viewpoint position P1 "to the virtual viewpoint position P2. Move to ”.
  • the visual field range R2 'of the virtual viewpoint position P2 is likely to include the subsequent vehicle V2 as compared to the visual field range R2 of the virtual viewpoint position P2'.
  • the viewpoint switching unit 35 releases the offset.
  • the virtual viewpoint at the host vehicle position P3 becomes the virtual viewpoint position P3 '. Note that a method similar to the method described in the first embodiment can be applied to determine whether or not the host vehicle straddles a lane.
  • the virtual viewpoint position is moved by one lane width, but the moving distance is not limited to this and can be changed as appropriate.
  • the angle and threshold value of the fixed rudder angle can be obtained by experiments and simulations using data relating to the curve shape of the road.
  • the virtual viewpoint position is moved based on the change amount of the steering angle with respect to the fixed steering angle, but the present invention is not limited to this.
  • the viewing angle of the virtual viewpoint at the virtual viewpoint position P1 ' may be tilted to the inside of the curve based on the amount of change in the steering angle with respect to the fixed steering angle.
  • the inclination angle can be set such that the tangent line L1 extending from the virtual viewpoint position P1 'is in contact with the roadway outer line inside the curve.
  • the visual field range R1 'of the virtual viewpoint position P1' can include the following vehicle V2.
  • the magnitude of the tilt angle can be set such that the tangent line L2 extending from the virtual viewpoint position P2' touches the roadway outer line inside the curve.
  • the visual field range R2 'of the virtual viewpoint position P2' is likely to include the subsequent vehicle V2 as compared to the visual field range R2 of the virtual viewpoint position P2 '.
  • the travel scene shown in FIG. 8 is a scene in which the host vehicle traveling in the left lane (inner lane) changes to the right lane (outer lane) on a two-lane road having a curve.
  • the subsequent vehicle V2 since the subsequent vehicle V2 is included in the visual field range R1 of the virtual viewpoint position P1 ', it is not necessary to change the virtual viewpoint position.
  • the viewpoint switching unit 35 keeps the virtual viewpoint position fixed when the lane is changed from the inner lane to the outer lane in the curve.
  • the viewpoint switching unit 35 changes from the inner lane to the outer lane. It can be determined that the lane will be changed.
  • steps S201 to S203 and step S205 are the same as the operations in steps S101 to 103 and step S105 in FIG.
  • step S204 the controller 30 acquires the traveling environment from the image of the front camera 10 or the like or the navigation device 14. Specifically, the controller 30 determines whether the road on which the host vehicle is traveling is a straight line or a curve, and acquires the presence / absence of a subsequent vehicle or a preceding vehicle.
  • the road on which the host vehicle travels is a curve.
  • step S206 the viewpoint switching unit 35 determines whether the steering angle has changed in the curve turning direction with respect to the fixed steering angle. If the rudder angle has changed in the curve turning direction (Yes in step S206), the process proceeds to step S207. On the other hand, the steering angle has changed in the direction opposite to the curve turning direction (No in step S206), and the process proceeds to step S210.
  • step S207 the viewpoint switching unit 35 determines whether or not the change amount of the steering angle with respect to the fixed steering angle is larger than the threshold value. If the amount of change in the steering angle is greater than the threshold (Yes in step S207), the process proceeds to step S208. On the other hand, when the amount of change in the steering angle is equal to or less than the threshold (No in step S207), the process returns to step S205.
  • step S208 the viewpoint switching unit 35 moves the virtual viewpoint position by one lane width to the inside of the curve, or tilts the viewing angle of the virtual viewpoint to the inside of the curve.
  • step S209 the viewpoint switching unit 35 determines whether or not the host vehicle straddles the lane.
  • the viewpoint switching unit 35 cancels the offset of the virtual viewpoint position.
  • the process waits.
  • step S210 the viewpoint switching unit 35 keeps the virtual viewpoint position fixed to the own vehicle.
  • the display support device 1 moves the virtual viewpoint position by one lane width to the inside of the curve or changes the viewing angle of the virtual viewpoint when the vehicle changes lanes from the outer lane of the curve to the inner lane of the curve while the host vehicle is traveling on the curve. Tilt the inside of the curve.
  • the bird's-eye view image looked down from the virtual viewpoint can include the vehicle rear side in a wide range.
  • the driver can quickly know the presence of the following vehicle on the display 50, and it becomes easy to perform merging and lane change.
  • the display support apparatus 1 can suppress the shaking of the scenery around the own vehicle displayed in the display 50 by moving the virtual viewpoint position to the inside of the curve, and can reduce motion sickness.
  • the virtual viewpoint position changing process based on the steering angle may be started. As a result, it is possible to prevent a situation in which the virtual viewpoint position is changed due to a malfunction of the driver's steering wheel.
  • the virtual viewpoint position may be changed using the R value of the curve stored in the map database of the navigation device 14.
  • the curve becomes tighter.
  • the driver increases the steering wheel in the curve turning direction, but this increase corresponds to the curve and can be determined not to change the lane. Therefore, the viewpoint switching unit 35 can compare the R value of the curve and the steering angle, and change the virtual viewpoint position according to the comparison result. For example, if the R value of the curve and the rudder angle are the same, the driver can determine that the driver will proceed along the road, so the viewpoint switching unit 35 keeps the virtual viewpoint position fixed to the own vehicle.
  • the display assistance apparatus 1 can display the surrounding condition which a driver
  • the third embodiment differs from the first embodiment in that the display support apparatus 2 includes a laser range finder 18 as shown in FIG.
  • the description of the same components as those in the first embodiment will be omitted by citing the reference numerals, and the following description will focus on the differences.
  • the laser range finder 18 (periphery detection means) is a device that detects the surrounding environment of the host vehicle, and detects obstacles (pedestrians, bicycles, two-wheeled vehicles, other vehicles, etc.) existing around the host vehicle (for example, within 30 m). To detect. More specifically, the laser range finder 18 scans the laser light within a certain angle range, receives the reflected light at that time, and detects the time difference between the laser emission time and the light receiving time of the reflected light. Detects the distance and angle between the object and the obstacle. The laser range finder 18 outputs the detected information to the controller 30.
  • obstacles for example, within 30 m.
  • the narrow road S shown in FIG. 11A indicates a narrow path.
  • the narrow road S refers to a road that is narrower than a normal road width due to the presence of obstacles such as the utility pole M and the parked vehicle V3.
  • the narrow range S is detected by the laser range finder 18.
  • the narrow road S exists 20 meters ahead of the host vehicle and the host vehicle faces the center of the narrow path S at the host vehicle position P1, it looks down from the virtual viewpoint position P1 ′.
  • the center of the overhead view image and the center of the narrow road S overlap. Thereby, since the narrow road S is displayed at the center of the display 50, the driver can quickly notice the presence of the narrow road S on the display 50.
  • the viewpoint switching unit 35 changes the virtual viewpoint position from the virtual viewpoint position P1 ′ to the virtual viewpoint position P1 ′′ as shown in FIG. That is, the viewpoint switching unit 35 changes the virtual viewpoint position from the fixed vehicle position to the fixed ground position so that the virtual viewpoint position becomes a position facing the center of the narrow road S.
  • the virtual viewpoint position P1 The center of the bird's-eye view image looking down from “and the center of the narrow road S overlap.
  • step S304 the controller 30 determines from the output of the laser range finder 18 whether or not the narrow road S exists in front of the host vehicle. When the narrow path S exists (Yes in step S304), the process proceeds to step S305. On the other hand, when the narrow path S does not exist (No in step S304), the process waits.
  • step S305 the controller 30 detects the distance from the output of the laser range finder 18 to the narrow path S.
  • step S306 the controller 30 determines whether or not the distance to the narrow path S is equal to or less than a predetermined value.
  • the predetermined value is 20 m, for example. If the distance to the narrow path S is equal to or smaller than the predetermined value (Yes in step S306), the process proceeds to step S307. On the other hand, when the distance to the narrow path S is larger than the predetermined value (No in step S307), the process waits.
  • the reason for determining whether or not the distance to the narrow road S is equal to or less than a predetermined value is that if the narrow road S exists at a distance away from the predetermined value, the driver is still not notified of the presence of the narrow road S. Because it is early.
  • step S307 the controller 30 determines whether or not the virtual viewpoint position is directly facing the center of the narrow path S. If the virtual viewpoint position does not face the center of the narrow road S (No in step S307), the process proceeds to step S308. On the other hand, when the virtual viewpoint position is directly facing the center of the narrow path S (Yes in step S307), the process proceeds to step S309.
  • step S308 the viewpoint switching unit 35 changes the virtual viewpoint position so as to face the center of the narrow path S.
  • step S309 the viewpoint switching unit 35 keeps the virtual viewpoint position fixed to the own vehicle.
  • the display support apparatus 2 determines whether or not the virtual viewpoint position is directly facing the center of the narrow road S. Then, when the virtual viewpoint position does not face the center of the narrow path S, the display support apparatus 2 changes the virtual viewpoint position so that the virtual viewpoint position faces the center of the narrow path S. On the other hand, when the virtual viewpoint position is directly facing the center of the narrow road S, the display support apparatus 2 keeps the virtual viewpoint position fixed to the own vehicle. Thereby, since the narrow road S is displayed at the center of the display 50, the driver can quickly notice the presence of the narrow road S on the display 50.
  • the virtual viewpoint position is changed based on the steering angle.
  • the virtual viewpoint position may be changed using the steering angle.
  • the display support apparatus 2 can set a dead zone that ignores the change in the steering angle, and can determine whether or not the steering angle is within the dead zone. If the rudder angle is within the dead zone, it is considered that the driver finely adjusts the steering wheel and passes through the narrow road S. Therefore, the display support apparatus 2 causes the virtual viewpoint position to face the center of the narrow road S.
  • the display support device 2 changes the virtual viewpoint position from the own lane to the lane to which the lane is changed or from the own lane.
  • the virtual viewpoint position is changed on the lane boundary line between the lane and the lane to be changed.
  • the display assistance apparatus 2 can display the surrounding condition which a driver
  • the dead zone can be obtained through experiments and simulations.
  • the host vehicle V1 displayed on the display 50 is displayed with respect to the host vehicle V1.
  • the upper end line L3 indicating the upper end and the lower end line L4 indicating the lower end of the host vehicle V1 may be extended from the host lane and superimposed on the right lane to which the lane is changed. This makes it easier for the driver to grasp the position of the host vehicle on the display 50.
  • the combining unit 36 may superimpose the upper end line L3 and the lower end line L4 only on the right lane to which the lane is changed.
  • the host vehicle V1 may be displayed on the display 50 as a transparent icon that can be seen through.
  • the driver can easily distinguish the preceding vehicle V4 and the succeeding vehicle V2 from the host vehicle V1, and can easily grasp the surrounding situation of the host vehicle V1.
  • the host vehicle V1 may be processed to be displayed above the center of the display 50. This makes it easier for the driver to confirm the presence of the following vehicle.
  • the virtual viewpoint position is changed based on the steering angle, but the present invention is not limited to this.
  • the virtual viewpoint position may be changed based on the detected yaw rate using a yaw rate sensor.
  • the present invention can be applied to an autonomous driving vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

表示支援装置（１）は、舵角センサ（１５）を用いて車両の舵角を検出し、検出した舵角に基づいて自車後方の仮想視点の位置を変更する。そして、表示支援装置（１）は、フロントカメラ（１０）やリアカメラ（１３）などの複数のカメラを用いて撮影した画像を仮想視点から見下ろした俯瞰画像に変換し、変換した俯瞰画像に車両の位置を示す自車アイコンを重畳してディスプレイ（５０）に表示する。

Description

表示支援装置及び表示支援方法
　本発明は、表示支援装置及び表示支援方法に関する。
　従来より、複数の車載カメラで撮影した画像を用いて仮想視点から見た合成画像を生成する技術が知られている（特許文献１）。特許文献１は、ディスプレイに合成画像を表示して、運転者に自車両の周辺状況（例えば後続車両）を通知する。
特開２０１２－２５３４２８号公報
　しかしながら、特許文献１のように、自車後方に仮想視点を設定すると運転者の操舵によって仮想視点の位置が移動する。そして、仮想視点の位置が移動すると、合成画像に表示されていた後続車両が消えてしまい、運転者が自車両の周辺状況を把握しにくくなるおそれがある。
　本発明は、上記問題に鑑みて成されたものであり、その目的は、操舵に基づいて仮想視点の位置を制御することで、運転者が自車両の周辺状況を把握することができる表示支援装置及び表示支援方法を提供することである。
　本発明の一態様に係る表示支援装置は、車両の舵角を検出し、検出した舵角に基づいて仮想視点の位置を変更する。
　本発明によれば、操舵に基づいて仮想視点の位置を制御することで、運転者は自車両の周辺状況を把握することができる。
図１は、本発明の第１実施形態に係る表示支援装置の構成図である。 図２（ａ）は、基準速度で走行する場合の仮想視点位置を説明する図である。図２（ｂ）は、基準速度より高速で走行する場合の仮想視点位置を説明する図である。図２（ｃ）は、基準速度より低速で走行する場合の仮想視点位置を説明する図である。 図３（ａ）、（ｂ）は、本発明の第１実施形態に係る表示支援装置が変更する仮想視点位置について説明する図である。 図４（ａ）～（ｇ）は、本発明の第１実施形態に係る表示支援装置がディスプレイに表示する画像について説明する図である。 図５は、本発明の第１実施形態に係る表示支援装置の動作例を説明するフローチャートである。 図６は、本発明の第２実施形態に係る表示支援装置が変更する仮想視点位置について説明する図である。 図７は、本発明の第２実施形態に係る表示支援装置が変更する仮想視点位置について説明する他の図である。 図８は、本発明の第２実施形態に係る表示支援装置が変更する仮想視点位置について説明するさらに他の図である。 図９は、本発明の第２実施形態に係る表示支援装置の動作例を説明するフローチャートである。 図１０は、本発明の第３実施形態に係る表示支援装置の構成図である。 図１１（ａ）、（ｂ）は、本発明の第３実施形態に係る表示支援装置が変更する仮想視点位置について説明する図である。 図１２は、本発明の第３実施形態に係る表示支援装置がディスプレイに表示する画像について説明する図である。 図１３は、本発明の第３実施形態に係る表示支援装置の動作例を説明するフローチャートである。 図１４（ａ）～（ｃ）は、本発明の他の実施形態に係る表示支援装置がディスプレイに表示する表示例について説明する図である。
　以下、本発明の実施形態について、図面を参照して説明する。図面の記載において同一部分には同一符号を付して説明を省略する。また、第１実施形態では自車両が直線道路を走行する場合について説明し、第２実施形態では自車両がカーブを走行する場合について説明する。
［第１の実施形態］
　図１を参照して第１実施形態に係る表示支援装置１について説明する。図１に示すように、表示支援装置１は、フロントカメラ１０と、ライトカメラ１１と、レフトカメラ１２と、リアカメラ１３と、ナビゲーション装置１４と、舵角センサ１５と、車速センサ１６と、ウィンカースイッチ１７と、コントローラ３０と、ディスプレイ５０とを備える。
　フロントカメラ１０、ライトカメラ１１、レフトカメラ１２、及びリアカメラ１３（撮影手段）は、ＣＣＤ（ｃｈａｒｇｅ－ｃｏｕｐｌｅｄ　ｄｅｖｉｃｅ）やＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ　ｍｅｔａｌ　ｏｘｉｄｅ　ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を有したカメラであり、それぞれ自車両の前方、右側方、左側方、後方を撮影できる位置に設置される。これらのカメラは、撮影した画像をコントローラ３０に出力する。
　なお、以下の説明において、フロントカメラ１０、ライトカメラ１１、レフトカメラ１２、及びリアカメラ１３の４つカメラのことを「フロントカメラ１０など」と記載する。
　ナビゲーション装置１４は、ＧＰＳ受信機と地図データベースを備え、乗員によって設定された目的地までの走行経路をＧＰＳ受信機によって検出された自車位置と地図データベースとを用いて算出する。ナビゲーション装置１４は、算出した走行経路をコントローラ３０に出力する。なお、地図データベースは、ナビゲーション装置１４ではなくサーバ上に記憶されていてもよい。地図データベースがサーバ上に記憶されている場合、ナビゲーション装置１４は、通信により随時地図情報を取得することができる。
　舵角センサ１５は、自車両の舵角を検出し、検出した舵角をコントローラ３０に出力する。
　車速センサ１６は、車輪の回転数から自車両の速度を検出し、検出した速度をコントローラ３０に出力する。
　ウィンカースイッチ１７は、ハンドル付近に設置され、自車両が右左折する際や車線変更する際の旋回方向を検出する。ウィンカースイッチ１７は、検出した旋回方向をコントローラ３０に出力する。
　コントローラ３０は、カメラ画像や舵角などを用いてディスプレイ５０に表示する合成画像を生成する装置であり、例えばＣＰＵ、ＲＯＭ、ＲＡＭおよびそれらを接続するデータバスと入出力インターフェースから構成されるコンピュータである。コントローラ３０は、これを機能的に捉えた場合、車線検出部３１と、仮想視点位置演算部３２と、視点変換部３３と、記憶部３４と、視点切替部３５と、合成部３６とに分類することができる。
　車線検出部３１は、フロントカメラ１０などが撮影した画像やナビゲーション装置１４から情報を取得し、自車両が走行している走行車線（以下、単に自車線という）を含む道路上の車線を検出する。また、車線検出部３１は、車線境界線や、車線と車線以外の領域を区別する車道外側線などの区画線も検出する。
　仮想視点位置演算部３２は、舵角センサ１５及び車速センサ１６から取得した舵角や車速を用いて、自車両を後方上空から見下ろす仮想視点の位置（以下、単に仮想視点位置という）を演算する。より詳しくは、仮想視点位置演算部３２は、車速を用いて自車両の進行方向に対する仮想視点位置を演算し、舵角を用いて自車両の車幅方向に対する仮想視点位置を演算する。なお、第１実施形態では、仮想視点位置は自車両の車幅方向に対する中心軸上に設定されるものとして説明するが、仮想視点位置はこれに限られない。
　視点変換部３３は、記憶部３４に記憶されている変換マップを用いてフロントカメラ１０などが撮影した画像を、仮想視点から見下ろした俯瞰画像に変換する。
　記憶部３４には、視点変換部３３が使用する変換マップや合成部３６が使用するアイコンなどが記憶されている。
　視点切替部３５（変更手段）は、仮想視点位置演算部３２によって演算された仮想視点位置が、自車線からはみ出すか否かを判断する。そして、視点切替部３５は、判断結果に基づいて仮想視点位置を変更する。視点切替部３５の詳細な動作については後述する。
　合成部３６（加工手段）は、視点変換部３３によって変換された俯瞰画像に対し、記憶部３４に記憶されているアイコンなどを重畳して合成画像を生成する。そして、合成部３６は、生成した合成画像をディスプレイ５０に出力する。
　ディスプレイ５０（表示手段）は、例えばインストルメントパネルに搭載される液晶ディスプレイやナビゲーション装置１４に用いられる液晶ディスプレイであり、乗員に各種情報を表示する。
　次に、図２（ａ）、（ｂ）、（ｃ）を参照して、仮想視点位置演算部３２が車速に応じて演算する自車両の進行方向に対する仮想視位置点について説明する。
　まず最初に図２（ａ）を参照して、自車両が基準速度で走行する場合の仮想視点位置について説明する。基準速度とは特に限定される速度ではなく、第１実施形態では例えば５０ｋｍ／ｈとして説明する。図２（ａ）に示すように、自車両が基準速度で走行している場合、仮想視点位置演算部３２は、仮想視点位置Ｃ１を自車両から水平後方方向に５０ｍ、地面から垂直上方向に２５ｍの位置として演算する。また、仮想視点位置演算部３２は、仮想視点位置Ｃ１から自車両を見下ろしたときの視線の方向（図２（ａ）の点線）と仮想視点位置Ｃ１の高さの水平面とのなす角を３０度に設定する。
　次に、図２（ｂ）を参照して、自車両が基準速度より高速で走行する場合、例えば７０ｋｍ／ｈで走行する場合の仮想視点位置について説明する。図２（ｂ）に示すように、自車両が高速で走行する場合、仮想視点位置演算部３２は、仮想視点位置Ｃ２を仮想視点位置Ｃ１と比較して自車両から後方に遠い位置、かつ地面から低い位置として演算する。具体的には、図２（ｂ）に示すように、仮想視点位置演算部３２は、仮想視点位置Ｃ２を自車両から水平後方方向に７０ｍ、地面から垂直上方向に１５ｍの位置として演算する。また、仮想視点位置演算部３２は、仮想視点位置Ｃ２から自車両を見下ろしたときの視線の方向（図２（ｂ）の点線）と仮想視点位置Ｃ２の高さの水平面とのなす角を１５度に設定する。このように高速の場合は図２（ｂ）に示す仮想視点位置Ｃ２を演算することにより、仮想視点位置Ｃ２から見下ろす俯瞰画像は、図２（ａ）と比較してより広い範囲の自車後方の状況を捉えることができる。これにより、後続車両が自車後方に存在する場合、運転者は後続車両の存在をいち早く知ることができる。これにより、運転者は合流や車線変更を行いやすくなる。
　次に、図２（ｃ）を参照して、自車両が基準速度より低速で走行する場合、例えば３０ｋｍ／ｈで走行する場合の仮想視点位置について説明する。図２（ｃ）に示すように、自車両が低速で走行する場合、仮想視点位置演算部３２は、仮想視点位置Ｃ３を仮想視点位置Ｃ１と比較して自車両から後方に近い位置、かつ地面から高い位置として演算する。具体的には、図２（ｃ）に示すように、仮想視点位置演算部３２は、仮想視点位置Ｃ３を自車両から水平後方方向に３０ｍ、地面から垂直上方向に３０ｍの位置として演算する。また、仮想視点位置演算部３２は、仮想視点位置Ｃ３から自車両を見下ろしたときの視線の方向（図２（ｃ）の点線）と仮想視点位置Ｃ３の高さの水平面とのなす角を４５度に設定する。このように低速の場合は図２（ｃ）に示す仮想視点位置Ｃ３を演算することにより、仮想視点位置Ｃ３から見下ろす俯瞰画像は、図２（ａ）と比較して自車両周辺の変化具合を捉えやすくなる。これにより、後続車両が自車後方に存在する場合、運転者は後続車両との車間距離の変化を確認しやすくなる。これにより運転者は合流や車線変更を行いやすくなる。
　なお、図２（ａ）、（ｂ）、（ｃ）に示す例では、１つの基準速度に対して、この基準速度より速いかまたは遅いかという観点から仮想視点位置を説明したが、基準速度は１つに限られない。基準速度を複数設定し（基準速度１、基準速度２、基準速度１＞基準速度２など）、車速を細分化して基準速度と対応付け、仮想視点位置を演算するようにしてもよい。
　次に、図３（ａ）、（ｂ）を参照して、視点切替部３５が変更する仮想視点位置について説明する。
　図３（ａ）に示す走行シーンは、２車線道路において左車線を走行している自車両が、右車線に車線変更するシーンである。図３（ａ）に示すＰ１～Ｐ７は、自車位置である。また、図３（ａ）に示すＰ１’～ Ｐ７’はそれぞれ、自車位置Ｐ１～Ｐ７に対応する仮想視点位置である。なお、自車両の進行方向に対する自車両から仮想視点位置までの距離（以下、単に自車仮想視点距離という）は、自車両の速度に応じて設定されるものとする。また、各仮想視点位置から延伸する矢印は、各仮想視点の視線の方向を示す。
　第１実施形態において、仮想視点位置は、自車両の車幅方向に対する中心軸上に存在する。このため運転者が右車線に車線変更しようとハンドルを時計回り方向に切り増しすると、自車両が自車位置Ｐ１から自車位置Ｐ２に移動する。このとき、仮想視点位置Ｐ１’は仮想視点位置Ｐ２’に移動する。このように仮想視点位置は、運転者の操舵、すなわち舵角に応じて移動することになる。より詳しくは、自車位置Ｐ１において、ハンドルは中立位置にあり、舵角は０度である。運転者が自車位置Ｐ１からハンドルを時計回り方向に切り増しすると舵角が増加する。仮想視点位置演算部３２は、増加した舵角に応じて仮想視点位置Ｐ２’を演算する。このように舵角に連動して仮想視点位置が移動する状態のことを、以下では自車固定と表現する。
　続いて、ハンドルが切り増しされた状態で自車両が自車位置Ｐ２から自車位置Ｐ３に移動すると、仮想視点位置Ｐ３”が自車線からはみ出ることになる。このように仮想視点位置が自車線からはみ出ると、仮想視点から見下ろす俯瞰画像が捉える自車後方の情報が少なくなる。例えば、仮想視点位置が自車線からはみ出る前の俯瞰画像に表示されていた後続車両が、仮想視点位置が自車線からはみ出た後の俯瞰画像に表示されなくなる場合がある。そこで、視点切替部３５は、仮想視点位置Ｐ３”が自車線からはみ出た場合、仮想視点位置を車線変更先の右車線上に変更する。具体的には、視点切替部３５は、図３（ａ）に示すように、仮想視点位置を仮想視点位置Ｐ３”から仮想視点位置Ｐ３’に変更する。これにより、仮想視点位置Ｐ３’から見下ろす俯瞰画像は、仮想視点位置Ｐ３”から見下ろす俯瞰画像より多くの自車後方の情報を捉えることができる。
　ここで、仮想視点位置が自車線からはみ出たか否かの判断方法について説明する。この判断は、視点切替部３５が行う。
　図３（ａ）に示すように自車両が直線道路を走行している場合、仮想視点位置は舵角と自車仮想視点距離から一義的に求めることができる。例えば、ある舵角に対して自車仮想視点距離が長いほど、仮想視点位置は自車線から離れる。また、ある自車仮想視点距離に対して舵角が大きいほど仮想視点位置は自車線から離れる。このように舵角と自車仮想視点距離はそれぞれ、自車線から仮想視点位置までの距離との間に相関関係を有する。したがって、視点切替部３５は、予め実験やシミュレーションを通じて求めた舵角と自車線から仮想視点位置までの距離との関係を示すマップと、自車仮想視点距離と自車線から仮想視点位置までの距離との関係を示すマップとを参照して、仮想視点位置が自車線からはみ出たか否かを判断することができる。なお、このマップは記憶部３４に記憶させておくことができる。
　再度図３（ａ）に戻って、自車両が自車位置Ｐ４、Ｐ５に進むと、仮想視点位置は、仮想視点位置Ｐ４’、Ｐ５’のように移動する。すなわち、視点切替部３５が仮想視点位置を仮想視点位置Ｐ３’に変更した後、自車両が車線を跨ぐまでは、仮想視点位置は舵角に連動せず車幅方向に対して固定されたまま、自車仮想視点距離を維持して車線変更先の右車線上を移動する。このように仮想視点位置が舵角に連動せず車幅方向に対して固定されたまま、車線上を移動する状態のことを、以下では地面固定と表現する。自車両が車線を跨ぐまで仮想視点位置を地面固定とする理由は、俯瞰画像が自車後方の情報を多く得るためである。
　続いて、自車位置Ｐ６に示すように自車両が車線を跨ぐと、視点切替部３５は、仮想視点位置を地面固定から自車固定に切替える。これにより仮想視点位置は、仮想視点位置Ｐ５’から仮想視点位置Ｐ６’に移動する。そして、自車位置Ｐ７に示すように舵角がほぼ０度になると、仮想視点位置は、仮想視点位置Ｐ６’から仮想視点位置Ｐ７’に移動する。
　図３（ａ）に示す例では、仮想視点位置が自車線からはみ出た場合に、仮想視点位置を車線変更先の車線上に変更したが、これに限られない。例えば、図３（ｂ）に示すように、車線変更先の車線上ではなく、車線境界線上に仮想視点位置を変更してもよい。図３（ｂ）に示すように仮想視点位置を変更した場合のディスプレイ５０に表示される俯瞰画像の一例を図４（ａ）～（ｇ）に示す。
　図４（ａ）～（ｇ）に示す俯瞰画像はそれぞれ、図３（ｂ）に示す仮想視点位置Ｐ１’～Ｐ７’から見下ろした俯瞰画像に対応する。図４（ａ）、（ｂ）に示すように、仮想視点位置が自車線がはみ出すまでは、仮想視点位置は自車固定で、すなわち舵角に連動して移動する。図４（ｃ）～（ｅ）に示すように、仮想視点位置が自車線からはみ出た場合、自車両が車線を跨ぐまでは仮想視点位置は地面固定となり、俯瞰画像の中心に車線境界線が表示される。これにより、自車後方を広い範囲で表示することができる。右車線に後続車両が存在している場合、運転者は後続車両の存在をいち早く知ることができる。
　続いて、図４（ｆ）、（ｇ）に示すように、自車両が車線を跨ぐと、視点切替部３５は、仮想視点位置を地面固定から自車固定に切替える。
　なお、図３（ａ）、（ｂ）に示す例では、２車線道路を取り上げて説明したが、これに限られない。例えば、３車線道路の中央車線を走行している自車両が右車線に移動する場合、仮想視点位置が中央車線から左車線にはみ出たら仮想視点位置を右車線上に変更すればよい。また、右車線上ではなく、中央車線と右車線との車線境界線上に仮想視点位置を変更してもよい。
　なお、自車両が車線を跨いだか否かについて、視点切替部３５は舵角を用いて判断することができる。一般に車線変更における舵角は、ハンドルの切り増しや切り戻しによって正弦波状に一周期分だけ変化する。例えば、右車線に車線変更する場合、舵角はハンドルの切り増しにより徐々に増加し、ある正のピークをとる。正のピークをとった後はハンドルの切り戻しにより、舵角は中立位置に向かって減少する。舵角は中立位置を超えて減少し、さらに、負のピークを越えた後増加し、最終的に０度となる。なお、この例において、舵角が正とは、ハンドルを時計回り方向に回転させた場合であり、舵角が負とは、ハンドルを反時計回り方向に回転にさせた場合である。舵角が減少から増加に切り替わるタイミングで車線変更が概ね完了したと推測できるため、視点切替部３５は、舵角が減少から増加に切替わったタイミングで自車両が車線を跨いだと判断することができる。また、視点切替部３５は、舵角が最終的に０度になったタイミングで自車両が車線を跨いだと判断してもよい。また、視点切替部３５はフロントカメラ１０などの画像を用いて自車両が車線を跨いだか否かを判断してもよい。
　次に、図５に示すフローチャートを参照して、第１実施形態に係る表示支援装置１の一動作例について説明する。このフローチャートは、イグニッションスイッチがオンされたときに開始する。
　ステップＳ１０１において、コントローラ３０は、ウィンカースイッチ１７がオンか否かを判断する。ウィンカースイッチがオンの場合（ステップＳ１０１でＹｅｓ）、処理がステップＳ１０２に進む。一方、ウィンカースイッチがオンでない場合（ステップＳ１０１でＮｏ）、コントローラ３０は待機する。
　ステップＳ１０２において、コントローラ３０は、車速センサ１６から車速を取得する。
　ステップＳ１０３において、仮想視点位置演算部３２は、取得した車速に基づいて自車両の進行方向に対する仮想視点位置を演算する。
　ステップＳ１０４において、コントローラ３０は、フロントカメラ１０などの画像やナビゲーション装置１４から走行環境を取得する。具体的に、コントローラ３０は、自車両が走行する道路が直線かカーブかを判断したり、また後続車両や先行車両の有無などを取得する。ここで、第１実施形態では、自車両が走行する道路は直線であると判断されたものとして説明する。自車両が走行する道路はカーブであると判断された場合については、第２実施形態で説明する。
　ステップＳ１０５において、仮想視点位置演算部３２は、舵角センサから舵角を取得する。
　ステップＳ１０６において、仮想視点位置演算部３２は、取得した舵角に基づいて車幅方向に対する仮想視点位置を演算する。
　ステップＳ１０７において、視点切替部３５は、ステップＳ１０６において演算された仮想視点位置が自車線からはみ出すか否かを判断する。仮想視点位置が自車線からはみ出す場合（ステップＳ１０７でＹｅｓ）、処理がステップＳ１０８に進む。一方、仮想視点位置が自車線からはみ出さない場合（ステップＳ１０７でＮｏ）、処理がステップＳ１０５に戻る。
　ステップＳ１０８において、視点切替部３５は、仮想視点位置を車線変更先の車線上もしくは車線境界線上に変更する。すなわち、視点切替部３５は、仮想視点位置を自車固定から地面固定に切替える。
　ステップＳ１０９において、視点切替部３５は、自車両が車線を跨いだか否かを判断する。自車両が車線を跨いだ場合（ステップＳ１０９でＹｅｓ）、視点切替部３５は、仮想視点位置を地面固定から自車固定に切替える。一方、自車両が車線を跨いでいない場合（ステップＳ１０９でＮｏ）、処理は待機する。
　以上説明したように、第１実施形態に係る表示支援装置１によれば、以下の作用効果が得られる。
　表示支援装置１は、検出した舵角に基づいて、仮想視点位置が自車線からはみ出たか否かを判断する。表示支援装置１は、仮想視点位置が自車線からはみ出たと判断した場合、仮想視点位置を変更する。このように操舵に基づいて仮想視点位置を制御することで、運転者は自車両の周辺状況を把握することができる。
　また、表示支援装置１は、仮想視点位置が自車線からはみ出たと判断した場合、仮想視点位置を自車線に隣接する隣接車線側に変更する。もしくは、表示支援装置１は、仮想視点位置が自車線からはみ出たと判断した場合、仮想視点位置を自車線に隣接する隣接車線上、または自車線と隣接車線との車線境界線上に仮想視点位置を変更する。これにより、仮想視点から見下ろす俯瞰画像は、自車後方を広い範囲で含むことができる。これにより、車線変更先の車線に後続車両が存在している場合、運転者は後続車両の存在をディスプレイ５０上でいち早く知ることができ、合流や車線変更を行いやすくなる。
　なお、仮想視点位置が自車固定の場合、仮想視点位置は操舵に連動して移動する。車線変更のように操舵が発生すると、ディスプレイ５０に表示される自車周辺の風景が大きく揺れ、これにより映像酔いが発生する可能性がある。第１実施形態に係る表示支援装置１は、仮想視点位置が自車線からはみ出たと判断した場合、仮想視点位置を自車線から車線変更先の車線上または自車線と車線変更先の車線との車線境界線上に仮想視点を変更する。このように、表示支援装置１は仮想視点位置を自車固定から地面固定に切替えることにより、ディスプレイ５０内に表示される自車周辺の風景の揺れを抑制でき、映像酔いを低減することができる。
　なお、第１実施形態において、ウィンカースイッチ１７の信号が入力された場合に、舵角に基づく仮想視点位置の変更処理を開始するようにしてもよい。運転者がウィンカースイッチ１７を右側にオンするということは、右車線に車線変更するとの意思の表れである。そこで、ウィンカースイッチ１７の信号が入力された後に、舵角に基づく仮想視点位置の変更処理を開始することにより、運転者のハンドルの誤動作によって仮想視点位置が変更されるといった事態を防止することができる。
　また、表示支援装置１は、仮想視点位置を地面固定とし、自車線に固定してもよい。この場合、表示支援装置１は、自車両が車線変更した後に、仮想視点位置を車線変更前の車線上から車線変更先の車線上に移動させることになる。仮想視点位置を移動させるタイミングは、次のように設定することができる。仮想視点位置を自車線に固定する場合、図３（ａ）に示すように、自車両が左車線を走行しているとき、仮想視点位置は仮想視点位置Ｐ１’に固定される。このとき、舵角は中立である。自車両が右車線に車線変更すると、舵角は上述したように正弦波状に変化し、最終的には図３（ａ）の自車位置Ｐ７に示すように、舵角は中立に戻る。そこで、視点切替部３５は、舵角の変化を検出し、舵角が最終的に中立に戻ってから所定時間経過後に、仮想視点位置を切替えることができる。所定時間を設ける理由は、車線変更の際にハンドルを最終的に中立に戻すタイミングに個人差があるためである。このように車線変更後、舵角が最終的に中立に戻ってから所定時間経過後に、仮想視点位置を切替えることにより、ディスプレイ５０上で自車両が移動する。これにより運転者はディスプレイ５０上で自車両を確認しやすくなる。
［第２実施形態］
　次に、図６～図９を参照して本発明の第２実施形態について説明する。第２実施形態に係る表示支援装置１は、前述した第１実施形態と構成は同一であり、走行シーンが相違する。第１実施形態では走行シーンとして直線道路での動作を説明したが、第２実施形態ではカーブでの動作を説明する。
　まず図６を参照して、視点切替部３５が変更する仮想視点位置について説明する。
　図６に示す走行シーンは、２車線道路のカーブにおいて右車線（外側車線）を走行している自車両が、左車線（内側車線）に車線変更するシーンである。図６に示すＰ１～Ｐ３は、自車位置である。また、図６に示すＰ１’～ Ｐ３’はそれぞれ、自車位置Ｐ１～Ｐ３に対応する仮想視点位置である。また、図６に示すＲ１～Ｒ３は、仮想視点から見下ろす俯瞰画像の視野範囲を示す。また、図６に示すＶ２は、後続車両である。
　自車両が自車位置Ｐ１で左車線に車線変更する場合、図６に示すように、仮想視点位置Ｐ１’の視野範囲Ｒ１に後続車両Ｖ２が含まれない場合がある。そこで、視点切替部３５は、仮想視点位置Ｐ１’を仮想視点位置Ｐ１”に変更する。具体的には、視点切替部３５は、仮想視点位置Ｐ１”が仮想視点位置Ｐ１’よりカーブ内側に位置するように、かつ仮想視点位置Ｐ１’と仮想視点位置Ｐ１”との間の距離が１車線幅の長さとなるように、仮想視点位置Ｐ１’を仮想視点位置Ｐ１”に変更する。
　一般にカーブの曲率が一定であれば、カーブでの運転において、ハンドルは所定の舵角で固定される。以下、カーブに沿って運転するための所定の舵角を、固定舵角という。カーブを走行中に車線変更しない場合、固定舵角に対する舵角の変化量はほぼゼロである。一方、図６に示すように、自車両が自車位置Ｐ１から左車線に車線変更する場合、固定舵角からさらにカーブ旋回方向にハンドルを切り増しすることになる。すなわち、固定舵角に対する舵角の変化量がカーブ旋回方向に増加することになる。視点切替部３５は、舵角の変化量を取得し、取得した変化量と予め設定された閾値とを比較する。視点切替部３５は、取得した変化量が閾値より大きいと判断した場合、仮想視点位置Ｐ１’を１車線幅分だけカーブ内側に移動させ、仮想視点位置Ｐ１”に変更する。これにより、仮想視点位置Ｐ１”の視野範囲Ｒ１’は、後続車両Ｖ２を含むことができる。
　自車両が自車位置Ｐ１から自車位置Ｐ２に進んでも、舵角の変化量は閾値より大きい状態のため、仮想視点位置は、オフセットされた状態のまま仮想視点位置Ｐ１”から仮想視点位置Ｐ２”に移動する。これにより、仮想視点位置Ｐ２”の視野範囲Ｒ２’は、仮想視点位置Ｐ２’の視野範囲Ｒ２と比較して、後続車両Ｖ２を含みやすくなる。
　自車両が自車位置Ｐ２から自車位置Ｐ３に進み、自車両が車線を跨いだ場合、視点切替部３５は、オフセットを解除する。これにより、自車位置Ｐ３における仮想視点は、仮想視点位置Ｐ３’となる。なお、自車両が車線を跨いだか否かの判断は、第１実施形態で説明した方法と同様の方法を適用することができる。
　なお、図６に示す例では、仮想視点位置を１車線幅分だけ移動させたが、移動する距離は、これに限られず適宜変更することができる。また、固定舵角の角度や閾値については、道路のカーブ形状に関するデータなどを用いて実験やシミュレーションにより求めることができる。
　また、図６に示す例では、固定舵角に対する舵角の変化量に基づいて仮想視点位置を移動させたが、これに限られない。例えば、図７に示すように、固定舵角に対する舵角の変化量に基づいて仮想視点位置Ｐ１’における仮想視点の視野角をカーブ内側に傾けてもよい。傾ける角度の大きさは、仮想視点位置Ｐ１’から延伸する接線Ｌ１が、カーブ内側の車道外側線に接するような大きさに設定することができる。これにより、仮想視点位置Ｐ１’の視野範囲Ｒ１’は、後続車両Ｖ２を含むことができる。同様に、仮想視点位置Ｐ２’においても、傾ける角度の大きさは、仮想視点位置Ｐ２’から延伸する接線Ｌ２がカーブ内側の車道外側線に接するような大きさに設定することができる。これにより、仮想視点位置Ｐ２’の視野範囲Ｒ２’は、仮想視点位置Ｐ２’の視野範囲Ｒ２と比較して、後続車両Ｖ２を含みやすくなる。
　次に、図８を参照して、第２実施形態の他の動作例を説明する。
　図８に示す走行シーンは、カーブを有する２車線道路において左車線（内側車線）を走行している自車両が、右車線（外側車線）に車線変更するシーンである。この場合、仮想視点位置Ｐ１’の視野範囲Ｒ１には後続車両Ｖ２が含まれるため、仮想視点位置を変更しなくてもよい。同様に、仮想視点位置Ｐ２’の視野範囲Ｒ２及び仮想視点位置Ｐ３’の視野範囲Ｒ３にも後続車両Ｖ２が含まれるため、仮想視点位置を変更しなくてもよい。そのため、視点切替部３５は、カーブにおいて内側車線から外側車線に車線変更する場合には、仮想視点位置を自車固定のままとする。なお、カーブにおいて内側車線から外側車線に車線変更するか否かの判断については、カーブ旋回方向と逆方向に舵角の変化量が増えた場合、視点切替部３５は、内側車線から外側車線に車線変更すると判断することができる。
　次に、図９に示すフローチャートを参照して、第２実施形態に係る表示支援装置１の一動作例について説明する。ただし、ステップＳ２０１～ステップＳ２０３、ステップＳ２０５の動作はそれぞれ、図５のステップＳ１０１～１０３、ステップＳ１０５の動作と同じであるため詳細な説明を省略する。
　ステップＳ２０４において、コントローラ３０は、フロントカメラ１０などの画像やナビゲーション装置１４から走行環境を取得する。具体的に、コントローラ３０は、自車両が走行する道路が直線かカーブかを判断したり、また後続車両や先行車両の有無などを取得する。ここで、第２実施形態では、自車両が走行する道路はカーブであると判断されたものとして説明する。
　ステップＳ２０６において、視点切替部３５は、固定舵角に対し舵角がカーブ旋回方向に変化したか否かを判断する。舵角がカーブ旋回方向に変化した場合（ステップＳ２０６でＹｅｓ）、処理がステップＳ２０７に進む。一方、舵角がカーブ旋回方向とは逆方向に変化した（ステップＳ２０６でＮｏ）、処理がステップＳ２１０に進む。
　ステップＳ２０７において、視点切替部３５は、固定舵角に対する舵角の変化量が閾値より大きいか否かを判断する。舵角の変化量が閾値より大きい場合（ステップＳ２０７でＹｅｓ）、処理がステップＳ２０８に進む。一方、舵角の変化量が閾値以下の場合（ステップＳ２０７でＮｏ）、処理がステップＳ２０５に戻る。
　ステップＳ２０８において、視点切替部３５は、仮想視点位置をカーブ内側に１車線幅分だけ移動させる、または仮想視点の視野角をカーブ内側に傾ける。
　ステップＳ２０９において、視点切替部３５は、自車両が車線を跨いだか否かを判断する。自車両が車線を跨いだ場合（ステップＳ２０９でＹｅｓ）、視点切替部３５は、仮想視点位置のオフセットを解除する。一方、自車両が車線を跨いでいない場合（ステップＳ２０９でＮｏ）、処理は待機する。
　ステップＳ２１０において、視点切替部３５は、仮想視点位置を自車固定のままとする。
　以上説明したように、第２実施形態に係る表示支援装置１によれば、以下の作用効果が得られる。
　表示支援装置１は、自車両がカーブを走行中にカーブの外側車線からカーブの内側車線に車線変更する場合、仮想視点位置をカーブ内側に１車線幅分だけ移動させる、または仮想視点の視野角をカーブ内側に傾ける。これにより、仮想視点から見下ろす俯瞰画像は、自車後方を広い範囲で含むことができる。これにより、車線変更先の車線に後続車両が存在している場合、運転者は後続車両の存在をディスプレイ５０上でいち早く知ることができ、合流や車線変更を行いやすくなる。
　また、仮想視点位置をカーブ内側に移動させることにより、仮想視点位置は道路の中心に近づくことになる。これにより、仮想視点位置が自車両の中心軸上に存在する場合と比較して、ディスプレイ５０内に表示される自車周辺の風景の揺れは小さくなる。すなわち、表示支援装置１は、仮想視点位置をカーブ内側に移動させることにより、ディスプレイ５０内に表示される自車周辺の風景の揺れを抑制でき、映像酔いを低減することができる。
　なお、第２実施形態においても第１実施形態と同様にウィンカースイッチ１７の信号が入力された場合に、舵角に基づく仮想視点位置の変更処理を開始するようにしてもよい。これにより、運転者のハンドルの誤動作によって仮想視点位置が変更されるといった事態を防止することができる。
　また、ナビゲーション装置１４の地図データベースに格納されているカーブのＲ値を用いて仮想視点位置を変更してもよい。例えば、カーブが進むにつれてカーブのＲ値が小さい場合、カーブはきつくなる。このような場合、運転者はカーブ旋回方向にハンドルを切り増しすることになるが、この切り増しはカーブに対応するものであり、車線変更をする意図ではないと判断できる。そこで、視点切替部３５は、カーブのＲ値と舵角とを比較し、比較結果に応じて仮想視点位置を変更することができる。例えば、カーブのＲ値と舵角が同じ場合、運転者は道なりに進むと判断できるため、視点切替部３５は仮想視点位置を自車固定のままとする。一方、舵角がカーブのＲ値より小さい場合、運転者はカーブの外側車線からカーブの内側車線に車線変更すると判断できるため、視点切替部３５は仮想視点位置をカーブ内側に１車線幅分だけ移動させる、または仮想視点の視野角をカーブ内側に傾ける。また、舵角がカーブのＲ値より大きい場合、運転者はカーブの内側車線からカーブの外側車線に車線変更すると判断できるため、視点切替部３５は仮想視点位置を自車固定のままとする。これにより、表示支援装置１は、運転者の操舵に応じて、運転者が注力すべき周辺状況をディスプレイ５０に表示することができる。
［第３実施形態］
　次に、図１０～図１３を参照して、本発明の第３実施形態について説明する。第３実施形態が、第１実施形態と異なる点は、図１０に示すように表示支援装置２がレーザレンジファインダー１８を備えることである。第１実施形態と重複する構成については符号を引用してその説明は省略することとし、以下、相違点を中心に説明する。
　レーザレンジファインダー１８（周辺検出手段）は、自車両の周辺環境を検出する装置であり、自車両の周辺（例えば３０ｍ以内）に存在する障害物（歩行者、自転車、二輪車、他車両など）を検出する。より詳しくは、レーザレンジファインダー１８は、レーザ光をある角度範囲内で走査し、その時の反射光を受光して、レーザ発射時点と反射光の受光時点との時間差を検出することにより、自車両と障害物との距離や角度などを検出する。レーザレンジファインダー１８は、検出した情報をコントローラ３０に出力する。
　次に、図１１（ａ）、（ｂ）を参照して、視点切替部３５が変更する仮想視点位置について説明する。
　図１１（ａ）に示すＳは狭路を示す。狭路Ｓとは、電柱Ｍや駐車車両Ｖ３などの障害物の存在によって通常の道幅より狭くなっている道路のことをいう。狭路Ｓについては、レーザレンジファインダー１８が検出する。
　図１１（ａ）に示すように、自車両の前方２０ｍ先に狭路Ｓが存在し、かつ自車両が自車位置Ｐ１で狭路Ｓの中心と正対する場合、仮想視点位置Ｐ１’から見下ろす俯瞰画像の中心と狭路Ｓの中心が重なる。これにより、ディスプレイ５０の中心に狭路Ｓが表示されるため、運転者はいち早くディスプレイ５０上で狭路Ｓの存在に気づくことができる。
　一方、図１１（ｂ）に示すように、自車両の前方２０ｍ先に狭路Ｓが存在し、かつ自車両が自車位置Ｐ１で狭路Ｓの中心と正対していない場合、仮想視点位置Ｐ１’から見下ろす俯瞰画像の中心と狭路Ｓの中心がずれることになる。この場合、ディスプレイ５０の中心に狭路Ｓが表示されないため、運転者が狭路Ｓの存在を見落とす場合が考えられる。
　そこで、自車両が狭路Ｓの中心に正対していない場合、視点切替部３５は、図１１（ｂ）に示すように仮想視点位置を仮想視点位置Ｐ１’から仮想視点位置Ｐ１”に変更する。すなわち、視点切替部３５は、仮想視点位置を自車固定から地面固定に変更し、仮想視点位置が狭路Ｓの中心に正対する位置になるように変更する。これにより、仮想視点位置Ｐ１”から見下ろす俯瞰画像の中心と狭路Ｓの中心が重なることになる。これにより、図１２に示すように、自車両Ｖ１が狭路Ｓの中心に正対していない場合でもディスプレイ５０の中心に狭路Ｓが表示されるため、運転者はいち早くディスプレイ５０上で狭路Ｓの存在に気づくことができる。
　次に、図１３に示すフローチャートを参照して、第３実施形態に係る表示支援装置２の一動作例について説明する。ただし、ステップＳ３０１～ステップＳ３０３の動作はそれぞれ、図５のステップＳ１０２～１０４の動作と同じであるため詳細な説明を省略する。
　ステップＳ３０４において、コントローラ３０は、自車前方に狭路Ｓが存在するか否かをレーザレンジファインダー１８の出力から判断する。狭路Ｓが存在する場合（ステップＳ３０４でＹｅｓ）、処理がステップＳ３０５に進む。一方、狭路Ｓが存在しない場合（ステップＳ３０４でＮｏ）、処理は待機する。
　ステップＳ３０５において、コントローラ３０は、レーザレンジファインダー１８の出力から狭路Ｓまでの距離を検出する。
　ステップＳ３０６において、コントローラ３０は、狭路Ｓまでの距離が所定値以下か否かを判断する。所定値とは、例えば２０ｍである。狭路Ｓまでの距離が所定値以下の場合（ステップＳ３０６でＹｅｓ）、処理がステップＳ３０７に進む。一方、狭路Ｓまでの距離が所定値より大きい場合（ステップＳ３０７でＮｏ）、処理は待機する。なお、狭路Ｓまでの距離が所定値以下か否かを判断する理由は、所定値より離れた距離に狭路Ｓが存在する場合、運転者に狭路Ｓの存在を通知するのはまだ早いからである。
　ステップＳ３０７において、コントローラ３０は、仮想視点位置が狭路Ｓの中心に正対しているか否かを判断する。仮想視点位置が狭路Ｓの中心に正対していない場合（ステップＳ３０７でＮｏ）、処理がステップＳ３０８に進む。一方、仮想視点位置が狭路Ｓの中心に正対している場合（ステップＳ３０７でＹｅｓ）、処理がステップＳ３０９に進む。
　ステップＳ３０８において、視点切替部３５は、仮想視点位置が狭路Ｓの中心に正対するように変更する。
　ステップＳ３０９において、視点切替部３５は、仮想視点位置を自車固定のままとする。
　以上説明したように、第３実施形態に係る表示支援装置２によれば、以下の作用効果が得られる。
　表示支援装置２は、狭路Ｓを検出した場合、仮想視点位置が狭路Ｓの中心に正対しているか否かを判断する。そして、表示支援装置２は、仮想視点位置が狭路Ｓの中心に正対していない場合、仮想視点位置が狭路Ｓの中心に正対するように仮想視点位置を変更する。一方、表示支援装置２は、仮想視点位置が狭路Ｓの中心に正対している場合、仮想視点位置を自車固定のままとする。これにより、ディスプレイ５０の中心に狭路Ｓが表示されるため、運転者はいち早くディスプレイ５０上で狭路Ｓの存在に気づくことができる。
　なお、第１実施形態及び第２実施形態では、舵角に基づいて仮想視点位置を変更したが、第３実施形態においても、舵角を用いて仮想視点位置を変更してもよい。例えば、自車両の前方に狭路Ｓが存在する場合、運転者は車線を変更して狭路Ｓを避けるか、あるいはハンドルを微調整して狭路Ｓを通り抜けることが考えられる。そこで、表示支援装置２は、舵角の変化を無視する不感帯を設定し、舵角が不感帯内か否かを判断することができる。舵角が不感帯内であれば、運転者はハンドルを微調整して狭路Ｓを通り抜けると考えられるため、表示支援装置２は、仮想視点位置を狭路Ｓの中心に正対させる。一方、舵角が不感帯を超える場合、運転者は車線を変更して狭路Ｓを避けると考えられるため、表示支援装置２は、仮想視点位置を自車線から車線変更先の車線上または自車線と車線変更先の車線との車線境界線上に仮想視点位置を変更する。これにより、表示支援装置２は、運転者の操舵に応じて、運転者が注力すべき周辺状況をディスプレイ５０に表示することができる。なお、不感帯については、実験やシミュレーションを通じて求めることができる。
　上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
　例えば、図１４（ａ）に示すように、自車両が中央車線から右車線に車線変更しようとする際に、ディスプレイ５０に表示される自車両Ｖ１（自車アイコン）に対し、自車両Ｖ１の上端を示す上端線Ｌ３と、自車両Ｖ１の下端を示す下端線Ｌ４を自車線から延長して車線変更先の右車線に重畳してもよい。これにより、運転者は、ディスプレイ５０上で自車両の位置を把握しやすくなる。また、右車線に後続車両が存在する場合、運転者は後続車両との車間距離が把握しやすくなる。なお、合成部３６は、上端線Ｌ３と下端線Ｌ４を車線変更先の右車線にのみ重畳するようにしてもよい。
　また、図１４（ｂ）に示すように、自車両Ｖ１を透視可能な透明性を有するアイコンとしてディスプレイ５０に表示してもよい。これにより、運転者は先行車両Ｖ４及び後続車両Ｖ２と自車両Ｖ１を区別しやすくなり、自車両Ｖ１の周辺状況を把握しやすくなる。
　また、図１４（ｃ）に示すように、自車両Ｖ１をディスプレイ５０の中央より上に表示するように加工してもよい。これにより、運転者は、後続車両の存在を確認しやすくなる。
　本発明では舵角に基づいて仮想視点位置を変更したが、これに限定されない。例えば、ヨーレートセンサを用い、検出したヨーレートに基づいて仮想視点位置を変更してもよい。
　また、本発明は、自動運転車両に適用することができる。
　特願２０１５－１９９９１８号（出願日：２０１５年１０月８日）の全内容は、ここに援用される。
１０　フロントカメラ
１１　ライトカメラ
１２　レフトカメラ
１３　リアカメラ
１４　ナビゲーション装置
１５　舵角センサ
１６　車速センサ
１７　ウィンカースイッチ
１８　レーザレンジファインダー
３０　コントローラ
３１　車線検出部
３２　仮想視点位置演算部
３３　視点変換部
３４　記憶部
３５　視点切替部
３６　合成部
５０　ディスプレイ

Claims (10)

  1. 　車両に設置された複数の撮影手段で撮影された画像を上空の仮想視点から見下ろした俯瞰画像に変換し、前記俯瞰画像に前記車両の位置を示す自車アイコンを重畳して表示手段に表示する表示支援装置において、
    　前記車両の舵角を検出する舵角センサと、
    　前記舵角センサによって検出された前記舵角に基づいて前記仮想視点の位置を変更する変更手段と
    を備えることを特徴とする表示支援装置。
  2. 　前記変更手段は、前記車両が走行している走行車線から隣接する隣接車線に車線変更する場合、前記仮想視点の位置を前記隣接車線側に変更することを特徴とする請求項１に記載の表示支援装置。
  3. 　前記変更手段は、前記車両が走行している走行車線から隣接する隣接車線に車線変更する場合、前記仮想視点の位置を隣接車線上または前記走行車線と前記隣接車線との境界線上に変更することを特徴とする請求項１または２に記載の表示支援装置。
  4. 　前記俯瞰画像を加工する加工手段をさらに備え、
    　前記加工手段は、前記自車アイコンの上端を示す上端線と、前記自車アイコンの下端を示す下端線を前記隣接車線に重畳することを特徴とする請求項２または３に記載の表示支援装置。
  5. 　前記加工手段は、前記自車アイコンを透視可能な透明性を有するアイコンとして重畳することを特徴とする請求項４に記載の表示支援装置。
  6. 　前記加工手段は、前記自車アイコンを前記俯瞰画像の中央より上に重畳することを特徴とする請求項４または５に記載の表示支援装置。
  7. 　前記変更手段は、前記車両がカーブを走行中に前記カーブの外側車線から前記カーブの内側車線に車線変更する場合、前記仮想視点の位置をカーブ内側に移動させる、または前記仮想視点の視野角を前記カーブ内側に傾けることを特徴とする請求項１に記載の表示支援装置。
  8. 　前記車両の周辺環境を検出する周辺検出手段をさらに備え、
    　前記変更手段は、前記周辺検出手段によって前記車両の前方に狭路が検出された場合、前記仮想視点が前記狭路の中心に正対するように前記仮想視点の位置を変更することを特徴とする請求項１に記載の表示支援装置。
  9. 　前記変更手段は、前記車両が車線変更した後、前記舵角が中立に戻ってから所定時間経過後に前記仮想視点の位置を車線変更後の車線上に変更することを特徴とする請求項１に記載の表示支援装置。
  10. 　車両に設置された複数の撮影手段で撮影された画像を上空の仮想視点から見下ろした俯瞰画像に変換し、前記俯瞰画像に前記車両の位置を示す自車アイコンを重畳して表示手段に表示する表示支援方法において、
    　前記車両の舵角を検出し、
    　検出した前記舵角に基づいて前記仮想視点の位置を変更することを特徴とする表示支援方法。
PCT/JP2016/076566 2015-10-08 2016-09-09 表示支援装置及び表示支援方法 WO2017061230A1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
US15/765,957 US10311618B2 (en) 2015-10-08 2016-09-09 Virtual viewpoint position control device and virtual viewpoint position control method
CA3001287A CA3001287C (en) 2015-10-08 2016-09-09 Display assistance device and display assistance method
MX2018004231A MX367989B (es) 2015-10-08 2016-09-09 Dispositivo de asistencia de despliegue y método de asistencia de despliegue.
RU2018116738A RU2678436C1 (ru) 2015-10-08 2016-09-09 Устройство помощи при отображении и способ помощи при отображении
CN201680057775.XA CN108141569B (zh) 2015-10-08 2016-09-09 显示辅助装置及显示辅助方法
JP2017544426A JP6521086B2 (ja) 2015-10-08 2016-09-09 表示支援装置及び表示支援方法
EP16853384.2A EP3361721B1 (en) 2015-10-08 2016-09-09 Display assistance device and display assistance method
BR112018007131-5A BR112018007131A2 (ja) 2015-10-08 2016-09-09 A display supporting device and a display support method
KR1020187010342A KR101983957B1 (ko) 2015-10-08 2016-09-09 표시 지원 장치 및 표시 지원 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015199918 2015-10-08
JP2015-199918 2015-10-08

Publications (1)

Publication Number Publication Date
WO2017061230A1 true WO2017061230A1 (ja) 2017-04-13

Family

ID=58487396

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/076566 WO2017061230A1 (ja) 2015-10-08 2016-09-09 表示支援装置及び表示支援方法

Country Status (10)

Country Link
US (1) US10311618B2 (ja)
EP (1) EP3361721B1 (ja)
JP (1) JP6521086B2 (ja)
KR (1) KR101983957B1 (ja)
CN (1) CN108141569B (ja)
BR (1) BR112018007131A2 (ja)
CA (1) CA3001287C (ja)
MX (1) MX367989B (ja)
RU (1) RU2678436C1 (ja)
WO (1) WO2017061230A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017166913A (ja) * 2016-03-15 2017-09-21 株式会社デンソー 表示制御装置及び表示制御方法
WO2019026332A1 (ja) * 2017-07-31 2019-02-07 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成方法およびプログラム
WO2019035229A1 (ja) * 2017-08-14 2019-02-21 アイシン精機株式会社 周辺監視装置
JP2019053008A (ja) * 2017-09-19 2019-04-04 日産自動車株式会社 走行支援装置の状態表示方法及び状態表示装置
WO2019080051A1 (en) 2017-10-26 2019-05-02 Harman International Industries, Incorporated PERIPHERAL VISION SYSTEM AND ASSOCIATED METHOD
WO2019142660A1 (ja) * 2018-01-19 2019-07-25 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
CN110999282A (zh) * 2017-08-14 2020-04-10 爱信精机株式会社 周边监控装置
JP2020095044A (ja) * 2016-03-15 2020-06-18 株式会社デンソー 表示制御装置及び表示制御方法
US11458964B2 (en) * 2018-01-10 2022-10-04 Hitachi Astemo, Ltd. Driver assistance device, driver assistance method, and driver assistance system
JP7560989B2 (ja) 2020-10-13 2024-10-03 株式会社Subaru 車両の走行環境表示装置

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180152628A1 (en) * 2016-11-30 2018-05-31 Waymo Llc Camera peek into turn
KR20180099280A (ko) * 2017-02-28 2018-09-05 삼성전자주식회사 가상 차로 생성 장치 및 방법
KR102254973B1 (ko) * 2017-04-25 2021-05-24 현대모비스 주식회사 주행 차선 안내 장치 및 그 제어 방법
US10549762B2 (en) * 2017-07-31 2020-02-04 GM Global Technology Operations LLC Distinguish between vehicle turn and lane change
JP6825709B2 (ja) * 2017-08-25 2021-02-03 日産自動車株式会社 周囲車両表示方法及び周囲車両表示装置
WO2019038904A1 (ja) * 2017-08-25 2019-02-28 日産自動車株式会社 周囲車両表示方法及び周囲車両表示装置
US10580299B2 (en) * 2017-10-13 2020-03-03 Waymo Llc Lane change notification
JP2019125193A (ja) * 2018-01-17 2019-07-25 アイシン精機株式会社 周辺監視装置
KR20200069542A (ko) 2018-12-07 2020-06-17 팅크웨어(주) 차선 내 안내 정보 추출을 통한 경로 안내 방법 및 이를 수행하는 전자 기기
CN111409553B (zh) * 2019-01-08 2024-02-20 上汽通用五菱汽车股份有限公司 一种adas显示装置与方法
DE102019202578A1 (de) 2019-02-26 2020-08-27 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
DE102019202587A1 (de) 2019-02-26 2020-08-27 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
DE102019202581B4 (de) * 2019-02-26 2021-09-02 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
KR102572785B1 (ko) * 2020-04-21 2023-08-31 주식회사 에이치엘클레무브 운전자 보조 시스템
JP7538640B2 (ja) * 2020-07-13 2024-08-22 フォルシアクラリオン・エレクトロニクス株式会社 俯瞰画像生成装置、俯瞰画像生成システム及び自動駐車装置
JP2022048454A (ja) * 2020-09-15 2022-03-28 マツダ株式会社 車両用表示装置
CN113888573A (zh) * 2021-09-26 2022-01-04 同济大学 一种交通场景虚实融合视频生成方法和系统
US20230286439A1 (en) * 2021-11-03 2023-09-14 Magna Electronics Inc. Vehicular vision system with advanced safety views
CN115097632B (zh) * 2022-07-22 2024-01-26 北京经纬恒润科技股份有限公司 一种ar-hud转向辅助显示方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000064175A1 (fr) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Dispositif de traitement d'images et systeme de surveillance
JP2007210458A (ja) * 2006-02-09 2007-08-23 Nissan Motor Co Ltd 車両用表示装置および車両用映像表示制御方法
WO2010122747A1 (ja) * 2009-04-23 2010-10-28 パナソニック株式会社 運転支援装置、運転支援方法及びプログラム
JP2011004201A (ja) * 2009-06-19 2011-01-06 Konica Minolta Opto Inc 周辺表示装置
JP2011030078A (ja) * 2009-07-28 2011-02-10 Toshiba Alpine Automotive Technology Corp 車両用画像表示装置
JP2012175314A (ja) * 2011-02-21 2012-09-10 Nissan Motor Co Ltd 車両の運転支援装置
JP2012195793A (ja) * 2011-03-17 2012-10-11 Clarion Co Ltd 車両周辺監視装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9327191B2 (en) * 2006-05-08 2016-05-03 Nintendo Co., Ltd. Method and apparatus for enhanced virtual camera control within 3D video games or other computer graphics presentations providing intelligent automatic 3D-assist for third person viewpoints
JP4863791B2 (ja) * 2006-07-05 2012-01-25 アルパイン株式会社 車両周辺画像生成装置および画像切替方法
JP4893945B2 (ja) 2007-02-06 2012-03-07 株式会社デンソー 車両周辺監視装置
JP5088669B2 (ja) 2007-03-23 2012-12-05 株式会社デンソー 車両周辺監視装置
TW201103787A (en) * 2009-07-31 2011-02-01 Automotive Res & Testing Ct Obstacle determination system and method utilizing bird's-eye images
DE102009048493A1 (de) * 2009-09-25 2011-04-07 Valeo Schalter Und Sensoren Gmbh Fahrerassistenzsystem für ein Fahrzeug, Fahrzeug mit einem Fahrerassistenzsystem und Verfahren zum Unterstützen eines Fahrers beim Führen eines Fahrzeugs
JP5519479B2 (ja) * 2010-11-29 2014-06-11 パナソニック株式会社 運転支援表示装置
JP5681569B2 (ja) 2011-05-31 2015-03-11 富士通テン株式会社 情報処理システム、サーバ装置、および、車載装置
JP5798392B2 (ja) 2011-06-27 2015-10-21 クラリオン株式会社 駐車支援装置
MX2014000649A (es) * 2011-08-02 2014-04-30 Nissan Motor Dispositivo de asistencia de manejo y metodo de asistencia de manejo.
JP5915728B2 (ja) * 2012-03-02 2016-05-11 日産自動車株式会社 立体物検出装置
US20130293683A1 (en) * 2012-05-03 2013-11-07 Harman International (Shanghai) Management Co., Ltd. System and method of interactively controlling a virtual camera
JP5669791B2 (ja) * 2012-08-07 2015-02-18 本田技研工業株式会社 移動体の周辺画像表示装置
JP5820787B2 (ja) * 2012-08-30 2015-11-24 株式会社デンソー 画像処理装置、及びプログラム
JP5904093B2 (ja) 2012-10-30 2016-04-13 株式会社デンソー 車載画像生成装置
US10029621B2 (en) * 2013-05-16 2018-07-24 Ford Global Technologies, Llc Rear view camera system using rear view mirror location
US9406234B2 (en) * 2015-01-02 2016-08-02 Atieva, Inc. Automatically activated blind spot camera system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000064175A1 (fr) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Dispositif de traitement d'images et systeme de surveillance
JP2007210458A (ja) * 2006-02-09 2007-08-23 Nissan Motor Co Ltd 車両用表示装置および車両用映像表示制御方法
WO2010122747A1 (ja) * 2009-04-23 2010-10-28 パナソニック株式会社 運転支援装置、運転支援方法及びプログラム
JP2011004201A (ja) * 2009-06-19 2011-01-06 Konica Minolta Opto Inc 周辺表示装置
JP2011030078A (ja) * 2009-07-28 2011-02-10 Toshiba Alpine Automotive Technology Corp 車両用画像表示装置
JP2012175314A (ja) * 2011-02-21 2012-09-10 Nissan Motor Co Ltd 車両の運転支援装置
JP2012195793A (ja) * 2011-03-17 2012-10-11 Clarion Co Ltd 車両周辺監視装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3361721A4 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020095044A (ja) * 2016-03-15 2020-06-18 株式会社デンソー 表示制御装置及び表示制御方法
JP2017166913A (ja) * 2016-03-15 2017-09-21 株式会社デンソー 表示制御装置及び表示制御方法
WO2019026332A1 (ja) * 2017-07-31 2019-02-07 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成方法およびプログラム
CN111034188B (zh) * 2017-08-14 2021-07-27 爱信精机株式会社 周边监控装置
US11091096B2 (en) 2017-08-14 2021-08-17 Aisin Seiki Kabushiki Kaisha Periphery monitoring device
JP7056034B2 (ja) 2017-08-14 2022-04-19 株式会社アイシン 周辺監視装置
WO2019035229A1 (ja) * 2017-08-14 2019-02-21 アイシン精機株式会社 周辺監視装置
CN110999282A (zh) * 2017-08-14 2020-04-10 爱信精机株式会社 周边监控装置
CN111034188A (zh) * 2017-08-14 2020-04-17 爱信精机株式会社 周边监控装置
JP2019036831A (ja) * 2017-08-14 2019-03-07 アイシン精機株式会社 周辺監視装置
JP2019053008A (ja) * 2017-09-19 2019-04-04 日産自動車株式会社 走行支援装置の状態表示方法及び状態表示装置
EP3701711A4 (en) * 2017-10-26 2021-04-28 Harman International Industries, Incorporated ALL-ROUND VIEWING SYSTEM AND RELATED PROCEDURE
WO2019080051A1 (en) 2017-10-26 2019-05-02 Harman International Industries, Incorporated PERIPHERAL VISION SYSTEM AND ASSOCIATED METHOD
US11458964B2 (en) * 2018-01-10 2022-10-04 Hitachi Astemo, Ltd. Driver assistance device, driver assistance method, and driver assistance system
CN111587572A (zh) * 2018-01-19 2020-08-25 索尼公司 图像处理装置、图像处理方法和程序
WO2019142660A1 (ja) * 2018-01-19 2019-07-25 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP7560989B2 (ja) 2020-10-13 2024-10-03 株式会社Subaru 車両の走行環境表示装置

Also Published As

Publication number Publication date
CA3001287A1 (en) 2017-04-13
MX367989B (es) 2019-09-13
JPWO2017061230A1 (ja) 2018-09-13
CN108141569A (zh) 2018-06-08
MX2018004231A (es) 2018-05-15
CN108141569B (zh) 2020-04-28
BR112018007131A2 (ja) 2018-11-06
US20180286095A1 (en) 2018-10-04
KR101983957B1 (ko) 2019-05-29
EP3361721A1 (en) 2018-08-15
CA3001287C (en) 2020-01-14
EP3361721B1 (en) 2020-02-26
JP6521086B2 (ja) 2019-05-29
US10311618B2 (en) 2019-06-04
EP3361721A4 (en) 2018-08-15
KR20180053710A (ko) 2018-05-23
RU2678436C1 (ru) 2019-01-29

Similar Documents

Publication Publication Date Title
WO2017061230A1 (ja) 表示支援装置及び表示支援方法
CN111226267B (zh) 驾驶辅助车辆的行驶控制方法及行驶控制装置
CN111033593B (zh) 驾驶辅助车辆的位置误差校正方法及位置误差校正装置
JP4855158B2 (ja) 運転支援装置
JP5172314B2 (ja) ステレオカメラ装置
US8461976B2 (en) On-vehicle device and recognition support system
JP4432801B2 (ja) 運転支援装置
JP6586849B2 (ja) 情報表示装置及び情報表示方法
US10549693B2 (en) Bird's-eye view video generation device, bird's-eye view video generation system, bird's-eye view video generation method and program
JP6917330B2 (ja) 駐車支援装置
US10974764B2 (en) Parking assist device
JP7011559B2 (ja) 表示装置、表示制御方法、およびプログラム
JP2017091093A (ja) 情報表示装置
JP2009230225A (ja) 車両用周囲監視装置
JP6555413B2 (ja) 移動体周囲表示方法及び移動体周囲表示装置
JP6127391B2 (ja) 車両周辺視認装置
JP2008185554A (ja) 車両用経路案内装置
JP2011134237A (ja) 車両用画像表示装置及び車両用画像表示方法
KR20170056752A (ko) 헤드업 디스플레이를 이용한 차선 표시장치 및 그 방법
WO2024195065A1 (ja) 運転支援装置、運転支援方法、及び記録媒体
JP2005104401A (ja) 駐車支援装置および方法
WO2021015090A1 (ja) 制御装置
JP2013193576A (ja) 操舵量推定装置及びそれを用いた車両制御装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16853384

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017544426

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15765957

Country of ref document: US

ENP Entry into the national phase

Ref document number: 3001287

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: MX/A/2018/004231

Country of ref document: MX

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20187010342

Country of ref document: KR

Kind code of ref document: A

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112018007131

Country of ref document: BR

WWE Wipo information: entry into national phase

Ref document number: 2018116738

Country of ref document: RU

Ref document number: 2016853384

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 112018007131

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20180409