WO2016035272A1 - 運転支援装置 - Google Patents

運転支援装置 Download PDF

Info

Publication number
WO2016035272A1
WO2016035272A1 PCT/JP2015/004134 JP2015004134W WO2016035272A1 WO 2016035272 A1 WO2016035272 A1 WO 2016035272A1 JP 2015004134 W JP2015004134 W JP 2015004134W WO 2016035272 A1 WO2016035272 A1 WO 2016035272A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
obstacle
distance
image
shortest
Prior art date
Application number
PCT/JP2015/004134
Other languages
English (en)
French (fr)
Inventor
恭平 尾崎
丙辰 王
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Publication of WO2016035272A1 publication Critical patent/WO2016035272A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to a driving support device that captures a situation around a vehicle and displays a bird's-eye image obtained by performing bird's-eye conversion on the captured image.
  • Patent Document 1 discloses a distance from the own vehicle to an obstacle calculated from a propagation time until an ultrasonic reflected wave transmitted from a distance measuring sensor is received.
  • a technique is disclosed in which the position of the outer edge of the obstacle is detected and a marker indicating the position of the outer edge of the obstacle is superimposed and displayed on the bird's-eye view image.
  • the vehicle has a shape with specific parts such as bumpers and side mirrors protruding.
  • some obstacles have a shape that greatly varies in the horizontal direction depending on the height position, such as an upper portion protruding in the horizontal direction and a lower portion protruding in the horizontal direction. Therefore, the distance in which the vehicle and the obstacle can actually approach differs depending on the height position of the part protruding in the horizontal direction between the vehicle and the obstacle and the protruding amount.
  • Patent Document 1 merely detects the position of the outer edge of the obstacle, and does not consider the shape spreading in the horizontal direction for each height position of the vehicle and the obstacle.
  • the distance that can be actually secured between the vehicle and the obstacle cannot be accurately specified. Therefore, a marker indicating the position of the outer edge of the obstacle (hereinafter simply referred to as a marker) is displayed at a position where it is difficult to ensure the distance even though the distance to the vehicle can be actually secured.
  • the marker may be displayed at a position where the distance to the vehicle cannot be secured in practice.
  • One of the purposes of this disclosure is to identify more accurately the distance that can actually be secured between the vehicle and the obstacle, and to understand the more accurate distance between the vehicle and the obstacle that is difficult to see on the bird's-eye view image. It is in providing the driving assistance device which makes it easy.
  • a driving support device used in a vehicle, an image processing unit that performs bird's-eye conversion on an image captured by an imaging device that captures the periphery of the host vehicle, and bird's-eye conversion performed by the image processing unit.
  • a driving support device includes a display processing unit that superimposes the vehicle image indicating the vehicle position on the bird's-eye view image and displays the vehicle image on the display device.
  • the driving support device includes a host vehicle shape storage unit that stores host vehicle shape information that is information that can at least identify a shape that spreads in the horizontal direction according to the height position of the host vehicle, and a host vehicle from a predetermined position of the host vehicle.
  • a measurement point distance acquisition unit that acquires the measurement point distance detected by a distance measuring sensor that detects a measurement point distance to each of the plurality of measurement points arranged in the height direction and the horizontal direction in a surrounding obstacle, and the measurement point Based on the measurement point distance acquired by the distance acquisition unit and the direction of the measurement point with respect to the predetermined position, an obstacle shape specifying unit that specifies a shape that spreads in the horizontal direction for each height position of the obstacle; The shape spreading in the horizontal direction for each height position of the own vehicle that can be specified from the own vehicle shape information stored in the own vehicle shape storage unit, and the height position of the obstacle specified by the obstacle shape specifying unit Based on the shape that spreads horizontally, Further comprising a inter shortest site distance specifying unit the distance between sites on the same height position of the vehicle and the obstacle is to identify the shortest portion between the distance becomes shortest.
  • the display processing unit superimposes a marker on the bird's-eye view image at a position corresponding to the shortest inter-site distance specified by the shortest inter-site distance specifying unit in a direction in which the obstacle is located with respect to the host vehicle image. To display.
  • the shape that spreads in the horizontal direction for each height position of the vehicle that can be identified from the vehicle shape information stored in the vehicle shape storage unit, and the obstacle that is identified by the obstacle shape identification unit
  • the shortest distance between the parts where the distance between the parts at the same height position of the own vehicle and the obstacle is the shortest is specified based on the shape spreading in the horizontal direction for each height position.
  • the shape spreading in the horizontal direction according to the height position of the obstacle corresponds to the measurement point distance to the measurement points arranged in the height direction and the horizontal direction in the obstacle around the own vehicle and the predetermined position of the own vehicle.
  • the shape that spreads horizontally according to the height position of the vehicle and the shape that spreads horizontally according to the height position of the obstacle It is possible to make a comparison along the positional relationship, and it is possible to more accurately specify the distance that can be actually secured between the vehicle and the obstacle.
  • the display processing unit causes the marker indicating the position of the obstacle to be superimposed and displayed at the position corresponding to the distance between the shortest parts in the direction in which the obstacle is located with respect to the own vehicle image in the bird's-eye view image, It becomes possible to make the user recognize the distance that can be actually secured between the own vehicle and the obstacle more accurately. Therefore, it becomes easier to understand the more accurate distance between the vehicle and the obstacle that is difficult to understand on the bird's-eye view image.
  • FIG. 1 is a block diagram illustrating a schematic configuration of a driving support system.
  • FIG. 2 is a diagram for explaining the shortest part distance.
  • FIG. 3 is a flowchart illustrating an example of a flow of a bird's eye image display related process in the driving support ECU.
  • FIG. 4 is a diagram for explaining the marker display position in the first embodiment.
  • FIG. 5 is a diagram illustrating a display example of markers in the first embodiment.
  • FIG. 6 is a diagram for explaining the marker display position in the related art.
  • FIG. 7 is a diagram illustrating a display example of markers in the related art.
  • FIG. 1 is a block diagram illustrating a schematic configuration of a driving support system.
  • FIG. 2 is a diagram for explaining the shortest part distance.
  • FIG. 3 is a flowchart illustrating an example of a flow of a bird's eye image display related process in the driving support ECU.
  • FIG. 4 is a diagram for explaining the marker display position in the first
  • FIG. 8 is a diagram for explaining the marker display position in the first embodiment.
  • FIG. 9 is a diagram illustrating an example of marker display in the first embodiment.
  • FIG. 10 is a diagram illustrating a marker display example according to the first embodiment.
  • FIG. 11 is a diagram illustrating a marker display example according to the first embodiment.
  • FIG. 12 is a diagram illustrating a marker display example in the first modification.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of the driving support system 100.
  • the driving support system 100 is mounted on a vehicle, and includes a driving support ECU 1, a shift position sensor 2, a rudder angle sensor 3, a vehicle speed sensor 4, a camera 5, a laser radar unit 6, and a display 7 as shown in FIG. Contains.
  • a vehicle equipped with the driving support system 100 is referred to as a host vehicle.
  • the shift position sensor 2 detects the shift position of the vehicle.
  • the steering angle sensor 3 detects the steering angle of the host vehicle.
  • the vehicle speed sensor detects the speed of the host vehicle.
  • the camera 5 is installed in the own vehicle and sequentially captures the surroundings of the own vehicle.
  • This camera 5 corresponds to an example of an imaging device.
  • the camera 5 includes a front camera that captures a predetermined angle range in front of the host vehicle, a rear camera that captures a predetermined range of angles behind the host vehicle, and a left-side camera that captures a predetermined angle range on the left side of the host vehicle.
  • a right side camera that captures a predetermined angle range on the right side of the vehicle is used as an example will be described.
  • the camera 5 uses the front camera, the rear camera, the left side camera, and the right side camera as an imaging range around the entire vehicle.
  • the laser radar unit 6 includes a laser radar 6a and a control IC 6b.
  • the laser radar unit 6 corresponds to an example of a distance measuring sensor.
  • the laser radar 6a includes a light emitting unit, a light receiving unit, and the like.
  • the light emitting unit includes a laser diode that emits pulsed laser light via a scanner and a light emitting lens.
  • the laser diode is connected to the control IC 6b via a laser diode drive circuit, and emits laser light by a drive signal from the control IC 6b.
  • the scanner is provided with a polygon mirror as a reflector so that it can be driven to rotate by a motor.
  • the motor drive circuit drives the motor to rotate the polygon mirror.
  • the rotational position of the motor is detected by a motor rotational position sensor and output to the control IC 6b.
  • the polygon mirror has six reflecting surfaces formed on the side surfaces around the rotation axis.
  • each reflecting surface in the polygon mirror is formed to have a different surface tilt angle.
  • the laser light is intermittently emitted from the laser diode while rotating the polygon mirror at a predetermined speed, so that the laser light is swept in a predetermined angle range in the horizontal direction and the height direction (that is, scanning). It becomes possible to do.
  • the light receiving unit has a light receiving lens that receives laser light (that is, reflected light) reflected by the object, and this light receiving lens gives the received reflected light to the light receiving element.
  • the light receiving element outputs a voltage corresponding to the intensity of the reflected light.
  • the output voltage of the light receiving element is amplified by an amplifier and then output to a comparator.
  • the comparator compares the output voltage of the amplifier with the reference voltage, and outputs a predetermined light reception signal to the time measuring circuit when the output voltage becomes larger than the reference voltage.
  • the driving signal output from the control IC 6b to the laser diode driving circuit is also input to the time measuring circuit.
  • This time measuring circuit encodes the time from when the drive signal is output until the light receiving signal is generated, that is, the time difference between the time when the laser light is emitted and the time when the reflected light is received into a binary digital signal.
  • the binary digital signal is input to the control IC 6b as measurement time data.
  • the light emitting unit irradiates the laser beam with a beam step angle of 0.08 deg in an angle range (hereinafter referred to as an irradiation area) where the laser beam is actually irradiated.
  • an irradiation area an angle range
  • one cycle in which all of the horizontal direction and the height direction in the irradiation area are irradiated with a beam step angle of 0.08 deg is defined as one scan.
  • a drive signal is output from the control IC 6b to the light emitting unit so that the laser beam scans two-dimensionally within the irradiation area described above.
  • the irradiation angle ⁇ of the laser beam from which the reflected light is obtained is uniquely determined.
  • the control IC 6b sequentially calculates the distance d from the laser radar 6a to the reflection point on the object based on the time difference. To do. Thereby, when an obstacle exists around the own vehicle, the distance from the installation position of the laser radar 6a of the own vehicle to each of the reflection points arranged in the height direction and the horizontal direction on the obstacle is detected. It will be. Therefore, the reflection point on the object corresponds to an example of a measurement point, and the distance d corresponds to an example of a measurement point distance.
  • control IC 6b sends polar coordinate system data of the distance d and the irradiation angle ⁇ of the laser beam from which the reflected light is obtained to the driving support ECU 1 as a measurement result.
  • control IC 6b sends a measurement result obtained by performing one scan in the irradiation area to the driving support ECU 1 as a measurement result for one scan.
  • the laser radar unit 6 is installed in the front part of the own vehicle, the left part of the own vehicle, the rear part of the own vehicle, and the right side part of the own vehicle.
  • the case where an obstacle within a predetermined angular range behind the host vehicle and a predetermined angular range on the right side of the host vehicle is detected will be described as an example.
  • the display 7 displays an image output from the driving support ECU 1.
  • the display 7 corresponds to an example of a display device.
  • the display 7 is capable of full color display and can be configured using a liquid crystal display or the like.
  • the driving support ECU 1 is mainly configured as a microcomputer, and each includes a known CPU, a memory such as a ROM or a RAM, an I / O, and a bus connecting them.
  • the driving assistance ECU 1 executes various processes based on various information input from the shift position sensor 2, the steering angle sensor 3, the vehicle speed sensor 4, the camera 5, and the laser radar unit 6.
  • This driving support ECU 1 corresponds to an example of a driving support device.
  • the driving support ECU 1 may be configured in hardware by one or a plurality of ICs. Further, the driving support ECU 1 is not necessarily limited to a configuration including one ECU, and may be configured to include a plurality of ECUs.
  • the driving assistance ECU 1 includes a vehicle movement information acquisition unit 11, an image storage unit 12, an image processing unit 13, a past image interpolation processing unit 14, a measurement result acquisition unit 15, an obstacle shape specifying unit 16, A vehicle shape storage unit 17, a shortest part distance specifying unit 18, and a display processing unit 19 are provided.
  • the vehicle movement information acquisition unit 11 includes the own vehicle shift position detected by the shift position sensor 2, the own vehicle steering angle detected by the steering angle sensor 3, and the own vehicle speed detected by the vehicle speed sensor 4. Vehicle movement information that can identify the state of movement of the vehicle is acquired.
  • the camera 5 and the laser radar unit 6 operate when the vehicle speed of the vehicle in the vehicle movement information acquired by the vehicle movement information acquisition unit 11 is equal to or lower than a predetermined value.
  • the camera 5 and the laser radar unit 6 are configured not to operate when the vehicle speed is not less than the predetermined value.
  • the predetermined value mentioned here is a vehicle speed at which the host vehicle is decelerated during parking, and is a value that can be arbitrarily set.
  • the image storage unit 12 stores captured images around the host vehicle captured by the camera 5 and input from the camera 5.
  • the latest captured image captured by the front camera, the rear camera, the left side camera, and the right side camera is stored in the image storage unit 12.
  • the image storage unit 12 not only stores the latest captured images of the front camera, the rear camera, the left side camera, and the right side camera, but also stores, for example, past number of bird's-eye images obtained by the image processing unit 13 described later.
  • the past several bird's-eye images stored in the image storage unit 12 are hereinafter referred to as history images.
  • the image processing unit 13 converts each captured image of the front camera, the rear camera, the left camera, and the right camera into a bird's-eye image in which the upper surface of the alley is looked down in a vertical direction by using a known coordinate conversion formula.
  • a bird's-eye view image is obtained by performing bird's-eye conversion.
  • the image processing unit 13 may perform a bird's eye conversion after performing necessary image processing such as lens distortion correction on the captured image.
  • the image processing unit 13 rotates and parallels the bird's-eye view image obtained by performing bird's-eye conversion on the captured images of the front camera, the rear camera, the left side camera, and the right side camera by using a known conversion formula. It is moved, arranged on one coordinate plane (that is, a bird's-eye view image is arranged so that it can be regarded as one image), and a combined image is generated by combining the bird's-eye images.
  • the image processing unit 13 when generating the composite image, the image processing unit 13 reads an image of the own vehicle (for example, a CG image representing the own vehicle) stored in the nonvolatile memory of the driving support ECU 1 and reads the own image. It is arranged at the location corresponding to the car position and synthesized with each bird's-eye view image. Then, the image processing unit 13 sends drawing data of the combined image that has been combined to the display processing unit 19.
  • an image of the own vehicle for example, a CG image representing the own vehicle
  • the image processing unit 13 sends drawing data of the combined image that has been combined to the display processing unit 19.
  • the vehicle position in the composite image may be specified as follows. First, if the installation position and imaging direction of the camera 5 with respect to the own vehicle are determined, the correspondence between the position in the captured image and the installation position of the camera 5 can be specified. Therefore, in this embodiment, the position of the camera 5 with respect to the position in the composite image is specified from the installation position and the imaging direction of the camera 5 with respect to the own vehicle. And since the position of the own vehicle with respect to the installation position of the camera 5 can be specified from the installation position of the camera 5 with respect to the own vehicle, the position of the own vehicle in the composite image is determined from the position of the camera 5 with respect to the position in the specified composite image. Identify.
  • the past image interpolation processing unit 14 reads the above-described history image from the image storage unit 12 when the front camera, the rear camera, the left side camera, the right side camera, or the like cannot capture the surroundings of the own vehicle.
  • the image processing unit 13 can synthesize bird's-eye images around the entire vehicle.
  • the past image interpolation processing unit 14 determines the arrangement position of the history image with respect to the own vehicle position according to the movement state of the own vehicle that can be specified from the vehicle movement information acquired by the vehicle movement information acquisition unit 11, and the determined arrangement position
  • the history image is sent to the image processing unit 13.
  • the history image layout position relative to the host vehicle position is determined by estimating the history image layout position relative to the current host vehicle position based on the travel locus of the host vehicle determined from the steering angle and vehicle speed of the host vehicle. To do.
  • the image processing unit 13 generates a synthesized image by arranging the history images sent from the past image interpolation processing unit 14 and synthesizing the bird's-eye view image according to the arrangement position determined by the past image interpolation processing unit 14.
  • the measurement result acquisition unit 15 acquires a measurement result for one scan by the laser radar unit 6.
  • the measurement result acquisition unit 15 corresponds to an example of a measurement point distance acquisition unit.
  • the measurement result of the laser radar unit 6 is polar coordinate data of the distance d from the laser radar 6a to the reflection point on the obstacle and the irradiation angle ⁇ of the laser beam from which the reflected light is obtained.
  • the installation position of the laser radar 6a corresponds to an example of a predetermined position of the own vehicle.
  • the obstacle shape specifying unit 16 is based on the measurement result for one scan by the laser radar unit 6 acquired by the measurement result acquisition unit 15, that is, based on the polar coordinate system data of the distance d and the irradiation angle ⁇ .
  • the three-dimensional shape (hereinafter referred to as an obstacle shape) is specified.
  • This irradiation angle ⁇ corresponds to an example of the direction of the measurement point.
  • the obstacle shape is specified as follows.
  • the obstacle shape specifying unit 16 determines polar coordinates (d, ⁇ ) based on the relative position of the laser radar 6a with respect to the center position of the own vehicle and having the installation position of the laser radar 6a on the own vehicle as an origin.
  • the coordinates are converted into coordinates in a three-dimensional orthogonal coordinate system with the center position of the car as the origin (0, 0, 0). What is necessary is just to use the structure memorize
  • the obstacle shape specifying unit 16 specifies a set of coordinates obtained by converting polar coordinates (d, ⁇ ) for one scan in the laser radar unit 6 into coordinates of a three-dimensional orthogonal coordinate system as an obstacle shape.
  • the own vehicle shape storage unit 17 stores a relatively detailed vehicle shape indicating the outline of the own vehicle including protruding portions such as side mirrors and bumpers.
  • the vehicle shape is represented by a set of coordinate points indicating the contour of the vehicle in a three-dimensional orthogonal coordinate system with the vehicle center as the origin, for example.
  • Information on a set of coordinate points indicating the contour of the vehicle corresponds to an example of the vehicle shape information.
  • the shortest part-to-part distance specifying unit 18 determines whether the vehicle and the obstacle are based on the vehicle shape stored in the vehicle shape storage unit 17 and the obstacle shape specified by the obstacle shape specifying unit 16. Among the parts at the same height position, the distance between the parts where the distance between them is the shortest (hereinafter, the shortest part distance) is specified. In other words, the shape spreading in the horizontal direction according to the height position of the own vehicle stored in the vehicle shape storage unit 17 and the horizontal direction depending on the height position of the obstacle specified by the obstacle shape specifying unit 16. The distance between the shortest parts is specified based on the shape.
  • each coordinate point as the vehicle shape and each coordinate point as the obstacle shape are classified by height.
  • the shortest distance among the calculated distances may be specified as the shortest inter-site distance.
  • HV is the own vehicle
  • Ob is the obstacle behind the own vehicle
  • A is the distance between the shortest parts
  • B is the distance between the parts that protrude most from the own car and the obstacle.
  • Obstacle Ob has a shape in which the upper part protrudes toward the own vehicle compared to the lower part.
  • the distance A between the shortest parts is larger than the distance B when the heights of the parts that protrude the most from the vehicle and the obstacle are shifted from each other. This is the distance between parts that may actually come into contact with an object.
  • the display processing unit 19 displays the composite image generated by the image processing unit 13 on the display 7. If necessary, a marker is superimposed on the position corresponding to the distance between the shortest parts specified by the shortest part distance specifying unit 18 of the composite image and displayed on the display 7. This marker indicates a boundary where the vehicle can approach the obstacle. Details of processing for displaying the marker superimposed on the composite image in the display processing unit 19 will be described later.
  • the display processing unit 19 may superimpose a guide such as an expected trajectory line of the own vehicle on the composite image and display it on the display 7. Good. For example, if the shift position is the reverse position, an expected trajectory line is displayed behind the host vehicle, or if the shift position is the forward position, the expected trajectory line is displayed in front of the host vehicle. Good.
  • the predicted trajectory line may be predicted from the steering angle of the host vehicle and the vehicle speed.
  • the bird's-eye image display related process is a process related to a process of displaying on the display 7 a bird's-eye view image obtained by bird's-eye conversion of a captured image around the host vehicle.
  • the flowchart of FIG. 3 is started when the ignition power of the host vehicle is turned on.
  • step S1 the vehicle movement information acquisition unit 11 acquires vehicle movement information. Specifically, the vehicle speed detected by the vehicle speed sensor 4 is acquired.
  • step S2 if the vehicle speed acquired in S1 is equal to or lower than the predetermined value (YES in S2), the process proceeds to step S3.
  • the image processing unit 13 generates a composite image obtained by combining a bird's-eye image obtained by bird's-eye conversion of a captured image around the host vehicle captured by the camera 5 and the host vehicle image.
  • step S4 the display processing unit 19 determines whether there is an obstacle within a predetermined distance from the own vehicle based on the measurement result for one scan by the laser radar unit 6 acquired by the measurement result acquisition unit 15. judge.
  • the predetermined distance here is a distance that can be arbitrarily set, and may be about several meters, for example.
  • step S4 if there is a distance d or less from the laser radar 6a for one scan to the reflection point on the obstacle, it is determined that there is an obstacle within the predetermined distance from the own vehicle. If there is no object below the predetermined distance, it is determined that there is no obstacle within the predetermined distance from the own vehicle. When it is determined that there is an obstacle within a predetermined distance from the own vehicle (YES in S4), the process proceeds to step S5. On the other hand, when it is determined that there is no obstacle within a predetermined distance from the own vehicle (NO in S4), the process proceeds to step S8.
  • step S5 the obstacle shape identification unit 16 identifies the obstacle shape based on the measurement result for one scan by the laser radar unit 6 acquired by the measurement result acquisition unit 15.
  • step S6 the shortest part distance specifying unit 18 specifies the shortest part distance described above based on the obstacle shape specified in S5 and the vehicle shape stored in the vehicle shape storage unit 17. .
  • step S7 the display processing unit 19 causes the display 7 to display a marker superimposed on the position corresponding to the distance between the shortest parts specified in S6 of the composite image generated in S3.
  • the marker is located at a position away from the portion that protrudes most in the direction in which the obstacle is located (hereinafter referred to as a protruding portion) by the shortest distance between the portions in the direction in which the obstacle is located.
  • the marker may be indicated by a straight line extending in a direction along the surface of the own vehicle facing the obstacle.
  • the surface of the host vehicle may be any of the four types of front, left, rear, and right sides.
  • the protruding portion may be specified based on the own vehicle shape stored in the own vehicle shape storage unit 17 and the obstacle shape specified by the obstacle shape specifying unit 16. For example, assuming that the height position is the same for each coordinate point as the vehicle shape and each coordinate point as the obstacle shape, the distance between the coordinates of the vehicle shape and the obstacle shape is the shortest. The coordinates which become are specified. And the coordinate of the own vehicle side among the identified coordinates should just be specified as a protrusion part. Moreover, what is necessary is just to let the direction which goes to the coordinate of the obstruction side of the specified coordinates from the coordinate of the own vehicle side among the specified coordinates to be the direction in which the obstacle is located.
  • HV represents the own vehicle
  • Ob represents an obstacle behind the own vehicle
  • Pr represents the protruding portion
  • A represents the shortest distance between the portions
  • MP represents the marker position.
  • Obstacle Ob has a shape in which the upper part protrudes toward the own vehicle compared to the lower part.
  • the position of the marker is a position on the composite image corresponding to the position MP that is separated from the protruding part Pr by the shortest part distance A in the direction in which the obstacle Ob is located.
  • FIG. Pi in FIG. 5 is a composite image
  • HVP is an image of the vehicle in the composite image
  • ObP is an image of an obstacle behind the vehicle in the composite image
  • PrP is an image of a protruding part
  • A is a distance between the shortest parts
  • Ma is a marker. Is shown. Since the marker Ma is displayed at a position away from the protruding part Pr by the distance A between the shortest parts in the direction in which the obstacle Ob is located, the marker Ma is displayed at a position corresponding to the boundary where the own vehicle can actually approach.
  • step S8 the display processing unit 19 causes the display 7 to display the composite image generated in S3.
  • the marker is not superimposed on the composite image.
  • step S9 when it is the end timing of the bird's-eye image display related processing (YES in S9), the bird's-eye image display related processing is ended. If it is not the end timing of the bird's-eye image display related process (NO in S9), the process returns to S1 and the process is repeated.
  • the end timing of the bird's-eye image display related processing includes when the ignition power of the own vehicle is turned off.
  • ⁇ Summary of Embodiment 1> since the distance between the shortest parts where the distance between the parts at the same height position of the own vehicle and the obstacle is the shortest is specified, the distance between the own vehicle and the obstacle is actually It becomes possible to specify the distance that can be secured more accurately. Further, according to the configuration of the first embodiment, in the combined image obtained by combining the bird's-eye view image and the own vehicle image, the direction in which the obstacle is located from the portion of the own vehicle that protrudes most in the direction in which the obstacle is located. A marker is superimposed and displayed at a position separated by a distance between the shortest parts. Therefore, it is possible to make the user recognize the distance that can be actually secured between the vehicle and the obstacle more accurately. As a result, it becomes easier to understand the more accurate distance between the vehicle and the obstacle that is difficult to understand on the bird's-eye view image.
  • the marker Ma is displayed at a position on the composite image corresponding to the position MP corresponding to the outer edge of the obstacle Ob that protrudes most toward the vehicle HV side (see FIGS. 6 and 7).
  • the position indicated by the marker Ma can be actually secured between the own vehicle and the obstacle as shown in FIG.
  • the display indicates that only a distance shorter than the distance (that is, the shortest distance between the parts) can be secured.
  • FIGS. 4 and 5 it is possible to display a marker that more accurately indicates the distance that can be actually secured between the vehicle and the obstacle.
  • the distance that can be actually secured between the vehicle and the obstacle can be recognized more accurately by the user.
  • the position of the marker is a position on the composite image corresponding to the position MP that is separated from the protruding part Pr by the shortest part distance A in the direction in which the obstacle Ob is located.
  • the marker Ma is displayed at a position away from the protruding part Pr by the distance A between the shortest parts in the direction in which the obstacle Ob is located. Displayed in position.
  • the marker Ma is displayed over the obstacle.
  • the present invention can also be applied when the vehicle performs parallel parking.
  • 10 and 11 indicate the same objects as those in FIG.
  • SiP of FIG. 10, 11 has shown the image of the side mirror of the own vehicle HV.
  • the direction in which the obstacle Ob is located from the side surface of the own vehicle HV A marker Ma is displayed at a position separated by a distance A between the shortest parts (see FIG. 10).
  • the own vehicle HV moves and the part of the own vehicle HV whose distance that can be actually secured with the obstacle Ob is the shortest side mirror of the own vehicle HV
  • the obstacle from the side mirror of the own vehicle HV The marker Ma is displayed at a position separated by the distance A between the shortest parts in the direction in which the object Ob is located (see FIG. 11).
  • the marker Ma is displayed at a position corresponding to the boundary where the host vehicle can actually approach.
  • the processing of S5 and S6 is not always performed, but when it is determined in S4 that there is no obstacle within a predetermined distance from the own vehicle. Will not perform the processing of S5 and S6. Therefore, also when displaying the synthesized image of the bird's-eye view image, the processes of S5 and S6 are performed as necessary, and the processing load on the driving support ECU 1 can be reduced.
  • Embodiment 1 Although the structure which displays a marker in the position which left
  • the predetermined distance mentioned here is a value that can be arbitrarily set, for example, a value that is about the measurement error of the distance in the laser radar unit 6.
  • a marker display example in the first modification will be described with reference to FIG.
  • the symbol of FIG. 12 has shown the object similar to the symbol of FIG.
  • X in FIG. 12 indicates a predetermined distance that is shifted to the own vehicle HV position side from the position MP that is separated from the protruding part Pr by the distance A between the shortest parts.
  • the position at which the marker Ma is displayed is on the HV position side of the vehicle HV from the position MP that is away from the protruding part Pr by the distance A between the shortest parts in the direction in which the obstacle Ob is located.
  • the position is shifted by a predetermined distance X.
  • Modification 2 In the first embodiment, the configuration in which the laser radar 6a is used as a distance measuring sensor for detecting the measurement point distances to the plurality of measurement points arranged in the height direction and the horizontal direction in the obstacle around the own vehicle has been described. It is not necessarily limited to this.
  • a millimeter wave radar or an ultrasonic sensor may be used as the distance measuring sensor, or a camera such as a stereo camera or a monocular camera may be used.
  • embodiment is not limited to each embodiment mentioned above, A various change is possible. Embodiments obtained by appropriately combining technical parts disclosed in different embodiments are also included in the embodiments of the present disclosure.

Abstract

　車両で用いられ、撮像装置（５）で撮像された画像を鳥瞰変換した鳥瞰画像に自車位置を示す自車画像を重畳させて表示装置（７）に表示させる運転支援装置を提供する。運転支援装置は、自車形状情報を記憶している記憶部（１７）と、自車の所定位置から障害物における各計測点までの計測点距離を取得する取得部（１５）と、計測点距離と計測点の方向とをもとに障害物の高さ位置別の水平方向に広がる形状を特定する形状特定部（１６）と、自車形状情報と障害物の高さ位置別の水平方向に広がる形状とをもとに自車と障害物との同じ高さ位置にある部位間の距離が最も短くなる最短部位間距離を特定する距離特定部（１８）とをさらに備える。前記表示処理部は、最短部位間距離に応じた位置にマーカを重畳する。

Description

運転支援装置 関連出願の相互参照
　本出願は、２０１４年９月４日に出願された日本国特許出願２０１４－１８０４０５号に基づくものであり、この開示をここに参照により援用する。
　本開示は、車両周辺の状況を撮像してその撮像した画像を鳥瞰変換した鳥瞰画像を表示させる運転支援装置に関するものである。
　従来、カメラを用いて車両周辺の状況を撮像し、撮像した車両周辺の画像を鳥瞰変換した鳥瞰画像に自車位置を示す画像を重畳して表示装置に表示させる技術が知られている。しかしながら、画像の鳥瞰変換を行うと、本来地面に立っている障害物が、変換時に生じる歪みのために倒れたように表示されることになり、自車と障害物との距離がユーザにとってわかりにくくなる問題が生じる。
　そこで、この問題を解決する手段として、例えば、特許文献１には、距離測定センサから送信した超音波の反射波を受信するまでの伝搬時間から算出した自車から障害物までの距離をもとに、障害物の外縁の位置を検出し、障害物の外縁の位置を示すマーカを鳥瞰画像に重畳表示する技術が開示されている。
特許第４０３９３２１号公報
　車両は、バンパやサイドミラーといった特定の部位が突き出た形状となっている。また、障害物の中には、上部が水平方向に突き出していたり、下部が水平方向に突き出していたりするなど、高さ位置によって水平方向に広がる形状が大きく異なるものがある。よって、車両と障害物とのそれぞれ水平方向に突き出した部位の高さ位置や突き出した量によって、車両と障害物とが実際に接近可能な距離は異なる。
　これに対して、特許文献１に開示の技術では、単に障害物の外縁の位置を検出するだけであり、自車及び障害物の高さ位置ごとの水平方向に広がる形状を考慮していないので、自車と障害物との間で実際に確保できる距離を正確に特定できない。よって、実際には車両との間に距離を確保できるにもかかわらず、距離の確保が困難であるような位置に障害物の外縁の位置を示すマーカ（以下、単にマーカ）を表示してしまったり、実際には車両との間に距離を確保できない位置にマーカを表示してしまったりするおそれがある。
　本開示の目的の一つは、自車と障害物との間で実際に確保できる距離をより正確に特定して、鳥瞰画像上ではわかりづらい自車と障害物とのより正確な距離をわかりやすくする運転支援装置を提供することにある。
　本開示の一観点によれば、車両で用いられる運転支援装置であって、自車の周辺を撮像する撮像装置で撮像された画像を鳥瞰変換する画像処理部と、前記画像処理部で鳥瞰変換した鳥瞰画像に自車位置を示す自車画像を重畳させて表示装置に表示させる表示処理部とを備える運転支援装置が提供される。運転支援装置は、自車の高さ位置別の水平方向に広がる形状を少なくとも特定できる情報である自車形状情報を記憶している自車形状記憶部と、自車の所定位置から、自車周辺の障害物における高さ方向及び水平方向に複数並んだ各計測点までの計測点距離をそれぞれ検出する測距センサで検出した前記計測点距離を取得する計測点距離取得部と、前記計測点距離取得部で取得した前記計測点距離と前記所定位置に対する前記計測点の方向とをもとに、前記障害物の高さ位置別の水平方向に広がる形状を特定する障害物形状特定部と、前記自車形状記憶部に記憶している自車形状情報から特定できる自車の高さ位置別の水平方向に広がる形状と、前記障害物形状特定部で特定した前記障害物の高さ位置別の水平方向に広がる形状とをもとに、自車と前記障害物との同じ高さ位置にある部位間の距離が最も短くなる最短部位間距離を特定する最短部位間距離特定部とをさらに備える。前記表示処理部は、前記鳥瞰画像において、前記自車画像に対して前記障害物が位置する方向の、前記最短部位間距離特定部で特定した前記最短部位間距離に応じた位置にマーカを重畳して表示させる。
　この運転支援装置によれば、自車形状記憶部に記憶している自車形状情報から特定できる自車の高さ位置別の水平方向に広がる形状と、障害物形状特定部で特定した障害物の高さ位置別の水平方向に広がる形状とをもとに、自車と障害物との同じ高さ位置にある部位間の距離が最も短くなる最短部位間距離を特定する。ここで、障害物の高さ位置別の水平方向に広がる形状は、自車周辺の障害物における高さ方向及び水平方向に複数並んだ各計測点までの計測点距離と自車の所定位置に対する計測点の方向とをもとに特定したものであるので、自車の高さ位置別の水平方向に広がる形状と、障害物の高さ位置別の水平方向に広がる形状とを、実際の相対位置関係に沿って比較することが可能であり、自車と障害物との間で実際に確保できる距離をより正確に特定することが可能になる。
　また、表示処理部は、鳥瞰画像において、自車画像に対して障害物が位置する方向の、最短部位間距離に応じた位置に、障害物の位置を示すマーカを重畳して表示させるので、自車と障害物との間で実際に確保できる距離をより正確にユーザに認識させることが可能になる。よって、鳥瞰画像上ではわかりづらい自車と障害物とのより正確な距離がわかりやすくなる。
　本開示についての上記および他の目的、特徴や利点は、添付の図面を参照した下記の詳細な説明から、より明確になる。添付図面において
図１は、運転支援システムの概略的な構成を示すブロック図である。 図２は、最短部位間距離について説明を行うための図である。 図３は、運転支援ＥＣＵでの鳥瞰画像表示関連処理の流れの一例を示すフローチャートである。 図４は、実施形態１でのマーカの表示位置について説明を行うための図である。 図５は、実施形態１でのマーカの表示例を示す図である。 図６は、関連技術でのマーカの表示位置について説明を行うための図である。 図７は、関連技術でのマーカの表示例を示す図である。 図８は、実施形態１でのマーカの表示位置について説明を行うための図である。 図９は、実施形態１でのマーカの表示例を示す図である。 図１０は、実施形態１でのマーカの表示例を示す図である。 図１１は、実施形態１でのマーカの表示例を示す図である。 図１２は、変形例１でのマーカの表示例を示す図である。
　以下、実施形態について図面を用いて説明する。
　（実施形態１）
　＜運転支援システム１００の概略構成＞
　図１は、運転支援システム１００の概略的な構成の一例を示す図である。運転支援システム１００は車両に搭載されるものであり、図１に示すように運転支援ＥＣＵ１、シフトポジションセンサ２、舵角センサ３、車速センサ４、カメラ５、レーザレーダユニット６、及びディスプレイ７を含んでいる。運転支援システム１００を搭載している車両を以降では自車と呼ぶ。
　シフトポジションセンサ２は、自車のシフトポジションを検出する。舵角センサ３は、自車の操舵角を検出する。車速センサは、自車の速度を検出する。
　カメラ５は、自車に設置されて自車周辺を逐次撮像する。このカメラ５が撮像装置の一例に相当する。本実施形態では、カメラ５としては、自車前方所定角範囲を撮像する前方カメラと、自車後方所定角範囲を撮像する後方カメラと、自車左側方所定角範囲を撮像する左側方カメラと、自車右側方所定角範囲を撮像する右側方カメラとを用いる場合を例に挙げて説明を行う。カメラ５は、前方カメラ、後方カメラ、左側方カメラ、及び右側方カメラによって自車の全周囲を撮像範囲としている。
　レーザレーダユニット６は、レーザレーダ６ａ及び制御ＩＣ６ｂを備える。レーザレーダユニット６が測距センサの一例に相当する。レーザレーダ６ａは、発光部や受光部などからなる。発光部は、パルス状のレーザ光を、スキャナ及び発光レンズを介して放射するレーザダイオードを備えている。レーザダイオードは、レーザダイオード駆動回路を介して制御ＩＣ６ｂに接続され、制御ＩＣ６ｂからの駆動信号によりレーザ光を放射する。また、スキャナには反射体としてのポリゴンミラーが、モータによって回転駆動可能に設けられている。制御ＩＣ６ｂからの駆動信号がモータ駆動回路に入力されると、モータ駆動回路がそのモータを駆動することにより、ポリゴンミラーを回転させる。このモータの回転位置は、モータ回転位置センサによって検出され、制御ＩＣ６ｂに出力される。
　ポリゴンミラーは、回転軸回りの側面に６個の反射面が形成されている。また、ポリゴンミラーにおける各反射面はそれぞれ異なる面倒れ角を有するように形成されている。このため、ポリゴンミラーを所定速度で回転させつつ、レーザダイオードからレーザ光を間欠的に放射させることにより、水平方向及び高さ方向それぞれの所定角度の範囲にレーザ光を掃引照射（つまり、スキャン）することが可能になる。
　受光部は、物体に反射されたレーザ光（つまり、反射光）を受光する受光レンズを有し、この受光レンズは、受光した反射光を受光素子に与える。受光素子は、反射光の強度に対応する電圧を出力する。この受光素子の出力電圧は、増幅器にて増幅された後にコンパレータに出力される。コンパレータは増幅器の出力電圧を基準電圧と比較し、出力電圧が基準電圧より大きくなったとき、所定の受光信号を時間計測回路へ出力する。
　時間計測回路には、制御ＩＣ６ｂからレーザダイオード駆動回路へ出力される駆動信号も入力されている。この時間計測回路は、駆動信号を出力してから受光信号が発生するまでの時間、すなわちレーザ光を出射した時刻と反射光を受光した時刻との時間差を２進デジタル信号に符号化する。そして、この２進デジタル信号が、計測時間データとして制御ＩＣ６ｂに入力される。
　本実施形態では、例えば発光部は、レーザ光を実際に照射する角度範囲（以下、照射エリア）において、０．０８ｄｅｇのビームステップ角でレーザ光を照射する。この場合、照射エリア内の水平方向及び高さ方向の全てを０．０８ｄｅｇのビームステップ角で照射する１周期を１スキャンとする。
　発光部が、実際にレーザ光を照射する際には、上述した照射エリア内を２次元的にレーザ光がスキャンするように、制御ＩＣ６ｂから発光部に駆動信号が出力される。このような２次元的なスキャンにより、反射光を受光した場合には、その反射光が得られたレーザ光の照射角度θが一義的に定まる。
　制御ＩＣ６ｂは、時間計測回路からレーザ光の出射時刻と反射光の受光時刻との時間差が入力されるごとに、その時間差に基づいてレーザレーダ６ａから物体上の反射点までの距離ｄを逐次算出する。これにより、自車周辺に障害物が存在する場合には、自車のレーザレーダ６ａの設置位置から、障害物における高さ方向及び水平方向に複数並んだ各反射点までの距離をそれぞれ検出することになる。よって、物体上の反射点が計測点の一例に相当し、距離ｄが計測点距離の一例に相当する。
　そして、制御ＩＣ６ｂは、距離ｄと、反射光が得られたレーザ光の照射角度θとの極座標系のデータを、測定結果として運転支援ＥＣＵ１に送る。一例として、制御ＩＣ６ｂは、照射エリア内を１スキャンして得られた測定結果を、１スキャン分の測定結果として運転支援ＥＣＵ１に送る。
　本実施形態では、レーザレーダユニット６は、自車前部、自車左側部、自車後部、自車右側部に設置されて、各々が自車前方所定角範囲、自車左側方所定角範囲、自車後方所定角範囲、自車右側方所定角範囲の障害物を検出する場合を例に挙げて説明を行う。
　ディスプレイ７は、運転支援ＥＣＵ１から出力される画像を表示する。このディスプレイ７が表示装置の一例に相当する。例えばディスプレイ７は、フルカラー表示が可能なものであり、液晶ディスプレイ等を用いて構成することができる。
　運転支援ＥＣＵ１は、主にマイクロコンピュータとして構成され、いずれも周知のＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、Ｉ／Ｏ、及びこれらを接続するバスによって構成される。運転支援ＥＣＵ１は、シフトポジションセンサ２、舵角センサ３、車速センサ４、カメラ５、レーザレーダユニット６から入力された各種情報に基づき、各種処理を実行する。この運転支援ＥＣＵ１が、運転支援装置の一例に相当する。
　なお、運転支援ＥＣＵ１が実行する機能の一部又は全部を、一つ或いは複数のＩＣ等によりハードウェア的に構成してもよい。また、運転支援ＥＣＵ１は必ずしも一つのＥＣＵからなる構成に限らず、複数のＥＣＵからなる構成としてもよい。
　＜運転支援ＥＣＵ１の詳細構成＞
　図１に示すように、運転支援ＥＣＵ１は、車両移動情報取得部１１、画像記憶部１２、画像処理部１３、過去画像補間処理部１４、測定結果取得部１５、障害物形状特定部１６、自車形状記憶部１７、最短部位間距離特定部１８、及び表示処理部１９を備えている。
　車両移動情報取得部１１は、シフトポジションセンサ２で検出した自車のシフトポジションや、舵角センサ３で検出した自車の操舵角や、車速センサ４で検出した自車の車速といった、自車の移動の状態を特定できる車両移動情報を取得する。
　本実施形態では、一例として、車両移動情報取得部１１で取得する車両移動情報のうちの自車の車速が所定値以下である場合にカメラ５及びレーザレーダユニット６が作動する一方、自車の車速が所定値以下でない場合にカメラ５及びレーザレーダユニット６が作動しない構成とする。ここで言うところの所定値とは、駐車時に自車を減速させる程度の車速であって、任意に設定可能な値である。
　画像記憶部１２は、カメラ５から入力される、カメラ５で撮像した自車周辺の撮像画像を記憶する。本実施形態の例では、前方カメラ、後方カメラ、左側方カメラ、及び右側方カメラで撮像した直近の撮像画像が画像記憶部１２に記憶される。画像記憶部１２には、前方カメラ、後方カメラ、左側方カメラ、及び右側方カメラの直近の撮像画像を記憶しておくだけでなく、後述の画像処理部１３で得られる鳥瞰画像を例えば過去数回分記憶しておく。画像記憶部１２に記憶しておく過去数回分の鳥瞰画像を以降では履歴画像と呼ぶ。
　画像処理部１３は、前方カメラ、後方カメラ、左側方カメラ、及び右側方カメラの各撮像画像を、周知の座標変換式を用いることにより、路地上面を鉛直方向に見下ろした鳥瞰画像へと変換する鳥瞰変換を行って鳥瞰画像を得る。なお、画像処理部１３において、撮像画像にレンズ歪み補正などの必要な画像処理を施してから、鳥瞰変換を行う構成としてもよい。
　そして、画像処理部１３は、前方カメラ、後方カメラ、左側方カメラ、及び右側方カメラの各撮像画像を鳥瞰変換して得られた鳥瞰画像を、周知の変換式を用いることによって回転移動及び平行移動させ、一つの座標平面上に配置（つまり、一枚の画像とみなせるように鳥瞰画像を配置）し、各鳥瞰画像を合成した合成画像を生成する。
　また、画像処理部１３は、上記合成画像を生成する場合に、運転支援ＥＣＵ１の不揮発性メモリに記憶しておいた自車の画像（例えば自車を表すＣＧの画像など）を読み出して、自車位置に該当する箇所に配置し、各鳥瞰画像とともに合成する。そして、画像処理部１３は、合成した合成画像の描画データを表示処理部１９に送る。
　合成画像中での自車位置は、以下のようにして特定すればよい。まず、自車に対するカメラ５の設置位置及び撮像方向が決まれば、撮像画像中での位置とカメラ５の設置位置との対応関係を特定することができる。よって、本実施形態では、自車に対するカメラ５の設置位置及び撮像方向から合成画像中での位置に対するカメラ５の位置を特定する。そして、自車に対するカメラ５の設置位置から、カメラ５の設置位置に対する自車の位置が特定できるので、特定した合成画像中での位置に対するカメラ５の位置から、合成画像における自車の位置を特定する。
　過去画像補間処理部１４は、前方カメラ、後方カメラ、左側方カメラ、右側方カメラなどで自車の周囲を撮像できない状況になった場合には、画像記憶部１２から前述の履歴画像を読み出して、画像処理部１３での自車の全周囲の鳥瞰画像の合成を可能にする。
　過去画像補間処理部１４は、車両移動情報取得部１１で取得した車両移動情報から特定できる自車の移動の状態に応じて、自車位置に対する履歴画像の配置位置を決定し、決定した配置位置及び履歴画像を画像処理部１３に送る。一例として、自車の操舵角及び車速から特定した自車の走行軌跡をもとに、現在の自車位置に対する履歴画像の配置位置を推定することで自車位置に対する履歴画像の配置位置を決定する。
　画像処理部１３では、過去画像補間処理部１４で決定したこの配置位置に従い、過去画像補間処理部１４から送られてくる履歴画像を配置して鳥瞰画像を合成することで合成画像を生成する。
　測定結果取得部１５は、レーザレーダユニット６での１スキャン分の測定結果を取得する。この測定結果取得部１５が計測点距離取得部の一例に相当する。レーザレーダユニット６での測定結果は、前述したように、レーザレーダ６ａから障害物上の反射点までの距離ｄと反射光が得られたレーザ光の照射角度θとの極座標系のデータである。このレーザレーダ６ａの設置位置が自車の所定位置の一例に相当する。
　障害物形状特定部１６は、測定結果取得部１５で取得したレーザレーダユニット６での１スキャン分の測定結果、すなわち、距離ｄと照射角度θとの極座標系のデータをもとに、障害物の３次元形状（以下、障害物形状）を特定する。この照射角度θが計測点の方向の一例に相当する。一例としては、以下のようにして障害物形状を特定する。
　まず、障害物形状特定部１６は、自車の中心位置に対するレーザレーダ６ａの相対位置をもとに、レーザレーダ６ａの自車への設置位置を原点とする極座標（ｄ、θ）を、自車の中心位置を原点（０、０、０）とする３次元の直交座標系の座標に変換する。自車の中心位置に対するレーザレーダ６ａの相対位置は、運転支援ＥＣＵ１の不揮発性メモリに記憶されているものを用いる構成とすればよい。障害物形状特定部１６は、レーザレーダユニット６での１スキャン分の極座標（ｄ、θ）を３次元の直交座標系の座標に変換した座標の集合を、障害物形状として特定する。
　レーザレーダユニット６でのスキャンは、高さ方向について０．０８ｄｅｇのビームステップ角で行われるので、実際には、障害物形状として、障害物の高さ位置別の水平方向に広がる形状を特定することになる。
　自車形状記憶部１７は、サイドミラーやバンパなどの突出した部分も含む比較的詳細な自車の輪郭を示す自車形状を記憶している。自車形状は、例えば自車中心を原点とした３次元の直交座標系における自車の輪郭を示す座標点の集合で表すものとする。この自車の輪郭を示す座標点の集合の情報が自車形状情報の一例に相当する。
　最短部位間距離特定部１８は、自車形状記憶部１７に記憶している自車形状と、障害物形状特定部１６で特定した障害物形状とをもとに、自車と障害物との同じ高さ位置にある部位間のうち、お互いの間の距離が最も短くなる部位間の距離（以下、最短部位間距離）を特定する。言い換えると、自車形状記憶部１７に記憶している自車の高さ位置別の水平方向に広がる形状と、障害物形状特定部１６で特定した障害物の高さ位置別の水平方向に広がる形状とをもとに、最短部位間距離を特定する。
　一例としては、自車の中心位置を原点（０、０、０）とする３次元の直交座標系において、高さ別に、自車形状としての各座標点と障害物形状としての各座標点との距離を算出し、算出された距離のうちの最短の距離を最短部位間距離と特定すればよい。
　ここで、図２を用いて最短部位間距離について説明を行う。図２のＨＶが自車、Ｏｂが自車後方の障害物、Ａが最短部位間距離、Ｂが自車と障害物とのそれぞれからお互いに向けて最も突き出している部位同士の距離を示している。障害物Ｏｂは、下部に比べ上部が自車側に突き出した形状をしている。最短部位間距離Ａは、自車と障害物とのそれぞれからお互いに向けて最も突き出している部位同士の高さがずれている場合には、距離Ｂよりも大きい値となる、自車と障害物とで実際に接触する可能性のある部位同士の距離である。
　表示処理部１９は、画像処理部１３で生成した合成画像をディスプレイ７に表示させる。また、必要に応じて、合成画像の最短部位間距離特定部１８で特定した最短部位間距離に応じた位置にマーカを重畳させてディスプレイ７に表示させる。このマーカは、自車が障害物に接近可能な境界を示すものである。表示処理部１９での合成画像にマーカを重畳させて表示させる処理の詳細については後述する。
　他にも、表示処理部１９は、車両移動情報取得部１１で取得した車両移動情報をもとに、合成画像に自車の予想軌跡線などといったガイドを重畳させてディスプレイ７に表示させてもよい。一例として、シフトポジションが後退位置である場合には自車の後方に予想軌跡線を表示させたり、シフトポジションが前進位置である場合には自車の前方に予想軌跡線を表示させたりすればよい。予想軌跡線については、自車の操舵角と車速とから予想すればよい。
　＜鳥瞰画像表示関連処理＞
　ここで、運転支援ＥＣＵ１での鳥瞰画像表示関連処理について図３のフローチャートを用いて説明を行う。鳥瞰画像表示関連処理は、自車周辺の撮像画像を鳥瞰変換した鳥瞰画像をディスプレイ７に表示させる処理に関連する処理である。図３のフローチャートは、一例として、自車のイグニッション電源がオンになったときに開始される。
　まず、ステップＳ１では、車両移動情報取得部１１が車両移動情報を取得する。具体的には、車速センサ４で検出した自車の車速を取得する。ステップＳ２では、Ｓ１で取得した自車の車速が所定値以下であった場合（Ｓ２でＹＥＳ）には、ステップＳ３に移る。一方、自車の車速が所定値以下でなかった場合（Ｓ２でＮＯ）には、ステップＳ９に移る。ステップＳ３では、画像処理部１３が、カメラ５で撮像した自車周辺の撮像画像を鳥瞰変換した鳥瞰画像と自車画像とを合成した合成画像を生成する。
　ステップＳ４では、表示処理部１９が、測定結果取得部１５で取得したレーザレーダユニット６での１スキャン分の測定結果をもとに、自車から所定距離内に障害物があるか否かを判定する。ここで言うところの所定距離は、任意に設定可能な距離であって、例えば数ｍ程度とすればよい。
　一例としては、１スキャン分のレーザレーダ６ａから障害物上の反射点までの距離ｄのうちに、所定距離以下のものが存在する場合は、自車から所定距離内に障害物があると判定し、所定距離以下のものが存在しない場合は、自車から所定距離内に障害物がないと判定する。そして、自車から所定距離内に障害物があると判定した場合（Ｓ４でＹＥＳ）には、ステップＳ５に移る。一方、自車から所定距離内に障害物がないと判定した場合（Ｓ４でＮＯ）には、ステップＳ８に移る。
　ステップＳ５では、障害物形状特定部１６が、測定結果取得部１５で取得したレーザレーダユニット６での１スキャン分の測定結果をもとに、障害物形状を特定する。ステップＳ６では、Ｓ５で特定した障害物形状と、自車形状記憶部１７に記憶している自車形状とをもとに、最短部位間距離特定部１８が前述の最短部位間距離を特定する。
　ステップＳ７では、表示処理部１９が、Ｓ３で生成した合成画像のＳ６で特定した最短部位間距離に応じた位置に、マーカを重畳させてディスプレイ７に表示させる。一例として、合成画像における、自車の部位のうちの障害物が位置する方向に最も突き出た部位（以下、突出部位）から障害物が位置する方向に最短部位間距離だけ離れた位置に、マーカを重畳させてディスプレイ７に表示させる。例えばマーカは、障害物側に向いた自車の面に沿った方向に伸びる直線で示せばよい。自車の面は、例えば、前面、左側面、後面、右側面の４種のいずれかとすればよい。
　突出部位は、自車形状記憶部１７に記憶している自車形状と、障害物形状特定部１６で特定した障害物形状とをもとに特定すればよい。例えば、自車形状としての各座標点と障害物形状としての各座標点とについて、高さ位置が全て同じと仮定した上で、自車形状と障害物形状との座標間の距離が最短となる座標同士を特定する。そして、特定した座標同士のうちの、自車側の座標を突出部位と特定すればよい。また、特定した座標同士のうちの自車側の座標から、特定した座標同士のうちの障害物側の座標に向かう方向を、障害物が位置する方向とすればよい。
　ここで、図４及び図５を用いて、マーカの表示例についての説明を行う。まず、図４を用いてマーカの表示位置についての説明を行う。図４のＨＶが自車、Ｏｂが自車後方の障害物、Ｐｒが突出部位、Ａが最短部位間距離、ＭＰがマーカの位置を示している。障害物Ｏｂは、下部に比べ上部が自車側に突き出した形状をしている。マーカの位置は、突出部位Ｐｒから障害物Ｏｂが位置する方向に最短部位間距離Ａだけ離れた位置ＭＰに相当する合成画像上の位置となる。
　続いて、図５を用いて合成画像に重畳されるマーカの表示例について説明を行う。図５のＰｉが合成画像、ＨＶＰが合成画像中の自車画像、ＯｂＰが合成画像中の自車後方の障害物の画像、ＰｒＰが突出部位の画像、Ａが最短部位間距離、Ｍａがマーカを示している。マーカＭａは、突出部位Ｐｒから障害物Ｏｂが位置する方向に最短部位間距離Ａだけ離れた位置に表示されるので、実際に自車が接近可能な境界にあたる位置に表示される。
　ステップＳ８では、表示処理部１９が、Ｓ３で生成した合成画像をディスプレイ７に表示させる。Ｓ８では、Ｓ７とは異なり、合成画像にマーカを重畳させないことになる。
　ステップＳ９では、鳥瞰画像表示関連処理の終了タイミングである場合（Ｓ９でＹＥＳ）には、鳥瞰画像表示関連処理を終了する。また、鳥瞰画像表示関連処理の終了タイミングでない場合（Ｓ９でＮＯ）には、Ｓ１に戻って処理を繰り返す。鳥瞰画像表示関連処理の終了タイミングとしては、自車のイグニッション電源がオフになったときなどがある。
　＜実施形態１のまとめ＞
　実施形態１の構成によれば、自車と障害物との同じ高さ位置にある部位間の距離が最も短くなる最短部位間距離を特定するので、自車と障害物との間で実際に確保できる距離をより正確に特定することが可能になる。また、実施形態１の構成によれば、鳥瞰画像と自車画像とを合成した合成画像において、自車の部位のうちの障害物が位置する方向に最も突き出た部位から障害物が位置する方向に最短部位間距離だけ離れた位置にマーカを重畳して表示させる。よって、自車と障害物との間で実際に確保できる距離をより正確にユーザに認識させることが可能になる。その結果、鳥瞰画像上ではわかりづらい自車と障害物とのより正確な距離がわかりやすくなる。
　ここで、本実施形態における作用効果について、具体的に図４～図７を用いて説明を行う。まず、図６及び図７を用いて、特許文献１に開示されているような関連技術について述べる。
　関連技術では、障害物Ｏｂの自車ＨＶ側に最も突出した外縁にあたる位置ＭＰに相当する合成画像上の位置にマーカＭａを表示させる（図６及び図７参照）。しかしながら、障害物Ｏｂの外縁よりもさらに障害物Ｏｂ側に自車が接近可能な場合、図７に示すように、マーカＭａが示す位置は、自車と障害物との間で実際に確保できる距離（つまり、最短部位間距離）よりも短い距離しか確保できないことを表す表示となってしまう。
　これに対して、実施形態１の構成によれば、図４及び図５に示すように、自車と障害物との間で実際に確保できる距離をより正確に示すマーカを表示させることができ、自車と障害物との間で実際に確保できる距離をより正確にユーザに認識させることが可能になる。
　なお、図４及び図５では、下部に比べ上部が自車側に突き出した形状をしている障害物を対象とした場合の例について説明を行ったが、例えば図８に示す傾斜のように、上部に比べて下部が自車側に突き出した形状をしている障害物を対象とした場合にも適用できる。図８に示した場合でも、マーカの位置は、突出部位Ｐｒから障害物Ｏｂが位置する方向に最短部位間距離Ａだけ離れた位置ＭＰに相当する合成画像上の位置となる。そして、図９に示すように、マーカＭａは、突出部位Ｐｒから障害物Ｏｂが位置する方向に最短部位間距離Ａだけ離れた位置に表示されるので、実際に自車が接近可能な境界にあたる位置に表示される。本実施形態では、図９に示すように、マーカＭａの位置が合成画像上の障害物の位置に重なる場合には、障害物に重ねてマーカＭａを表示させる。
　他にも、図１０及び図１１に示すように、自車が縦列駐車を行う場合にも適用することができる。なお、図１０、１１の記号は図５の記号と同様の対象を示している。また、図１０、１１のＳｉＰは、自車ＨＶのサイドミラーの画像を示している。
　例えば、縦列駐車において、障害物Ｏｂとの間で実際に確保できる距離が最も短い自車ＨＶの部位が自車ＨＶの側面である場合は、自車ＨＶの側面から障害物Ｏｂが位置する方向に最短部位間距離Ａだけ離れた位置にマーカＭａが表示される（図１０参照）。一方、自車が移動して、障害物Ｏｂとの間で実際に確保できる距離が最も短い自車ＨＶの部位が自車ＨＶのサイドミラーとなった場合は、自車ＨＶのサイドミラーから障害物Ｏｂが位置する方向に最短部位間距離Ａだけ離れた位置にマーカＭａが表示されることになる（図１１参照）。このように、自車が縦列駐車を行う場合にも、実際に自車が接近可能な境界にあたる位置にマーカＭａが表示される。
　また、実施形態１の構成によれば、鳥瞰画像の合成画像を表示させる場合に常にＳ５及びＳ６の処理を行うのでなく、Ｓ４で自車から所定距離内に障害物がないと判定した場合には、Ｓ５及びＳ６の処理を行わないことになる。よって、鳥瞰画像の合成画像を表示させる場合にも、必要に応じてＳ５及びＳ６の処理を行うことになり、運転支援ＥＣＵ１の処理負荷を軽減することが可能になる。
　（変形例１）
　実施形態１では、突出部位から障害物が位置する方向に最短部位間距離離れた位置にマーカを表示させる構成を示したが、必ずしもこれに限らない。例えば、突出部位から最短部位間距離離れた位置よりも自車位置側に所定距離ずれた位置にマーカを表示させる構成（以下、変形例１）としてもよい。ここで言うところの所定距離とは、任意に設定可能な値であって、例えばレーザレーダユニット６での距離の測定誤差程度の値とすればよい。
　ここで、図１２を用いて、変形例１におけるマーカの表示例についての説明を行う。なお、図１２の記号は図５の記号と同様の対象を示している。また、図１２のＸは、突出部位Ｐｒから最短部位間距離Ａだけ離れた位置ＭＰよりも自車ＨＶ位置側にずれた所定距離を示している。図１２に示すように、変形例１では、マーカＭａの表示される位置は、突出部位Ｐｒから障害物Ｏｂが位置する方向に最短部位間距離Ａだけ離れた位置ＭＰよりも自車ＨＶ位置側に所定距離Ｘずれた位置となる。
　（変形例２）
　実施形態１では、自車周辺の障害物における高さ方向及び水平方向に複数並んだ各計測点までの計測点距離をそれぞれ検出する測距センサとして、レーザレーダ６ａを用いる構成を示したが、必ずしもこれに限らない。測距センサとして、例えばミリ波レーダや超音波センサなどを用いる構成としてもよいし、ステレオカメラや単眼のカメラ等のカメラを用いる構成としてもよい。
　（変形例３）
　実施形態１では、マーカを、障害物側に向いた自車の面に沿った方向に伸びる直線で示す構成を示したが、必ずしもこれに限らない。例えば、自車側に面した障害物の外縁に沿った方向に伸びる直線で示す構成としてもよいし、点や曲線など他の形状を用いて示す構成としてもよい。
　なお、実施形態は、上述した各実施形態に限定されるものではなく、種々の変更が可能である。異なる実施形態にそれぞれ開示された技術的部位を適宜組み合わせて得られる実施形態についても本開示の実施形態に含まれる。

 

Claims (4)

  1. 　車両で用いられ、
    　自車の周辺を撮像する撮像装置（５）で撮像された画像を鳥瞰変換する画像処理部（１３）と、
    　前記画像処理部で鳥瞰変換した鳥瞰画像に自車位置を示す自車画像を重畳させて表示装置（７）に表示させる表示処理部（１９）とを備える運転支援装置であって、
    　自車の高さ位置別の水平方向に広がる形状を少なくとも特定できる情報である自車形状情報を記憶している自車形状記憶部（１７）と、
    　自車の所定位置から、自車周辺の障害物における高さ方向及び水平方向に複数並んだ各計測点までの計測点距離をそれぞれ検出する測距センサ（６）で検出した前記計測点距離を取得する計測点距離取得部（１５）と、
    　前記計測点距離取得部で取得した前記計測点距離と前記所定位置に対する前記計測点の方向とをもとに、前記障害物の高さ位置別の水平方向に広がる形状を特定する障害物形状特定部（１６）と、
    　前記自車形状記憶部に記憶している自車形状情報から特定できる自車の高さ位置別の水平方向に広がる形状と、前記障害物形状特定部で特定した前記障害物の高さ位置別の水平方向に広がる形状とをもとに、自車と前記障害物との同じ高さ位置にある部位間の距離が最も短くなる最短部位間距離を特定する最短部位間距離特定部（１８）とをさらに備え、
    　前記表示処理部は、前記鳥瞰画像において、前記自車画像に対して前記障害物が位置する方向の、前記最短部位間距離特定部で特定した前記最短部位間距離に応じた位置にマーカを重畳して表示させる、運転支援装置。
  2. 　請求項１において、
    　前記表示処理部は、前記鳥瞰画像において、自車にとっての前記障害物が位置する方向に最も突き出た部位から前記障害物が位置する方向に前記最短部位間距離だけ離れた位置に、マーカを表示させることで、前記自車画像に対して前記障害物が位置する方向の、前記最短部位間距離特定部で特定した前記最短部位間距離に応じた位置にマーカを重畳して表示させる、運転支援装置。
  3. 　請求項１において、
    　前記表示処理部は、前記鳥瞰画像において、自車にとっての前記障害物が位置する方向に最も突き出た部位から前記障害物が位置する方向に前記最短部位間距離だけ離れた位置よりも自車位置側に所定距離ずれた位置に、マーカを表示させることで、前記自車画像に対して前記障害物が位置する方向の、前記最短部位間距離特定部で特定した前記最短部位間距離に応じた位置にマーカを重畳して表示させる、運転支援装置。
  4. 　請求項１～３のいずれか１項において、
    　前記表示処理部は、前記マーカの前記鳥瞰画像上での表示位置が前記鳥瞰画像上の前記障害物に重なる場合に、前記障害物に重ねて前記マーカを表示させる、運転支援装置。

     
PCT/JP2015/004134 2014-09-04 2015-08-19 運転支援装置 WO2016035272A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-180405 2014-09-04
JP2014180405A JP6287704B2 (ja) 2014-09-04 2014-09-04 運転支援装置

Publications (1)

Publication Number Publication Date
WO2016035272A1 true WO2016035272A1 (ja) 2016-03-10

Family

ID=55439361

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/004134 WO2016035272A1 (ja) 2014-09-04 2015-08-19 運転支援装置

Country Status (2)

Country Link
JP (1) JP6287704B2 (ja)
WO (1) WO2016035272A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109624854A (zh) * 2018-12-03 2019-04-16 浙江明航智能科技有限公司 一种适用于特种车辆的360°全景辅助可视系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6595401B2 (ja) * 2016-04-26 2019-10-23 株式会社Ｓｏｋｅｎ 表示制御装置
JP6501805B2 (ja) * 2017-01-04 2019-04-17 株式会社デンソーテン 画像処理装置および画像処理方法
WO2018146997A1 (ja) * 2017-02-07 2018-08-16 日本電気株式会社 立体物検出装置
JP7183800B2 (ja) * 2019-01-10 2022-12-06 トヨタ自動車株式会社 運転支援装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005318541A (ja) * 2004-04-02 2005-11-10 Denso Corp 車両周辺監視システム
JP2007043600A (ja) * 2005-08-05 2007-02-15 Alpine Electronics Inc 周辺状況表示装置及び周辺状況表示方法
JP2012065225A (ja) * 2010-09-17 2012-03-29 Panasonic Corp 車載用画像処理装置、周辺監視装置、および、車両

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5057936B2 (ja) * 2007-11-09 2012-10-24 アルパイン株式会社 鳥瞰画像生成装置および方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005318541A (ja) * 2004-04-02 2005-11-10 Denso Corp 車両周辺監視システム
JP2007043600A (ja) * 2005-08-05 2007-02-15 Alpine Electronics Inc 周辺状況表示装置及び周辺状況表示方法
JP2012065225A (ja) * 2010-09-17 2012-03-29 Panasonic Corp 車載用画像処理装置、周辺監視装置、および、車両

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109624854A (zh) * 2018-12-03 2019-04-16 浙江明航智能科技有限公司 一种适用于特种车辆的360°全景辅助可视系统

Also Published As

Publication number Publication date
JP2016052867A (ja) 2016-04-14
JP6287704B2 (ja) 2018-03-07

Similar Documents

Publication Publication Date Title
WO2016035272A1 (ja) 運転支援装置
JP6019959B2 (ja) 物体検出装置、物体検出プログラムおよび車両
US10935643B2 (en) Sensor calibration method and sensor calibration apparatus
US9151626B1 (en) Vehicle position estimation system
US9863775B2 (en) Vehicle localization system
JP6291781B2 (ja) 周辺監視装置及び周辺監視システム
US8559674B2 (en) Moving state estimating device
JP2020003236A (ja) 測距装置、移動体、測距方法、測距システム
JP2008026997A (ja) 歩行者認識装置及び歩行者認識方法
CN108061898B (zh) 用于自动化车辆的扫描激光雷达
JP5098563B2 (ja) 物体検出装置
JP2017052471A (ja) 車両用駐車区画認識装置
WO2016129552A1 (ja) カメラパラメータ調整装置
JP7176406B2 (ja) 画像処理方法、画像処理装置、車載装置、移動体、システム
US11535243B2 (en) Remote parking system
CN112622879B (zh) 远程泊车系统
KR20150051388A (ko) 스테레오 카메라 보정 시스템
JP4720446B2 (ja) 車両検出装置及びこれを用いた車両用表示装置
CN108061902A (zh) 一种探测物体的方法及装置
JP6501805B2 (ja) 画像処理装置および画像処理方法
JP2016213708A (ja) 車両用表示装置
JP2018024374A (ja) 車両用投影装置
JP6406175B2 (ja) 車載表示制御装置、車載表示制御方法
JP7119444B2 (ja) 測距システム、測距方法、車載装置、車両
KR101853652B1 (ko) 어라운드뷰 생성 방법 및 이를 수행하는 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15837384

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15837384

Country of ref document: EP

Kind code of ref document: A1