WO2013129358A1 - 立体物検出装置 - Google Patents

立体物検出装置 Download PDF

Info

Publication number
WO2013129358A1
WO2013129358A1 PCT/JP2013/054860 JP2013054860W WO2013129358A1 WO 2013129358 A1 WO2013129358 A1 WO 2013129358A1 JP 2013054860 W JP2013054860 W JP 2013054860W WO 2013129358 A1 WO2013129358 A1 WO 2013129358A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional object
detection
bird
image
eye view
Prior art date
Application number
PCT/JP2013/054860
Other languages
English (en)
French (fr)
Inventor
修 深田
早川　泰久
Original Assignee
日産自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日産自動車株式会社 filed Critical 日産自動車株式会社
Priority to MX2014010405A priority Critical patent/MX2014010405A/es
Priority to JP2014502227A priority patent/JP5733467B2/ja
Priority to EP13755143.8A priority patent/EP2821957B1/en
Priority to BR112014020353-9A priority patent/BR112014020353B1/pt
Priority to US14/373,064 priority patent/US9239960B2/en
Priority to RU2014139838A priority patent/RU2636121C2/ru
Priority to CN201380008399.1A priority patent/CN104094311B/zh
Publication of WO2013129358A1 publication Critical patent/WO2013129358A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/002—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle
    • B60Q9/004—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors
    • B60Q9/005—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors using a video camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Definitions

  • the present invention relates to a three-dimensional object detection device.
  • This application claims priority based on Japanese Patent Application No. 2012-046629 filed on Mar. 2, 2012.
  • the contents described in the application are incorporated into the present application by reference and made a part of the description of the present application.
  • Patent Document 1 a technique for detecting the implantation of a road shoulder by performing image processing on a captured image captured by an imaging device by pattern matching is known (see Patent Document 1).
  • the conventional technique detects planted grass by image processing based on pattern matching, high detection accuracy cannot be obtained when detecting the planted grass. May be erroneously detected as another vehicle traveling on the road.
  • the problem to be solved by the present invention is to provide a three-dimensional object detection device that can appropriately detect an adjacent vehicle.
  • the present invention detects a three-dimensional object based on a captured image, calculates a degree of variation in the movement speed of the three-dimensional object based on the amount of change in the movement speed of the detected three-dimensional object, and detects based on the calculated degree of variation.
  • the above-described problem is solved by determining whether or not the three-dimensional object that has been used is a non-detection target object.
  • the movement speed of the three-dimensional object is calculated when the amount of time change in the movement speed of the three-dimensional object is calculated based on the image information. Tend to vary. According to the present invention, by determining whether or not the detected three-dimensional object is a non-detection target object such as planted grass based on the degree of variation in the moving speed of the three-dimensional object, the adjacent vehicle is It can be detected properly.
  • FIG. 1 is a schematic configuration diagram of a vehicle equipped with a three-dimensional object detection device.
  • FIG. 2 is a plan view showing a traveling state of the vehicle of FIG.
  • FIG. 3 is a block diagram showing details of the computer.
  • 4A and 4B are diagrams for explaining the outline of the processing of the alignment unit, where FIG. 4A is a plan view showing the moving state of the vehicle, and FIG. 4B is an image showing the outline of the alignment.
  • FIG. 5 is a schematic diagram illustrating how a differential waveform is generated by the three-dimensional object detection unit.
  • FIG. 6 is a diagram illustrating a small area divided by the three-dimensional object detection unit.
  • FIG. 7 is a diagram illustrating an example of a histogram obtained by the three-dimensional object detection unit.
  • FIG. 1 is a schematic configuration diagram of a vehicle equipped with a three-dimensional object detection device.
  • FIG. 2 is a plan view showing a traveling state of the vehicle of FIG.
  • FIG. 3 is a
  • FIG. 8 is a diagram illustrating weighting by the three-dimensional object detection unit.
  • FIG. 9 is a diagram illustrating another example of a histogram obtained by the three-dimensional object detection unit.
  • FIG. 10 is a diagram for explaining a method for determining a non-detection target.
  • FIG. 11 is a diagram for explaining increase or decrease of the count value.
  • FIG. 12 is a flowchart showing the adjacent vehicle detection method (part 1).
  • FIG. 13 is a flowchart illustrating the adjacent vehicle detection method (part 2).
  • FIG. 14 is a block diagram illustrating details of the computer according to the second embodiment.
  • 15A and 15B are diagrams showing a running state of the vehicle, in which FIG. 15A is a plan view showing the positional relationship of the detection area and the like, and FIG. FIG.
  • FIG. 16 is a diagram for explaining the operation of the luminance difference calculation unit according to the second embodiment
  • FIG. 16A is a diagram showing the positional relationship between the attention line, the reference line, the attention point, and the reference point in the bird's-eye view image.
  • (B) is a figure which shows the positional relationship of the attention line, reference line, attention point, and reference point in real space.
  • FIGS. 17A and 17B are diagrams for explaining the detailed operation of the luminance difference calculation unit according to the second embodiment.
  • FIG. 17A is a diagram illustrating a detection area in a bird's-eye view image
  • FIG. It is a figure which shows the positional relationship of a line, a reference line, an attention point, and a reference point.
  • FIG. 17A is a diagram illustrating a detection area in a bird's-eye view image
  • FIG. It is a figure which shows the positional relationship of a line, a reference line, an attention point, and a reference point.
  • FIG. 18 is a diagram illustrating an image example for explaining the edge detection operation.
  • 19A and 19B are diagrams illustrating edge lines and luminance distribution on the edge lines.
  • FIG. 19A is a diagram illustrating the luminance distribution when a three-dimensional object (adjacent vehicle) exists in the detection area.
  • FIG. 19B is a detection area. It is a figure which shows luminance distribution when a solid object does not exist in FIG.
  • FIG. 20 is a flowchart (part 1) illustrating the adjacent vehicle detection method according to the second embodiment.
  • FIG. 21 is a flowchart (part 2) illustrating the adjacent vehicle detection method according to the second embodiment.
  • FIG. 1 is a schematic configuration diagram of a vehicle equipped with a three-dimensional object detection device 1 according to the present embodiment.
  • the three-dimensional object detection device 1 according to the present embodiment is intended to detect another vehicle (hereinafter also referred to as an adjacent vehicle V2) existing in an adjacent lane that may be contacted when the host vehicle V1 changes lanes. To do.
  • the three-dimensional object detection device 1 according to the present embodiment includes a camera 10, a vehicle speed sensor 20, and a calculator 30.
  • the camera 10 is attached to the vehicle V ⁇ b> 1 so that the optical axis is at an angle ⁇ downward from the horizontal at a position of the height h behind the host vehicle V ⁇ b> 1.
  • the camera 10 captures an image of a predetermined area in the surrounding environment of the host vehicle V1 from this position.
  • the vehicle speed sensor 20 detects the traveling speed of the host vehicle V1, and calculates the vehicle speed from the wheel speed detected by, for example, a wheel speed sensor that detects the rotational speed of the wheel.
  • the computer 30 detects an adjacent vehicle existing in an adjacent lane behind the host vehicle.
  • FIG. 2 is a plan view showing a traveling state of the host vehicle V1 of FIG.
  • the camera 10 images the vehicle rear side at a predetermined angle of view a.
  • the angle of view a of the camera 10 is set to an angle of view at which the left and right lanes (adjacent lanes) can be imaged in addition to the lane in which the host vehicle V1 travels.
  • FIG. 3 is a block diagram showing details of the computer 30 of FIG. In FIG. 3, the camera 10 and the vehicle speed sensor 20 are also illustrated in order to clarify the connection relationship.
  • the computer 30 includes a viewpoint conversion unit 31, a positioning unit 32, a three-dimensional object detection unit 33, and a three-dimensional object determination unit 34. Below, each structure is demonstrated.
  • the viewpoint conversion unit 31 inputs captured image data of a predetermined area obtained by imaging with the camera 10, and converts the viewpoint of the input captured image data into bird's-eye image data in a bird's-eye view state.
  • the state viewed from a bird's-eye view is a state viewed from the viewpoint of a virtual camera looking down from above, for example, vertically downward.
  • This viewpoint conversion can be executed as described in, for example, Japanese Patent Application Laid-Open No. 2008-219063.
  • the viewpoint conversion of captured image data to bird's-eye view image data is based on the principle that a vertical edge peculiar to a three-dimensional object is converted into a straight line group passing through a specific fixed point by viewpoint conversion to bird's-eye view image data. This is because a planar object and a three-dimensional object can be distinguished if used.
  • the alignment unit 32 sequentially inputs the bird's-eye view image data obtained by the viewpoint conversion of the viewpoint conversion unit 31 and aligns the positions of the inputted bird's-eye view image data at different times.
  • 4A and 4B are diagrams for explaining the outline of the processing of the alignment unit 32, where FIG. 4A is a plan view showing the moving state of the host vehicle V1, and FIG. 4B is an image showing the outline of the alignment.
  • the host vehicle V1 of the current time is located in P 1, one unit time before the vehicle V1 is located in the P 1 '. Further, there is a parallel running state with the vehicle V1 is located is adjacent vehicle V2 laterally after the vehicle V1, located in P 2 adjacent vehicle V2 is the current time, one unit time before the adjacent vehicle V2 is P 2 Suppose it is located at '. Furthermore, it is assumed that the host vehicle V1 has moved a distance d at one time. Note that “one hour before” may be a past time for a predetermined time (for example, one control cycle) from the current time, or may be a past time for an arbitrary time.
  • the bird's-eye view image PB t at the current time is as shown in Figure 4 (b).
  • the adjacent vehicle V2 (position P 2) is tilting occurs.
  • the white line drawn on the road surface has a rectangular shape, and is in a state of being relatively accurately viewed in plan, but the adjacent vehicle V2 (position P 2). ') Will fall down.
  • the vertical edges of solid objects are straight lines along the collapse direction by the viewpoint conversion processing to bird's-eye view image data. This is because the plane image on the road surface does not include a vertical edge, but such a fall does not occur even when the viewpoint is changed.
  • the alignment unit 32 performs alignment of the bird's-eye view images PB t and PB t ⁇ 1 as described above on the data. At this time, the alignment unit 32 offsets the bird's-eye view image PB t-1 at the previous time and matches the position with the bird's-eye view image PB t at the current time.
  • the image on the left side and the center image in FIG. 4B show a state that is offset by the movement distance d ′.
  • This offset amount d ′ is a movement amount on the bird's-eye view image data corresponding to the actual movement distance d of the host vehicle V1 shown in FIG. 4 (a). It is determined based on the time until the time.
  • the alignment unit 32 takes the difference between the bird's-eye view images PB t and PB t ⁇ 1 and generates data of the difference image PD t .
  • the alignment unit 32 converts the pixel value difference between the bird's-eye view images PB t and PB t ⁇ 1 to an absolute value in order to cope with a change in the illumination environment, and the absolute value is a predetermined value.
  • the three-dimensional object detection unit 33 detects a three-dimensional object based on the data of the difference image PD t shown in FIG. At this time, the three-dimensional object detection unit 33 also calculates the movement distance of the three-dimensional object in the real space. In detecting the three-dimensional object and calculating the movement distance, the three-dimensional object detection unit 33 first generates a differential waveform.
  • the three-dimensional object detection unit 33 sets a detection region in the difference image PD t .
  • the three-dimensional object detection device 1 of the present example is intended to calculate a movement distance for an adjacent vehicle that may be contacted when the host vehicle V1 changes lanes. For this reason, in this example, as shown in FIG. 2, rectangular detection areas A1, A2 are set on the rear side of the host vehicle V1. Such detection areas A1, A2 may be set from a relative position with respect to the host vehicle V1, or may be set based on the position of the white line. When setting the position of the white line as a reference, the three-dimensional object detection device 1 may use, for example, an existing white line recognition technique.
  • the three-dimensional object detection unit 33 recognizes the sides (sides along the traveling direction) of the set detection areas A1 and A2 on the own vehicle V1 side as the ground lines L1 and L2.
  • the ground line means a line in which the three-dimensional object contacts the ground.
  • the ground line is set as described above, not a line in contact with the ground. Even in this case, from experience, the difference between the ground line according to the present embodiment and the ground line obtained from the position of the original adjacent vehicle V2 is not too large, and there is no problem in practical use.
  • FIG. 5 is a schematic diagram illustrating how the three-dimensional object detection unit 33 generates a differential waveform.
  • the three-dimensional object detection unit 33 calculates a differential waveform from a portion corresponding to the detection areas A ⁇ b> 1 and A ⁇ b> 2 in the difference image PD t (right diagram in FIG. 4B) calculated by the alignment unit 32.
  • DW t is generated.
  • the three-dimensional object detection unit 33 generates a differential waveform DW t along the direction in which the three-dimensional object falls by viewpoint conversion.
  • the detection area A1 is described for convenience, but the difference waveform DW t is generated for the detection area A2 in the same procedure.
  • first three-dimensional object detection unit 33 defines a line La on the direction the three-dimensional object collapses on data of the difference image PD t. Then, the three-dimensional object detection unit 33 counts the number of difference pixels DP indicating a predetermined difference on the line La.
  • the difference pixel DP indicating the predetermined difference is expressed by the pixel value of the difference image PD t as “0” and “1”, and the pixel indicating “1” is counted as the difference pixel DP. .
  • the three-dimensional object detection unit 33 counts the number of difference pixels DP and then obtains an intersection point CP between the line La and the ground line L1. Then, the three-dimensional object detection unit 33 associates the intersection CP with the count number, determines the horizontal axis position based on the position of the intersection CP, that is, the position on the vertical axis in the right diagram of FIG. The axis position, that is, the position on the right and left axis in the right diagram of FIG. 5 is determined and plotted as the count number at the intersection CP.
  • the three-dimensional object detection unit 33 defines lines Lb, Lc... In the direction in which the three-dimensional object falls, counts the number of difference pixels DP, and determines the horizontal axis position based on the position of each intersection CP. Then, the vertical axis position is determined from the count number (number of difference pixels DP) and plotted.
  • the three-dimensional object detection unit 33 generates the differential waveform DW t as shown in the right diagram of FIG.
  • the difference pixel PD on the data of the difference image PD t is a pixel that has changed in the images at different times, in other words, a location where a three-dimensional object exists.
  • the difference waveform DW t is generated by counting the number of pixels along the direction in which the three-dimensional object collapses and performing frequency distribution at the location where the three-dimensional object exists.
  • the differential waveform DW t is generated from the information in the height direction for the three-dimensional object.
  • the line La and the line Lb in the direction in which the three-dimensional object collapses have different distances overlapping the detection area A1. For this reason, if the detection area A1 is filled with the difference pixels DP, the number of difference pixels DP is larger on the line La than on the line Lb. For this reason, when the three-dimensional object detection unit 33 determines the vertical axis position from the count number of the difference pixels DP, the three-dimensional object detection unit 33 is normalized based on the distance at which the lines La and Lb in the direction in which the three-dimensional object falls and the detection area A1 overlap. Turn into. As a specific example, in the left diagram of FIG.
  • the three-dimensional object detection unit 33 normalizes the count number by dividing it by the overlap distance.
  • the difference waveform DW t the line La on the direction the three-dimensional object collapses, the value of the differential waveform DW t corresponding to Lb is substantially the same.
  • the three-dimensional object detection unit 33 After generation of the differential waveform DW t, the three-dimensional object detection unit 33 calculates the moving distance in comparison with the differential waveform DW t-1 of the previous differential waveform DW t and a time instant at the current time. That is, the three-dimensional object detection unit 33 calculates the movement distance from the time change of the difference waveforms DW t and DW t ⁇ 1 .
  • the three-dimensional object detection unit 33 divides the differential waveform DW t into a plurality of small areas DW t1 to DW tn (n is an arbitrary integer equal to or greater than 2).
  • FIG. 6 is a diagram illustrating the small areas DW t1 to DW tn divided by the three-dimensional object detection unit 33.
  • the small areas DW t1 to DW tn are divided so as to overlap each other, for example, as shown in FIG. For example, the small area DW t1 and the small area DW t2 overlap, and the small area DW t2 and the small area DW t3 overlap.
  • the three-dimensional object detection unit 33 obtains an offset amount (amount of movement of the differential waveform in the horizontal axis direction (vertical direction in FIG. 6)) for each of the small areas DW t1 to DW tn .
  • the offset amount is determined from the difference between the differential waveform DW t in the difference waveform DW t-1 and the current time before one unit time (distance in the horizontal axis direction).
  • three-dimensional object detection unit 33 for each small area DW t1 ⁇ DW tn, when moving the differential waveform DW t1 before one unit time in the horizontal axis direction, the differential waveform DW t at the current time The position where the error is minimized (the position in the horizontal axis direction) is determined, and the amount of movement in the horizontal axis between the original position of the differential waveform DW t ⁇ 1 and the position where the error is minimized is obtained as an offset amount. Then, the three-dimensional object detection unit 33 counts the offset amount obtained for each of the small areas DW t1 to DW tn and forms a histogram.
  • FIG. 7 is a diagram illustrating an example of a histogram obtained by the three-dimensional object detection unit 33.
  • the offset amount which is the amount of movement that minimizes the error between each of the small areas DW t1 to DW tn and the differential waveform DW t ⁇ 1 one time before, has some variation.
  • the three-dimensional object detection unit 33 forms a histogram of offset amounts including variations, and calculates a movement distance from the histogram.
  • the three-dimensional object detection unit 33 calculates the moving distance of the three-dimensional object from the maximum value of the histogram. That is, in the example illustrated in FIG.
  • the three-dimensional object detection unit 33 calculates the offset amount indicating the maximum value of the histogram as the movement distance ⁇ * .
  • the moving distance ⁇ * is a relative moving distance of the three-dimensional object with respect to the host vehicle. For this reason, when calculating the absolute movement distance, the three-dimensional object detection unit 33 calculates the absolute movement distance based on the obtained movement distance ⁇ * and the signal from the vehicle speed sensor 20.
  • a one-dimensional waveform is obtained by calculating the moving distance of the three-dimensional object from the offset amount of the differential waveform DW t when the error of the differential waveform DW t generated at different times is minimized.
  • the movement distance is calculated from the offset amount of the information, and the calculation cost can be suppressed in calculating the movement distance.
  • by dividing the differential waveform DW t generated at different times into a plurality of small areas DW t1 to DW tn it is possible to obtain a plurality of waveforms representing respective portions of the three-dimensional object.
  • the calculation accuracy of the movement distance can be improved. Further, in the present embodiment, by calculating the moving distance of the three-dimensional object from the time change of the differential waveform DW t including the information in the height direction, compared with a case where attention is paid only to one point of movement, Since the detection location before the time change and the detection location after the time change are specified including information in the height direction, it is likely to be the same location in the three-dimensional object, and the movement distance is calculated from the time change of the same location, and the movement Distance calculation accuracy can be improved.
  • the three-dimensional object detection unit 33 weights each of the plurality of small areas DW t1 to DW tn and forms a histogram by counting the offset amount obtained for each of the small areas DW t1 to DW tn according to the weight. May be.
  • FIG. 8 is a diagram illustrating weighting by the three-dimensional object detection unit 33.
  • the small area DW m (m is an integer of 1 to n ⁇ 1) is flat. That is, in the small area DW m , the difference between the maximum value and the minimum value of the number of pixels indicating a predetermined difference is small. Three-dimensional object detection unit 33 to reduce the weight for such small area DW m. This is because the flat small area DW m has no characteristics and is likely to have a large error in calculating the offset amount.
  • the small region DW m + k (k is an integer equal to or less than nm) is rich in undulations. That is, in the small area DW m , the difference between the maximum value and the minimum value of the number of pixels indicating a predetermined difference is large.
  • Three-dimensional object detection unit 33 increases the weight for such small area DW m. This is because the small region DW m + k rich in undulations is characteristic and there is a high possibility that the offset amount can be accurately calculated. By weighting in this way, the calculation accuracy of the movement distance can be improved.
  • the differential waveform DW t is divided into a plurality of small areas DW t1 to DW tn in order to improve the calculation accuracy of the movement distance.
  • the small area DW t1 is divided. It is not necessary to divide into ⁇ DW tn .
  • the three-dimensional object detection unit 33 calculates the moving distance from the offset amount of the differential waveform DW t when the error between the differential waveform DW t and the differential waveform DW t ⁇ 1 is minimized. That is, the method for obtaining the offset amount of the difference waveform DW t in the difference waveform DW t-1 and the current time before one unit time is not limited to the above disclosure.
  • the three-dimensional object detection unit 33 obtains the moving speed of the host vehicle V1 (camera 10), and obtains the offset amount for the stationary object from the obtained moving speed. After obtaining the offset amount of the stationary object, the three-dimensional object detection unit 33 calculates the moving distance of the three-dimensional object after ignoring the offset amount corresponding to the stationary object among the maximum values of the histogram.
  • FIG. 9 is a diagram showing another example of a histogram obtained by the three-dimensional object detection unit 33.
  • a stationary object is present in addition to a three-dimensional object within the angle of view of the camera 10, two maximum values ⁇ 1 and ⁇ 2 appear in the obtained histogram.
  • one of the two maximum values ⁇ 1, ⁇ 2 is the offset amount of the stationary object.
  • the three-dimensional object detection unit 33 calculates the offset amount for the stationary object from the moving speed, ignores the maximum value corresponding to the offset amount, and calculates the moving distance of the three-dimensional object by using the remaining maximum value. To do. Thereby, the situation where the calculation accuracy of the moving distance of a solid object falls by a stationary object can be prevented.
  • the three-dimensional object detection unit 33 stops calculating the movement distance. Thereby, in the present embodiment, it is possible to prevent a situation in which an erroneous movement distance having a plurality of maximum values is calculated.
  • the three-dimensional object detection unit 33 calculates the relative movement speed of the three-dimensional object by differentiating the relative movement distance of the three-dimensional object with respect to time.
  • the three-dimensional object detection unit 33 also calculates the absolute movement speed of the three-dimensional object based on the absolute movement distance of the three-dimensional object.
  • the three-dimensional object detection unit 33 repeatedly calculates the relative movement speed of the three-dimensional object at predetermined intervals, and calculates a time change amount ⁇ V of the calculated relative movement speed of the three-dimensional object.
  • the calculated time variation ⁇ V of the relative movement speed is transmitted to the three-dimensional object determination unit 34 described later.
  • the three-dimensional object determination unit 34 determines whether the three-dimensional object detected by the three-dimensional object detection unit 33 is another vehicle (adjacent vehicle) traveling in the adjacent lane. Further, when determining whether or not the three-dimensional object is an adjacent vehicle, the three-dimensional object determination unit 34 detects the degree of variation in the image information, and the three-dimensional object is not detected based on the detected degree of variation in the image information. It is determined whether or not it is an object.
  • the three-dimensional object determination unit 34 determines, as the degree of variation in image information, the absolute value of the temporal change amount of the relative movement speed of the three-dimensional object calculated by the three-dimensional object detection unit 33 based on the captured image
  • the non-detection target refers to grass, snow, a guardrail, or the like that is a non-detection target with respect to an adjacent vehicle that is a detection target.
  • the three-dimensional object determination unit 34 determines that the three-dimensional object is a non-detection target object, thereby erroneously detecting the non-detection target object as an adjacent vehicle. It is an effective prevention.
  • the three-dimensional object determination unit 34 determines that the degree of variation in the image information is higher as the absolute value
  • the three-dimensional object determination unit 34 calculates a count value (vertical axis shown in FIG. 10) in accordance with the absolute value
  • FIG. 10 is a figure for demonstrating the detection method of a non-detection target object.
  • FIG. 11 is a table showing an example of the increment / decrement amount of the count value.
  • the three-dimensional object determination unit 34 is based on the magnitude of the absolute value
  • the three-dimensional object determination unit 34 detects the brightness of the detection areas A1 and A2 from the difference image, and when the brightness of the detection areas A1 and A2 is equal to or greater than a predetermined value as illustrated in FIG.
  • of the relative change speed of the three-dimensional object is 30 km / h or more (
  • the three-dimensional object is an image such as an edge component. It is determined that there is a high possibility that the object is a non-detection target with large variation in information, and the count value is increased by X1.
  • the three-dimensional object determination unit 34 determines the absolute value
  • ⁇ V the absolute value of the temporal change amount of the relative movement speed of the three-dimensional object.
  • X2 is smaller than X1 (X1> X2).
  • the contrast of the captured image is low, and the certainty that the three-dimensional object can be determined to be a non-detection target is small.
  • the solid object determining unit 34 when the brightness is equal to or higher than a predetermined value (when it can be determined as daytime), the absolute value
  • the three-dimensional object determination unit 34 has an absolute value
  • of the relative change speed of the three-dimensional object that is less than 30 km / h.
  • the count value is decreased by Y2.
  • Y2 is smaller than Y1 (Y1> Y2).
  • the solid object determining unit 34 when the brightness is equal to or higher than a predetermined value (when it can be determined that it is daytime), the absolute value
  • Z1 is larger than Y1 (Z1> Y1).
  • the three-dimensional object determination unit 34 has the absolute value
  • the count value is decreased by Z2.
  • Z2 is larger than Y2 (Z2> Y2).
  • Z2 is smaller than Z1 (Z1> Z2).
  • the three-dimensional object determination unit 34 increases or decreases the count value in accordance with the variation in the absolute value
  • a first threshold value s 1 or more as shown in 10 three-dimensional object is determined to be non-detection object.
  • the solid object determination unit 34 after the count value reaches the first threshold value s 1 or more, further, when the count value becomes smaller than the second threshold value s 2, three-dimensional object The determination that the object is a non-detection object is canceled.
  • the detected three-dimensional object is being determined to be non-detection object
  • the count value becomes less than the second threshold s 2 at time t2
  • it is determined that the detected three-dimensional object is not a non-detection target object at time t2.
  • the detected three-dimensional object is to be determined as a non-detection object It becomes.
  • the count value is the first value.
  • the first threshold value s 1 is provided as the upper limit value of the count value so as not to exceed the threshold value s 1 .
  • the count value becomes the first threshold value s 1 and equal, quickly reduced to smaller than the second threshold value s 2 Accordingly, it is possible to appropriately detect the adjacent vehicle.
  • the example shown in FIG. 10 shows that even when the absolute value
  • the first threshold value s 1 is provided as the upper limit value of the count value so as not to exceed the threshold value s 1 .
  • the first threshold value s 1 as the upper limit value of the count value is not limited to this, a value greater than the first threshold value s 1, as the upper limit of the count value Alternatively, a value smaller than the first threshold value s 1 may be used as the upper limit value of the count value.
  • the three-dimensional object determination unit 34 determines whether or not the three-dimensional object detected by the three-dimensional object detection unit 33 is a non-detection target object by increasing or decreasing the count value in this way.
  • the detected three-dimensional object is suppressed from being detected as an adjacent vehicle. Thereby, it is possible to effectively prevent a non-detection target such as planted grass from being erroneously detected as an adjacent vehicle.
  • FIGS. 12 and 13 are flowcharts showing the adjacent vehicle detection process of the present embodiment.
  • the computer 30 acquires the data of the captured image P from the camera 10 (step S ⁇ b> 101), and the viewpoint conversion unit 31 acquires the data of the captured image P.
  • data of the bird's-eye view vision image PB t is generated (step S102).
  • the alignment unit 33 aligns the data of the bird's-eye view image PB t and the data of the bird's-eye view image PB t ⁇ 1 one hour before, and generates data of the difference image PD t (step S103). . Then, three-dimensional object detection unit 33, from the data of the difference image PD t, pixel value by counting the number of difference pixel DP "1", to generate a difference waveform DW t (step S104).
  • the three-dimensional object detection unit 33 determines whether or not the peak of the differential waveform DW t is greater than or equal to a predetermined threshold value ⁇ (step S105).
  • a predetermined threshold value ⁇ ⁇
  • the three-dimensional object detection unit 33 determines that there is no three-dimensional object and no other vehicle exists (FIG. 13 step S130).
  • step S105 Yes
  • the three-dimensional object detection unit 33 determines that a three-dimensional object exists in the adjacent lane, and proceeds to step S106.
  • the three-dimensional object detection unit 33 divides the differential waveform DW t into a plurality of small areas DW t1 to DW tn .
  • the three-dimensional object detection unit 33 performs weighting for each of the small areas DW t1 to DW tn (step S107), calculates an offset amount for each of the small areas DW t1 to DW tn (step S108), and adds the weight.
  • a histogram is generated (step S109).
  • the three-dimensional object detection unit 33 calculates a relative movement distance that is a movement distance of the adjacent vehicle with respect to the own vehicle based on the histogram (step S110). Further, the three-dimensional object detection unit 33 calculates the relative movement speed by differentiating the relative movement distance with respect to time (step S111), and adds the own vehicle speed detected by the vehicle speed sensor 20 to obtain the absolute movement speed of the adjacent vehicle. Calculate (step S112).
  • the three-dimensional object determination unit 34 determines whether or not the absolute value
  • of the relative movement speed of the three-dimensional object is 30 km / h or more (
  • the three-dimensional object determination unit 34 when the absolute value
  • the three-dimensional object determination unit 34 when the absolute value
  • the solid object determination unit 34 in step S124, the count value, and determines whether it is the first threshold value s 1 or shown in FIG. 10. If the count value is equal to the first threshold value s 1 or more, the process proceeds to step S129, the three-dimensional object determination unit 34, the detected three-dimensional object is determined to be a non-detection object, then the process proceeds to step S130, The three-dimensional object determination unit 34 determines that there is no adjacent vehicle in the adjacent lane. On the other hand, when the count value is first less than the threshold value s 1, the process proceeds to step S125.
  • the steric object determination unit 34 After the count value reaches the first threshold value s 1 or more, the count value becomes the first threshold value s of less than 1 as shown in FIG. 10, further, a second less than the threshold value s 2 A determination is made whether or not. That is, once, when the count value reaches a first threshold value s 1 or decreases the count value even after a first threshold value s of less than 1, the count value is a second threshold value s 2 or more, In step S129, the three-dimensional object determination unit 34 determines that the detected three-dimensional object is a non-detection target, and then the three-dimensional object determination unit 34 determines that there is no adjacent vehicle in the adjacent lane ( Step S129).
  • step S 126 the process proceeds to step S 126, and the detected three-dimensional object is not detected by the three-dimensional object determination unit 34. It is determined that the object is not an object, and the process proceeds to step S127.
  • the count value is not the first threshold value s 1 more than once, the count value is first smaller than the threshold s 1, and, if the second threshold value s 2 or more, of course, step The process proceeds to S126.
  • the rear sides of the host vehicle are set as detection areas A1 and A2, and emphasis is placed on whether or not there is a possibility of contact when the host vehicle changes lanes. For this reason, the process of step S127 is performed. That is, assuming that the system according to the present embodiment is operated on a highway, if the speed of the adjacent vehicle is less than 10 km / h, even if the adjacent vehicle exists, the host vehicle is required to change the lane. Because it is located far behind, there are few problems.
  • step S127 when the relative moving speed of the adjacent vehicle to the own vehicle exceeds +60 km / h (that is, when the adjacent vehicle is moving at a speed higher than 60 km / h than the speed of the own vehicle), when changing the lane Is less likely to be a problem because it is moving in front of the host vehicle. For this reason, it can be said that the adjacent vehicle which becomes a problem at the time of lane change is judged in step S127.
  • step S127 determining whether the absolute moving speed of the adjacent vehicle is 10 km / h or more and the relative moving speed of the adjacent vehicle with respect to the own vehicle is +60 km / h or less has the following effects.
  • the absolute moving speed of the stationary object may be detected to be several km / h. Therefore, by determining whether the speed is 10 km / h or more, it is possible to reduce the possibility that the stationary object is determined to be an adjacent vehicle.
  • the relative speed of the adjacent vehicle to the host vehicle may be detected as a speed exceeding +60 km / h. Therefore, the possibility of erroneous detection due to noise can be reduced by determining whether the relative speed is +60 km / h or less.
  • step S127 it may be determined that the absolute movement speed of the adjacent vehicle is not negative or not 0 km / h. Further, in this embodiment, since an emphasis is placed on whether or not there is a possibility of contact when the host vehicle changes lanes, a warning sound is sent to the driver of the host vehicle when an adjacent vehicle is detected in step S128. Or a display corresponding to a warning may be performed by a predetermined display device.
  • two images obtained at different times into a bird's-eye view image to generate a difference image PD t based on the difference between the two bird's-eye view image. Then, along the direction in which the three-dimensional object collapses by the viewpoint conversion, by the frequency distribution of counts the number of pixels indicating a predetermined difference in the data of the difference image PD t, the differential waveform DW from the data of the difference image PD t t is generated.
  • a three-dimensional object is detected based on the generated differential waveform DW t , and the detected three-dimensional object is based on the absolute value
  • ⁇ V the absolute value
  • a non-detection target object for example, when edge processing is performed on a captured image obtained by capturing an image of a non-detection target such as grass, snow, or a guardrail, many discontinuous edge components tend to be detected. This is because the image information of the non-detection object tends to have a high degree of variation in the image information.
  • of the amount of change in the relative movement speed of the three-dimensional object is detected as the degree of variation in the image information, and the detected absolute value
  • the three-dimensional object is more likely to be a vehicle as the absolute value
  • the count value is increased, and when the accumulated count value becomes equal to or greater than the first threshold value s 1 , the detection accuracy of the non-detection target object can be increased.
  • the count value is a second threshold value when it becomes less than s 2
  • three-dimensional object is by determining that there is no by non-detection object, it is possible to improve the detection accuracy of the non-detection object.
  • the three-dimensional object detection device 1a according to the second embodiment includes a computer 30 a instead of the computer 30 of the first embodiment, except that it operates as described below. This is the same as in the first embodiment.
  • FIG. 14 is a block diagram showing details of the computer 30a according to the second embodiment.
  • the three-dimensional object detection device 1a includes a camera 10 and a computer 30a.
  • the computer 30a includes a viewpoint conversion unit 31, a luminance difference calculation unit 34, and an edge line detection unit. 35, a three-dimensional object detection unit 33a, and a three-dimensional object determination unit 34a.
  • FIGS. 15A and 15B are diagrams illustrating an imaging range and the like of the camera 10 in FIG. 14.
  • FIG. 15A is a plan view
  • FIG. 15B is a perspective view in real space rearward from the host vehicle V1. Show.
  • the camera 10 has a predetermined angle of view a, and images the rear side from the host vehicle V1 included in the predetermined angle of view a.
  • the angle of view a of the camera 10 is set so that the imaging range of the camera 10 includes the adjacent lane in addition to the lane in which the host vehicle V1 travels.
  • the detection areas A1 and A2 in this example are trapezoidal in a plan view (when viewed from a bird's eye), and the positions, sizes, and shapes of the detection areas A1 and A2 are determined based on the distances d 1 to d 4. Is done.
  • the detection areas A1 and A2 in the example shown in the figure are not limited to a trapezoidal shape, and may be other shapes such as a rectangle when viewed from a bird's eye view as shown in FIG.
  • the distance d1 is a distance from the host vehicle V1 to the ground lines L1 and L2.
  • the ground lines L1 and L2 mean lines on which a three-dimensional object existing in the lane adjacent to the lane in which the host vehicle V1 travels contacts the ground.
  • the object is to detect adjacent vehicles V2 and the like (including two-wheeled vehicles) traveling in the left and right lanes adjacent to the lane of the host vehicle V1 on the rear side of the host vehicle V1.
  • a distance d1 which is a position to be the ground lines L1, L2 of the adjacent vehicle V2 is determined from a distance d11 from the own vehicle V1 to the white line W and a distance d12 from the white line W to a position where the adjacent vehicle V2 is predicted to travel. It can be determined substantially fixedly.
  • the distance d1 is not limited to being fixedly determined, and may be variable.
  • the computer 30a recognizes the position of the white line W with respect to the host vehicle V1 by a technique such as white line recognition, and determines the distance d11 based on the recognized position of the white line W.
  • the distance d1 is variably set using the determined distance d11.
  • the distance d1 is It shall be fixedly determined.
  • the distance d2 is a distance extending in the vehicle traveling direction from the rear end portion of the host vehicle V1.
  • the distance d2 is determined so that the detection areas A1 and A2 are at least within the angle of view a of the camera 10.
  • the distance d2 is set so as to be in contact with the range divided into the angle of view a.
  • the distance d3 is a distance indicating the length of the detection areas A1, A2 in the vehicle traveling direction. This distance d3 is determined based on the size of the three-dimensional object to be detected. In the present embodiment, since the detection target is the adjacent vehicle V2 or the like, the distance d3 is set to a length including the adjacent vehicle V2.
  • the distance d4 is a distance indicating a height that is set to include a tire such as the adjacent vehicle V2 in the real space.
  • the distance d4 is a length shown in FIG. 15A in the bird's-eye view image.
  • the distance d4 may be a length that does not include a lane that is further adjacent to the left and right lanes in the bird's-eye view image (that is, the adjacent lane that is adjacent to two lanes). If the lane adjacent to the two lanes is included from the lane of the own vehicle V1, there is an adjacent vehicle V2 in the adjacent lane on the left and right of the own lane that is the lane in which the own vehicle V1 is traveling. This is because it becomes impossible to distinguish whether there is an adjacent vehicle on the lane.
  • the distances d1 to d4 are determined, and thereby the positions, sizes, and shapes of the detection areas A1 and A2 are determined. More specifically, the position of the upper side b1 of the detection areas A1 and A2 forming a trapezoid is determined by the distance d1. The starting point position C1 of the upper side b1 is determined by the distance d2. The end point position C2 of the upper side b1 is determined by the distance d3. The side b2 of the detection areas A1 and A2 having a trapezoidal shape is determined by a straight line L3 extending from the camera 10 toward the starting point position C1.
  • a side b3 of trapezoidal detection areas A1 and A2 is determined by a straight line L4 extending from the camera 10 toward the end position C2.
  • the position of the lower side b4 of the detection areas A1 and A2 having a trapezoidal shape is determined by the distance d4.
  • the areas surrounded by the sides b1 to b4 are set as the detection areas A1 and A2.
  • the detection areas A1 and A2 are squares (rectangles) in real space on the rear side from the host vehicle V1.
  • the viewpoint conversion unit 31 inputs captured image data of a predetermined area obtained by imaging with the camera 10.
  • the viewpoint conversion unit 31 performs viewpoint conversion processing on the input captured image data to the bird's-eye image data in a bird's-eye view state.
  • the bird's-eye view is a state seen from the viewpoint of a virtual camera looking down from above, for example, vertically downward (or slightly obliquely downward).
  • This viewpoint conversion process can be realized by a technique described in, for example, Japanese Patent Application Laid-Open No. 2008-219063.
  • the luminance difference calculation unit 34 calculates a luminance difference with respect to the bird's-eye view image data subjected to viewpoint conversion by the viewpoint conversion unit 31 in order to detect the edge of the three-dimensional object included in the bird's-eye view image. For each of a plurality of positions along a vertical imaginary line extending in the vertical direction in the real space, the brightness difference calculating unit 34 calculates a brightness difference between two pixels in the vicinity of each position.
  • the luminance difference calculation unit 34 can calculate the luminance difference by either a method of setting only one vertical virtual line extending in the vertical direction in the real space or a method of setting two vertical virtual lines.
  • the brightness difference calculating unit 34 applies the first vertical imaginary line corresponding to the line segment extending in the vertical direction in the real space and the vertical direction in the real space different from the first vertical imaginary line, with respect to the bird's-eye view image converted in the viewpoint.
  • a second vertical imaginary line corresponding to the extending line segment is set.
  • the luminance difference calculation unit 34 continuously obtains a luminance difference between a point on the first vertical imaginary line and a point on the second vertical imaginary line along the first vertical imaginary line and the second vertical imaginary line.
  • the operation of the luminance difference calculation unit 34 will be described in detail.
  • the luminance difference calculation unit 34 corresponds to a line segment extending in the vertical direction in the real space and passes through the detection area A1 (hereinafter referred to as the attention line La). Set).
  • the luminance difference calculation unit 34 corresponds to a line segment extending in the vertical direction in the real space, and also passes through the second vertical virtual line Lr (hereinafter referred to as a reference line Lr) passing through the detection area A1.
  • the reference line Lr is set at a position separated from the attention line La by a predetermined distance in the real space.
  • the line corresponding to the line segment extending in the vertical direction in the real space is a line that spreads radially from the position Ps of the camera 10 in the bird's-eye view image.
  • This radially extending line is a line along the direction in which the three-dimensional object falls when converted to bird's-eye view.
  • the luminance difference calculation unit 34 sets a point of interest Pa (a point on the first vertical imaginary line) on the line of interest La.
  • the luminance difference calculation unit 34 sets a reference point Pr (a point on the second vertical plate) on the reference line Lr.
  • the attention line La, the attention point Pa, the reference line Lr, and the reference point Pr have the relationship shown in FIG. 16B in the real space.
  • the attention line La and the reference line Lr are lines extending in the vertical direction in the real space, and the attention point Pa and the reference point Pr are substantially the same height in the real space. This is the point that is set.
  • the attention point Pa and the reference point Pr do not necessarily have the same height, and an error that allows the attention point Pa and the reference point Pr to be regarded as the same height is allowed.
  • the luminance difference calculation unit 34 obtains a luminance difference between the attention point Pa and the reference point Pr. If the luminance difference between the attention point Pa and the reference point Pr is large, it is considered that an edge exists between the attention point Pa and the reference point Pr.
  • a vertical virtual line is set as a line segment extending in the vertical direction in the real space with respect to the bird's-eye view image, In the case where the luminance difference between the attention line La and the reference line Lr is high, there is a high possibility that there is an edge of the three-dimensional object at the set position of the attention line La. For this reason, the edge line detection unit 35 shown in FIG. 14 detects an edge line based on the luminance difference between the attention point Pa and the reference point Pr.
  • FIG. 17 is a diagram illustrating a detailed operation of the luminance difference calculation unit 34
  • FIG. 17A illustrates a bird's-eye view image in a bird's-eye view state
  • FIG. 17B illustrates the operation illustrated in FIG. It is the figure which expanded a part B1 of the bird's-eye view image.
  • the luminance difference is calculated in the same procedure for the detection area A2.
  • the adjacent vehicle V2 When the adjacent vehicle V2 is reflected in the captured image captured by the camera 10, the adjacent vehicle V2 appears in the detection area A1 in the bird's-eye view image as shown in FIG. As shown in the enlarged view of the area B1 in FIG. 17A in FIG. 17B, it is assumed that the attention line La is set on the rubber part of the tire of the adjacent vehicle V2 on the bird's-eye view image.
  • the luminance difference calculation unit 34 first sets a reference line Lr.
  • the reference line Lr is set along the vertical direction at a position away from the attention line La by a predetermined distance in the real space.
  • the reference line Lr is set at a position separated from the attention line La by 10 cm in the real space.
  • the reference line Lr is set on the wheel of the tire of the adjacent vehicle V2, which is separated from the rubber of the tire of the adjacent vehicle V2, for example, by 10 cm, on the bird's eye view image.
  • the luminance difference calculation unit 34 sets a plurality of attention points Pa1 to PaN on the attention line La.
  • attention points Pai when showing arbitrary points
  • the number of attention points Pa set on the attention line La may be arbitrary.
  • N attention points Pa are set on the attention line La.
  • the luminance difference calculation unit 34 sets the reference points Pr1 to PrN so as to be the same height as the attention points Pa1 to PaN in the real space. Then, the luminance difference calculation unit 34 calculates the luminance difference between the attention point Pa and the reference point Pr having the same height. Accordingly, the luminance difference calculation unit 34 calculates the luminance difference between the two pixels for each of a plurality of positions (1 to N) along the vertical imaginary line extending in the vertical direction in the real space. For example, the luminance difference calculation unit 34 calculates a luminance difference between the first attention point Pa1 and the first reference point Pr1, and the second difference between the second attention point Pa2 and the second reference point Pr2. Will be calculated.
  • the luminance difference calculation unit 34 continuously calculates the luminance difference along the attention line La and the reference line Lr. That is, the luminance difference calculation unit 34 sequentially obtains the luminance difference between the third to Nth attention points Pa3 to PaN and the third to Nth reference points Pr3 to PrN.
  • the luminance difference calculation unit 34 repeatedly executes the above-described processing such as setting the reference line Lr, setting the attention point Pa and the reference point Pr, and calculating the luminance difference while shifting the attention line La in the detection area A1. That is, the luminance difference calculation unit 34 repeatedly executes the above processing while changing the position of the attention line La and the reference line Lr by the same distance in the extending direction of the ground line L1 in the real space. For example, the luminance difference calculation unit 34 sets a line that has been the reference line Lr in the previous process as the attention line La, sets the reference line Lr for the attention line La, and sequentially obtains the luminance difference. It will be.
  • the edge extending in the vertical direction is obtained by calculating the luminance difference from the attention point Pa on the attention line La and the reference point Pr on the reference line Lr that are substantially the same height in the real space. It is possible to clearly detect a luminance difference in the case where there is. Also, in order to compare the brightness of vertical virtual lines extending in the vertical direction in real space, even if the three-dimensional object is stretched according to the height from the road surface by converting to a bird's-eye view image, The detection process is not affected, and the detection accuracy of the three-dimensional object can be improved.
  • the edge line detection unit 35 detects an edge line from the continuous luminance difference calculated by the luminance difference calculation unit 34.
  • the first attention point Pa ⁇ b> 1 and the first reference point Pr ⁇ b> 1 are located in the same tire portion, and thus the luminance difference is small.
  • the second to sixth attention points Pa2 to Pa6 are located in the rubber part of the tire, and the second to sixth reference points Pr2 to Pr6 are located in the wheel part of the tire. Therefore, the luminance difference between the second to sixth attention points Pa2 to Pa6 and the second to sixth reference points Pr2 to Pr6 becomes large. Therefore, the edge line detection unit 35 may detect that an edge line exists between the second to sixth attention points Pa2 to Pa6 and the second to sixth reference points Pr2 to Pr6 having a large luminance difference. it can.
  • the edge line detection unit 35 firstly follows the following Equation 1 to determine the i-th attention point Pai (coordinates (xi, yi)) and the i-th reference point Pri (coordinates ( xi ′, yi ′)) and the i th attention point Pai are attributed.
  • Equation 1 t represents a predetermined threshold, I (xi, yi) represents the luminance value of the i-th attention point Pai, and I (xi ′, yi ′) represents the luminance value of the i-th reference point Pri.
  • t represents a predetermined threshold
  • I (xi, yi) represents the luminance value of the i-th attention point Pai
  • I (xi ′, yi ′) represents the luminance value of the i-th reference point Pri.
  • the attribute s (xi, yi) of the attention point Pai is “ ⁇ 1”.
  • the attribute s (xi, yi) of the attention point Pai is “0”.
  • the edge line detection unit 35 determines whether or not the attention line La is an edge line from the continuity c (xi, yi) of the attribute s along the attention line La based on Equation 2 below.
  • the continuity c (xi, yi) is “1”.
  • the attribute s (xi, yi) of the attention point Pai is not the same as the attribute s (xi + 1, yi + 1) of the adjacent attention point Pai + 1
  • the continuity c (xi, yi) is “0”.
  • the edge line detection unit 35 obtains a sum for the continuity c of all the points of interest Pa on the line of interest La.
  • the edge line detection unit 35 normalizes the continuity c by dividing the obtained sum of continuity c by the number N of points of interest Pa. Then, the edge line detection unit 35 determines that the attention line La is an edge line when the normalized value exceeds the threshold ⁇ .
  • the threshold value ⁇ is a value set in advance through experiments or the like.
  • the edge line detection unit 35 determines whether or not the attention line La is an edge line based on Equation 3 below. Then, the edge line detection unit 35 determines whether or not all the attention lines La drawn on the detection area A1 are edge lines. [Equation 3] ⁇ c (xi, yi) / N> ⁇
  • the attention point Pa is attributed based on the luminance difference between the attention point Pa on the attention line La and the reference point Pr on the reference line Lr, and the attribute along the attention line La is attributed. Since it is determined whether the attention line La is an edge line based on the continuity c of the image, the boundary between the high luminance area and the low luminance area is detected as an edge line, and an edge in line with a natural human sense Detection can be performed. This effect will be described in detail.
  • FIG. 18 is a diagram illustrating an image example for explaining the processing of the edge line detection unit 35.
  • 102 is an adjacent image.
  • a region where the brightness of the first striped pattern 101 is high and a region where the brightness of the second striped pattern 102 is low are adjacent to each other, and a region where the brightness of the first striped pattern 101 is low and the second striped pattern 102. Is adjacent to a region with high brightness.
  • the portion 103 located at the boundary between the first striped pattern 101 and the second striped pattern 102 tends not to be perceived as an edge depending on human senses.
  • the edge line detection unit 35 determines the part 103 as an edge line only when the attribute of the luminance difference has continuity in addition to the luminance difference in the part 103, the edge line detection unit 35 An erroneous determination of recognizing a part 103 that is not recognized as an edge line as a sensation as an edge line can be suppressed, and edge detection according to a human sense can be performed.
  • the three-dimensional object detection unit 33a detects a three-dimensional object based on the amount of edge lines detected by the edge line detection unit 35.
  • the three-dimensional object detection device 1a detects an edge line extending in the vertical direction in real space. The fact that many edge lines extending in the vertical direction are detected means that there is a high possibility that a three-dimensional object exists in the detection areas A1 and A2. For this reason, the three-dimensional object detection unit 33a detects a three-dimensional object based on the amount of edge lines detected by the edge line detection unit 35.
  • the three-dimensional object detection unit 33a determines whether the amount of edge lines detected by the edge line detection unit 35 is equal to or greater than a predetermined threshold value ⁇ , and the amount of edge lines is equal to the predetermined threshold value ⁇ .
  • the edge line detected by the edge line detection unit 35 is determined to be an edge line of a three-dimensional object.
  • the three-dimensional object detection unit 33a determines whether or not the edge line detected by the edge line detection unit 35 is correct.
  • the three-dimensional object detection unit 33a determines whether or not the luminance change along the edge line of the bird's-eye view image on the edge line is equal to or greater than a predetermined threshold value tb.
  • a predetermined threshold value tb When the brightness change of the bird's-eye view image on the edge line is equal to or greater than the threshold value tb, it is determined that the edge line has been detected by erroneous determination.
  • the luminance change of the bird's-eye view image on the edge line is less than the threshold value tb, it is determined that the edge line is correct.
  • the threshold value tb is a value set in advance by experiments or the like.
  • FIG. 19 is a diagram showing the luminance distribution of the edge line.
  • FIG. 19A shows the edge line and the luminance distribution when the adjacent vehicle V2 as a three-dimensional object exists in the detection area A1, and
  • FIG. Indicates an edge line and a luminance distribution when there is no solid object in the detection area A1.
  • the attention line La set in the tire rubber portion of the adjacent vehicle V2 is determined to be an edge line in the bird's-eye view image.
  • the luminance change of the bird's-eye view image on the attention line La is gentle. This is because the tire of the adjacent vehicle is extended in the bird's-eye view image by converting the image captured by the camera 10 into the bird's-eye view image.
  • the attention line La set in the white character portion “50” drawn on the road surface in the bird's-eye view image is erroneously determined as an edge line.
  • the brightness change of the bird's-eye view image on the attention line La has a large undulation. This is because a portion with high brightness in white characters and a portion with low brightness such as a road surface are mixed on the edge line.
  • the three-dimensional object detection unit 33a determines whether or not the edge line is detected by erroneous determination. For example, when a captured image acquired by the camera 10 is converted into a bird's-eye view image, the three-dimensional object included in the captured image tends to appear in the bird's-eye view image in a stretched state. As described above, when a tire of an adjacent vehicle is stretched, one portion of the tire is stretched, so that a change in luminance of the bird's eye view image in the stretched direction tends to be small.
  • the bird's-eye view image includes a high luminance region such as a character portion and a low luminance region such as a road surface portion.
  • the brightness change in the stretched direction tends to increase in the bird's-eye view image. Therefore, when the luminance change along the edge line is greater than or equal to the predetermined threshold value tb, the three-dimensional object detection unit 33a detects the edge line by erroneous determination, and the edge line is detected by the three-dimensional object. Judge that it is not caused.
  • the three-dimensional object detection unit 33a determines that the edge line is an edge line of the three-dimensional object, and the three-dimensional object exists.
  • the three-dimensional object detection unit 33a calculates the luminance change of the edge line according to any one of the following mathematical formulas 4 and 5.
  • the luminance change of the edge line corresponds to the evaluation value in the vertical direction in the real space.
  • Equation 4 evaluates the luminance distribution by the sum of the squares of the differences between the i-th luminance value I (xi, yi) on the attention line La and the adjacent i + 1-th luminance value I (xi + 1, yi + 1).
  • Equation 5 evaluates the luminance distribution by the sum of the absolute values of the differences between the i-th luminance value I (xi, yi) on the attention line La and the adjacent i + 1-th luminance value I (xi + 1, yi + 1).
  • the attribute b (xi, yi) of the attention point Pa (xi, yi) is “1”. Become. If the relationship is other than that, the attribute b (xi, yi) of the attention point Pai is '0'.
  • This threshold value t2 is set in advance by an experiment or the like in order to determine that the attention line La is not on the same three-dimensional object. Then, the three-dimensional object detection unit 33a sums the attributes b for all the attention points Pa on the attention line La and obtains an evaluation value in the vertical equivalent direction, whereby the edge line is caused by the three-dimensional object. It is determined whether or not a three-dimensional object exists.
  • the three-dimensional object determination unit 34a illustrated in FIG. 14 is configured so that the three-dimensional object detected by the three-dimensional object detection unit 33 indicates an adjacent lane based on the degree of variation in image information, similarly to the three-dimensional object determination unit 34 of the first embodiment. It is determined whether the vehicle is another vehicle (adjacent vehicle) that travels. Specifically, in the second embodiment, the three-dimensional object determination unit 34a calculates the relative movement speed of the three-dimensional object with respect to the host vehicle based on edge information (information such as edge components) of the bird's-eye view image, and the three-dimensional object.
  • edge information information such as edge components
  • the degree of variation in image information is determined based on the amount of change in the relative movement speed over time, and it is determined whether the detected three-dimensional object is a non-detection target object or an adjacent vehicle. For example, the three-dimensional object determination unit 34a determines that the degree of variation in the image information is higher as the absolute value of the temporal change amount of the relative movement speed of the three-dimensional object is larger, and the detected three-dimensional object is a non-detection target. Judge that the possibility is high. Details of the determination method by the three-dimensional object determination unit 34a will be described later.
  • FIG. 20 is a flowchart showing details of the adjacent vehicle detection method according to this embodiment.
  • the process for the detection area A1 will be described, but the same process is executed for the detection area A2.
  • step S201 the camera 10 captures a predetermined area specified by the angle of view a and the attachment position, and the computer 30a acquires image data of the captured image P captured by the camera 10.
  • step S202 the viewpoint conversion unit 31 performs viewpoint conversion on the acquired image data, and generates bird's-eye view image data.
  • step S203 the luminance difference calculation unit 34 sets the attention line La on the detection area A1. At this time, the luminance difference calculation unit 34 sets a line corresponding to a line extending in the vertical direction in the real space as the attention line La.
  • luminance difference calculation part 34 sets the reference line Lr on detection area
  • step S205 the luminance difference calculation unit 34 sets a plurality of attention points Pa on the attention line La. At this time, the luminance difference calculation unit 34 sets a number of attention points Pa that are not problematic when the edge is detected by the edge line detection unit 35.
  • step S206 the luminance difference calculation unit 34 sets the reference point Pr so that the attention point Pa and the reference point Pr are substantially the same height in the real space. Thereby, the attention point Pa and the reference point Pr are arranged in a substantially horizontal direction, and it becomes easy to detect an edge line extending in the vertical direction in the real space.
  • step S207 the luminance difference calculation unit 34 calculates the luminance difference between the attention point Pa and the reference point Pr that have the same height in the real space.
  • the edge line detection unit 35 calculates the attribute s of each attention point Pa in accordance with Equation 1 above.
  • step S208 the edge line detection unit 35 calculates the continuity c of the attribute s of each attention point Pa according to the above mathematical formula 2.
  • step S209 the edge line detection unit 35 determines whether or not the value obtained by normalizing the total sum of continuity c is greater than the threshold value ⁇ according to the above formula 3.
  • step S209 Yes
  • the edge line detection unit 35 detects the attention line La as an edge line in step S210. Then, the process proceeds to step S211.
  • step S209 No
  • the edge line detection unit 35 does not detect the attention line La as an edge line, and the process proceeds to step S211.
  • step S211 the computer 30a determines whether or not the processing in steps S203 to S210 has been executed for all the attention lines La that can be set on the detection area A1.
  • step S212 the three-dimensional object detection unit 33a calculates a luminance change along the edge line for each edge line detected in step S210.
  • the three-dimensional object detection unit 33a calculates the luminance change of the edge line according to any one of the above formulas 4, 5, and 6.
  • step S213 the three-dimensional object detection unit 33a excludes edge lines whose luminance change is equal to or greater than a predetermined threshold value tb from among the edge lines. That is, it is determined that an edge line having a large luminance change is not a correct edge line, and the edge line is not used for detecting a three-dimensional object. As described above, this is to prevent characters on the road surface, roadside weeds, and the like included in the detection area A1 from being detected as edge lines.
  • the predetermined threshold value tb is a value set based on a luminance change generated by characters on the road surface, weeds on the road shoulder, or the like, which is obtained in advance through experiments or the like.
  • the three-dimensional object detection unit 33a determines an edge line whose luminance change is less than the predetermined threshold value tb among the edge lines as an edge line of the three-dimensional object, and thereby detects a three-dimensional object existing in the adjacent vehicle. .
  • the three-dimensional object detection unit 33a determines whether or not the amount of the edge line is equal to or greater than a predetermined threshold value ⁇ .
  • the threshold value ⁇ is a value set in advance by experimentation or the like. For example, when a four-wheeled vehicle is set as a three-dimensional object to be detected, the threshold value ⁇ is determined in advance by an experiment or the like in the detection region A1. It is set on the basis of the number of edge lines of the four-wheeled vehicle that appears inside.
  • step S215 the three-dimensional object determination unit 34a calculates the relative movement speed of the three-dimensional object with respect to the host vehicle. For example, the three-dimensional object determination unit 34a performs primary distribution by counting the number of pixels in which a predetermined edge component has been detected from the bird's-eye view image PB t along the direction in which the three-dimensional object falls due to viewpoint conversion, and performing frequency distribution. An original edge waveform is generated, and the relative movement speed of the three-dimensional object can be calculated from the difference between the edge waveform at the previous time and the edge waveform at the current time. Then, the process proceeds to step S216 in FIG.
  • steps S216 to S232 the same processing as in steps S113 to S126 and S128 to S130 of the first embodiment is performed. That is, the three-dimensional object determination unit 34a detects the degree of variation in the relative movement speed of the three-dimensional object based on the relative movement speed of the three-dimensional object calculated in step S215, and the three-dimensional object is detected according to the degree of variation in the relative movement speed. It is determined whether the object is a non-detection target.
  • the three-dimensional object determination unit 34a determines that the absolute value
  • the three-dimensional object determination unit 34a has an absolute value
  • ⁇ 10 km / h) (step S220 Yes)
  • of the amount of change in the relative movement speed of the three-dimensional object that is less than 30 km / h and is 10 km / h or more (30 km / h>
  • the brightness of the detection area A1 is equal to or greater than a predetermined value
  • step S221 Yes)
  • the count value is decreased by Y1 (step S222)
  • the three-dimensional object determination unit 34a the count value, when it is determined whether a first threshold value s 1 or shown in FIG. 10 (step S227), the count value is a first threshold value s 1 or more Then, it is determined that the detected three-dimensional object is a non-detection target (step S231), and it is determined that there is no adjacent vehicle in the adjacent lane (step S232).
  • the three-dimensional object determination unit 34a determines that the solid object is not. It is determined that the object is a detection object (step S231), and it is determined that there is no adjacent vehicle in the adjacent lane (step S232).
  • the three-dimensional object is not a non-detection target. It judges (step S229), and judges that an adjacent vehicle exists in an adjacent lane (step S230). And it returns to step S201 of FIG. 20, and repeats the process mentioned above.
  • a captured image is converted into a bird's-eye view image, and edge information of the three-dimensional object is detected from the converted bird's-eye view image. Then, the relative movement speed of the three-dimensional object is detected from the edge component detected in the bird's-eye view image, and the detected three-dimensional object is based on the absolute value
  • the detected three-dimensional object based on the edge information is a non-detection target object. It is possible to appropriately determine whether or not the erroneous detection of the non-detected object as an adjacent vehicle can be effectively prevented.
  • the configuration in which the non-detection target is detected is illustrated based on the variation
  • the configuration may be such that a non-detection target is detected by analyzing a captured image captured by the camera 10 by two-dimensional texture analysis and detecting variations in the captured image based on the analysis result.
  • a non-detection target is detected by analyzing a captured image captured by the camera 10 by two-dimensional texture analysis and detecting variations in the captured image based on the analysis result.
  • a result of two-dimensional texture analysis of a captured image when pixels having a predetermined density difference are detected at a predetermined ratio or more, it is possible to determine that the three-dimensional object captured in the captured image is a non-detection target.
  • the captured image is analyzed by a fast Fourier transform method, and as a result of the analysis, a high-frequency component equal to or greater than a predetermined value is detected at a predetermined ratio or more, the three-dimensional object captured in the captured image is an undetected object. It is good also as a structure to determine.
  • the present invention is not limited to this configuration.
  • it when it is determined that the detected three-dimensional object is a non-detection target, it may be configured not to determine whether the detected three-dimensional object is an adjacent vehicle.
  • the alignment unit 32 detects the pixel value of the difference image PD t as “0” or “1”, and based on the difference image PD t , the three-dimensional object detection unit 33
  • the configuration in which the three-dimensional object is detected by counting the pixels having the pixel value “1” of the difference image PD t as the difference pixel DP is exemplified.
  • the configuration is not limited to this configuration.
  • the pixel value of the difference image PD t is detected as a value obtained by converting the difference between the pixel values of the bird's-eye view images PB t and PB t ⁇ 1 to an absolute value, and the solid object detection unit 33 exceeds a predetermined difference threshold value. It is good also as a structure which counts a pixel as the difference pixel DP.
  • the captured current time image and the image one hour before are converted into a bird's eye view, and after the alignment of the converted bird's eye view, the difference image PD t is generated, and the generated difference image is generated.
  • PD t is evaluated along the falling direction (the falling direction of the three-dimensional object when the captured image is converted into a bird's eye view)
  • the differential waveform DW t is generated, but the present invention is not limited to this.
  • the converted bird's-eye view is converted into an equivalent to the image captured again, a difference image is generated between this image and the current time image, and the generated difference image collapsing direction corresponding to the direction (i.e., collapse direction converted into the direction of the captured image orientation) may be configured to generate a difference waveform DW t by evaluating along.
  • the difference image PD t is generated from the difference between the two images subjected to the alignment, and the difference image PD t is converted into a bird's eye view
  • the bird's-eye view does not necessarily have to be clearly generated as long as the evaluation can be performed along the direction in which the user falls.
  • the vehicle speed of the host vehicle V1 is determined based on a signal from the speed sensor 20, but the present invention is not limited thereto, and the speed may be estimated from a plurality of images at different times. .
  • the vehicle speed sensor 20 is not necessary, and the configuration can be simplified.
  • the camera 10 of the above-described embodiment corresponds to the imaging unit of the present invention
  • the viewpoint conversion unit 31 corresponds to the image conversion unit of the present invention
  • the alignment unit 32 and the three-dimensional object detection unit 33 correspond to the three-dimensional object of the present invention.
  • the three-dimensional object detection unit 33 corresponds to the detection unit
  • the three-dimensional object detection unit 33 corresponds to the moving speed calculation unit of the present invention
  • the three-dimensional object determination unit 34 corresponds to the three-dimensional object determination unit, the non-detection target determination unit, and the control unit of the present invention.

Abstract

　所定領域を撮像する撮像手段１０と、撮像画像を鳥瞰視画像に視点変換する画像変換手段３１と、異なる時刻の鳥瞰視画像の位置を鳥瞰視上で位置合わせした差分画像から差分波形情報を生成し、差分波形情報に基づいて立体物を検出する立体物検出手段３２，３３と、立体物の移動速度を算出する移動速度算出手段３３と、立体物が所定領域に存在する他車両であるか否かを判定する立体物判定手段３４と、立体物の移動速度の時間変化量を繰り返し算出することで、立体物の移動速度のバラツキ度合を検出し、バラツキ度合に基づいて立体物が非検出対象物であるか否かを判定する非検出対象物判定手段３４と、非検出対象物判定手段３４の判定結果に基づいて、立体物判定手段３４が立体物を他車両であると判定することを抑制する制御手段３４と、を備える。

Description

立体物検出装置
　本発明は、立体物検出装置に関するものである。
　本出願は、２０１２年３月２日に出願された日本国特許出願の特願２０１２－０４６６２９に基づく優先権を主張するものであり、文献の参照による組み込みが認められる指定国については、上記の出願に記載された内容を参照により本出願に組み込み、本出願の記載の一部とする。
　従来より、撮像装置で撮像した撮像画像を、パターンマッチングで画像処理することにより、路肩の植え込みを検出する技術が知られている（特許文献１参照）。
特開２００６－３１５４８２号公報
　しかしながら、従来技術は、パターンマッチングによる画像処理により植え込みの草を検出するものであるため、植え込みの草を検出する際に高い検出精度が得られず、撮像画像内の植え込みの草を、隣接車両を走行する他車両として誤検出してしまう場合があった。
　本発明が解決しようとする課題は、隣接車両を適切に検出できる立体物検出装置を提供することである。
　本発明は、撮像画像に基づいて立体物を検出し、検出した立体物の移動速度の時間変化量に基づいて立体物の移動速度のバラツキ度合いを算出し、算出したバラツキ度合に基づいて、検出された立体物が非検出対象物であるか否かを判定することで、上記課題を解決する。
　一般に、植え込みの草を撮像した画像ではエッジ成分などの画像情報が不規則に検出されるため、画像情報に基づいて立体物の移動速度の時間変化量を算出した際に、立体物の移動速度がばらつく傾向にある。本発明によれば、このような、立体物の移動速度のバラツキ度合に基づいて、検出した立体物が植え込みの草などの非検出対象物であるか否かを判定することで、隣接車両を適切に検出することができる。
図１は、立体物検出装置を搭載した車両の概略構成図である。 図２は、図１の車両の走行状態を示す平面図である。 図３は、計算機の詳細を示すブロック図である。 図４は、位置合わせ部の処理の概要を説明するための図であり、（ａ）は車両の移動状態を示す平面図、（ｂ）は位置合わせの概要を示す画像である。 図５は、立体物検出部による差分波形の生成の様子を示す概略図である。 図６は、立体物検出部によって分割される小領域を示す図である。 図７は、立体物検出部により得られるヒストグラムの一例を示す図である。 図８は、立体物検出部による重み付けを示す図である。 図９は、立体物検出部により得られるヒストグラムの他の例を示す図である。 図１０は、非検出対象物の判定方法を説明するための図である。 図１１は、カウント値の増減を説明するための図である。 図１２は、隣接車両検出方法を示すフローチャートである（その１）。 図１３は、隣接車両検出方法を示すフローチャートである（その２）。 図１４は、第２実施形態に係る計算機の詳細を示すブロック図である。 図１５は、車両の走行状態を示す図であり、（ａ）は検出領域等の位置関係を示す平面図、（ｂ）は実空間における検出領域等の位置関係を示す斜視図である。 図１６は、第２実施形態に係る輝度差算出部の動作を説明するための図であり、（ａ）は鳥瞰視画像における注目線、参照線、注目点及び参照点の位置関係を示す図、（ｂ）は実空間における注目線、参照線、注目点及び参照点の位置関係を示す図である。 図１７は、第２実施形態に係る輝度差算出部の詳細な動作を説明するための図であり、（ａ）は鳥瞰視画像における検出領域を示す図、（ｂ）は鳥瞰視画像における注目線、参照線、注目点及び参照点の位置関係を示す図である。 図１８は、エッジ検出動作を説明するための画像例を示す図である。 図１９は、エッジ線とエッジ線上の輝度分布を示す図であり、（ａ）は検出領域に立体物（隣接車両）が存在している場合の輝度分布を示す図、（ｂ）は検出領域に立体物が存在しない場合の輝度分布を示す図である。 図２０は、第２実施形態に係る隣接車両検出方法を示すフローチャート（その１）である。 図２１は、第２実施形態に係る隣接車両検出方法を示すフローチャート（その２）である。
　≪第１実施形態≫
　図１は、本実施形態に係る立体物検出装置１を搭載した車両の概略構成図である。本実施形態に係る立体物検出装置１は、自車両Ｖ１が車線変更する際に接触の可能性がある隣接車線に存在する他車両（以下、隣接車両Ｖ２ともいう）を検出することを目的とする。本実施形態に係る立体物検出装置１は、図１に示すように、カメラ１０と、車速センサ２０と、計算機３０とを備える。
　カメラ１０は、図１に示すように、自車両Ｖ１の後方における高さｈの箇所において、光軸が水平から下向きに角度θとなるように車両Ｖ１に取り付けられている。カメラ１０は、この位置から自車両Ｖ１の周囲環境のうちの所定領域を撮像する。車速センサ２０は、自車両Ｖ１の走行速度を検出するものであって、例えば車輪に回転数を検知する車輪速センサで検出した車輪速から車速度を算出する。計算機３０は、自車両後方の隣接車線に存在する隣接車両の検出を行う。
　図２は、図１の自車両Ｖ１の走行状態を示す平面図である。同図に示すように、カメラ１０は、所定の画角ａで車両後方側を撮像する。このとき、カメラ１０の画角ａは、自車両Ｖ１が走行する車線に加えて、その左右の車線（隣接車線）についても撮像可能な画角に設定されている。
　図３は、図１の計算機３０の詳細を示すブロック図である。なお、図３においては、接続関係を明確とするためにカメラ１０、車速センサ２０についても図示する。
　図３に示すように、計算機３０は、視点変換部３１と、位置合わせ部３２と、立体物検出部３３と、立体物判定部３４とを備える。以下に、それぞれの構成について説明する。
　視点変換部３１は、カメラ１０による撮像にて得られた所定領域の撮像画像データを入力し、入力した撮像画像データを鳥瞰視される状態の鳥瞰画像データに視点変換する。鳥瞰視される状態とは、上空から例えば鉛直下向きに見下ろす仮想カメラの視点から見た状態である。この視点変換は、例えば特開２００８－２１９０６３号公報に記載されるようにして実行することができる。撮像画像データを鳥瞰視画像データに視点変換するのは、立体物に特有の鉛直エッジは鳥瞰視画像データへの視点変換により特定の定点を通る直線群に変換されるという原理に基づき、これを利用すれば平面物と立体物とを識別できるからである。
　位置合わせ部３２は、視点変換部３１の視点変換により得られた鳥瞰視画像データを順次入力し、入力した異なる時刻の鳥瞰視画像データの位置を合わせる。図４は、位置合わせ部３２の処理の概要を説明するための図であり、（ａ）は自車両Ｖ１の移動状態を示す平面図、（ｂ）は位置合わせの概要を示す画像である。
　図４（ａ）に示すように、現時刻の自車両Ｖ１がＰ１に位置し、一時刻前の自車両Ｖ１がＰ１’に位置していたとする。また、自車両Ｖ１の後側方向に隣接車両Ｖ２が位置して自車両Ｖ１と並走状態にあり、現時刻の隣接車両Ｖ２がＰ２に位置し、一時刻前の隣接車両Ｖ２がＰ２’に位置していたとする。さらに、自車両Ｖ１は、一時刻で距離ｄ移動したものとする。なお、一時刻前とは、現時刻から予め定められた時間（例えば１制御周期）だけ過去の時刻であってもよいし、任意の時間だけ過去の時刻であってもよい。
　このような状態において、現時刻における鳥瞰視画像ＰＢｔは図４（ｂ）に示すようになる。この鳥瞰視画像ＰＢｔでは、路面上に描かれる白線については矩形状となり、比較的正確に平面視された状態となるが、隣接車両Ｖ２（位置Ｐ２）については倒れ込みが発生する。また、一時刻前における鳥瞰視画像ＰＢｔ－１についても同様に、路面上に描かれる白線については矩形状となり、比較的正確に平面視された状態となるが、隣接車両Ｖ２（位置Ｐ２’）については倒れ込みが発生する。既述したとおり、立体物の鉛直エッジ（厳密な意味の鉛直エッジ以外にも路面から三次元空間に立ち上がったエッジを含む）は、鳥瞰視画像データへの視点変換処理によって倒れ込み方向に沿った直線群として現れるのに対し、路面上の平面画像は鉛直エッジを含まないので、視点変換してもそのような倒れ込みが生じないからである。
　位置合わせ部３２は、上記のような鳥瞰視画像ＰＢｔ，ＰＢｔ－１の位置合わせをデータ上で実行する。この際、位置合わせ部３２は、一時刻前における鳥瞰画像ＰＢｔ－１をオフセットさせ、現時刻における鳥瞰視画像ＰＢｔと位置を一致させる。図４（ｂ）の左側の画像と中央の画像は、移動距離ｄ’だけオフセットした状態を示す。このオフセット量ｄ’は、図４（ａ）に示した自車両Ｖ１の実際の移動距離ｄに対応する鳥瞰視画像データ上の移動量であり、車速センサ２０からの信号と一時刻前から現時刻までの時間に基づいて決定される。
　また、位置合わせ後において位置合わせ部３２は、鳥瞰視画像ＰＢｔ，ＰＢｔ－１の差分をとり、差分画像ＰＤｔのデータを生成する。ここで、本実施形態において、位置合わせ部３２は、照度環境の変化に対応するために、鳥瞰視画像ＰＢｔ，ＰＢｔ－１の画素値の差を絶対値化し、当該絶対値が所定の閾値ｔｈ以上であるときに、差分画像ＰＤｔの画素値を「１」とし、絶対値が所定の閾値ｔｈ未満であるときに、差分画像ＰＤｔの画素値を「０」とすることで、図４（ｂ）の右側に示すような差分画像ＰＤｔのデータを生成することができる。
　図３に戻り、立体物検出部３３は、図４（ｂ）に示す差分画像ＰＤｔのデータに基づいて立体物を検出する。この際、立体物検出部３３は、実空間上における立体物の移動距離についても算出する。立体物の検出および移動距離の算出にあたり、立体物検出部３３は、まず差分波形を生成する。
　差分波形の生成にあたって立体物検出部３３は、差分画像ＰＤｔにおいて検出領域を設定する。本例の立体物検出装置１は、自車両Ｖ１が車線変更する際に接触の可能性がある隣接車両について移動距離を算出することを目的とするものである。このため、本例では、図２に示すように自車両Ｖ１の後側方に矩形状の検出領域Ａ１，Ａ２を設定する。なお、このような検出領域Ａ１，Ａ２は、自車両Ｖ１に対する相対位置から設定してもよいし、白線の位置を基準に設定してもよい。白線の位置を基準に設定する場合に、立体物検出装置１は、例えば既存の白線認識技術等を利用するとよい。
　また、立体物検出部３３は、図２に示すように、設定した検出領域Ａ１，Ａ２の自車両Ｖ１側における辺（走行方向に沿う辺）を接地線Ｌ１，Ｌ２として認識する。一般に接地線は立体物が地面に接触する線を意味するが、本実施形態では地面に接触する線でなく上記の如くに設定される。なおこの場合であっても、経験上、本実施形態に係る接地線と、本来の隣接車両Ｖ２の位置から求められる接地線との差は大きくなり過ぎず、実用上は問題が無い。
　図５は、立体物検出部３３による差分波形の生成の様子を示す概略図である。図５に示すように、立体物検出部３３は、位置合わせ部３２で算出した差分画像ＰＤｔ（図４（ｂ）の右図）のうち検出領域Ａ１，Ａ２に相当する部分から、差分波形ＤＷｔを生成する。この際、立体物検出部３３は、視点変換により立体物が倒れ込む方向に沿って、差分波形ＤＷｔを生成する。なお、図５に示す例では、便宜上検出領域Ａ１のみを用いて説明するが、検出領域Ａ２についても同様の手順で差分波形ＤＷｔを生成する。
　具体的に説明すると、まず立体物検出部３３は、差分画像ＰＤｔのデータ上において立体物が倒れ込む方向上の線Ｌａを定義する。そして、立体物検出部３３は、線Ｌａ上において所定の差分を示す差分画素ＤＰの数をカウントする。本実施形態では、所定の差分を示す差分画素ＤＰは、差分画像ＰＤｔの画素値が「０」「１」で表現されており、「１」を示す画素が、差分画素ＤＰとしてカウントされる。
　立体物検出部３３は、差分画素ＤＰの数をカウントした後、線Ｌａと接地線Ｌ１との交点ＣＰを求める。そして、立体物検出部３３は、交点ＣＰとカウント数とを対応付け、交点ＣＰの位置に基づいて横軸位置、すなわち図５右図の上下方向軸における位置を決定するとともに、カウント数から縦軸位置、すなわち図５右図の左右方向軸における位置を決定し、交点ＣＰにおけるカウント数としてプロットする。
　以下同様に、立体物検出部３３は、立体物が倒れ込む方向上の線Ｌｂ，Ｌｃ…を定義して、差分画素ＤＰの数をカウントし、各交点ＣＰの位置に基づいて横軸位置を決定し、カウント数（差分画素ＤＰの数）から縦軸位置を決定しプロットする。立体物検出部３３は、上記を順次繰り返して度数分布化することで、図５右図に示すように差分波形ＤＷｔを生成する。
　ここで、差分画像ＰＤｔのデータ上における差分画素ＰＤは、異なる時刻の画像において変化があった画素であり、言い換えれば立体物が存在した箇所であるといえる。このため、立体物が存在した箇所において、立体物が倒れ込む方向に沿って画素数をカウントして度数分布化することで差分波形ＤＷｔを生成することとなる。特に、立体物が倒れ込む方向に沿って画素数をカウントすることから、立体物に対して高さ方向の情報から差分波形ＤＷｔを生成することとなる。
　なお、図５左図に示すように、立体物が倒れ込む方向上の線Ｌａと線Ｌｂとは検出領域Ａ１と重複する距離が異なっている。このため、検出領域Ａ１が差分画素ＤＰで満たされているとすると、線Ｌｂ上よりも線Ｌａ上の方が差分画素ＤＰの数が多くなる。このため、立体物検出部３３は、差分画素ＤＰのカウント数から縦軸位置を決定する場合に、立体物が倒れ込む方向上の線Ｌａ，Ｌｂと検出領域Ａ１とが重複する距離に基づいて正規化する。具体例を挙げると、図５左図において線Ｌａ上の差分画素ＤＰは６つあり、線Ｌｂ上の差分画素ＤＰは５つである。このため、図５においてカウント数から縦軸位置を決定するにあたり、立体物検出部３３は、カウント数を重複距離で除算するなどして正規化する。これにより、差分波形ＤＷｔに示すように、立体物が倒れ込む方向上の線Ｌａ，Ｌｂに対応する差分波形ＤＷｔの値はほぼ同じとなっている。
　差分波形ＤＷｔの生成後、立体物検出部３３は、現時刻における差分波形ＤＷｔと一時刻前の差分波形ＤＷｔ－１との対比により移動距離を算出する。すなわち、立体物検出部３３は、差分波形ＤＷｔ，ＤＷｔ－１の時間変化から移動距離を算出する。
　詳細に説明すると、立体物検出部３３は、図６に示すように差分波形ＤＷｔを複数の小領域ＤＷｔ１～ＤＷｔｎ（ｎは２以上の任意の整数）に分割する。図６は、立体物検出部３３によって分割される小領域ＤＷｔ１～ＤＷｔｎを示す図である。小領域ＤＷｔ１～ＤＷｔｎは、例えば図６に示すように、互いに重複するようにして分割される。例えば小領域ＤＷｔ１と小領域ＤＷｔ２とは重複し、小領域ＤＷｔ２と小領域ＤＷｔ３とは重複する。
　次いで、立体物検出部３３は、小領域ＤＷｔ１～ＤＷｔｎ毎にオフセット量（差分波形の横軸方向（図６の上下方向）の移動量）を求める。ここで、オフセット量は、一時刻前における差分波形ＤＷｔ－１と現時刻における差分波形ＤＷｔとの差（横軸方向の距離）から求められる。この際、立体物検出部３３は、小領域ＤＷｔ１～ＤＷｔｎ毎に、一時刻前における差分波形ＤＷｔ－１を横軸方向に移動させた際に、現時刻における差分波形ＤＷｔとの誤差が最小となる位置（横軸方向の位置）を判定し、差分波形ＤＷｔ－１の元の位置と誤差が最小となる位置との横軸方向の移動量をオフセット量として求める。そして、立体物検出部３３は、小領域ＤＷｔ１～ＤＷｔｎ毎に求めたオフセット量をカウントしてヒストグラム化する。
　図７は、立体物検出部３３により得られるヒストグラムの一例を示す図である。図７に示すように、各小領域ＤＷｔ１～ＤＷｔｎと一時刻前における差分波形ＤＷｔ－１との誤差が最小となる移動量であるオフセット量には、多少のバラつきが生じる。このため、立体物検出部３３は、バラつきを含んだオフセット量をヒストグラム化し、ヒストグラムから移動距離を算出する。この際、立体物検出部３３は、ヒストグラムの極大値から立体物の移動距離を算出する。すなわち、図７に示す例において、立体物検出部３３は、ヒストグラムの極大値を示すオフセット量を移動距離τ＊と算出する。このように、本実施形では、オフセット量にバラつきがあったとしても、その極大値から、より正確性の高い移動距離を算出することが可能となる。なお、移動距離τ＊は、自車両に対する立体物の相対移動距離である。このため、立体物検出部３３は、絶対移動距離を算出する場合には、得られた移動距離τ＊と車速センサ２０からの信号とに基づいて、絶対移動距離を算出することとなる。
　このように、本実施形態では、異なる時刻に生成された差分波形ＤＷｔの誤差が最小となるときの差分波形ＤＷｔのオフセット量から立体物の移動距離を算出することで、波形という１次元の情報のオフセット量から移動距離を算出することとなり、移動距離の算出にあたり計算コストを抑制することができる。また、異なる時刻に生成された差分波形ＤＷｔを複数の小領域ＤＷｔ１～ＤＷｔｎに分割することで、立体物のそれぞれの箇所を表わした波形を複数得ることができ、これにより、立体物のそれぞれの箇所毎にオフセット量を求めることができ、複数のオフセット量から移動距離を求めることができるため、移動距離の算出精度を向上させることができる。また、本実施形態では、高さ方向の情報を含む差分波形ＤＷｔの時間変化から立体物の移動距離を算出することで、単に１点の移動のみに着目するような場合と比較して、時間変化前の検出箇所と時間変化後の検出箇所とが高さ方向の情報を含んで特定されるため立体物において同じ箇所となり易く、同じ箇所の時間変化から移動距離を算出することとなり、移動距離の算出精度を向上させることができる。
　なお、ヒストグラム化にあたり立体物検出部３３は、複数の小領域ＤＷｔ１～ＤＷｔｎ毎に重み付けをし、小領域ＤＷｔ１～ＤＷｔｎ毎に求めたオフセット量を重みに応じてカウントしてヒストグラム化してもよい。図８は、立体物検出部３３による重み付けを示す図である。
　図８に示すように、小領域ＤＷｍ（ｍは１以上ｎ－１以下の整数）は平坦となっている。すなわち、小領域ＤＷｍは所定の差分を示す画素数のカウントの最大値と最小値との差が小さくなっている。立体物検出部３３は、このような小領域ＤＷｍについて重みを小さくする。平坦な小領域ＤＷｍについては、特徴がなくオフセット量の算出にあたり誤差が大きくなる可能性が高いからである。
　一方、小領域ＤＷｍ＋ｋ（ｋはｎ－ｍ以下の整数）は起伏に富んでいる。すなわち、小領域ＤＷｍは所定の差分を示す画素数のカウントの最大値と最小値との差が大きくなっている。立体物検出部３３は、このような小領域ＤＷｍについて重みを大きくする。起伏に富む小領域ＤＷｍ＋ｋについては、特徴的でありオフセット量の算出を正確に行える可能性が高いからである。このように重み付けすることにより、移動距離の算出精度を向上することができる。
　なお、移動距離の算出精度を向上するために上記実施形態では差分波形ＤＷｔを複数の小領域ＤＷｔ１～ＤＷｔｎに分割したが、移動距離の算出精度がさほど要求されない場合は小領域ＤＷｔ１～ＤＷｔｎに分割しなくてもよい。この場合に、立体物検出部３３は、差分波形ＤＷｔと差分波形ＤＷｔ－１との誤差が最小となるときの差分波形ＤＷｔのオフセット量から移動距離を算出することとなる。すなわち、一時刻前における差分波形ＤＷｔ－１と現時刻における差分波形ＤＷｔとのオフセット量を求める方法は上記内容に限定されない。
　なお、本実施形態において立体物検出部３３は、自車両Ｖ１（カメラ１０）の移動速度を求め、求めた移動速度から静止物についてのオフセット量を求める。静止物のオフセット量を求めた後、立体物検出部３３は、ヒストグラムの極大値のうち静止物に該当するオフセット量を無視したうえで、立体物の移動距離を算出する。
　図９は、立体物検出部３３により得られるヒストグラムの他の例を示す図である。カメラ１０の画角内に立体物の他に静止物が存在する場合に、得られるヒストグラムには２つの極大値τ１，τ２が現れる。この場合、２つの極大値τ１，τ２のうち、いずれか一方は静止物のオフセット量である。このため、立体物検出部３３は、移動速度から静止物についてのオフセット量を求め、そのオフセット量に該当する極大値について無視し、残り一方の極大値を採用して立体物の移動距離を算出する。これにより、静止物により立体物の移動距離の算出精度が低下してしまう事態を防止することができる。
　なお、静止物に該当するオフセット量を無視したとしても、極大値が複数存在する場合、カメラ１０の画角内に立体物が複数台存在すると想定される。しかし、検出領域Ａ１，Ａ２内に複数の立体物が存在することは極めて稀である。このため、立体物検出部３３は、移動距離の算出を中止する。これにより、本実施形態では、極大値が複数あるような誤った移動距離を算出してしまう事態を防止することができる。
　さらに、立体物検出部３３は、立体物の相対移動距離を時間微分することで、立体物の相対移動速度を算出する。また、立体物検出部３３は、立体物の絶対移動距離に基づいて、立体物の絶対移動速度も算出する。加えて、立体物検出部３３は、立体物の相対移動速度を所定間隔で繰り返し算出しており、繰り返し算出した立体物の相対移動速度の時間変化量ΔＶを算出する。算出された相対移動速度の時間変化量ΔＶは、後述する立体物判定部３４に送信される。
　図３に示す立体物判定部３４は、立体物検出部３３により検出された立体物が、隣接車線を走行する他車両（隣接車両）であるか否かを判定する。また、立体物判定部３４は、立体物が隣接車両であるか否かを判定する際に、画像情報のバラツキ度合を検出し、検出した画像情報のバラツキ度合に基づいて、立体物が非検出対象物であるか否かを判定する。なお、本実施形態において、立体物判定部３４は、画像情報のバラツキ度合として、撮像画像に基づいて、立体物検出部３３により算出された立体物の相対移動速度の時間変化量の絶対値｜ΔＶ｜を算出し、算出した絶対値｜ΔＶ｜に基づいて、立体物が非検出対象物であるか否かを判定する。ここで、非検出対象物とは、検出対象である隣接車両に対して、非検出対象である草、雪、ガードレールなどをいう。このように、本実施形態において、立体物判定部３４は、立体物が非検出対象物であるか否かを判定することで、非検出対象物を、隣接車両として誤検出してしまうことを有効に防止するものである。
　具体的には、立体物判定部３４は、立体物の相対移動速度の時間変化量の絶対値｜ΔＶ｜が大きいほど、画像情報のバラツキ度合が高いものと判断し、検出された立体物は非検出対象物である可能性が高いものと判断する。本実施形態において、立体物判定部３４は、図１０に示すように、立体物の相対移動速度の時間変化量の絶対値｜ΔＶ｜に応じて、カウント値（図１０に示す縦軸）を増減させ、その結果、カウント値が所定の第１閾値ｓ１以上となった場合に、検出された立体物は非検出対象物であると判定する。なお、図１０は、非検出対象物の検出方法を説明するための図である。
　ここで、非検出対象物を検出するためのカウント値について説明する。図１１は、カウント値の増減量の一例を示す表である。立体物判定部３４は、図１１に示すように、立体物の相対移動速度の時間変化量の絶対値｜ΔＶ｜の大きさと、検出領域Ａ１，Ａ２の明るさ（昼／夜）とに基づいて、カウント値の増減量を変更する。
　たとえば、立体物判定部３４は、差分画像から検出領域Ａ１，Ａ２の明るさを検出し、図１１に示すように、検出領域Ａ１，Ａ２の明るさが所定値以上である場合（昼間と判断できる場合）に、立体物の相対移動速度の時間変化量の絶対値｜ΔＶ｜が３０ｋｍ／ｈ以上である場合（｜ΔＶ｜≧３０ｋｍ／ｈ）には、立体物は、エッジ成分などの画像情報のバラツキが大きい非検出対象物である可能性が高いものと判断し、カウント値をＸ１増加させる。また、立体物判定部３４は、検出領域Ａ１，Ａ２の明るさが所定値未満である場合（すなわち、夜間と判断できる場合）に、立体物の相対移動速度の時間変化量の絶対値｜ΔＶ｜が３０ｋｍ／ｈ以上である場合（｜ΔＶ｜≧３０ｋｍ／ｈ）には、カウント値をＸ２増加させる。ここで、Ｘ２は、Ｘ１よりも小さい値となる（Ｘ１＞Ｘ２）。夜間の場合（明るさが所定値未満である場合）は、撮像画像のコントラストが低くなるため、立体物が非検出対象物であると判定できる確信度が小さくなるためである。
　また、立体物判定部３４は、図１１に示すように、明るさが所定値以上である場合（昼間と判断できる場合）に、立体物の相対移動速度の時間変化量の絶対値｜ΔＶ｜が３０ｋｍ／ｈ未満であり、かつ、１０ｋｍ／ｈ以上である場合（３０ｋｍ／ｈ＞｜ΔＶ｜≧１０ｋｍ／ｈ）には、立体物は、エッジ成分などの画像情報のバラツキが大きい非検出対象物である可能性は低いものと判断し、カウント値をＹ１減少させる。また、立体物判定部３４は、明るさが所定値未満である場合（夜間と判断できる場合）に、立体物の相対移動速度の時間変化量の絶対値｜ΔＶ｜が３０ｋｍ／ｈ未満であり、かつ、１０ｋｍ／ｈ以上である場合（３０ｋｍ／ｈ＞｜ΔＶ｜≧１０ｋｍ／ｈ）には、カウント値をＹ２減少させる。ここで、Ｘ１，Ｘ２と同様に、Ｙ２は、Ｙ１よりも小さい値となる（Ｙ１＞Ｙ２）。
　さらに、立体物判定部３４は、図１１に示すように、明るさが所定値以上である場合（昼間と判断できる場合）に、立体物の相対移動速度の時間変化量の絶対値｜ΔＶ｜が１０ｋｍ／ｈ未満である場合（１０ｋｍ／ｈ＞｜ΔＶ｜）には、立体物は、エッジ成分などの画像情報のバラツキが大きい非検出対象物ではない可能性が高いものと判断し、カウント値をＺ１減少させる。ここで、Ｚ１は、Ｙ１よりも大きい値となる（Ｚ１＞Ｙ１）。立体物の相対移動速度の時間変化量の絶対値｜ΔＶ｜が１０ｋｍ／ｈ未満である場合（１０ｋｍ／ｈ＞｜ΔＶ｜）には、立体物の相対移動速度の時間変化量の絶対値｜ΔＶ｜が３０ｋｍ／ｈ未満であり、かつ、１０ｋｍ／ｈである場合（３０ｋｍ／ｈ＞｜ΔＶ｜≧１０ｋｍ／ｈ）と比べて、立体物が隣接車両である可能性が高く、立体物が非検出対象物であると判定できる確信度が小さくなるためである。また、立体物判定部３４は、明るさが所定値未満である場合（夜間と判断できる場合）に、立体物の相対移動速度の時間変化量の絶対値｜ΔＶ｜が１０ｋｍ／ｈ未満である場合（１０ｋｍ／ｈ＞｜ΔＶ｜）には、カウント値をＺ２減少させる。ここで、Ｚ１と同様に、Ｚ２は、Ｙ２よりも大きい値となる（Ｚ２＞Ｙ２）。また、Ｘ１，Ｘ２と同様に、Ｚ２は、Ｚ１よりも小さい値となる（Ｚ１＞Ｚ２）。
　そして、立体物判定部３４は、図１１に示すように、立体物の相対移動速度の時間変化量の絶対値｜ΔＶ｜のバラツキに応じて、カウント値を増減させた結果、カウント値が図１０に示す第１閾値ｓ１以上となった場合に、立体物は非検出対象物であると判定する。
　さらに、立体物判定部３４は、図１０に示すように、カウント値が第１閾値ｓ１以上となった後に、さらに、カウント値が第２閾値ｓ２未満となった場合に、立体物は非検出対象物であるとの判定を解除する。たとえば、図１０に示す例では、時刻ｔ１において、カウント値が第１閾値ｓ１以上となっているため、時刻ｔ１において、検出された立体物は非検出対象物であるものと判定されるが、その後、時刻ｔ２において、カウント値が第２閾値ｓ２未満となるため、時刻ｔ２において、検出された立体物は非検出対象物ではないと判定される。さらに、図１０に示す例では、時刻ｔ３において、再度、カウント値が第１閾値ｓ１以上となるため、時刻ｔ３において、検出された立体物は非検出対象物であるものと判定されることとなる。
　なお、図１０に示す例では、立体物の相対移動速度の時間変化量の絶対値｜ΔＶ｜が３０ｋｍ／ｈ以上である場合（｜ΔＶ｜≧３０ｋｍ／ｈ）にも、カウント値が第１閾値ｓ１以上とならないように、第１閾値ｓ１がカウント値の上限値として設けられている。これにより、本実施形態では、隣接車線を走行する隣接車両が実際に検出された場合に、第１閾値ｓ１と等しい値となっているカウント値を、迅速に第２閾値ｓ２未満まで減少させることができ、これにより、隣接車両の検出を適切に行うことができる。なお、図１０に示す例では、第１閾値ｓ１をカウント値の上限値としているが、これに限定されるものではなく、第１閾値ｓ１よりも大きい値を、カウント値の上限値としてもよいし、第１閾値ｓ１よりも小さい値を、カウント値の上限値としてもよい。
　そして、立体物判定部３４は、このようにカウント値を増減させることで、立体物検出部３３により検出された立体物が、非検出対象物であるか否かを判定し、検出された立体物が非検出対象物であると判定した場合には、検出された立体物を隣接車両として検出しないように抑制する。これにより、植え込みの草などの非検出対象物を、隣接車両として誤検出してしまうことを有効に防止することができる。
　次に、本実施形態に係る隣接車両検出処理について説明する。図１２、図１３は、本実施形態の隣接車両検出処理を示すフローチャートである。図１２、図１３に示すように、まず、計算機３０により、カメラ１０から撮像画像Ｐのデータの取得が行われ（ステップＳ１０１）、視点変換部３１により、取得した撮像画像Ｐのデータに基づいて、鳥瞰視画像ＰＢｔのデータが生成される（ステップＳ１０２）。
　次いで、位置合わせ部３３は、鳥瞰視画像ＰＢｔのデータと、一時刻前の鳥瞰視画像ＰＢｔ－１のデータとを位置合わせをし、差分画像ＰＤｔのデータを生成する（ステップＳ１０３）。その後、立体物検出部３３は、差分画像ＰＤｔのデータから、画素値が「１」の差分画素ＤＰの数をカウントして、差分波形ＤＷｔを生成する（ステップＳ１０４）。
　そして、立体物検出部３３は、差分波形ＤＷｔのピークが所定の閾値α以上であるか否かを判断する（ステップＳ１０５）。差分波形ＤＷｔのピークが閾値α以上でない場合、すなわち差分が殆どない場合には、撮像画像Ｐ内には立体物が存在しないと考えられる。このため、差分波形ＤＷｔのピークが閾値α以上でないと判断した場合には（ステップＳ１０５＝Ｎｏ）、立体物検出部３３は、立体物が存在せず他車両が存在しないと判断する（図１３のステップＳ１３０）。
　一方、差分波形ＤＷｔのピークが閾値α以上であると判断した場合には（ステップＳ１０５＝Ｙｅｓ）、立体物検出部３３は、隣接車線に立体物が存在すると判断し、ステップＳ１０６に進み、立体物検出部３３により、差分波形ＤＷｔが、複数の小領域ＤＷｔ１～ＤＷｔｎに分割される。次いで、立体物検出部３３は、小領域ＤＷｔ１～ＤＷｔｎ毎に重み付けを行い（ステップＳ１０７）、小領域ＤＷｔ１～ＤＷｔｎ毎のオフセット量を算出し（ステップＳ１０８）、重みを加味してヒストグラムを生成する（ステップＳ１０９）。
　そして、立体物検出部３３は、ヒストグラムに基づいて自車両に対する隣接車両の移動距離である相対移動距離を算出する（ステップＳ１１０）。さらに、立体物検出部３３は、相対移動距離を時間微分して相対移動速度を算出するとともに(ステップＳ１１１)、車速センサ２０で検出された自車速を加算して、隣接車両の絶対移動速度を算出する（ステップＳ１１２）。
　図１３に進み、立体物判定部３４は、立体物の相対移動速度の時間変化量の絶対値｜ΔＶ｜が３０ｋｍ／ｈ以上（｜ΔＶ｜≧３０ｋｍ／ｈ）であるか否かを判断する（ステップＳ１１３）。そして、立体物の相対移動速度の時間変化量の絶対値｜ΔＶ｜が３０ｋｍ／ｈ以上（｜ΔＶ｜≧３０ｋｍ／ｈ）であり（ステップＳ１１３＝Ｙｅｓ）、検出領域Ａ１の明るさが所定値以上である場合（ステップＳ１１４＝Ｙｅｓ）には、図１１に示すように、カウント値をＸ１増加する（ステップＳ１１５）。また、立体物判定部３４は、立体物の相対移動速度の時間変化量の絶対値｜ΔＶ｜が３０ｋｍ／ｈ以上（｜ΔＶ｜≧３０ｋｍ／ｈ）である場合に（ステップＳ１１３＝Ｙｅｓ）、検出領域Ａ１の明るさが所定値未満である場合（ステップＳ１１４＝Ｎｏ）には、図１１に示すように、カウント値をＸ２増加する（ステップＳ１１６）。
　さらに、立体物判定部３４は、立体物の相対移動速度の時間変化量の絶対値｜ΔＶ｜が３０ｋｍ／ｈ未満であり、かつ、１０ｋｍ／ｈ以上である場合（３０ｋｍ／ｈ＞｜ΔＶ｜≧１０ｋｍ／ｈ）に（ステップＳ１１７＝Ｙｅｓ）、検出領域Ａ１の明るさが所定値以上である場合（ステップＳ１１８＝Ｙｅｓ）には、図１１に示すように、カウント値をＹ１減少する（ステップＳ１１９）。また、立体物判定部３４は、立体物の相対移動速度の時間変化量の絶対値｜ΔＶ｜が３０ｋｍ／ｈ未満であり、かつ、１０ｋｍ／ｈ以上である場合（３０ｋｍ／ｈ＞｜ΔＶ｜≧１０ｋｍ／ｈ）に（ステップＳ１１７＝Ｙｅｓ）、検出領域Ａ１の明るさが所定値未満である場合（ステップＳ１１８＝Ｎｏ）には、図１１に示すように、カウント値をＹ２減少する（ステップＳ１２０）。
　さらに、立体物判定部３４は、立体物の相対移動速度の時間変化量の絶対値｜ΔＶ｜が１０ｋｍ／ｈ未満である場合（１０ｋｍ／ｈ＞｜ΔＶ｜）に（ステップＳ１１７＝Ｎｏ）、検出領域Ａ１の明るさが所定値以上である場合（ステップＳ１２１＝Ｙｅｓ）には、図１１に示すように、カウント値をＺ１減少する（ステップＳ１２２）。また、立体物判定部３４は、立体物の相対移動速度の時間変化量の絶対値｜ΔＶ｜が１０ｋｍ／ｈ未満に（ステップＳ１１７＝Ｎｏ）、検出領域Ａ１の明るさが所定値未満である場合（ステップＳ１２１＝Ｎｏ）には、図１１に示すように、カウント値をＺ２減少する（ステップＳ１２３）。
　そして、立体物判定部３４は、ステップＳ１２４において、カウント値が、図１０に示す第１閾値ｓ１以上であるか否かの判断を行う。カウント値が第１閾値ｓ１以上である場合には、ステップＳ１２９に進み、立体物判定部３４により、検出された立体物は非検出対象物であると判定され、その後、ステップＳ１３０に進み、立体物判定部３４により、隣接車線に隣接車両は存在しないと判断される。一方、カウント値が第１閾値ｓ１未満である場合には、ステップＳ１２５に進む。
　ステップＳ１２５では、立体物判定部３４により、カウント値が第１閾値ｓ１以上となった後に、カウント値が、図１０に示す第１閾値ｓ１未満となり、さらに、第２閾値ｓ２未満となったか否かの判断が行われる。すなわち、一度、第１閾値ｓ１以上となったカウント値が低下して、カウント値が第１閾値ｓ１未満となった後も、カウント値が第２閾値ｓ２以上である場合には、ステップＳ１２９に進み、立体物判定部３４により、検出された立体物は非検出対象物であると判定され、その後、立体物判定部３４により、隣接車線に隣接車両は存在しないと判断される（ステップＳ１２９）。一方、カウント値が第１閾値ｓ１未満となった後に、さらに第２閾値ｓ２未満となった場合には、ステップＳ１２６に進み、立体物判定部３４により、検出された立体物は非検出対象物ではないものと判定され、ステップＳ１２７に進む。なお、カウント値が一度も第１閾値ｓ１以上となっていない場合に、カウント値が第１閾値ｓ１未満であり、かつ、第２閾値ｓ２以上である場合には、当然に、ステップＳ１２６に進む。
　ステップＳ１２７では、立体物判定部３４により、隣接車両の絶対移動速度が１０ｋｍ／ｈ以上、且つ、隣接車両の自車両に対する相対移動速度が＋６０ｋｍ／ｈ以下であるか否かの判断が行われる。双方を満たす場合には（ステップＳ１２７＝Ｙｅｓ）、立体物判定部３４は、隣接車線に隣接車両が存在すると判断する（ステップＳ１２８）。一方、いずれか一方でも満たさない場合には（ステップＳ１２７＝Ｎｏ）、立体物判定部３４は、隣接車線に隣接車両が存在しないと判断する（ステップＳ１３０）。そして、図１３に示すステップＳ１０１に戻り、上述した処理を繰り返す。
　なお、本実施形態では自車両の後側方を検出領域Ａ１，Ａ２とし、自車両が車線変更した場合に接触する可能性があるか否かに重点を置いている。このため、ステップＳ１２７の処理が実行されている。すなわち、本実施形態にけるシステムを高速道路で作動させることを前提とすると、隣接車両の速度が１０ｋｍ／ｈ未満である場合、たとえ隣接車両が存在したとしても、車線変更する際には自車両の遠く後方に位置するため問題となることが少ない。同様に、隣接車両の自車両に対する相対移動速度が＋６０ｋｍ／ｈを超える場合（すなわち、隣接車両が自車両の速度よりも６０ｋｍ／ｈより大きな速度で移動している場合）、車線変更する際には自車両の前方に移動しているため問題となることが少ない。このため、ステップＳ１２７では車線変更の際に問題となる隣接車両を判断しているともいえる。
　また、ステップＳ１２７において、隣接車両の絶対移動速度が１０ｋｍ／ｈ以上、且つ、隣接車両の自車両に対する相対移動速度が＋６０ｋｍ／ｈ以下であるかを判断することにより、以下の効果がある。例えば、カメラ１０の取り付け誤差によっては、静止物の絶対移動速度を数ｋｍ／ｈであると検出してしまう場合があり得る。よって、１０ｋｍ／ｈ以上であるかを判断することにより、静止物を隣接車両であると判断してしまう可能性を低減することができる。また、ノイズによっては隣接車両の自車両に対する相対速度を＋６０ｋｍ／ｈを超える速度に検出してしまうことがあり得る。よって、相対速度が＋６０ｋｍ／ｈ以下であるかを判断することにより、ノイズによる誤検出の可能性を低減できる。
　さらに、ステップＳ１２７の処理に代えて、隣接車両の絶対移動速度がマイナスでないことや、０ｋｍ／ｈでないことを判断してもよい。また、本実施形態では自車両が車線変更した場合に接触する可能性がある否かに重点を置いているため、ステップＳ１２８において隣接車両が検出された場合に、自車両の運転者に警告音を発したり、所定の表示装置により警告相当の表示を行ったりしてもよい。
　以上のように、本実施形態では、異なる時刻に得られた２枚の画像を鳥瞰視画像に変換し、２枚の鳥瞰視画像の差分に基づいて差分画像ＰＤｔを生成する。そして、視点変換により立体物が倒れ込む方向に沿って、差分画像ＰＤｔのデータ上において所定の差分を示す画素数をカウントして度数分布化することで、差分画像ＰＤｔのデータから差分波形ＤＷｔを生成する。さらに、生成した差分波形ＤＷｔに基づいて立体物を検出し、検出した立体物の相対移動速度の変化量の絶対値｜ΔＶ｜に基づいて、検出した立体物が、草、雪、ガードレールなどの非検出対象物であるか否かを判定する。ここで、たとえば、草、雪、ガードレールなどの非検出対象物を撮像した撮像画像に対してエッジ処理を施した場合、不連続なエッジ成分が多く検出される傾向にある。これは、非検出対象物の画像情報は、画像情報のバラツキ度合が高い傾向にあるためである。そのため、本実施形態では、画像情報のばらつき度合として、立体物の相対移動速度の変化量の絶対値｜ΔＶ｜を検出し、検出した絶対値｜ΔＶ｜が大きいほど、非検出対象物であるものと判断することで、草、雪、ガードレールなどの非検出対象物を適切に検出し、これにより、非検出対象物を隣接車両として誤検出してしまうことを有効に防止することができる。
　また、反対に、本実施形態では、立体物の相対移動速度の時間変化量の絶対値｜ΔＶ｜が低いほど、検出した立体物は車両である可能性が高いと判断され、その結果、検出した立体物が他車両であると判断され易くなるため、立体物の検出を適切に行うことができる。
　また、本実施形態では、立体物の相対移動速度の変化量の絶対値｜ΔＶ｜が大きい場合に、カウント値を増加させ、累積したカウント値が第１閾値ｓ１以上となった場合に、検出した立体物を非検出対象物として判定することで、非検出対象物の検出精度を高めることができる。また、同様に、カウント値が第１閾値ｓ１以上となった後も、カウント値が第２閾値ｓ２未満となるまで、立体物を非検出対象物として判定し、カウント値が第２閾値ｓ２未満となった場合に、立体物は非検出対象物ではないものと判定することで、非検出対象物の検出精度を高めることができる。
《第２実施形態》
　続いて、第２実施形態に係る立体物検出装置１ａについて説明する。第２実施形態に係る立体物検出装置１ａは、図１４に示すように、第１実施形態の計算機３０に代えて、計算機３０ａを備えており、以下に説明するように動作すること以外は、第１実施形態と同様である。ここで、図１４は、第２実施形態に係る計算機３０ａの詳細を示すブロック図である。
　第２実施形態にかかる立体物検出装置１ａは、図１４に示すように、カメラ１０と計算機３０ａとを備えており、計算機３０ａは、視点変換部３１、輝度差算出部３４、エッジ線検出部３５、立体物検出部３３ａ、および立体物判定部３４ａから構成されている。以下に、第２実施形態に係る立体物検出装置１ａの各構成について説明する。
　図１５は、図１４のカメラ１０の撮像範囲等を示す図であり、図１５（ａ）は平面図、図１５（ｂ）は、自車両Ｖ１から後側方における実空間上の斜視図を示す。図１５（ａ）に示すように、カメラ１０は所定の画角ａとされ、この所定の画角ａに含まれる自車両Ｖ１から後側方を撮像する。カメラ１０の画角ａは、図２に示す場合と同様に、カメラ１０の撮像範囲に自車両Ｖ１が走行する車線に加えて、隣接する車線も含まれるように設定されている。
　本例の検出領域Ａ１，Ａ２は、平面視（鳥瞰視された状態）において台形状とされ、これら検出領域Ａ１，Ａ２の位置、大きさ及び形状は、距離ｄ１～ｄ４に基づいて決定される。なお、同図に示す例の検出領域Ａ１，Ａ２は台形状に限らず、図２に示すように鳥瞰視された状態で矩形など他の形状であってもよい。
　ここで、距離ｄ１は、自車両Ｖ１から接地線Ｌ１，Ｌ２までの距離である。接地線Ｌ１，Ｌ２は、自車両Ｖ１が走行する車線に隣接する車線に存在する立体物が地面に接触する線を意味する。本実施形態においては、自車両Ｖ１の後側方において自車両Ｖ１の車線に隣接する左右の車線を走行する隣接車両Ｖ２等（２輪車等を含む)を検出することが目的である。このため、自車両Ｖ１から白線Ｗまでの距離ｄ１１及び白線Ｗから隣接車両Ｖ２が走行すると予測される位置までの距離ｄ１２から、隣接車両Ｖ２の接地線Ｌ１，Ｌ２となる位置である距離ｄ１を略固定的に決定しておくことができる。
　また、距離ｄ１については、固定的に決定されている場合に限らず、可変としてもよい。この場合に、計算機３０ａは、白線認識等の技術により自車両Ｖ１に対する白線Ｗの位置を認識し、認識した白線Ｗの位置に基づいて距離ｄ１１を決定する。これにより、距離ｄ１は、決定された距離ｄ１１を用いて可変的に設定される。以下の本実施形態においては、隣接車両Ｖ２が走行する位置（白線Ｗからの距離ｄ１２）及び自車両Ｖ１が走行する位置（白線Ｗからの距離ｄ１１）は大凡決まっていることから、距離ｄ１は固定的に決定されているものとする。
　距離ｄ２は、自車両Ｖ１の後端部から車両進行方向に伸びる距離である。この距離ｄ２は、検出領域Ａ１，Ａ２が少なくともカメラ１０の画角ａ内に収まるように決定されている。特に本実施形態において、距離ｄ２は、画角ａに区分される範囲に接するよう設定されている。距離ｄ３は、検出領域Ａ１，Ａ２の車両進行方向における長さを示す距離である。この距離ｄ３は、検出対象となる立体物の大きさに基づいて決定される。本実施形態においては、検出対象が隣接車両Ｖ２等であるため、距離ｄ３は、隣接車両Ｖ２を含む長さに設定される。
　距離ｄ４は、図１５（ｂ）に示すように、実空間において隣接車両Ｖ２等のタイヤを含むように設定された高さを示す距離である。距離ｄ４は、鳥瞰視画像においては図１５（ａ）に示す長さとされる。なお、距離ｄ４は、鳥瞰視画像において左右の隣接車線よりも更に隣接する車線（すなわち２車線隣りの隣隣接車線）を含まない長さとすることもできる。自車両Ｖ１の車線から２車線隣の車線を含んでしまうと、自車両Ｖ１が走行している車線である自車線の左右の隣接車線に隣接車両Ｖ２が存在するのか、２車線隣りの隣隣接車線に隣隣接車両が存在するのかについて、区別が付かなくなってしまうためである。
　以上のように、距離ｄ１～距離ｄ４が決定され、これにより検出領域Ａ１，Ａ２の位置、大きさ及び形状が決定される。具体的に説明すると、距離ｄ１により、台形をなす検出領域Ａ１，Ａ２の上辺ｂ１の位置が決定される。距離ｄ２により、上辺ｂ１の始点位置Ｃ１が決定される。距離ｄ３により、上辺ｂ１の終点位置Ｃ２が決定される。カメラ１０から始点位置Ｃ１に向かって伸びる直線Ｌ３により、台形をなす検出領域Ａ１，Ａ２の側辺ｂ２が決定される。同様に、カメラ１０から終点位置Ｃ２に向かって伸びる直線Ｌ４により、台形をなす検出領域Ａ１，Ａ２の側辺ｂ３が決定される。距離ｄ４により、台形をなす検出領域Ａ１，Ａ２の下辺ｂ４の位置が決定される。このように、各辺ｂ１～ｂ４により囲まれる領域が検出領域Ａ１，Ａ２とされる。この検出領域Ａ１，Ａ２は、図１５（ｂ）に示すように、自車両Ｖ１から後側方における実空間上では真四角（長方形）となる。
　図１４に戻り、視点変換部３１は、カメラ１０による撮像にて得られた所定領域の撮像画像データを入力する。視点変換部３１は、入力した撮像画像データに対して、鳥瞰視される状態の鳥瞰画像データに視点変換処理を行う。鳥瞰視される状態とは、上空から例えば鉛直下向き(又は、やや斜め下向き)に見下ろす仮想カメラの視点から見た状態である。この視点変換処理は、例えば特開２００８－２１９０６３号公報に記載された技術によって実現することができる。
　輝度差算出部３４は、鳥瞰視画像に含まれる立体物のエッジを検出するために、視点変換部３１により視点変換された鳥瞰視画像データに対して、輝度差の算出を行う。輝度差算出部３４は、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置ごとに、当該各位置の近傍の２つの画素間の輝度差を算出する。輝度差算出部３４は、実空間における鉛直方向に伸びる鉛直仮想線を１本だけ設定する手法と、鉛直仮想線を２本設定する手法との何れかによって輝度差を算出することができる。
　ここでは、鉛直仮想線を２本設定する具体的な手法について説明する。輝度差算出部３４は、視点変換された鳥瞰視画像に対して、実空間で鉛直方向に伸びる線分に該当する第１鉛直仮想線と、第１鉛直仮想線と異なり実空間で鉛直方向に伸びる線分に該当する第２鉛直仮想線とを設定する。輝度差算出部３４は、第１鉛直仮想線上の点と第２鉛直仮想線上の点との輝度差を、第１鉛直仮想線及び第２鉛直仮想線に沿って連続的に求める。以下、この輝度差算出部３４の動作について詳細に説明する。
　輝度差算出部３４は、図１６（ａ）に示すように、実空間で鉛直方向に伸びる線分に該当し、且つ、検出領域Ａ１を通過する第１鉛直仮想線Ｌａ（以下、注目線Ｌａという）を設定する。また輝度差算出部３４は、注目線Ｌａと異なり、実空間で鉛直方向に伸びる線分に該当し、且つ、検出領域Ａ１を通過する第２鉛直仮想線Ｌｒ（以下、参照線Ｌｒという）を設定する。ここで参照線Ｌｒは、実空間における所定距離だけ注目線Ｌａから離間する位置に設定される。なお、実空間で鉛直方向に伸びる線分に該当する線とは、鳥瞰視画像においてはカメラ１０の位置Ｐｓから放射状に広がる線となる。この放射状に広がる線は、鳥瞰視に変換した際に立体物が倒れ込む方向に沿う線である。
　輝度差算出部３４は、注目線Ｌａ上に注目点Ｐａ（第１鉛直仮想線上の点）を設定する。また輝度差算出部３４は、参照線Ｌｒ上に参照点Ｐｒ（第２鉛直板想線上の点）を設定する。これら注目線Ｌａ、注目点Ｐａ、参照線Ｌｒ、参照点Ｐｒは、実空間上において図１６（ｂ）に示す関係となる。図１６（ｂ）から明らかなように、注目線Ｌａ及び参照線Ｌｒは、実空間上において鉛直方向に伸びた線であり、注目点Ｐａと参照点Ｐｒとは、実空間上において略同じ高さに設定される点である。なお、注目点Ｐａと参照点Ｐｒとは必ずしも厳密に同じ高さである必要はなく、注目点Ｐａと参照点Ｐｒとが同じ高さとみなせる程度の誤差は許容される。
　輝度差算出部３４は、注目点Ｐａと参照点Ｐｒとの輝度差を求める。仮に、注目点Ｐａと参照点Ｐｒとの輝度差が大きいと、注目点Ｐａと参照点Ｐｒとの間にエッジが存在すると考えられる。特に、第２実施形態では、検出領域Ａ１，Ａ２に存在する立体物を検出するために、鳥瞰視画像に対して実空間において鉛直方向に伸びる線分として鉛直仮想線を設定しているため、注目線Ｌａと参照線Ｌｒとの輝度差が高い場合には、注目線Ｌａの設定箇所に立体物のエッジがある可能性が高い。このため、図１４に示すエッジ線検出部３５は、注目点Ｐａと参照点Ｐｒとの輝度差に基づいてエッジ線を検出する。
　この点をより詳細に説明する。図１７は、輝度差算出部３４の詳細動作を示す図であり、図１７（ａ）は鳥瞰視された状態の鳥瞰視画像を示し、図１７（ｂ）は、図１７（ａ）に示した鳥瞰視画像の一部Ｂ１を拡大した図である。なお図１７についても検出領域Ａ１のみを図示して説明するが、検出領域Ａ２についても同様の手順で輝度差を算出する。
　カメラ１０が撮像した撮像画像内に隣接車両Ｖ２が映っていた場合に、図１７（ａ）に示すように、鳥瞰視画像内の検出領域Ａ１に隣接車両Ｖ２が現れる。図１７（ｂ）に図１７（ａ）中の領域Ｂ１の拡大図を示すように、鳥瞰視画像上において、隣接車両Ｖ２のタイヤのゴム部分上に注目線Ｌａが設定されていたとする。この状態において、輝度差算出部３４は、先ず参照線Ｌｒを設定する。参照線Ｌｒは、注目線Ｌａから実空間上において所定の距離だけ離れた位置に、鉛直方向に沿って設定される。具体的には、本実施形態に係る立体物検出装置１ａにおいて、参照線Ｌｒは、注目線Ｌａから実空間上において１０ｃｍだけ離れた位置に設定される。これにより、参照線Ｌｒは、鳥瞰視画像上において、例えば隣接車両Ｖ２のタイヤのゴムから１０ｃｍ相当だけ離れた隣接車両Ｖ２のタイヤのホイール上に設定される。
　次に、輝度差算出部３４は、注目線Ｌａ上に複数の注目点Ｐａ１～ＰａＮを設定する。図１７（ｂ）においては、説明の便宜上、６つの注目点Ｐａ１～Ｐａ６（以下、任意の点を示す場合には単に注目点Ｐａｉという）を設定している。なお、注目線Ｌａ上に設定する注目点Ｐａの数は任意でよい。以下の説明では、Ｎ個の注目点Ｐａが注目線Ｌａ上に設定されたものとして説明する。
　次に、輝度差算出部３４は、実空間上において各注目点Ｐａ１～ＰａＮと同じ高さとなるように各参照点Ｐｒ１～ＰｒＮを設定する。そして、輝度差算出部３４は、同じ高さ同士の注目点Ｐａと参照点Ｐｒとの輝度差を算出する。これにより、輝度差算出部３４は、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置（１～Ｎ）ごとに、２つの画素の輝度差を算出する。輝度差算出部３４は、例えば第１注目点Ｐａ１とは、第１参照点Ｐｒ１との間で輝度差を算出し、第２注目点Ｐａ２とは、第２参照点Ｐｒ２との間で輝度差を算出することとなる。これにより、輝度差算出部３４は、注目線Ｌａ及び参照線Ｌｒに沿って、連続的に輝度差を求める。すなわち、輝度差算出部３４は、第３～第Ｎ注目点Ｐａ３～ＰａＮと第３～第Ｎ参照点Ｐｒ３～ＰｒＮとの輝度差を順次求めていくこととなる。
　輝度差算出部３４は、検出領域Ａ１内において注目線Ｌａをずらしながら、上記の参照線Ｌｒの設定、注目点Ｐａ及び参照点Ｐｒの設定、輝度差の算出といった処理を繰り返し実行する。すなわち、輝度差算出部３４は、注目線Ｌａ及び参照線Ｌｒのそれぞれを、実空間上において接地線Ｌ１の延在方向に同一距離だけ位置を変えながら上記の処理を繰り返し実行する。輝度差算出部３４は、例えば、前回処理において参照線Ｌｒとなっていた線を注目線Ｌａに設定し、この注目線Ｌａに対して参照線Ｌｒを設定して、順次輝度差を求めていくことになる。
　このように、第２実施形態では、実空間上で略同じ高さとなる注目線Ｌａ上の注目点Ｐａと参照線Ｌｒ上の参照点Ｐｒとから輝度差を求めることで、鉛直方向に伸びるエッジが存在する場合における輝度差を明確に検出することができる。また、実空間において鉛直方向に伸びる鉛直仮想線同士の輝度比較を行うために、鳥瞰視画像に変換することによって立体物が路面からの高さに応じて引き伸ばされてしまっても、立体物の検出処理が影響されることはなく、立体物の検出精度を向上させることができる。
　図１４に戻り、エッジ線検出部３５は、輝度差算出部３４により算出された連続的な輝度差から、エッジ線を検出する。例えば、図１７（ｂ）に示す場合、第１注目点Ｐａ１と第１参照点Ｐｒ１とは、同じタイヤ部分に位置するために、輝度差は、小さい。一方、第２～第６注目点Ｐａ２～Ｐａ６はタイヤのゴム部分に位置し、第２～第６参照点Ｐｒ２～Ｐｒ６はタイヤのホイール部分に位置する。したがって、第２～第６注目点Ｐａ２～Ｐａ６と第２～第６参照点Ｐｒ２～Ｐｒ６との輝度差は大きくなる。このため、エッジ線検出部３５は、輝度差が大きい第２～第６注目点Ｐａ２～Ｐａ６と第２～第６参照点Ｐｒ２～Ｐｒ６との間にエッジ線が存在することを検出することができる。
　具体的には、エッジ線検出部３５は、エッジ線を検出するにあたり、先ず下記の数式１に従って、ｉ番目の注目点Ｐａｉ（座標（ｘｉ，ｙｉ））とｉ番目の参照点Ｐｒｉ（座標（ｘｉ’，ｙｉ’））との輝度差から、ｉ番目の注目点Ｐａｉに属性付けを行う。
［数１］
Ｉ（ｘｉ，ｙｉ）＞Ｉ（ｘｉ’，ｙｉ’）＋ｔのとき
　ｓ（ｘｉ，ｙｉ）＝１
Ｉ（ｘｉ，ｙｉ）＜Ｉ（ｘｉ’，ｙｉ’）－ｔのとき
　ｓ（ｘｉ，ｙｉ）＝－１
上記以外のとき
　ｓ（ｘｉ，ｙｉ）＝０
　上記数式１において、ｔは所定の閾値を示し、Ｉ（ｘｉ，ｙｉ）はｉ番目の注目点Ｐａｉの輝度値を示し、Ｉ（ｘｉ’，ｙｉ’）はｉ番目の参照点Ｐｒｉの輝度値を示す。上記数式１によれば、注目点Ｐａｉの輝度値が、参照点Ｐｒｉに閾値ｔを加えた輝度値よりも高い場合には、当該注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）は‘１’となる。一方、注目点Ｐａｉの輝度値が、参照点Ｐｒｉから輝度閾値ｔを減じた輝度値よりも低い場合には、当該注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）は‘－１’となる。注目点Ｐａｉの輝度値と参照点Ｐｒｉの輝度値とがそれ以外の関係である場合には、注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）は‘０’となる。
　次にエッジ線検出部３５は、下記数式２に基づいて、注目線Ｌａに沿った属性ｓの連続性ｃ（ｘｉ，ｙｉ）から、注目線Ｌａがエッジ線であるか否かを判定する。
［数２］
ｓ（ｘｉ，ｙｉ）＝ｓ（ｘｉ＋１，ｙｉ＋１）のとき（且つ０＝０を除く）、
　ｃ（ｘｉ，ｙｉ）＝１
上記以外のとき、
　ｃ（ｘｉ，ｙｉ）＝０
　注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）と隣接する注目点Ｐａｉ＋１の属性ｓ（ｘｉ＋１，ｙｉ＋１）とが同じである場合には、連続性ｃ（ｘｉ，ｙｉ）は‘１’となる。注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）と隣接する注目点Ｐａｉ＋１の属性ｓ（ｘｉ＋１，ｙｉ＋１）とが同じではない場合には、連続性ｃ（ｘｉ，ｙｉ）は‘０’となる。
　次にエッジ線検出部３５は、注目線Ｌａ上の全ての注目点Ｐａの連続性ｃについて総和を求める。エッジ線検出部３５は、求めた連続性ｃの総和を注目点Ｐａの数Ｎで割ることにより、連続性ｃを正規化する。そして、エッジ線検出部３５は、正規化した値が閾値θを超えた場合に、注目線Ｌａをエッジ線と判断する。なお、閾値θは、予め実験等によって設定された値である。
　すなわち、エッジ線検出部３５は、下記数式３に基づいて注目線Ｌａがエッジ線であるか否かを判断する。そして、エッジ線検出部３５は、検出領域Ａ１上に描かれた注目線Ｌａの全てについてエッジ線であるか否かを判断する。
［数３］
Σｃ（ｘｉ，ｙｉ）／Ｎ＞θ
　このように、第２実施形態では、注目線Ｌａ上の注目点Ｐａと参照線Ｌｒ上の参照点Ｐｒとの輝度差に基づいて注目点Ｐａに属性付けを行い、注目線Ｌａに沿った属性の連続性ｃに基づいて当該注目線Ｌａがエッジ線であるかを判断するので、輝度の高い領域と輝度の低い領域との境界をエッジ線として検出し、人間の自然な感覚に沿ったエッジ検出を行うことができる。この効果について詳細に説明する。図１８は、エッジ線検出部３５の処理を説明する画像例を示す図である。この画像例は、輝度の高い領域と輝度の低い領域とが繰り返される縞模様を示す第１縞模様１０１と、輝度の低い領域と輝度の高い領域とが繰り返される縞模様を示す第２縞模様１０２とが隣接した画像である。また、この画像例は、第１縞模様１０１の輝度が高い領域と第２縞模様１０２の輝度の低い領域とが隣接すると共に、第１縞模様１０１の輝度が低い領域と第２縞模様１０２の輝度が高い領域とが隣接している。この第１縞模様１０１と第２縞模様１０２との境界に位置する部位１０３は、人間の感覚によってはエッジとは知覚されない傾向にある。
　これに対し、輝度の低い領域と輝度が高い領域とが隣接しているために、輝度差のみでエッジを検出すると、当該部位１０３はエッジとして認識されてしまう。しかし、エッジ線検出部３５は、部位１０３における輝度差に加えて、当該輝度差の属性に連続性がある場合にのみ部位１０３をエッジ線として判定するので、エッジ線検出部３５は、人間の感覚としてエッジ線として認識しない部位１０３をエッジ線として認識してしまう誤判定を抑制でき、人間の感覚に沿ったエッジ検出を行うことができる。
　図１４に戻り、立体物検出部３３ａは、エッジ線検出部３５により検出されたエッジ線の量に基づいて立体物を検出する。上述したように、本実施形態に係る立体物検出装置１ａは、実空間上において鉛直方向に伸びるエッジ線を検出する。鉛直方向に伸びるエッジ線が多く検出されるということは、検出領域Ａ１，Ａ２に立体物が存在する可能性が高いということである。このため、立体物検出部３３ａは、エッジ線検出部３５により検出されたエッジ線の量に基づいて立体物を検出する。具体的には、立体物検出部３３ａは、エッジ線検出部３５により検出されたエッジ線の量が、所定の閾値β以上であるか否かを判断し、エッジ線の量が所定の閾値β以上である場合には、エッジ線検出部３５により検出されたエッジ線は、立体物のエッジ線であるものと判断する。
　さらに、立体物検出部３３ａは、立体物を検出するに先立って、エッジ線検出部３５により検出されたエッジ線が正しいものであるか否かを判定する。立体物検出部３３ａは、エッジ線上の鳥瞰視画像のエッジ線に沿った輝度変化が所定の閾値ｔｂ以上である否かを判定する。エッジ線上の鳥瞰視画像の輝度変化が閾値ｔｂ以上である場合には、当該エッジ線が誤判定により検出されたものと判断する。一方、エッジ線上の鳥瞰視画像の輝度変化が閾値ｔｂ未満である場合には、当該エッジ線が正しいものと判定する。なお、この閾値ｔｂは、実験等により予め設定された値である。
　図１９は、エッジ線の輝度分布を示す図であり、図１９（ａ）は検出領域Ａ１に立体物としての隣接車両Ｖ２が存在した場合のエッジ線及び輝度分布を示し、図１９（ｂ）は検出領域Ａ１に立体物が存在しない場合のエッジ線及び輝度分布を示す。
　図１９（ａ）に示すように、鳥瞰視画像において隣接車両Ｖ２のタイヤゴム部分に設定された注目線Ｌａがエッジ線であると判断されていたとする。この場合、注目線Ｌａ上の鳥瞰視画像の輝度変化はなだらかなものとなる。これは、カメラ１０により撮像された画像が鳥瞰視画像に視点変換されたことにより、隣接車両のタイヤが鳥瞰視画像内で引き延ばされたことによる。一方、図１９（ｂ）に示すように、鳥瞰視画像において路面に描かれた「５０」という白色文字部分に設定された注目線Ｌａがエッジ線であると誤判定されていたとする。この場合、注目線Ｌａ上の鳥瞰視画像の輝度変化は起伏の大きいものとなる。これは、エッジ線上に、白色文字における輝度が高い部分と、路面等の輝度が低い部分とが混在しているからである。
　以上のような注目線Ｌａ上の輝度分布の相違に基づいて、立体物検出部３３ａは、エッジ線が誤判定により検出されたものか否かを判定する。たとえば、カメラ１０により取得された撮像画像を鳥瞰視画像に変換した場合、当該撮像画像に含まれる立体物は、引き伸ばされた状態で鳥瞰視画像に現れる傾向がある。上述したように、隣接車両のタイヤが引き伸ばされた場合に、タイヤという１つの部位が引き伸ばされるため、引き伸ばされた方向における鳥瞰視画像の輝度変化は小さい傾向となる。これに対し、路面に描かれた文字等をエッジ線として誤判定した場合に、鳥瞰視画像には、文字部分といった輝度が高い領域と路面部分といった輝度が低い領域とが混合されて含まれる。この場合に、鳥瞰視画像において、引き伸ばされた方向の輝度変化は大きくなる傾向がある。そのため、立体物検出部３３ａは、エッジ線に沿った輝度変化が所定の閾値ｔｂ以上である場合には、当該エッジ線が誤判定により検出されたものであり、当該エッジ線は、立体物に起因するものではないと判断する。これにより、路面上の「５０」といった白色文字や路肩の雑草等がエッジ線として判定されてしまい、立体物の検出精度が低下することを抑制する。一方、立体物検出部３３ａは、エッジ線に沿った輝度変化が所定の閾値ｔｂ未満である場合には、当該エッジ線は、立体物のエッジ線であると判断し、立体物が存在するものと判断する。
　具体的には、立体物検出部３３ａは、下記数式４，５の何れかにより、エッジ線の輝度変化を算出する。このエッジ線の輝度変化は、実空間上における鉛直方向の評価値に相当する。下記数式４は、注目線Ｌａ上のｉ番目の輝度値Ｉ（ｘｉ，ｙｉ）と、隣接するｉ＋１番目の輝度値Ｉ（ｘｉ＋１，ｙｉ＋１）との差分の二乗の合計値によって輝度分布を評価する。下記数式５は、注目線Ｌａ上のｉ番目の輝度値Ｉ（ｘｉ，ｙｉ）と、隣接するｉ＋１番目の輝度値Ｉ（ｘｉ＋１，ｙｉ＋１）との差分の絶対値の合計値よって輝度分布を評価する。
［数４］
鉛直相当方向の評価値＝Σ［｛Ｉ（ｘｉ，ｙｉ）－Ｉ（ｘｉ＋１，ｙｉ＋１）｝２］
［数５］
鉛直相当方向の評価値＝Σ｜Ｉ（ｘｉ，ｙｉ）－Ｉ（ｘｉ＋１，ｙｉ＋１）｜
　なお、数式５に限らず、下記数式６のように、閾値ｔ２を用いて隣接する輝度値の属性ｂを二値化して、当該二値化した属性ｂを全ての注目点Ｐａについて総和してもよい。
［数６］
鉛直相当方向の評価値＝Σｂ（ｘｉ，ｙｉ）
但し、｜Ｉ（ｘｉ，ｙｉ）－Ｉ（ｘｉ＋１，ｙｉ＋１）｜＞ｔ２のとき、
　ｂ（ｘｉ，ｙｉ）＝１
上記以外のとき、
　ｂ（ｘｉ，ｙｉ）＝０
　注目点Ｐａｉの輝度値と参照点Ｐｒｉの輝度値との輝度差の絶対値が閾値ｔ２よりも大きい場合、当該注目点Ｐａ（ｘｉ，ｙｉ）の属性ｂ（ｘｉ，ｙｉ）は‘１’となる。それ以外の関係である場合には、注目点Ｐａｉの属性ｂ（ｘｉ，ｙｉ）は‘０’となる。この閾値ｔ２は、注目線Ｌａが同じ立体物上にないことを判定するために実験等によって予め設定されている。そして、立体物検出部３３ａは、注目線Ｌａ上の全注目点Ｐａについての属性ｂを総和して、鉛直相当方向の評価値を求めることで、エッジ線が立体物に起因するものであり、立体物が存在するか否かを判定する。
　図１４に示す立体物判定部３４ａは、第１実施形態の立体物判定部３４と同様に、画像情報のバラツキ度合に基づいて、立体物検出部３３により検出された立体物が、隣接車線を走行する他車両（隣接車両）であるか否かを判定する。具体的には、第２実施形態において、立体物判定部３４ａは、鳥瞰視画像のエッジ情報（エッジ成分などの情報）に基づいて、自車両に対する立体物の相対移動速度を算出し、立体物の相対移動速度の時間変化量に基づいて、画像情報のバラツキ度合を判断し、検出された立体物が非検出対象物であるか、隣接車両であるかを判定する。たとえば、立体物判定部３４ａは、立体物の相対移動速度の時間変化量の絶対値が大きいほど、画像情報のバラツキ度合が高いものと判断し、検出された立体物は非検出対象物である可能性が高いものと判断する。なお、立体物判定部３４ａによる判定方法の詳細については後述する。
　次に、第２実施形態に係る隣接車両検出方法について説明する。図２０は、本実施形態に係る隣接車両検出方法の詳細を示すフローチャートである。なお、図２０においては、便宜上、検出領域Ａ１を対象とする処理について説明するが、検出領域Ａ２についても同様の処理が実行される。
　まず、ステップＳ２０１では、カメラ１０により、画角ａ及び取付位置によって特定された所定領域の撮像が行われ、計算機３０ａにより、カメラ１０により撮像された撮像画像Ｐの画像データが取得される。次に視点変換部３１は、ステップＳ２０２において、取得した画像データについて視点変換を行い、鳥瞰視画像データを生成する。
　次に輝度差算出部３４は、ステップＳ２０３において、検出領域Ａ１上に注目線Ｌａを設定する。このとき、輝度差算出部３４は、実空間上において鉛直方向に伸びる線に相当する線を注目線Ｌａとして設定する。次に輝度差算出部３４は、ステップＳ２０４において、検出領域Ａ１上に参照線Ｌｒを設定する。このとき、輝度差算出部３４は、実空間上において鉛直方向に伸びる線分に該当し、且つ、注目線Ｌａと実空間上において所定距離離れた線を参照線Ｌｒとして設定する。
　次に輝度差算出部３４は、ステップＳ２０５において、注目線Ｌａ上に複数の注目点Ｐａを設定する。この際に、輝度差算出部３４は、エッジ線検出部３５によるエッジ検出時に問題とならない程度の数の注目点Ｐａを設定する。また、輝度差算出部３４は、ステップＳ２０６において、実空間上において注目点Ｐａと参照点Ｐｒとが略同じ高さとなるように、参照点Ｐｒを設定する。これにより、注目点Ｐａと参照点Ｐｒとが略水平方向に並ぶこととなり、実空間上において鉛直方向に伸びるエッジ線を検出しやすくなる。
　次に輝度差算出部３４は、ステップＳ２０７において、実空間上において同じ高さとなる注目点Ｐａと参照点Ｐｒとの輝度差を算出する。次にエッジ線検出部３５は、上記の数式１に従って、各注目点Ｐａの属性ｓを算出する。次にエッジ線検出部３５は、ステップＳ２０８において、上記の数式２に従って、各注目点Ｐａの属性ｓの連続性ｃを算出する。次にエッジ線検出部３５は、ステップＳ２０９において、上記数式３に従って、連続性ｃの総和を正規化した値が閾値θより大きいか否かを判定する。そして、正規化した値が閾値θよりも大きいと判断した場合（ステップＳ２０９＝Ｙｅｓ）、エッジ線検出部３５は、ステップＳ２１０において、当該注目線Ｌａをエッジ線として検出する。そして、処理はステップＳ２１１に移行する。正規化した値が閾値θより大きくないと判断した場合（ステップＳ２０９＝Ｎｏ）、エッジ線検出部３５は、当該注目線Ｌａをエッジ線として検出せず、処理はステップＳ２１１に移行する。
　ステップＳ２１１において、計算機３０ａは、検出領域Ａ１上に設定可能な注目線Ｌａの全てについて上記のステップＳ２０３～ステップＳ２１０の処理を実行したか否かを判断する。全ての注目線Ｌａについて上記処理をしていないと判断した場合（ステップＳ２１１＝Ｎｏ）、ステップＳ２０３に処理を戻して、新たに注目線Ｌａを設定して、ステップＳ２１１までの処理を繰り返す。一方、全ての注目線Ｌａについて上記処理をしたと判断した場合（ステップＳ２１１＝Ｙｅｓ）、処理はステップＳ２１２に移行する。
　ステップＳ２１２において、立体物検出部３３ａは、ステップＳ２１０において検出された各エッジ線について、当該エッジ線に沿った輝度変化を算出する。立体物検出部３３ａは、上記数式４，５，６の何れかの式に従って、エッジ線の輝度変化を算出する。次に立体物検出部３３ａは、ステップＳ２１３において、エッジ線のうち、輝度変化が所定の閾値ｔｂ以上のエッジ線を除外する。すなわち、輝度変化の大きいエッジ線は正しいエッジ線ではないと判定し、エッジ線を立体物の検出には使用しない。これは、上述したように、検出領域Ａ１に含まれる路面上の文字や路肩の雑草等がエッジ線として検出されてしまうことを抑制するためである。したがって、所定の閾値ｔｂとは、予め実験等によって求められた、路面上の文字や路肩の雑草等によって発生する輝度変化に基づいて設定された値となる。一方、立体物検出部３３ａは、エッジ線のうち、輝度変化が所定の閾値ｔｂ未満であるエッジ線を、立体物のエッジ線と判断し、これにより、隣接車両に存在する立体物を検出する。
　次いで、ステップＳ２１４では、立体物検出部３３ａにより、エッジ線の量が、所定の閾値β以上であるか否かの判断が行われる。ここで、閾値βは、予め実験等によって求めておいて設定された値であり、たとえば、検出対象の立体物として四輪車を設定した場合、当該閾値βは、予め実験等によって検出領域Ａ１内において出現した四輪車のエッジ線の数に基づいて設定される。エッジ線の量が閾値β以上であると判定された場合（ステップＳ２１４＝Ｙｅｓ）、立体物検出部３３ａは、検出領域Ａ１内に立体物が存在するものと判断し、ステップＳ２１５に進む。一方、エッジ線の量が閾値β以上ではないと判定された場合（ステップＳ２１４＝Ｎｏ）、立体物検出部３３ａは、検出領域Ａ１内に立体物が存在しないものと判断し、図２１のステップＳ２３２に進み、立体物判定部３４ａにより、検出領域Ａ１内に隣接車両が存在しないと判定される。
　ステップＳ２１５では、立体物判定部３４ａにより、自車両に対する立体物の相対移動速度の算出が行われる。たとえば、立体物判定部３４ａは、鳥瞰視画像ＰＢｔから、所定のエッジ成分が検出された画素数を、視点変換により立体物が倒れ込む方向に沿ってカウントして度数分布化することで、一次元のエッジ波形を生成し、一時刻前におけるエッジ波形と現時刻におけるエッジ波形との差分から、立体物の相対移動速度を算出することができる。そして、図２１のステップＳ２１６に進む。
　ステップＳ２１６～Ｓ２３２では、第１実施形態のステップＳ１１３～Ｓ１２６，Ｓ１２８～Ｓ１３０と同様の処理が行われる。すなわち、立体物判定部３４ａは、ステップＳ２１５で算出した立体物の相対移動速度に基づいて、立体物の相対移動速度のバラツキ度合を検出し、相対移動速度のバラツキ度合に応じて、立体物が、非検出対象物であるか否かを判断する。
　具体的には、立体物判定部３４ａは、立体物の相対移動速度の時間変化量の絶対値｜ΔＶ｜が３０ｋｍ／ｈ以上（｜ΔＶ｜≧３０ｋｍ／ｈ）である場合において（ステップＳ２１６＝Ｙｅｓ）、検出領域Ａ１の明るさが所定値以上であれば（ステップＳ２１７＝Ｙｅｓ）、カウント値をＸ１増加し（ステップＳ２１８）、検出領域Ａ１の明るさが所定値未満であれば（ステップＳ２１７＝Ｎｏ）、カウント値をＸ２増加する（ステップＳ２１９）。
　また、立体物判定部３４ａは、立体物の相対移動速度の時間変化量の絶対値｜ΔＶ｜が３０ｋｍ／ｈ未満であり、かつ、１０ｋｍ／ｈ以上（３０ｋｍ／ｈ＞｜ΔＶ｜≧１０ｋｍ／ｈ）である場合において（ステップＳ２２０＝Ｙｅｓ）、検出領域Ａ１の明るさが所定値以上であれば（ステップＳ２２１＝Ｙｅｓ）には、カウント値をＹ１減少し（ステップＳ２２２）、検出領域Ａ１の明るさが所定値未満であれば（ステップＳ２２１＝Ｎｏ）、カウント値をＹ２減少する（ステップＳ２２３）。
　さらに、立体物判定部３４ａは、立体物の相対移動速度の時間変化量の絶対値｜ΔＶ｜が１０ｋｍ／ｈ未満（１０ｋｍ／ｈ＞｜ΔＶ｜）である場合において（ステップＳ２２０＝Ｎｏ）、検出領域Ａ１の明るさが所定値以上であれば（ステップＳ２２４＝Ｙｅｓ）、カウント値をＺ１減少し（ステップＳ２２５）、検出領域Ａ１の明るさが所定値未満であれば（ステップＳ２２４＝Ｎｏ）、カウント値をＺ２減少する（ステップＳ２２６）。
　そして、立体物判定部３４ａは、カウント値が、図１０に示す第１閾値ｓ１以上であるか否かを判断し（ステップＳ２２７）、カウント値が第１閾値ｓ１以上である場合には、検出された立体物は非検出対象物であると判定し（ステップＳ２３１）、隣接車線に隣接車両は存在しないと判断する（ステップＳ２３２）。
　また、立体物判定部３４ａは、カウント値が第１閾値ｓ１未満となった後も第２閾値ｓ２以上である場合には（ステップＳ２２７＝Ｎｏ、ステップＳ２２８＝Ｎｏ）、立体物は非検出対象物であるものと判定し（ステップＳ２３１）、隣接車線に隣接車両は存在しないと判断する（ステップＳ２３２）。一方、カウント値が第１閾値ｓ１未満となった後に第２閾値ｓ２未満となった場合には（ステップＳ２２７＝Ｎｏ、ステップＳ２２８＝Ｙｅｓ）、立体物は非検出対象物ではないものと判定し（ステップＳ２２９）、隣接車線に隣接車両は存在すると判断する（ステップＳ２３０）。そして、図２０のステップＳ２０１に戻り、上述した処理を繰り返す。
　以上のように、第２実施形態では、撮像画像を鳥瞰視画像に変換し、変換した鳥瞰視画像から立体物のエッジ情報を検出する。そして、鳥瞰視画像で検出したエッジ成分から、立体物の相対移動速度を検出し、立体物の相対移動速度の変化量の絶対値｜ΔＶ｜に基づいて、検出した立体物が、草、雪、ガードレールなどの非検出対象物であるか否かを判定する。これにより、第２実施形態では、第１実施形態の効果に加えて、エッジ情報に基づいて隣接車両を検出する際においても、エッジ情報に基づいて、検出した立体物が非検出対象物であるか否かを適切に判定することができ、その結果、非検出対象物を隣接車両として誤検出してしまうことを有効に防止することができる。
　なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
　たとえば、上述した実施形態においては、自車両に対する立体物の相対移動速度の変化量のバラツキ｜ΔＶ｜に基づいて、非検出対象物を検出する構成を例示したが、この構成に限定されず、たとえば、カメラ１０で撮像した撮像画像を２次元テクスチャ解析により解析し、当該解析結果に基づいて、撮像画像のバラツキを検出することで、非検出対象物を検出する構成としてもよい。たとえば、撮像画像を２次元テクスチャ解析した結果、所定の濃度差を有する画素が所定割合以上検出された場合に、撮像画像に撮像された立体物は非検出対象物であると判定することができる。あるいは、撮像画像を高速フーリエ変換法により解析し、当該解析の結果、所定値以上の高周波成分が所定割合以上検出された場合に、撮像画像に撮像された立体物は非検出対象物であると判定する構成としてもよい。
　また、上述した実施形態では、検出した立体物が非検出対象物であると判定した場合には、検出した立体物は隣接車両ではないと判定する構成を例示したが、この構成に限定されず、たとえば、検出した立体物が非検出対象物であると判定した場合に、検出した立体物が隣接車両であるか否かを判定しない構成としてもよい。
　加えて、上述した実施形態では、位置合わせ部３２により、差分画像ＰＤｔの画素値を「０」または「１」で検出し、この差分画像ＰＤｔに基づいて、立体物検出部３３により、差分画像ＰＤｔの画素値が「１」の画素を、差分画素ＤＰとしてカウントすることで、立体物を検出する構成を例示したが、この構成に限定されるものではなく、たとえば、位置合わせ部３２により、差分画像ＰＤｔの画素値を、鳥瞰視画像ＰＢｔ，ＰＢｔ－１の画素値の差を絶対値化した値で検出し、立体物検出部３３により、所定の差分閾値を超える画素を、差分画素ＤＰとしてカウントする構成としてもよい。
　さらに、上述した実施形態では、撮像した現時刻の画像と一時刻前の画像とを鳥瞰図に変換し、変換した鳥瞰図の位置合わせを行ったうえで差分画像ＰＤｔを生成し、生成した差分画像ＰＤｔを倒れ込み方向（撮像した画像を鳥瞰図に変換した際の立体物の倒れ込み方向）に沿って評価して差分波形ＤＷｔを生成しているが、これに限定されない。例えば、一時刻前の画像のみを鳥瞰図に変換し、変換した鳥瞰図を位置合わせした後に再び撮像した画像相当に変換し、この画像と現時刻の画像とで差分画像を生成し、生成した差分画像を倒れ込み方向に相当する方向（すなわち、倒れ込み方向を撮像画像上の方向に変換した方向）に沿って評価することによって差分波形ＤＷｔを生成する構成としてもよい。すなわち、現時刻の画像と一時刻前の画像との位置合わせを行い、位置合わせを行った両画像の差分から差分画像ＰＤｔを生成し、差分画像ＰＤｔを鳥瞰図に変換した際の立体物の倒れ込み方向に沿って評価できれば、必ずしも明確に鳥瞰図を生成しなくともよい。
　加えて、上述した実施形態では、自車両Ｖ１の車速を速度センサ２０からの信号に基づいて判断しているが、これに限らず、異なる時刻の複数の画像から速度を推定する構成としてもよい。この場合、車速センサ２０が不要となり、構成の簡素化を図ることができる。
　なお、上述した実施形態のカメラ１０は本発明の撮像手段に相当し、視点変換部３１は本発明の画像変換手段に相当し、位置合わせ部３２、立体物検出部３３は本発明の立体物検出手段に相当し、立体物検出部３３は本発明の移動速度算出手段に相当し、立体物判定部３４は本発明の立体物判定手段、非検出対象物判定手段、および制御手段に相当する。
１…立体物検出装置
１０…カメラ
２０…車速センサ
３０…計算機
３１…視点変換部
３２…位置合わせ部
３３…立体物検出部
３４…立体物判定部
３５…輝度差算出部
３６…エッジ線検出部
ａ…画角
Ａ１，Ａ２…検出領域
ＣＰ…交点
ＤＰ…差分画素
ＤＷｔ，ＤＷｔ’…差分波形
ＤＷｔ１～ＤＷｍ，ＤＷｍ＋ｋ～ＤＷｔｎ…小領域
Ｌ１，Ｌ２…接地線
Ｌａ，Ｌｂ…立体物が倒れ込む方向上の線
Ｐ…撮像画像
ＰＢｔ…鳥瞰視画像
ＰＤｔ…差分画像
Ｖ１…自車両
Ｖ２…隣接車両
Ｖ３…隣隣接車両

Claims (9)

  1. 　自車両後方の所定領域を撮像する撮像手段と、
    　前記撮像手段により得られた画像を鳥瞰視画像に視点変換する画像変換手段と、
    　前記画像変換手段により得られた異なる時刻の鳥瞰視画像の位置を鳥瞰視上で位置合わせし、当該位置合わせされた鳥瞰視画像の差分画像上で、所定の差分を示す画素数をカウントして度数分布化することで差分波形情報を生成し、当該差分波形情報に基づいて前記立体物を検出する立体物検出手段と、
    　前記差分波形情報に基づいて前記立体物の移動速度を算出する移動速度算出手段と、
    　前記差分波形情報に基づいて、前記立体物検出手段により検出された前記立体物が、前記所定領域に存在する他車両であるか否かを判定する立体物判定手段と、
    　前記立体物の移動速度の時間変化量を繰り返し算出することで、前記立体物の移動速度のバラツキ度合を検出し、前記バラツキ度合が高いほど、前記立体物は、前記他車両とは異なる非検出対象物である可能性が高いと判断する非検出対象物判定手段と、
    　前記非検出対象物判定手段の判定結果に基づいて、前記立体物判定手段が前記立体物を前記他車両であると判定することを抑制する制御手段と、を備える立体物検出装置。
  2. 　自車両後方の所定領域を撮像する撮像手段と、
    　前記撮像手段により得られた画像を鳥瞰視画像に視点変換する画像変換手段と、
    　前記画像変換手段により得られた鳥瞰視画像からエッジ情報を検出し、当該エッジ情報に基づいて前記立体物を検出する立体物検出手段と、
    　前記エッジ情報に基づいて前記立体物の移動速度を算出する移動速度算出手段と、
    　前記エッジ情報に基づいて、前記立体物検出手段により検出された前記立体物が、前記所定領域に存在する他車両であるか否かを判定する立体物判定手段と、
    　前記立体物の移動速度の時間変化量を繰り返し算出することで、前記立体物の移動速度のバラツキ度合を検出し、前記バラツキ度合が高いほど、前記立体物は、前記他車両とは異なる非検出対象物である可能性が高いと判断する非検出対象物判定手段と、
    　前記非検出対象物判定手段の判定結果に基づいて、前記立体物判定手段が前記立体物を前記他車両であると判定することを抑制する制御手段と、を備える立体物検出装置。
  3. 　請求項１または２に記載の立体物検出装置であって、
    　前記非検出対象物判定手段は、前記バラツキ度合が所定の第１判定値以上である場合には所定のカウント値を増加させ、前記バラツキ度合が前記第１判定値よりも小さい第２判定値以下である場合には前記カウント値を減少させることにより、前記バラツキ度合に基づいて前記カウント値を増減させ、前記増減させたカウント値に基づいて、前記立体物が前記非検出対象物であるか否かを判定することを特徴とする立体物検出装置。
  4. 　請求項３に記載の立体物検出装置であって、
    　前記非検出対象物判定手段は、前記バラツキ度合に基づいて前記カウント値を増減させた結果、前記カウント値が所定の第１閾値以上となった場合に、前記立体物を前記非検出対象物であると判定することを特徴とする立体物検出装置。
  5. 　請求項４に記載の立体物検出装置であって、
    　前記非検出対象物判定手段は、前記カウント値が前記第１閾値以上となった後に、前記カウント値が前記第１閾値よりも小さい所定の第２閾値未満となった場合には、前記立体物を前記非検出対象物ではないと判定することを特徴とする立体物検出装置。
  6. 　請求項３～５のいずれかに記載の立体物検出装置であって、
    　前記所定領域の明るさを検出する明るさ検出手段をさらに備え、
    　前記非検出対象物判定手段は、前記所定領域の明るさが所定値未満である場合には、前記所定領域の明るさが所定値以上である場合と比べて、前記バラツキ度合に基づく前記カウント値の増減量を小さくすることを特徴とする立体物検出装置。
  7. 　請求項１または請求項１に従属する請求項３～６のいずれかに記載の立体物検出装置であって、
    　前記立体物検出手段は、鳥瞰視画像に視点変換した際に立体物が倒れ込む方向に沿って、前記差分画像上において所定の差分を示す画素数をカウントして度数分布化することで、一次元の差分波形情報を生成すること特徴とする立体物検出装置。
  8. 　請求項２または請求項２に従属する請求項３～６のいずれかに記載の立体物検出装置であって、
    　前記立体物検出手段は、鳥瞰視画像に視点変換した際に立体物が倒れ込む方向に沿って、前記エッジ情報を検出することを特徴とする立体物検出装置。
  9. 　自車両後方の所定領域を撮像する撮像手段と、
    　前記撮像手段により得られた画像を鳥瞰視画像に視点変換する画像変換手段と、
    　前記画像変換手段により得られた前記鳥瞰視画像上で、前記鳥瞰視画像に視点変換した際に立体物が倒れこむ方向において、輝度差が所定閾値以上の画素の分布情報を検出することで、前記画素の分布情報に基づいて前記立体物の検出を行う立体物検出手段と、
    　前記画素の分布情報の時間変化に基づいて、前記立体物の移動速度を算出する移動速度算出手段と、
    　前記画素の分布情報に基づいて、前記立体物検出手段により検出された前記立体物が、前記所定領域に存在する他車両であるか否かを判定する立体物判定手段と、
    　前記立体物の移動速度の時間変化量を繰り返し算出することで、前記立体物の移動速度のバラツキ度合を検出し、前記バラツキ度合が所定値未満である場合には、前記立体物は前記他車両である可能性が高いと判断する非検出対象物判定手段と、
    　前記非検出対象物判定手段により前記立体物が前記他車両である可能性が高いと判断された場合には、前記立体物判定手段が前記立体物を前記他車両であると判定し易くする制御手段と、を備える立体物検出装置。　
PCT/JP2013/054860 2012-03-02 2013-02-26 立体物検出装置 WO2013129358A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
MX2014010405A MX2014010405A (es) 2012-03-02 2013-02-26 Dispositivo de deteccion de objetos tridimensionales.
JP2014502227A JP5733467B2 (ja) 2012-03-02 2013-02-26 立体物検出装置
EP13755143.8A EP2821957B1 (en) 2012-03-02 2013-02-26 Three-dimensional object detection device
BR112014020353-9A BR112014020353B1 (pt) 2012-03-02 2013-02-26 Dispositivo de detecção de objeto tridimensional
US14/373,064 US9239960B2 (en) 2012-03-02 2013-02-26 Three-dimensional object detection device
RU2014139838A RU2636121C2 (ru) 2012-03-02 2013-02-26 Устройство обнаружения трехмерных объектов
CN201380008399.1A CN104094311B (zh) 2012-03-02 2013-02-26 立体物检测装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012046629 2012-03-02
JP2012-046629 2012-03-02

Publications (1)

Publication Number Publication Date
WO2013129358A1 true WO2013129358A1 (ja) 2013-09-06

Family

ID=49082555

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/054860 WO2013129358A1 (ja) 2012-03-02 2013-02-26 立体物検出装置

Country Status (8)

Country Link
US (1) US9239960B2 (ja)
EP (1) EP2821957B1 (ja)
JP (1) JP5733467B2 (ja)
CN (1) CN104094311B (ja)
BR (1) BR112014020353B1 (ja)
MX (1) MX2014010405A (ja)
RU (1) RU2636121C2 (ja)
WO (1) WO2013129358A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2608149B1 (en) * 2010-08-19 2021-04-21 Nissan Motor Co., Ltd. Three-dimensional object detection device and three-dimensional object detection method
MX2014001500A (es) * 2011-09-12 2014-05-12 Nissan Motor Dispositivo de deteccion de objeto tridimensional.
JP2015170174A (ja) * 2014-03-07 2015-09-28 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
WO2016027423A1 (ja) * 2014-08-19 2016-02-25 パナソニックＩｐマネジメント株式会社 伝送方法、再生方法及び再生装置
DE102015116572A1 (de) * 2015-09-30 2017-03-30 Claas Selbstfahrende Erntemaschinen Gmbh Verfahren zum Erkennen von Störungen einer Erntegutbergungsanordnung
CN105740792B (zh) * 2016-01-25 2019-03-12 浙江生辉照明有限公司 目标检测方法和装置
JP6859907B2 (ja) * 2017-09-08 2021-04-14 トヨタ自動車株式会社 車両制御装置
CA3121861A1 (en) 2019-02-05 2020-08-13 Motive Drilling Technologies, Inc. Downhole display

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05143737A (ja) * 1991-11-22 1993-06-11 Ohkura Electric Co Ltd 動きベクトルによる識別方法及び装置
JP2006107313A (ja) * 2004-10-08 2006-04-20 Nissan Motor Co Ltd 物体判定装置、および物体判定方法
JP2006315482A (ja) 2005-05-11 2006-11-24 Mazda Motor Corp 車両用移動物体検出装置
JP2007316790A (ja) * 2006-05-24 2007-12-06 Nissan Motor Co Ltd 歩行者検出装置および歩行者検出方法
JP2008219063A (ja) 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
JP2012003662A (ja) * 2010-06-21 2012-01-05 Nissan Motor Co Ltd 移動距離検出装置及び移動距離検出方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3232724B2 (ja) * 1992-12-08 2001-11-26 株式会社デンソー 車間距離制御装置
JP3589138B2 (ja) * 1993-03-03 2004-11-17 株式会社デンソー 車両走行制御装置
US6636257B1 (en) * 1998-08-11 2003-10-21 Honda Giken Kogyo Kabushiki Kaisha Mobile body recognizing apparatus and motor vehicle monitoring apparatus
DE10114932B4 (de) * 2001-03-26 2005-09-15 Daimlerchrysler Ag Dreidimensionale Umfelderfassung
JP3753652B2 (ja) * 2001-12-04 2006-03-08 富士通テン株式会社 Ｆｍ−ｃｗレーダのミスペアリング判定及び信号処理方法
US6871121B2 (en) * 2002-10-07 2005-03-22 Blink Engineering Corp. Entertainment system on-board a vehicle for visualizing on a display real-time vehicle data
JP2008227646A (ja) 2007-03-09 2008-09-25 Clarion Co Ltd 障害物検知装置
JP2008299787A (ja) * 2007-06-04 2008-12-11 Mitsubishi Electric Corp 車両検知装置
WO2009036176A1 (en) * 2007-09-11 2009-03-19 Magna Electronics Imaging system for vehicle
JP2009126270A (ja) * 2007-11-21 2009-06-11 Sanyo Electric Co Ltd 画像処理装置及び方法、運転支援システム、車両
EP2401176B1 (en) * 2009-02-27 2019-05-08 Magna Electronics Alert system for vehicle
DE102010011093A1 (de) * 2010-03-11 2011-09-15 Daimler Ag Verfahren zur Bestimmung einer Fahrzeugaufbaubewegung
RU2432276C1 (ru) * 2010-07-07 2011-10-27 Осман Мирзаевич Мирза Способ наблюдения за дорожной ситуацией с движущегося транспортного средства (варианты)
EP2608149B1 (en) * 2010-08-19 2021-04-21 Nissan Motor Co., Ltd. Three-dimensional object detection device and three-dimensional object detection method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05143737A (ja) * 1991-11-22 1993-06-11 Ohkura Electric Co Ltd 動きベクトルによる識別方法及び装置
JP2006107313A (ja) * 2004-10-08 2006-04-20 Nissan Motor Co Ltd 物体判定装置、および物体判定方法
JP2006315482A (ja) 2005-05-11 2006-11-24 Mazda Motor Corp 車両用移動物体検出装置
JP2007316790A (ja) * 2006-05-24 2007-12-06 Nissan Motor Co Ltd 歩行者検出装置および歩行者検出方法
JP2008219063A (ja) 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
JP2012003662A (ja) * 2010-06-21 2012-01-05 Nissan Motor Co Ltd 移動距離検出装置及び移動距離検出方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2821957A4

Also Published As

Publication number Publication date
EP2821957B1 (en) 2020-12-23
CN104094311B (zh) 2017-05-31
RU2014139838A (ru) 2016-04-20
CN104094311A (zh) 2014-10-08
JP5733467B2 (ja) 2015-06-10
US20150016681A1 (en) 2015-01-15
BR112014020353B1 (pt) 2021-08-31
US9239960B2 (en) 2016-01-19
JPWO2013129358A1 (ja) 2015-07-30
BR112014020353A2 (pt) 2021-05-25
EP2821957A4 (en) 2016-01-06
EP2821957A1 (en) 2015-01-07
MX2014010405A (es) 2014-09-22
RU2636121C2 (ru) 2017-11-20

Similar Documents

Publication Publication Date Title
JP5733467B2 (ja) 立体物検出装置
JP5787024B2 (ja) 立体物検出装置
JP5924399B2 (ja) 立体物検出装置
JP5804180B2 (ja) 立体物検出装置
JP6020567B2 (ja) 立体物検出装置および立体物検出方法
JP5682735B2 (ja) 立体物検出装置
JP5943077B2 (ja) 立体物検出装置および立体物検出方法
JP5743020B2 (ja) 立体物検出装置
JP5682734B2 (ja) 立体物検出装置
JP5794379B2 (ja) 立体物検出装置及び立体物検出方法
JP5835459B2 (ja) 立体物検出装置
JP6003987B2 (ja) 立体物検出装置及び立体物検出方法
JP5999183B2 (ja) 立体物検出装置および立体物検出方法
JP5790867B2 (ja) 立体物検出装置
JP6011110B2 (ja) 立体物検出装置および立体物検出方法
WO2013129357A1 (ja) 立体物検出装置
JP5768927B2 (ja) 立体物検出装置
JP5668891B2 (ja) 立体物検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13755143

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014502227

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2013755143

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14373064

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: MX/A/2014/010405

Country of ref document: MX

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2014139838

Country of ref document: RU

Kind code of ref document: A

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112014020353

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112014020353

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20140818

REG Reference to national code

Ref country code: BR

Ref legal event code: B01E

Ref document number: 112014020353

Country of ref document: BR

Kind code of ref document: A8

Free format text: APRESENTE A TRADUCAO SIMPLES DA FOLHA DE ROSTO DA CERTIDAO DE DEPOSITO DA PRIORIDADE REIVINDICADA; OU DECLARACAO DE QUE OS DADOS DO PEDIDO INTERNACIONAL ESTAO FIELMENTE CONTIDOS NA PRIORIDADE REIVINDICADA, CONTENDO TODOS OS DADOS IDENTIFICADORES (NUMERO DA PRIORIDADE, DATA, DEPOSITANTE E INVENTORES), CONFORME O PARAGRAFO UNICO DO ART. 25 DA RESOLUCAO 77/2013. CABE SALIENTAR NAO FOI POSSIVEL INDIVIDUALIZAR OS TITULARES DA CITADA PRIORIDADE, INFORMACAO NECESSARIA PARA O EXAME DA CESSAO DO DOCUMENTO DE PRIORIDADE, SE FOR O CASO.

ENP Entry into the national phase

Ref document number: 112014020353

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20140818