WO2014073322A1 - 物体検出装置及び物体検出方法 - Google Patents

物体検出装置及び物体検出方法 Download PDF

Info

Publication number
WO2014073322A1
WO2014073322A1 PCT/JP2013/077694 JP2013077694W WO2014073322A1 WO 2014073322 A1 WO2014073322 A1 WO 2014073322A1 JP 2013077694 W JP2013077694 W JP 2013077694W WO 2014073322 A1 WO2014073322 A1 WO 2014073322A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
object detection
gray
distance
vehicle
Prior art date
Application number
PCT/JP2013/077694
Other languages
English (en)
French (fr)
Inventor
裕史 大塚
寛人 三苫
亮 太田
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to EP13854008.3A priority Critical patent/EP2919197B1/en
Priority to US14/441,419 priority patent/US9424462B2/en
Publication of WO2014073322A1 publication Critical patent/WO2014073322A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present invention relates to an object detection apparatus and an object detection method for detecting an object based on a distance image generated based on a pair of gray-scale images.
  • Patent Document 1 in an object detection apparatus that detects an object based on a distance image generated by stereo image processing, the reliability of distance data of the distance image is evaluated to extract effective distance data and invalid distance data. It is disclosed to perform grouping that is regarded as the same object based on the effective distance data and the invalid distance data.
  • an object of this invention is to provide the object detection apparatus and object detection method which can suppress the error of grouping based on a distance image.
  • an object detection apparatus includes a distance image generation unit that generates a distance image based on a pair of gray-scale images, a grouping unit that groups adjacent regions having similar distance data in the distance image, and the grouping And a division unit configured to divide the selected area based on the grayscale image.
  • a step of generating a distance image based on a pair of gray-scale images, a step of grouping adjacent regions having similar distance data in the distance image, and the grouped regions are described above. And D. dividing based on a gray-scale image.
  • FIG. 1 It is a block diagram which shows the structure of the vehicle driving assistance system in embodiment of this invention. It is a block diagram of the camera unit in embodiment of this invention, and an image signal processing unit. It is a figure which shows the example of arrangement
  • FIG. 1 shows a configuration of a vehicle driving support system that implements forward collision warning (FCW) and inter-vehicle distance control (ACC: adaptive cruise control) as an example of an object detection apparatus and method according to the present invention. It is a block diagram.
  • FCW forward collision warning
  • ACC inter-vehicle distance control
  • a camera unit (stereo camera) 101 is installed on the vehicle so as to capture the view in front of the vehicle 107.
  • the vehicle forward image captured by the camera unit 101 is input to the image signal processing unit 102, and the image signal processing unit 102 calculates the distance to the preceding vehicle and the relative speed based on the vehicle forward image, and the distance to the preceding vehicle
  • the information such as the relative velocity and the like is transmitted to the control unit 103.
  • the control unit 103 determines the degree of risk of collision based on the distance to the preceding vehicle and the relative speed, and issues a warning sound (forward collision warning) with the speaker 104 or decelerates with the brake 106 according to the degree of danger, etc. Output the command of Further, when the driver of the vehicle 107 enables the ACC function, the control unit 103 controls the accelerator 105 and the brake 106 to cause the own vehicle to follow the preceding vehicle while maintaining a constant inter-vehicle distance, or the preceding vehicle If not, control (inter-vehicle distance control) to accelerate to a set vehicle speed is performed.
  • FIG. 2 is a block diagram showing an internal configuration of the camera unit 101 and the image signal processing unit 102. As shown in FIG.
  • the camera unit 101 includes a pair of left and right cameras 101a and 101b, and the cameras 101a and 101b include complementary metal oxide semiconductors (CMOSs) 201a and 201b and digital signal processors (DSPs) 202a and 202b, respectively.
  • CMOSs complementary metal oxide semiconductors
  • DSPs digital signal processors
  • the photodiode is an imaging device in which photodiodes that convert light into charge are arranged in a grid.
  • the CMOS 201 is a color element
  • the RAW image (color image) of the CMOS 201 is transferred to the DSP 202 and converted to a gray-scale image in the DSP 202.
  • the CMOS 201 is a monochrome element
  • the gray image is transmitted to the image input I / F 205 of the image signal processing unit 102 as it is.
  • the image signal is continuously transmitted from the camera unit 101 to the image input I / F 205, the synchronization signal is included at the beginning of the image signal, and the image input I / F 205 takes in only the image of the necessary timing. It is possible to A pair of left and right gray-scale images captured in the image signal processing unit 102 via the image input I / F 205 is written to the memory 206, and the image processing unit 204 performs parallax calculation processing based on the image stored in the memory 206. Perform analysis processing etc.
  • a series of processing in the image processing unit 204 is performed according to a program 207 written in advance in the flash ROM.
  • the CPU 203 performs control for capturing an image by the image input I / F 205, image processing by the image processing unit 204, and necessary calculations.
  • the CMOSs 201a and 201b incorporate an exposure control unit for performing exposure control and a register for setting an exposure time, and the CMOS 201a and 201b capture an image with the exposure time set in the register.
  • the exposure time set in the register can be rewritten by the CPU 203, and the exposure time rewritten by the CPU 203 is reflected at the time of imaging of the next frame or the subsequent field.
  • the exposure time can be electronically controlled, and the exposure time limits the amount of light impinging on the CMOS 201a, 201b.
  • the exposure time control can be realized by the electronic shutter method as described above, but can also be realized similarly by using a method of opening and closing the mechanical shutter. Further, the exposure amount can be changed by adjusting the aperture. Further, when scanning every other line as in the interlace, the exposure amount can be changed between the odd lines and the even lines.
  • the image signal processing unit 102 transmits information such as the distance to the preceding vehicle and the relative speed to the control unit 103 via the CANI / F 208, and the control unit 103 generates a forward collision warning and an inter-vehicle distance based on the transmitted information. Implement control etc.
  • each pixel measures the intensity of one of red (R), green (G), and blue (B), and the other colors refer to surrounding colors.
  • R red
  • G green
  • B blue
  • the RGB of the G22 pixel at the center of FIG. 3A can be calculated as shown in Equation 1.
  • the RGB of the R22 pixel at the center of FIG. 3B can be calculated as Equation 2.
  • RGB can be similarly determined for pixels other than G22 and R22, and the intensities of the three primary colors of RGB are calculated for all pixels to obtain a color image. Then, the lightness Y at all the pixels is calculated according to Equation 3 to create a Y image, and the Y image is used as a gray-scale image.
  • the distance data from the left and right images taken by the left and right cameras 101a and 101b to the surface of the camera and the object (obstacle) can be output in the form of an image as distance data for each pixel.
  • the format distance data is called a distance image.
  • FIG. 4 is a diagram for explaining the distance measurement principle (triangulation) using the pair of left and right cameras 101a and 101b.
  • FIG. 4 a certain point P on the back of a vehicle 402 (preceding vehicle) which is a subject is shown at point Pr on the right camera image (reference image) and at point P1 on the left camera image (reference image).
  • the focal length of the camera is f
  • the distance from the principal point of the lenses 401a and 401b to the vehicle 402 is Z
  • the base lengths of the right and left cameras are B
  • the positional deviation between the points Pr and Pl, that is, the parallax is d.
  • the distance Z can be calculated from the similarity ratio of triangles as follows.
  • obtaining the distance Z is equivalent to obtaining the parallax d.
  • a point Pl of the left camera image (reference image) corresponding to the point Pr on the right camera image (reference image) is obtained. Since the point Pr and the point P1 are the same part of the subject, the areas around both points have almost the same shape and brightness on the image. Therefore, for the m ⁇ n blocks of the reference image, pattern matching for calculating the degree of similarity is used, and a method called block matching for obtaining a corresponding block of the reference image is used.
  • SAD Sum of Absolute Difference
  • a search is performed on the epipolar line, and the place where the value of SAD is the smallest is converted into distance data as disparity.
  • a distance image an image consisting of distance data for each pixel
  • the optimum parallax is not determined in all the blocks of the reference image. For example, when there is almost no luminance difference of the pixels in the block, the gentle and flat pattern continues in the same way in the periphery as well. . In such a case, since the high degree of similarity is exhibited anywhere within the uniform area, it is not possible to obtain optimal distance data.
  • an invalid area (invalid distance data) for ignoring the result of block matching is used.
  • the result of block matching can be relied upon, and thus the result of block matching is adopted as an effective area (effective distance data).
  • effective distance data tends to be collected near the vertical edge having a luminance difference in the horizontal direction.
  • FIG. 5 (a) is an example of the image (grayscale image) of the leading vehicle 501
  • FIG. 5 (b) is an effective area (effective distance data) in the distance image corresponding to the image of the leading vehicle of FIG. Is represented.
  • the black line area shown in FIG. 5B is a part of the vertical edge and is also an effective area of the distance data, and the black line area has high reliability of the distance data.
  • the effective area and the ineffective area of the block matching result (disparity) are determined using an index value T calculated according to Equation 6.
  • the index value T calculated according to the equation 6 represents the average of the luminance difference between adjacent pixels in the block in the horizontal direction. Then, when the index value T is equal to or more than a predetermined value (for example, 5), the feature value of the block is large, and therefore the confidence value of the distance (parallax) is high, that is, the effective area of distance data (effective distance data) If the index value T is smaller than a predetermined value, the feature amount of the block is small, so that it is determined to be an invalid area (invalid distance data) of the distance data.
  • a predetermined value for example, 5
  • the index value T is smaller than a predetermined value
  • the feature amount of the block is small, so that it is determined to be an invalid area (invalid distance data) of the distance data.
  • the back surface of the vehicle generally has a smooth and flat luminance pattern and the distance data is often invalid, so as in the leading vehicle 502 of FIG.
  • the effective area (effective distance data) is often divided to the left and right of the vehicle.
  • FIG. 6 is a flowchart showing a flow of object detection processing including grouping processing of effective areas.
  • a distance image consisting of distance data (parallax data) for each pixel is generated based on a pair of left and right gray-scale images, and adjacent regions close in distance among effective regions of the distance image Perform grouping to put together.
  • division of the grouped area based on the distance image is performed according to the cutout of the object area based on the gray scale image (brightness data), and further, in the gray scale image, whether the same object area is separated by the division. The determination is made based on the vertical edge, and if the same object area is separated, the area is merged.
  • FIG. 7 and FIG. 8 are diagrams showing an example of the result of processing according to the procedure shown in the flowchart of FIG.
  • FIG. 7 shows an example in which three pedestrians stand side by side at an approximately equidistant distance from the vehicle, and the width at which the three persons are lined is the width of the preceding vehicle between vehicles of similar distance. Since the level is the same, it is a scene where erroneous grouping is easy to be performed.
  • FIG. 8 is an example in case a pedestrian is in the vicinity of a vehicle. In the case where the brake is set to be actuated earlier (from a longer distance) when the obstacle is a pedestrian than when the obstacle is a vehicle, in a scene like FIG. 8, the vehicle and the pedestrian are separated early. Failure to do so will delay the application of brakes to pedestrians.
  • step S601 and step S602 gray-scale images are obtained from the images captured by the left and right cameras 101a and 101b.
  • the cameras 101a and 101b have monochrome image sensors, they can acquire gray-scale images in the same image format, but if they have color image sensors, they can obtain 3 in accordance with Equations 1, 2 and 3 described above.
  • the primary color signal is converted to a luminance Y signal, that is, a gray-scale format to obtain a gray-scale image.
  • step S603 distance image generation unit
  • step S604 grouping unit
  • FIG. 7A and FIG. 8A are diagrams showing an example of the result of grouping in step S604.
  • FIG. 7 (a) three pedestrians are arranged side by side at approximately the same distance and grouped into rectangular areas including these three pedestrians
  • FIG. 8 (a) One pedestrian and a vehicle are arranged side by side at substantially the same distance, and are grouped into a rectangular region including the one pedestrian and the vehicle. For example, if grouping is performed as in the example illustrated in FIG. 8A, the vehicle and the pedestrian can not be separately detected, and the brake operation on the pedestrian is delayed.
  • next step S 605 division unit
  • division unit it is determined whether division of the area grouped as the same object based on the distance image is divisible based on the cutout of the object area based on the gray-scale image, and division is possible.
  • the grouped region is divided according to the cutout of the object region based on the grayscale image.
  • step S605 it is determined based on the luminance difference in the vertical direction of the grayscale image whether divisional regions can be divided, and division is performed if division is possible.
  • the average luminance (average road surface luminance) at the vertical line 903 below the ground contact surface 901 of the object is determined, and the vertical line 902 above the ground contact surface 901 is obtained.
  • the accumulation of the absolute value of the difference between the luminance and the road surface average luminance is calculated.
  • h in Equation 7 is the apparent height (pixel) of an object (three-dimensional object) in an image.
  • the vertical line for calculating the luminance difference D can be set by thinning out in the horizontal direction of the image, and the width of the vertical line can be set to one pixel or a plurality of pixels.
  • the contact surface 901 is a foot position in the case of a pedestrian, and is a contact surface of a tire in a vehicle. For example, a substantially horizontal surface continuously connected to the lower end of the area grouped on the distance image is the contact surface. It can be 901.
  • the area above the ground plane 901 where the difference in brightness with respect to (the road surface) is large can be estimated to be an object area (such as a pedestrian or a vehicle), and conversely, the area below the ground plane 901
  • An area above the ground surface 901 where the luminance difference is small can be estimated to be an area on the extension of the road surface.
  • FIG. 9 The result of performing the calculation of the luminance difference D for each vertical line of the gray image is shown in FIG.
  • FIG. 9 As shown in FIG. 9 (a), it is a scene in which three pedestrians are arranged side by side, and as shown in FIG. 9 (b), in the interval portion of three pedestrians. Since the upper and lower sides sandwiching the ground contact surface 901 are both road surfaces, the difference in brightness D is reduced, while in the standing positions of the three pedestrians, the road surface below the ground contact surface 901 is the same vertical Since the pedestrian is above the ground contact surface 901 on the line, the luminance difference D is larger than when the upper and lower sides are the road surface.
  • the luminance difference D becomes larger at the position of the pedestrian and becomes convex, and becomes smaller between the pedestrians and becomes concave, and the change in the luminance difference D in the lateral direction
  • a vertical line passing through the inflection point in the lateral change of the luminance difference D that is, the boundary line between the area where the luminance difference D is large and the area where the luminance difference D is small, is set as the object area boundary line.
  • An area in which the luminance difference D between them has a convex shape is detected as an object area (pedestrian area), and an area in which the luminance difference D between the boundary lines is concave is detected as a non-object area (road surface area) Do. Then, when a boundary line (non-object region, road surface region) based on the luminance difference D is included in the region grouped based on the distance data, it is determined that division is possible, and a non-object region extending in the vertical direction is sandwiched. Divide into left and right.
  • FIG.7 (b) and FIG.8 (b) show the result of the division process in step S605.
  • the area where three pedestrians are grouped together is divided by the gray image according to FIG. 7 (b).
  • it is divided into three pedestrians.
  • vehicle control brake control, warning control
  • the division based on the gray image is performed.
  • one pedestrian can be separated, and vehicle control (brake control, warning control) according to the distance can be performed on the pedestrian.
  • vehicle control brake control, warning control
  • the vertical line 903 below the ground plane 901 near the center of the rear surface of the preceding vehicle is set to a shadow area on the road surface, and the color of the vehicle is dark.
  • the difference in luminance D between the upper and lower sides of the ground plane 901 does not increase, and it may be erroneously detected as a non-object area.
  • the vertical area near the center of the rear of the preceding vehicle is detected as a non-object area, and as shown in FIG. 8B, it is divided into the left part and the right part of the rear of the preceding vehicle. The back of the car will not be detected as the same object.
  • step S 606 the result of dividing the grouping area based on the distance image based on the gray image determines whether or not the same object area has been correctly cut out based on the vertical edge, and the same object area is correctly If it has not been cut out, processing is performed to merge (merge) areas that were erroneously divided.
  • step S606 first, the right area and the left area are provided in each area divided in step S605, as shown in FIGS. 7C and 8C, and vertical edges included in each of the left and right areas Find the accumulation of the components.
  • the right area and the left area are areas having predetermined widths set on the right and left sides respectively near the center in the width direction of each area divided in step S605.
  • each area divided in step S605 includes one object, the contours of the object exist on the left and right respectively. Therefore, whether or not the contours on the left and right of the object are actually included is a vertical edge Judge based on the cumulative value of the component.
  • the vertical edge included in the area near the center of the rear of the vehicle is characterized by being less near the flat bumper. Therefore, as shown in FIG. 8C, when the rear area of the preceding vehicle is erroneously divided into the left side and the right side, it is closer to the center of the left and right areas LE and RE set in the area 801 on the rear left side.
  • the right region RE vertical edges are interrupted near the height of the bumper, and similarly, in the left region LE of the left and right regions LE set in the rear right region 802, the height of the bumper is There is an interruption of the vertical edge in the vicinity.
  • step S 607 vehicle detection unit
  • step S 607 merges adjacent areas on the side where the vertical edges were interrupted, and merges the objects in the merged area. Detect as a leading vehicle.
  • step S608 divide the area based on the density image Perform object detection according to.
  • FIG. 10 is a diagram for explaining an example of the merge process.
  • left and right areas LE and RE are set in the areas divided by the grayscale image, and the cumulative value of the vertical edge component is calculated for each of the left and right areas LE and RE.
  • FIGS. 10B and 10C show the results of projecting the accumulated values of the vertical edge components obtained in the left and right areas LE and RE, respectively, on the Y axis.
  • the divided area 801 in FIG. 10A is an area including the left side surface of the preceding vehicle, and the left area LE of the divided area 801 includes the vertical edge of the left side surface of the vehicle. As such, the accumulated value of the vertical edge component exhibits a gentle change without showing a sharp drop on the way.
  • the vertical edges of the bumper and the body part decrease. Show a sharp dip in the region of
  • the left and right areas LE and RE it is judged in the left and right areas LE and RE whether the accumulated value of the vertical edge component falls sharply in the middle (whether or not there is a break in the vertical edge component), and a drop (break) in the vertical edge component is recognized. It is determined that the left region LE or the right region RE is not a contour portion of the vehicle, but a region closer to the center than the contour portion. In other words, if there is a drop (interruption) of the vertical edge component in one of the left and right areas LE and RE, there is an error in the division based on the gray image, and it is determined that the vehicle area is erroneously divided into left and right.
  • the vehicle area can be cut out correctly, and depending on the detected vehicle It can perform forward collision warning and control the distance between vehicles.
  • the grouping area based on the distance image shown in FIG. 7A is divided as shown in FIG. 7B based on the density image.
  • the drop (break) of the vertical edge component does not occur in either of the left and right areas LE and RE, without merging.
  • the result of division based on the density image is taken as the final object area.
  • the determination of the presence or absence of the vertical edge component drop (break) can be performed using various methods, for example, the magnitude of the deviation between the left and right areas LE and RE with respect to the cumulative value of the vertical edge component.
  • the determination can be made based on the cumulative value of the vertical edge component and the threshold value, or based on the differential value in the Y-axis direction (vertical direction) of the cumulative value of the vertical edge component.
  • the present invention is not limited to the contents of the above-described embodiment, and various modifications can be made without departing from the spirit of the present invention.
  • the example which applied the object detection apparatus and method which concern on this invention to the vehicle drive assistance system was shown in the said embodiment, it is not limited to a vehicle drive assistance system.
  • various known processing methods disclosed in, for example, Japanese Patent Application Laid-Open No. 2008-065634 can be applied.
  • 101 camera unit, 101a, 101b: camera, 102: image signal processing unit, 103: control unit, 104: speaker, 105: accelerator, 106: brake, 107: vehicle, 201a, 201b: CMOS, 202a, 202b: DSP , 203: CPU, 204: image processing unit 204, 205: image input I / F, 206: memory, 207: program

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

　距離画像に基づくグループ化の誤りを抑制できる、物体検出装置及び物体検出方法を提供するために、一対の濃淡画像に基づいて距離画像を生成し（S603）、距離画像において距離データが近い隣接領域をグループ化する（S604）。一方、前記濃淡画像における、物体の接地面よりも下方の縦ラインにおける輝度と、前記接地面よりも上方の縦ラインにおける輝度との差を演算し、前記輝度の差に基づき、前記グループ化された領域を左右に分割する（S605）。更に、前記濃淡画像に基づいて分割した領域の左右領域のいずれかで垂直エッジに途切れがあるか否かを判定し、垂直エッジの途切れがあった側で隣接する領域どうしをマージする（S607）。

Description

物体検出装置及び物体検出方法
　本発明は、一対の濃淡画像に基づいて生成した距離画像に基づいて物体を検出する物体検出装置及び物体検出方法に関する。
　特許文献１には、ステレオ画像処理によって生成される距離画像に基づいて物体を検出する物体検出装置において、距離画像の距離データの信頼性を評価して、有効距離データと無効距離データとを抽出し、これら有効距離データ及び無効距離データに基づき、同一物体とみなすグループ化を行うことが開示されている。
特開２００８－０６５６３４号公報
　しかし、距離画像における有効距離データ及び無効距離データに基づくグループ化では、有効距離データが物体の左右エッジに集中するために十分な情報が得られず、同距離に並ぶ複数の物体を同一物体とみなしてしまうことを防ぐことが難しかった。
　そして、車両周辺の監視を行う場合であって、先行車の他に、歩行者やバイクなどが存在する場合に、例えば、車両と歩行者とをひとまとめにしてしまうグループ化の誤りが生じると、歩行者に対しては十分に減速し、先行車に対しては追従させたり発進警報を発したりといった、車両と歩行者との違いに応じた車両制御が行えなくなってしまう。
　そこで、本発明は、距離画像に基づくグループ化の誤りを抑制できる、物体検出装置及び物体検出方法を提供することを目的とする。
　そのため、本願発明の物体検出装置は、一対の濃淡画像に基づいて距離画像を生成する距離画像生成部と、前記距離画像において距離データが近い隣接領域をグループ化するグループ化部と、前記グループ化された領域を前記濃淡画像に基づいて分割する分割部と、を備えるようにした。
　また、本願発明の物体検出方法は、一対の濃淡画像に基づいて距離画像を生成するステップと、前記距離画像において距離データが近い隣接領域をグループ化するステップと、前記グループ化された領域を前記濃淡画像に基づいて分割するステップと、を含むようにした。
　本発明によれば、距離画像に基づくグループ化の誤りを抑制できる。
本発明の実施の形態における車両運転支援システムの構成を示すブロック図である。 本発明の実施の形態におけるカメラユニット及び画像信号処理ユニットの構成図である。 本発明の実施の形態におけるカラーフィルタの配置例を示す図である。 本発明の実施の形態におけるステレオカメラによる測距原理を説明するための図である。 本発明の実施の形態における先行車の濃淡画像及び距離画像を示す図である。 本発明の実施の形態におけるグルーピング処理の流れを示すフローチャートである。 本発明の実施の形態における複数歩行者に対する処理結果を示す図である。 本発明の実施の形態における歩行者及び先行車に対する処理結果を示す図である。 本発明の実施の形態における濃度画像に基づく分割処理を示す図である。 本発明の実施の形態における垂直エッジによるマージ処理を説明するための図である。
　以下に、本発明の実施の形態を、図面を用いて説明する。
　図１は、本願発明に係る物体検出装置及び方法の一例として、前方衝突警告（ＦＣＷ：Forward Collision Warning）と車間距離制御（ＡＣＣ：Adaptive Cruise Control）とを実施する車両運転支援システムの構成を示すブロック図である。
　この図１において、カメラユニット（ステレオカメラ）１０１は、車両１０７の前方の視界を捕えるように、自車に設置される。
　カメラユニット１０１が撮像した車両前方画像は、画像信号処理ユニット１０２に入力され、画像信号処理ユニット１０２は、車両前方画像に基づいて先行車までの距離や相対速度を計算し、先行車までの距離や相対速度などの情報を、制御ユニット１０３に送信する。
　制御ユニット１０３は、先行車までの距離や相対速度から衝突の危険度を判定し、危険度に応じて、スピーカ１０４で警告音（前方衝突警告）を出したり、ブレーキ１０６で減速したりするなどの指令を出力する。
　また、車両１０７のドライバーがＡＣＣ機能を有効にしている場合、制御ユニット１０３は、アクセル１０５及びブレーキ１０６を制御して自車を先行車に一定の車間距離を保ちながら追従させたり、先行車がいない場合は設定車速まで加速させたりする制御（車間距離制御）を行う。
　次に、上記の車両運転支援システムにおいて、カメラユニット１０１の撮像画像に基づき先行車などを検出する方法を説明する。
　図２は、カメラユニット１０１及び画像信号処理ユニット１０２の内部構成を示すブロック図である。
　カメラユニット１０１は、左右一対のカメラ１０１ａ、１０１ｂからなり、カメラ１０１ａ、１０１ｂは、それぞれＣＭＯＳ（Complementary Metal Oxide Semiconductor）２０１ａ、２０１ｂ及びＤＳＰ（Digital Signal Processor）２０２ａ、２０２ｂを備えている
　ＣＭＯＳ２０１ａ、２０１ｂは、光を電荷に変換するフォトダイオードが格子状に並んだ撮像素子である。
　ここで、ＣＭＯＳ２０１がカラー素子である場合、ＣＭＯＳ２０１のＲＡＷ画像（カラー画像）をＤＳＰ２０２に転送して、ＤＳＰ２０２において濃淡画像に変換する。
　一方、ＣＭＯＳ２０１がモノクロ素子である場合、濃淡画像をそのまま画像信号処理ユニット１０２の画像入力Ｉ／Ｆ２０５に送信する。
　画像信号はカメラユニット１０１から画像入力Ｉ／Ｆ２０５に対して連続的に送信されるが、その先頭には同期信号が含まれており、画像入力Ｉ／Ｆ２０５で必要なタイミングの画像のみを取り込むことができるようになっている。
　画像入力Ｉ／Ｆ２０５を介して画像信号処理ユニット１０２内に取り込まれた左右一対の濃淡画像は、メモリ２０６に書き込まれ、画像処理ユニット２０４は、メモリ２０６に格納された画像に基づき視差計算処理や解析処理などを行う。
　画像処理ユニット２０４における一連の処理は、フラッシュＲＯＭに予め書き込まれたプログラム２０７に従って行われる。
　ＣＰＵ２０３は、画像入力Ｉ／Ｆ２０５による画像の取り込みや、画像処理ユニット２０４で画像処理を行わせたりするための制御、及び、必要な計算を行う。
　ＣＭＯＳ２０１ａ、２０１ｂは、露光制御を行うための露光制御ユニットと露光時間を設定するレジスタを内蔵しており、ＣＭＯＳ２０１ａ、２０１ｂはレジスタに設定された露光時間で撮像する。
　レジスタに設定される露光時間は、ＣＰＵ２０３によって書き換えることが可能で、ＣＰＵ２０３によって書き換えられた露光時間は、次フレーム或いは次フィールド以降の撮像時に反映される。
　露光時間は電子制御可能で、露光時間によってＣＭＯＳ２０１ａ、２０１ｂに当たる光の量が制限される。
　露光時間制御は、前記のような電子シャッター方式によって実現できるが、メカニカルシャッターを開閉させる方式を用いても同様に実現可能である。また、絞りを調整することで露光量を変化させることができる。また、インターレースのように１ラインおきに走査する場合、奇数ラインと偶数ラインとで露光量を変化させることができる。
　画像信号処理ユニット１０２は、先行車までの距離や相対速度などの情報を、ＣＡＮＩ／Ｆ２０８を介して制御ユニット１０３に送信し、制御ユニット１０３は、送信された情報に基づき前方衝突警告や車間距離制御などを実施する。
　以下では、ＤＳＰ２０２ａ、２０２ｂが行う濃淡画像変換処理を説明する。
　ＣＭＯＳ２０１ａ、２０１ｂがカラー素子である場合、各画素は赤（Ｒ）、緑（Ｇ）、青（Ｂ）のいずれか１色の強度を測定するため、それ以外の色は周囲の色を参照して推定する。例えば、図３（ａ）の中央のＧ２２の画素のＲＧＢはそれぞれ数１のようにして算出することができる。
Figure JPOXMLDOC01-appb-M000001
　同様に、図３（ｂ）の中央のＲ２２の画素のＲＧＢはそれぞれ数２のようにして算出することができる。
Figure JPOXMLDOC01-appb-M000002
　Ｇ２２、Ｒ２２以外の画素についても、同様にしてＲＧＢの値を求めることができ、全ての画素でＲＧＢの３原色の強度を計算して、カラー画像を得る。そして、全画素での明度Ｙを数３に従って算出してＹ画像を作成し、当該Ｙ画像を濃淡画像とする。
Figure JPOXMLDOC01-appb-M000003
　左右一対のカメラ１０１ａ、１０１ｂで撮像された左右一対の画像から、カメラと対象物（障害物）の表面までの距離データを、画素毎の距離データとして画像形式で出力することができ、この画像形式の距離データを距離画像と呼ぶ。
　図４は、左右一対のカメラ１０１ａ、１０１ｂを用いた測距原理（三角測量）を説明するための図である。
　図４において、被写体である車両４０２（先行車）の背面におけるある点Ｐは、右カメラ画像（基準画像）上では点Ｐrに写り、左カメラ画像（参照画像）上では点Ｐlに写る。
　カメラの焦点距離をｆ、レンズ４０１ａ、４０１ｂの主点から車両４０２までの距離をＺ、右カメラと左カメラの基線長をＢ、点Ｐrと点Ｐlの位置ズレ量、すなわち視差をｄとすると、距離Ｚは三角形の相似比から数４のようにして計算できる。
Figure JPOXMLDOC01-appb-M000004
　ここで、基線長Ｂ及び焦点距離ｆは一定値であるため、距離Ｚを求めることと、視差ｄを求めることは等価である。
　視差ｄを求めるためには、右カメラ画像（基準画像）上の点Ｐrに対応する左カメラ画像（参照画像）の点Ｐlを求める。点Ｐrと点Ｐlとは被写体の同じ部位であるため、画像上でも両点の周辺はほぼ同じ形状、輝度になる。
　そこで、基準画像のm×nのブロックに対して、類似度を計算するパターンマッチングを用いて、参照画像の対応するブロックを求めるブロックマッチングと呼ばれる手法を用いる。
　ここで、ｍ，ｎは２以上の整数であり、値が大きいほどブロックの特徴量が大きくなるため誤マッチングは防止できロバストにはなるが、ブロックよりも小さな対象の距離は正確に出ないため、遠方の対象物まで考慮して最適な値に設定される。
　具体的には、ブロックの大きさが、検知したい最遠方の立体物の大きさよりも十分小さくなるように、例えば、ｍ＝ｎ＝５に設定する。
　ブロックマッチングのアルゴリズムとしては、ブロック間における画素ごとの輝度差の絶対値の総和ＳＡＤ（Sum of Absolute Difference）を計算し、係るＳＡＤ値が最も小さいブロックを選ぶ方法を用いることができる。
　ＳＡＤ値は数５のようにして求めることができ、ＳＡＤの値が小さいほどより形状が一致している（類似度が高い）ことになる。
Figure JPOXMLDOC01-appb-M000005
　エピポーラ線上に探索を行って、ＳＡＤの値が最も小さい場所を視差として距離データに換算する。この処理を画像全領域で行うことで距離画像（画素毎の距離データからなる画像）を生成することができる。
　ここで、全ての基準画像のブロックにおいて最適な視差が求まるわけではなく、たとえばブロック内の画素の輝度差がほとんど無い場合、その周辺も同じようになだらかで平坦なパターンが続いていることが多い。このような場合は、一様な領域内であればどこでも高い類似度を示すことになるため、最適な距離データを求めることができない。
　そこで、このような特徴量の少ないブロックに関しては、ブロックマッチングの結果を無視する無効領域（無効距離データ）とする。逆に、輝度差があるエッジ上の箇所など、特徴量の多いブロックに関しては、ブロックマッチングの結果を信頼できるので、ブロックマッチングの結果を採用する有効領域（有効距離データ）とする。
　左右に配置されたステレオカメラの場合は、左右方向にブロックマッチングを行って視差計算をするため、水平方向に輝度差がある垂直エッジ付近に有効な距離データが集まりやすい。
　図５（ａ）は、先行車５０１の映像（濃淡画像）の一例で、図５（ｂ）は、図５（ａ）の先行車の映像に対応する距離画像における有効領域（有効距離データ）を表したものである。
　図５（ｂ）に示す黒い線領域は、垂直エッジの部分であると同時に距離データの有効領域でもあり、黒い線領域では距離データの信頼性が高い。
　ブロックマッチングの結果（視差）の有効領域と無効領域とは、数６に従って算出される指標値Ｔを用いて判定される。
Figure JPOXMLDOC01-appb-M000006
　数６に従って演算される指標値Ｔは、ブロック内で横方向に隣接する画素同士の輝度差の平均を表す。そして、指標値Ｔが、所定の値（例えば５）以上である場合は、ブロックの特徴量が大きいため距離（視差）の信頼値が高い、つまり、距離データの有効領域（有効距離データ）であると判定し、逆に、指標値Ｔが所定の値よりも小さい場合は、ブロックの特徴量が小さいため、距離データの無効領域（無効距離データ）であると判定する。
　ここで、対象物が先行車両の場合、車両の背面は一般になだらかで平坦な輝度パターンが続いていて距離データが無効となることが多いので、図５（ｂ）の先行車５０２のように、有効領域（有効距離データ）は、車両の左右に分断されてしまうことが多い。
　図６は、有効領域のグルーピング処理を含む物体検出処理の流れを示すフローチャートである。
　図６のフローチャートに示す物体検出処理では、左右一対の濃淡画像に基づき、画素毎の距離データ（視差データ）からなる距離画像を生成し、距離画像の有効領域のなかで距離が近い隣接する領域をひとまとめにするグルーピングを行う。次いで、濃淡画像（輝度データ）に基づく物体領域の切り出しに応じて、距離画像に基づきグルーピングした領域の分割を行い、更に、前記分割によって、同一物体領域が分離されたか否かを、濃淡画像における垂直エッジに基づき判定し、同一物体領域が分離されていれば、当該領域をマージする処理を行う。
　図７及び図８は、図６のフローチャートに示す手順によって処理を行った結果の実例を示す図である。
　図７は、３名の歩行者が自車から略等距離の位置に並んで立っている例であり、３名が並んでいる幅が、同程度の距離の車間で先行する車両の幅と同程度であるため、誤ったグルーピングを行い易いシーンである。
　また、図８は、車両の近傍に歩行者が居る場合の例である。障害物が車両である場合よりも歩行者である場合にブレーキをより早いタイミングで（より遠い距離から）作動させる設定の場合、図８のようなシーンでは、車両と歩行者とを早期に分離しておかないと、歩行者に対するブレーキの作動が遅れることになる。
　以下、図６のフローチャートに従って、物体検出処理を詳述する。
　まず、ステップＳ６０１、ステップＳ６０２では、左右のカメラ１０１ａ、１０１ｂで撮像された画像からそれぞれに濃淡画像を取得する。
　カメラ１０１ａ、１０１ｂが、モノクロの撮像素子を備える場合には、そのままの画像形式で濃淡画像を取得できるが、カラー撮像素子を備える場合には、前述した数１、数２、数３に従って、３原色の信号を輝度Ｙの信号、即ち、濃淡形式に変換して、濃淡画像を取得する。
　次のステップＳ６０３（距離画像生成部）では、左右一対の濃淡画像に基づくブロックマッチングによって同一物体に対する視差を求めて、距離画像を生成する。
　更にステップＳ６０４（グループ化部）では、距離画像において距離データが近い隣接する有効領域をひとまとめにするグルーピングを行う。
　図７（ａ）及び図８（ａ）は、ステップＳ６０４におけるグルーピングの結果の一例を示す図である。
　距離データが近い有効領域をグルーピングすることで、自車から異なる距離に位置する物体を分離して検出することができるが、同程度の距離に異なる複数の物体（複数名の歩行者や、歩行者と車両など）が並んで位置している場合に、これらを同一物体として誤ってグルーピングしてしまう可能性がある。
　図７（ａ）に示す例では、３名の歩行者が略同距離で横に並んでいて、これら３名の歩行者を含む矩形領域にグルーピングされ、図８（ａ）に示す例では、一人の歩行者と車両とが略同距離で横に並んでいて、これら１名の歩行者と車両とを含む矩形領域にグルーピングされている。
　例えば、図８（ａ）に示す例のようにグルーピングされると、車両と歩行者とを分離検出できず、歩行者に対するブレーキの作動が遅れることになる。
　そこで、次のステップＳ６０５（分割部）では、距離画像に基づき同一物体としてグルーピングした領域が分割可能であるか否かを、濃淡画像に基づく物体領域の切り出しに基づいて判定し、分割可能である場合、つまり、グルーピングした１つ領域に複数の異なる物体が含まれている場合には、グルーピングした領域を濃淡画像に基づく物体領域の切り出しに応じて分割する。
　これにより、距離データに基づくグルーピング処理の誤りを修正し、同程度の距離に並んで位置している複数の物体を分離して検出することが可能となる。
　ここで、図９を参照して、ステップＳ６０５における分割処理を詳細に説明する。
　ステップＳ６０５では、グルーピングされた領域が分割可能であるか否かを、濃淡画像の縦方向における輝度差に基づいて判定し、分割可能であれば分割を行う。
　まず、図９（ａ）に示すように、濃淡画像において、物体の接地面９０１よりも下にある縦ライン９０３における輝度平均（路面平均輝度）を求め、接地面９０１より上の縦ライン９０２における輝度と上記の路面平均輝度との差分の絶対値の累積を演算する。
　即ち、接地面９０１のＹ座標を０としたときに、数７に従って、接地面９０１は挟んだ上下での輝度差Ｄを縦ライン毎に演算する。
Figure JPOXMLDOC01-appb-M000007
　ここで、数７における「ｈ」は、画像中における物体（立体物）の見かけ上の高さ（pixel）である。
　尚、輝度差Ｄを演算する縦ラインを、画像の横方向において間引いて設定することができ、また、縦ラインの幅は１画素或いは複数画素とすることができる。また、接地面９０１とは、歩行者の場合は足元位置であり、車両ではタイヤの接地面であり、例えば、距離画像上でグルーピングした領域の下端に連続的に繋がる略水平の面を接地面９０１とすることができる。
　路面と路面上の物体との間には一般的に輝度差が生じる一方、接地面９０１よりも下の領域には路面が撮像されているものと推定できるので、接地面９０１よりも下の領域（路面）に対して輝度差が大きい、接地面９０１よりも上の領域は、物体領域（歩行者や車両など）であるものと推定でき、逆に、接地面９０１よりも下の領域に対して輝度差が小さい、接地面９０１よりも上の領域は、路面の延長上の領域であると推定できる。
　上記の輝度差Ｄの演算を、濃淡画像の縦ライン毎に行った結果を、図９（ｂ）に示してある。
　図９の場合、図９（ａ）に示したように、３名の歩行者が横に並んでいるシーンであり、図９（ｂ）に示すように、３名の歩行者の間隔部分では、接地面９０１を挟んだ上下が共に路面となるため、輝度差Ｄが小さくなる一方、３名の歩行者の立ち位置部分では、接地面９０１よりも下方が路面であるのに対し、同じ縦ライン上の接地面９０１よりも上方が歩行者であるため、上下が路面である場合に比べて輝度差Ｄが大きくなる。
　その結果、輝度差Ｄは、横方向において、歩行者の位置で大きくなって凸状をなし、歩行者の間で小さくなって凹状をなすことになり、係る輝度差Ｄの横方向での変化に基づき、横方向での物体領域（歩行者領域）を切り出すことが可能である。
　そこで、例えば、輝度差Ｄの横方向での変化における変曲点を通る縦ライン、つまり、輝度差Ｄが大きい領域と小さい領域の境界ラインを、物体領域の境界ラインとして設定し、係る境界ラインで挟まれる輝度差Ｄが凸状をなす領域を、物体領域（歩行者領域）として検出し、前記境界ラインで挟まれる輝度差Ｄが凹状をなす領域を、非物体領域（路面領域）として検出する。
　そして、距離データに基づきグルーピングした領域に、前記輝度差Ｄに基づく境界ライン（非物体領域、路面領域）が含まれる場合には、分割可能と判定し、縦方向に延びる非物体領域を挟んで左右に分割する。
　図７（ｂ）及び図８（ｂ）は、ステップＳ６０５における分割処理の結果を示す。
　図７に示す例では、距離画像に基づくグルーピングで、図７（ａ）に示すように３名の歩行者が一括りにグルーピングされた領域が、濃淡画像に基づく分割によって、図７（ｂ）に示すように、３名の歩行者毎に分割される。
　これにより、障害物を歩行者として検知して、当該歩行者との距離に応じた車両制御（ブレーキ制御、警告制御）を行える。
　また、図８に示す例では、距離画像に基づくグルーピングで、図８（ａ）に示すように１名の歩行者と車両とが一括りにグルーピングされた領域から、濃淡画像に基づく分割によって、図８（ｂ）に示すように、１名の歩行者を分離でき、歩行者に対して距離に応じた車両制御（ブレーキ制御、警告制御）を行える。
　また、距離画像に基づきグルーピングされた領域から、濃淡画像に基づく分割によって車両領域を正しく切り出すことが可能であるが、車両の場合、車両背面のパターンや状況によっては、図８（ｂ）に示すように、濃淡画像に基づく分割によって車両領域が左右に分離されてしまう可能性がある。
　例えば、輝度差Ｄの演算において、先行車背面の中央寄りで、接地面９０１よりも下にある縦ライン９０３が、路面上の影の領域に設定され、かつ、車両の色が濃色である場合には、接地面９０１の上下での輝度差Ｄが大きくならず、非物体領域であると誤検出してしまう可能性がある。この場合、先行車背面の中央寄りの縦領域が非物体領域として検出されることで、図８（ｂ）に示すように、先行車背面の左側部分と右側部分とに分割されてしまい、先行車背面が同一物体として検出されなくなってしまう。
　そこで、ステップＳ６０６（マージ部）では、距離画像に基づくグルーピング領域を濃淡画像に基づき分割した結果が、正しく同一物体領域を切り出したか否かを、垂直エッジに基づいて判定し、同一物体領域を正しく切り出していない場合には、誤って分割した領域をマージ（併合）する処理を行う。
　ステップＳ６０６では、まず、ステップＳ６０５で分割した各領域内に、図７（ｃ）及び図８（ｃ）に示すように、右領域と左領域とを設け、左右それぞれの領域に含まれる垂直エッジ成分の累積を求める。尚、右領域、左領域とは、ステップＳ６０５で分割した各領域の幅方向の中心付近を境に右側及び左側にそれぞれ設定した所定幅の領域である。
　ステップＳ６０５で分割した各領域が１つの物体を包含する場合には、左右それぞれに物体の輪郭が存在することになるので、実際に物体の左右の輪郭が含まれているか否かを、垂直エッジ成分の累積値に基づいて判断する。
　例えば、車両背面の中央寄りの領域に含まれる垂直エッジは、平坦であるバンパー付近で少なくなるという特徴がある。このため、図８（ｃ）に示すように、先行車の背面領域を左側と右側とに誤って分割した場合、背面左側の領域８０１に設定した左右領域ＬＥ、ＲＥのうちの中央寄りである右領域ＲＥでは、バンパーの高さ付近で垂直エッジの途切れが生じ、同様に、背面右側の領域８０２に設定した左右領域ＬＥ、ＲＥのうちの中央寄りである左領域ＬＥでは、バンパーの高さ付近で垂直エッジの途切れが生じる。
　そこで、左右領域ＬＥ、ＲＥについて垂直エッジの量や分布を解析して、上記の垂直エッジの途切れがあるか否かを検証し、左右領域ＬＥ，ＲＥの一方に垂直エッジの途切れがあった場合には、誤った分割を行ったものと判定し、ステップＳ６０７（車両検出部）へ進んで、相互に垂直エッジの途切れがあった側で隣接する領域どうしをマージし、マージした領域の物体を先行車両として検出する。
　一方、左右領域ＬＥ，ＲＥのいずれにも垂直エッジの途切れがなかった場合には、濃度画像に基づく分割に誤りがなかったものと判定し、ステップＳ６０８へ進んで、濃度画像に基づき分割した領域に従って物体検出を行う。
　図１０は、上記マージ処理の一例を説明するための図である。
　図１０（ａ）に示すように、濃淡画像によって分割した領域に左右領域ＬＥ，ＲＥを設定し、左右領域ＬＥ，ＲＥ毎に垂直エッジ成分の累積値を演算する。
　図１０（ｂ）及び（ｃ）は、左右領域ＬＥ，ＲＥそれぞれで求めた垂直エッジ成分の累積値を、Ｙ軸に投影した結果である。
　図１０（ａ）の分割領域８０１は、先行車両の左側面を含む領域であり、分割領域８０１の左領域ＬＥには、車両左側面の垂直エッジが含まれるため、図１０（ｂ）に示すように、垂直エッジ成分の累積値は、途中で急激な落ち込みを示すことなく、なだらかな変化を示す。
　一方、車両の中央寄りの右領域ＲＥには、バンパーやボディー部分で垂直エッジが少ない箇所が存在するため、図１０（ｃ）に示すように、バンパーやボディー部分などの垂直エッジが少なくなる途中の領域で急激な落ち込みを示す。
　そこで、垂直エッジ成分の累積値が途中で急激に落ち込んでいるか否か（垂直エッジ成分の途切れがあるか否か）を左右領域ＬＥ，ＲＥで判定し、垂直エッジ成分の落ち込み（途切れ）が認められた左領域ＬＥ又は右領域ＲＥについては、車両の輪郭部分ではなく、輪郭部分よりも中央寄りの領域であると判定する。
　換言すれば、左右領域ＬＥ，ＲＥの一方に垂直エッジ成分の落ち込み（途切れ）がある場合には、濃淡画像に基づく分割に誤りがあり、車両領域を誤って左右に分割したものと判定する。
　この場合、濃淡画像に基づき誤って分割したので、図８（ｄ）に示すように、相互に垂直エッジの途切れがあった側で隣接する領域どうしをマージし、マージした領域の物体を先行車両として検出する。
　即ち、背面左側の領域８０１では、右領域ＲＥで垂直エッジ成分の落ち込み（途切れ）が検出され、背面右側の領域８０２では、左領域ＬＥで垂直エッジ成分の落ち込み（途切れ）が検出されるので、領域８０１、８０２は、相互に垂直エッジの途切れがあった側で隣接する領域であり、領域８０１、８０２を一括りに包含するようにマージする。
　これにより、車両が濃い色であったり、濃度差Ｄの演算において路面輝度として影の部分の輝度を用いることになったりしても、車両領域を正しく切り出すことができ、検出した車両に応じて前方衝突警告や車間距離制御などを行える。
　一方、図７に示すように３名の歩行者が並んでいる場合で、図７（ａ）に示す距離画像に基づくグルーピング領域を、濃度画像に基づき図７（ｂ）に示すように分割した場合には、分割した各領域の左右に歩行者の輪郭部分が含まれるので、垂直エッジ成分の落ち込み（途切れ）は、左右領域ＬＥ，ＲＥのいずれでも生じることはなく、マージを行うことなく、濃度画像に基づき分割した結果を最終的な物体領域とする。
　尚、垂直エッジ成分の落ち込み（途切れ）の有無の判定は、種々の方法を用いて行うことができ、例えば、垂直エッジ成分の累積値についての左右領域ＬＥ，ＲＥ間での偏差の大きさに基づき判定したり、垂直エッジ成分の累積値と閾値との比較に基づき判定したり、垂直エッジ成分の累積値のＹ軸方向（垂直方向）での微分値に基づき判定したりすることができる。
　尚、本発明は、上述の実施の形態の内容に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。
　例えば、上記実施形態では、本発明に係る物体検出装置及び方法を、車両運転支援システムに適用した例を示したが、車両運転支援システムに限定されるものではない。
　また、距離画像に基づくグルーピング処理として、例えば特開２００８－０６５６３４号公報などに開示される公知の種々の処理方法を適用することができる。
　１０１…カメラユニット、１０１ａ、１０１ｂ…カメラ、１０２…画像信号処理ユニット、１０３…制御ユニット、１０４…スピーカ、１０５…アクセル、１０６…ブレーキ、１０７…車両、２０１ａ、２０１ｂ…ＣＭＯＳ、２０２ａ、２０２ｂ…ＤＳＰ、２０３…ＣＰＵ、２０４…画像処理ユニット２０４、２０５…画像入力Ｉ／Ｆ、２０６…メモリ、２０７…プログラム

Claims (11)

  1. 　一対の濃淡画像に基づいて距離画像を生成する距離画像生成部と、
    　前記距離画像において距離データが近い隣接領域をグループ化するグループ化部と、
    　前記グループ化された領域を前記濃淡画像に基づいて分割する分割部と、
    　を備えた、物体検出装置。
  2. 　前記分割部が、前記濃淡画像に基づき切り出した物体領域に基づいて、前記グループ化された領域を分割する、請求項１記載の物体検出装置。
  3. 　前記分割部が、前記濃淡画像の縦方向における輝度差に基づいて、前記グループ化された領域を左右に分割する、請求項１又は２記載の物体検出装置。
  4. 　前記分割部が、前記濃淡画像における、物体の接地面よりも下方の縦ラインにおける輝度と、前記接地面よりも上方の縦ラインにおける輝度との差に基づいて、前記グループ化された領域を左右に分割する、請求項１から３のいずれか１つに記載の物体検出装置。
  5. 　前記分割部が、前記輝度差が大きい領域と小さい領域との境界に基づき、前記グループ化された領域を左右に分割する、請求項３又は４記載の物体検出装置。
  6. 　前記濃淡画像に基づいて分割した領域の垂直エッジに基づき、前記濃淡画像に基づいて分割した領域をマージするマージ部を備えた、請求項１から５のいずれか１つに記載の物体検出装置。
  7. 　前記マージ部が、前記濃淡画像に基づいて分割した領域の左右領域のいずれかで垂直エッジに途切れがある場合に、垂直エッジの途切れがあった側で隣接する領域どうしをマージする、請求項６記載の物体検出装置。
  8. 　前記一対の濃淡画像が、車両に搭載された一対の撮像部で撮像された画像に基づく濃淡画像であり、
    　前記マージ部がマージした領域の物体を車両として検出する車両検出部を備えた、請求項６又は７記載の物体検出装置。
  9. 　一対の濃淡画像に基づいて距離画像を生成するステップと、
    　前記距離画像において距離データが近い隣接領域をグループ化するステップと、
    　前記グループ化された領域を前記濃淡画像に基づいて分割するステップと、
    　を含む、物体検出方法。
  10. 　前記分割を行うステップが、
    　前記濃淡画像における、物体の接地面よりも下方の縦ラインにおける輝度と、前記接地面よりも上方の縦ラインにおける輝度との差を演算するステップと、
    　前記輝度の差に基づき、前記グループ化された領域を左右に分割するステップと、
    　を含む、請求項９記載の物体検出方法。
  11. 　前記濃淡画像に基づいて分割した領域の左右領域のいずれかで垂直エッジに途切れがあるか否かを判定するステップと、
    　垂直エッジの途切れがあった側で隣接する領域どうしをマージするステップと、
    　を更に含む、請求項９又は１０記載の物体検出方法。
PCT/JP2013/077694 2012-11-08 2013-10-11 物体検出装置及び物体検出方法 WO2014073322A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP13854008.3A EP2919197B1 (en) 2012-11-08 2013-10-11 Object detection device and object detection method
US14/441,419 US9424462B2 (en) 2012-11-08 2013-10-11 Object detection device and object detection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-246693 2012-11-08
JP2012246693A JP6013884B2 (ja) 2012-11-08 2012-11-08 物体検出装置及び物体検出方法

Publications (1)

Publication Number Publication Date
WO2014073322A1 true WO2014073322A1 (ja) 2014-05-15

Family

ID=50684436

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/077694 WO2014073322A1 (ja) 2012-11-08 2013-10-11 物体検出装置及び物体検出方法

Country Status (4)

Country Link
US (1) US9424462B2 (ja)
EP (1) EP2919197B1 (ja)
JP (1) JP6013884B2 (ja)
WO (1) WO2014073322A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017098709A1 (ja) * 2015-12-08 2017-06-15 パナソニックＩｐマネジメント株式会社 画像認識装置および画像認識方法
CN107533749A (zh) * 2015-06-30 2018-01-02 日立汽车系统株式会社 物体检测装置
EP3258214A4 (en) * 2015-02-12 2019-03-13 Hitachi Automotive Systems, Ltd. OBJECT DETECTION DEVICE
JP2019185666A (ja) * 2018-04-17 2019-10-24 日立オートモティブシステムズ株式会社 外界認識装置
CN115272341A (zh) * 2022-09-29 2022-11-01 华联机械集团有限公司 一种基于机器视觉的包装机缺陷产品检测方法

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6313667B2 (ja) * 2014-06-10 2018-04-18 株式会社Ｓｕｂａｒｕ 車外環境認識装置
JP6407626B2 (ja) 2014-08-26 2018-10-17 日立オートモティブシステムズ株式会社 物体認識装置及び車両制御システム
JP6591188B2 (ja) * 2015-03-30 2019-10-16 株式会社Ｓｕｂａｒｕ 車外環境認識装置
JP6614822B2 (ja) * 2015-06-22 2019-12-04 キヤノン株式会社 画像符号化装置及びその制御方法及びプログラム及び記憶媒体
JP6592991B2 (ja) 2015-07-06 2019-10-23 株式会社リコー 物体検出装置、物体検出方法及びプログラム
EP3115933B1 (en) 2015-07-07 2021-03-17 Ricoh Company, Ltd. Image processing device, image capturing device, mobile body control system, image processing method, and computer-readable recording medium
JP6606369B2 (ja) * 2015-07-21 2019-11-13 株式会社Ｓｏｋｅｎ 物体検出装置及び物体検出方法
CN105678268B (zh) * 2016-01-11 2020-06-30 华东理工大学 一种基于双区域学习的地铁站场景行人计数实现方法
JP6752024B2 (ja) * 2016-02-12 2020-09-09 日立オートモティブシステムズ株式会社 画像処理装置
JP6786279B2 (ja) * 2016-07-05 2020-11-18 日立オートモティブシステムズ株式会社 画像処理装置
EP3324336B1 (en) 2016-11-18 2024-06-26 Ricoh Company, Ltd. Information processing device, information processing method, and carrier means
JP6782433B2 (ja) * 2017-03-22 2020-11-11 パナソニックＩｐマネジメント株式会社 画像認識装置
WO2019161300A1 (en) 2018-02-18 2019-08-22 Nvidia Corporation Detecting objects and determining confidence scores
DE112019000122T5 (de) 2018-02-27 2020-06-25 Nvidia Corporation Echtzeiterfassung von spuren und begrenzungen durch autonome fahrzeuge
WO2019178548A1 (en) 2018-03-15 2019-09-19 Nvidia Corporation Determining drivable free-space for autonomous vehicles
US11170299B2 (en) 2018-12-28 2021-11-09 Nvidia Corporation Distance estimation to objects and free-space boundaries in autonomous machine applications
WO2020140049A1 (en) 2018-12-28 2020-07-02 Nvidia Corporation Distance to obstacle detection in autonomous machine applications
DE112019006484T5 (de) 2018-12-28 2021-10-21 Nvidia Corporation Detektion von abständen zu hindernissen in autonomen maschinenanwendungen
WO2020185779A1 (en) 2019-03-11 2020-09-17 Nvidia Corporation Intersection detection and classification in autonomous machine applications
KR102083126B1 (ko) * 2019-08-05 2020-02-28 이정숙 진공 흡착구
US11698272B2 (en) 2019-08-31 2023-07-11 Nvidia Corporation Map creation and localization for autonomous driving applications
JP7406962B2 (ja) * 2019-11-26 2023-12-28 株式会社Subaru 画像処理装置
CN114945960A (zh) * 2020-01-17 2022-08-26 株式会社半导体能源研究所 拍摄系统、行驶支援系统以及程序
US11978266B2 (en) 2020-10-21 2024-05-07 Nvidia Corporation Occupant attentiveness and cognitive load monitoring for autonomous and semi-autonomous driving applications
CN112241717B (zh) * 2020-10-23 2021-11-16 北京嘀嘀无限科技发展有限公司 前车检测方法、前车检测模型的训练获取方法及装置
US11461992B2 (en) 2020-11-12 2022-10-04 Samsung Electronics Co., Ltd. Region of interest selection for object detection
WO2023157621A1 (ja) * 2022-02-15 2023-08-24 ソニーグループ株式会社 情報処理装置及び情報処理方法
CN117115816B (zh) * 2023-10-24 2024-02-09 深圳市美侨医疗科技有限公司 一种白带显微图像中线索细胞的识别方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001052171A (ja) * 1999-08-06 2001-02-23 Nissan Motor Co Ltd 周囲環境認識装置
JP2002183737A (ja) * 2000-12-18 2002-06-28 Honda Motor Co Ltd 対象物認識装置
JP2008065634A (ja) 2006-09-07 2008-03-21 Fuji Heavy Ind Ltd 物体検出装置および物体検出方法
JP2009139324A (ja) * 2007-12-10 2009-06-25 Mazda Motor Corp 車両用走行路面検出装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07225127A (ja) * 1994-02-14 1995-08-22 Mitsubishi Motors Corp 車両用路上物体認識装置
JP4990806B2 (ja) * 2008-01-22 2012-08-01 富士重工業株式会社 撮像手段の調整装置および車外監視装置
JP4482599B2 (ja) * 2008-10-24 2010-06-16 本田技研工業株式会社 車両の周辺監視装置
JP5188430B2 (ja) * 2009-03-24 2013-04-24 富士重工業株式会社 画像処理装置
US9317754B2 (en) * 2009-12-25 2016-04-19 Ricoh Company, Ltd. Object identifying apparatus, moving body control apparatus, and information providing apparatus
JP5665401B2 (ja) * 2010-07-21 2015-02-04 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
WO2012014430A1 (ja) * 2010-07-27 2012-02-02 パナソニック株式会社 移動体検出装置および移動体検出方法
JP5580233B2 (ja) * 2011-03-22 2014-08-27 富士重工業株式会社 車外監視装置および車外監視方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001052171A (ja) * 1999-08-06 2001-02-23 Nissan Motor Co Ltd 周囲環境認識装置
JP2002183737A (ja) * 2000-12-18 2002-06-28 Honda Motor Co Ltd 対象物認識装置
JP2008065634A (ja) 2006-09-07 2008-03-21 Fuji Heavy Ind Ltd 物体検出装置および物体検出方法
JP2009139324A (ja) * 2007-12-10 2009-06-25 Mazda Motor Corp 車両用走行路面検出装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3258214A4 (en) * 2015-02-12 2019-03-13 Hitachi Automotive Systems, Ltd. OBJECT DETECTION DEVICE
US10627228B2 (en) 2015-02-12 2020-04-21 Hitachi Automotive Systems, Ltd. Object detection device
EP3319037A4 (en) * 2015-06-30 2019-02-27 Hitachi Automotive Systems, Ltd. OBJECT DETECTION DEVICE
US10360436B2 (en) 2015-06-30 2019-07-23 Hitachi Automotive Systems, Ltd. Object detection device
CN107533749A (zh) * 2015-06-30 2018-01-02 日立汽车系统株式会社 物体检测装置
CN107533749B (zh) * 2015-06-30 2020-12-22 日立汽车系统株式会社 物体检测装置
WO2017098709A1 (ja) * 2015-12-08 2017-06-15 パナソニックＩｐマネジメント株式会社 画像認識装置および画像認識方法
JPWO2017098709A1 (ja) * 2015-12-08 2018-04-05 パナソニックＩｐマネジメント株式会社 画像認識装置および画像認識方法
US10339405B2 (en) 2015-12-08 2019-07-02 Panasonic Intellectual Property Management Co., Ltd. Image recognition device and image recognition method
JP2019185666A (ja) * 2018-04-17 2019-10-24 日立オートモティブシステムズ株式会社 外界認識装置
WO2019203000A1 (ja) * 2018-04-17 2019-10-24 日立オートモティブシステムズ株式会社 外界認識装置
CN111937035A (zh) * 2018-04-17 2020-11-13 日立汽车系统株式会社 外界识别装置
JP7106332B2 (ja) 2018-04-17 2022-07-26 日立Astemo株式会社 外界認識装置
CN115272341A (zh) * 2022-09-29 2022-11-01 华联机械集团有限公司 一种基于机器视觉的包装机缺陷产品检测方法

Also Published As

Publication number Publication date
EP2919197A4 (en) 2016-11-09
JP6013884B2 (ja) 2016-10-25
US9424462B2 (en) 2016-08-23
EP2919197A1 (en) 2015-09-16
US20150278578A1 (en) 2015-10-01
EP2919197B1 (en) 2020-07-29
JP2014096005A (ja) 2014-05-22

Similar Documents

Publication Publication Date Title
WO2014073322A1 (ja) 物体検出装置及び物体検出方法
JP5863536B2 (ja) 車外監視装置
JP5926228B2 (ja) 自律車両用の奥行き検知方法及びシステム
JP2018179911A (ja) 測距装置及び距離情報取得方法
WO2012120856A1 (ja) 物体検出装置及び物体検出方法
US10719949B2 (en) Method and apparatus for monitoring region around vehicle
JP5068134B2 (ja) 対象領域分割方法及び対象領域分割装置
JP6743882B2 (ja) 画像処理装置、機器制御システム、撮像装置、画像処理方法及びプログラム
JP6592991B2 (ja) 物体検出装置、物体検出方法及びプログラム
JP6544257B2 (ja) 情報処理システム、情報処理方法及び情報処理プログラム
JP2018060422A (ja) 物体検出装置
KR20060021922A (ko) 두 개의 카메라를 이용한 장애물 감지 기술 및 장치
JP2010224936A (ja) 物体検出装置
KR101818842B1 (ko) 운전지원장치, 거리감지방법 및 차로의 너비감지방법
KR101402089B1 (ko) 장애물 검출 장치 및 방법
WO2011016257A1 (ja) 車両用距離算出装置
JP2013161190A (ja) 物体認識装置
JP3868915B2 (ja) 前方監視装置及びその方法
CN113838111A (zh) 一种道路纹理特征检测方法、装置与自动驾驶系统
JP2010231400A (ja) 障害物危険度算出装置、方法及びプログラム
JP5587852B2 (ja) 画像処理装置及び画像処理方法
US20200210730A1 (en) Vehicle exterior environment recognition apparatus
JP2007195061A (ja) 画像処理装置
JPWO2017090097A1 (ja) 車両用外界認識装置
KR102565603B1 (ko) 긴급 제동 시스템의 성능평가 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13854008

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2013854008

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14441419

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE