WO2006016663A1 - 物体検出装置 - Google Patents

物体検出装置 Download PDF

Info

Publication number
WO2006016663A1
WO2006016663A1 PCT/JP2005/014785 JP2005014785W WO2006016663A1 WO 2006016663 A1 WO2006016663 A1 WO 2006016663A1 JP 2005014785 W JP2005014785 W JP 2005014785W WO 2006016663 A1 WO2006016663 A1 WO 2006016663A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
calculating
calculated
vpp
vector
Prior art date
Application number
PCT/JP2005/014785
Other languages
English (en)
French (fr)
Inventor
Akihito Seki
Masatoshi Okutomi
Tomo Fujimaki
Original Assignee
Tokyo Institute Of Technology
Honda Motor Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Institute Of Technology, Honda Motor Co., Ltd. filed Critical Tokyo Institute Of Technology
Priority to EP05770610A priority Critical patent/EP1780675B1/en
Priority to US11/659,911 priority patent/US8331653B2/en
Priority to DE602005024280T priority patent/DE602005024280D1/de
Publication of WO2006016663A1 publication Critical patent/WO2006016663A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Definitions

  • the present invention relates to an object detection apparatus that detects a peripheral object based on an acquired image.
  • the method using an image can be divided into a method using a single eye and a method using a compound eye.
  • many methods using images are monocular, that is, images obtained from a single viewpoint, and are mainly used in a developed environment such as an expressway, and white lines (for example, The travel area is detected by detecting the separation line and the center line).
  • white lines for example, The travel area is detected by detecting the separation line and the center line.
  • the density pattern that provides monocular image power can be used to stabilize the travelable area and obstacles. It is difficult to distinguish.
  • the obstacle detection device in Patent Document 2 also obtains the edge of the object region by the density changing force in the image, and the optical The image area force / object area with motion is estimated by the flow detection means. Then, the object area detected by the feature extraction means and the object area detected by the optical flow detection means are collated for consistency in position and size in the image and detected as the same object.
  • Patent Document 1 Japanese Patent Laid-Open No. 2000-293693 (Japan)
  • Patent Document 2 Japanese Patent Laid-Open No. 2001-21345 (Japan)
  • Non-Patent Document 1 Hoing—Young-Shum (Heung-Yeung Shum), Richard Szeliski, “Panoramac” Image “Mosaic” Technical Report, 1997 Year, Ms. A ⁇ Noreity ⁇ ⁇ Arnole 97- 23, Microsoft's Research (MSR- TR- 97-23, Microsoft Researcn)
  • a background image other than an object on the road plane is superimposed on an image of a complex scene, but if an edge is extracted due to a change in image strength, it is estimated as an object including the background object. There is a possibility of being.
  • the depth information of the object to be captured is lost. Since the movement of an object in space is observed as a movement on a two-dimensional plane on the image, it appears to approach or overlap on multiple object force images at different positions in the space. For this reason, if the movement of multiple objects is observed on the image by optical flow or the like, the movement of the object may not be tracked due to the effects of approaching or overlapping on the image.
  • a moving object, a background object, and the like are often shown in an image of a vehicle traveling on a general road, such as the front and rear of the vehicle, with a vehicle-mounted camera. Images taken at each time in such an environment frequently approach and move away on the image due to their positional relationship in space.
  • a range surrounding an edge set of the plurality of objects is estimated as one object region. There is. If a template corresponding to the object region is created based on this result and correlation is performed on the image at a later time, if each object moves away, the correlation will be low and accurate detection will occur. There are cases where it cannot be processed.
  • a main object of the present invention is to provide an object detection device capable of identifying each object individually and stably even when a plurality of objects approach or partially overlap each other on an image. .
  • Another object of the present invention is to more reliably track an object in consideration of the amount of movement based on the position of the center of gravity of the object.
  • an object of the present invention is to suppress measurement point variation, calculate the relative speed with high accuracy, and improve the accuracy of stereo measurement.
  • the object tracking is performed using the correlation between the features on the image and the positional relationship on the space. Even when distant objects appear close or partially overlap, it is possible to distinguish and associate near objects and distant objects. As a result, the object position area at each time corresponding to the object can be accurately associated, and each object can be identified stably. In addition, the object can be tracked more stably by considering the correlation on the image, compared to tracking the object using only the positional relationship in the space.
  • the object can be tracked more reliably by considering the amount of movement based on the position of the center of gravity of the object.
  • FIG. 1 is an explanatory diagram of a vehicle to which an object detection device of the present invention is applied.
  • FIG. 2 is a functional block diagram of an arithmetic processing device mounted on the vehicle shown in FIG.
  • FIG. 3 is a flowchart for explaining the overall flow of processing in the arithmetic processing unit shown in FIG. It is.
  • FIG. 4 is a schematic diagram for explaining a two-dimensional projective transformation between a pair of imaging means.
  • It is an explanatory diagram of a procedure for extracting a plane area.
  • FIG. 6 is a flowchart showing the processing contents of object extraction processing.
  • FIG. 7 is a schematic diagram showing how candidate points are extracted based on height restrictions.
  • FIG. 8 is a schematic diagram showing a state of voting processing.
  • FIG. 10 is a diagram showing a voting surface.
  • FIG. 11 is a flowchart showing the processing content for obtaining the world coordinates of each edge point of an object.
  • FIG. 12 is a diagram showing an edge image from which edges are extracted.
  • FIG. 13 Actual image data of an edge image from which an edge is extracted.
  • FIG. 14 is a diagram showing a corrected edge image from which a planar area is removed.
  • FIG. 15 is a diagram showing a reference image in which an epipolar line is set.
  • FIG. 16 is a schematic diagram showing the relationship between the world coordinate system and the camera coordinate system.
  • FIG. 17 is a diagram showing a depth image.
  • FIG. 18 is a flowchart showing the processing content for calculating the relative velocity of an object.
  • FIG. 19 is a flowchart showing the processing contents for examining the overlapping state of object regions.
  • FIG. 20 is a schematic diagram showing processing contents for creating a template based on a cluster.
  • ⁇ 21 A diagram showing a reference image in which a template is set.
  • FIG. 23 is a flowchart showing processing details of object identity determination.
  • FIG. 24 is a flowchart showing the processing content for recalculating the position of the same object.
  • FIG. 25 is a diagram showing a voting surface on which the relative speed of an object is recorded.
  • FIG. 26 is a flowchart showing the processing content for calculating the relative velocity of an object.
  • FIG. 27 is a schematic diagram for explaining a process of setting an epipolar line.
  • FIG. 28 is a flowchart showing processing contents for generating a VPP image.
  • FIG. 29 is a flowchart showing the processing contents for calculating a VPP image conversion equation.
  • FIG. 30 is a coordinate diagram showing the relationship between the normal vector, the camera coordinate system, and the optical axis of the reference camera.
  • FIG. 31 is a diagram for explaining a process of converting a camera coordinate system reference image so as to be parallel to a road plane.
  • FIG. 32 is a schematic diagram showing how the first converted image is rotationally converted.
  • FIG. 33 is a schematic diagram showing how a reference image is VPP converted.
  • FIG. 34 is a schematic diagram showing how a road plane area is VPP converted.
  • FIG. 35 is a flowchart showing the processing contents for calculating the vehicle speed.
  • FIG. 36 is a flowchart showing the processing content of VPP image matching.
  • FIG. 37 is a schematic block diagram showing processing details of VPP image matching.
  • FIG. 38 is a schematic block diagram showing the processing content for calculating the absolute velocity of an object.
  • FIG. 39 is a diagram showing a voting surface on which the absolute velocity of an object is recorded.
  • FIG. 1 shows a vehicle 10 according to an embodiment to which the object detection device of the present invention is applied.
  • a reference camera 12 and a reference camera 14 which are a pair of imaging means for capturing an image including a road plane area where the vehicle 10 travels are fixedly arranged on the left and right above the windshield of the vehicle 10.
  • the reference camera 12 and the reference camera 14 are stereo cameras including a CCD camera or the like in which a common imaging area is set. These may be a road plane area and an obstacle by processing the captured image.
  • An arithmetic processing unit 16 that detects an object is connected.
  • an image captured by the standard camera 12 is referred to as a standard image
  • an image captured by the reference camera 14 is referred to as a reference image.
  • FIG. 2 shows a functional configuration block of the arithmetic processing unit 16.
  • the arithmetic processing unit 16 includes an image processing unit 18 that processes a reference image captured by the reference power camera 12, an image processing unit 20 that processes a reference image captured by the reference camera 14, and a predetermined imaging time interval. And an image storage unit 22 that stores the captured standard image and reference image.
  • the arithmetic processing unit 16 includes an arithmetic control unit 24.
  • the arithmetic control unit 24 includes an image storage unit 22, a parameter storage unit 26, a projective transformation matrix calculation unit 28, a plane parameter calculation unit 30, and a plane area.
  • Extraction unit 32, object detection unit 34, object relative speed calculation unit 36, virtual projection plane image production A generation unit 38, a host vehicle speed calculation unit 40, an object absolute speed calculation unit 42, and a display processing unit 44 are connected.
  • the parameter storage unit 26 stores initial value parameters required for the calculation and the parameters calculated during the previous calculation or calculation.
  • the projective transformation matrix calculation unit 28 calculates a projective transformation matrix that performs two-dimensional projective transformation from the road plane area in the reference image to the road plane area in the reference image.
  • the plane parameter calculation unit 30 calculates the normal vector of the road plane and the distance from the optical center of the reference camera 12 to the road plane as plane parameters.
  • the plane area extraction unit 32 extracts a road plane area in which the vehicle 10 can travel using the base image and the reference image that has undergone projective transformation using the projective transformation matrix.
  • the object detection unit 34 detects an object existing in an area outside the road plane area.
  • the object relative speed calculation unit 36 calculates a relative speed vector of the extracted object with respect to the vehicle 10.
  • the virtual projection plane image generation unit 38 generates a virtual projection plane (VPP) image (VPP: Virtual Projection Plane) obtained by projecting the extracted road plane area onto a virtual plane parallel to the actual road plane.
  • VPP virtual projection plane
  • the own vehicle speed calculation unit 40 calculates the own vehicle speed vector of the vehicle 10 on the VPP image.
  • the object absolute speed calculation unit 42 calculates the absolute speed vector of each object from the relative speed vector of the object with respect to the vehicle 10 and the own vehicle speed vector of the vehicle 10.
  • the display processing unit 44 performs a process of displaying each calculation result described above on the display, and also notifies a warning or the like as necessary based on the calculation result.
  • the vehicle 10 and the arithmetic processing unit 16 to which the object detection device of the present invention is applied are basically configured as described above. Next, based on the flowchart shown in FIG. The overall flow of processing by the processing device 16 will be described.
  • the base camera 12 and the reference camera 14 are used to capture a base image and a reference image including a road plane area where the vehicle 10 travels at predetermined time intervals.
  • the image storage unit 22 stores it as image information for each time (step SO).
  • the projective transformation matrix calculation unit 28 uses the initial value parameter stored in the parameter storage unit 26 to convert the road plane area in the reference image into a road plane area in the reference image in a two-dimensional manner. Dynamically calculate a projective transformation matrix for projective transformation (step Sl). [0026]
  • the plane area extraction unit 32 extracts a road plane area from the reference image force using the projective transformation matrix calculated in step S1 (step S2).
  • the plane parameter calculation unit 30 calculates the normal vector of the road plane and the distance from the optical center of the reference camera 12 to the road plane as plane parameters (step S3).
  • the object detection unit 34 uses the plane parameter calculated in step S3 to perform step
  • the road plane area extracted in S2 is converted to a road surface to detect an object that may be an obstacle other than own vehicle 10, or the area other than the road plane area extracted in Step S2 is detected.
  • an object is detected by performing stereo measurement (step S4).
  • the object relative speed calculation unit 36 calculates a relative speed vector of each object with respect to the vehicle 10 from the position change of each extracted object for each time (step S5).
  • the virtual projection plane image generation unit 38 uses a normal vector that is the inclination of the road plane calculated in step S3, and a virtual projection plane (VPP) image that is an image of the road plane viewed from above. Is generated (step S6).
  • VPP virtual projection plane
  • the host vehicle speed calculation unit 40 calculates the host vehicle speed vector of the vehicle 10 from the position at each time of the VPP image generated in step S6 (step S7).
  • the object absolute speed calculation unit 42 uses the relative speed vector of the object calculated in step S5 and the own vehicle speed vector of the vehicle 10 calculated in step S7, to calculate the absolute speed vector of each object. Is calculated (step S8).
  • the display processing unit 44 displays on the display the road plane area extracted as described above, an object that may become an obstacle, the vehicle 10 and the absolute speed of the object, and the like, for example, Based on the relative positional relationship and speed relationship between the vehicle 10 and the object, warnings can be notified as necessary.
  • the homogeneous coordinates are expressed by adding the symbol ⁇ to the code in the text, and in the mathematical formula by adding the symbol “ ⁇ ” above the code.
  • the projection-transformed image is expressed by adding “” to the symbol in the text, and expressed by adding “ ⁇ ” to the symbol in the mathematical expression.
  • each homogeneous coordinate m is related by a two-dimensional projective transformation, as shown in (1-1).
  • ⁇ is a 3 ⁇ 3 projective transformation matrix.
  • ⁇ is the optical center of the reference camera 12
  • ⁇ ' is the optical center of the reference camera 14
  • R is a rotation matrix from the reference camera coordinate system to the reference camera coordinate system
  • t is the reference camera coordinate system.
  • d is the distance between the optical center O of the reference camera 12 and plane ⁇
  • n is the normal vector of plane ⁇ .
  • the reference image I is applied to the reference image I by performing an appropriate projective transformation on the reference image I.
  • An image that matches b can be obtained.
  • the image of an object that is not on a plane does not match when projected and transformed, so it can be determined that the area of the object is not a travelable area or can be an obstacle. Therefore, by calculating the spread of the plane, it is possible to detect a region where the vehicle can travel and an object that becomes an obstacle.
  • Image information related to the reference image I and the reference image I is acquired.
  • the image processing units 18 and 20 apply a LOG (Laplacian of Gaussian) filter to each image. Take the evening. In addition, since the image with the LOG filter is low in contrast, the histogram is flattened. Reference image I and these processed
  • the projection transformation matrix calculation unit 28 dynamically estimates the projection transformation matrix H for the road surface using the reference image I and the reference image I stored in the image storage unit 22.
  • I ( ⁇ ) and I ( ⁇ ) represent the luminance values of the reference image I and the reference b b r b b b b image I at the homogeneous coordinates ⁇ and ⁇ .
  • the above estimation requires a projection transformation matrix H as an initial value and an area (hereinafter referred to as “computation area” in the present invention) that are appropriately close to the true value and appropriate as an initial value. Therefore, using the time series information, the projective transformation matrix H and the calculation region R 1 are obtained by the procedure described below.
  • a projective transformation matrix H (t) between successive reference images I (t 1) and I (t) is expressed as b m
  • the projection domain H (t— 1) is the initial value, and the computation domain m obtained from the projection transformation matrix H (t)
  • R 1 (t) is used for estimation by iterative optimization based on equation (1 2).
  • the reference image I and the reference at time t are used by using the projective transformation matrix H and the calculation region R 1 as initial values sufficiently close to the true value.
  • projection transformation matrix H dynamic projection transformation matrix H
  • the density gradient method changes one of the two images by a small amount, and minimizes the evaluation function that represents the degree of image overlap (density difference), thereby changing the projection transformation matrix H so that the images overlap most. It is a method of estimating the quantity.
  • the reference image I ′ obtained by projective transformation using an appropriate projective transformation matrix H is expressed by the following equation (1-3): It is represented by Note that “ ⁇ ” on the reference image I represents the image after the projective transformation, and “ ⁇ ” on X represents the homogeneous coordinates of the coordinate x (x, y).
  • the projective transformation matrix ⁇ is a matrix having 8 degrees of freedom (1 parameter is fixed) having 3 ⁇ 3 parameters as elements.
  • I is a 3 X 3 unit matrix
  • D is a projective transformation matrix ⁇
  • the evaluation function E (H) indicating the overlapping state of r ′ and the reference image I is
  • D is a vector that represents the parameter of the minute change matrix D.
  • g luminance gradient
  • e luminance difference
  • the vector d can be obtained from equation (1-7) using the least square method.
  • Step S2 (first road plane area extracting means)>
  • a road plane area in which the vehicle 10 can travel is extracted using the projective transformation matrix H estimated in step S1. This extraction process will be described with reference to FIG.
  • the projection transformation matrix H estimated in step S1 is applied to the reference image I that has been subjected to the LOG filter processing and the histogram flattening processing in step SO, and a projection transformation image I 'force S is generated.
  • step SO the log filter processing and histogram flattening processing are performed. Quasi-image I '
  • the luminance value in the image (I'1I) is small.
  • the luminance value in the difference image (I ′ r b r 1 I) of a point not on the plane increases. Therefore, a predetermined threshold is set and the difference image (I b r
  • the road plane area ⁇ can be extracted by binarizing '1).
  • the normal vector n which is the plane parameter of the plane ⁇
  • the distance d from the optical center O of the reference camera 12 to the plane ⁇ are obtained using the projection transformation matrix H estimated in step SI. .
  • the optical center force of the reference camera 14 is also directed toward the optical center of the reference camera 12, using the translation vector t and the internal parameters A and A of the reference camera 12 and reference camera 14, the projective transformation matrix H is b r
  • Equation 9 It is expressed. Note that k is a coefficient that is not 0 and represents that the projective transformation matrix H obtained from the image has a constant multiple of degrees of freedom. If the internal parameters A and A are known, br
  • the projective transformation matrix H ' is subjected to singular value decomposition.
  • U and V be orthonormal matrices
  • ⁇ be a diagonal matrix whose elements are singular values ⁇ to ⁇ ( ⁇ ⁇ ⁇ ⁇ ⁇ > 0) of the projective transformation matrix H '.
  • the shadow transformation matrix H ' is
  • R ', Zd obtained by (3-11), (3-13), (3-15), or (3-18), as described above (3-6)
  • the rotation matrix R, t / d and normal vector n constituting the plane parameters are obtained.
  • the length I t I of the translation vector t (the distance between the reference camera 12 and the reference camera 14) can be obtained in advance from the design value or the actual measurement value, and is a plane parameter from the obtained t / d. The distance d can be obtained.
  • step S3 it is assumed that the rotation matrix R and translation vector t between the base camera 12 and the reference camera 14 fluctuate. If it is fixed, the plane parameter can be quickly calculated by the following method using the rotation matrix R and the translation vector t obtained in advance.
  • the rotation matrix R and the translation vector t are, for example, in an ideal environment in which the vehicle 10 is stopped like a maintenance shop after the base camera 12 and the reference camera 14 are fixed to the vehicle 10. It is possible to obtain with high accuracy. Then, when calculating the plane parameters from the plane projection transformation matrix H calculated at any time, such as during traveling, the plane projection transformation is used because the high-precision rotation matrix R and translation vector t obtained in an ideal environment are used. Even if the matrix H contains errors, it can be calculated without degrading the accuracy of the plane parameters.
  • the plane camera 12 is imaged by the base camera 12 and the reference camera 14, and, for example, the projective transformation matrix H is estimated by the process of step S1.
  • the unit vector t of the rotation matrix R and the translation vector t is obtained using the plane parameter calculation method described above. (3-6) and (3-13), (3-14) e
  • tZd is obtained using (3-6) and (3-15) or (3-18), and this tZd is normalized, and the unit vector t of the translation vector t is set to e
  • step S1 in order to be able to estimate the projective transformation matrix H with high accuracy by the processing of step S1, it is easy to evaluate the degree of overlap of images! A plane with a sufficiently wide area with a pattern like ⁇ ⁇ It is good to prepare. Also, it is preferable to obtain the rotation matrix R and the translation vector t by the above method by changing the direction of the plane ⁇ , average the results, and obtain the rotation matrix R and the translation vector t with higher accuracy.
  • a dynamic projective transformation matrix H is calculated at any time such as when the vehicle 10 is traveling (step Sl).
  • the normal vector n is a unit vector and
  • / d is a scalar
  • the normal vector n of the plane ⁇ can be obtained by normalizing the vector calculated by Equation (3 20). Togashi.
  • the projective transformation matrix H also calculates the parameter force that constitutes it, the coefficient k indicating the indefiniteness of a constant multiple can be set to 1.
  • the first term of the projective transformation matrix H is a constant because the translation vector t is known, and the second term is an nZd variable. Therefore, the projection transformation matrix H can be obtained by estimating the second term. So, let D be the minute change matrix of the projective transformation matrix H when nZd is changed by a small amount. [0118] [Equation 31]
  • n ⁇ nZd, n-d, and the minute change is ⁇ .
  • the small change amount ⁇ ⁇ is calculated using the least square method.
  • i can be determined.
  • the projective transformation matrix H can be estimated quickly and with high accuracy, and the normal extraordinary n and the distance d can be projected into the projective transformation matrix. It can be calculated immediately from H.
  • Step S4 is a process for detecting an object, and includes a subroutine process of steps S41 to S46 shown in FIG.
  • step S41 the three-dimensional area is stereo-measured by the base camera 12 and the reference camera 14, and the world coordinates Cw of each edge point of the object are obtained.
  • step S42 based on the height coordinate Yw of the world coordinate Cw (see FIG. 7), candidate object points are extracted based on the height from the plane.
  • candidate points Tmin ⁇ Yw Tmax
  • Tmin for example, 20 cm
  • Tmax for example, 2.5 m
  • candidate points may be extracted by limiting the Xw direction, which is the vehicle width direction, and the Zw direction, which is the front-rear direction, within a predetermined range. This is likely to cause vehicle 10 to pass! It is possible to prevent unnecessary voting from being performed on certain points and reduce the amount of calculation. Can.
  • the X direction should be 10 to: LOm
  • the z direction should be limited to the range of 0 to 40 m! /.
  • each candidate point of the object is projected in units of cells (cells) of a certain size provided on the vote surface 50 shown in FIG. 8 according to the Xw and Zw coordinates.
  • the voting plane 50 is represented as a coordinate plane of coordinates Xw and coordinates Zw (see FIG. 16), which are two orthogonal axes in the world coordinate system.
  • Xw and Zw coordinates in the world coordinate system.
  • the overlapping number is recorded.
  • the process of projecting candidate points while taking into account the overlapping number is called voting, and the overlapping number is called the number of votes.
  • the voting surface 50 shown in FIGS. 8 and 9 is a schematic diagram for explanation, and is not related to other FIG.
  • step S44 a clustering process is performed for grouping the candidate points voted on the voting plane 50 into groups adjacent to each other.
  • a group divided by clustering is called a cluster.
  • the nearest distance method Nearest Neighbor Method
  • the width (coordinate Xw) and the depth (coordinate Zw) are preferably used as the feature quantities used in the shortest distance method. According to such clustering processing, a model of a detection object is not necessary, and objects of various shapes can be detected.
  • step S44 By the clustering process in step S44, for example, as shown in FIG. 9, three clusters 52a, 52b, and 52c are obtained on the voting surface 50.
  • the expansion / contraction process may be performed on the cluster after performing the clustering process for the purpose of eliminating noise due to a correspondence search error (matching error) in stereo measurement. If there is a matching mistake when measuring an object in stereo, an error will occur in the measured 3D position, so the measured object shape will have irregularities (noise), and the cluster shape may differ due to this noise. .
  • the uneven portions are connected by expansion and returned to the original size by contraction, so that the influence of noise can be reduced.
  • each cluster 52a, 52b divided by the clustering process 52c is an object or noise, and a cluster due to noise is removed.
  • the total number of votes is obtained for each of the obtained clusters 52a, 52b, and 52c. That is, the total number of votes for cluster 52a is 38, the total number of votes for cluster 52b is 21, and the total number of votes for cluster 52c is 3. Also, the threshold T hz based on the value Zg of the coordinate Zw that is the depth of the center of gravity g on the area in each cluster 52a, 52b and 52c is compared with the total number of votes, and the total number of votes is less than the threshold Thz. Clusters are removed as noise.
  • the threshold value Thz is expressed by the following equation (4-1).
  • Thz gx (l / Zg) 2 '"(4-i)
  • Kg is a coefficient, and is, for example, the minimum total number of votes when an object is present lm ahead. Equation (41) is set based on the phenomenon when the area of the object projected in the image decreases in inverse proportion to the square of the distance.
  • step S45 for example, the cluster 52c having a small total number of votes is removed as noise. Also, objects with a small total number of votes, such as pedestrian bridges, tunnel entrances, and signboards, are removed as noise.
  • the voting surface from which noise is removed becomes as shown in FIG. 10 when it is shown as data that is closer to the actual in accordance with the example of FIG. 5, and this voting surface 50 is recorded in a predetermined storage unit.
  • the voting surface 50 includes a cluster 54a corresponding to a truck whose lane is changed relatively near ahead, a cluster 54b corresponding to a passenger car traveling ahead of the truck, and a guardrail. Cluster 54c corresponding to is extracted.
  • the voting surface 50 schematically shows the coordinates Xw, the coordinates Zw, and the vehicle 10 as the own vehicle for the designer's confirmation.
  • step S46 the remaining clusters 54a to 54c are recognized as objects, and the corresponding object position areas are cut out and stored in a predetermined storage unit.
  • step S4 (see Fig. 3) will be described in more detail below for each of the force steps constituted by steps S41 to S46.
  • Step S41 is a subroutine process of Step S411 to Step S417 shown in FIG. Consists of.
  • step S411 reference image feature point extraction means
  • the reference image I force is also detected by the edge and edge.
  • This Sobel filter process is a filter process for image contour extraction, which is a process of multiplying each neighboring pixel by a predetermined coefficient for each pixel, and summing the results, and in the vertical and horizontal directions. This process is performed using the two coefficient matrices.
  • edge image 60 is schematically shown for convenience of explanation, and actually, image data as shown in FIG. 13 is obtained.
  • step S412 an edge on the road plane such as a white line is not a detection target. Therefore, the plane area obtained by the road plane area extraction process (step S2) from the edge image 60 (step S2)
  • a binary exclusion process of f is performed to obtain a corrected edge image 62 shown in FIG.
  • a corrected edge image 62 shown in FIG.
  • step S413 the reference corresponding to each edge point remaining on the corrected edge image 62
  • the epipolar line EP is set as the search range on the image (see Fig. 15).
  • the epipolar line EP is a straight line including the corresponding point on the reference image 1 ⁇ of the edge point on the modified edge image 62.
  • the internal parameter of the reference camera 14, the internal parameter of the reference camera 12, the reference camera 14 and the reference camera 12 Is calculated based on the rotation matrix R and the translation vector t.
  • step S414 the reference plane region ⁇ on the reference image I is obtained by fr fr by multiplying the plane region ⁇ obtained in the road plane region extraction process (step S2) by the inverse matrix of the projective transformation matrix. Project on reference image I.
  • step S415 the epipolar line EP force on the reference image I is also processed to remove the reference plane region ⁇ , and the epipolar line EP is limited to the non-planar region fr.
  • step S416 the small region on the reference image I corresponding to the edge point is referred to.
  • Region-based matching processing is performed on the epipolar line EP of the reference image I.
  • This region-based matching process is a small matching queue centered on the edge point in the reference image I.
  • the point with the highest similarity is obtained as the corresponding point (window) of the edge point by the region-based matching process.
  • region-based matching processing is performed from the base image I to the reference image I, and the total is calculated.
  • the threshold used here may be determined by providing a first threshold for the maximum value of similarity and a second threshold based on the difference between the maximum value of similarity and the second maximum value of similarity.
  • a normal cross correlation function ZNCC
  • ZNCC normal cross correlation function
  • b r indicates a standard image and a reference image, respectively, and R indicates a window area.
  • ⁇ indicates the position of the pixel in the window.
  • U and V indicate the reference positions of the reference image and reference image windows, respectively.
  • step S416 The region-based matching process in step S416 is performed for the reference image I.
  • step S417 first object position calculation means, based on the point (window) on the reference image I and the point (window) on the reference image I for which region-based matching is established! /, Triangle
  • the camera coordinates Cc of the corresponding point are calculated by stereo measurement based on the survey principle.
  • step S4108 the camera coordinates Cc are converted into world coordinates Cw based on the vehicle 10 as the vehicle.
  • the camera coordinate system is represented as orthogonal coordinates Xc, Yc, Zc including the optical center of the reference camera 12 as the origin and the optical axis as the coordinate axis Zc.
  • the world coordinate system is expressed as the orthogonal coordinate system Xw, Yw, Zw with the coordinate axis Yw in the normal vector n direction and the coordinate axes Xw, Zw on the plane ⁇ .
  • Step S413 to Step S418 are executed for each edge point represented in the corrected edge image 62, and the corresponding world coordinate Cw is obtained.
  • each edge point on the corrected edge image 62 can be represented as a depth image 64 as shown in FIG. 17, for example, based on the coordinate axis Zw that is the depth.
  • this depth image 64 a point having a size corresponding to the value of the coordinate axis Zw (or the distance from the origin force in the world coordinate system) is shown.
  • Each point can be expressed as a gradation point whose color changes according to the value of the coordinate axis Zw.
  • the depth image 64 is used for checking the operation of the designer and may not be provided in practice. However, the coordinate coordinates Cw necessary to generate the depth image 64 are stored in a predetermined storage unit. Record it.
  • step S41 the world coordinates Cw can be obtained for each edge point of the object based on the base image I and the reference image I.
  • steps S413 to S416 are referred to as reference image corresponding portion searching means.
  • Step S5 is a process for calculating the relative velocity of the object, and includes the subroutine processes of steps S51 to S55 shown in FIG.
  • step S51 the reference image I force at successive times is also the overlap ratio of the object region Rat.
  • step S52 the center-of-gravity movement distance Lg of the object at successive times is calculated.
  • step S53 the same object is determined by threshold determination based on the overlapping rate Rate and the gravity center moving distance L g.
  • step S54 the position vector P is obtained by recalculation to obtain the position of the object with high accuracy.
  • step S55 based on the position vector P, the relative velocity vector V of the object
  • Step S5 (see Fig. 3) will be described in further detail below for each of the force steps constituted by steps S51 to S55.
  • the track 70 (see FIG. 5) in the reference image I is not matched.
  • Step S51 includes the subroutine processing of steps S511 to S517 shown in FIG.
  • step S511 the template 80a stored in step S517 at the previous time is called from a predetermined storage area.
  • the template 80a designates an image in the reference image I of the track 70 corresponding to the cluster 54a on the voting surface 50 (see FIG. 20).
  • the point PO is a point on the voting plane 50, and is scanned from the optical center O at a constant angle and hits the cluster 54a.
  • the world coordinate Cw can be calculated based on the point P0.
  • Point Pr has the same width and depth as point P0 and is on the road plane ⁇ .
  • Point Pr has a height of 0 because it is a point on the road plane ⁇ .
  • Point Px has the same width and depth as point P 0 and has a height of 1.5 m from the road plane ⁇ .
  • the camera coordinates Cc are converted using the points Pr and Px. After conversion to camera coordinates Cc, the coordinates can be converted to coordinates on the reference image I using a perspective projection matrix. In this way the class of the previous time
  • the template 80a corresponding to the data 54a is obtained and recorded.
  • the template 80b and the template 80c shown in FIG. 21 are recorded for the previous time cluster 54b corresponding to the passenger car 72 and the previous time cluster 54c corresponding to the guardrail 74.
  • each template 80a, 80b, and 80c may be set according to the obtained object height! /.
  • step S512 the reference image I acquired in step SO in the main routine at the current time is read.
  • processing such as LOG filter and histogram flatness is performed.
  • step S513 template matching means
  • each template 80a is used. Template matching based on texture on the reference image I acquired at the current time
  • template matching includes the ZNCC (4-2) equation described above and matching using SSD, SAD, etc.
  • step S514,! / And based on the data recorded in step S46, call the cluster 54a obtained at the current time.
  • step S515 object position area calculating means
  • the corresponding object position area 82a is obtained for each of the called clusters 54a.
  • This object position area 82a is obtained by the procedure described in step S511.
  • the object position area 82a is obtained based on the three-dimensional spatial position of each edge point in the depth image 64 as shown in FIG. 17 in addition to the method obtained based on the planar cluster 54a. Take the method.
  • step S516 overlap ratio calculating means
  • the overlap ratio Rate between the template 80a moved in step S513 and the object position area 82a obtained in step S515 is expressed by the following equation (5-1).
  • R is the area of the moved template 80a, and R is the corresponding object position area.
  • t-1 t This is a function that selects one of the smaller areas of t t and R.
  • the overlap rate Rate is equal to or greater than the predetermined threshold Tha (0 ⁇ Tha ⁇ 1)
  • the corresponding cluster on the voting plane 50 at the previous time and the cluster on the voting plane 50 at the current time are based on the same object. It is provisionally determined that it is a thing and is tracked. Tracking is a process that associates clusters obtained at different times. It becomes ability.
  • step S517 the object position region 82a obtained in step S515 is recorded in a predetermined storage unit as a new template 80a.
  • This new template 80a is called at step S511 in the next process as described above.
  • step S51 steps S511 to S517), template matching is performed based on the template 80a, and the object position area 82a is obtained from the cluster 54a of the voting surface 50.
  • the reliability of tracking processing is improved by calculating the overlapping rate Rate of these results.
  • the tracking association obtained in step S51 is finally confirmed in step S53.
  • Step S52 includes the subroutine processing of steps S521 to S524 shown in FIG.
  • step S521 ! /, And based on the data recorded in step S46, call the cluster 54a obtained at the current time.
  • step S522 object centroid position calculating means
  • step S524 object center-of-gravity movement amount calculation means
  • the center-of-gravity movement distance Lg between the center of gravity g and the center of gravity g of the cluster 54a is calculated.
  • step S52 steps S521 to S524.
  • the center-of-gravity movement distance Lg between the previous center of gravity g of the cluster 54a and the current center-of-gravity g is obtained.
  • step S52 It is possible to correlate clusters that are reasonable. Actually, the tracking association obtained in step S52 is finally confirmed in the next step S53.
  • Step S53 comprises the subroutine processing of steps S531 to S534 shown in FIG.
  • step S531 for each corresponding object, the overlap ratio Rate obtained in step S516 is compared with the threshold value Tha. If Rate ⁇ Tha, the process proceeds to step S532, and if Rate ⁇ Tha, Move on to step S534. [0201] In step S532, the center-of-gravity moving distance Lg obtained in step S524 is compared with the threshold Thb for each corresponding object. If Lg ⁇ Thb, the process proceeds to step S533, and if Lg> Thb. Move on to step S534.
  • This threshold value Thb is set to a fixed value as a reasonable distance that the object can move in the processing calculation period in consideration of the traveling speed of the host vehicle and the traveling speed of the oncoming vehicle.
  • step S533 the two associated objects are definitely recognized and recorded as the same object. Also, the center of gravity g is replaced as g and recorded in a predetermined storage unit.
  • step S534 the two associated objects are recognized as being different objects.
  • registration processing for recognizing an object that has not been associated as a new object that has entered the imaging range based on the context of the image is performed, or predetermined deletion processing is performed as an object that has fallen out of imaging range power. I do.
  • step S53 (steps S531 to S534), based on the overlapping rate Rate and the center-of-gravity movement distance L g for the two objects associated in the processing up to step S52. Thus, it can be confirmed more reliably whether or not the same object force is present.
  • steps S531 to S534 have been described as being performed on two objects associated with each other in advance, each of the previous time detection objects and the current time detection objects are brute force.
  • the association may be performed by performing the same.
  • the threshold Thb used in step S532 is described as a fixed value, o as a function that changes based on the distance Zg in the coordinate Zw direction from the vehicle 10 to the center of gravity g.
  • the threshold Th (Zg) may be used for threshold determination.
  • the threshold is expressed as Th (Zgl).
  • the threshold Th () as a function that changes based on the vehicle speed I V I
  • V I V V I may be used for threshold judgment.
  • Step S54 includes steps S541 to S544 shown in FIG. 24, and step S55 includes steps S551 to S553 shown in FIG.
  • step S541 attention point determination means
  • This attention point Pc is set in the area of the template 80a moved by the template matching in step S513. For example, if it is specified as a characteristic point such as the center point of the template 80a or the corner of the object, it will always be on the object. It is specified at substantially the same point.
  • step S542 the epipolar line EP corresponding to the attention point Pc is set on the reference image ⁇ . At this time, since the approximate distance to the track 70 can be calculated by using the cluster 54a, the epipolar line EP can be set as short as necessary based on this.
  • ⁇ represents a constant multiple of freedom.
  • a straight line that passes through the position (Xw, Zw) on the voting plane 50 and the position of the reference camera (twx, twz) obtained in this way is set, and the point of the cluster 54a is searched along the straight line.
  • step S543 as in step S416, the region-based matching process b r is performed on the epipolar line EP of the reference image I with respect to the point on the reference image I corresponding to the point of interest Pc.
  • step S544 (second object position calculating means), as in step S417, stereo b r is determined based on the point on the reference image I and the point on the reference image I that have been matched.
  • the camera coordinate Cc of the corresponding point is calculated by measurement. Further, in the same manner as in step S418, the obtained camera coordinates Cc are converted into world coordinates Cw. As shown in Fig. 25, the world coordinates Cw, which is the position of the obtained object, is two-dimensional on the voting plane 50. Represent as position vector P.
  • step S551 in FIG. 26 the position vector P detected at the previous time of the object.
  • This position vector P is stored in a predetermined memory in step S553 during the previous time processing.
  • step S552 object movement vector calculation means
  • the relative velocity vector (movement vector) V of the object is calculated by the following equation (5-3).
  • Vobst rel (Pt -Pt-l) At-(5-3)
  • At is the processing cycle, and the change in the position vector P per unit time.
  • step S553 the position vector P is changed to P P for the next processing.
  • the object position area 82a stored as the new template 80a is updated by performing the same processing as in steps S541 to S544.
  • Fig.25 A certain vector Vrl, Vr2 and Vr3 force
  • the vector is displayed as shown in Fig.25.
  • FIG. 25 it is judged from the vector Vrl that the truck 70 is turning to the left, and the vector Vr2 is slightly faster than the vehicle 10 because the passenger car 72 is directed forward. It is determined that it is progressing at speed. Further, it is determined from the vector Vr3 that the guard rail 74, which is a stationary object, is moving in the direction opposite to the traveling direction of the vehicle 10. .
  • the vehicle speed vector V in Fig. 25 is obtained in steps S6 and S7.
  • the observation point Ml is projected onto a point b m on the reference image I, and the point m is a straight line Le b b passing through the observation point Ml and the optical center O of the reference camera 12.
  • the observation point Ml By searching for a point on the straight line Le, the observation point Ml can be found, and the straight line Le projected on the reference image I becomes the epipolar line EP. That is, in order to associate the observation point Ml projected on the base image I with the reference image I, it is only necessary to search the epipolar line EP in the reference image I. Note that the points MO and M2 in FIG. 27 are other points projected on the same point m and on the straight line Le.
  • tl, t2, and t3 indicate elements of the translation vector t.
  • ⁇ AX'ba
  • nT AX'ra is substituted and rearranged bbrr
  • U ′ and V indicate the image coordinates of the reference image.
  • the epipolar line EP can be set short by limiting the length of the straight line Le.
  • the parameters u and u ′ used in the description of the epipolar line EP are different from the vectors u and u ′ described later.
  • step S6 the own vehicle speed vector V (see FIG. 25) of the own vehicle 10 is obtained.
  • this is a process for generating a VPP image in which the road plane ⁇ is virtually viewed from above, and comprises the subroutine processes of steps S61 to S63 shown in FIG. That is, in step S61, the reference image I is converted into a VPP image (hereinafter also referred to as VPP conversion).
  • VPP conversion a VPP image
  • the reference image I is converted into a VPP image I and recorded (see FIG. 33). More
  • step S63 the plane region ⁇ is subjected to VPP conversion using the same conversion formula H.
  • step S611 of Fig. 29 the inverse matrix b of the internal parameter A of the reference camera 12 b
  • step S612 the normal vector n and the distance d (see Fig. 16), which are the position and orientation parameters for the road plane ⁇ , are read.
  • step S613 using the normal vector n and the distance d, the rotation matrix R that matches the vector e (see Fig. 30), which is the optical axis of the reference camera 12, with the normal vector n is represented by (6- ⁇ n 2) Calculated based on Equations (6-5).
  • step S614 the projection distance, scale, and image center are specified, and the internal parameter A of the virtual camera when the road plane ⁇ is viewed from above is set.
  • Internal parameter A is temporary
  • This is a matrix for converting the image on the virtual camera coordinates to the image coordinates, and is expressed by the following equation (6-6).
  • VPP VPP X-VPP VPP VPP Y-VPP vpp where k and k are the scales of the VPP image I in the X and Y coordinate directions (pixel / ⁇ - ⁇ y-vpp V
  • C and C are the X and Y coordinates of the VPP image I center.
  • the distance d which is a road plane parameter, is specified as the projection distance.
  • step S615 in order to make the longitudinal direction of the vehicle coincide with the vertical axis of the VPP image, the image is
  • Rotation matrix R which is a transformation formula that rotates V and angle ⁇
  • V is calculated. That is, the unit vector e in the optical axis direction of the reference camera 12 based on FIG. 30 and (6-7).
  • the angle ⁇ is the angle formed with the vector e which is the camera optical axis with respect to the vehicle longitudinal direction.
  • R v Rotate (e0 z - ⁇ ) ⁇ ⁇ 6 ( ⁇ ⁇ ⁇ , ⁇ ⁇
  • step S616 a variable bn V VPP for VPP conversion based on A, R, R and A
  • the reference image I is sequentially converted by the matrices A—R, R, and A.
  • one conversion formula H can be used for conversion at a time.
  • VPP image I (see Fig. 33 b VPP V
  • VPP conversion is performed in step S62.
  • the obtained VPP image I is recorded in the storage unit.
  • This VPP image I is displayed as shown in Fig. 33 depending on the setting of internal parameter A.
  • the upper left corner of the image is the origin, the vehicle width direction is defined as the X direction (right direction in Fig. 33), and the vehicle longitudinal direction is defined as the Y direction (down direction in Fig. 33).
  • VPP image I looks at the road plane ⁇ from a high distance above.
  • the image looks like a sharp image, and the width of the road is projected to be almost constant. Also, the traffic on the reference image I The truck 70 and the passenger car 72 are projected so that the upper part of the image is enlarged.
  • step S63 VPP conversion is performed on the planar region ⁇ (see Fig. 5) by the conversion formula H f VPP, and the VPP planar image I (Fig. 34) which is the planar region ⁇ ⁇ viewed from above. f See Vf) and record.
  • This VPP plane image I is the road plane ⁇ ⁇ ⁇ ⁇ of VPP image I.
  • VPP plane image I is stored in the storage unit. This VPP
  • Plane image I has the same shape as the road plane.
  • Fig. 34 In the example shown in Fig. 34,
  • the rack 70 has a substantially V-shape that excludes non-horizontal structures such as roadsides and surfaces that are not at the same level as the road plane.
  • Step S7 is based on the VPP image I and the VPP plane image I obtained in step S6.
  • V Vf is a process for obtaining the vehicle speed vector V of the vehicle 10 (see FIG. 25).
  • VPP image I and VPP plane image I obtained by processing at the current time are referred to as VPP image.
  • VPP image I (t) and VPP plane image I (t), and those obtained at the previous time are VPP image I (t—1) and
  • V Vf V and VPP plane image I (t— 1). Also, in front of vehicle 10 in the world coordinate system
  • the parameter corresponding to the front-rear direction of the vehicle 10 is indicated with a suffix “Y” or “y” in the following description of step S7.
  • step S71 VPP image I (t 1) and VPP plane image I (t
  • the dynamics ⁇ , ⁇ , ⁇ 0 are the parameters recorded in step S77 during the previous time processing.
  • step S72 VPP image I (t) and VPP image I (t— 1) were matched.
  • PP image I (t) and VPP image I (t-l) are compared within the search range set in step S72. Move to the opposite and perform VPP image matching. Search range is image
  • step S73 The search range power around the center does not deviate. Detailed processing of VPP image matching in step S73 will be described later (see FIG. 36).
  • step S74 with reference to the VPP image matching result obtained in step S73, a location where the similarity between VPP image I (t) and VPP image I (t-1) is maximized (described later).
  • the shift amount between image I (t) and VPP image I (t—l) is the move amount move (AX, ⁇ , ⁇ ⁇ ).
  • step S75 based on the movement amount move (AX, ⁇ Y), the following (7-1) to (7 f f
  • the magnitude of the vehicle speed vector V of the vehicle 10 is obtained from equation (3).
  • Vx and Vz are the speed in the width direction and the vehicle front-rear direction of the vehicle 10
  • da vpp V and ⁇ are the coefficients and numerical values defined in the above equation (6-6).
  • the self-vehicle speed vector V is, as is well known, formed by two orthogonal speed components.
  • the magnitude and angle 0 of the vehicle speed vector V can be obtained from (7-3) and (7-4).
  • the own vehicle speed vector V is determined, and the own vehicle speed vector V is shown in FIG.
  • the angle ⁇ can also be used as the rotation angle of the vehicle 10.
  • the image matching movement amount ⁇ ⁇ is the center.
  • ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ and a range with a predetermined width of 0 0
  • step S76 the own vehicle speed vector V and the angle ⁇ are recorded. Also,
  • step S74 is the amount of image matching movement at the next processing ⁇ f f yaw-f 0
  • step S731 the VPP plane image I (t-1) is set at the current time!
  • the center of rotation is the position of the optical center in the VPP image (c,
  • step S732 (second road plane area extraction means), VPP plane image I (t) and
  • step S733 the VPP image I (t-l) is ⁇ 0 times set at that time.
  • V yaw and move in the direction of ⁇ X and ⁇ Y (see “S733” in Fig. 37).
  • step S734 based on the common region R (AX, ⁇ , ⁇ ;), the VPP image I (t) and the shifted VPP image I (t 1), the following (7-4) VPP image matching
  • Is the total number of pixels in the common region R (AX, ⁇ , ⁇ ⁇ ), and I (t- l) mo yaw V ve (AX, ⁇ ) is the VPP image I (t— 1) in step S 734 )
  • VPP image I (t) and VPP image I-1) are rotated by
  • NSSD (A x, ⁇ , ⁇ ⁇ ) is positive yaw yaw, so yaw regardless of the area of common region R (AX, ⁇ , ⁇ ⁇ )
  • step S7 since no corresponding point search is performed, robust processing is performed. Sexuality is high.
  • the VPP image parallel to the plane is generated based on the position and orientation parameters of the plane, it is highly resistant to vibration without being affected by changes in the vehicle attitude. Actually, even if the road plane is irregular, there are some patterns and features such as ground patterns, so the vehicle speed vector V can be obtained based on such parts.
  • VPP image match f yaw within the common region R (AX, ⁇ , ⁇ 0) based on the planar region ⁇
  • This second processing method is basically the same method as the concentration gradient method described in Step S1 and Non-Patent Document 1, and the moving rotation matrix M corresponding to the projection transformation matrix H is changed by a small amount. And converge so that the two images overlap most.
  • V r V t The luminance value at the coordinate x (x, y) of 1).
  • the moving rotation matrix M is a 3 ⁇ 3 matrix.
  • the initial value of the moving rotation matrix M the value calculated in the previous time step may be used.
  • Ivpp (tl) x) I vp P (ti) (* nx) ' ⁇ , (7 ' 5)
  • Equation 68 x "to (l + D x ) S (7-6) where I is a 3X3 unit matrix, and D is the parameter of the minute change of each parameter of the moving rotation matrix M. This is a 3 X 3 minute change matrix expressed by the following equation (7-7).
  • ⁇ is a minute rotation angle
  • dx and dy are minute movement amounts in the X direction and the y direction.
  • ⁇ , dx and dy are collectively expressed as one parameter ⁇ .
  • VPP image I (t) are evaluated by the following equation (7-8)
  • R is the road plane in the VPP plane image I (t 1), I (t) plane Vf Vf
  • This equation (7-8) is equivalent to the above equation (15), and reference image I and VPP image I (t), b V reference image I and VPP image I (t-1), Matrix Dx and Matrix D correspond to each other.
  • step S73 In the second processing method of step S73 as described above, ⁇ , ⁇ , ⁇ ⁇ obtained in the first processing method is used as the initial values and the second processing method is used, so that ⁇ ⁇ and ⁇ can be obtained.
  • Step S8 is processing for determining whether the detected object is a stationary object or a moving object, and includes the subroutine processing of steps S81 to S84 shown in FIG.
  • step S81 the vectors Vrl, Vr2, and Vr3, which are the relative velocities of the respective objects obtained in step S55, are read. These vectors are indicated by the arrows in FIG.
  • step S82 the own vehicle speed vector V of vehicle 10 obtained in step S7 is read.
  • the vehicle speed vector V of this vehicle 10 is shown with the origin in Fig. 25 as the base point.
  • V ' is the speed of the vehicle's motion included in the relative speed VN.
  • Figure 39 shows the absolute velocity vector V N obtained for each object. From Figure 39
  • the guard rail 74 that is a stationary object is V 30.
  • step S84 based on the absolute velocity V N, each detected object is a stationary object.
  • the object is a stationary object, and if I V N I> Th, it is judged as a moving object.
  • V 3 0 guard rail 74 is identified as a stationary object, and track 7
  • 0 and passenger car 72 are identified as moving objects.
  • the absolute velocity of the detected object can be obtained with high accuracy, and it can be accurately determined whether or not the object is a stationary object.
  • the information of the determination result can be used for, for example, a predetermined approach alerting means for the vehicle 10 and the object.
  • the vehicle speed vector V can be obtained accurately.
  • the distance to the plane is also detected. For example, even when a plane having a height relative to the road surface such as a sidewalk occupies most of the image, the height is set. The speed can be calculated in consideration.
  • the plane area ⁇ required in the present embodiment is substantially the water f
  • the base camera 12 and the reference camera 14 are provided. However, more cameras may be provided as necessary.

Abstract

　検出されたトラック７０の空間上での位置に基づいて物体位置領域８２ａを算出する。前時刻に記録された物体位置領域８２ａに相当するテンプレート８０ａを呼び出す。テンプレート８０ａを基準画像Ｉb上で類似度が最大となる位置に移動させる。物体位置領域８２ａと移動したテンプレート８０ａとの重なり割合（Ｒ(t-1)∩Ｒt）を算出する。重なり割合を用いて、過去に検出された物体と同一か否かを判断する。

Description

物体検出装置
技術分野
[0001] 本発明は、取得した画像に基づいて周辺の物体を検出する物体検出装置に関す る。
背景技術
[0002] 自動車等の移動体の誘導にお!、て、走行可能な道路平面領域を検出し、ある!、は 、走行環境に存在する障害物を検出する方法は、レーザレーダ、超音波、ミリ波レー ダ等を利用する方法と、画像を利用する方法とに大別することができる。
[0003] レーザレーダやミリ波レーダを用いる検出方法では、一般に装置が高価であり、ま た、十分な空間分解能が得られないという問題がある。また、超音波を用いる検出方 法では、遠くの計測が困難であって、空間分解能も低いという問題がある。
[0004] 一方、画像を用いる方法では、単眼による方法と、複眼を用いる方法とに分けること ができる。従来、画像を用いる方法の多くは単眼、すなわち、 1つの視点から得られる 画像を用いるもので、主に、高速道路等の整備された環境で用いることを想定し、路 面の白線 (例えば分離線や中央線)等を検出することにより、走行領域を検出してい る。しかしながら、白線等の存在が保証されず、また路面の色やパターンがさまざま であるような一般道や駐車場等では、単眼画像力も得られる濃度パターンのみから、 走行可能領域と障害物を安定に区別することは困難である。
[0005] これに対して、複眼、すなわち、ステレオ画像を利用する検出方法では、原理的に は環境の 3次元構造を利用できるため、より安定に走行環境を認識できる可能性が ある。特に、走行可能な領域は空間中でほぼ平面であるとみなせることから、画像間 の射影変換行列を算出し、この射影変換行列により一方の画像を 2次元射影変換し て他方の画像に重畳させ、画像同士の重なり具合から、平面領域か否か、あるいは、 障害物か否かを検出する方法が提案されている (特許文献 1、非特許文献 1参照)。
[0006] ところで、画像中の物体領域を推定するために、特許文献 2における障害物検出装 置では、画像中の濃度変化力も物体領域のエッジを求めているとともに、ォプティカ ルフロー検出手段により動きのある画像領域力 物体領域を推定している。そして特 徴抽出手段で検出した物体領域と、オプティカルフロー検出手段で検出した物体領 域に対し、画像における位置と大きさの整合性を照合し、同一の物体として検出して いる。
特許文献 1：特開 2000— 293693号公報（日本）
特許文献 2：特開 2001— 21345号公報（日本）
非特許文献 1 :ホイング—ヤング'シャム（Heung-Yeung Shum)、リチャード'セー リスキ（Richard Szeliski) , 「"パノラミック 'イメージ'モザイク"テク-カル 'レポート（" Panoramic Image Mosaics fechnical report)」、 1997年、ェム ·エス ·ァ ~~ ノレ一ティ^ ~·アーノレー 97— 23,マイクロソフト'リサーチ（MSR— TR— 97- 23, Micr osoft Researcn)
発明の開示
[0007] 物体検出装置を備えた車両が屋外を走行する場合、天候や時刻により明るさが変 化するため、陰等の影響により物体のエッジは必ずしも安定的に求められず、物体 領域を推定することは困難な場合がある。
[0008] また、複雑なシーンの画像には道路平面上の物体以外に背景物体が重なって映る ことが多いが、画像力 濃淡変化によりエッジを抽出すると、該背景物体も含めて物 体として推定されてしまう可能性がある。
[0009] さらに、カメラで撮影された画像は、 2次元情報であるため撮影対象の奥行き情報 が失われる。空間における物体の動きは、画像上では 2次元平面上の動きとして観 測されるので、空間上では離れた位置にある複数の物体力 画像上では接近したり 重なって見えることになる。そのため、画像上でオプティカルフロー等により複数の物 体の動きを観測すると、画像上での接近や重なりの影響により物体の動きを追跡でき ない場合がある。
[0010] 例えば、一般道を走行する車両から、車載カメラにより前方や後方等車両周辺を撮 影した映像には、移動物体や背景物体等が多く映る。このような環境下で各時刻に 撮影された画像では、空間におけるそれらの位置関係により、画像上で接近したり離 れたりすることが頻繁に発生する。 [0011] また、前記特許文献 2の障害物検出装置では、画像中で複数の物体が接近して見 える場合、複数の物体のエッジ集合を囲む範囲を、 1つの物体領域と推定する可能 性がある。この結果に基づいて物体領域に相当するテンプレートを作成して後の時 刻での画像上で相関演算を行うと、各物体が離れていくような場合には、相関が低く なるため正確な検出処理ができな 、場合がある。
[0012] 本発明の主たる目的は、画像上で複数の物体が接近し又は一部重複している場合 でも、各物体を個別且つ安定に識別することのできる物体検出装置を提供することに ある。
[0013] 本発明の他の目的は、物体重心位置に基づく移動量を考慮して、物体を一層確実 に追跡することにある。
[0014] さらに、本発明の目的は、計測点のばらつきを抑え、相対速度を高精度に算出する とともに、ステレオ計測の精度を向上させることにある。
[0015] 本発明に係る物体検出装置によれば、画像上の特徴の相関関係及び空間上の位 置関係を利用して物体の追跡を行うため、各時刻の画像上で、近くの物体と遠くの物 体が接近し又は一部重複して見える場合でも、近い物体同士、遠い物体同士を区別 して対応付けることができる。これにより、物体に対応した各時刻における物体位置 領域を正確に対応付けることができ、各物体を安定に識別できるようになる。また、空 間上の位置関係だけを利用する物体の追跡に比べ、画像上の相関関係を考慮する ことにより物体をより安定に追跡することができる。
[0016] さらに、物体重心位置に基づく移動量を考慮することにより、物体を一層確実に追 跡することができる。
[0017] 物体検出装置を搭載して物体の相対速度を正確に求めるとともに、移動体自身移 動速度と検出された物体の相対速度に基づいて該物体の絶対速度を精度よく求め ることができ、物体が静止物力否かを正確に判断することができる。
図面の簡単な説明
[0018] [図 1]本発明の物体検出装置が適用される車両の説明図である。
[図 2]図 1に示す車両に搭載される演算処理装置の機能構成ブロック図である。
[図 3]図 1に示す演算処理装置における処理の全体の流れを説明するフローチャート である。
圆 4]一対の撮像手段間での 2次元射影変換を説明するための模式図である。 圆 5]平面領域を抽出する手順の説明図である。
[図 6]物体抽出処理の処理内容を示すフローチャートである。
圆 7]候補点を高さの制限に基づいて抽出する様子を示す模式図である。
[図 8]投票処理の処理の様子を示す模式図である。
圆 9]投票面上で行うクラスタリング処理の様子を示す模式図である。
[図 10]投票面を示す図である。
[図 11]物体の各エッジ点のワールド座標を求める処理内容を示すフローチャートであ る。
[図 12]エッジが抽出されたエッジ画像を示す図である。
[図 13]エッジが抽出されたエッジ画像の実際の画像データである。
[図 14]平面領域が除去された修正エッジ画像を示す図である。
圆 15]ェピポーララインが設定された参照画像を示す図である。
[図 16]ワールド座標系とカメラ座標系との関係を示す模式図である。
[図 17]奥行き画像を示す図である。
[図 18]物体の相対速度を算出する処理内容を示すフローチャートである。
[図 19]物体領域の重なり具合を調べる処理内容を示すフローチャートである。
[図 20]クラスタに基づいてテンプレートを作成する処理内容を示す模式図である。 圆 21]テンプレートが設定された基準画像を示す図である。
圆 22]重心移動距離を算出する処理内容を示すフローチャートである。
[図 23]物体同一判定の処理内容を示すフローチャートである。
[図 24]同一物体の位置を再計算する処理内容を示すフローチャートである。
[図 25]物体の相対速度が記録された投票面を示す図である。
[図 26]物体の相対速度を算出する処理内容を示すフローチャートである。
圆 27]ェピポーララインを設定する処理を説明するための模式図である。
[図 28]VPP画像を生成するための処理内容を示すフローチャートである。
[図 29]VPP画像変換式を算出する処理内容を示すフローチャートである。 [図 30]法線ベクトル、カメラ座標系、及び基準カメラの光軸との関係を示す座標図で ある。
[図 31]カメラ座標系基準画像を道路平面に平行となるように変換する処理の説明の ための図である。
[図 32]第 1変換画像を回転変換する様子を示す模式図である。
[図 33]基準画像を VPP変換する様子を示す模式図である。
[図 34]道路平面領域を VPP変換する様子を示す模式図である。
[図 35]自車速度を算出する処理内容を示すフローチャートである。
[図 36]VPP画像マッチングの処理内容を示すフローチャートである。
[図 37]VPP画像マッチングの処理内容を示す模式ブロック図である。
[図 38]物体の絶対速度を算出するための処理内容を示す模式ブロック図である。
[図 39]物体の絶対速度が記録された投票面を示す図である。
発明を実施するための最良の形態
[0019] 図 1は、本発明の物体検出装置が適用される実施形態の車両 10を示す。車両 10 のウィンドシールド上部の左右には、車両 10が走行する道路平面領域を含む画像を 撮像する一対の撮像手段である基準カメラ 12及び参照カメラ 14が固定配置される。 基準カメラ 12及び参照カメラ 14は、共通の撮像領域が設定された CCDカメラ等から なるステレオカメラであり、これらには、撮像した画像を処理することで道路平面領域 と障害物となる可能性のある物体とを検出する演算処理装置 16が接続される。なお 、以下の説明では、基準カメラ 12によって撮像された画像を基準画像と称し、参照力 メラ 14によって撮像された画像を参照画像と称する。
[0020] 図 2は、演算処理装置 16の機能構成ブロックを示す。演算処理装置 16は、基準力 メラ 12によって撮像した基準画像を処理する画像処理部 18と、参照カメラ 14によつ て撮像した参照画像を処理する画像処理部 20と、所定の撮像時間間隔で撮像され た基準画像及び参照画像を記憶する画像記憶部 22とを備える。
[0021] また、演算処理装置 16は、演算制御部 24を備え、演算制御部 24には、画像記憶 部 22、パラメータ記憶部 26、射影変換行列算出部 28、平面パラメータ算出部 30、 平面領域抽出部 32、物体検出部 34、物体相対速度算出部 36、仮想投影面画像生 成部 38、自車速度算出部 40、物体絶対速度算出部 42及び表示処理部 44が接続 される。
[0022] パラメータ記憶部 26は、演算に必要な初期値パラメータ、前回の演算や演算中に 算出された各パラメータを記憶する。射影変換行列算出部 28は、参照画像中の道 路平面領域を基準画像中の道路平面領域に 2次元射影変換する射影変換行列を 算出する。平面パラメータ算出部 30は、道路平面の法線ベクトル及び基準カメラ 12 の光学中心から道路平面までの距離を平面パラメータとして算出する。平面領域抽 出部 32は、基準画像と射影変換行列によって射影変換した参照画像とを用いて、車 両 10が走行可能な道路平面領域を抽出する。物体検出部 34は、道路平面領域外 の領域に存在する物体を検出する。物体相対速度算出部 36は、抽出された物体の 車両 10に対する相対速度ベクトルを算出する。仮想投影面画像生成部 38は、抽出 された道路平面領域を実際の道路面に平行な仮想平面に投影した仮想投影面 (VP P)画像 (VPP : Virtual Projection Plane)を生成する。自車速度算出部 40は、 VPP画像上で車両 10の自車速度ベクトルを算出する。物体絶対速度算出部 42は、 車両 10に対する物体の相対速度ベクトルと車両 10の自車速度ベクトルとから、各物 体の絶対速度ベクトルを算出する。表示処理部 44は、上記の各演算結果をディスプ レイに表示する処理を行うとともに、演算結果に基づいて必要に応じた警告等の報 知を行う。
[0023] 本発明の物体検出装置が適用される車両 10及び演算処理装置 16は、基本的に は以上のように構成されるものであり、次に、図 3に示すフローチャートに基づき、演 算処理装置 16による処理の全体の流れを説明する。
[0024] 先ず、基準カメラ 12及び参照カメラ 14により、車両 10が走行する道路平面領域を 含む基準画像及び参照画像を所定の時間間隔で撮像し、画像処理部 18、 20にお V、て所定の画像処理を行った後、画像記憶部 22に各時間毎の画像情報として記憶 させる (ステップ SO)。
[0025] 次に、射影変換行列算出部 28において、パラメータ記憶部 26に記憶されている初 期値パラメータを用いて、参照画像中の道路平面領域を基準画像中の道路平面領 域に 2次元射影変換する射影変換行列を動的に算出する (ステップ Sl)。 [0026] 平面領域抽出部 32は、ステップ S1で算出した射影変換行列を用いて、基準画像 力も道路平面領域を抽出する (ステップ S2)。
[0027] 平面パラメータ算出部 30は、道路平面の法線ベクトル及び基準カメラ 12の光学中 心から道路平面までの距離を平面パラメータとして算出する (ステップ S3)。
[0028] 次に、物体検出部 34は、ステップ S3で算出した平面パラメータを用いて、ステップ
S2で抽出した道路平面領域を道路面上に変換して自分の車両 10以外の障害物と なる可能性のある物体を検出し、若しくは、ステップ S 2で抽出した道路平面領域以 外の領域に対してステレオ計測することにより物体を検出する (ステップ S4)。
[0029] 物体相対速度算出部 36は、抽出された各物体の時間毎の位置変化から、車両 10 に対する各物体の相対速度ベクトルを算出する (ステップ S 5)。
[0030] さらに、仮想投影面画像生成部 38は、ステップ S3で算出した道路平面の傾きであ る法線ベクトルを用いて、道路面を上方から見た画像である仮想投影面 (VPP)画像 を生成する (ステップ S6)。
[0031] そして、自車速度算出部 40は、ステップ S6で生成された VPP画像の各時刻での 位置から車両 10の自車速度ベクトルを算出する (ステップ S7)。
[0032] さらに、物体絶対速度算出部 42は、ステップ S5で算出した物体の相対速度べタト ルと、ステップ S7で算出した車両 10の自車速度ベクトルとを用いて、各物体の絶対 速度ベクトルを算出する (ステップ S8)。
[0033] なお、表示処理部 44は、以上のようにして抽出した道路平面領域、障害物となる可 能性のある物体、車両 10及び物体の絶対速度等をディスプレイに表示するとともに、 例えば、車両 10と物体との相対的な位置関係、速度関係に基づき、必要に応じて警 告等の報知を行うことができる。
[0034] 次に、本実施形態をステップ毎に詳細に説明する。
[0035] 先ず、本発明に用いられる道路平面領域の抽出及び 2次元射影変換の原理を説 明する。なお、以下の説明において、同次座標は、文章中では、符号に記号门を付 カロして表し、数式中では、符号の上に記号「〜」を付加して表すものとする。また、射 影変換された画像については、文章中では、符号に記号に 」を付加して表し、数式 中では、符号の上に記号「〜」を付加して表すものとする。 [0036] 図 4に示すように、空間中にある平面 (道路平面ともいう） Π上の観測点 Mlが基準 画像 I及び参照画像 Iに投影されるとき、基準画像 I上での同次座標を π 、参照画 b r b b
像 上での同次座標を m とすると、各同次座標 m"は、（1— 1)式に示すように 、 2次元射影変換によって関係付けられることはよく知られて 、る。
[0037] [数 1] mr~Hmb ' - -( ι-ι )
(両辺の間の「〜」は、定数倍の不定性を許して等しいものとする。 )
[0038] ここで、 Ηは 3 X 3の射影変換行列である。また、図 4において、 Οは基準カメラ 12の 光学中心、 Ο' は参照カメラ 14の光学中心、 Rは基準カメラ座標系から参照カメラ座 標系への回転行列、 tは、参照カメラ座標系において参照カメラ 14の光学中心から 基準カメラ 12の光学中心へ向かう並進ベクトル、 dは基準カメラ 12の光学中心 Oと平 面 Πとの距離、 nは平面 Πの法線ベクトルである。
[0039] 道路等の走行可能な領域は、空間中でほぼ平面であると見なすことができれば、 参照画像 Iに対して適切な射影変換を施すことにより、平面の部分に対して基準画 像 I
bに一致するような画像を得ることができる。一方、平面上にない物体は、射影変 換した際に画像が一致しないため、その物体の領域は走行可能な領域でない、ある いは、障害物となり得る領域であると判断することができる。したがって、平面の拡がり を算出することにより、走行可能な領域及び障害物となる物体の検出が可能となる。
[0040] くステップ SO >
基準画像 I及び参照画像 Iに係る画像情報を取得する。
b r
[0041] 基準カメラ 12及び参照カメラ 14を用いて画像を撮像し、各画像間の明るさの違い 等を除くため、画像処理部 18及び 20において、各画像に LOG (Laplacian of Ga ussian)フィル夕をかける。また、 LOGフィルタを掛けた画像は、コントラストが低いた め、さらに、ヒストグラム平坦化処理を施す。これらの処理が施された基準画像 I及び
b 参照画像 Iとその原画像は、画像記憶部 22に記憶される。
[0042] くステップ Sl > 射影変換行列算出部 28において、画像記憶部 22に記憶された基準画像 I及び参 b 照画像 Iを用いて、路面に対する射影変換行列 Hを動的に推定する。
[0043] すなわち、基準画像 I内のある領域 R1で、射影変換行列 Hを微少量変化させ、以 b
下の（1 2)式の評価関数 E (H)を最小化する射影変換行列 Hを、繰り返し最適化 によって推定する。
[0044] [数 2]
Figure imgf000011_0001
、丄 -2 J
[0045] なお、 I (π )、 I (ΗπΓ )は、同次座標 πΓ、 Ηπ における基準画像 I及び参照 b b r b b b b 画像 Iの輝度値を表す。
[0046] 上記の推定には、適当に真値に近 、初期値としての射影変換行列 Hと、領域 ( 本発明では、以後「計算領域」と呼ぶ。）とを必要とする。そこで、時系列情報を利用 し、以下に述べる手順により、射影変換行列 Hと計算領域 R1とを求める。
[0047] すなわち、同時刻における基準画像 I及び参照画像 I間の射影変換行列 Hと、連 b r S 続する時間で取得した 2つの基準画像 I間の射影変換行列 Hと、基準画像 Iに対す b m b る計算領域 R1とを求める。そして、ある時刻 tにおける射影変換行列 Η (Η , H
s m )の推 定の際には、前時刻（t 1)までの推定結果を利用する。
[0048] 先ず、連続する基準画像 I (t 1)、 I (t)間の射影変換行列 H (t)を (1 2)式に b m
基づく繰り返し最適化によって推定する。このとき、射影変換行列 H (t)の初期値と m
しては、前時刻に推定された射影変換行列 H (t— 1)を、また、計算領域 R1の初期 m
値としては、基準画像 I (t— 1)に対して前時刻で求められている計算領域 R' (t— 1) b
を用いることができる。
[0049] 次に、求められた射影変換行列 H (t)を用いて、前時刻の計算領域 R" (t— 1)を変 m
換することにより、現時刻における計算領域 R' (t)の予測値を求める。
[0050] 基準画像 I及び参照画像 I間の射影変換行列 H (t)は、前時刻にお ヽて推定され b r S
た射影変換行列 H (t— 1)を初期値とし、射影変換行列 H (t)から求めた計算領域 m
R1 (t)を用いて、（1 2)式に基づく繰り返し最適化によって推定する。 [0051] このように、時系列画像を用いた連続推定において、十分に真値に近い初期値とし ての射影変換行列 Hと計算領域 R1とを用いて、時刻 tにおける基準画像 I及び参照 b 画像 I間の動的な射影変換行列 H (以下、射影変換行列 Hという。）を安定して推定 r S
することができる。
[0052] 次に、（1 2)式を用いた繰り返し最適化 (濃度勾配法）による射影変換行列 Hの 推定方法について詳細に説明する。
[0053] 濃度勾配法は、 2つの画像の一方を微小量変化させ、画像の重なり具合 (濃度差） を表す評価関数を最小化することにより、画像が最も重なるような射影変換行列 Hの 変化量を推定する方法である。
[0054] 座標 x(x, y)における参照画像 Iの輝度値を I (x)とすると、適当な射影変換行列 H により射影変換された参照画像 I ' は、次の（1— 3)式で表される。なお、参照画像 I の上の「〜」は、射影変換された後の画像を表し、 Xの上の「〜」は、座標 x (x, y)の同 次座標を表す。
[0055] [数 3]
¾(x) =Ir(Hx) - - -( i-3 )
[0056] なお、射影変換行列 Ηは、 3 X 3のパラメータを要素とする自由度 8 (1パラメータを 固定)の行列とする。
[0057] 射影変換行列 Ηの 8つのパラメータを微小量変化させたとき、射影変換された参照 画像 I ' 上の座標 x(x, y)が座標 X" , γ" )に変化するものとすると、
[0058] [数 4] "〜(壓 + DX) · ' ·( ΐ-4 )
(両辺の間の「〜」は、定数倍の不定性を許して等しいものとする。）の関係が 得られる。なお、 Iは 3 X 3の単位行列、 Dは射影変換行列 Ηの各パラメータの微小
X
変化量をパラメータとする 3 X 3の微小変化行列とする。 [0059] (1-3), (1 4)式の関係を用いて（1 2)式の評価関数 E(H)を書き替えると、射 影変換された参照画像 I
r 'と基準画像 Iとの重なり状態を示す評価関数 E (H)は、射 b
影変換行列 Hの微小変化行列 Dのパラメータを変数として、
X
[0060] [数 5]
2
E(dx) = 2[ir(¾i")-ib(Xi) ■(1-5)
(「i」は、画素番号を表す。）
と表すことができる。なお、 dは、微小変化行列 Dのパラメータをベクトルで表したも
X X
のである。
[0061] (1 5)式をテーラ展開して一次近似すると、評価関数 E(d )は、
X
[0062] [数 6]
Figure imgf000013_0001
J dxi dx + ei •(1-6) 但し 3i =V^(xi) = )一 Ib ( )
Jdxi =J dxi(*i) =
ad.
(両辺の間の「 」は、（1— 5)式の一次近似の範囲で等しいものとする。）と なる。
(1 6)式の評価関数 E(d )を最小化するベクトル dは、評価関数 E(d )をベクトル
X X X
dで微分し、その微分値を 0とおいて、
[0064] [数 7] Adx = -b · ' ·( 1-7 ) 但し A = 2J
1 dxi 9i g! J' dxj 1 1 dxi Wl を解くことにより求めることができる。
[0065] この場合、 g (輝度勾配)、 e (輝度差分)は、基準画像 I及び射影変換された参照
i i b
画像 I ' 力も算出され、ヤコビアン J は、座標 x (x, y)力も算出できる。したがって、 r dXi
ベクトル dは、最小二乗法を用いて（1— 7)式から求めることができる。
X
[0066] 以上のようにして求めたベクトル d、すなわち、微小変化行列 Dを用いて、射影変
X X
換行列 Hを次の（1— 8)式にしたがって更新する。なお、 Iは、 3 X 3の単位行列とする [0067] [数 8]
H— H (麗 + DX) 〜（ι-8 )
[0068] そして、（1 8)式で求めた射影変換行列 Hを用いて、再び（1 6)式の評価関数 E (d )の値を算出する処理を繰り返し、評価関数 E (d )の値が所定の値以下に収束
X X
したときの射影変換行列 Hを所望の射影変換行列 Hとする。
[0069] <ステップ S2 (第一の道路平面領域抽出手段） >
平面領域抽出部 32において、ステップ S1で推定した射影変換行列 Hを用いて、車 両 10が走行可能な道路平面領域を抽出する。この抽出処理について、図 5を参照し て説明する。
[0070] ステップ SOで LOGフィルタ処理及びヒストグラム平坦ィヒ処理が施された参照画像 I に対して、ステップ S1で推定した射影変換行列 Hが作用され、射影変換画像 I ' 力 S 生成される。
[0071] 次いで、ステップ SOで LOGフィルタ処理及びヒストグラム平坦ィヒ処理が施された基 準画像 I '
bと、生成された射影変換画像 I
r との差分画像 (Ι ' 一 I )
r bを求める。
[0072] この場合、平面上に存在する点は、基準画像 Iに正確に投影されるため、差分画 b
像 (I ' 一 I )における輝度値は小さくなる。一方、平面上にない点の差分画像 (I ' r b r 一 I )における輝度値は大きくなる。したがって、所定の閾値を設定して差分画像 (I b r
' 一 I )を 2値ィ匕することにより、道路平面領域 Πを抽出することができる。
b f
[0073] <ステップ S3 >
平面パラメータ算出部 30において、ステップ SIで推定した射影変換行列 Hを用い て、平面 Πの平面パラメータである法線べクトル n及び基準カメラ 12の光学中心 Oか ら平面 Πまでの距離 dを求める。
[0074] 図 4に示す関係において、基準カメラ座標系から参照カメラ座標系への回転行列 R
、参照カメラ 14の光学中心力も基準カメラ 12の光学中心へ向力 並進ベクトル t、基 準カメラ 12及び参照カメラ 14の内部パラメータ A 、 Aを用いて、射影変換行列 Hは、 b r
[0075] [数 9]
Figure imgf000015_0001
と表される。なお、 kは、 0でない係数であって、画像から得られた射影変換行列 Hに 定数倍の自由度が存在することを表す。内部パラメータ A 、 Aが既知であるとすると b r
、次の（3— 2)式が成立する。
[0076] [数 10]
Figure imgf000015_0002
[0077] そこで、射影変換行列 H' を特異値分解する。 U、 Vを正規直交行列、∑を射影変 換行列 H' の特異値 σ 〜 σ ( σ ≥ σ ≥ σ >0)を要素とする対角行列として、射
1 3 1 2 3
影変換行列 H' は、
[0078] [数 11] H' = U∑ V1 '"(3-3)
と書き替えることができる。なお、
[数 12]
Figure imgf000016_0001
である。
(3-2), (3— 3)式から、
[0080] [数 13]
Figure imgf000016_0002
となる。
ここで、
[0081] [数 14] ut|W
Figure imgf000016_0003
(36)
とすると、次の（3— 7)式が得られる。
[0082] [数 15]
Figure imgf000016_0004
[0083] 基準カメラ座標系の基底ベクトル (e , e , e )を導入し、
1 2 3
[0084] [数 16]
η = ηχ ei + η2 β2 + n3 '·'( 3-8 )
とすると、（3— 7)式力 得られる 3つのベクトル方程式と、η、η' が単位ベクトル、 V が正規直交ベクトル、 力 ルム変化のない回転行列であることから、次の（3— 9) 式が得られる。
[0085] [数 17]
( 2 + (k2 -of)n'f
Figure imgf000017_0001
=0 (i≠ j) ."(3-9)
[0086] (3— 9)式を11' η' η' 2の連立方程式と考えれば、 0でない解を持つには、
1 2 3
行列式が 0であるから、
[0087] [数 18]
(k2 -o^Xk2 -a^)(k2 -σ^) = 0 '·'(3·ιο) となる。
[0088] そこで、射影変換行列 Η' の特異値 σ 〜σ 力
1 3
(I) 重解を持たない場合（σ ≠ σ ≠ σ )
1 2 3
(II) 重解を持つ場合（σ = σ ≠ σ 又は σ ≠ σ = σ )
1 2 3 1 2 3
(III) 3重解を持つ場合（σ = σ = σ )
1 2 3
に場合分けして考える。（I)及び (II)の場合は、 k=± a若しくは k=± a とすると、（
1 3
3— 9)式力 算出される が単位ベクトルであることに矛盾する。したがって、いず れの場合でも k=± σ として求められることになる。また、 k=— σ の場合は 2台の力
2 2
メラ（基準カメラ 12及び参照カメラ 14)が平面を挟むような配置となるため除外され、 k は σ として求められることになる。なお、（III)の 3重解の場合は、 2台の基準カメラ 12
2
及び参照カメラ 14の光学中心が一致し、回転のみの場合であるため、除外する。
[0089] (I)及び (II)の場合、（3— 9)式より、 は、
[0090] [数 19]
Figure imgf000018_0001
として求まる。
[0091] σ ≠ σ ≠ σ のとき、 η ' =0であるから、
1 2 3 2
[0092] [数 20]
R'e2 = e2 '·'(3-ΐ2) を得る。すなわち、 R' は、 eの回りの回転行列である。したがって、次の（3
2
3— 14)、（3— 15)式を得る。
[0093] [数 21]
Figure imgf000018_0002
[0094] [数 22]
Figure imgf000019_0001
[0095] [数 23]
Figure imgf000019_0002
[0096] (Π)の場合、 σ = σ (又は、 σ = σ )として、（3— 13)式から、
1 2 2 3
[0097] [数 24]
= η2 = 0, = ±1 (ni = ±丄,11つ = n3 = 01
•••13-16)
となり、
[0098] [数 25]
|¾'=隱 '·'（3-17)
[0099] [数 26]
Figure imgf000019_0003
となる。
[0100] ここで、（3— 11)式における ε 、 ε の符号の違いにより、 4つの解の候補が存在す る。この 4つの候補のうち、「平面上の点が画像に映る」条件を満たす を選択する ことで 2つの候補に絞り込む。さらに、基準カメラ 12及び参照カメラ 14の位置関係が 撮影中に変化しない条件を加え、解を一意に決定する。
[0101] 以上のようにして、（3— 11)、 （3— 13)、 （3— 15)式、又は、（3— 18)式で求めた R ' 、 Zd、 を（3— 6)式に代入することにより、回転行列 Rと、平面パラメータを 構成する t/d及び法線ベクトル nとが求められる。なお、並進ベクトル tの長さ I t I ( 基準カメラ 12及び参照カメラ 14間の距離）は、設計値や実測値から予め求めること ができるため、得られた t/dから、平面パラメータである距離 dを求めることができる。
[0102] ところで、上述した平面パラメータの算出方法 (ステップ S3)では、基準カメラ 12及 び参照カメラ 14間の回転行列 R及び並進ベクトル tが変動することを前提としている 1S これらが車両 10に対して固定されているとすれば、予め求めた回転行列 R及び 並進ベクトル tを用いて、以下に示す方法により、平面パラメータを迅速に算出するこ とがでさる。
[0103] この場合、回転行列 R及び並進ベクトル tは、例えば、基準カメラ 12及び参照カメラ 14を車両 10に固定した後、整備場のように、車両 10を停止させた理想的な環境下 で高精度に求めておくことが可能である。そして、走行中等の任意の時刻に算出した 平面の射影変換行列 Hから平面パラメータを求める際、理想的な環境下で求めた高 精度な回転行列 R及び並進ベクトル tを用いるため、平面の射影変換行列 Hが誤差 を含む場合であっても、平面パラメータの精度を悪化させることなく算出することがで きる。
[0104] そこで、先ず、車両 10を停止させた状態において、基準カメラ 12及び参照カメラ 14 によって平面 Πを撮像し、例えば、ステップ S1の処理によって射影変換行列 Hを推 定する。次いで、上述した平面パラメータの算出手法を用いて回転行列 R及び並進 ベクトル tの単位ベクトル tを求める。すなわち、（3— 6)式及び（3— 13)、 (3- 14) e
式を用いて回転行列 Rを求める。また、（3— 6)式及び（3— 15)式、又は、（3— 18) 式を用いて tZdを求め、この tZdを正規化し、並進ベクトル tの単位ベクトル tを、 e
[0105] [数 27]
Figure imgf000021_0001
として求める。並進ベクトル tの長さ I t I (基準カメラ 12及び参照カメラ 14間の距離） は、設計値や実測値から予め求めることができるため、（3— 19)式の単位ベクトル t
e に I t Iを掛けることで、並進ベクトル tが求められる。
[0106] ここで、ステップ S1の処理で射影変換行列 Hを高精度に推定できるようにするため 、画像の重なり具合を評価し易!ヽような模様を付けた十分広 ヽ面積を持つ平面 Πを 用意するとよい。また、平面 Πの向きを変えて上記方法により回転行列 R及び並進べ タトル tを求め、その結果を平均化して回転行列 R及び並進ベクトル tを一層高精度に 求めるとよい。
[0107] このようにして算出された回転行列 R及び並進ベクトル tは、ノ メータ記憶部 26に 記憶される。並進ベクトル tは、単位ベクトル tとベクトルの大きさ I t Iとに分けて記
e
憶させてもよい。回転行列 R及び並進ベクトル tは、前記のようにして算出する代わり に、その他のキャリブレーション方法を利用して算出し、あるいは、基準カメラ 12及び 参照カメラ 14の位置関係を直接計測して求めることもできる。
[0108] 次いで、車両 10の走行中等の任意の時刻において、動的な射影変換行列 Hを算 出する (ステップ Sl)。
[0109] (3— 2)式を変形して、
[0110] [数 28]
Figure imgf000021_0002
の関係が得られる。法線ベクトル nは単位ベクトル、 | t | /dはスカラであるので、（3 20)式で算出したベクトルを正規ィ匕することで、平面 Πの法線ベクトル nを求めるこ とがでさる。
[oiii] また、並進ベクトル tの長さ 1 1 1 は、設計値や実測値力も分力つているため、基準 カメラ 12の光学中心から平面 Πまでの距離 dは、次の（3— 21)式力も算出することが できる。
[0112] [数 29]
Figure imgf000022_0001
[0113] このように、予め求めた回転行列 R及び並進ベクトル tを用いることにより、任意の方 法で推定した射影変換行列 Hから、法線ベクトル n及び距離 dを迅速に算出すること ができる。
[0114] さらに、基準カメラ 12及び参照カメラ 14間の回転行列 R及び並進ベクトル tが予め 求められている場合、射影変換行列 H及び平面パラメータ (法線ベクトル n、距離 d) を、これらの既知のパラメータを用いて迅速且つ高精度に求めることができる。
[0115] すなわち、（3— 1)式を書き替えると、射影変換行列 Hは、
[0116] [数 30]
H = ArRAb1 + Art— Ab1 •C i'-D
と展開することができる。なお、射影変換行列 Hは、構成するパラメータ力も算出され るため、定数倍の不定性を示す係数 kを 1とすることができる。この場合、射影変換行 列 Hの第 1項は、並進ベクトル tが既知であるため定数であり、第 2項は nZdの変数と なる。したがって、第 2項を推定することで、射影変換行列 Hを求めることができる。 そこで、 nZdを微少量変化させたときの射影変換行列 Hの微小変化行列を Dとす ると、 [0118] [数 31]
D = ΑΓίδη" A;1 •(r-2) 但し δη" = δ
である。なお、 n〃 =nZdとし n-d、その微小変化量を δ η〃 とする。
[0119] 微小変化行列 Dを nZdの微小変化量 δ η〃 に書き替え、（1 5)式に対応する評 価関数 Ε(δη〃）をテーラ展開して一次近似すると、
[0120] [数 32]
Figure imgf000023_0001
但し ¾ δ""， Jan" =Jan"(dxi) = ?¾
(両辺の間の「 」は、（1— 5)式の一次近似の範囲で等しいものとする。）と なる。
[0121] (1' 3)式の評価関数 Είδη" )を最小化する微小変化量 δ η〃 は、評価関数 Ε
( δ η〃）を微小変化量 δ Wで微分し、その微分値を 0とする微小変化量 δ η〃 とし て求めることができる。この場合、 g (輝度勾配)、 e (輝度差分）は、基準画像 I及び参 i i b 照画像 I力も算出され、ヤコビアン J は、座標 x(x, y)力も算出され、ヤコビアン J δ r dXi n
" は、基準カメラ 12及び参照カメラ 14の内部パラメータ A、 A、並進ベクトル tカも算 b r
出できる。したがって、微小変化量 δ η〃 は、最小二乗法を用いて、
[0122] [数 33] Aan" =— b .··( ι'·4) 但し A = Jan"Jdxi 9i 9itjdxiJan"
i b = 2jei Jan" Jjjxi 9i
i 力 求めることができる。
[0123] 以上のようにして求めた微小変化量 δη"から、（1' 一 2)式を用いて射影変換行 列 Ηの微小変化行列 Dを求め、射影変換行列 Ηを次の（1' 5)式にしたがって更 新する。
[0124] [数 34]
H H + D '..(ι'-5)
[0125] また、微小変化量 δ η"を前回の演算で求めた (=n/d)に加算し、次の（1'
6)式にしたがって更新する。
[0126] [数 35]
n"— n'' + δη … ，
[0127] そして、（1' 5)式で求めた射影変換行列 Hと、（1' —6)で求めた n〃 とを用い て、再び（1' 3)式の評価関数 Είδη" )の値を算出する処理を繰り返し、評価関 数 Ε( δ η" )の値が所定の値以下に収束したときの射影変換行列 Ηを所望の射影変 換行列 Ηとする。
[0128] さらに、射影変換行列 Ηが収束した際の から、平面パラメータである法線べタト ル η及び距離 dは、 [0129] [数 36]
n
n •( l'-7 )
n
[0130] [数 37]
Figure imgf000025_0001
として求めることができる。
[0131] このように、予め求めた回転行列 R及び並進ベクトル tを用いることにより、射影変換 行列 Hを迅速且つ高精度に推定できるとともに、法線べ外ル n及び距離 dを射影変 換行列 Hから直ちに算出することができる。
[0132] <ステップ S4>
ステップ S4は物体を検出する処理であり、図 6に示すステップ S41〜ステップ S46 のサブルーチン処理からなる。
[0133] ステップ S41において、基準カメラ 12及び参照カメラ 14によって、立体領域をステ レオ計測し、物体の各エッジ点のワールド座標 Cwを求める。
[0134] ステップ S42において、ワールド座標 Cwの高さ方向の座標 Yw (図 7参照）に基づ き、平面からの高さにより物体の候補点を抽出する。具体的には、図 7に示すように、 平面からの高さが Tmin (例えば、 20cm)以上であって Tmax (例えば、 2. 5m)未満 の空間に存在する候補点 (Tmin≤Ywく Tmax)を抽出する。これにより、道路上に 設けられた歩道橋、トンネルの入口部、看板等の少なくとも一部が除外され、他の車 両ゃガードレール等の車両 10の走行に関わり合いのあり得る部分のみが抽出され やすくなる。これにより、図 7の候補点 Paは抽出され、候補点 Pbは除外される。
[0135] また、車幅方向である Xw方向及び前後方向である Zw方向についても、所定範囲 内に制限して候補点の抽出を行うようにしてもよい。これにより、車両 10が通過する 可能性のな！ヽ箇所に対して無駄な投票処理を行うことが防止され、計算量を低減す ることができる。この場合、例えば、図 8に示すように X方向については一 10〜： LOm、 z方向につ!ヽては 0〜40mの範囲に制限するとよ!/、。
[0136] ステップ S43において、物体の各候補点をその Xw、 Zw座標に応じて図 8に示す投 票面 50上に設けた一定サイズの桝目（セル)単位に投射する。投票面 50は、ワール ド座標系の直交する 2軸である座標 Xwと座標 Zw (図 16参照）の座標面として表され る。このとき、同物体のセルに対して複数の候補点が重複して投射される場合には、 その重複数を記録する。このように重複数を考慮しながら候補点を投射する処理を 投票と呼び、重複数を投票数と呼ぶ。投票の処理では、前記ステップ S42において Tmin未満の点及び Tmax以上の点が予め除外されているため、歩道橋、トンネルの 入口部、看板等に対応する点の投票数は 0又は十分に小さい値となる。なお、図 8及 び図 9に示す投票面 50は、説明上の模式的なものであって、他の図 5等とは関連付 けられていない。
[0137] ステップ S44において、投票面 50上に投票された候補点を隣接する群毎にグルー プ分けするクラスタリング処理を行う。クラスタリング処理によって分けられた群をクラ スタと呼ぶ。クラスタリング処理としては、最短距離法（Nearest Neighbor Metho d)を挙げることができ、最短距離法で用いる特徴量としては幅 (座標 Xw)及び奥行き (座標 Zw)を用いるとよい。このようなクラスタリング処理によれば、検出物体のモデル が不要であって、種々の形状の物体を検出することができる。
[0138] このステップ S44のクラスタリング処理によって、例えば、図 9に示すように、投票面 50上で 3つのクラスタ 52a、 52b及び 52c力得られる。
[0139] なお、ステレオ計測における対応探索のミス (マッチングミス）によるノイズを除去す ることを目的として、クラスタリング処理を行った後にクラスタに対して膨張収縮処理を 行うようにしてもよい。物体をステレオ計測する際にマッチングミスがあると、計測され る 3次元位置には誤差が生じるため、計測された物体形状には凹凸（ノイズ)が生じ、 このノイズによりクラスタ形状が異なることがある。膨張収縮処理では、膨張により凹凸 部をつなげ、収縮により元の大きさに戻すため、ノイズの影響を抑えた形状にすること ができる。
[0140] ステップ S45において、クラスタリング処理によって分けられた各クラスタ 52a、 52b 、 52cが物体であるか又はノイズであるかを判断し、ノイズによるクラスタを除去する。
[0141] 具体的には、先ず、得られた各クラスタ 52a、 52b及び 52cに対してそれぞれ合計 投票数を求める。つまり、クラスタ 52aの合計投票数は 38であり、クラスタ 52bの合計 投票数は 21であり、クラスタ 52cの合計投票数は 3である。また、各クラスタ 52a、 52b 及び 52cにおける面積上の重心 gの奥行きである座標 Zwの値 Zgを基準とした閾値 T hzと各合計投票数とを比較し、合計投票数が閾値 Thz以下であるクラスタはノイズで あるとして除去する。閾値 Thzは以下の（4—1)式で表される。
[0142] [数 38]
Thz = gx(l/Zg)2 ' "( 4-i )
[0143] ここで、 Kgは係数であって、例えば、 lm先に物体が存在するとした場合の最小の 合計投票数である。 （4 1)式は、画像中に映し出される物体の面積が距離の二乗 に反比例して小さくなると 、う現象に基づ 、て設定されて 、る。
[0144] このような、ステップ S45の処理によって、例えば、合計投票数の少ないクラスタ 52 cはノイズとして除去される。また、歩道橋、トンネルの入口部、看板等の合計投票数 力 S小さ 、物体もノイズとして除去される。
[0145] ノイズが除去された投票面は、図 5の例に則してより実際に近いデータとして示すと 、図 10に示すようになり、この投票面 50が所定の記憶部に記録される。図 10から明 らかなように、この投票面 50には、比較的近い前方で車線変更を行っているトラック に対応したクラスタ 54aと、該トラックより前方を走る乗用車に対応したクラスタ 54bと、 ガードレールに対応したクラスタ 54cが抽出されている。また、投票面 50には、設計 者の確認用に座標 Xw、座標 Zw及び自車である車両 10が模式的に示されて ヽる。
[0146] ステップ S46において、残ったクラスタ 54a〜54cを物体として認識し、対応する物 体位置領域を切り出して、所定の記憶部に記憶する。
[0147] ステップ S4 (図 3参照）の物体抽出処理はこのようなステップ S41〜S46により構成 されている力 各ステップについて以下さらに詳細に説明する。
[0148] ステップ S41は、図 11に示すステップ S411〜ステップ S417のサブルーチン処理 からなる。
[0149] ステップ S411 (基準画像特徴点抽出手段）にお 、て、基準画像 I力もエッジ及び
b
特徴点を抽出するソーベルフィルタ処理を行う。このソーベルフィルタ処理とは、画像 輪郭抽出のためのフィルタ処理であって、画素毎にその近傍の画素に所定の係数を それぞれ乗算し、結果を合計する処理であって、垂直方向、水平方向の二つの係数 行列を用いてこの処理を行う。
[0150] すなわち、自動車のように、表面が鏡面反射している物体は、見る角度によって反 射光が変化するため、同じ点を左右の画像で観測しても輝度が異なってしまう。その ため、左右の画像間での領域ベースマッチングがうまく行かず、ステレオ距離計測が 不正確となることがある。そこで、テクスチャレスな部分や鏡面反射している部分はス テレオマッチングをせずに、エッジ部分のみステレオマッチングを行い、距離の計測 をする。そのため、先ず入力画像にソーベルフィルタ処理を行い、エッジや特徴点を 抽出し、この後ニ値ィ匕し、図 12に示すエッジ画像 60を作成する。図 12から明らかな ように、この時点のエッジ画像 60には、路面の白線等の物体検出の処理には無関係 な部分も抽出されている。
[0151] なお、図 12では、説明の便宜上エッジ画像 60を模式的に示しており、実際には、 図 13で示すような画像データが得られる。
[0152] ステップ S412において、白線等の道路平面にあるエッジは検出対象ではないため 、エッジ画像 60から道路平面領域抽出処理 (ステップ S 2)で得られた平面領域 Π (
f 図 5参照）の部分を除去する処理を行う。具体的には、エッジ画像 60と平面領域 Πと
f の二値的な排他処理を行い図 14に示す修正エッジ画像 62を得る。この際、エッジ画 像 60における上部の所定幅の領域や下部のボンネットの領域等は検出対象がない ことが明らかであって、し力もこれらの領域はエッジ画像 60上の場所が固定されてい ることから、これらの部分に対しても所定の領域指定手段により除去する。
[0153] なお、エッジ画像 60から平面部分が完全に取り除けなくとも、後述するように車両 1 0の通過する空間に限定した処理を行うので、検出対象として誤検出されることはな い。
[0154] ステップ S413において、修正エッジ画像 62上に残った各エッジ点に対応する参照 画像 上の探索範囲としてのェピポーラライン EPを設定する（図 15参照)。ェピポー ラライン EPは、修正エッジ画像 62上におけるエッジ点の参照画像 1^上に対応する点 を含む直線として、参照カメラ 14の内部パラメータ、基準カメラ 12の内部パラメータ、 参照カメラ 14と基準カメラ 12との回転行列 R及び並進ベクトル tに基づいて算出され るが、詳しくは後述する。
[0155] ステップ S414にお 、て、道路平面領域抽出処理 (ステップ S2)で得られた平面領 域 Πに射影変換行列の逆行列をかけて参照画像 I上における参照平面領域 Πを f r fr 求めて、参照画像 I上に投影する。
[0156] ステップ S415において、参照画像 I上におけるェピポーラライン EP力も参照平面 領域 Π の部分を除去する処理を行い、ェピポーラライン EPは非平面領域に限定さ fr
れる。
[0157] ステップ S416において、エッジ点に対応する基準画像 I上の小領域に対して、参
b
照画像 Iのェピポーラライン EP上で領域ベースマッチング処理を行う。この領域べ一 スマッチング処理とは、基準画像 Iにおけるエッジ点を中心とした小さいマッチングゥ
b
インドウを作成し、該マッチングウィンドウと参照画像 Iにおけるェピポーラライン EP上 の小ウィンドウとの類似度の計算を順次行う処理である。領域ベースマッチング処理 によって最も類似度の高い点がエッジ点の対応点（ウィンドウ）として求められる。
[0158] この際、先ず、基準画像 Iから参照画像 Iへ領域ベースマッチング処理を行 、、計
b r
算された類似度を閾値と比較し、マッチングが成功したと判断されたとき、今度は参 照画像 Iから基準画像 Iへ領域ベースマッチングを行い、先の基準画像 Iの点に r b b 一 致した場合に、マッチングが成立すると判断する。このような領域ベースマッチングを 行うことで、繰り返しパターンによるマッチングミスを抑えることができる。ここで用いる 閾値としては、類似度の最大値に対する第 1閾値と、類似度の最大値から類似度の 2 番目の最大値との差に基づく第 2閾値を設けて判断してもよい。
[0159] 類似度の計算には、例えば、正規ィ匕相互相関関数 (ZNCC)を類似度関数として 用いることができる。正規ィ匕相互相関関数ではパターンの類似度を計算しているため 、基準画像 Iと参照画像 Iとに全体的な輝度のオフセットずれがある場合であっても
b r
マッチングのミスが発生しにくい。正規ィ匕相互相関関数は、次の (4— 2)式により求め られる。
[0160] [数 39]
Figure imgf000030_0001
•••( 4-2 )
[0161] ここで、 I 、 I
b rはそれぞれ基準画像と参照画像を示し、 Rはウィンドウ領域を示す。ま た χはウィンドウ内のピクセルの位置を示す。また、 u及び Vはそれぞれ基準画像、参 照画像のウィンドウの基準位置を示す。
[0162] また、基準画像 I及び参照画像 Iの種類や必要な計算速度等に基づいて他の類似
b r
度関数 (SSD (2乗残差和）、 NSSD及び SAD (絶対値和）等）を用いてもよ!、。
[0163] このステップ S416における領域ベースマッチング処理は、基準画像 Iに関しては
b
平面領域 Πが除かれた部分のエッジ点のみが処理対象となり、一方、参照画像 Iに
f r 関してはェピポーラライン EP上のうち参照平面領域 Πが除かれた部分のみが処理 対象となる。したがって、計算負荷が大幅に削減されるとともに、平面領域の点を検 出してしまうことがない。また、計算負荷が低減されることから、計算のためのハードウ エアに関して低廉ィ匕を図ることができる。
[0164] ステップ S417 (第一の物体位置算出手段）において、領域ベースマッチングの成 立した基準画像 I上の点 (ウィンドウ）と参照画像 I上の点 (ウィンド）に基づ!/、て、三角
b r
測量の原理に基づくステレオ計測により対応する点のカメラ座標 Ccを計算する。
[0165] ステップ S418において、カメラ座標 Ccを自車である車両 10を基準としたワールド 座標 Cwに変換する。具体的には、図 16に示すように、カメラ座標系を基準カメラ 12 の光学中心を原点とし、光軸を座標軸 Zcとして含む直交座標 Xc、 Yc、 Zcと表す。ま た、ワールド座標系は座標軸 Ywを法線ベクトル n方向に、座標軸 Xw、 Zwを平面 Π 上に設けた直交座標系 Xw、 Yw、 Zwと表す。なお、座標軸 Zwは車両の前後方向と し、原点は、車両に対する物体位置を求める際に基準とする車両の特定位置（の平 面 Π上の位置）とする。さらに、ワールド座標系の原点力もカメラ座標系の原点へ向 力うベクトルを [twx、 twy, twz] t = twとして表す（twyは距離 dに等しい）。各パラメ ータをこのように表したとき、ワールド座標 Cwは、以下の（4— 3)式で表される。
[0166] [数 40]
Cw = Rw · Cc + tw ' ""-3 )
[0167] ここで、法線ベクトル nを (4—4)式で表したとき、回転行列 は、（4— 5)式で表さ れる。
[0168] [数 41]
Figure imgf000031_0001
[0169] [数 42]
Figure imgf000032_0001
ップ S418の処理を直列的に示した力 実際上、修正エッジ画像 62に表される各エツ ジ点毎にステップ S413〜ステップ S418を実行し、対応するワールド座標 Cwを求め る。
[0171] このようにして、修正エッジ画像 62上の各エッジ点は奥行きである座標軸 Zwに基 づいて、例えば、図 17に示すような奥行き画像 64として表すことができる。この奥行 き画像 64では、座標軸 Zwの値 (又はワールド座標系の原点力ゝらの距離）に応じた大 きさの点が示されている。各点は、座標軸 Zwの値に応じて色の変化するグラデーシ ヨン状の点で表してもょ ヽ。奥行き画像 64は設計者の動作確認のために供されるも のであり実際上は設けなくてもよいが、該奥行き画像 64を生成するために必要なヮ 一ルド座標 Cwは所定の記憶部に記録しておく。
[0172] 上述したように、ステップ S41の処理 (ステップ S411〜S418)によれば、基準画像 I 及び参照画像 Iに基づいて、物体のエッジ点毎にワールド座標 Cwを求めることがで b r
きる。この際、平面領域 Πを除外した部分について処理を行うので、計算負荷の低
f
減が図られる。このうち、ステップ S413〜S416は参照画像対応部探索手段というこ とがでさる。
[0173] <ステップ S5 >
ステップ S5は物体の相対速度を算出する処理であり、図 18に示すステップ S51〜 ステップ S55のサブルーチン処理からなる。
[0174] ステップ S51にお 、て、連続する時刻の基準画像 I力も物体領域の重なり割合 Rat
b
eを算出する。
[0175] ステップ S52において、連続する時刻における物体の重心移動距離 Lgを算出する
[0176] ステップ S53 (同一物体判定手段）にお 、て、重なり割合 Rate及び重心移動距離 L gに基づいて閾値判定による同一物体の判定を行う。
ステップ S54において、物体の位置を高精度に求めるため再計算して位置ベクトル Pを求める。
t
[0177] ステップ S55において、位置ベクトル Pに基づいて、物体の相対速度ベクトル V
t obst-r を算出する。 [0178] ステップ S5 (図 3参照）はこのようなステップ S51〜S55により構成されている力 各 ステップについて以下さらに詳細に説明する。なお、ステップ S51〜S55についての 説明では、検出された各物体のうち、基準画像 Iにおけるトラック 70 (図 5参照）に対
b
する処理を例示的に説明する力 他の検出物体である乗用車 72やガードレール 74 についても同様の処理が行われる。ステップ S 51は、図 19に示すステップ S 511〜ス テツプ S517のサブルーチン処理からなる。
[0179] ステップ S511において、前時刻のステップ S517で記憶されたテンプレート 80aを 所定の記憶領域から呼び出す。ここで、テンプレート 80aとは投票面 50 (図 20参照） におけるクラスタ 54aに対応したトラック 70の基準画像 Iにおける像を領域指定して
b
記録したものであり、例えば、平面から 1. 5mの高さの領域として記録されている [0180] 。
概念的には、図 20に示すように、点 POは、投票面 50上の点であり、光学中心 Oか ら一定角度で走査し、クラスタ 54aに当たる点とする。点 P0に基づいてワールド座標 Cwが計算できる。点 Prを点 P0と同じ幅位置と奥行位置であり、且つ道路平面 Π上 の点とする。点 Prは、道路平面 Π上の点であることから高さが 0である。点 Pxは、点 P 0と同じ幅位置と奥行位置であり、且つ道路平面 Πから 1. 5mの高さをもつ点とする。 次に点 Pr、 Pxを用いてカメラ座標 Ccに変換する。カメラ座標 Ccに変換後、透視投影 行列を用いて基準画像 I上の座標に変換すればよい。このようにして前時刻のクラス
b
タ 54aに対応したテンプレート 80aが求められて、記録されている。同様に、乗用車 7 2に対応した前時刻のクラスタ 54b及びガードレール 74に対応した前時刻のクラスタ 54cに対しても図 21に示すテンプレート 80b及びテンプレート 80cが記録されている
[0181] また、前記ステップ S418で各物体の高さが求められていることから、各テンプレート 80a、 80b及び 80cの高さは求められた物体の高さに応じて設定してもよ！/、。
[0182] ステップ S512において、現時刻のメインルーチン処理におけるステップ SOで取得 した基準画像 Iを読み出す。なお、ここでは LOGフィルタやヒストグラム平坦ィ匕等の処
b
理を施す前の原画像を用いるものとする。
[0183] ステップ S513 (テンプレートマッチング手段）において、各テンプレート 80aを用い て、現時刻に取得した基準画像 I上でテクスチャに基づくテンプレートマッチングを
b
行い、類似度の最も高い位置に各テンプレート 80aを移動させる。テンプレートマッチ ングの具体的手法としては、前記の ZNCC (4— 2)式や、 SSD、 SAD等を用いたマ ツチングを挙げることができる。
[0184] ステップ S514にお!/、て、前記ステップ S46で記録したデータに基づ!/、て、現時刻 に求められたクラスタ 54aを呼び出す。
[0185] ステップ S515 (物体位置領域算出手段）において、呼び出したクラスタ 54aに対し てそれぞれ対応する物体位置領域 82aを求める。この物体位置領域 82aは前記ステ ップ S511で説明した手順によって求められる。物体位置領域 82aは、平面的なクラ スタ 54aに基づいて求める方法以外にも、図 17に示されるような奥行き画像 64にお ける各エッジ点の 3次元的な空間位置に基づ 、て求める方法を採ってもょ 、。
[0186] ステップ S516 (重なり割合算出手段）において、前記ステップ S513で移動したテ ンプレート 80aと、前記ステップ S515で求められた物体位置領域 82aとの重なり割合 Rateを次の（5— 1)式で算出する。
[0187] [数 43]
Figure imgf000035_0001
[0188] ここで、 R は、移動したテンプレート 80aの領域であり、 Rは、対応する物体位置領
t-i t
域 82aである。また、 Πは領域の重なり部分を示す演算子であり、 min(R 、 R )は R
t-1 t t と Rの面積の小さ 、ずれか一方を選択する関数である。
- 1 t
[0189] (5— 1)式によれば、移動したテンプレート 80aと物体位置領域 82aが完全に一致 する場合には Rate= lとなり、一致する部分が全くない場合には Rate = 0となる。ま た、概念的には、図 21に示すように、基準画像 I上でテンプレートを示す R と物体
b t-1 位置領域を示す Rに対して重複する部分 R Π Rの割合を求めることになる。
t t-1 t
[0190] 重なり割合 Rateが所定の閾値 Tha (0<Tha< 1)以上である場合には、対応する 前時刻の投票面 50におけるクラスタと現時刻の投票面 50におけるクラスタを同一物 体に基づくものであると仮判定されてトラッキングされる。トラッキングとは、異なった時 刻に得られたクラスタの対応付けを行う処理であり、これにより物体の動作が検出可 能となる。
[0191] ステップ S517において、前記ステップ S515で求められた物体位置領域 82aを新 たなテンプレート 80aとして所定の記憶部に記録する。この新たなテンプレート 80aは 、前記のとおり次回処理時のステップ S511で呼び出される。
[0192] このように、ステップ S51 (ステップ S511〜S517)においては、テンプレート 80aに 基づいてテンプレートマッチングを行うとともに、投票面 50のクラスタ 54aから物体位 置領域 82aを求めるため、 2重のトラッキング処理を行っており、これらの結果の重な り割合 Rateを求めてトラッキング処理の信頼性を高めている。実際には、このステツ プ S51で求めたトラッキングの関連づけはステップ S53で最終的に確認される。
[0193] 次に、ステップ S52の処理内容について説明する。ステップ S52は、図 22に示すス テツプ S521〜ステップ S524のサブルーチン処理からなる。
[0194] ステップ S521にお!/、て、前記ステップ S46で記録したデータに基づ!/、て、現時刻 に求められたクラスタ 54aを呼び出す。
[0195] ステップ S522 (物体重心位置算出手段）において、クラスタ 54aの現時刻の重心 g
T
を求めて、図 10に示すように投票面 50に記録する。
[0196] ステップ S523において、前時刻にステップ S533を実行したときに記録したクラスタ
54aの前時刻の重心 gを読み出す。
o
[0197] ステップ S524 (物体重心間移動量算出手段）において、図 10に示すように、クラス タ 54aの重心 gと重心 gとの重心移動距離 Lgを算出する。
O T
[0198] このように、ステップ S52 (ステップ S521〜S524)においては、クラスタ 54aの前時 刻の重心 gと現時刻の重心 gとの重心移動距離 Lgを求めており、短時間の移動距
O T
離として合理的なもののクラスタ同士を対応づけることができる。実際には、このステツ プ S52で求めたトラッキングの関連づけは次のステップ S53で最終的に確認される。
[0199] 次に、ステップ S53の処理内容について説明する。ステップ S53は、図 23に示すス テツプ S531〜ステップ S534のサブルーチン処理からなる。
[0200] ステップ S531において、対応する物体毎に、前記ステップ S516で求めた重なり割 合 Rateと閾値 Thaとを比較し、 Rate≥Thaであればステップ S 532へ移り、 Rate<T haであればステップ S534へ移る。 [0201] ステップ S532において、対応する物体毎に、前記ステップ S524で求めた重心移 動距離 Lgと閾値 Thbとを比較し、 Lg≤Thbであればステップ S533へ移り、 Lg>Th bであればステップ S534へ移る。この閾値 Thbは、自車の走行速度と対向車の走行 速度を考慮して、処理上の演算周期に物体が移動可能な合理的な距離として固定 値で設定されている。
[0202] ステップ S533においては、対応付けられた 2つの物体は同一物体であるとして確 定認識され、記録される。また、重心 gを g として入れ替えて所定の記憶部に記
0 0 T
憶する。
[0203] 一方、ステップ S534においては、対応付けられた 2つの物体は別物体であったも のとして認識される。この場合、対応付けられなかった物体については、画像の前後 関係に基づいて撮像範囲内に入ってきた新たな物体として認識する登録処理を行 い、又は撮像範囲力 抜け出た物体として所定の削除処理を行う。
[0204] このように、ステップ S53 (ステップ S531〜S534)においては、前記ステップ S52ま での処理で対応付けられた 2つの物体につ ヽて、重なり割合 Rateと重心移動距離 L gに基づいて、同一物体力否かの確認を一層確実に行うことができる。
[0205] なお、このステップ S531〜S534は、予め仮に対応付けられた 2つの物体に対して 行うものとして説明したが、前時刻検出の各物体と、現時刻検出の各物体に対して総 当たり的に行って、対応付けを行ってもよい。
[0206] また、ステップ S532で用いられる閾値 Thbは固定値であるものとして説明したが、 車両 10から重心 gまでの座標 Zw方向の距離 Zgに基づ 、て変化する関数としての o
閾値 Th (Zg)を閾値判定に用いてもよい。この場合、ある物体の重心 gまでの座標 Z
O
w方向の距離力 ¾glであったとすると、閾値は Th (Zgl)として表される。また同様に
、閾値を自車速 I V I に基いて変化する関数としての閾値 Th(
V I V V I )を閾値判定 に用いてもよい。
[0207] 次に、ステップ S54及びステップ S55の処理内容について説明する。ステップ S54 は、図 24に示すステップ S541〜ステップ S544からなり、ステップ S55は、図 26に示 すステップ S551〜S553力らなる。
[0208] ステップ S541 (注目点決定手段）にお 、て、基準画像 Iにおける物体の注目点 Pc を特定する。この注目点 Pcは、ステップ S513のテンプレートマッチングにより移動し たテンプレート 80aの領域内に設定し、例えば、テンプレート 80aの中心点や、物体 の角部等の特徴的な点として特定すると、常に物体上の略同一点に特定される。
[0209] ステップ S542において、注目点 Pcに対応させたェピポーラライン EPを参照画像 ^ 上に設定する。このとき、クラスタ 54aを利用することで、トラック 70までの概略距離を 算出できることから、これに基づいてェピポーラライン EPを必要十分な程度に短く設 定できる。
[0210] クラスタを利用した注目点 Pcの概略距離の算出方法を説明する。先ず、クラスタ 54 aの重心 g (図 10参照）より Zw座標を求める。これを注目点 Pcの Zw座標に仮設定し
T
、注目点 Pcの画像座標（u , V )ととも〖こ、次の（5— 2)式に代入して対応する Xw座 pc pc
標を算出する。ここで、 λは定数倍の自由度を表す。
[0211] [数 44]
λ
Figure imgf000038_0001
[0212] こうして求めた投票面 50上の位置 (Xw, Zw)と基準カメラの位置（twx, twz)を通 る直線を設定し、その直線に沿ってクラスタ 54aの点を探索して、車両 10に最も近い 点の Zw座標を注目点 Pcの概略距離とすればょ 、。
[0213] ステップ S543において、前記ステップ S416と同様に注目点 Pcに対応する基準画 像 I上の点に対して、参照画像 Iのェピポーラライン EP上で領域ベースマッチング処 b r
理を行う。
[0214] ステップ S544 (第二の物体位置算出手段）において、前記ステップ S417と同様に 、マッチングの成立した基準画像 I上の点と参照画像 I上の点に基づいて、ステレオ b r
計測によって対応する点のカメラ座標 Ccを計算する。さらに、前記ステップ S418と同 様に、求められたカメラ座標 Ccをワールド座標 Cwに変換する。求められた物体の位 置であるワールド座標 Cwは、図 25に示すように、投票面 50上において 2次元的な 位置ベクトル Pとして表す。
t
[0215] 次に、図 26のステップ S551において、物体の前時刻に検出した位置ベクトル P
t-i を読み出す。この位置ベクトル P は、前時刻処理時のステップ S553で所定の記憶
t-1
部に記録されている。
[0216] ステップ S552 (物体移動ベクトル算出手段）において、次の（5— 3)式により物体の 相対速度ベクトル (移動ベクトル) V を算出する。
obst-rei
[0217] [数 45]
Vobst rel = (Pt -Pt-l) At -( 5-3 )
[0218] ここで、 A tは処理の演算周期であり、単位時間あたりの位置ベクトル Pの変化とし
t
て相対速度ベクトル V が求められる。
obst-rel
[0219] ステップ S553において、次回の処理に供するために、位置ベクトル Pを P Pと
t t-1 t 代入して記憶部に記録する。ここで記録する位置ベクトル Pは、ステップ S517にお
t
V、て新たなテンプレート 80aとして記憶した物体位置領域 82aに対して、ステップ S5 41〜S544と同様の処理を行い更新したものである。
[0220] このようなステップ S54及び S55の処理によれば、ェピポーラライン EPを十分に短 く設定していることから、ステップ S543における領域ベースマッチングでマッチングミ スの発生する頻度が十分に低くなり物体の距離を一層正確に算出することができる。 また、注目点 Pcは常に物体上の略同一点に設定されることから、幅方向（座標 Xw方 向）の移動を含めて物体の経時的な相対移動を示す相対速度ベクトル V を正確
obst-rel に算出することができる。
[0221] この結果、トラック 70、乗用車 72及びガードレール 74の相対速度ベクトル V で
obst-rel あるベクトル Vrl、 Vr2及び Vr3力 図 25に示すようにベクトル表示される。図 25から 明らかなように、ベクトル Vrlからはトラック 70が左方向に向力つて進路変更している ことが判断され、ベクトル Vr2からは乗用車 72が前方に向力つて車両 10よりもやや速 い速度で進行していることが判断される。また、ベクトル Vr3からは静止物であるガー ドレール 74が車両 10の進行方向と逆方向に相対的に移動していることが判断される 。なお、図 25における自車速度ベクトル Vはステップ S6及び S7において求められる
V
[0222] 次に、ェピポーララインの設定方法について説明する。ステレオ 3次元計測をする ためには基準画像 Iに映る観測点 Mlの位置と参照画像 Iに映る観測点 Mlの位置 b r
をそれぞれ求める必要がある。図 27に示すように、観測点 Mlは基準画像 I上の点 b mに投影されており、点 mは観測点 Mlと基準カメラ 12の光学中心 Oを通る直線 Le b b
上に存在する。直線 Le上の点を探せば、観測点 Mlを見つけることができ、参照画 像 I上に投影される直線 Leがェピポーラライン EPとなる。つまり、基準画像 I上に投 r b 影された観測点 Mlを参照画像 Iと対応をつけるには、参照画像 I中でのェピポーラ ライン EP上を探索すればよいこととなる。なお、図 27における点 MO及び M2は、同 一の点 mに投影される他の点であって直線 Le上の点である。
b
[0223] このェピポーラ拘束の関係式を求める。参照カメラ座標 Xrと基準カメラ座標 Xbの間 には、前記の回転行列 R及び並進ベクトル tを用いて、 Xr=R'Xb+tの関係が成り 立つ。
[0224] このとき、基準カメラ 12の正規ィ匕画像座標 X"ba、参照カメラ 14の正規ィ匕画像座標 X"ra及び並進ベクトル tは同一平面上に存在する。すなわち、スカラー三重積が 0に なるので、
[0225] [数 46]
Xra · (t X R · Xba^ = Xra1 [t]x R · Xba … '4 )
[0226] となる。
[0227] ただし、
[0228] [数 47]
Figure imgf000040_0001
と表すことにする。ただし、 tl、 t2、 t3は並進ベクトル tの要素を示す。ここで、正規ィ匕 画像座標と画像座標との関係より、 πΓ =AX'ba、nT =AX'raを代入して整理す b b r r
ると、基礎行列（Fundamental Matrix) Fは次の（5— 6)式及び（5— 7)式で表さ れる。
[0229] [数 48]
Figure imgf000041_0001
… 6)
[0230] [数 49]
[0231] (5— 7)式により、空間の観測点 Mlが基準画像 Iに投影される位置を mとしたとき、 b
l'=FnTとすると、 m'T = 0より、参照画像 I中では、
[0232] [数 50]
1^ 11 + 12 + 13 =0 ' "( 3-8) となり、参照画像 I中における観測点 Mlに対応したェピポーラライン ΕΡとなる。ここ で、「 は参照画像であることを示し、 Γ, Γ, 1 'は参照画像のェピポーラライン EPの
1 2 3
パラメータを示す。また、 U'、 Vは参照画像の画像座標を示す。
[0233] また、観測点 Mlの概略位置が既知である場合には、直線 Leの長さを制限すること によりェピポーラライン EPを短く設定することができる。
[0234] 参照画像 Iに投影される位置を m'としたとき、 1=^πι'とすると、 1 =0より、参照画 像 I中では、
[0235] [数 51] liU + l V + l3 =0 ---(5-9) となり、観測点 Mlにおける基準画像 Iにおけるェピポーラライン EPとなる。なお、こ b
のェピポーラライン EPの説明で用いたパラメータ u及び u'は、後述するベクトル u及 び u'とは異なるものである。
[0236] くステップ S6 >
このステップ S6は、自車である車両 10の自車速度ベクトル V (図 25参照）を求める
V
ために、道路平面 Πを仮想的に上方から見た VPP画像を生成するための処理であり 、図 28に示すステップ S61〜ステップ S63のサブルーチン処理からなる。すなわち、 ステップ S61において、基準画像 Iを VPP画像に変換 (以下、 VPP変換とも呼ぶ)す b
るための変換式 H を算出する。この後、ステップ S62において、求められた変換式
VPP
H を用いて、前記基準画像 Iを VPP画像 Iに変換し、記録する（図 33参照)。さら
VPP b V
に、ステップ S63において、同じ変換式 H を用いて前記平面領域 Πを VPP変換し
VPP f
て記録する（図 34参照)。以下、各ステップ S61〜S63について詳細に説明する。
[0237] なお、 VPP画像 Iを撮像する仮想的なカメラを想定し、説明上これを仮想カメラと呼
V
[0238] 先ず、図 29のステップ S611において、基準カメラ 12の内部パラメータ Aの逆行列 b
A—1を読み込む。内部パラメータ Aは、次の（6— 1)式で表される。
b b
[0239] [数 52]
Figure imgf000042_0001
0 βΐ レ yl •( 6-1 )
0 0 1
[0240] ここで、 α 、 j8 、 s 、 C 及び C は、基準カメラ 12のキャリブレーションにより定まる
1 1 1 XI Y1
定数である。
[0241] ステップ S612において、道路平面 Πに対する位置姿勢パラメータである法線べク トル n及び距離 d (図 16参照）を読み込む。
[0242] ステップ S613において、法線ベクトル n及び距離 dを用いて、基準カメラ 12の光軸 であるベクトル e (図 30参照）を法線ベクトル nに一致させる回転行列 Rを次の（6— οζ n 2)式〜（6— 5)式に基づ 、て算出する。
[0243] [数 53]
eoz =(0，0，l)t ..-(6-2)
[0244] [数 54]
n-e OZ
COS0, •(6-3)
n e oz
[0245] [数 55]
Figure imgf000043_0001
[0246] [数 56]
cnl(l-cos6n) + cosen cnlcn2(l-cosen)-cn3sinen cnlcn3 (1 - cos θη ) + cn2 sin θη ]n = cnlcn2(1-cosen) + Cn3Sinen Cn2(l - COS0n) + COs6n Cn2Cn3(l - COs6n) - Cnl SUl θη cnicn3 (1— cos θη ) _ cn3 sin θη cn2cn3 (1— cos θη ) + cnl sin θη cn3 (1 - cos θη ) + cos θη
-(6-5)
[0247] これらの（6— 2)式〜（6— 5)式を図 30も参照しながら説明すると、式中で縦二重線 で囲まれた部分はノルムを示し、ベクトル e は、カメラ座標系における光軸である座 標 Zc (図 16参照）の単位ベクトルを示す。また、 cは、法線ベクトル nとベクトル e に n oz 垂直な単位ベクトルであり、角度 0 は法線ベクトル nとベクトル e とのなす角度であ n OZ
る。なお、図 30におけるベクトル e' 、 e' 及び e' は、仮想カメラ座標系を示す直交
OX OY OZ
単位ベクトルであり、一転鎖線は車両 10の前後方向を示す。
[0248] ステップ S614において、投影距離、スケール、画像中心を指定し、道路平面 Πを 上方から見た仮想カメラの内部パラメータ A を設定する。内部パラメータ A は、仮
VPP VPP
想カメラ座標上の画像を画像座標上に変換するための行列であり、次の（6— 6)式で 表される。
[0249] [数 57]
Figure imgf000045_0001
[0250] ここで、 α = d -k 、 β = d -k である。また、 d は投影距離 [m]で
VPP VPP X-VPP VPP VPP Y-VPP vpp あり、 k 及び k は VPP画像 Iの X座標方向及び Y座標方向のスケール [pixel/ χ-νρρ y-vpp V
m]である。さらに、 C 及び C は VPP画像 I中心の X座標及び Y座標である。
vpp y-vpp V
[0251] この内部パラメータ A により投影距離に道路平面のパラメータである距離 dを指定
VPP
すると、検出した道路平面 Π上に投影される。
[0252] ステップ S615において、車両前後方向と VPP画像の縦軸を一致させるために画 像を角度 Θ
V及び角度 φだけ回転させる変換式である回転行列 R
Vを算出する。す なわち、図 30及び（6— 7)式に基づいて基準カメラ 12の光軸方向の単位ベクトル e
OZ
を VPPカメラ座標系カゝらみたベクトル uを設定し、該ベクトル uを仮想カメラ座標系に おける e' 、 e' 平面に正射影したベクトル u'を (6— 8)式に基づいて設定する。
OX OY
[0253] [数 58] = (Ux,Uy，Uz) ---(6-7)
[0254] [数 59]
Figure imgf000046_0001
[0255] ベクトル u及び u'をこのように定義するとき、角度 0 はベクトル u'と仮想カメラ座標 e'
V
とのなす角度であり（6— 9)式で表される。
oy
[0256] [数 60] θν •(6-9)
Figure imgf000046_0002
[0257] また、角度 φは車両前後方向に対するカメラ光軸であるベクトル e とのなす角度で
OZ
あり予め求めておく。求める回転行列 Rは、次の（6— 10)式で表される。
V
[0258] [数 61]
Rv = Rotate(e0z -φ)Κοί ί6(ιβόζ,θν
Z'
Figure imgf000046_0003
ステップ S616において、 A 、 R、 R及び A に基づいて、 VPP変換のための変 b n V VPP
換式 H を算出する。変換式 H は、次の（6— 11)式で表される。なお、 R =RR
VPP VPP VPP V
である。
[0260] [数 62] HVpp = VppRvRn A¾
= AVppRyppAb · · ·( 6-11 )
[0261] つまり、変換式 H では、基準画像 Iを行列 A— R、 R、及び A で順に変換す
VPP b b n V VPP
ることと等価な処理が行われる。実際には 1つの変換式 H で一度に変換が可能で
VPP
あるが、変換の過程を概念的な理解が容易となるように、各行列 A— R、 R、及び A
b n V
VPPによる変換を説明する。
[0262] 先ず、基準画像 I (図 5参照）に対して逆行列 A 1による変換を行うと画像座標から
b b
カメラ座標系への変換が行われ、図 31に示すカメラ座標系基準画像 I が得られる。
be
[0263] 次に、このカメラ座標系基準画像 I に対して回転行列 Rnによる変換を行うと、カメラ
be
座標系基準画像 I n
beは角度 θ だけ回転して道路平面 Πに平行になるとともに遠方部 分が拡大され、第 1変換画像 I
VIが得られる。図 32に示すように、この第 1変換画像 I
VI
は縦軸に対して角度（ Θ — Φ
V )だけ傾!ヽた画像として得られる。
[0264] さらに、第 1変換画像 I に対して回転行列 Rによる変換を行うと、第 1変換画像 I
VI V VI
は角度（ Θ — Φ )だけ回転して車両前後方向と VPP画像の縦軸が一致することにな
V
り第 2変換画像 I が得られる。
V2
[0265] 最後に、第 2変換画像 I に対して仮想カメラの内部パラメータ A による変換を行う
V2 VPP
と、スケール変換が行われて所望の大きさの VPP画像 I (図 33参照）が得られる。
V
[0266] このような一連の行列式 A R R A— 1によって、変換式 H が構成されており、基
VPP V n b VPP
準画像 Iに対して変換式 H による VPP変換を行うことにより VPP画像 I (図 33参照 b VPP V
)が得られる。前記のとおり、この VPP変換は、ステップ S62において行われる。得ら れた VPP画像 Iは記憶部に記録される。
V
[0267] なお、この VPP画像 Iは、内部パラメータ A の設定により、図 33に示すように画
V VPP
像の左上部が原点であって、車幅方向が X方向（図 33における右方向）、車両前後 方向が Y方向（図 33における下方向）として規定される。
[0268] 図 33から了解されるように、 VPP画像 Iは、道路平面 Πを上方の高い距離から眺
V
めたような画像となり、道路の幅は略一定に映し出される。また、基準画像 I上のトラ ック 70や乗用車 72は、画像上方部が拡大するように歪曲して映し出される。
[0269] また、この後ステップ S63においては、平面領域 Π (図 5参照）に対して変換式 H f VPP による VPP変換を行い、上方から眺めた平面領域 Πである VPP平面画像 I (図 34 f Vf 参照）を求めて記録する。この VPP平面画像 I は VPP画像 Iにおける道路平面 Πの
Vf V
領域を示すことになる。得られた VPP平面画像 I は記憶部に記憶される。この VPP
Vf
平面画像 I は、道路平面と同じ形状となっており、図 34に示す例では、前方の他のト
Vf
ラック 70ゃ路側部等の水平でない構造物や、道路平面と同一レベルでない面が除 外された略 V字形状となって 、る。
[0270] <ステップ S7 (移動体速度算出手段） >
ステップ S7は、前記ステップ S6で求めた VPP画像 I及び VPP平面画像 I に基づ
V Vf いて、車両 10の自車速度ベクトル V (図 25参照）を求めるための処理であり、図 35
V
に示すステップ S71〜ステップ S77のサブルーチン処理からなる。なお、以下の説明 においては、現時刻の処理で得られた VPP画像 I及び VPP平面画像 I を VPP画像
V Vf
I (t)及び VPP平面画像 I (t)と表し、前時刻に得られたものを VPP画像 I (t— 1)及
V Vf V び VPP平面画像 I (t— 1)と表して区別する。また、ワールド座標系では車両 10の前
Vf
後方向が座標 Zw (図 10参照）として規定されている力 前記のとおり、 VPP画像 Iで
V
は前後方向が Y軸と規定されているため、以下のステップ S7に関する説明では車両 10の前後方向に対応するパラメータには添え字「Y」又は「y」を付けて表す。
[0271] ステップ S71において、前時刻処理時の VPP画像 I (t 1)、 VPP平面画像 I (t
V Vf
1)及び画像マッチング移動量 ΔΧ、 ΔΥ、 Δ Θ を呼び出す。画像マッチング移
0 0 yaw-0
動量 ΔΧ、 ΔΥ、 Δ 0 は、前時刻処理時のステップ S 77で記録されたパラメータ
0 0 yaw-0
であり、前時刻における VPP画像 I (t)と VPP画像 I (t—l)とのマッチングによるず
V V
れ量を表す。
[0272] ステップ S72において、 VPP画像 I (t)と VPP画像 I (t— 1)とのマッチングを行うた
V V
めの探索範囲を設定する。具体的には、画像マッチング移動量 ΔΧ、 ΔΥ、 Δ 0
0 0 yaw- を中心とした所定幅を有する範囲として ΔΧ= ΔΧ 〜ΔΧ 、及び ΔΥ= ΔΥ 〜ΔΥ , Δ θ = Δ θ 〜Δ 0 が設定される。ステップ S73において、 V
MAX yaw yaw- IN yaw— MAX
PP画像 I (t)と VPP画像 I (t—l)とを前記ステップ S72で設定した探索範囲内で相 対的に移動させて、 VPP画像マッチングを行う。探索範囲は画像
ΔΧ、 ΔΥ、 Δ 0 を基準とした範囲に設定されているため、 VPP画像
一 d CP
に要する時間 Vは短時間で足りる。また、自車速度ベクトル Vは急激に変化することは ないため、類似度 Δが最大となる箇所が画像 ΔΧ、 ΔΥ、 Δ 0 を
0 0 ya«^0 f
中心とした探索範囲力もずれることはない。ステップ S73における VPP画像マツチン グの詳細な処理については後述する（図 36参照)。
[0273] ステップ S74において、前記ステップ S73で求めた VPP画像マッチングの結果を参 照して、 VPP画像 I (t)と VPP画像 I (t—1)との類似度が最大となる箇所 (後述する
V V
NSSD ( AX、 ΔΥ、 Δ θ )が最小となる箇所）を検出し、その箇所における VPP画 yaw
像 I (t)と VPP画像 I (t—l)とのずれ量を移動量 move ( AX、 ΔΥ、 Δ θ )として
V V f f
求める。ここで、 ΔΧ、 ΔΥ及び Δ θ は VPP画像 I (t)と VPP画像 I (t—1)との類 f f yav^f V V
似度が最大となる箇所における ΔΧ、 ΔΥ及び Δ Θ の値である。
yaw
[0274] ステップ S75において、移動量 move ( AX、 Δ Y)に基づいて下記の（7— 1)〜（7 f f
3)式により車両 10の自車速度ベクトル Vの大きさを求める。
V
[0275] [数 63]
Figure imgf000049_0001
[0276] [数 64]
[m/s] •( 7-2 )
vpp At
[0277] [数 65] y \ = ^vx 2 + νζ Δ [m/s】 ' "（7-3 )
[0278] ここで、 Vx及び Vzは、車両 10の幅方向及び車両前後方向の速度であり、 d a vpp V 及び β は前記（6— 6)式にお 、て定義される係数及び数値である。また、前記の
PP VPP
とおり A tは演算周期である。（7— 2)式及び（7— 3)式で、車両前後方向の速度を V zとして添え字「y」でなく「z」を用いて!/、るのは、他の処理に対して整合性を考慮し V PP画像の座標力もワールド座標系に戻して 、るためである。
[0279] 自車速度ベクトル Vの大きさは、周知のとおり直交する 2方向速度成分で形成され
V
る斜辺部の長さとして表されることから (7- 3)式が成り立つ。
[0280] (7— 3)式及び（7— 4)式により、自車速度ベクトル Vの大きさと角度 0 が求まる
V YAW
ことから自車速度ベクトル Vが決定され、該自車速度ベクトル Vを図 25上に表す。
V V
なお、角度 Θ は、車両 10の回転角度として用いることもできる。
YAW
[0281] ところで、車両 10の回転角度をより厳密に求めるためには、 VPP画像 I (t—l)を
V
ΔΧ及び ΔΥ方向に並進的に移動させるだけではなぐ回転を含んだ移動をさせた 上で類似度の演算を行うとよい。この場合、画像マッチング移動量 ΔΧ ΔΥを中心
0 0 とした所定幅を有する範囲として ΔΧ= ΔΧ ΔΧ ΔΥ ΔΥ ΔΥ 及
ΙΝ MAX ΙΝ MAX
び回転角度としての ω = Δ Θ Δ Θ が設定され、 3自由度の移動を行う。
IN MAX
[0282] ステップ S76において、自車速度ベクトル V、角度 Θ を記録する。また、ステツ
V YAW
プ S74で求めた ΔΧ ΔΥ Δ Θ を次回処理時の画像マッチング移動量 ΔΧ f f yaw-f 0
ΔΥ Δ 0 として用いるために、 ΔΧ ΔΧ ΔΥ ΔΥ Δ 0 θ と
0 yaw— 0 0 f 0 f yaw-0 yaw-f 代入した後に記録する。
[0283] 次に、ステップ S73における VPP画像マッチングの第 1の処理方法について説明 する。この第 1の処理方法は図 36におけるステップ S731 S735の処理からなる。 なお、このステップ S731 S735の処理は、前記ステップ S 72で設定された探索範 囲としての ΔΧ= ΔΧ ΔΧ 、及び ΔΥ= ΔΥ ΔΥ , Δ θ = Α Θ
MIN MAX MIN MAX yaw yaw- MIN Δ Θ の
yaw- AX 領域について個別に実行される力 繰り返し制御についての説明を 省略して 1回分の処理についてのみ説明する。
[0284] 先ず、ステップ S731にお 、て、 VPP平面画像 I (t— 1)を現時刻で設定されて!ヽ
Vf
る Δ 0 回転し、 ΔΧ及び ΔΥの方向に移動させる。（図 37の「S731」参照）。なお、 yaw
回転の中心は、 VPP画像における光学中心の位置（c 、
χ-νρρ c )とする。
y-vpp
[0285] ステップ S732 (第二の道路平面領域抽出手段）にお 、て、 VPP平面画像 I (t)と
Vf 前記ステップ S731で移動した VPP平面画像 I (t— 1)との共通領域 R( AX、 ΔΥ,
Vf
Δ θ )を求める（図 37の「S732」参照）。
yaw
[0286] ステップ S733において、 VPP画像 I (t—l)をその時点で設定されている Δ 0 回
V yaw 転し、 Δ X及び Δ Yの方向に移動させる（図 37の「S733」参照）。
[0287] ステップ S734において、共通領域 R( AX, ΔΥ, Δ Θ ；)、 VPP画像 I (t)及び移 yaw V 動した VPP画像 I (t 1)に基づいて、次の（7— 4)式により VPP画像マッチングとし
V
て NSSDを計算する。
[0288] [数 66]
NSSD(Ax,Ay,A0vaw)
2 {Iv (t - 1) move(Ax, Δγ, A6yaw )(Χ）— Ιν (t)(Xi )}:
N XiGR(Ax7Ay,A6yaw) . . .( 7-4 )
[0289] ここで、 xiは共通領域 R( AX, ΔΥ, Δ 0 )に含まれるピクセルの座標であり、 Ν yaw
は、共通領域 R( AX, ΔΥ, Δ Θ )に含まれるピクセルの総数であり、 I (t- l) mo yaw V ve ( AX, ΔΥ)は、ステップ S 734で VPP画像 I (t— 1)を Δ θ 回転し、 ΔΧ及び Δ
V yaw
Υだけ移動した画像を示す。
[0290] この（7—4)式により、 VPP画像 I (t)と VPP画像 I ー1)を厶 Θ 回転し、 ΔΧ及
V V yaw
び Δ Yだけ移動した画像とのピクセル毎の輝度差の二乗和が正規ィ匕された値として 求められ、次のステップ S735において、移動量 move ( Δ χ、 Ay、 Δ θ )毎に類似 yaw 度として NSSD ( A x、 Δγ, Δ θ )が記録される。 NSSD ( A x、 Δγ, Δ θ )は正 yaw yaw 規ィ匕されていることから共通領域 R ( AX, ΔΥ, Δ Θ )の面積の大小に拘わらずに yaw
相互比較が可能となる。
[0291] このようなステップ S7の処理によれば、対応点探索を行うことがないため、ロバスト 性が高 ヽ。また平面の位置姿勢パラメータに基づ ヽて平面に平行な VPP画像を生 成するため、車両姿勢の変動等による影響を受けず耐振動性が高い。実際上、道路 平面 Πには不規則であっても地模様等何らかの模様や特徴部が存在していることか ら、このような部分に基づいて自車速度ベクトル Vを求めることができる。
V
[0292] さらに、平面領域 Πに基づく共通領域 R ( AX, ΔΥ, Δ 0 )内で VPP画像マッチ f yaw
ングを行うことから、他の車両ゃ路側部等の余分な部分が削除されて高精度且つ高 速な演算が遂行される。
[0293] また、 VPP画像マッチングにおける類似度として、 NSSDに代えて前記の ZNCC 等を用いてもよい。
[0294] 次に、ステップ S73における VPP画像マッチングの第 2の処理方法について説明 する。この第 2の処理方法は、基本的には前記ステップ S1及び前記非特許文献 1で 説明した濃度勾配法と同じ方法であり、前記射影変換行列 Hに相当する移動回転行 列 Mを微小量変化させながら 2つの画像が最も重なるように収束させる。
[0295] 先ず、適当に真値に近い初期値としての移動回転行列 Mを設定しておき、次の（7 — 5)式により、 VPP画像 I (t— 1)を移動回転変換する。ここで、 I (X)を VPP画像 I (
V r V t— 1)の座標 x (x, y)における輝度値とする。なお、移動回転行列 Mは、 3 X 3の行 列である。また、移動回転行列 Mの初期値としては、前時刻のステップにて算出され た値を用いるとよい。
[0296] [数 67]
Ivpp(t-l) x) = IvpP(t-i)(*nx) ' · ,(7'5 )
(「叫は、変換された後の輝度値を表す。 )
[0297] 移動回転行列 Μの各パラメータを微小量変化させたとき、変換された VPP画像 I (t
V
1)上の座標 x (x, y)が座標 X" (χ〃 , γ" )に変化するものとすると、
[0298] [数 68] x"〜(l + Dx)S ■(7-6) の関係が得られる。なお、 Iは 3X3の単位行列であり、 Dは移動回転行列 Mの各パラ メータの微小変化量をパラメータとする 3 X 3の微小変化行列であり次の（7— 7)式で 表される。
[0299] [数 69]
Figure imgf000053_0001
[0300] ここで、 ωは微小回転角度、 dx及び dyは X方向及び y方向の微小移動量である。ま た、 ω、 dx及び dyをまとめて 1つのパラメータ Θとしても表す。このパラメータ Θを引 数とし、（7— 5)、（7— 6)式の関係を用いて、移動回転変換された VPP画像 I (t-1
V
)と VPP画像 I (t)との重なり状態を示す評価関数 Ε(Θ)は、次の（7— 8)式で表され
V
る。
[0301] [数 70]
Ε(Θ)= 2[Tvpp(t-i)(*i')-Ivpp(t)( i)]2 … 8)
Xi^R plane
(「i」は、画素番号を表す。）
と表すことができる。ここで、 R は、 VPP平面画像 I (t 1)、I (t)における道路平 plane Vf Vf
面 Πに相当する領域である。
[0302] この（7— 8)式は前記（1 5)式と等価なものであり、基準画像 Iと VPP画像 I (t)、 b V 参照画像 Iと VPP画像 I (t- 1)、行列 Dxと行列 Dがそれぞれ対応する。
r V
[0303] したがって、前記と同様の方法により、 g (輝度勾配)、 e (輝度差分)、ヤコビアン】Θ を算出し、微小変化行列 Dを最小二乗法を用いて求めることができる。
[0304] 以上のようにして求めた微小変化行列 Dを用いて、移動回転行列 Mを次の（7— 9) 式にしたがって更新する。
[0305] [数 71]
M— M(l + D) - - - ( 7-9)
[0306] そして、（7— 9)式で求めた移動回転行列 Mを用いて、再び（7— 8)式の評価関数 E ( Θ )の値を算出する処理を繰り返す。この繰り返しの処理にぉ 、て移動回転行列 Mは最小二乗法を解いて得られる微小変化行列 Dを用いて、 M^M (I + D)として更 新される。評価関数 Ε ( Θ)の値が所定の値以下に収束したときのを Mの各成分より Δ θ 、 ΔΧ、 ΔΥを式（7— 10)を用いて求めることができる。
yaw
[0307] [数 72]
φ<φ<〕① y gvϋ«ου +« sso。s!n_ ι ¾>^ ι & x lι
Figure imgf000055_0001
このようなステップ S73の第 2の処理方法では、前記の第 1の処理方法で求めた Δ θ 、 ΔΧ、 ΔΥを初期値として第 2の処理方法を用いることで、一層正確に Δ Θ ΔΧ、 ΔΥを求めることができる。
[0309] くステップ S8 >
ステップ S8は、検出した物体が静止物体であるか移動物体であるかを判断する処 理であり、図 38に示すステップ S81〜S84のサブルーチン処理からなる。
[0310] ステップ S81において、前記ステップ S55で求められた各物体の相対速度であるべ タトル Vrl、 Vr2及び Vr3を読み出す。これらのベクトルは図 25における各矢印で示 されている。
[0311] ステップ S82において、前記ステップ S7において求めた車両 10の自車速度べタト ル Vを読み出す。この車両 10の自車速度ベクトル Vは図 25の原点を基点に示され
V V
て
いる。
[0312] ステップ S83において、検出された各物体の絶対速度ベクトル V N (N= 1、 2、 3
ABS
…；)を算出する。絶対速度 V Nは V N=V N+V 'としてベクトル加算により求め
ABS ABS r V
られる。ただし、 V 'は相対速度 V Nに含まれる、 自車両のモーションによる速度分で
V r
ある。図 39に各物体毎に求められた絶対速度ベクトル V Nを示す。図 39から明ら
ABS
かなように、静止物体であるガードレール 74については、 V 3 0となる。
ABS
[0313] ステップ S84において、絶対速度 V Nに基づいて、検出された各物体が静止物
ABS
体であるか移動物体であるかを調べる。具体的には、各物体の絶対速度のベクトル の大きさ I V N Iと閾値 Th を比較して、 Th ≥ I V N
ABS Iであるとき対象となる
ABS ABS ABS
物体は静止物体であり、 I V N I >Th であるときは移動物体であると判断され
ABS ABS
る。これにより、 V 3 0であるガードレール 74は静止物体として判別され、トラック 7
ABS
0及び乗用車 72は移動物体として識別される。
[0314] このように、ステップ S8の処理によれば、検出された物体の絶対速度を精度よく求 めることができ、物体が静止物か否かを正確に判断することができる。この判断結果 の情報は、例えば、車両 10と物体との所定の接近注意喚起手段に供することができ る。
[0315] また、ステップ S 7及び S8の処理によれば、 VPP画像 Iの平面領域 Πのみを用い
V f
て移動量を算出することにより、移動する物体と静止物とが混在する環境下において も正確に自車速度ベクトル Vを求めることができる。
V
[0316] さらに、例えば路面等一定の高さ (距離）にある物体を撮像して、路面を基準として 速度計測を行うように定めた場合に、路面に対して高さのある物体が撮像され、該物 を基準として速度計測を行うと高さに基づく速度検出の誤差が発生することが知られ ているが、ステップ S7及び S8の処理によれば、平面領域 Πのみを用いることにより f
高さのある物体を除外して算出できるので、高さに基づく誤差が発生しない。
[0317] またステップ S7及び S8の処理によれば、平面までの距離も検出するため、例えば 歩道等路面に対して高さのある平面が画像中の大半を占める場合にも、その高さを 考慮して速度を算出できる。
[0318] なお、本実施の形態において求められる平面領域 Πは、車両 10が走行する略水 f
平な道路平面 Πに対応する領域であって、「平面」であっても垂直な面やレベルの異 なる他の面は除外される。
[0319] また、上記の説明では、基準カメラ 12と参照カメラ 14が設けられているものとしたが 、必要に応じてより多くのカメラを設けてもよい。

Claims

請求の範囲
[1] 所定の周期で画像 (I、 I )を撮像する撮像手段（12、 14)と、
b r
所定の周期で物体を検出する物体検出手段 (34)と、
前記物体検出手段 (34)にて検出された物体の空間上での位置を算出する第一の 物体位置算出手段と、
前記第一の物体位置算出手段にて算出された物体の位置を記憶する物体位置記 憶手段と、
前記撮像手段（12、 14)による画像 (I、 I )上での物体の位置を示す物体位置領域 b r
(82a)を算出する物体位置領域算出手段と、
前記物体位置領域算出手段により算出された前記物体位置領域をテンプレート (8 Oa)として記憶するテンプレート記憶手段と、
前記画像 (I、 I )
b r上にて前記テンプレート記憶手段に記憶された過去のテンプレー ト（80a)を類似度が最大となる位置に移動させるテンプレートマッチング処理を行うテ ンプレートマッチング手段と、
前記物体位置領域算出手段にて算出された前記物体位置領域と前記テンプレー トマッチング手段にて移動した過去のテンプレート（80a)との重なりの割合を算出す る重なり割合算出手段と、
前記重なり割合算出手段にて算出された重なり割合を用いて、前記物体検出手段 (34)にて検出された物体が過去に検出された物体と同一力否かを判断する同一物 体判定手段と、
を備えることを特徴とする物体検出装置。
[2] 請求項 1記載の物体検出装置において、
前記第一の物体位置算出手段の結果を用いて空間上での物体重心位置 (g )
Tを算 出する物体重心位置算出手段と、
前記重心位置算出手段にて算出された物体重心位置 (g )
Tを記憶する物体重心位 置記憶手段と、
前記重心位置記憶手段にて記憶された過去の物体重心位置 (g )
0と前記空間上で の物体重心位置間の移動量 (Lg)を算出する物体重心間移動量算出手段と、 を備え、
前記同一物体判定手段は、前記物体重心間移動量算出手段にて算出された重心 間移動量 (Lg)と前記重なり割合とを用いて、前記物体検出手段 (34)にて検出され た物体が過去に検出された物体と同一力否かを判断することを特徴とする物体検出 装置。
[3] 請求項 1又は 2記載の物体検出装置において、
前記撮像手段（12、 14)にて撮像された画像 (1 , 1 )を記憶する画像記憶手段と、 b r
前記物体位置領域算出手段にて算出された前記物体位置領域に注目点 (Pc)を 定める注目点決定手段と、
前記画像記憶手段によって記憶された画像 (1 , 1 )上の前記注目点（Pc)に対して b r
ステレオマッチングを用いて物体の空間上の位置を算出する第二の物体位置算出 手段と、
を備えることを特徴とする物体検出装置。
[4] 請求項 3記載の物体検出装置において、
前記第二の物体位置算出手段によって算出された物体位置を記憶する物体位置 記憶手段と、
前記物体位置記憶手段に記憶された過去の物体位置と、前記第二の物体位置算 出手段によって算出された物体位置力 物体の移動ベクトル (V )を算出する物 obst-rel
体移動ベクトル算出手段と、
を備えることを特徴とする物体検出装置。
[5] 請求項 4記載の物体検出装置において、
搭載された移動体の移動速度 (V )を算出する移動体速度算出手段 (36)と、 前記物体移動ベクトル算出手段によって算出された物体の移動速度 (V )と前記移
V
動体速度算出手段にて算出された前記移動体速度とに基づいて物体の絶対速度（
V )を求める物体絶対速度算出手段 (42)と、
ABS
前記物体絶対速度算出手段 (42)で求められた前記絶対速度 (V )に基づき、前
ABS
記物体が静止物か否かを判断する静止物判断手段と、
を備えることを特徴とする物体検出装置。 補正書の請求の範囲
[2005年 12月 21日 （21.12.05) 国際事務局受理：出願当初の請求の範囲 3は補正された； 他の請求の範囲は変更なし。 ] を備え、
前記同一物体判定手段は、前記物体重心間移動量算出手段にて算出された重心 間移動量 (Lg)と前記重なり割合とを用いて、前記物体検出手段（34)にて検出され た物体が過去に検出された物体と同一か否かを判断することを特徴とする物体検出
[3] (補正後)請求項 1又は 2記載の物体検出装置において、
前記撮像手段（12、 14)にて撮像された画像 (I、 I )を記憶する画像記憶手段と、
b r
前記物体位置領域算出手段にて算出された前記物体位置領域のうち、前記同一 物体判定手段にて同一と判断された物体の物体位置領域に注目点 (Pc)を定める注 目点決定手段と、
前記画像記憶手段によって記憶された画像 (I、 I )上の前記注目点 (Pc)に対して
b r
ステレオマッチングを用いて物体の空間上の位置を算出する第二の物体位置算出 手段と、を備えることを特徴とする物体検出装置。
[4] 請求項 3記載の物体検出装置にお Vヽて、
前記第二の物体位置算出手段によって算出された物体位置を記憶する物体位置 記憶手段と、
前記物体位置記憶手段に記憶された過去の物体位置と、前記第二の物体位置算 出手段によって算出された物体位置力 物体の移動ベクトル (V )を算出する物
obst-rel
体移動ベクトル算出手段と、
を備えることを特徴とする物体検出装置。
[5] 請求項 4記載の物体検出装置において、
搭載された移動体の移動速度 (V )を算出する移動体速度算出手段 (36)と、 前記物体移動ベクトル算出手段によって算出された物体の移動速度 (V )と前記移
V
動体速度算出手段にて算出された前記移動体速度とに基づレヽて物体の絶対速度（ V )を求める物体絶対速度算出手段 (42)と、
ABS
前記物体絶対速度算出手段 (42)で求められた前記絶対速度 (V )に基づき、前
ABS
記物体が静止物か否かを判断する静止物判断手段と、
を備えることを特徴とする物体検出装置。 補正された^紙 （条約第^条)
PCT/JP2005/014785 2004-08-11 2005-08-11 物体検出装置 WO2006016663A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP05770610A EP1780675B1 (en) 2004-08-11 2005-08-11 Object detector
US11/659,911 US8331653B2 (en) 2004-08-11 2005-08-11 Object detector
DE602005024280T DE602005024280D1 (de) 2004-08-11 2005-08-11 Objektdetektor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004234947A JP4328692B2 (ja) 2004-08-11 2004-08-11 物体検出装置
JP2004-234947 2004-08-11

Publications (1)

Publication Number Publication Date
WO2006016663A1 true WO2006016663A1 (ja) 2006-02-16

Family

ID=35839422

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/014785 WO2006016663A1 (ja) 2004-08-11 2005-08-11 物体検出装置

Country Status (5)

Country Link
US (1) US8331653B2 (ja)
EP (1) EP1780675B1 (ja)
JP (1) JP4328692B2 (ja)
DE (1) DE602005024280D1 (ja)
WO (1) WO2006016663A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009104363A (ja) * 2007-10-23 2009-05-14 Tamagawa Gakuen 物体識別装置

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100724134B1 (ko) * 2006-01-09 2007-06-04 삼성전자주식회사 이미지 매칭 속도와 블렌딩 방법을 개선한 파노라마 영상제공 방법 및 장치
JP4879031B2 (ja) * 2007-01-11 2012-02-15 三洋電機株式会社 運転支援システム、画像処理装置及びずれ検出方法
US8300887B2 (en) * 2007-05-10 2012-10-30 Honda Motor Co., Ltd. Object detection apparatus, object detection method and object detection program
JP4557041B2 (ja) * 2008-04-18 2010-10-06 株式会社デンソー 車両用画像処理装置
JP5089545B2 (ja) * 2008-09-17 2012-12-05 日立オートモティブシステムズ株式会社 道路境界検出判断装置
JP5163409B2 (ja) * 2008-10-03 2013-03-13 ソニー株式会社 撮像装置、撮像方法、およびプログラム
US20110205365A1 (en) * 2008-10-28 2011-08-25 Pasco Corporation Road measurement device and method for measuring road
CN101408978B (zh) * 2008-11-27 2010-12-01 东软集团股份有限公司 一种基于单目视觉的障碍物检测方法及装置
JP5068779B2 (ja) * 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
US8878905B2 (en) 2009-06-17 2014-11-04 3Shape A/S Focus scanning apparatus
JP2011033594A (ja) * 2009-08-06 2011-02-17 Panasonic Corp 車両用距離算出装置
JP5761910B2 (ja) * 2009-12-17 2015-08-12 キヤノン株式会社 速度検出装置
EP2592595A4 (en) * 2010-06-30 2017-11-15 Panasonic Intellectual Property Management Co., Ltd. Stereo image processing apparatus and method of processing stereo image
JP5751842B2 (ja) 2010-09-16 2015-07-22 キヤノン株式会社 速度検出装置および画像形成装置
US9280711B2 (en) * 2010-09-21 2016-03-08 Mobileye Vision Technologies Ltd. Barrier and guardrail detection using a single camera
US9959595B2 (en) 2010-09-21 2018-05-01 Mobileye Vision Technologies Ltd. Dense structure from motion
JP5392415B2 (ja) * 2010-09-22 2014-01-22 富士通株式会社 ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
US8818702B2 (en) * 2010-11-09 2014-08-26 GM Global Technology Operations LLC System and method for tracking objects
DE102011113077A1 (de) * 2011-09-07 2013-03-07 Conti Temic Microelectronic Gmbh Verfahren zur Bestimmung einer Durchfahrbarkeit eines Objekts für ein Fahrzeug mittels einer 3D-Kamera
DE102011084554A1 (de) * 2011-10-14 2013-04-18 Robert Bosch Gmbh Verfahren zur Darstellung eines Fahrzeugumfeldes
JP5818091B2 (ja) * 2011-12-27 2015-11-18 ソニー株式会社 画像処理装置、画像処理システム、画像処理方法、および、プログラム
WO2013111229A1 (ja) * 2012-01-23 2013-08-01 日本電気株式会社 カメラ校正装置、カメラ校正方法およびカメラ校正用プログラム
JP5792091B2 (ja) * 2012-02-16 2015-10-07 富士通テン株式会社 物体検出装置及び物体検出方法
JP2013210906A (ja) * 2012-03-30 2013-10-10 Sony Corp 制御方法、制御装置及びプログラム
US9228833B2 (en) * 2012-06-28 2016-01-05 GM Global Technology Operations LLC Wide baseline binocular object matching method using minimal cost flow network
US9201499B1 (en) * 2013-02-11 2015-12-01 Amazon Technologies, Inc. Object tracking in a 3-dimensional environment
JP6089819B2 (ja) * 2013-03-13 2017-03-08 株式会社ジェイテクト 軸受の構成部品の挙動解析方法および挙動解析装置
DE102013012930A1 (de) * 2013-08-02 2015-02-05 Connaught Electronics Ltd. Verfahren zum Bestimmen eines aktuellen Abstands und/oder einer aktuellen Geschwindigkeit eines Zielobjekts anhand eines Referenzpunkts in einem Kamerabild, Kamerasystem und Kraftfahrzeug
US9036867B2 (en) * 2013-08-12 2015-05-19 Beeonics, Inc. Accurate positioning system using attributes
US10010387B2 (en) * 2014-02-07 2018-07-03 3Shape A/S Detecting tooth shade
JP6303090B2 (ja) * 2014-03-24 2018-04-04 アルパイン株式会社 画像処理装置および画像処理プログラム
JP6384167B2 (ja) * 2014-07-17 2018-09-05 日本電気株式会社 移動体追跡装置及び移動体追跡方法、並びにコンピュータ・プログラム
JP6486069B2 (ja) * 2014-10-31 2019-03-20 株式会社東芝 画像処理装置、検査装置、検査方法及び画像処理プログラム
KR20160054825A (ko) * 2014-11-07 2016-05-17 현대모비스 주식회사 주행 가능 공간 판단 장치 및 방법
US10309797B2 (en) * 2014-12-19 2019-06-04 Here Global B.V. User interface for displaying navigation information in a small display
US10284794B1 (en) 2015-01-07 2019-05-07 Car360 Inc. Three-dimensional stabilized 360-degree composite image capture
KR101724300B1 (ko) * 2015-02-04 2017-04-07 엘지전자 주식회사 스테레오 카메라
KR102359083B1 (ko) 2015-06-02 2022-02-08 에스케이하이닉스 주식회사 움직이는 객체 검출 장치 및 방법
EP3125196B1 (en) * 2015-07-29 2018-02-21 Continental Automotive GmbH Drive-by calibration from static targets
CN105046235B (zh) * 2015-08-03 2018-09-07 百度在线网络技术（北京）有限公司 车道线的识别建模方法和装置、识别方法和装置
TWI616763B (zh) * 2015-09-25 2018-03-01 財團法人工業技術研究院 視訊索引建立方法及應用其之裝置
US10937168B2 (en) * 2015-11-02 2021-03-02 Cognex Corporation System and method for finding and classifying lines in an image with a vision system
DE102016120775A1 (de) 2015-11-02 2017-05-04 Cognex Corporation System und Verfahren zum Erkennen von Linien in einem Bild mit einem Sichtsystem
KR101822894B1 (ko) * 2016-04-07 2018-01-29 엘지전자 주식회사 차량 운전 보조 장치 및 차량
JP6786264B2 (ja) * 2016-05-27 2020-11-18 株式会社東芝 情報処理装置、情報処理方法、および車両
DE102016218853A1 (de) 2016-09-29 2018-03-29 Conti Temic Microelectronic Gmbh Detektion und Validierung von Objekten aus Bildern einer Kamera
DE102016218849A1 (de) * 2016-09-29 2018-03-29 Conti Temic Microelectronic Gmbh Detektion und Tracking von Objekten aus Bildern einer Kamera
DE102016218852A1 (de) 2016-09-29 2018-03-29 Conti Temic Microelectronic Gmbh Detektion von Objekten aus Bildern einer Kamera
DE102016225073A1 (de) * 2016-12-15 2018-06-21 Conti Temic Microelectronic Gmbh Vorrichtung zur bereitstellung einer verbesserten hinderniserkennung
WO2018150496A1 (ja) * 2017-02-15 2018-08-23 富士通周辺機株式会社 情報処理装置、情報処理方法、および情報処理プログラム
DE102017215718B4 (de) * 2017-09-07 2019-06-13 Audi Ag Verfahren zum Auswerten eines optischen Erscheinungsbildes in einer Fahrzeugumgebung und Fahrzeug
JP7013182B2 (ja) * 2017-09-21 2022-01-31 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
CN112585667A (zh) * 2018-05-16 2021-03-30 康耐克斯数字有限责任公司 智能平台柜台展示系统和方法
EP3573025A1 (en) * 2018-05-24 2019-11-27 Honda Research Institute Europe GmbH Method and system for automatically generating an appealing visual based on an original visual captured by the vehicle mounted camera
JP7134780B2 (ja) * 2018-08-13 2022-09-12 日立Astemo株式会社 ステレオカメラ装置
CN109242903B (zh) 2018-09-07 2020-08-07 百度在线网络技术（北京）有限公司 三维数据的生成方法、装置、设备及存储介质
CN109446886B (zh) * 2018-09-07 2020-08-25 百度在线网络技术（北京）有限公司 基于无人车的障碍物检测方法、装置、设备以及存储介质
CN109300143B (zh) * 2018-09-07 2021-07-27 百度在线网络技术（北京）有限公司 运动向量场的确定方法、装置、设备、存储介质和车辆
JP7143703B2 (ja) * 2018-09-25 2022-09-29 トヨタ自動車株式会社 画像処理装置
DE102018216413A1 (de) * 2018-09-26 2020-03-26 Robert Bosch Gmbh Vorrichtung und Verfahren zur automatischen Bildverbesserung bei Fahrzeugen
US11691630B2 (en) * 2018-12-19 2023-07-04 Here Global B.V. Road surface detection
US11538188B1 (en) * 2019-06-05 2022-12-27 Hunter Engineering Company Methods for spatial calibration of vehicle ADAS service system
CN113011445A (zh) * 2019-12-19 2021-06-22 斑马智行网络(香港)有限公司 标定方法、识别方法、装置及设备
US11748844B2 (en) 2020-01-08 2023-09-05 Carvana, LLC Systems and methods for generating a virtual display of an item

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02156383A (ja) * 1988-12-08 1990-06-15 Fuji Electric Co Ltd パターンマッチング方法
JPH11252587A (ja) * 1998-03-03 1999-09-17 Matsushita Electric Ind Co Ltd 物体追跡装置
JP2000293693A (ja) 1999-03-31 2000-10-20 Toshiba Corp 障害物検出方法および装置
JP2001021345A (ja) 1999-07-07 2001-01-26 Tokai Rika Co Ltd 障害物検出装置
JP2001242934A (ja) * 2000-02-28 2001-09-07 Honda Motor Co Ltd 障害物検出装置、障害物検出方法、及び障害物検出プログラムを記録した記録媒体
JP2001243456A (ja) * 2000-02-29 2001-09-07 Toshiba Corp 障害物検出装置及び障害物検出方法
JP2002157599A (ja) * 2000-11-17 2002-05-31 Nippon Telegr & Teleph Corp <Ntt> 物体検出認識方法，物体検出認識プログラムを記録した記録媒体および物体監視追跡装置
JP2003269937A (ja) * 2002-03-15 2003-09-25 Sony Corp 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置
JP2004177295A (ja) * 2002-11-27 2004-06-24 Toyota Central Res & Dev Lab Inc 距離情報選択方法及び距離情報選択装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69833813T2 (de) * 1997-05-22 2006-11-30 Kabushiki Kaisha Topcon Vorrichtung zur Korrespondenzsuche in einem Bildpaar
JP3562751B2 (ja) 1998-06-09 2004-09-08 矢崎総業株式会社 前方車両検出方法及び装置
JP2004518105A (ja) * 1999-11-12 2004-06-17 ゴー・センサーズ・エルエルシー 向きと距離を測定するための方法と装置
US6801244B2 (en) * 2000-02-29 2004-10-05 Kabushiki Kaisha Toshiba Obstacle detection apparatus and method
DE10301468B4 (de) * 2002-01-18 2010-08-05 Honda Giken Kogyo K.K. Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs
JP2004030453A (ja) 2002-06-27 2004-01-29 Starlabo Corp ステレオマッチング方法、ステレオマッチングプログラム及びステレオマッチングプログラムを記録したコンピュータ読み取り可能な記録媒体
US6900731B2 (en) * 2002-10-30 2005-05-31 Bellsouth Intellectual Property Corporation Method for monitoring and tracking objects
US7831087B2 (en) * 2003-10-31 2010-11-09 Hewlett-Packard Development Company, L.P. Method for visual-based recognition of an object
US20050196015A1 (en) * 2004-03-02 2005-09-08 Trw Automotive U.S. Llc Method and apparatus for tracking head candidate locations in an actuatable occupant restraining system
WO2006028180A1 (ja) * 2004-09-10 2006-03-16 Matsushita Electric Industrial Co., Ltd. カメラ及びカメラ装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02156383A (ja) * 1988-12-08 1990-06-15 Fuji Electric Co Ltd パターンマッチング方法
JPH11252587A (ja) * 1998-03-03 1999-09-17 Matsushita Electric Ind Co Ltd 物体追跡装置
JP2000293693A (ja) 1999-03-31 2000-10-20 Toshiba Corp 障害物検出方法および装置
JP2001021345A (ja) 1999-07-07 2001-01-26 Tokai Rika Co Ltd 障害物検出装置
JP2001242934A (ja) * 2000-02-28 2001-09-07 Honda Motor Co Ltd 障害物検出装置、障害物検出方法、及び障害物検出プログラムを記録した記録媒体
JP2001243456A (ja) * 2000-02-29 2001-09-07 Toshiba Corp 障害物検出装置及び障害物検出方法
JP2002157599A (ja) * 2000-11-17 2002-05-31 Nippon Telegr & Teleph Corp <Ntt> 物体検出認識方法，物体検出認識プログラムを記録した記録媒体および物体監視追跡装置
JP2003269937A (ja) * 2002-03-15 2003-09-25 Sony Corp 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置
JP2004177295A (ja) * 2002-11-27 2004-06-24 Toyota Central Res & Dev Lab Inc 距離情報選択方法及び距離情報選択装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HEUNG-YEUNG SHUM; RICHARD SZELISKI: "Technical report", 1998, MICROSOFT RESEARCH, article "Panoramic Image Mosaics"
See also references of EP1780675A4
SEKI A ET AL.: "JOHO SHORI GAKKAI KENKYUU HOUKOKU", vol. 26, 2004, JOHO SHORI GAKKAI, article "Stereo Dogazo o Riyo shita Heimen Ryoiki Chushutsu ni yoru Shogaibutsu Kenshutsu /EXTRACTION OF PLANAR REGION AND OBSTACLE DETECTION USING STEREO IMAGES", pages: 17 - 24

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009104363A (ja) * 2007-10-23 2009-05-14 Tamagawa Gakuen 物体識別装置

Also Published As

Publication number Publication date
JP4328692B2 (ja) 2009-09-09
EP1780675B1 (en) 2010-10-20
US20090169052A1 (en) 2009-07-02
EP1780675A4 (en) 2009-08-19
US8331653B2 (en) 2012-12-11
DE602005024280D1 (de) 2010-12-02
JP2006053756A (ja) 2006-02-23
EP1780675A1 (en) 2007-05-02

Similar Documents

Publication Publication Date Title
WO2006016663A1 (ja) 物体検出装置
JP3937414B2 (ja) 平面検出装置及び検出方法
JP4297501B2 (ja) 移動体周辺監視装置
JP6550881B2 (ja) 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
US7103213B2 (en) Method and apparatus for classifying an object
US7667581B2 (en) Pedestrian detector and detecting method using change of velocity of object in image
CN102194239B (zh) 用于处理图像数据的方法和系统
US20050232463A1 (en) Method and apparatus for detecting a presence prior to collision
JP5083543B2 (ja) 移動ロボットの走行領域判別装置及び走行領域判別方法
JP2005136946A (ja) 路上走行車両用のカメラ式位置認識装置および方法
Fernández et al. Curvature-based curb detection method in urban environments using stereo and laser
JP4797846B2 (ja) 区画線検出装置及び車線検出装置
JP2006053754A (ja) 平面検出装置及び検出方法
JP4270386B2 (ja) 移動体移動量算出装置
JP5981284B2 (ja) 対象物検出装置、及び対象物検出方法
US20230351687A1 (en) Method for detecting and modeling of object on surface of road
Nedevschi et al. Online extrinsic parameters calibration for stereovision systems used in far-range detection vehicle applications
JP3503543B2 (ja) 道路構造認識方法、距離測定方法及び距離測定装置
JP2017182564A (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
WO2006123438A1 (ja) ステレオ画像を用いた道路平面領域並びに障害物検出方法
Lefée et al. Cooperation of passive vision systems in detection and tracking of pedestrians
Kalpana et al. Implementation of RTT-GM for Vehicular Recognition and Localization
CN116263324A (zh) 用于确定车辆环境的三维数据的设备、车辆和方法
Demonceaux et al. Obstacle detection in road scene based on road detection and motion analysis

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2005770610

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 2005770610

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11659911

Country of ref document: US