WO2010078738A1 - 一种检测障碍物的方法和装置 - Google Patents

一种检测障碍物的方法和装置 Download PDF

Info

Publication number
WO2010078738A1
WO2010078738A1 PCT/CN2009/071561 CN2009071561W WO2010078738A1 WO 2010078738 A1 WO2010078738 A1 WO 2010078738A1 CN 2009071561 W CN2009071561 W CN 2009071561W WO 2010078738 A1 WO2010078738 A1 WO 2010078738A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature
obstacle
displacement amount
camera
time
Prior art date
Application number
PCT/CN2009/071561
Other languages
English (en)
French (fr)
Inventor
刘威
杨恒
袁淮
Original Assignee
东软集团股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 东软集团股份有限公司 filed Critical 东软集团股份有限公司
Publication of WO2010078738A1 publication Critical patent/WO2010078738A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present invention relates to the field of obstacle detection technology, and in particular, to a method and apparatus for detecting an obstacle.
  • obstacles In the field of vision-based obstacle detection, obstacles generally refer to solid objects above the ground.
  • detecting obstacles including moving obstacles and stationary obstacles
  • motion compensation-based detection methods there are three methods for detecting obstacles (including moving obstacles and stationary obstacles) using a monocular camera in motion: feature-based obstacle detection methods, motion compensation-based detection methods, and optical flow detection methods.
  • Feature-based obstacle detection methods usually use the characteristics of obstacles for detection. It is necessary to know the characteristics of the obstacles to be detected in advance, so it is only suitable for the detection of specific types of obstacles, such as the use of vehicle bottom shadows, lights, etc.
  • the vehicle is tested to detect pedestrians and the like using symmetry and color features.
  • the principle is that the pixel value of the corresponding image point in the image frame of a certain two time is unchanged at any point of the road plane under the condition that the road is flat and the illumination condition is unchanged in a short time.
  • optical flow based method is computationally intensive and susceptible to noise.
  • the device without limiting the type of obstacle, can realize the difference between the road plane and any type of obstacle, and The calculation is simple, the application range is wide, and the detection precision is high.
  • Embodiments of the present invention provide a method for detecting an obstacle, including:
  • the displacement amount of the feature pair corresponding road surface projection coordinates is compared with the actual displacement amount of the camera optical center, and the obstacle is determined based on the comparison result.
  • the feature set in the feature set of the T1 time image is a feature point, and the feature pair obtained by the feature set matching the feature set of the T1 time image at the time T2 is a feature point pair; or
  • the feature set in the feature set of the T1 time image is a feature line segment; the feature pair obtained by the feature set matching the feature set of the T1 time image at the time T2 is a feature line segment pair; or the T1 time
  • the feature set in the feature set of the image is a feature region; the feature pair obtained by the image frame at the time T2 is matched with the feature set matching the feature set of the T1 time image is a feature region pair.
  • the feature in the feature set is a feature point, and the feature point is a corner point.
  • the step of calculating the actual displacement amount of the camera optical center at the time T1 to T2 includes:
  • the maximum possible value of the camera displacement is preset to ⁇ ;
  • the interval [ ⁇ , ⁇ ] is step t Long divided into / cells, expressed as [0, t ⁇ [t, 2t ⁇ ⁇ , [(/- 1 , ⁇ ,[(/- 1 , ⁇ ];
  • Q is the number of image frames captured by the camera in one second, and "contains between the T1 time image and the T2 time image. The number of frames.
  • the step of determining the obstacle according to the comparison result by comparing the displacement amount of the feature pair corresponding road surface projection coordinates with the actual displacement amount of the camera optical center includes:
  • the characteristic corresponding to the displacement amount ⁇ 3 ⁇ 4 belongs to a non-obstacle
  • the displacement amount ⁇ 4 is greater than the first obstacle threshold TW, the feature corresponding to the displacement amount PD t belongs to an obstacle.
  • the step of obtaining the first obstacle threshold ThO according to the actual displacement amount of the camera optical center includes:
  • 73 ⁇ 40 represents the first obstacle threshold, "is a constant greater than 1, and 7 represents the actual displacement of the camera's optical center from T1 to T2.
  • the step of determining the obstacle according to the comparison result by comparing the displacement amount of the feature pair corresponding road surface projection coordinates with the actual displacement amount of the camera optical center includes:
  • the displacement amount ⁇ 3 ⁇ 4 is smaller than the second obstacle threshold ⁇ , the feature corresponding to the displacement amount belongs to a non-obstacle;
  • the displacement amount 3 ⁇ 4 is greater than the third obstacle threshold Th2, the feature corresponding to the displacement amount PD t belongs to an obstacle;
  • the existing obstacle recognition method is used to determine whether the feature corresponding to the displacement amount 3 ⁇ 4 belongs to the obstacle.
  • the step of obtaining the second obstacle threshold 7 and the third obstacle threshold Th2 according to the actual displacement amount of the camera optical center includes:
  • Th2 yxT
  • 7 represents the second obstacle threshold
  • 73 ⁇ 42 represents the third obstacle threshold
  • 7 represents the actual displacement of the camera's optical center from T1 to T2, which is a constant greater than, a constant greater than or equal to 1.
  • An embodiment of the present invention further provides an apparatus for detecting an obstacle, including:
  • the feature pair acquisition unit is configured to acquire two frames of images at time T1 and time T2, and perform feature detection on the image frame at time T1 to obtain a feature set of the image at time T1, and obtain image characteristics of the image at the time T1 at the time T2
  • the set of feature pairs matched by the set phase; wherein, the time T1 is less than the time T2;
  • the displacement amount calculation unit is configured to calculate the displacement amount of the road surface projection coordinate corresponding to each feature pair of the feature pair, wherein the feature pairs are in-set features The serial number of the pair; and, calculate the actual displacement of the optical center of the camera from T1 to T2;
  • the obstacle detecting unit compares the displacement amount pz3 ⁇ 4 of the feature pair corresponding road surface projection coordinates with the actual displacement amount of the camera optical center, and determines an obstacle based on the comparison result.
  • the displacement amount calculation unit includes:
  • a feature pair calculation unit configured to calculate a displacement amount of the road surface projection coordinate corresponding to each feature pair in the feature pair, where is a sequence number of the feature pair in the feature pair set;
  • the displacement amount calculation unit of the camera optical center is used to calculate the actual displacement amount of the camera optical center from T1 to ⁇ 2.
  • the displacement amount calculation unit of the camera optical center includes:
  • a preset unit configured to set the obtained coordinate displacement of the road surface corresponding to the feature point pairs as
  • the maximum possible value of the camera displacement is preset as MaxT; the interval [ ⁇ , ⁇ ] is divided into / between cells in steps of t, expressed as [0, t ], ⁇ ,[( - 1 , tl ⁇ ,[(/- 1 , MaxT];
  • a judgment calculation unit configured to determine that if the minimum number of thresholds is greater than or equal to
  • the average value of all 3's in [(-1]] is used as the actual displacement of the camera's optical center from T1 to T2.
  • the displacement amount calculation unit of the camera optical center includes:
  • r (7Q)*( « +1)
  • 7 is the actual displacement of the camera's optical center from T1 to T2, indicating the camera moving speed in seconds
  • Q is the number of image frames captured by the camera in one second
  • the frame indicating the interval between the T1 time image and the T2 time image. number.
  • the obstacle detecting unit includes:
  • a first threshold value calculating unit configured to obtain a first obstacle threshold value according to an actual displacement amount of the camera optical center 73 ⁇ 40;
  • the obstacle detecting unit includes:
  • a second threshold calculating unit configured to obtain a second obstacle threshold 7 and a third obstacle threshold 73 ⁇ 42 according to an actual displacement amount of the camera optical center, wherein the second obstacle threshold 7 is smaller than the third obstacle Threshold Thl ;
  • a second comparison determining unit configured to determine that the displacement amount ⁇ 3 ⁇ 4 is smaller than the second obstacle threshold value 7, and that the feature corresponding to the displacement amount ⁇ 3 ⁇ 4 belongs to a non-obstacle; determining that the displacement amount ⁇ 3 ⁇ 4 is greater than the third obstacle
  • the threshold value is 73 ⁇ 4 2
  • the present invention by using the feature pair to compare the displacement amount of each feature pair in the road surface projection coordinates with the actual displacement amount of the camera optical center, it is possible to distinguish the displacement amount of the feature pair in the road surface projection coordinates.
  • the feature belongs to an obstacle or not has the advantages of simple calculation, wide application range, high detection precision, and the like, and the detection method provided by the present invention does not limit the type of the obstacle, and can realize the difference between the road plane and any type of obstacle.
  • the illumination change is not sensitive.
  • FIG. 1 is a flow chart of a method of detecting an obstacle according to an embodiment of the present invention
  • FIG. 2 is a point on a road surface and a point on an obstacle in accordance with an embodiment of the present invention, respectively.
  • Figure 3 is a schematic view showing the three-dimensional projection of the embodiment shown in Figure 2;
  • Figure 4 is a top plan view of the X-Z plane of the embodiment shown in Figure 3;
  • Figure 5 is a schematic view showing the Z-axis of the camera coordinate system at time T2 and the Z-axis of the camera coordinate system at time T1 being non-parallel;
  • FIG. 6 is a schematic diagram of feature points detected on an image at time T1 according to an embodiment of the present invention
  • FIG. 7 is a schematic diagram of feature points tracked on an image at time T2 in the embodiment shown in FIG. 6; 6 and a schematic diagram of feature points matching the feature points tracked at time T2 on the T1 time image of the embodiment shown in FIG. 7;
  • FIG. 9 is a schematic diagram of partitioning a coordinate displacement of a road surface projection based on a single feature method for detecting matching feature points according to an embodiment of the present invention.
  • FIG. 10 is a schematic diagram of dividing a displacement amount of a road surface projection coordinate by a double-kurm method matching feature point according to an embodiment of the present invention.
  • FIG. 11 is a schematic diagram showing an obstacle detection result on an image at time T2 according to an embodiment of the present invention
  • FIG. 12 is a schematic structural view of an apparatus for detecting an obstacle according to an embodiment of the present invention.
  • An embodiment of the present invention provides a method for detecting an obstacle, including: acquiring two images of a T1 time and a T2 time, performing feature detection on an image frame at a time T1, and obtaining a feature set of the T1 time image, and obtaining the image frame at the T2 time a feature pair set matching the feature set of the T1 time image; wherein, the T1 time is less than the T2 time; calculating the feature pair to concentrate each feature pair on the road surface projection The displacement amount in the standard, where i is the sequence number of the feature pair in the feature pair; calculating the actual displacement amount of the camera optical center from T1 to T2; shifting the feature to the displacement of the road surface projection coordinate 3 ⁇ 4 with the camera light The actual displacement of the heart is compared, and the obstacle is determined based on the comparison result.
  • the detection method provided by the present invention does not limit the type of obstacle, and can realize the difference between the road plane and any type of obstacle. Further, when the feature set in the feature set of the obtained T1 time image is a corner feature, and the feature pair set matching the feature set of the T1 time image in the image frame at the time T2 is obtained by the tracking matching method, the illumination change is not sensitive.
  • FIG. 1 there is shown a flow chart of a method of detecting an obstacle in accordance with an embodiment of the present invention.
  • Step 101 Obtain two images of the T1 time and the T2 time, wherein the T1 time is less than the T2 time in this embodiment.
  • the image at time T1 is recorded as the first frame, that is, Iml
  • the image at time T2 is recorded as the current frame, Im2.
  • time T1 can be greater than the time T2, that is, as long as the two times are not equal, the detection order can be interchanged.
  • Step 102 Perform feature detection on the image frame at time T1 to obtain a feature set of the image at time T1. Specifically, feature detection is performed on Iml, and a feature set is obtained.
  • the features in the above feature set may be feature points, or feature line segments, or feature regions, and the like.
  • the feature points in the feature set are taken as an example for description.
  • the feature line segment and the feature region are similar, and will not be described again.
  • the feature pair obtained by the feature set matching the feature set of the T1 time image at the time T2 is also a feature point pair; if the T1 time image is The feature set in the feature set is the feature line segment, and the feature pair in the feature pair that matches the feature set of the T1 time image image at the time T2 is also the feature line segment pair; if the feature set in the feature set of the T1 time image is the feature region Then, at the time T2, the feature pair obtained by the image frame matching the feature set of the T1 time image is a feature region pair.
  • Harris corner detection operators include: Harris corner detection operator, SUSAN corner detection operator and corner detection operator of eigenvalue.
  • the method for performing feature detection on the image frame at time T1 includes: a Harris corner detection operator method, a SUSAN corner point detection operator method, or a corner point detection operator method of feature values.
  • the Harris corner detection operator is used to detect the feature points on the Iml image, that is, the feature points in the embodiment of the present invention are corner points.
  • FIG. 6 is a schematic diagram of feature points detected on an image at time T1 according to an embodiment of the invention.
  • the dark triangles and columns in the figure represent obstacles, the light gray parallelograms represent the road surface, and the white arrows belong to the road surface area.
  • a total of 9 feature points are detected for ⁇ 0 1 ⁇ 0 2 , ⁇ 0 3 , ⁇ 0 4 , ⁇ 0 5 , ⁇ 0 6 , ⁇ 0 7 , ⁇ 0 8 , ⁇ 0 9 .
  • Step 103 At ⁇ 2, the image frame obtains a feature pair matching the feature set of the T1 time image. Specifically, the feature point matching the previous frame is obtained in the current frame: the feature point on the Iml obtained in step 102. 1, ⁇ ⁇ ⁇ , ⁇ Use the matching algorithm to obtain matching feature point pairs on Im2.
  • Commonly used feature point matching algorithms include template matching algorithm and optical flow tracking algorithm.
  • the Lucas and Kanade's pyramid-based optical flow algorithm is used to obtain the Pisixi feature points.
  • FIG. 7 a schematic diagram of feature points tracked on the T2 time image of the embodiment shown in FIG. 6 is shown.
  • the dark triangles and columns represent obstacles
  • the light gray parallelograms represent the road surface
  • the white arrows belong to the road surface area.
  • P2 1 P2 2 , P2 3 , P2 4 , P2 5 , P2 6 , P2 7 are T2 keeps track of the points that are obtained.
  • FIG. 8 a schematic diagram of feature points matching the feature points tracked at time T2 on the T1 time image of the embodiment shown in FIG. 6 and FIG. 7 is shown. It can be seen from the figure that the feature point pair set obtained by the image frame at the time T2 and matched with the feature set of the T1 time image includes P, Pl 2 , Pl 3 , Pl 4 , Pl 5 ,
  • FIG. 2 is a schematic diagram of two-dimensional projection of a point on a road surface and a point on an obstacle in an image of time T1 and T2, respectively, according to an embodiment of the present invention
  • FIG. 3 is a schematic view of FIG. 3D projection of the embodiment
  • FIG. 4 is a top view of the X-Z plane of the embodiment shown in FIG.
  • the camera coordinate system and the world coordinate system are coincident, and the main optical axis of the camera is parallel to the road surface.
  • ⁇ ⁇ . 0 2 represents the optical center of the camera at the time of Ti and ⁇ 2 respectively;
  • ⁇ ⁇ represents a point on the road surface,
  • n G and P 2 G represent their mapping on Iml and Im2;
  • P. Indicates a point on the obstacle, Pl. , P2.
  • ⁇ and Pl OG represent Pl, respectively.
  • P2 0 projection on the road surface Use the following method to calculate the projection coordinates of any image point on the road surface (if the image point can be projected onto the road surface), as follows:
  • r, c are the row coordinates and column coordinates of the point in the image, respectively, and P is the point on the road plane. (; ⁇ , J, Zj's resulting image points. According to the camera imaging formula:
  • the point p can be calculated.
  • World coordinates It is known that J is equal to the camera height, , , ⁇ . , ⁇ . It is the camera's internal parameters and can be obtained by camera calibration.
  • Z c is ⁇ . The coordinates of the ⁇ axis in the camera coordinate system can be obtained during the calculation of the camera imaging formula.
  • the image coordinates (r, c) are known and the camera height is known, the world coordinates of the road plane point corresponding to the image point can be obtained, that is, the projection coordinates of the image point on the road surface. .
  • the projection coordinates of each pair of matching feature points on the road surface in the respective world coordinate system, that is, the camera coordinate system can be obtained. From the imaging principle and Figure 4, the following inference can be made:
  • 3 ⁇ 4 calculated by the equation (3) is called the camera displacement and is denoted as T.
  • the following conclusions can be drawn: Whether the ⁇ axis of the camera coordinate system at time ⁇ 2 is parallel to the ⁇ axis of the camera coordinate system at time T1, when the matching feature point pairs belong to the road surface, their projections on the road surface
  • the coordinate displacement amount is equal to the actual displacement amount of the camera optical center, that is, the displacement amount of the camera corresponding to the time period; and the projection coordinate displacement amount on the road surface of the matching feature point on the three-dimensional object is larger than the actual displacement amount of the camera optical center.
  • each feature pair obtained in step 103 is a feature point pair on the road surface, since the displacement amount of the feature point pair on the road surface is equal to the actual displacement amount of the camera optical center, thus, (2) obtaining a displacement amount of each feature pair in the road surface projection coordinate in the feature pair obtained in step 103;
  • step c) comparing the displacement amount calculated by the step a) with the displacement amount calculated in the step b), if the displacement amount of the step a) is equal to the displacement amount of the step b), that is, the displacement amount of the feature point pair on the road surface Wait
  • the above assumption is correct for the actual displacement of the optical center of the camera, that is, the corresponding feature belongs to the road plane, that is, the non-obstacle; if the displacement of step a) is greater than the displacement of step b), that is, the road If the displacement of the feature point pair on the surface is greater than the actual displacement of the camera's optical center, the above assumption is considered to be erroneous, that is, the feature corresponding to the feature belongs to the obstacle.
  • Step 104 Calculate the displacement amount of each feature pair in the road surface projection coordinate in the feature pair described in step 103, where is the sequence number of the feature pair in the feature pair.
  • Step 105 Calculate the actual displacement of the optical center of the camera from T1 to T2.
  • the actual amount of displacement of the camera's optical center is calculated in an estimated manner. This is because the road surface projection coordinate displacements belonging to the matching feature point pairs on the road surface are approximately equal, and the road surface projection coordinate displacement amounts belonging to the matched feature point pairs on the obstacle are varied widely.
  • the camera movement speed and the camera displacement amount have the following relationship:
  • T (V/Ct)*(n +1) (4) Among them, 7 represents the actual displacement of the camera's optical center from T1 to T2, V represents the camera moving speed in seconds, Q represents the number of image frames captured by the camera in one second, and “the image of the T1 time image is separated from the ⁇ 2 time image. The number of frames.
  • Step 106 Compare the displacement amount of the feature pair corresponding road surface projection coordinates with the actual displacement amount of the camera optical center, and determine an obstacle according to the comparison result.
  • ThO xT
  • 73 ⁇ 40 represents the first obstacle threshold, "is a constant greater than 1, and 7 represents the actual displacement of the camera's optical center from T1 to T2.
  • FIG. 9 is a schematic diagram of partitioning a coordinate displacement of a road surface projection based on a single feature method according to an embodiment of the present invention.
  • the ordinate indicates the i-th pair of feature points to the road surface projection coordinate displacement 3 ⁇ 4
  • the abscissa indicates the sequence number of the feature point pair, wherein the thick broken line indicates the first obstacle threshold line 73 ⁇ 40.
  • the double-wide value method can also be used for differentiation.
  • Th2 yxT
  • 7 represents the second obstacle threshold
  • 73 ⁇ 42 represents the third obstacle threshold
  • 7 represents the actual displacement of the camera's optical center from T1 to T2, which is a constant greater than ⁇ is a constant greater than or equal to 1.
  • the existing obstacle recognition method may be any existing method, such as a motion compensation based obstacle detection method, a vertical edge feature based obstacle detection method, or the like.
  • FIG. 10 it is a schematic diagram of dividing a coordinate displacement of a road surface projection feature point by a double-wide value method according to an embodiment of the present invention.
  • the ordinate indicates the number of the i-th pair of feature points to the road surface projection coordinate displacement abscissa indicating the feature point pair, where the thick solid line indicates the third obstacle threshold 73 ⁇ 42, and the thick dotted line indicates the second obstacle threshold ⁇ , m ⁇ i.
  • FIG. 11 is a schematic diagram of an obstacle detection result on an image at time T2 according to an embodiment of the present invention.
  • the solid dots in the figure represent the feature points belonging to the obstacle, that is, P2 1 P2 6 and P2 7 belong to the feature points of the obstacle, and the hollow dots represent the feature points belonging to the road plane, namely P2 2 , P2 3 , P2 4 and P2 5 belongs to the feature points on the road plane.
  • the displacement of the feature pair in the projected coordinates of the road surface can be distinguished.
  • the detection method provided by the invention does not limit the type of the obstacle, and can realize the difference between the road plane and any type of obstacle.
  • the embodiment of the present invention further provides an apparatus for detecting an obstacle.
  • the method includes: a feature pair acquisition unit 1201, configured to acquire two frames of images at time T1 and time T2, and perform feature detection on an image frame at time T1. Obtaining a feature set of the T1 time image, and obtaining, at the T2 time, the feature set matching the feature set of the T1 time image; wherein, the T1 time is less than the T2 time;
  • a displacement amount calculation unit 1202 configured to calculate each feature set from T1 to T2
  • the displacement amount of the projection coordinates on the road surface is the sequence number of the feature pairs in the feature pair; and, the calculation is used to calculate the actual displacement amount of the camera optical center of the displacement of the camera optical center at the time T1 to T2;
  • the obstacle detecting unit 1203 compares the displacement amount PZ3 ⁇ 4 of the feature pair corresponding road surface projection coordinates with the actual displacement amount of the camera optical center displacement amount of the camera optical center, and determines the obstacle according to the comparison result.
  • the displacement amount calculation unit 1202 may include:
  • a feature pair calculation unit configured to calculate a displacement amount of the road surface projection coordinate corresponding to each feature pair in the feature pair, where is a sequence number of the feature pair in the feature pair set;
  • the displacement amount calculation unit of the camera optical center is used to calculate the actual displacement amount of the camera optical center from T1 to ⁇ 2.
  • the displacement amount calculation unit of the camera optical center may further include:
  • a preset unit configured to set the obtained coordinate displacement of the road surface corresponding to the feature point pairs as
  • the maximum possible value of the camera displacement is preset as MaxT; the interval [ ⁇ , ⁇ ] is divided into / between cells in steps of t, expressed as [0, 4 [ 2 , [( _1>, small, [(/_1>, ⁇ « ⁇ 1;
  • the judging calculation unit is configured to determine, if greater than or equal to the minimum number of thresholds, the mean value of all 3 ⁇ 4 in the [A1>], and the average value as the optical center of the camera at the time T1 to T2 Displacement The actual amount of displacement of the camera's optical center.
  • the displacement amount calculation unit of the camera optical center may further include:
  • a calculation unit for calculating the displacement amount of the camera's optical center, the actual displacement amount of the camera's optical center, where T (V/Ct)*(n +1) , where 7 represents the displacement of the optical center of the camera from T1 to T2
  • the actual displacement amount of the camera's optical center indicates the camera moving speed in seconds
  • Q indicates the number of image frames captured by the camera in one second
  • the number of frames indicating the interval between the T1 time image and the T2 time image.
  • the displacement amount calculation unit of the camera optical center may include a preset unit, a record selection unit, a judgment calculation unit, and a calculation unit to support two camera optical center actual displacement amount algorithms; or, only include preset units, records Select the unit and judge the calculation unit, that is, only support cannot obtain the camera The calculation method of the moving speed; or, only the calculating unit, that is, only the calculation method capable of obtaining the moving speed of the camera is supported.
  • the obstacle detecting unit 1203 may include:
  • a first threshold value calculation unit configured to obtain a first obstacle threshold T according to an actual displacement of the camera's optical center
  • the obstacle detecting unit 1203 may include:
  • a second threshold value calculating unit configured to obtain a second obstacle threshold m and a third obstacle threshold i according to an actual displacement amount of the camera optical center of the optical center of the camera, the second obstacle threshold m is smaller than the third obstacle value of 73 ⁇ 42;
  • a second comparison determining unit configured to determine that the displacement amount 3 ⁇ 4 is smaller than the second obstacle width value 7, and determine that the feature corresponding to the displacement amount belongs to a non-obstacle; and determine that the displacement amount PA is greater than the third obstacle width
  • the value is 73 ⁇ 42, it is determined that the feature corresponding to the displacement amount belongs to an obstacle; and if the displacement amount is greater than or equal to the second obstacle threshold 7 and less than or equal to the third obstacle threshold 73 ⁇ 42, the existing obstacle is combined
  • the identification method determines whether the feature corresponding to the displacement amount 3 ⁇ 4 belongs to an obstacle.
  • the existing obstacle recognition method may be any existing method such as a motion compensation based obstacle detection method, a vertical edge feature based obstacle detection method, or the like.
  • the obstacle detecting unit 1203 may include: a first threshold calculating unit, a first comparing determining unit, a second threshold calculating unit, and a second comparing determining unit, that is, the detection of the single threshold or the double threshold may be supported. Or only the first threshold value calculation unit and the first comparison determination unit are included, that is, only the single threshold value detection method is supported; or only the second threshold value calculation unit and the second comparison determination unit are included, that is, only the double is supported. Wide value detection method.
  • the device for detecting obstacles By using the device for detecting obstacles provided by the present invention, by using the feature to compare the displacement amount of each feature pair in the projection coordinates of the road surface with the camera displacement amount, the displacement of the feature pair in the projected coordinates of the road surface can be distinguished. Whether the feature corresponding to the quantity belongs to an obstacle has the advantages of simple calculation, wide application range, high detection precision, etc. Moreover, the detection method provided by the invention does not limit the type of the obstacle, and can realize the difference between the road plane and any type of obstacle. . Again, when getting the image of the T1 moment The feature set in the feature set is the corner feature, and the feature pair set matching the feature set of the T1 time image in the image frame at the time T2 by the tracking matching method is insensitive to the illumination change.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Description

一种检测障碍物的方法和装置
本申请要求于 2008 年 12 月 29 日提交中国专利局、 申请号为 200810189143.6、 发明名称为"一种检测障碍物的方法和装置"的中国专利申请 的优先权， 其全部内容通过引用结合在本申请中。
技术领域
本发明涉及障碍物检测技术领域， 特别涉及一种检测障碍物的方法和装 置。
背景技术
在基于视觉的障碍物检测领域中， 障碍物通常是指高于地面的立体物。 通常， 利用运动情况下的单目相机进行障碍物 (含移动障碍物和静止障碍 物）检测有三种方法： 基于特征的障碍物检测方法、基于运动补偿的检测方法 和光流检测方法。
基于特征的障碍物检测方法， 通常是利用障碍物的特征进行检测， 需要预 先获知所要检测的障碍物的特征， 因此仅适用于特定类型障碍物的检测，如利 用车底阴影、车灯等特征对车辆进行检测 ,利用对称性和颜色特征检测行人等。 原理是在道路平坦、短时间内光照条件不变前提下， 道路平面的任一点在某两 个时刻图像帧内所成对应像点的像素值不变。如果假设前一时刻图像中所有的 点都是路面上的点的对应的成像点， 则由相机运动参数和成像原理， 能够计算 出由前一时刻图像中所有的点在下一时刻相机发生运动后所组成的假想图像， 则该假设图像与当前时刻实际拍摄到的图像的差异都是由于那些不是道路平 面上的点所引起的。 这些差异所对应的图像像素即可能是突出地面的障碍物。 但是， 当道路平坦和光照条件不变这两个假设前提不满足时， 该方法会失效。
基于光流的方法计算量大， 容易受噪声影响。
发明内容 装置， 不限定障碍物的类型， 能够实现道路平面和任意类型障碍物的区别， 且 计算简单、 适用范围广， 检测精度高。
本发明实施例提供了一种检测障碍物的方法， 包括：
获取 T1时刻和 T2时刻两帧图像， 对 T1时刻的图像帧进行特征检测， 得 到 T1时刻图像的特征集，在 T2时刻图像帧获得与所述 T1时刻图像的特征集 相匹配的特征对集； 其中， T1时刻不等于 T2时刻；
计算所述特征对集中每个特征对对应的道路面投影坐标的位移量 , 其 中， 为特征对集内特征对的序号；
计算 T1到 T2时刻相机光心的实际位移量；
将所述特征对对应的道路面投影坐标的位移量 ¾与所述相机光心的实际 位移量相比较， 根据比较结果确定障碍物。
其中， 所述 T1时刻图像的特征集中的特征是特征点， 所述在 T2时刻图 像帧获得与所述 T1时刻图像的特征集相匹配的特征对集中的特征对是特征点 对； 或者， 所述 T1时刻图像的特征集中的特征是特征线段； 所述在 T2时刻 图像帧获得与所述 T1时刻图像的特征集相匹配的特征对集中的特征对是特征 线段对； 或者， 所述 T1 时刻图像的特征集中的特征是特征区域； 所述在 T2 时刻图像帧获得与所述 T1时刻图像的特征集相匹配的特征对集中的特征对是 特征区域对。
其中， 所述特征集中的特征是特征点， 所述特征点为角点。
其中， 当所述特征集中的特征是特征点， 所述特征对集中的特征对是特征 点对时， 所述计算 T1到 T2时刻相机光心的实际位移量的步骤包括：
设所得的《个特征点对对应的道路面投影坐标位移量为 = 1,···,«； 预先设定相机位移量的最大可能值为 ΜαχΓ; 将区间 [Ο,ΜαχΓ]以 t为步长分 成 /个小区间， 表示为 [0, t\ [t,2t\ ···,[(/- 1 ,
Figure imgf000004_0001
···,[(/- 1 , αχΓ]；
记录每个小区间对应的 PD,的数目 ， 设该数目为 Μ^., = 1,···,/； 取
Figure imgf000004_0002
若 Numk≥th, 为最小数目阔值， 则对落入第 A个小区间 [( -1> ] 中的所 有 PZ¾求均值， 将该均值作为 T1到 T2时刻相机光心的实际位移量。
其中， 当所述特征集中的特征是特征点， 所述特征对集中的特征对是特征 点对时， 所述计算 T1到 T2时刻相机光心的实际位移量的步骤包括： T = (V/Ct) * (n + 1)
其中， 7表示 Tl到 T2时刻相机光心的实际位移量， 表示以秒为单位 的相机移动速度， Q表示相机一秒内拍摄的图像帧数， 《表示 T1时刻图像与 T2 时刻图像之间包含的帧数。
其中， 所述将所述特征对对应的道路面投影坐标的位移量 ¾与所述相机 光心的实际位移量相比较， 根据比较结果确定障碍物的步骤包括：
根据所述相机光心的实际位移量获得第一障碍物阔值 TM；
若所述位移量 ΡΖ¾小于等于第一障碍物阔值 TW , 则所述位移量 ΡΖ¾对应的 特征属于非障碍物；
若所述位移量 ¾大于第一障碍物阔值 TW , 则所述位移量 PDt对应的特征 属于障碍物。
其中， 根据所述相机光心的实际位移量获得第一障碍物阔值 ThO的步骤包 括：
ThO = axT
其中， 7¾0表示第一障碍物阔值， "为大于 1的常数， 7表示 T1到 T2时 刻相机光心的实际位移量。
其中， 所述将所述特征对对应的道路面投影坐标的位移量 ¾与所述相机 光心的实际位移量相比较， 根据比较结果确定障碍物的步骤包括：
根据所述相机光心的实际位移量获得第二障碍物阔值 m和第三障碍物阔 值 Th2 , 所述第二障碍物阔值 ΓΜ小于第三障碍物阔值 7¾2；
若所述位移量 ΡΖ¾小于第二障碍物阔值 ΓΜ , 则所述位移量 对应的特征 属于非障碍物；
若所述位移量 ¾大于第三障碍物阔值 Th2 , 则所述位移量 PDt对应的特征 属于障碍物；
若所述位移量 大于等于第二障碍物阔值 7 且小于等于第三障碍物阔 值 Thl , 则结合已有的障碍物识别方法确定所述位移量 ¾对应的特征是否属 于障碍物。
其中， 根据所述相机光心的实际位移量获得第二障碍物阔值 7 和第三障 碍物阔值 Th2的步骤包括：
Figure imgf000006_0001
Th2 = yxT;
其中， 7 表示第二障碍物阔值， 7¾2表示第三障碍物阔值， 7表示 T1到 T2时刻相机光心的实际位移量， 为大于 的常数 , 为大于等于 1的常数。
本发明实施例还提供了一种检测障碍物的装置， 包括：
特征对集获取单元， 用于获取 T1时刻和 T2时刻两帧图像， 对 T1时刻的 图像帧进行特征检测， 得到 T1 时刻图像的特征集， 在 T2时刻图像帧获得与 所述 T1时刻图像的特征集相匹配的特征对集； 其中， T1时刻小于 T2时刻； 位移量计算单元，用于计算所述特征对集中每个特征对对应的道路面投影 坐标的位移量 其中， 为特征对集内特征对的序号； 并且， 计算 T1到 T2 时刻相机光心的实际位移量；
障碍物检测单元， 将所述特征对对应的道路面投影坐标的位移量 pz¾与所 述相机光心的实际位移量相比较， 根据比较结果确定障碍物。
其中， 所述位移量计算单元包括：
特征对计算单元，用于计算所述特征对集中每个特征对对应的道路面投影 坐标的位移量 其中， 为特征对集内特征对的序号；
相机光心的位移量计算单元， 用于计算 T1到 Τ2时刻相机光心的实际位 移量。
其中， 所述相机光心的位移量计算单元包括：
预置单元， 用于设所得的《个特征点对对应的道路面投影坐标位移量为
PDi,i = l,---,n;预先设定相机位移量的最大可能值为 MaxT；将区间 [Ο,ΜαχΓ]以 t为 步长分成 /个小区间， 表示为 [0, t],
Figure imgf000006_0002
···,[( - 1 , tl ···,[(/- 1 , MaxT]；
记录选取单元， 用于记录每个小区间对应的 PD!的数目， 设该数目为 Numr,i = l,---,l; 取 Μ^, = 1,···,/中最大的一个， H为 Numk,k<l
判断计算单元， 用于判断出若 大于等于最小数目阔值 时， 对落入第
A个小区间 [( -1> ] 中的所有 ¾求均值，将该均值作为 T1到 T2时刻相机光 心的实际位移量。
其中， 所述相机光心的位移量计算单元包括：
计算单元，用于计算相机光心的实际位移量 7,其中， r = (7Q)*(« +1) , 其中， 7表示 T1到 T2时刻相机光心的实际位移量， 表示以秒为单位的相机 移动速度， Q表示相机一秒内拍摄的图像帧数， 《表示 T1时刻图像与 T2 时 刻图像间隔的帧数。
其中， 所述障碍物检测单元包括：
第一阔值计算单元，用于根据所述相机光心的实际位移量获得第一障碍物 阔值 7¾0；
第一比较判定单元， 用于确定所述位移量 ¾小于等于第一障碍物阔值 7¾0时， 判定所述位移量 对应的特征属于非障碍物； 用于确定所述位移量 大于第一障碍物阔值 7¾0 , 判定所述位移量 对应的特征属于障碍物。 其中， 所述障碍物检测单元包括：
第二阔值计算单元，用于根据所述相机光心的实际位移量获得第二障碍物 阔值 7 和第三障碍物阔值 7¾2 , 所述第二障碍物阔值 7 小于第三障碍物阔值 Thl ;
第二比较判定单元，用于确定所述位移量 ¾小于第二障碍物阔值 7 ，时， 判定所述位移量 ΡΖ¾对应的特征属于非障碍物； 确定所述位移量 ΡΖ¾大于第三 障碍物阔值 7¾2时， 判定所述位移量 ΡΖ¾对应的特征属于障碍物； 确定若所述 位移量 大于等于第二障碍物阔值 7 且小于等于第三障碍物阔值 7¾2时， 结 合已有的障碍物识别方法确定所述位移量 ^.对应的特征是否属于障碍物。
应用本发明 ,通过利用特征对集中每个特征对在道路面投影坐标内的位移 量与相机光心的实际位移量进行比较，就能区分该特征对在道路面投影坐标内 的位移量所对应的特征是否属于障碍物， 具有计算简单、 适用范围广， 检测精 度高等优点， 而且， 本发明所提供的检测方法不限定障碍物的类型， 能够实现 道路平面和任意类型障碍物的区别。
再有， 当得到的 T1时刻图像的特征集中的特征为角点特征， 以及通过追 踪匹配方式得到在 T2时刻图像帧中与 T1时刻图像的特征集相匹配的特征对 集时， 对光照变化不敏感。 附图说明
为了更清楚地说明本发明实施例中的技术方案，下面对实施例中所需要使 用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本发明的一些 实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可 以根据这些附图获得其他的附图。
图 1是根据本发明实施例的检测障碍物的方法流程图；
图 2 是根据本发明一实施例的道路面上的一点和障碍物上的一点分别在
T1和 T2时刻图像中的二维投影示意图；
图 3 ^于图 2所示实施例的三维投影示意图；
图 4 ^^于图 3所示实施例的 X— Z面的俯视图；
图 5是 T2时刻的相机坐标系的 Z轴与 T1时刻的相机坐标系 Z轴不平行 时的示意图；
图 6是根据本发明一实施例的 T1时刻图像上检测到的特征点示意图； 图 7 ^^于图 6所示实施例的 T2时刻图像上跟踪得到的特征点示意图； 图 8 ^^于图 6和图 7所示实施例的 T1时刻图像上与 T2时刻跟踪到的 特征点相匹配的特征点示意图；
图 9 是根据本发明实施例的基于单阔值法检测匹配特征点对道路面投影 坐标位移量划分示意图；
图 10 , 其是根据本发明实施例的双阔值法匹配特征点对道路面投影坐标 位移量划分示意图；
图 11 , 其是根据本发明实施例的 T2时刻图像上障碍物检测结果示意图； 图 12是根据本发明实施例的检测障碍物的装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、 完整地描述， 显然， 所描述的实施例仅仅是本发明一部分实施例， 而不是 全部的实施例。基于本发明中的实施例， 本领域普通技术人员在没有作出创造 性劳动前提下所获得的所有其他实施例， 都属于本发明保护的范围。
本发明实施例提供了一种检测障碍物的方法， 包括： 获取 T1 时刻和 T2 时刻两帧图像， 对 T1时刻的图像帧进行特征检测， 得到 T1时刻图像的特征 集， 在 T2时刻图像帧获得与所述 T1 时刻图像的特征集相匹配的特征对集； 其中， T1时刻小于 T2时刻； 计算所述特征对集中每个特征对在道路面投影坐 标内的位移量 其中， i为特征对集内特征对的序号； 计算 T1到 T2时刻 相机光心的实际位移量； 将所述特征对在道路面投影坐标的位移量 ¾与所述 相机光心的实际位移量相比较， 根据比较结果确定障碍物。 应用本发明， 利用 特征对集中每个特征对在道路面投影坐标内的位移量与相机位移量进行比较， 就能区分该特征对在道路面投影坐标内的位移量所对应的特征是否属于障碍 物， 具有计算简单、 适用范围广， 检测精度高等有点， 而且， 本发明所提供的 检测方法不限定障碍物的类型， 能够实现道路平面和任意类型障碍物的区别。 再有， 当得到的 T1时刻图像的特征集中的特征为角点特征， 以及通过追踪匹 配方式得到在 T2时刻图像帧中与 T1时刻图像的特征集相匹配的特征对集时， 对光照变化不敏感。
下面结合附图具体说明。
参见图 1 , 其是根据本发明实施例的检测障碍物的方法流程图。
步骤 101 , 获取 T1时刻和 T2时刻两帧图像， 其中， 本实施例中 T1时刻 小于 T2时刻。 将 T1时刻的图像记为前帧即 Iml , 将 T2时刻的图像记为当前 帧即 Im2。
需要说明的是， T1时刻可以大于 T2时刻， 即只要两个时刻不等即可， 检测顺序可以互换。
步骤 102,对 T1时刻的图像帧进行特征检测，得到 T1时刻图像的特征集。 具体的， 对 Iml做特征检测， 得到特征集， 记得到的特征集为 ^. i = \, - - -, m , 其中 m表示在 Iml图像上检测到的特征个数。
上述特征集中的特征可以是特征点、 或特征线段、 或特征区域等。 在本文 中所提供的实施例中均以特征集中的特征为特征点为例进行说明 ,对于特征集 中的特征为特征线段及特征区域的情况与之类似， 不再赘述。
可见， 如果 T1时刻图像的特征集中的特征是特征点， 则在 T2时刻图像 帧获得与所述 T1时刻图像的特征集相匹配的特征对集中的特征对也是特征点 对； 如果 T1时刻图像的特征集中的特征是特征线段， 则在 T2时刻图像帧获 得与所述 T1 时刻图像的特征集相匹配的特征对集中的特征对也是特征线段 对； 如果 T1时刻图像的特征集中的特征是特征区域， 则在 T2时刻图像帧获 得与所述 T1时刻图像的特征集相匹配的特征对集中的特征对是特征区域对。 目前，常用的特征点检测算子有：哈里斯（Harris )角点检测算子、 SUSAN 角点检测算子和特征值的角点检测算子等。 上述对 T1时刻的图像帧进行特征 检测的方法包括： Harris角点检测算子方法、 SUSAN角点检测算子方法或特 征值的角点检测算子方法等。本实施例中使用 Harris角点检测算子来检测 Iml 图像上的特征点， 即本发明实施例中的特征点为角点。
参见图 6, 其是根据本发明一实施例的 T1时刻图像上检测到的特征点示 意图。 图中深色三角和立柱表示障碍物， 浅灰色平行四边形表示道路面， 白色 箭头属于道路面区域。 本例中， 共检测出了 Ρ01 Ρ02、 Ρ03、 Ρ04 、 Ρ05、 Ρ06、 Ρ07、 Ρ08 、 Ρ09共 9个特征点。
以下均以特征点为例说明本发明是如何实现的。
步骤 103 ,在 Τ2时刻图像帧获得与 T1时刻图像的特征集相匹配的特征对 具体的， 在当前帧获得与前帧匹配的特征点： 对步骤 102 所获得的 Iml 上的特征点 ^. = 1, · · ·, ^使用匹配算法在 Im2上获得到匹配的特征点对。记匹 配特征点对集为 , Ρ2} ) , · = 1,… w。 其中： PI;和 P 分别表示 Iml 图像上的 特征点和 Im2图像上的特征点， [P I j = 1 · ·«}〔 {P01 I i = 1, · · ·/¾}。
常用的特征点匹配算法有模版匹配算法和光流追踪算法等。本例中釆用光 流追踪算法中的基于图像金字塔光流的特征跟踪方法 （Lucas and Kanade's pyramid-based optical flow algorithm )来获得匹西己特征点。
参见图 7, 其^ ^于图 6所示实施例的 T2时刻图像上跟踪得到的特征点 示意图。 图中深色三角和立柱表示障碍物， 浅灰色平行四边形表示道路面， 白 色箭头属于道路面区域， 本例中， P21 P22、 P23、 P24 、 P25、 P26、 P27是 T2 时刻跟踪得到的点。
参见图 8,其^ ^于图 6和图 7所示实施例的 T1时刻图像上与 T2时刻跟 踪到的特征点相匹配的特征点示意图。 从图中可知， 在 T2时刻图像帧获得的 与 T1时刻图像的特征集相匹配的特征点对集包括 P 、 Pl2、 Pl3、 Pl4 、 Pl5、
Pl6、 Pl7。 图中深色三角和立柱表示障碍物， 浅灰色平行四边形表示道路面， 白色箭头属于道路面区域。
下面计算各匹配的特征点对在各自世界坐标系中道路面上的投影坐标。 参见图 2〜图 4,图 2是根据本发明一实施例的道路面上的一点和障碍物上 的一点分别在 T1和 T2时刻图像中的二维投影示意图， 图 3 ^^于图 2所示 实施例的三维投影示意图， 图 4 ^^于图 3所示实施例的 X— Z面的俯视图。
殳设相机坐标系和世界坐标系是重合的，相机主光轴与道路面平行。其中， ολ . 02分别表示 Ti和 Τ2 时刻相机的光心； ρσ表示道路面上一点， nG、 P2G 表示其在 Iml和 Im2上的映射； P。表示障碍物上的一点， Pl。、 P2。表示其在 图像 Iml和 Im2上的映射。 而 Ρ1。σ和 PlOG分别表示 Pl。、 P20在道路面上的投 影。用如下方法可以计算任意图像点在道路面上的投影坐标（如果图像点能投 影到道路面上的话）， 具体如下：
以图像中某一像素点 P(r, c)为例， r, c分别为该点在图像中的行坐标和列坐 标， P是道路平面上点^。（； ^,J ,Zj的所成的像点。 根据相机成像公式：
0 ti0 0
R t
v0 0 ( 1 )
0T 1
Figure imgf000011_0005
1 0 可以计算出点 p。的世界坐标
Figure imgf000011_0001
。 其中已知 J 等于相机高度， , ,Μ。,ν。是相机内部参数， 可由相机标定获得。 Zc是 Ρ。的在相机坐标系中 Ζ 轴的坐标， 可在相机成像公式计算过程中获得。
'cos cosy^ cos siny^sina-sin ^cosa cos sin^cosa + sin
Figure imgf000011_0002
R ysin" |为旋转矩
Figure imgf000011_0003
, 分别是相机坐标系绕世界坐标系；r Ζ轴的旋转角。 平移向量
7；, 7： , 7：为相机坐标系原点在世界坐标系下的位置， 在本实施例中 ,
Figure imgf000011_0004
Tx =0, Ty =0, Τζ =0, α,β, 都为 0值。 由公式（1 )可知， 当图像坐标 (r,c)已知， 相机高度已知时， 可以求得该 图像点对应的道路平面点的世界坐标， 即该图像点在道路面上的投影坐标。 由 此，可以得到各匹配特征点对在各自世界坐标系即相机坐标系中道路面上的投 影坐标。 由成像原理和图 4, 可以做如下推论：
1 ) 由于 0Ρ1σ,Ρ2σ)表示属于道路面区域的匹配特征点对， 它们在道路面上 的投影为 ρσ , 在 、 O2坐标系下的坐标值分别为（;πσ,;πσ,ζισ)和
( 2G,72G,Z2G), 从图 4中可以看到
0、0， = 0 u 、P
Xlr,― Xl「 + (Ylr,― Y2 + (Zlr,― Z2 r (2)
Figure imgf000012_0001
这里 ί =Y2C =H,H为相机距地面高度。 同时也可知 ολο 就是相机位移
2) 由于 (Ρ1。,Ρ2。）表示属于障碍物上的匹配特征点对， 它们在道路面上的 投影为 Ρ1。σ、 P2OG , Ρ\00 , Ρ2。σ在以 O O2为原点的坐标系下的坐标值分别 为（;Π。,;Π。,Ζ1。）和 (;Τ2。,;Τ2。,Ζ2。）。 Ο . O2距地面高度相等（假设相机高度 H固 定）， 向量 Ρ1。σ" 2。σ的夹角是 180。， 且随着 的。 有如下公式成立:
Figure imgf000012_0002
ηρ\ηΓ-οΊΡ2 \ΟΏΊ-Ρ\ηΓΡ2
+ -20,O iPl^P2 COS0
+ U2 + 20MPl^P2
Figure imgf000012_0003
0ΊΡ2η -0、Ρ\ = (XU― X2n + 71. - 72. + (ZU - 1, (3) 这里 ί =； F2。=H , //为相机距地面高度£ 将由式（3 )计算得到的结果称为匹配特征点对的道路面投影坐标位移量 ( The road surface displacement of projection coordinates ), 并记为 PD。 这里 , 当所得特征点的道路面投影坐标的 Z坐标值为非正数时，即该特征点在世界坐 标系实际高度不低于相机高度，此时该特征点说对应的道路面投影坐标位移量 直接设置为正无穷。
将由式（3 )计算得到的结果 O|¾ ，称为相机位移量（Camera displacement ), 并记为 T。
3 )当 T2时刻的相机坐标系的 Z轴与 T1时刻的相机坐标系 Z轴不平行时， 即有绕 Y轴的旋转角 ^时， 参见图 5。 只要将 T1时刻相机坐标系中的坐标值 变换到与 T2 时刻的相机坐标系的 Z轴平行的坐标系中的坐标值， 再按照式 ( 2 )、 （3 )计算道路面投影坐标位移量即可。 变换公式如下：
如图 5所示，设/3在 O;坐标系下的坐标为 (Jt , Z')，在0,坐标系下的坐标为 ( , Ζ) , 其中坐标系 O;相对于坐标系 ^有角度为 0的旋转角， 则/3在两坐标系 下的坐标值有如下关系：
Figure imgf000013_0001
从上面的三个推论可以得到如下结论： 无论 Τ2时刻的相机坐标系的 Ζ轴 与 T1时刻的相机坐标系 Ζ轴是否平行， 当匹配特征点对属于到路面上时， 它 们道路面上的投影坐标位移量等于相机光心的实际位移量，即对应时刻段相机 的位移量；而立体物上的匹配特征点道路面上的投影坐标位移量大于相机光心 的实际位移量。
利用上述结论进行障碍物检测， 其原理是：
a )假设步骤 103中所获得的特征对集中每个特征对均是道路面上的特征 点对， 由于道路面上的特征点对的位移量等于相机光心的实际位移量， 这样， 通过式（2 )可得到步骤 103中所获得的特征对集中每个特征对在道路面投影 坐标内的位移量；
b )计算相机光心的实际位移量；
c )将通过步骤 a )方式计算出的位移量与步骤 b )计算的位移量进行比较， 若步骤 a )的位移量等于步骤 b)的位移量， 即道路面上的特征点对的位移量等 于相机光心的实际位移量， 则认为前述假设是正确的， 即该特征对所对应的特 征属于道路平面即非障碍物； 若步骤 a)的位移量大于步骤 b)的位移量， 即道 路面上的特征点对的位移量大于相机光心的实际位移量，则认为前述假设是错 误的， 即该特征对所对应的特征属于障碍物。
基于上述原理， 下面具体说明实现过程。
步骤 104, 计算步骤 103中所述的特征对集中每个特征对在道路面投影坐 标内的位移量 其中， ,为特征对集内特征对的序号。 具体的，
PD, = ( - )2 + ( - Y2t† + (Zl; - Z2; )2
其中， (XI,, Υ , Ζ )和 {X2i , Y2i , Ζ2; )分别表示特征点对 ( Ρ 、 P2i )在以 O,、 02为原点的坐标系下的坐标值； 表示在以 O 、 02为原点的坐标系下特征 点对（ Pl,.、 P2, )在道路面投影坐标的位移量。
步骤 105, 计算 T1到 T2时刻相机光心的实际位移量。 以釆用估计的方式计算相机光心的实际位移量。这是因为属于道路面上匹配特 征点对的道路面投影坐标位移量大致相等，而属于障碍物上的匹配特征点对的 道路面投影坐标位移量变化范围很大。
釆用估计的方式计算相机光心实际位移量的具体步骤如下：
i )设所得的 n个特征点对对应的道路面投影坐标位移量为 = l,-,n； ϋ )预先设定相机位移量的最大可能值为 ΜαχΓ; 将区间 [Ο,ΜαχΓ]以 t为步长 分成 /个小区间， 表示为 [0, t],
Figure imgf000014_0001
···,[( - 1 , tl ···,[(/- 1 , MaxT]；
iii ) 记录每个小区间对应的 ¾的数目， 设该数目为 Μ^., = 1,···,/; 取 Μ^, = 1 ··,/中最大的一个， 设其为 Numk,k<l
iv) 若 Numk≥th, t/?为最小数目阔值， 则对落入第 A个小区间 1> ] 中 的所有 ¾求均值， 记为 T' , 将该均值 Γ'作为 T1到 T2时刻相机光心的实际位移 量 7, 即 7=Γ'。
当可以获得相机移动速度时， （如相机的移动速度可以来自于相机所在载 体的速度传感器）， 相机移动速度和相机位移量有如下关系：
T = (V/Ct)*(n +1) (4) 其中， 7表示 Tl到 T2时刻相机光心的实际位移量， V表示以秒为单位的相 机移动速度， Q表示相机一秒内拍摄的图像帧数， 《表示 T1时刻图像与 Τ2 时 刻图像间隔的帧数。
步骤 106, 将所述特征对对应的道路面投影坐标的位移量 ¾与所述相机 光心的实际位移量相比较， 根据比较结果确定障碍物。
具体的， 可以釆用以下两种方式：
方式一、 二分法， 也称为单阔值法
1 )根据所述相机光心的实际位移量获得第一障碍物阔值 7¾0；
ThO = xT;
其中， 7¾0表示第一障碍物阔值， "为大于 1的常数， 7表示 T1到 T2时 刻相机光心的实际位移量。
2)若所述位移量 小于等于第一障碍物阔值 7¾0, 则所述位移量 对 应的特征属于非障碍物； 若所述位移量 ΡΖ¾大于第一障碍物阔值 7¾0, 则所述 位移量 PD,对应的特征属于障碍物。
参见图 9, 其是根据本发明实施例的基于单阔值法检测匹配特征点对道路 面投影坐标位移量划分示意图。 图中纵坐标表示第 i对特征点对道路面投影坐 标位移量 ¾, 横坐标表示特征点对的序号， 其中， 粗虚线表示第一障碍物阔 值线 7¾0。
方式二、考虑到检测、追踪和反转透视投影变换等一系列环节中存在误差， 为了更准确的区分道路面上的点和障碍物上的点，还可以釆用双阔值法进行区 分。
1 )根据所述相机光心的实际位移量获得第二障碍物阔值 m和第三障碍物 阔值 7¾2, 且 ΓΜ<7¾2; 具体的，
ΓΜ = ^χΓ;
Th2 = yxT;
其中， 7 表示第二障碍物阔值， 7¾2表示第三障碍物阔值， 7表示 T1到 T2时刻相机光心的实际位移量， 为大于 的常数 ^为大于等于 1的常数。
2 )若所述位移量 ¾小于第二障碍物阔值 ΓΜ ,则所述位移量 ^.对应的特 征属于非障碍物； 若所述位移量 ¾大于第三障碍物阔值 Th2 , 则所述位移量 PDt对应的特征 属于障碍物；
3 )若所述位移量 大于等于第二障碍物阔值 7 且小于等于第三障碍物 阔值 7¾2 , 则结合已有的障碍物识别方法确定所述位移量 ^.对应的特征是否 属于障碍物。该已有的障碍物识别方法可以是现有的任何方法， 如基于运动补 偿的障碍物检测方法、 基于垂直边缘特征的障碍物检测方法等。
参见图 10 , 其是根据本发明实施例的双阔值法匹配特征点对道路面投影 坐标位移量划分示意图。 图中， 纵坐标表示第 i对特征点对道路面投影坐标位 移量 横坐标表示特征点对的序号， 其中粗实线表示第三障碍物阔值 7¾2 , 粗虚线表示第二障碍物阔值 ΓΜ , m〈 i。
参见图 11 ,其是根据本发明实施例的 T2时刻图像上障碍物检测结果示意 图。 图中实心圓点表示属于障碍物的特征点， 即 P21 P26和 P27属于障碍物的 特征点， 空心圓点表示属于道路平面上的特征点， 即 P22、 P23 、 P24和 P25属 于道路平面上的特征点。
至此， 实现了障碍物的检测。
应用本发明所提供的检测障碍物的方法，利用特征对集中每个特征对在道 路面投影坐标内的位移量与相机位移量进行比较，就能区分该特征对在道路面 投影坐标内的位移量所对应的特征是否属于障碍物， 具有计算简单、适用范围 广，检测精度高等有点，而且，本发明所提供的检测方法不限定障碍物的类型， 能够实现道路平面和任意类型障碍物的区别。 再有， 当得到的 T1时刻图像的 特征集中的特征为角点特征， 以及通过追踪匹配方式得到在 T2时刻图像帧中 与 T1时刻图像的特征集相匹配的特征对集时， 对光照变化不敏感。 本发明实施例还提供了一种检测障碍物的装置， 参见图 12, 包括： 特征对集获取单元 1201 , 用于获取 T1 时刻和 T2时刻两帧图像， 对 T1 时刻的图像帧进行特征检测， 得到 T1 时刻图像的特征集， 在 T2时刻图像帧 获得与所述 T1时刻图像的特征集相匹配的特征对集； 其中， T1时刻小于 T2 时刻；
位移量计算单元 1202, 用于计算从 T1到 T2时刻所述特征对集中每个特 征对在道路面投影坐标的位移量 其中， 为特征对集内特征对的序号； 并 且， 用于计算 T1到 T2时刻相机光心的位移量相机光心的实际位移量；
障碍物检测单元 1203,将所述特征对对应的道路面投影坐标的位移量 PZ¾ 与所述相机光心的位移量相机光心的实际位移量相比较，根据比较结果确定障 碍物。
上述位移量计算单元 1202可以包括：
特征对计算单元，用于计算所述特征对集中每个特征对对应的道路面投影 坐标的位移量 其中， 为特征对集内特征对的序号；
相机光心的位移量计算单元， 用于计算 T1到 Τ2时刻相机光心的实际位 移量。
当不能从外界获得相机移动速度，需要釆用估计的方式计算相机光心实际 位移量时， 上述相机光心的位移量计算单元还可以包括：
预置单元， 用于设所得的《个特征点对对应的道路面投影坐标位移量为
PDi,i = l,---,n;预先设定相机位移量的最大可能值为 MaxT；将区间 [Ο,ΜαχΓ]以 t为 步长分成 /个小区间， 表示为 [0,4[ 2 ,[( _1>,小 ,[(/_1>,^«^1；
记录选取单元， 用于记录每个小区间对应的 PD!的数目， 设该数目为 Numr,i = l,---,l; 取 Μ^, = 1,···,/中最大的一个， H为 Numk,k<l
判断计算单元， 用于判断出若 大于等于最小数目阔值 时， 对落入第 A个小区间 [( -1> ] 中的所有 ¾求均值，将该均值作为 T1到 T2时刻相机光 心的位移量相机光心的实际位移量。
当能够从外界获得相机移动速度时，上述相机光心的位移量计算单元还可 以包括：
计算单元， 用于计算相机光心的位移量相机光心的实际位移量 7, 其中， T = (V/Ct)*(n +1) ,其中， 7表示 T1到 T2时刻相机光心的位移量相机光心的 实际位移量， 表示以秒为单位的相机移动速度， Q表示相机一秒内拍摄的图 像帧数， 《表示 T1时刻图像与 T2 时刻图像间隔的帧数。
可以理解， 上述相机光心的位移量计算单元可以包括预置单元、记录选取 单元、 判断计算单元以及计算单元， 以支持两种相机光心实际位移量算法； 或 者， 只包括预置单元、 记录选取单元和判断计算单元， 即仅支持不能获得相机 移动速度的计算方法； 或者， 则仅包括计算单元， 即仅支持能够获得相机移动 速度的计算方法。
上述障碍物检测单元 1203可以包括：
第一阔值计算单元，用于根据所述相机光心的位移量相机光心的实际位移 量获得第一障碍物阔值 T ；
第一比较判定单元， 用于确定所述位移量 ¾小于等于第一障碍物阔值 7¾0时， 判定所述位移量 对应的特征属于非障碍物； 用于确定所述位移量 大于第一障碍物阔值 7¾0 , 判定所述位移量 对应的特征属于障碍物。 上述障碍物检测单元 1203可以包括：
第二阔值计算单元，用于根据所述相机光心的位移量相机光心的实际位移 量获得第二障碍物阔值 m和第三障碍物阔值 i， 所述第二障碍物阔值 m小 于第三障碍物阔值 7¾2；
第二比较判定单元，用于确定所述位移量 ¾小于第二障碍物阔值 7 ，时， 判定所述位移量 对应的特征属于非障碍物； 确定所述位移量 PA大于第三 障碍物阔值 7¾2时， 判定所述位移量 对应的特征属于障碍物； 确定若所述 位移量 大于等于第二障碍物阔值 7 且小于等于第三障碍物阔值 7¾2时， 则 结合已有的障碍物识别方法确定所述位移量 ¾对应的特征是否属于障碍物。 该已有的障碍物识别方法可以是现有的任何方法 ,如基于运动补偿的障碍物检 测方法、 基于垂直边缘特征的障碍物检测方法等。
可以理解， 上述障碍物检测单元 1203可以包括： 第一阔值计算单元、 第 一比较判定单元、 第二阔值计算单元和第二比较判定单元， 即可以支持单阔值 或双阔值的检测方法； 或者， 只包括第一阔值计算单元和第一比较判定单元， 即仅支持单阔值的检测方法； 或者， 只包括第二阔值计算单元和第二比较判定 单元， 即只支持双阔值的检测方法。
应用本发明所提供的检测障碍物的装置，利用特征对集中每个特征对在道 路面投影坐标内的位移量与相机位移量进行比较，就能区分该特征对在道路面 投影坐标内的位移量所对应的特征是否属于障碍物， 具有计算简单、适用范围 广，检测精度高等有点，而且，本发明所提供的检测方法不限定障碍物的类型， 能够实现道路平面和任意类型障碍物的区别。 再有， 当得到的 T1时刻图像的 特征集中的特征为角点特征， 以及通过追踪匹配方式得到在 T2时刻图像帧中 与 T1时刻图像的特征集相匹配的特征对集时， 对光照变化不敏感。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步 骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可 读取存储介质中， 这里所称得的存储介质， 如： ROM/RAM、 磁碟、 光盘等。
以上所述仅为本发明的较佳实施例而已， 并非用于限定本发明的保护范 围。 凡在本发明的精神和原则之内所作的任何修改、 等同替换、 改进等， 均包 含在本发明的保护范围内。

Claims

权 利 要 求
1、 一种检测障碍物的方法， 其特征在于， 包括：
获取 T1时刻和 T2时刻两帧图像， 对 T1时刻的图像帧进行特征检测， 得 到 T1时刻图像的特征集，在 T2时刻图像帧获得与所述 T1时刻图像的特征集 相匹配的特征对集； 其中， T1时刻不等于 T2时刻；
计算所述特征对集中每个特征对对应的道路面投影坐标的位移量 , 其 中， 为特征对集内特征对的序号；
计算 T1到 T2时刻相机光心的实际位移量；
将所述特征对对应的道路面投影坐标的位移量 ¾与所述相机光心的实际 位移量相比较， 根据比较结果确定障碍物。
2、根据权利要求 1所述的方法， 其特征在于， 所述 T1时刻图像的特征集 中的特征是特征点， 所述在 T2时刻图像帧获得与所述 T1时刻图像的特征集 相匹配的特征对集中的特征对是特征点对； 或者，
所述 T1时刻图像的特征集中的特征是特征线段； 所述在 T2时刻图像帧获 得与所述 T1时刻图像的特征集相匹配的特征对集中的特征对是特征线段对； 或者， 所述 T1时刻图像的特征集中的特征是特征区域； 所述在 T2时刻 图像帧获得与所述 T1时刻图像的特征集相匹配的特征对集中的特征对是特征 区域对。
3、 根据权利要求 2所述的方法， 其特征在于， 所述特征集中的特征是特 征点， 所述特征点为角点。
4、 根据权利要求 2所述的方法， 其特征在于， 当所述特征集中的特征是 特征点， 所述特征对集中的特征对是特征点对时， 所述计算 T1到 T2时刻相 机光心的实际位移量的步骤包括：
设所得的《个特征点对对应的道路面投影坐标位移量为 = 1,···,«； 预先设定相机位移量的最大可能值为 ΜαχΓ; 将区间 [Ο,ΜαχΓ]以 t为步长分 成 /个小区间， 表示为 [0, t\ [t,2t\ ···,[(/- 1 ,
Figure imgf000020_0001
···,[(/- 1 , αχΓ]；
记录每个小区间对应的 PD,的数目 ， 设该数目为 Μ^., = 1,···,/； 取 Μ^, = 1 ··,/中最大的一个， 设其为 Numk,k<l
^Numk≥th, 为最小数目阔值， 则对落入第 A个小区间 [( -1> ] 中的所 有 PZ¾求均值， 将该均值作为 T1到 T2时刻相机光心的实际位移量。
5、 根据权利要求 2所述的方法， 其特征在于， 当所述特征集中的特征是 特征点， 所述特征对集中的特征对是特征点对时， 所述计算 T1到 T2时刻相 机光心的实际位移量的步骤包括：
T = (VICt) * (n + \)
其中， 7表示 T1到 T2时刻相机光心的实际位移量， 表示以秒为单位 的相机移动速度， Q表示相机一秒内拍摄的图像帧数， 《表示 T1时刻图像与 T2 时刻图像之间包含的帧数。
6、 根据权利要求 1所述的方法， 其特征在于， 所述将所述特征对对应的 道路面投影坐标的位移量 ¾与所述相机光心的实际位移量相比较， 根据比较 结果确定障碍物的步骤包括：
根据所述相机光心的实际位移量获得第一障碍物阔值 TM；
若所述位移量 ΡΖ¾小于等于第一障碍物阔值 TW , 则所述位移量 ΡΖ¾对应的 特征属于非障碍物；
若所述位移量 ¾大于第一障碍物阔值 TW , 则所述位移量 PDt对应的特征 属于障碍物。
7、 根据权利要求 6所述的方法， 其特征在于， 根据所述相机光心的实际 位移量获得第一障碍物阔值 ThO的步骤包括：
ThO = axT ;
其中， 7¾0表示第一障碍物阔值， "为大于 1的常数， 7表示 T1到 T2时 刻相机光心的实际位移量。
8、 根据权利要求 1所述的方法， 其特征在于， 所述将所述特征对对应的 道路面投影坐标的位移量 ¾与所述相机光心的实际位移量相比较， 根据比较 结果确定障碍物的步骤包括：
根据所述相机光心的实际位移量获得第二障碍物阔值 Th\和第三障碍物阔 值 Thi , 所述第二障碍物阔值 m小于第三障碍物阔值 Thi；
若所述位移量 ΡΖ¾小于第二障碍物阔值 ΓΜ , 则所述位移量 对应的特征 属于非障碍物；
若所述位移量 ¾大于第三障碍物阔值 Thi , 则所述位移量 PD,对应的特征 属于障碍物；
若所述位移量 ΡΖ¾大于等于第二障碍物阔值 7 且小于等于第三障碍物阔 值 Thl , 则结合已有的障碍物识别方法确定所述位移量 ¾对应的特征是否属 于障碍物。
9、 根据权利要求 8所述的方法， 其特征在于， 根据所述相机光心的实际 位移量获得第二障碍物阔值 m和第三障碍物阔值 i的步骤包括：
ΓΜ = ^χΓ ;
Th2 = yxT ;
其中， 7 表示第二障碍物阔值， 7¾2表示第三障碍物阔值， 7表示 T1到 T2时刻相机光心的实际位移量， 为大于 的常数 , 为大于等于 1的常数。
10、 一种检测障碍物的装置， 其特征在于， 包括：
特征对集获取单元， 用于获取 T1时刻和 T2时刻两帧图像， 对 T1时刻的 图像帧进行特征检测， 得到 T1时刻图像的特征集， 在 T2时刻图像帧获得与所 述 T1时刻图像的特征集相匹配的特征对集； 其中， T1时刻小于 T2时刻； 位移量计算单元，用于计算所述特征对集中每个特征对对应的道路面投影 坐标的位移量 其中， 为特征对集内特征对的序号； 并且， 计算 T1到 T2 时刻相机光心的实际位移量；
障碍物检测单元， 将所述特征对对应的道路面投影坐标的位移量 pz¾与所 述相机光心的实际位移量相比较， 根据比较结果确定障碍物。
11、 根据权利要求 10所述的装置， 其特征在于， 所述位移量计算单元包 括：
特征对计算单元，用于计算所述特征对集中每个特征对对应的道路面投影 坐标的位移量 其中， 为特征对集内特征对的序号；
相机光心的位移量计算单元， 用于计算 T1到 Τ2时刻相机光心的实际位 移量。
12、 根据权利要求 11所述的装置， 其特征在于， 所述相机光心的位移量 计算单元包括：
预置单元， 用于设所得的《个特征点对对应的道路面投影坐标位移量为 PDi ,i = l,- - -,n ;预先设定相机位移量的最大可能值为 MwcT；将区间 [Ο,ΜαχΓ]以 t为 步长分成 /个小区间， 表示为 [0, t], ···,[( - 1 , tl ···,[(/- 1 , MaxT]；
记录选取单元， 用于记录每个小区间对应的 PD!的数目， 设该数目为
Numr,i = l,---,l; 取 Μ^, = 1,···,/中最大的一个， H为 Numk,k<l
判断计算单元， 用于判断出若 大于等于最小数目阔值 时， 对落入第 A个小区间 [( -1> ] 中的所有 ¾求均值，将该均值作为 T1到 T2时刻相机光 心的实际位移量。
13、 根据权利要求 11所述的装置， 其特征在于， 所述相机光心的位移量 计算单元包括：
计算单元，用于计算相机光心的实际位移量 7,其中， r = (7Q)*(« +1) , 其中， 7表示 T1到 T2时刻相机光心的实际位移量， 表示以秒为单位的相机 移动速度， Q表示相机一秒内拍摄的图像帧数， 《表示 T1时刻图像与 T2 时 刻图像间隔的帧数。
14、 根据权利要求 10所述的装置， 其特征在于， 所述障碍物检测单元包 括：
第一阔值计算单元，用于根据所述相机光心的实际位移量获得第一障碍物 阔值 7¾0；
第一比较判定单元， 用于确定所述位移量 ¾小于等于第一障碍物阔值 7¾0时， 判定所述位移量 对应的特征属于非障碍物； 用于确定所述位移量 大于第一障碍物阔值 7¾0, 判定所述位移量 对应的特征属于障碍物。
15、 根据权利要求 10所述的装置， 其特征在于， 所述障碍物检测单元包括： 第二阔值计算单元，用于根据所述相机光心的实际位移量获得第二障碍物 阔值 7 和第三障碍物阔值 7¾2, 所述第二障碍物阔值 7 小于第三障碍物阔值 Thl;
第二比较判定单元，用于确定所述位移量 ¾小于第二障碍物阔值 7 ，时， 判定所述位移量 ΡΖ¾对应的特征属于非障碍物； 确定所述位移量 ΡΖ¾大于第三 障碍物阔值 7¾2时， 判定所述位移量 ΡΖ¾对应的特征属于障碍物； 确定若所述 位移量 大于等于第二障碍物阔值 7 且小于等于第三障碍物阔值 7¾2时， 结 合已有的障碍物识别方法确定所述位移量 ^.对应的特征是否属于障碍物。
PCT/CN2009/071561 2008-12-29 2009-04-29 一种检测障碍物的方法和装置 WO2010078738A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2008101891436A CN101441076B (zh) 2008-12-29 2008-12-29 一种检测障碍物的方法和装置
CN200810189143.6 2008-12-29

Publications (1)

Publication Number Publication Date
WO2010078738A1 true WO2010078738A1 (zh) 2010-07-15

Family

ID=40725613

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2009/071561 WO2010078738A1 (zh) 2008-12-29 2009-04-29 一种检测障碍物的方法和装置

Country Status (2)

Country Link
CN (1) CN101441076B (zh)
WO (1) WO2010078738A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112660123A (zh) * 2021-01-14 2021-04-16 北汽福田汽车股份有限公司 一种车辆通过性提示方法和车辆

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101922930B (zh) * 2010-07-08 2013-11-06 西北工业大学 一种航空偏振多光谱图像配准方法
US10936883B2 (en) 2013-03-01 2021-03-02 Harman International Industries, Incorporated Road region detection
CN103279748B (zh) * 2013-06-04 2016-04-20 南京三宝科技股份有限公司 一种基于sift–cof特征光流的道路检测方法
CN103712602A (zh) * 2013-12-09 2014-04-09 广西科技大学 一种基于双目视觉道路障碍物自动检测的方法
CN103940345B (zh) * 2014-04-11 2016-06-01 西安敏文电子科技有限公司 一种远程位移测量系统及方法
US20180150703A1 (en) * 2016-11-29 2018-05-31 Autoequips Tech Co., Ltd. Vehicle image processing method and system thereof
CN106846491B (zh) * 2017-01-03 2018-09-07 腾讯科技（深圳）有限公司 一种图像绘制方法以及相关装置
CN109143242B (zh) 2018-09-07 2020-04-14 百度在线网络技术（北京）有限公司 障碍物绝对速度估计方法、系统、计算机设备和存储介质
CN109255181B (zh) 2018-09-07 2019-12-24 百度在线网络技术（北京）有限公司 一种基于多模型的障碍物分布仿真方法、装置以及终端
CN109215136B (zh) 2018-09-07 2020-03-20 百度在线网络技术（北京）有限公司 一种真实数据增强方法、装置以及终端
CN109059780B (zh) 2018-09-11 2019-10-15 百度在线网络技术（北京）有限公司 检测障碍物高度的方法、装置、设备及存储介质
CN109165629B (zh) 2018-09-13 2019-08-23 百度在线网络技术（北京）有限公司 多焦距视觉障碍物感知方法、装置、设备及存储介质
CN109703568B (zh) 2019-02-19 2020-08-18 百度在线网络技术（北京）有限公司 自动驾驶车辆行驶策略实时学习的方法、装置和服务器
CN109712421B (zh) 2019-02-22 2021-06-04 百度在线网络技术（北京）有限公司 自动驾驶车辆的速度规划方法、装置和存储介质
CN112066950B (zh) * 2020-07-24 2022-10-14 北京空间机电研究所 一种多光轴平行的测绘相机单中心投影转换方法
CN112344855B (zh) * 2020-10-27 2022-08-26 阿波罗智联(北京)科技有限公司 障碍物的检测方法、装置、存储介质和路测设备
CN112560769B (zh) * 2020-12-25 2023-08-29 阿波罗智联(北京)科技有限公司 用于检测障碍物的方法、电子设备、路侧设备和云控平台
CN112798020B (zh) * 2020-12-31 2023-04-07 中汽研（天津）汽车工程研究院有限公司 一种用于评估智能汽车定位精度的系统及方法
CN114608520B (zh) * 2021-04-29 2023-06-02 北京石头创新科技有限公司 一种测距方法、装置、机器人和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5410346A (en) * 1992-03-23 1995-04-25 Fuji Jukogyo Kabushiki Kaisha System for monitoring condition outside vehicle using imaged picture by a plurality of television cameras
JPH08255245A (ja) * 1995-03-17 1996-10-01 Toshiba Corp ランドマーク認識装置およびランドマーク認識方法
US6205242B1 (en) * 1997-09-29 2001-03-20 Kabushiki Kaisha Toshiba Image monitor apparatus and a method
EP1094337B1 (en) * 1999-10-21 2004-03-17 Matsushita Electric Industrial Co., Ltd. Parking assistance system
JP2006260098A (ja) * 2005-03-16 2006-09-28 Matsushita Electric Works Ltd 障害物検出装置
CN1924514A (zh) * 2005-08-31 2007-03-07 歌乐牌株式会社 车辆用障碍物检测装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000161915A (ja) * 1998-11-26 2000-06-16 Matsushita Electric Ind Co Ltd 車両用単カメラ立体視システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5410346A (en) * 1992-03-23 1995-04-25 Fuji Jukogyo Kabushiki Kaisha System for monitoring condition outside vehicle using imaged picture by a plurality of television cameras
JPH08255245A (ja) * 1995-03-17 1996-10-01 Toshiba Corp ランドマーク認識装置およびランドマーク認識方法
US6205242B1 (en) * 1997-09-29 2001-03-20 Kabushiki Kaisha Toshiba Image monitor apparatus and a method
EP1094337B1 (en) * 1999-10-21 2004-03-17 Matsushita Electric Industrial Co., Ltd. Parking assistance system
JP2006260098A (ja) * 2005-03-16 2006-09-28 Matsushita Electric Works Ltd 障害物検出装置
CN1924514A (zh) * 2005-08-31 2007-03-07 歌乐牌株式会社 车辆用障碍物检测装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MA,YAN ET AL.: "Robot obstacle detection with colored image segmentation and planar projection transformation", JOURNAL OF LANZHOU UNIVERSITY OF TECHNOLOGY, vol. 31, no. 3, June 2005 (2005-06-01), pages 97 - 100 *
U,XIN ET AL.: "Obstacle detection based on single view vision", JOURNAL OFZHEJIANG NIVERSITY(ENGINEERING SCIENCE), vol. 42, no. 6, June 2008 (2008-06-01), pages 913 - 917 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112660123A (zh) * 2021-01-14 2021-04-16 北汽福田汽车股份有限公司 一种车辆通过性提示方法和车辆

Also Published As

Publication number Publication date
CN101441076A (zh) 2009-05-27
CN101441076B (zh) 2010-06-02

Similar Documents

Publication Publication Date Title
WO2010078738A1 (zh) 一种检测障碍物的方法和装置
US9321173B2 (en) Tracking and following people with a mobile robotic device
US9406137B2 (en) Robust tracking using point and line features
CN108470356B (zh) 一种基于双目视觉的目标对象快速测距方法
WO2018209934A1 (zh) 基于时空约束的跨镜头多目标跟踪方法及装置
CN106650682B (zh) 一种人脸追踪的方法及装置
WO2010060287A1 (zh) 一种基于单目视觉的障碍物检测方法及装置
JP2016122198A (ja) 立体カメラのためのオートフォーカス
WO2010124497A1 (zh) 一种运动检测方法、装置和系统
WO2010069167A1 (zh) 识别图像中障碍物的方法和装置
JP6217635B2 (ja) 転倒検知装置および転倒検知方法、転倒検知カメラ、並びにコンピュータ・プログラム
WO2017201663A1 (zh) 一种运动目标的监测方法、穿戴式装置及服务器
CN116468786B (zh) 一种面向动态环境的基于点线联合的语义slam方法
WO2018216341A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2022257120A1 (zh) 瞳孔位置的确定方法、装置及系统
JP6789421B2 (ja) 情報処理装置、追跡方法、及び追跡プログラム
CN116030099B (zh) 一种基于ptz相机的多目标跟踪方法及装置
WO2020014864A1 (zh) 位姿确定方法、设备、计算机可读存储介质
WO2010066123A1 (zh) 障碍物分割方法及装置
JP2022164659A5 (zh)
JPWO2019123554A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2013257244A (ja) 距離測定装置、距離測定方法、及び距離測定プログラム
JP6288770B2 (ja) 顔検出方法、顔検出システム、および顔検出プログラム
EP2962249A1 (en) Road region detection
JP5760523B2 (ja) 走路推定装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09837296

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC - FORM 1205A (06.10.2011)

122 Ep: pct application non-entry in european phase

Ref document number: 09837296

Country of ref document: EP

Kind code of ref document: A1