WO2006090735A1 - エピポーラ幾何を用いた物体認識装置及び物体認識方法 - Google Patents

エピポーラ幾何を用いた物体認識装置及び物体認識方法 Download PDF

Info

Publication number
WO2006090735A1
WO2006090735A1 PCT/JP2006/303165 JP2006303165W WO2006090735A1 WO 2006090735 A1 WO2006090735 A1 WO 2006090735A1 JP 2006303165 W JP2006303165 W JP 2006303165W WO 2006090735 A1 WO2006090735 A1 WO 2006090735A1
Authority
WO
WIPO (PCT)
Prior art keywords
image plane
image
basic matrix
object recognition
matrix
Prior art date
Application number
PCT/JP2006/303165
Other languages
English (en)
French (fr)
Inventor
Toshiaki Kakinami
Jun Sato
Original Assignee
Aisin Seiki Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Kabushiki Kaisha filed Critical Aisin Seiki Kabushiki Kaisha
Priority to EP06714305.7A priority Critical patent/EP1852673B1/en
Priority to US11/884,728 priority patent/US8077965B2/en
Publication of WO2006090735A1 publication Critical patent/WO2006090735A1/ja

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Definitions

  • the present invention relates to an object for recognizing an object around a moving body by processing images of a first image plane and a second image plane with different viewpoints acquired by an imaging means attached on the moving body. Concerning recognition technology.
  • a first image plane and a second image plane with different viewpoints which are used in the above-described object recognition device, are created by two cameras arranged in parallel at left and right intervals, and each image plane is created.
  • a technique is known in which the amount of deviation of the corresponding object image part in the image is calculated, and the perpendicular distance to the linear force object connecting the left and right cameras is calculated from the amount of deviation using the principle of triangulation (for example, patent document) Refer to 1.) o
  • the left and right cameras must be accurately aligned so that a stereo image can be obtained. Lead.
  • this object recognition device is installed in an automobile, the degree of freedom of camera placement in the automobile is not so high! / Therefore, the strictness of this camera mounting accuracy is a severe condition.
  • a first image plane and a second image plane with different viewpoints are created before and after the movement of one camera, and the second image is subjected to compensation conversion processing for the first image plane and the camera movement.
  • a technique is known in which the amount of displacement of the corresponding object image portion with respect to the surface is calculated, and the linear force connecting the left and right cameras is also used to determine the perpendicular distance to the object using the principle of triangulation from this amount of displacement (for example, see Patent Document 2.) 0
  • the image plane before and after the movement of one camera is used, the camera mounting accuracy is not so required.
  • the position coordinates of the object are calculated from the amount of deviation of the object image portion between the first image plane and the second image plane, and the object is restored. There is a problem that the structure of the curved surface of the object cannot be restored. This problem also occurs in the technique according to Patent Document 1.
  • the epipolar line on the second image plane for the response point is calculated, then the distance d between the corresponding point on the second image plane and this epipolar line is obtained, and the count value of the pair of corresponding points whose distance d is below a certain threshold
  • a method is known in which a series of processes for obtaining the F matrix is repeated a certain number of times while randomly picking up 8 sets of corresponding points, and the F matrix with the maximum count value is used as the final F matrix (for example, non-patented (Refer to Reference 1.) o This method requires more than 8 pairs of corresponding points to calculate the F matrix.
  • Patent Document 1 JP-A-5-114099 (paragraph numbers 0016-0020, FIGS. 3, 4, 5)
  • Patent Document 2 JP-A-2001-187553 (paragraph numbers 0042-0066, FIGS. 4, 8)
  • Non-patent Reference 1 P. Torr, “Motion segmentation and outlier detecti on”, University of Oxford, 1995, p.58-60
  • an object around the moving object is processed by processing the images of the first image plane and the second image plane with different viewpoints obtained by the imaging means attached on the moving object.
  • the object to be recognized has a poorly textured and curved surface on the surface, such as the front or rear end of a car or the curb of a road, it can be recognized and tracked stably.
  • an object of the present invention is to provide an object recognition technology for a moving body, particularly an automobile, which can perform stable recognition even when the calculation load is low. Further, the object has no texture on the surface. Also cheap Recognition Is possible.
  • the feature configuration of the object recognition device is characterized by feature point detecting means for detecting feature points of an object image on the first image plane and the second image plane, and the first image plane and the first image plane.
  • feature point detecting means for detecting feature points of an object image on the first image plane and the second image plane, and the first image plane and the first image plane.
  • the first image plane and the second image plane for capturing the captured object image are created by a deviation of the imaging means using one camera or the imaging means using two cameras.
  • the relationship between the first image plane and the second image plane is a translational camera motion relationship
  • the corresponding feature points between the first image plane and the second image plane that is, corresponding points.
  • the basic matrix for determining the conversion between the first image plane and the second image plane can be obtained based on the calculation of the epipole by the self-epipolar. There should be at least two pairs of corresponding feature points (corresponding points). As a result, an object recognition device capable of stable recognition even when the calculation load is low is realized.
  • first image plane and the second image plane When employing an imaging means that creates the first image plane and the second image plane with a single camera, images taken before and after the translational movement of the camera accompanying the movement of the moving body
  • the first image plane and the second image plane have a geometric relationship based on translational camera motion.
  • the moving body is a vehicle such as an automobile, since its inertia is large, movement (movement) at short time intervals can be regarded as translational movement (translational movement), so such an object recognition device is effective. Can be applied to automobiles.
  • an imaging means for creating the first image plane and the second image plane by two cameras is used.
  • two cameras at the same time are used.
  • Camera The image planes obtained by the shooting are the first image plane and the second image plane.
  • the geometrical arrangement of these two cameras it is only necessary to observe the geometrical conditions based on the translational motion, so that the camera layout is compared to the stereo camera method based on the translational and rotational motions of multiple cameras. This is advantageous when applied to automobiles that are restricted in the installation location.
  • the feature point detecting means is configured to detect a shielding contour of the object and detect a point located on the contour line of the shielding contour as the feature point, a texture of the object to be recognized is detected. Even without it, it is possible to recover the 3D shape by detecting the feature point of the object based on the occlusion outline in the object image. Since the shielding contour, which is the boundary between the object and the background, is used instead of the texture on the object surface, it is possible to restore the shape of a vehicle with a curved surface shape that has a poor texture on the object surface.
  • the feature points of the object are detected and tracked in the image acquired by the imaging means, and the feature points force is obtained using the epipole obtained based on the epipolar geometric calculation. It is convenient to determine the matrix, but if a Gaussian differential filter is applied to the image to be processed that is stored in the frame memory when the occlusion contour is detected, a more reliable occlusion is applied. Contour detection is possible.
  • a feature point in which a temporary base matrix is generated and a distance between a straight line connecting the corresponding feature points on the first image plane and the second image plane and the epipole is within a predetermined value is a positive correspondence feature It is also preferable to configure the basic matrix determination means so that a temporary basic matrix having the maximum number of feature points corresponding to the points is determined as a formal basic matrix.
  • a characteristic called a self-epipolar where a straight line connecting corresponding points intersects at one point called an epipole is obtained.
  • the F matrix is calculated by using two sets of corresponding points (feature points corresponding to the first image plane and the second image plane) taken out at random. line; queue; procession; parade The count value of the set of corresponding points where the distance between the determined Epipol (pseudo-Epipol) and the straight line connecting the corresponding points is less than a certain threshold is obtained. The above process is repeated a certain number of times while randomly extracting two sets of corresponding points, and the F matrix with the maximum count value is determined as the final F matrix. This algorithm improves the processing speed by calculating the F matrix while stably removing erroneous correspondences.
  • the object recognition device is applicable to an automobile and exists in the surroundings because it can stably recognize an object having no texture on the surface even though the calculation load is low. If the bumper of the vehicle is a bumper to be recognized and the feature point detection means is configured to detect the shielding contour of the bumper, it can contribute to automating the garage and parking of the vehicle.
  • the present invention recognizes objects around the moving body by processing the images of the first image plane and the second image plane with different viewpoints acquired by the imaging means attached on the moving body.
  • the object recognition method is also subject to rights, such a method detecting a feature point of the object image on the first image plane and the second image plane, and the first image plane and the first image plane.
  • a self-contained matrix representing a geometric correspondence relationship based on translational camera motion between the first image plane and the second image plane by at least two sets of feature points corresponding to the two image planes.
  • a program for causing a computer to execute such an object recognition method and a medium on which the program is recorded are also subject to rights.
  • a shielding contour is mainly used as an image feature of an object to be recognized (hereinafter simply referred to as an object) acquired by an imaging unit.
  • the occluded contour is a contour generated by the object shielding the background in the image. Even if the object has no texture on the object surface, if there is a brightness difference between the object and the background, such a shielding contour can be observed. It can be used as an image feature.
  • many objects are composed of curved surfaces, so the occlusion contours are different from feature points such as corners and are curved so that they are on the occlusion contour curves obtained on the imaging surface at different viewpoints. It is difficult to associate points. Therefore, in the present invention, a method for obtaining the correspondence of points on the shielding contour between different viewpoints based on the epipolar geometry and restoring the shape of the three-dimensional object is adopted.
  • ⁇ appended above is a symbol representing a homogeneous coordinate
  • T superscript is a symbol representing a transposed matrix. It is.
  • the matrix F (fundamental matrix) is a 3 X 3 matrix with 7 degrees of freedom.
  • the F matrix requires at least 8 corresponding points when it is obtained by linear calculation and at least 7 points when it is obtained by nonlinear solution. Several corresponding points are required. However, since it is actually very difficult to track dozens of corresponding points in an image at all times, in the present invention, a moving object (typically an automobile or the like) that fixes a camera as an imaging means is used. Based on this, it is determined that the F matrix can be obtained more stably with less corresponding point force. In general, a vehicle has a large inertia, so in a short period of time, it moves approximately linearly. Can be considered. Therefore, the movement of the camera fixed to the vehicle can be considered as a pure translational movement in a short time.
  • a moving object typically an automobile or the like
  • the F matrix between images obtained before and after translation has the form shown in the following equation, and there are only two degrees of freedom except for the indefiniteness of a constant multiple.
  • the epipolar geometry can be obtained by obtaining the 2-degree-of-freedom F matrix shown in Eq. (2). It is possible to obtain corresponding points on the shielding contour curve.
  • Equation 3 f-0 (3) where M is the N X 3 matrix shown below.
  • the least squares solution of f is determined to leave a constant multiple of ambiguity as the eigenvector corresponding to the minimum eigenvalue of M T M.
  • the F matrix obtained is a large error. May include differences. Therefore, after eliminating such miscorresponding points, we adopt a method to find the F matrix by the least square method.
  • RANSAC Random Sample Consen sus
  • the camera motion is limited to translational motion, and the image power at two consecutive times also calculates the F matrix, so the camera motion is small, so the algorithm is as follows.
  • the F matrix can be obtained with at least two pairs of corresponding points. Therefore, first, two sets of corresponding points are randomly extracted from the N sets of corresponding points, and the F matrix is calculated using Eq. (3) using these two sets of corresponding points.
  • the F-matrix calculated in this way is used to calculate the epipolar line ⁇ in the second image plane for the corresponding point mi in the first image plane, and the distance from the corresponding point m in the second image plane. Since the camera motion is small, as shown in Fig. 2, the distance d is kept below the threshold value for all point m, and it is not possible to remove the incorrect response even if an incorrect response occurs. For this reason, in the present invention, erroneous correspondence removal is stably performed using the fact that the epipolar geometry of the translational motion force mela becomes a self-epipolar.
  • F matrix calculation can be performed while removing false correspondences stably from the progressive power mela.
  • the 3D object has a curved shape like a vehicle or human body, there are no physically corresponding points on the shielding contour curve obtained from different viewpoints as shown in Fig. 4. ⁇ .
  • the same 3D point may be projected as a shielding contour on different viewpoints.
  • the camera is moving in translation, the nature of a self-epipolar is established, and when images from different viewpoints are superimposed, the corresponding points are on the same epipolar line. Therefore, as shown in FIG. 5, on two consecutive images, the points m and m ′ on the shielding contour existing on the same epipolar line 1 are considered to correspond to each other.
  • E matrix the basic matrix (Essential matrix: hereinafter referred to as E matrix) is calculated from the obtained F matrix using the internal parameter matrix A, and the E matrix is decomposed to obtain the 3D camera motion ( Rotation and translation), and the camera motion between the two images
  • This object recognition device is mounted on a vehicle, particularly an automobile.
  • one digital camera 10 as an imaging means and an image input unit 20 that receives an image signal from the digital camera 10 are used.
  • a frame memory 30 for temporarily storing digitized image data, an image processing unit 40 for performing various image processing on the acquired image data, and an image to a monitor not shown here.
  • the image output unit 50 that outputs the signal and this It is composed of a control unit 60 that controls various functional elements constituting the object recognition device in accordance with an input signal of sensor isoelectric force and outputs the control result.
  • the image processing unit 40 includes an image data control unit 41, a feature extraction unit 42, and a recognition processing unit 43.
  • the microcomputer 61 Based on a vehicle movement signal input to the control unit 60 from a wheel speed sensor 70 or the like that functions as a moving body position information acquisition unit, the microcomputer 61 detects a vehicle movement of a predetermined distance, and an image from the camera 10 is detected. Image data obtained by subjecting the signal to synchronization separation and A / D conversion as functions of the image input unit 20 is stored in the frame memory 30 every movement of a predetermined distance. For example, the image data before the movement of the predetermined distance is an image formed on the first image plane, and the image data after the movement of the predetermined distance is an image formed on the second image plane. At that time, if the vehicle is moving over a short distance (eg, about 10 cm), the first image plane and the second image plane can be considered more geometrically based on translational camera motion.
  • a short distance eg, about 10 cm
  • an image included in a desired image plane is read out by address designation by the image data control unit 41, and a feature extraction unit that functions as a feature point detection unit At 42, feature points on the contour lines and corners in the image are detected.
  • Various feature extraction algorithms can be used, but Harris corner detection is adopted here.
  • the recognition processing unit 43 uses at least two sets of feature points corresponding to the first image plane and the second image plane described above to perform geometric correspondence based on translational camera motion between these image planes. Based on the basic matrix determination means 43a for determining the basic matrix representing the relationship based on the calculation of the epipole by the self-epipolar, and based on the coordinates of the object in the basic matrix and the first and second image planes A 3D position calculation means 43b that calculates the 3D position of the object is implemented as a program.
  • the recognition processing unit 43 configured as described above uses feature point groups detected between two successive image planes, that is, between the first and second image planes having different viewpoints.
  • the F matrix calculation based on the self-epipolar and the removal of miscorresponding points are performed, and the three-dimensional coordinates are calculated by triangulation using only the points that correspond correctly. That is, the recognition processing unit 43 functions as F matrix (basic matrix) determining means.
  • the recognition processing unit 43 functions as F matrix (basic matrix) determining means.
  • the calculated three-dimensional coordinates are transferred to the drawing unit 51 of the image output unit 50, Two-dimensional stereoscopic image data is created based on the dimensional coordinates, and is converted into an image signal by the display controller 52. Since the image data from the frame memory 30 is also input to the display controller 40, the image signal from the power controller 10 and the object recognized by the image processing unit 40 are connected by connecting the image signal from the display controller 40 to the monitor. Stereoscopic images can be displayed on the monitor.
  • the three-dimensional object has a curved surface shape such as a vehicle or a human body, as shown in Fig. 4, the physically corresponding points on the shielding contour curve obtained from different viewpoints are
  • approximately the same 3D point is projected as a shielding contour on different viewpoints. I consider it.
  • FIG. 7 shows a basic flowchart. Images acquired by the camera 10 in response to a trigger signal generated at a predetermined timing in the control unit 60 are sequentially stored in the frame memory 30 (# 01). The feature points of the object in the image read from the frame memory 30 to the image processing unit 40 are detected and tracked, the epipole is obtained based on the epipolar geometry calculation, and the F matrix is obtained (# 02). Detect occlusion contours using epipolar geometry (# 03). The 3D coordinates of the corresponding point on the detected shielding contour are calculated, and the 3D shape is restored from the calculated 3D coordinate (# 04).
  • the E matrix is calculated from the obtained F matrix using the internal parameter matrix A, the E matrix is decomposed, the 3D camera motion is calculated, and the two obtained Three-dimensional coordinates are calculated from the camera motion between images and corresponding points m and m 'on the occlusion contour obtained from epipolar geometry.
  • step # 50 it is checked whether the number of feature points on the imaging surface acquired at the current time exceeds the threshold (# 50). If the number of feature points exceeds the threshold (# 50 Yes branch), calculate the epipolar geometry during translation using the least squares method to obtain the epipole (# 60). If the determined epipole is in the proper range (# 70) and the epipole is in the proper range (# 70 Yes branch), calculate the moving average of the determined epipole (# 70) Return. If the number of feature points is less than or equal to the threshold value in step # 50 (# 50 No branch), and if in step # 70 the epipole is in the appropriate range (# 70 No branch), this routine is terminated. And return as it is.
  • the correlation value near the feature point is substituted for the variable: min (# 201).
  • Variable Substituting the correlation value near the search point for wakeup (# 202). If the variable: sum is compared with the variable: min and the variable: min exceeds the variable: sum (# 203 Yes branch), the variable: sum is substituted for the variable: min, and the feature point is the corresponding point Candidate (# 204). If variable: min is less than or equal to variable: sum (# 203 No branch), step # 204 is jumped. The processing from step # 202 to step # 204 is repeated over the search range (# 205), and when all the processing within the search range is completed, the corresponding point candidate is set as a valid corresponding point (# 206) and the process returns. .
  • step # 308 is jumped. .
  • the processing from step # 305 to step # 308 is repeated for all corresponding points (# 309 No branch).
  • the variable: Nc is compared with the variable: max (# 310). If the variable: Nc is smaller than the variable: max (# 310 Yes branch), the corresponding point candidate is set as the corresponding point and the variable: max is substituted for the variable: max (# 311). Variable: If Nc is greater than variable: max (# 3 ⁇ branch), jump to step # 31 1. After the above steps # 302 to # 311 have been performed the specified number of times (# 312), the process returns.
  • step # 40 The routine for detecting the corner of squirrel in step # 40 will be described with reference to the flowchart of FIG.
  • the Gaussian differential filter is applied to the target image data by running a Gaussian differential filter in the X and Y directions (# 401). For each pixel, calculate the cornerness (adopting evaluation value called CRF) (# 402). Differential operation value force Feature point candidates are enumerated (# 403), and the enumerated feature point candidates are rearranged based on CRF (# 404). Repeat the process of making feature points (# 405) in order from the size of the CRF (# 405) until the required number of feature points is obtained (# 405 No branch), and return when the required number of feature points is obtained (# 405Y es branch).
  • CRF cornerness
  • a Gaussian differential filter is applied to the target image data by running a Gaussian differential filter in the direction of the epipole (# 31). After scaling the obtained differential value calculation map (# 32), use this to fine-line the differential image (# 33) and return.
  • feature point group force attention feature points are sequentially specified, and whether or not the attention feature point is a restoration candidate point is checked (# 41). If the feature point of interest is a restoration candidate point (# 41 Yes branch), guess the corresponding point of the next time (# 42), and if there is a point corresponding to the next time ( # 43 Yes branch), this feature point is set as a recoverable feature point (# 44). If the feature point of interest is not a restoration candidate point (# 41 No branch), the corresponding point at the next time is searched (# 45), and if there is a point corresponding to the next time (# 46 Yes branch) ), This feature point is the restoration candidate feature point (# 47).
  • step # 48 Yes branch When the processing from step # 41 to step # 47 is performed for all feature points (# 48 Yes branch), the process proceeds to the next step.
  • the reconstructable feature points obtained in the previous processing are back-projected to the 3D space using the F matrix, more precisely the E matrix (# 4 9), and the 3D coordinates of the intersection of the straight lines are calculated (# 50 ).
  • the 3D coordinates obtained here are sent to the drawing unit 40, and 3D display image data of the object is generated.
  • FIG. 14 shows the results of three-dimensional reconstruction of three parked vehicles.
  • Fig. 14 (a) is a captured image
  • Fig. 14 (b) is a three-dimensional reconstruction image.
  • the results of three-dimensional reconstruction of the next parked vehicle are shown in Fig. 15.
  • Fig. 15 (a) is a photographed image
  • Fig. 15 (b) is a three-dimensional reconstruction image. From Fig.
  • the three-dimensional shape of the obstacle around the vehicle can be restored with a low calculation cost.
  • the 3D shape can be restored even for obstacles without texture.
  • the occlusion contour is a curve, it is not easy to match the occlusion contours obtained at different times, but the correspondence between points on the occlusion contour is obtained by using epipolar geometry. .
  • the epipolar geometry limited to translational motion is calculated using the fact that the motion of the vehicle can be approximated to translational motion in a short time.
  • the object recognition apparatus is capable of stable recognition with low computational load while utilizing epipolar geometry, and is capable of stable recognition even if the object has no texture on the surface. Therefore, it can be mounted on various moving bodies. In particular, when mounted on a car, it is suitable for detecting obstacles during parking and driving, and contributes to driver assistance.
  • FIG. 1 is an explanatory diagram for explaining the shielding contour.
  • FIG.5 Schematic diagram showing the corresponding points on the self-epipolar and shielding contour
  • FIG. 6 is a functional block diagram in the embodiment of the object recognition apparatus of the present invention.
  • FIG. 7 is a flowchart showing the flow of recognition processing in the embodiment of the object recognition apparatus of the present invention.
  • FIG. 9 is a flowchart showing a feature point tracking routine.
  • FIG. 10 Flow chart showing the routine for checking the response by epipolar restraint.
  • FIG. 11 is a flowchart showing a Harris corner detection routine.
  • FIG. 12 Flow chart showing the occlusion contour detection routine using epipolar geometry.
  • FIG. 13 is a flowchart showing a shape restoration routine.

Abstract

　自動車などの移動体上に取付けられた撮像手段１０によって取得される、視点が異なる第１画像面と第２画像面との画像を処理して、移動体周辺の物体を認識する物体認識装置。第１・第２画像面における物体画像の特徴点を検出する特徴点検出手段４２と、第１・第２画像面の間で対応する少なくとも２組の特徴点により並進カメラ運動に基づく幾何学的な対応関係を表す基礎行列を自己エピポーラによるエピポールの算定に基づいて決定する基礎行列決定手段４３ａと、第１・第２画像面における物体の座標及び決定された基礎行列に基づいて物体の３次元位置を計算する３次元位置計算手段４３ｂとが備えられている。

Description

明 細 書
ェピポーラ幾何を用いた物体認識装置及び物体認識方法
技術分野
[0001] 本発明は、移動体上に取付けられた撮像手段によって取得される、視点が異なる 第 1画像面と第 2画像面との画像を処理して、移動体周辺の物体を認識する物体認 識技術に関する。
背景技術
[0002] 上述した物体認識装置で用いられる、視点が異なる第 1画像面と第 2画像面とを所 定間隔をあけて平行に左右配置された 2台のカメラによって作り出し、それぞれの画 像面における対応する物体画像部分のずれ量を算定し、このずれ量から三角測量 の原理を用いて、左右のカメラを結ぶ直線力 物体までの垂線距離を求める技術が 知られている（例えば、特許文献 1参照。 ) oこの物体認識技術では、ステレオ画像が 得られるように左右のカメラを正確に位置合わせして配置しなければならず、左右の カメラの位置ずれはそのまま物体の位置座標演算の誤差を導く。この物体認識装置 を自動車などに搭載する際には、自動車におけるカメラ配置の自由度はそれほど高 くな！/、ことから、このカメラ取り付け精度の厳密性は厳 、条件となる。
[0003] 視点が異なる第 1画像面と第 2画像面とを 1台のカメラの移動前後の画面力 作り出 し、その第 1画像面とカメラ移動の補償変換処理を施された第 2画像面とにおける対 応する物体画像部分のずれ量を算定し、このずれ量から三角測量の原理を用いて、 左右のカメラを結ぶ直線力も物体までの垂線距離を求める技術が知られて 、る（例え ば、特許文献 2参照。 ) 0この物体認識技術では、 1台のカメラの移動前後の画像面 を用いるのでカメラの取り付け精度はあまり要求されない。し力しながら、物体の位置 座標を求めるために、第 1画像面と第 2画像面とにおける物体画像部分のずれ量か ら物体の位置座標を算定してその物体を復元して 、るので、物体の曲面部の構造を 復元できないという問題がある。なお、この問題は特許文献 1による技術においても 同様に生じる。
[0004] コンピュータビジョンと呼ばれて!/、る技術分野にぉ 、て知られて 、る、異なる視点か ら得られた 2つの画像において対応する点の変換行列としての基礎行列 (fondamenta 1 matrix:F行列とも呼ばれる)を求める際、まず N組の対応点力 ランダムに 8組の対 応点を取
り出し、取り出した 8組の対応点を用いて求めた F行列を用いて、第 1画像面における 対
応点に対する第 2画像面上のェピポーラ線を計算し、次に第 2画像面における対応 点とこのェピポーラ線との距離 dを求め、距離 dがある閾値以下となる対応点の組の 計数値を求める一連の処理を、ランダムに 8組の対応点を取り出しながらある一定回 数繰り返し、計数値が最大となる F行列を最終的な F行列とする手法が知られている（ 例えば、非特許文献 1参照。 ) oこの手法では、 F行列を求めるために 8組以上の対応 点を必要とするため、
特に自動車などの移動体における物体認識装置に適用する場合安定的に検出-追 跡することが困難であるという問題が生じる。
特許文献 1 :特開平 5— 114099号公報（段落番号 0016— 0020、図 3, 4, 5) 特許文献 2 :特開 2001— 187553号公報（段落番号 0042— 0066、図 4, 8) 非特許文献 1 :フィリップ'トノレ（P. Torr)著， 「Motion segmentation and outlier detecti on」， University of Oxford , 1995, p.58- 60
発明の開示
発明が解決しょうとする課題
以上の従来技術で示されるように、移動体上に取付けられた撮像手段によって取 得される、視点が異なる第 1画像面と第 2画像面との画像を処理して、移動体周辺の 物体を認識する、現状の物体認識装置では、認識すべき物体が自動車の前端部や 後端部あるいは道路の縁石といった表面にテクスチャーが乏しぐかつ曲面形状をし ている場合、安定的に認識 ·追跡することが困難であり、また、時々刻々と変化する 画像中での特徴部を従来のステレオ法などで追跡しながら認識するためには対応点 探索処理に時間が力かりすぎるといった問題があることから、本発明の課題は、計算 負荷が低くても安定した認識が可能な、移動体用、特に自動車用の物体認識技術を 提供することであり、さらには表面にテクスチャーの無い物体であっても安定した認識 が可能なことである。
課題を解決するための手段
[0006] 前記課題を解決するため、移動体上に取付けられた撮像手段によって取得される 、視点が異なる第 1画像面と第 2画像面との画像を処理して移動体周辺の物体を認 識する、本発明による物体認識装置の特徴構成は、前記第 1画像面と前記第 2画像 面とにおける物体画像の特徴点を検出する特徴点検出手段と、前記第 1画像面と前 記第 2画像面との間で対応する少なくとも 2組の前記特徴点により前記第 1画像面と 前記第 2画像面との間の並進カメラ運動に基づく幾何学的な対応関係を表す基礎行 列を自己ェピポーラによるェピポールの算定に基づ!/、て決定する基礎行列決定手 段と、前記第 1画像面と前記第 2画像面とにおける前記物体の座標及び前記決定さ れた基礎行列に基づいて前記物体の 3次元位置を計算する 3次元位置計算手段と を備えていることである。
[0007] この構成では、撮像された物体画像を写し出す第 1画像面と第 2画像面とが 1台の カメラを用いた撮像手段又は 2台のカメラを用いた撮像手段の ヽずれで作り出されよ うとも、第 1画像面と第 2画像面との関係が並進カメラ運動の関係である限り、前記第 1画像面と前記第 2画像面との間で対応するそれぞれの特徴点、つまり対応点の間 の変換を決定する基礎行列を自己ェピポーラによるェピポールの算定に基づ 、て求 めることができるので、後で詳しく説明するように、前記第 1画像面と前記第 2画像面 との間で対応する特徴点 (対応点）は少なくとも 2組だけあればよい。これにより、計算 負荷が低くても安定した認識が可能な物体認識装置が実現する。
[0008] 前記第 1画像面と前記第 2画像面とを 1台のカメラによって作り出す撮像手段を採 用する場合、前記移動体の移動に伴う前記カメラの並進移動の前後で撮影した際の 画像面が並進カメラ運動に基づく幾何学的関係をもつ前記第 1画像面と前記第 2画 像面となる。移動体が自動車のような車両の場合、その慣性が大きいことから短い時 間間隔での運動 (移動）は並進運動 (並進移動）とみなすことができるので、このような 物体認識装置は効果的に自動車に適用することができる。
[0009] なお、前記第 1画像面と前記第 2画像面とを 2台のカメラによって作り出す撮像手段 を採用することも本発明では除外されておらず、その際は、同時刻での 2台のカメラ による撮影での画像面が前記第 1画像面と前記第 2画像面となる。この 2台のカメラの 幾何学的な配置に関しては、並進運動に基づく幾何学的条件が守られさえすればよ いので、複数のカメラの並進と回転運動に基づくステレオカメラ法に較べ、カメラ配置 の自由度が高くなり、取り付け場所に制限を受ける自動車などに適用する際に利点 がある。
[0010] 前記特徴点検出手段を、前記物体の遮蔽輪郭を検出するとともにこの遮蔽輪郭の 輪郭線上に位置する点を前記特徴点として検出するように構成するならば、認識す べき物体にテクスチャーの無くても、物体画像における遮蔽輪郭をもとに物体の特徴 点を検出して、 3次元形状復元することができる。物体表面上のテクスチャーの代わり に物体と背景との境界である遮蔽輪郭を用いるため、特に、対象物表面にテクスチャ 一が乏しぐかつ曲面形状をした車両などを安定的に形状復元することが可能となる ェピポーラ幾何を用いて遮蔽輪郭検出する場合、撮像手段によって取得した画像 における前記物体の特徴点を検出 ·追跡するとともに前記特徴点力 ェピポーラ幾 何計算に基づいて求められたェピポールを用いて基本行列を決定すると好都合で あるが、さらに、遮蔽輪郭検出の際にフレームメモリに蓄積されている処理対象となる 画像に対して前記ェピポールの方向にガウシアン微分フィルタをかけると、より信頼 性の高い遮蔽輪郭検出が可能となる。
[0011] 仮の基礎行列を生成するとともに前記第 1画像面と前記第 2画像面とにおいて対応 する特徴点同士を結ぶ直線と前記ェピポールとの距離が所定値以内である特徴点 を正対応特徴点とし、この正対応特徴点の数が最大となる仮の基礎行列を正式な基 礎行列として決定するように、前記基礎行列決定手段を構成することも好適である。 つまり、前記第 1画像面と前記第 2画像面とが並進運動に基づく幾何学的関係にある ことから、その対応点同士を結ぶ直線がェピポールと呼ばれる一点で交差する自己 ェピポーラと呼ばれる性質が得られるので、対応点同士を結ぶ直線がェピポールか ら大きく外れて ヽる場合にはこれらの対応点の組は誤対応を起こして ヽると考えるこ とができる。このことを利用して、ランダムに取り出された 2組の対応点（前記第 1画像 面と前記第 2画像面との間で対応し合う特徴点)を用いて F行列を算定し、この F行列 より求められたェピポール (擬似的なェピポール）と前記対応点を結ぶ直線との距離 がある閾値以下となる対応点の組の計数値を求める。以上の処理を、ランダムに 2組 の対応点を取り出しながらある一定回数繰り返し、計数値が最大となる F行列を最終 的な F行列として決定するのである。このアルゴリズムでは、安定に誤対応除去を行 いながら F行列の算定を行うので処理速度が改善される。
[0012] 本発明による物体認識装置は、計算負荷が低くにもかかわらず、表面にテクスチャ 一の無い物体であっても安定した認識が可能であることから、自動車に適用し、周囲 に存在する自動車のバンパーを認識すべきバンパーとするとともに前記特徴点検出 手段をバンパーの遮蔽輪郭を検出するように構成すると、自動車の車庫入れや駐車 の自動化に貢献できる。
さらに、本発明では、上述した、移動体上に取付けられた撮像手段によって取得さ れる、視点が異なる第 1画像面と第 2画像面との画像を処理して、移動体周辺の物体 を認識する物体認識方法も権利の対象としており、そのような方法は、前記第 1画像 面と前記第 2画像面とにおける物体画像の特徴点を検出するステップと、前記第 1画 像面と前記第 2画像面との間で対応する少なくとも 2組の前記特徴点により前記第 1 画像面と前記第 2画像面との間の並進カメラ運動に基づく幾何学的な対応関係を表 す基礎行列を自己ェピポーラによるェピポールの算定に基づ 、て決定するステップ と、前記第 1画像面と前記第 2画像面とにおける前記物体の座標及び前記決定され た基礎行列に基づいて前記物体の 3次元位置を計算するステップとから構成されて いる。当然ながら、このような物体認識方法も上述した本発明による物体認識装置で 述べた作用効果を実質的に得ることができ、その好適な提案内容も流用することが 可能である。
また、本発明では、このような物体認識方法をコンピュータに実行させるプログラム やそのプログラムを記録した媒体も権利の対象とするものである。
本発明によるその他の特徴及び利点は、以下図面を用いた実施形態の説明により 明らかになるだろう。
発明を実施するための最良の形態
[0013] まず、本発明の理論的根拠を説明する。 本発明では、撮像手段によって取得された認識対象となる物体 (以下単に対象物と 略称する）の画像特徴として主に遮蔽輪郭が用いられる。遮蔽輪郭とは、図 1に示す ように、画像中において、対象物が背景を遮蔽して生ずる輪郭である。物体表面にテ タスチヤ一が無い対象物でも、この対象物と背景との間で輝度差が有れば、このよう な遮蔽輪郭が観測できることから、テクスチャーの有無に関わらず、対象物のための 画像特徴として用いることができる。しカゝしながら、多くの物体は曲面から構成されて おり、そのため、遮蔽輪郭はコーナーなどの特徴点とは異なり、曲線となるため異なる 視点での撮像面で得られた遮蔽輪郭曲線上の点同士を対応付けることは困難であ る。そこで本発明では、ェピポーラ幾何をもとに、異なる視点間における遮蔽輪郭上 の点の対応を求め、 3次元物体の形状を復元する方法を採用して 、る。
[0014] この方法では、まず 2つの異なる視点の 2つの画像面における画像間のェピポーラ 幾何を表す F行列（基礎行列）を安定的に求める必要がある。 3次元空間中の同一の 点をその
ような2つの画像面 (第 1画像面と第 2画像面）に投影して得られる投影点をぞれぞれ m = [u, v]T、 m' = [u'， v']Tとすると、これらの間には一般に以下に示すェピポーラ方 程式が成り立つ。
[0015] [数 1] m'TFm = 0 (1 ) ここで、上に付記された「〜」は斉次座標を表す記号であり、上付きの「T」は転置行 列を表す記号である。行列 F (基礎行列）は、 3 X 3で自由度 7の行列である。
一般に、 F行列は線形計算で求めようとする場合には最低 8点、非線形解法で求め る場合にも最低 7点の対応点が必要であり、ある程度安定な F行列を得るためには、 さらに数点の対応点が必要となる。しかし、画像中において常に十数点の対応点をト ラッキングするのは実際には非常に難しいので、本発明では、撮像手段としてのカメ ラを固定している移動体 (典型的には自動車などの車両)の運動に拘束を設け、これ をもとにより少ない対応点力もより安定的に F行列を求めることにしている。一般に車 両は大きな慣性を持って ヽることから、短時間中では近似的に直線運動を行って ヽ ると見なすことができる。従って車両に固定されたカメラの運動も、短時間中では、純 粋な並進運動と考えることができる
同一のカメラが並進運動した場合には、並進前後で得られる画像間の F行列は次 式で示すような形をしており、定数倍の不定性を除いて 2自由度しかない。
[数 2]
0 a b
a 0 c (2)
b -c 0 従って車載カメラの運動を並進運動と仮定した場合には (2)式に示す 2自由度の F 行列を求めることによりェピポーラ幾何が求まり、先に述べたようにェピポーラ線をも とに遮蔽輪郭曲線上の対応点を求めることが可能となる。
(2)式の F行列は以下のようにして 2組以上の対応点より線形に求めることができる。 今、画像中において N組の対応点 m = [u , v]T、 m' = [u' , v' ]T (i = 1,…， が得られ ているとする。（2)式を (1)式に代入し、求める F行列の要素 f = [a, b, c]Tに関して 整理すると、以下の式が得られる。
[数 3] f - 0 (3) ここで Mは以下に示す N X 3行列である。
[数 4]
M (4)
VNU'N一 uNvN u'N - uN vN - VN この時、 fの最小二乗解は MTMの最小固有値に対応する固有ベクトルとして定数 倍の不定性を残して求まる。し力 実際には対応点中に誤対応が存在するため、求 めた対応点全点を用いて単純に最小二乗解を求めると、得られる F行列は大きな誤 差を含む場合がある。そこで、このような誤対応点を取り除いた上で最小二乗法によ り F行列を求める手法を取り入れる。誤対応点を取り除く手法として、フィッティングに 必要な最小点数を選択して直線をフィッティングするとともに、他の点がその直線に どの程度フィットするかをチェックする処理からなる RANSAC(RANdom Sample Consen sus)手法が用いられる。
その際、本発明では、カメラ運動を並進運動に限定しており、また連続する 2時刻 の画像力も F行列を計算するためカメラ運動が小さいことから、以下のようなアルゴリ ズムとなる。
カメラ運動は純粋な並進と仮定するため、 F行列は最低 2組の対応点で求まる。従 つて、まず N組の対応点からランダムに 2組の対応点を取り出し、これら 2組の対応点 を用いて、 (3)式により F行列を計算する。
一般には、このようにして求めた F行列を用いて、第 1画像面中の対応点 miに対す る第 2画像面中のェピポーラ線 Γを計算し、第 2画像の対応点 mとの距離を計算する と、カメラ運動が小さいことから、図 2に示すように、全ての点点 m に関して距離 dが閾 値以下に収まってしまい、誤対応を起こしていても誤対応除去ができなくなる。このた め、本発明では、並進運動力メラのェピポーラ幾何が自己ェピポーラとなることを用 いて、安定的に誤対応除去を行う。
つまり、並進運動力メラの場合には、運動前後の画像を重ね合わせると、図 3に示 すように、対応点同士を結ぶ直線がある一点で交差し、この交点がェピポールとなる 。この性質は自己ェピポーラ (auto epipolar)と呼ばれ、その説明は、例えば、佐藤淳 「コンピュータビジョン 視覚の幾何学一」コロナ社, 1999年 5月 7日初版 p.101-109 に詳しい。この自己ェピポーラの性質より、対応点同士を結ぶ直線がェピポールから 大きく外れて 、る場合にはこれらの対応点の組は誤対応を起こして 、ると考えること ができる。
そこで、ランダムに 2組の対応点を取り出し、これら 2組の対応点を用いて、（3)式に より仮の F行列を計算した後、この F行列よりェピポール eを計算する。次に、第 1画像 の対応点 mと第 2画像の対応点 mを結ぶ直線 1を求め、この直線 1とェピポール の 距離 dを計算し、距離 dがある閾値以下となる対応点の組の計数値 Nを求める。 以上の処理を、ランダムに 2組の対応点を取り出しながらある一定回数繰り返し、計 数値 Nが最大となる最終的な F行列を求める。このようにして、カメラ運動の小さい並
C
進運動力メラから、安定的に誤対応除去を行いながら F行列計算を行うことができる。
[0021] 前述したアルゴリズムで求められた F行列を用いて遮蔽輪郭から 3次元形状を復元 する方法を以下に説明する。
3次元物体が車両や人体のように曲面形状である場合には、図 4に示すように、異 なる視点で得られる遮蔽輪郭曲線上にぉ 、て物理的に対応する点は存在しな!ヽ。し かし、短い時間間隔またはカメラ移動により画像を得た場合には、近似的に同一の 3 次元点が遮蔽輪郭として異なる視点に投影されたと考えても差し支えない場合を考 える。さらにカメラが並進運動をしていると仮定すると、自己ェピポーラの性質が成り 立ち、異なる視点の画像同士を重ね合わせると、対応点は同一ェピポーラ線上に乗 る。そこで図 5に示すように、連続する 2つの画像上においは、同一のェピポーラ線 1 上に存在する遮蔽輪郭線上の点 m, m'は互いに対応していると考えられる。このよう にして、ェピポーラ幾何を用いて連続する 2時刻の遮蔽輪郭上の点同士の対応関係 を求めることができ、得られた対応点を用いて 3次元形状を復元することが可能となる 実際の 3次元復元は、まず、求めた F行列から内部パラメータ行列 Aを用いて基本 行列 (Essential行列：以下 E行列と称する）を計算し、この E行列を分解して、 3次元の カメラ運動 (回転と並進)を計算し、求めた 2つの画像間のカメラ運動と、ェピポーラ幾 何より
得られる遮蔽輪郭上の対応点 m, m'から 3次元座標を計算することにより行われる。
[0022] 上述した本発明の原理を実践すべく構成された本発明による物体認識装置の一例 を図面に基づいて説明する。
この物体認識装置は、車両、特に自動車に搭載されるものであり、図 6に示すように 、撮像手段として 1台のデジタルカメラ 10と、デジタルカメラ 10からの画像信号を受け る画像入力部 20と、デジタル化された画像データを一時的に記憶するフレームメモリ 30と、取得された画像データに対して種々の画像処理を施す画像処理部 40と、ここ では図示されていないモニタなどへの画像信号の出力を行う画像出力部 50と、この 物体認識装置を構成する種々の機能要素をセンサ等力 の入力信号に応じて制御 するとともにその制御結果を出力する制御部 60とから構成されている。画像処理部 4 0には、画像データ制御部 41と特徴抽出部 42と認識処理部 43が含まれている。
[0023] 移動体位置情報取得手段として機能する車輪速センサ 70等から制御部 60に入力 された車両移動信号に基づいて、マイコン 61が所定距離の車両移動を検知し、カメ ラ 10からの画像信号に画像入力部 20が有する機能としての同期分離と A/D変換を 施して得られる画像データを所定距離の移動毎にフレームメモリ 30に蓄積する。例 えて言うならば、この所定距離の移動前の画像データは第 1画像面に形成される画 像となり、所定距離の移動後の画像データは第 2画像面に形成される画像となる。そ の際、車両の短い距離 (例えば 10cm程度)の移動では、第 1画像面と第 2画像面は 並進カメラ運動に基づく幾何学的な関係をもっとみなされる。
[0024] フレームメモリ 30に蓄えられた画像データのうち、画像データ制御部 41によるアド レス指定により所望の画像面に含まれる画像分が読み出され、特徴点検出手段とし て機能する特徴抽出部 42においてその画像中の輪郭線やコーナー上の特徴点が 検出される。特徴抽出ァルゴリムとして種々のものが利用可能であるがここではハリス のコーナー検出が採用されている。
[0025] 認識処理部 43には、前述した第 1画像面と第 2画像面との間で対応する少なくとも 2組の特徴点によりこれらの画像面間の並進カメラ運動に基づく幾何学的な対応関 係を表す基礎行列を自己ェピポーラによるェピポールの算定に基づ 、て決定する基 礎行列決定手段 43aと、この基礎行列と第 1画像面と第 2画像面とにおける対象物の 座標に基づいて対象物の 3次元位置を計算する 3次元位置計算手段 43bがプロダラ ムとして実装されている。
[0026] このように構成された認識処理部 43では、連続する 2つの画像面、つまり視点の異 なる第 1画像面と第 2画像面におけるそれぞれの画像間で検出された特徴点群を用 いて、前述したアルゴリズムにしたがって自己ェピポーラに基づく F行列の計算と誤 対応点の除去が行われ、正しく対応した点群のみを用いて三角測量により 3次元座 標が算出される。つまり、この認識処理部 43は、 F行列 (基礎行列)決定手段として機 能する。算出された 3次元座標が画像出力部 50の描画部 51に転送されると、この 3 次元座標に基づいて 2次元での立体視画像データが作成され、表示コントローラ 52 で画像信号に変換される。表示コントローラ 40にはフレームメモリ 30からの画像デー タも入力されるので、表示コントローラ 40からの画像信号をモニタに接続することで力 メラ 10による撮像画像と画像処理部 40で認識された物体の立体視画像がモニタ表 示可能である。
[0027] なお、ここでは、 3次元物体が車両や人体のように曲面形状である場合には、図 4に 示すように、異なる視点で得られる遮蔽輪郭曲線上において物理的に対応する点は 存在しな!、が、短 、時間間隔での画像取得またはカメラの並進移動前後での画像取 得の場合には、近似的に同一の 3次元点が遮蔽輪郭として異なる視点に投影された とみなしている。
[0028] 上述した構成の物体認識装置における、物体の撮像から 3次元復元までの処理の 流れを図 7〜図 13のフローチャートを用いて説明する。
図 7は基本フローチャートを示しており、制御部 60において所定のタイミングで生成 されるトリガー信号に応答してカメラ 10で取得された画像が順次フレームメモリ 30に 蓄積される（# 01)。フレームメモリ 30から画像処理部 40に読み込んだ画像における 対象物の特徴点を検出'追跡し、ェピポーラ幾何計算に基づ 、てェピポールを求め 、 F行列を得る ( # 02)。ェピポーラ幾何を用いて遮蔽輪郭検出を行う（ # 03)。検出 された遮蔽輪郭上の対応点の座標からその点の 3次元座標を算定し、算定された 3 次元座標から三次元形状を復元する（# 04)。この 3次元形状の復元では、まず、求 めた F行列から内部パラメータ行列 Aを用いて E行列を計算し、この E行列を分解して 、 3次元のカメラ運動を計算し、求めた 2つの画像間のカメラ運動と、ェピポーラ幾何 より得られる遮蔽輪郭上の対応点 m, m'から 3次元座標を計算する。
[0029] 上記ステップ # 02におけるェピポーラ幾何計算のルーチンを図 8のフローチャート を用いて説明する。
まず、前時刻で取得された撮像面における特徴点の数が閾値を超えて 、るかどう かチェックされる ( # 10)。特徴点の数が閾値を超えている場合（ # lOYes分岐）、特 徴点が有効な対応点となるかどうかをチェックする特徴点のトラッキングルーチン (後 で説明される）に入り ( # 20)、さらにェピポールを求めてェピポーラ拘束による対応 点の評価を行うェピポーラ拘束による対応チェックルーチンに（後で説明される）入る
( # 30)。特徴点の数が閾値以下の場合（# 10No分岐)、コーナー検出によって特 徴点を検出するハリスのコーナー検出ルーチン (後で説明される）を経て（# 40)、リ ターンする。
[0030] 続いて、現時刻で取得された撮像面における特徴点の数が閾値を超えているかど うかチェックされる（ # 50)。特徴点の数が閾値を超えている場合（ # 50Yes分岐）、最 小二乗法により並進運動時のェピポーラ幾何を計算し、ェピポールを求める（ # 60) 。求められたェピポールが適切な範囲に入っているかどうかチェックされ（# 70)、ェ ピポールが適切な範囲に入って 、る場合（ # 70Yes分岐）、求められたェピポールの 移動平均を計算し（ # 70)、リターンする。ステップ # 50において特徴点の数が閾値 以下の場合 ( # 50No分岐）、及びステップ # 70にお 、てェピポールが適切な範囲に 入って ヽな 、場合（ # 70No分岐）、このルーチンを終了してそのままリターンする。
[0031] 前記ステップ # 20の特徴点トラッキングルーチンを図 9のフローチャートを用いて説 明する。
まず、変数: minに特徴点近傍の相関値を代入する（# 201)。変数: s醒に探索点 近傍の相関値を代入する ( # 202)。変数： sumと変数： minを比較して、変数： minが 変数： sumを超えて 、る場合 ( # 203Yes分岐）、変数： minに変数： sumの値を代入し て、特徴点を対応点候補とする（# 204)。変数: minが変数: sum以下の場合（# 203 No分岐）、ステップ # 204がジャンプされる。ステップ # 202〜ステップ # 204の処理 が探索範囲内にわたつて繰り返され（ # 205)、探索範囲内にわたる全ての処理が完 了すると対応点候補を有効な対応点として（ # 206)、リターンする。
[0032] 前記ステップ # 30のェピポーラ拘束による対応チェックルーチンを図 10のフローチ ヤートを用いて説明する。
まず、初期設定として変数: maxに 0を代入した後（# 301)、 2組の対応点をラン ダムに選択し（ # 302)、この選択した 2組の対応点力もェピポールを計算する（ # 30 3)。さらに、計数値を示す変数: Ncに 0を代入した後（# 304)、 1組の対応点力も試 験用ェピポーラ線を計算し（ # 305)、この試験用ェピポーラ線とェピポールとの距離 を計算する（# 306)。得られた距離を閾値と比較して（# 307)、距離が閾値を下回 る場合（ # 307Yes分岐)、この対応点を対応点候補とするとともに変数: Ncをインクリ メントし（ # 308)、距離が閾値以上の場合 ( # 307No分岐）、ステップ # 308の処理 をジャンプする。ステップ # 305からステップ # 308までの処理を全対応点に対して 繰り返し行う ( # 309No分岐)。全対応点にわたる処理が終了すると（ # 309Yes分岐 )、変数: Ncと変数: maxを比較する（# 310)。変数: Ncが変数: maxより小さい場合（ # 310Yes分岐）、対応点候補を対応点とするとともに変数: maxに変数: Ncの値を代 入する（ # 311)。変数: Ncが変数： max以上の場合 ( # 3 ΙΟΝο分岐）、ステップ # 31 1の処理をジャンプする。上記ステップ # 302からステップ # 311までの処理を規定 回数だけ行った後（ # 312)、リターンする。
[0033] 前記ステップ # 40のノ、リスのコーナー検出ルーチンを図 11のフローチャートを用 いて説明する。
まず、対象となる画像データに対して X方向と Y方向へガウシアン微分フィルタを走 らせてガウシアン微分演算を施す ( # 401)。各画素につ 、てコーナーらしさ（CRFと 呼ばれる評価値を採用）を計算する（ # 402)。微分演算値力 特徴点候補を列挙し ( # 403)、列挙された特徴点候補を CRFを基準にして並び替える（ # 404)。 CRF の大き 、ものから順に特徴点とする処理（ # 405)を、必要な数の特徴点が得られる まで繰り返し（ # 405No分岐）、必要な数の特徴点が得られるとリターンする（ # 405Y es分岐)。
[0034] 図 7の基本フローチャートにおけるェピポーラ幾何を用いた遮蔽輪郭検出ルーチン を図 12のフローチャートを用いて説明する。
対象となる画像データに対してェピポールの方向へガウシアン微分フィルタを走ら せてガウシアン微分演算を施す（# 31)。得られた微分値演算マップをスケーリング した後 ( # 32)、これを用いて微分画像を細線ィ匕して（ # 33)、リターンする。
[0035] 図 7の基本フローチャートにおける形状復元ルーチンを図 13のフローチャートを用 いて説明する。
まず、特徴点群力 注目特徴点を順次指定し、注目特徴点が復元候補点であるか どうかをチェックする（ # 41)。注目特徴点が復元候補点である場合 ( # 41Yes分岐） 、次の時刻の対応する点を推測して（# 42)、次の時刻に対応する点が存在すれば（ # 43Yes分岐)、この注目特徴点を復元可能特徴点とする ( # 44)。また、注目特徴 点が復元候補点でな 、場合 ( # 41No分岐)、次の時刻の対応する点を探索して ( # 45)、次の時刻に対応する点が存在すれば（ # 46Yes分岐）、この注目特徴点を復 元候補特徴点とする（ # 47)。このステップ # 41からステップ # 47の処理が全ての特 徴点に対して行われると（# 48Yes分岐）、次のステップに移行する。先の処理で得ら れた復元可能特徴点を F行列、正確には E行列を用いて 3次元空間に逆射影し（ # 4 9)、直線の交点の 3次元座標を計算する（ # 50)。このステップ # 49と # 50を全ての 復元可能特徴点に対して繰り返し行！ヽ ( # 5 INo分岐）、全ての復元可能特徴点に対 する処理が終わると（# 51Yes分岐）、リターンする。ここで得られた三次元座標が描 画部 40に送られることで対象物の 3次元表示画像データが生成される。
[0036] 上述した物体認識装置を自動車に搭載し、用いて駐車スペースの脇を走行して得 られた連続画像から、ェピポーラ幾何計算を行い、通過した地点の 3次元形状を復 元した実験例を説明する。この駐車スペースに沿った走行シーンでは最初に 3台の 車両が駐車しており、その後スペースが有って 1台車両が駐車していた。 3台の駐車 車両を 3次元復元した結果が図 14に示されている力 図 14 (a)は撮影画像であり、 図 14 (b)が 3次元復元画像である。また、次の 1台の駐車車両を 3次元復元した結果 が図 15に示されている力 図 15 (a)は撮影画像であり、図 15 (b)が 3次元復元画像 である。図 14 (b)から、車両の 3次元形状より、連続して駐車している車両一台一台 の区別が概ねつくことがわかる。また図 15(b)では、後ろ向きに駐車している車両の 3 次元の外形がほぼ正確に復元できていることが明らかである。さらに、駐車車両の存 在するスペースと存在しないスペースの区別が概ねつくことも明らかになった。
[0037] 自動車の最も突き出た先端部又は後端部であるにもかかわらず、従来は困難とさ れていた曲面体でテクスチャーのないバンパーの認識力 特に、図 15 (b)から明らか なように、ェピポーラ幾何に基づく対応付けを行うとともにその遮蔽輪郭力も 3次元形 状を認識するという手法で可能となるので、本発明は、駐車時や走行時の障害物、 特にバンパーの認識のために効果的に適用できる。
[0038] 本発明では、車両周辺障害物の 3次元形状を、少ない計算コストで復元することが できる。特に、ェピポーラ幾何に基づく対応付けを行うことにより、駐車車両などテクス チヤ一の少な 、障害物の遮蔽輪郭から 3次元形状を復元することで、テクスチャーの 無い障害物であっても 3次元形状が復元可能となった。つまり、遮蔽輪郭は曲線であ るため、異なる時刻で得られる遮蔽輪郭同士の対応を取るのは容易ではないが、ェ ピポーラ幾何を用いることにより、遮蔽輪郭上の点同士の対応を求めている。その際 、ェピポーラ幾何を安定的に求めるために、短時間中では車両の運動がほぼ並進運 動に近似可能であることを用いて、並進運動に限定したェピポーラ幾何を計算すると ともに、複数視点の画像間での特徴点誤対応を低減するための大きな計算負荷を避 けるために自己ェピポーラを導入することにより、誤対応する点を除いている。これに より、画像ノイズに対するェピポーラ幾何計算の安定性が向上し、実際の走行シーン 画像を用いた上記実験結果力もも明らかなように、 3次元形状が概ね復元可能であ る。
産業上の利用可能性
[0039] 本発明による、物体認識装置はェピポーラ幾何学を利用しながらも計算負荷が低く 安定した認識が可能であり、表面にテクスチャーの無 、物体であっても安定した認識 が可能なことであることから、種々の移動体に搭載することができる。特に自動車に搭 載した場合、駐車時や走行時の障害物検知に適しており、運転者支援に貢献する。 図面の簡単な説明
[0040] [図 1]遮蔽輪郭を説明する説明図
[図 2]RANSAC手法を説明する説明図
[図 3]自己ェピポーラを用いた誤対応除去を説明する説明図
圆 4]異なる視点力 得られる遮蔽輪郭を説明する説明図
[図 5]自己ェピポーラと遮蔽輪郭上の対応点を示す模式図
[図 6]本発明の物体認識装置の実施形態における機能ブロック図
[図 7]本発明の物体認識装置の実施形態における認識処理の流れを示すフローチヤ ート
[図 8]ェピポーラ幾何計算ルーチンを示すフローチャート
[図 9]特徴点のトラッキングルーチンを示すフローチャート
[図 10]ェピポーラ拘束による対応チェックルーチンを示すフローチャート [図 11]ハリスのコーナー検出ルーチンを示すフローチャート
[図 12]ェピポーラ幾何を用いた遮蔽輪郭検出ルーチンを示すフロ
[図 13]形状復元ルーチンを示すフローチャート
[図 14]3次元復元の実験結果を示す画面図
[図 15]3次元復元の実験結果を示す画面図
符号の説明
10 カメラ (撮像手段）
20 画像入力部
30 フレームメモリ
40 画像処理部
41 画像データ制御部
42 特徴抽出部 (特徴点検出手段）
43 認識処理部
43a基礎行列決定手段
43b3次元位置計算手段
50 画像出力部
51 描画部
60 制御部
70 車輪速センサ (移動体位置情報取得手段）

Claims

請求の範囲
[1] 移動体上に取付けられた撮像手段によって取得される、視点が異なる第 1画像面と 第 2画像面との画像を処理して、移動体周辺の物体を認識する物体認識装置にお いて、
前記第 1画像面と前記第 2画像面とにおける物体画像の特徴点を検出する特徴点 検出手段と、
前記第 1画像面と前記第 2画像面との間で対応する少なくとも 2組の前記特徴点に より前記第 1画像面と前記第 2画像面との間の並進カメラ運動に基づく幾何学的な対 応関係を表す基礎行列を自己ェピポーラによるェピポールの算定に基づいて決定 する基礎行列決定手段と、
前記第 1画像面と前記第 2画像面とにおける前記物体の座標及び前記決定された 基礎行列に基づいて前記物体の 3次元位置を計算する 3次元位置計算手段と、 を備えた物体認識装置。
[2] 前記撮像手段は 1台のカメラによって構成され、前記第 1画像面と前記第 2画像面 とを、前記移動体の移動に伴う前記カメラの並進移動の前後で作り出す請求項 1に 記載の物体認識装置。
[3] 前記カメラの移動状態の評価を前記移動体に設けられた移動体位置情報取得手 段からの情報に基づいて行う請求項 2に記載の物体認識装置。
[4] 前記特徴点検出手段は、前記物体の遮蔽輪郭を検出するとともにこの遮蔽輪郭の 輪郭線上に位置する点を前記特徴点として検出する請求項 1に記載の物体認識装 置。
[5] 前記基礎行列決定手段は、仮の基礎行列を生成するとともに前記第 1画像面と前 記第 2画像面とにおいて対応する特徴点同士を結ぶ直線と前記ェピポールとの距離 が所定値以内である特徴点を正対応特徴点とし、この正対応特徴点の数が最大とな る仮の基礎行列を正式な基礎行列として決定する請求項 1に記載の物体認識装置。
[6] 前記第 1画像面と前記第 2画像面とにお ヽてランダムに選択された 2組の対応する 特徴点に基づ 、て生成された前記仮の基礎行列を用いてェピポールを求めるととも にこのェピポールを用いて求められた前記正対応特徴点の計数値を求める処理を 一定回数繰り返し、前記計数値が最大となる前記仮の基礎行列を前記正式な基礎 行列として決定する請求項 5に記載の物体認識装置。
[7] 前記撮像手段によって取得された前記第 1画像面と第 2画像面との画像が順次蓄 積されるフレームメモリと、ェピポーラ幾何を用いて遮蔽輪郭検出する画像処理部が 備えられており、前記画像処理部は、前記フレームメモリから読み込んだ画像におけ る前記物体の特徴点を検出'追跡するとともに前記特徴点力 ェピポーラ幾何計算 に基づ!/、て求められたェピポールを用いて基本行列を決定する請求項 1記載の物 体認識装置。
[8] 前記画像処理部は遮蔽輪郭検出の際に前記フレームメモリに蓄積されている処理 対象となる画像に対して前記ェピポールの方向にガウシアン微分フィルタをかける請 求項 7に記載の物体認識装置。
[9] 前記移動体が自動車であり、前記物体が周囲に存在する自動車のバンパーであり
、前記特徴点検出手段は前記バンパーの遮蔽輪郭を検出する請求項 1記載の物体 認識装置。
[10] 移動体上に取付けられた撮像手段によって取得される、視点が異なる第 1画像面と 第 2画像面との画像を処理して、移動体周辺の物体を認識する物体認識方法にお いて、
前記第 1画像面と前記第 2画像面とにおける物体画像の特徴点を検出するステツ プと、
前記第 1画像面と前記第 2画像面との間で対応する少なくとも 2組の前記特徴点に より前記第 1画像面と前記第 2画像面との間の並進カメラ運動に基づく幾何学的な対 応関係を表す基礎行列を自己ェピポーラによるェピポールの算定に基づいて決定 するステップと、
前記第 1画像面と前記第 2画像面とにおける前記物体の座標及び前記決定された 基礎行列に基づいて前記物体の 3次元位置を計算するステップと、
からなる物体認識方法。
[11] 移動体上に取付けられた撮像手段によって取得される、視点が異なる第 1画像面と 第 2画像面との画像を処理して、移動体周辺の物体を認識する機能をコンピュータに 実行させる物体認識プログラムを記録しているコンピュータ読み取り可能メディアにお いて、
前記物体認識プログラムは、
前記第 1画像面と前記第 2画像面とにおける物体画像の特徴点を検出する機能と、 前記第 1画像面と前記第 2画像面との間で対応する少なくとも 2組の前記特徴点に より前記第 1画像面と前記第 2画像面との間の並進カメラ運動に基づく幾何学的な対 応関係を表す基礎行列を自己ェピポーラによるェピポールの算定に基づいて決定 する機能と、
前記第 1画像面と前記第 2画像面とにおける前記物体の座標及び前記決定された 基礎行列に基づいて前記物体の 3次元位置を計算する機能と、
を備えているコンピュータ読み取り可能メディア。
PCT/JP2006/303165 2005-02-23 2006-02-22 エピポーラ幾何を用いた物体認識装置及び物体認識方法 WO2006090735A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP06714305.7A EP1852673B1 (en) 2005-02-23 2006-02-22 Object recognizing apparatus and object recognizing method using epipolar geometry
US11/884,728 US8077965B2 (en) 2005-02-23 2006-02-22 Object recognition apparatus and object recognition method using epipolar geometry

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005047516A JP4480083B2 (ja) 2005-02-23 2005-02-23 物体認識装置
JP2005-047516 2005-02-23

Publications (1)

Publication Number Publication Date
WO2006090735A1 true WO2006090735A1 (ja) 2006-08-31

Family

ID=36927373

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/303165 WO2006090735A1 (ja) 2005-02-23 2006-02-22 エピポーラ幾何を用いた物体認識装置及び物体認識方法

Country Status (4)

Country Link
US (1) US8077965B2 (ja)
EP (1) EP1852673B1 (ja)
JP (1) JP4480083B2 (ja)
WO (1) WO2006090735A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009069866A (ja) * 2007-09-10 2009-04-02 Mitsubishi Electric Corp ３次元形状検出装置
JP2009200923A (ja) * 2008-02-22 2009-09-03 Fuji Xerox Co Ltd 画像処理装置及びプログラム
WO2014002725A1 (ja) * 2012-06-29 2014-01-03 富士フイルム株式会社 ３次元測定方法、装置、及びシステム、並びに画像処理装置

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4943034B2 (ja) * 2006-03-23 2012-05-30 株式会社デンソーアイティーラボラトリ ステレオ画像処理装置
US7623702B2 (en) * 2006-04-27 2009-11-24 Mako Surgical Corp. Contour triangulation system and method
WO2008032376A1 (fr) * 2006-09-13 2008-03-20 Pioneer Corporation Dispositif et procédé de mesure de distance, et programme informatique
JP4858346B2 (ja) * 2007-07-26 2012-01-18 株式会社島津製作所 マーカー像識別装置及びマーカー像識別方法
CN101903908A (zh) * 2007-12-18 2010-12-01 皇家飞利浦电子股份有限公司 基于特征的2d/3d图像配准
JP5093591B2 (ja) * 2008-03-10 2012-12-12 株式会社Ｉｈｉ 三次元位置姿勢計測方法および装置
CN102095370B (zh) * 2010-11-22 2013-03-13 北京航空航天大学 三x组合标记的检测识别方法
US9147260B2 (en) * 2010-12-20 2015-09-29 International Business Machines Corporation Detection and tracking of moving objects
IT1403429B1 (it) * 2010-12-24 2013-10-17 Magneti Marelli Spa Sistema e procedimento di rivelazione di uno spazio di parcheggio per un veicolo
US10109065B2 (en) 2011-01-25 2018-10-23 Qualcomm Incorporated Using occlusions to detect and track three-dimensional objects
US8666145B2 (en) * 2011-09-07 2014-03-04 Superfish Ltd. System and method for identifying a region of interest in a digital image
KR101327736B1 (ko) * 2011-12-23 2013-11-11 현대자동차주식회사 Ａｖｍ탑뷰 기반 주차지원 시스템
EP2831621B1 (en) * 2012-03-26 2016-07-13 Robert Bosch GmbH Multi-surface model-based tracking
JP5901447B2 (ja) * 2012-06-27 2016-04-13 オリンパス株式会社 画像処理装置及びそれを備えた撮像装置、画像処理方法、並びに画像処理プログラム
US9076257B2 (en) 2013-01-03 2015-07-07 Qualcomm Incorporated Rendering augmented reality based on foreground object
EP3828496A1 (en) 2013-04-08 2021-06-02 SNAP Inc. Distance estimation using multi-camera device
US9250324B2 (en) 2013-05-23 2016-02-02 GM Global Technology Operations LLC Probabilistic target selection and threat assessment method and application to intersection collision alert system
US10055013B2 (en) * 2013-09-17 2018-08-21 Amazon Technologies, Inc. Dynamic object tracking for user interfaces
US8923565B1 (en) * 2013-09-26 2014-12-30 Chengdu Haicun Ip Technology Llc Parked vehicle detection based on edge detection
JP6651702B2 (ja) * 2015-03-23 2020-02-19 富士通株式会社 物体検出装置、物体検出方法および情報処理プログラム
EP3366219B1 (en) * 2015-12-01 2020-08-05 Brainlab AG Method and apparatus for determining or predicting the position of a target
TWI604417B (zh) 2016-08-31 2017-11-01 國立交通大學 估算對極幾何模型的方法及其系統
JP6699761B2 (ja) * 2017-01-16 2020-05-27 富士通株式会社 情報処理プログラム、情報処理方法および情報処理装置
RU2650857C1 (ru) * 2017-04-06 2018-04-17 Федеральное государственное бюджетное образовательное учреждение высшего образования "Кубанский государственный технологический университет" (ФГБОУ ВО "КубГТУ") Система определения геометрических параметров трехмерных объектов
WO2019001698A1 (en) * 2017-06-28 2019-01-03 Huawei Technologies Co., Ltd. ADVANCED DRIVING ASSISTANCE SYSTEM AND METHOD
US10535160B2 (en) * 2017-07-24 2020-01-14 Visom Technology, Inc. Markerless augmented reality (AR) system
US10282913B2 (en) 2017-07-24 2019-05-07 Visom Technology, Inc. Markerless augmented reality (AR) system
EP3486606A1 (de) * 2017-11-20 2019-05-22 Leica Geosystems AG Stereokamera und stereophotogrammetrisches verfahren
CN110874818B (zh) * 2018-08-31 2023-06-23 阿里巴巴集团控股有限公司 图像处理和虚拟空间构建方法、装置、系统和存储介质
CN109753940B (zh) * 2019-01-11 2022-02-22 京东方科技集团股份有限公司 图像处理方法及装置
CN109902725A (zh) * 2019-01-31 2019-06-18 北京达佳互联信息技术有限公司 移动目标的检测方法、装置及电子设备和存储介质
CA3139467A1 (en) * 2019-06-07 2020-12-10 David R. Nilosek Using spatial filter to reduce bundle adjustment block size

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05114099A (ja) 1991-10-22 1993-05-07 Fuji Heavy Ind Ltd 車輌用距離検出装置
JP2001187553A (ja) 1999-10-21 2001-07-10 Matsushita Electric Ind Co Ltd 駐車支援装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1504276B1 (en) * 2002-05-03 2012-08-08 Donnelly Corporation Object detection system for vehicle
KR100446636B1 (ko) * 2002-11-21 2004-09-04 삼성전자주식회사 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원정보 측정 기능을 구비한 이동체 및 그 방법
JP2004198211A (ja) 2002-12-18 2004-07-15 Aisin Seiki Co Ltd 移動体周辺監視装置
KR100526817B1 (ko) * 2003-04-22 2005-11-08 학교법인 중앙대학교 스테레오 영상 구현 시 기본행렬을 구하는 방법
US7154395B2 (en) * 2004-07-01 2006-12-26 Mitsubishi Electric Research Laboratories, Inc. Interactive wireless tag location and identification system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05114099A (ja) 1991-10-22 1993-05-07 Fuji Heavy Ind Ltd 車輌用距離検出装置
JP2001187553A (ja) 1999-10-21 2001-07-10 Matsushita Electric Ind Co Ltd 駐車支援装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DOMENICO PRATTICHIZZO, EPIPOLAR GEOMETRY AND VISUAL SERVOING
SATO J. ET AL.: "Kyokumenjo no Epipolar Geometry to Mikosei Camera ni yoru Shikaku Yudo", THE TRANSACTIONS OF THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS D-II, vol. J82-D-II, no. 9, 25 September 1999 (1999-09-25), pages 1401 - 1410, XP003000771 *
See also references of EP1852673A4
TORR, PHILIP: "Motion Segmentation and Outlier Detection", 1995, UNIVERSITY OF OXFORD, pages: 58 - 60
ZHENGYOU ZHANG: "Determining the Enipolar Geometry and its Uncertainty: A Review", INTERNATIONAL JOURNAL OF COMPUTER VISION, vol. 27, no. 2, 1998, pages 161 - 195, XP000755415, DOI: doi:10.1023/A:1007941100561

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009069866A (ja) * 2007-09-10 2009-04-02 Mitsubishi Electric Corp ３次元形状検出装置
JP2009200923A (ja) * 2008-02-22 2009-09-03 Fuji Xerox Co Ltd 画像処理装置及びプログラム
WO2014002725A1 (ja) * 2012-06-29 2014-01-03 富士フイルム株式会社 ３次元測定方法、装置、及びシステム、並びに画像処理装置
CN104395692A (zh) * 2012-06-29 2015-03-04 富士胶片株式会社 三维测定方法、装置、系统以及图像处理装置
JP5715735B2 (ja) * 2012-06-29 2015-05-13 富士フイルム株式会社 ３次元測定方法、装置、及びシステム、並びに画像処理装置
US9369695B2 (en) 2012-06-29 2016-06-14 Fujifilm Corporation Method and apparatus for three-dimensional measurement and image processing device
CN104395692B (zh) * 2012-06-29 2016-08-24 富士胶片株式会社 三维测定方法、装置、系统以及图像处理装置

Also Published As

Publication number Publication date
EP1852673B1 (en) 2014-07-30
US20080137940A1 (en) 2008-06-12
JP4480083B2 (ja) 2010-06-16
EP1852673A1 (en) 2007-11-07
US8077965B2 (en) 2011-12-13
EP1852673A4 (en) 2010-08-04
JP2006234492A (ja) 2006-09-07

Similar Documents

Publication Publication Date Title
WO2006090735A1 (ja) エピポーラ幾何を用いた物体認識装置及び物体認識方法
JP3719095B2 (ja) 挙動検出装置および勾配検出方法
JP6670071B2 (ja) 車両用画像認識システム、及び対応法
Enkelmann Obstacle detection by evaluation of optical flow fields from image sequences
JP4600760B2 (ja) 障害物検出装置
Suhr et al. Automatic free parking space detection by using motion stereo-based 3D reconstruction
KR101961001B1 (ko) 단일-카메라 거리 추정
CN109541583B (zh) 一种前车距离检测方法及系统
EP1361543B1 (en) Determining object motion from optical flow analysis
JP5689907B2 (ja) 車両において通行物体位置検出を向上する方法
EP2757527B1 (en) System and method for distorted camera image correction
EP3193306A1 (en) A method and a device for estimating an orientation of a camera relative to a road surface
US10187630B2 (en) Egomotion estimation system and method
JP6021689B2 (ja) 車両諸元計測処理装置、車両諸元計測方法及びプログラム
EP1391845A2 (en) Image based object detection apparatus and method
JP6743171B2 (ja) 自動車両の道路付近の物体を検出するための方法、コンピュータデバイス、運転者支援システム、及び、自動車両
WO2018058355A1 (zh) 汽车可行驶区域实时检测方法和系统
JP5107154B2 (ja) 運動推定装置
Romdhane et al. A generic obstacle detection method for collision avoidance
Lalonde et al. Single-view obstacle detection for smart back-up camera systems
JP2008003696A (ja) 画像処理装置及び画像処理方法
JP4106163B2 (ja) 障害物検出装置及びその方法
Wong et al. Shared-use motion vector algorithm for moving objects detection for automobiles
Cheda et al. Camera egomotion estimation in the ADAS context
JP2004038760A (ja) 車両用走行路認識装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 11884728

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2006714305

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 2006714305

Country of ref document: EP