KR20090072520A - Method for distance estimation and apparatus for the same using a disparity and a perspective - Google Patents

Method for distance estimation and apparatus for the same using a disparity and a perspective Download PDF

Info

Publication number
KR20090072520A
KR20090072520A KR1020070140656A KR20070140656A KR20090072520A KR 20090072520 A KR20090072520 A KR 20090072520A KR 1020070140656 A KR1020070140656 A KR 1020070140656A KR 20070140656 A KR20070140656 A KR 20070140656A KR 20090072520 A KR20090072520 A KR 20090072520A
Authority
KR
South Korea
Prior art keywords
distance
probability density
estimating
value
maximum
Prior art date
Application number
KR1020070140656A
Other languages
Korean (ko)
Other versions
KR100926287B1 (en
Inventor
임영철
이충희
권순
정우영
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020070140656A priority Critical patent/KR100926287B1/en
Publication of KR20090072520A publication Critical patent/KR20090072520A/en
Application granted granted Critical
Publication of KR100926287B1 publication Critical patent/KR100926287B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0294—Trajectory determination or predictive filtering, e.g. target tracking or Kalman filtering

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

A distance estimation device and an estimation method are provided to accurately detect the location of an object in order to estimate the distance without using additional sense. A distance estimation method using stereo vision comprises: a step of estimating the distance of an object using the variance from a photographed image; a step of filtering a estimated distance value in order to calculate a first probability density(S908); a step of calculating the height of the object using the distance value in which the first probability density is maximum, if the distance value and a covariance value is smaller than a critical value(S914); a step of estimating the distance of the object using the height of the object; a step of filtering the estimated distance value in order to calculate a second probability density(S918); and a step of regarding the distance in which the probability density is maximum based on the first probability density and the second probability density as the distance of the object(S920).

Description

시차와 원근법을 이용한 거리 추정 장치 및 추정 방법{Method for distance estimation and apparatus for the same using a disparity and a perspective}Method for distance estimation and apparatus for the same using a disparity and a perspective}

본 발명은 거리 추정 장치 및 거리 추정 방법에 관한 것으로서, 더욱 자세하게는 촬영된 영상을 이용하여 영상에 포함된 객체의 거리를 추정하는 장치 및 거리를 추정하는 방법에 관한 것이다.The present invention relates to a distance estimating apparatus and a distance estimating method, and more particularly, to a device for estimating a distance of an object included in an image using a photographed image and a method for estimating distance.

관찰 측으로부터 떨어져 있는 객체의 거리를 측정하는 방법에는 여러 가지가 있다. 그 가운데 상기 객체에 대해 영상을 촬영하고, 상기 촬영된 영상을 이용하여 영상에 포함된 객체까지의 거리를 측정할 수 있는 방법이 있다.There are several ways to measure the distance of an object away from the observer. Among them, there is a method of capturing an image of the object and measuring a distance to an object included in the image by using the photographed image.

촬영된 영상을 이용하여 영상에 포함된 목표 객체까지의 거리를 측정하는 기술의 하나의 예로 스테레오 비전(stereo vision) 기술을 들 수 있다. 상기 스테레오 비전 기술은 두 대의 영상 촬영 장치, 예를 들어, 카메라 등으로부터 각각 획득한 좌측 영상과 우측 영상을 이용하여 영상에 포함된 객체의 위치, 거리, 속도 등을 측정할 수 있다.One example of a technique of measuring a distance to a target object included in an image by using a captured image is stereo vision technology. The stereo vision technology may measure the position, distance, and speed of an object included in an image using a left image and a right image obtained from two imaging apparatuses, for example, cameras.

종래의 스테레오 비전 기술을 이용한 거리 측정 방법에서는 두 대의 카메라로부터 획득한 좌우 영상으로부터 객체에 대한 대응점(corresponding point)을 찾 아서, 그 대응점에 대한 시차(disparity)를 이용하여 객체의 거리를 측정하였다. 그러나 이러한 방법의 경우에 픽셀(pixel)간의 거리 차를 이용하기 때문에 픽셀의 양자화로 인한 양자화 오차가 발생하고, 상기 양자화 오차는 시차가 커질수록 즉, 객체가 멀어질수록 오차율이 더 커지게 되는 문제가 있었다.In a conventional distance measuring method using stereo vision technology, a corresponding point of an object is found from left and right images obtained from two cameras, and the distance of the object is measured using disparity of the corresponding point. However, in this case, because the distance difference between pixels is used, a quantization error due to quantization of pixels occurs, and the quantization error becomes larger as the parallax increases, that is, the farther the object, the larger the error rate. There was.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 객체의 정확한 위치, 거리를 추정할 수 있는 거리 추정 장치 및 거리 추정 방법을 제공하는 것이다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and an object of the present invention is to provide a distance estimating apparatus and a distance estimating method capable of estimating an accurate position and distance of an object.

본 발명에 따른 거리 추정 방법은, 촬영된 영상에서 추출된 객체의 시차를 이용하여 상기 객체의 거리를 추정하고, 추정된 거리 값을 필터링하여 제1 확률 밀도를 구하는 단계, 상기 제1 확률 밀도가 최대가 되는 거리 값과 제1 확률 밀도의 공분산 값이 각각 임계값보다 작은 경우, 상기 제1 확률 밀도가 최대가 되는 거리 값을 이용하여 상기 객체의 높이를 구하는 단계, 상기 객체의 높이를 이용하여 상기 객체의 거리를 추정하고, 추정된 거리 값을 필터링하여 제2 확률 밀도를 구하는 단계, 및 상기 제1 확률 밀도와 제2 확률 밀도에 따른 확률 밀도가 최대인 거리를 객체의 거리로 추정하는 단계를 포함한다.In the distance estimation method according to the present invention, estimating the distance of the object by using the parallax of the object extracted from the captured image, filtering the estimated distance value to obtain a first probability density, the first probability density is Obtaining the height of the object using the distance value at which the first probability density is maximum when the covariance value of the maximum distance value and the first probability density is smaller than the threshold value, respectively, using the height of the object Estimating the distance of the object, filtering the estimated distance value to obtain a second probability density, and estimating a distance having a maximum probability density according to the first probability density and the second probability density as the distance of the object. It includes.

다른 관점에서 본 발명에 따른 거리 추정 장치는, 촬영된 영상에서 추출된 객체의 시차를 이용하여 상기 객체의 거리를 추정하는 제1 거리 추정부, 상기 제1 거리 추정부에서 추정된 거리 값을 필터링하여 제1 확률 밀도를 구하는 제1 필터부, 상기 제1 확률 밀도가 최대가 되는 거리 값을 이용하여 상기 객체의 높이를 추정하고, 상기 객체의 높이를 이용하여 객체의 거리를 추정하는 제2 거리 추정부, 상기 제2 거리 추정부에서 추정된 거리 값을 필터링하여 제2 확률 밀도를 구하는 제2 필터부, 및 상기 제1 확률 밀도와 제2 확률 밀도를 이용하여 확률 밀도가 최대가 되는 거리를 객체의 거리로 추정하는 제3 거리 추정부를 포함한다.In another aspect, an apparatus for estimating distance may include: a first distance estimator for estimating a distance of an object using parallax of an object extracted from a captured image, and filtering the distance value estimated by the first distance estimator A first filter unit for obtaining a first probability density by using a distance value that maximizes the first probability density, and a second distance for estimating a distance of the object using the height of the object An estimator, a second filter unit for obtaining a second probability density by filtering the distance value estimated by the second distance estimator, and a distance at which the probability density becomes the maximum using the first probability density and the second probability density. And a third distance estimator that estimates the distance of the object.

본 발명의 거리 추정 장치 및 거리 추정 방법에 따르면, 거리 추정 오차를 줄이고 목표 객체의 정확한 위치, 거리, 속도 등을 추정할 수 있는 효과가 있다. 또한, 제안된 추정 방법을 이용하면 추가로 다른 센서를 사용하지 않아도 객체의 위치, 거리 추정의 정밀도와 신뢰도를 높일 수 있는 효과가 있다.According to the distance estimating apparatus and the distance estimating method of the present invention, it is possible to reduce the distance estimation error and to estimate the exact position, distance, speed, etc. of the target object. In addition, the proposed estimation method can increase the accuracy and reliability of the object position and distance estimation without additional sensors.

상기와 같은 추정 방법은 다양한 분야에 응용하여 정확한 위치, 거리를 추정할 수 있는 효과가 있다. 예를 들어, 로봇이나 자동차 등에 적용하는 경우 자동차의 추돌 방지, 주행 등의 운전 시스템이나 안전 운행 시스템 등에 적용하여 사용할 수 있다.The estimation method as described above has an effect of estimating an accurate position and distance by applying to various fields. For example, when applied to a robot or a car, it can be applied to a driving system such as collision prevention of a car, driving, or a safe driving system.

이하 본 발명의 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시 예들의 상세한 설명을 통해 명백해질 것이다. 아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재하였으므로, 단순한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 함을 밝혀 두고자 한다.The objects, features and advantages of the present invention will become apparent from the following detailed description of embodiments taken in conjunction with the accompanying drawings. In addition, the terms used in the present invention was selected as a general term widely used as possible now, but in certain cases, the term is arbitrarily selected by the applicant, in which case the meaning is described in detail in the corresponding description of the invention, It is to be clear that the present invention is to be understood as the meaning of terms rather than names.

이와 같이 구성된 본 발명에 따른 거리 추정 장치 및 거리 추정 방법의 동작을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.The operation of the distance estimating apparatus and the distance estimating method according to the present invention configured as described above will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 일 실시예로서, 시간에 따른 좌우 영상을 개략적으로 나타낸 도면이다. 상기 도 1에서 좌측 열은 좌측 영상 촬영 장치로 촬영된 좌측 영상을, 우측 열은 우측 영상 촬영 장치로 촬영된 우측 영상을 나타낸다. 그리고 윗 행은 시간 't=m'에서 촬영된 영상을 나타내며, 아래 행은 시간 't=n'에서 촬영된 영상을 나타낸다. 상기 도 1의 't=m' 시간에서 촬영한 객체(자동차)와 't=n' 시간에서 촬영한 객체를 비교하면, 상기 't=n' 시간에서 객체와의 거리가 더 멀어졌음을 알 수 있다.1 is a diagram schematically illustrating a left and right image according to time according to an embodiment of the present invention. In FIG. 1, the left column represents a left image captured by the left image capturing apparatus, and the right column represents a right image captured by the right image capturing apparatus. The upper row represents an image photographed at time 't = m', and the lower row represents an image photographed at time 't = n'. Comparing the object (car) photographed at the time 't = m' of FIG. 1 with the object photographed at the time 't = n', the distance from the object becomes greater at the 't = n' time. Can be.

상기 도 1에서 xl m은 't=m' 시간에 좌측 촬영 장치에 맺힌 객체가 영상의 중심으로부터 벗어난 거리, xr m은 't=m' 시간에 우측 촬영 장치에 맺힌 객체가 영상의 중심으로부터 벗어난 거리를 말하며, hl m은 't=m' 시간에 좌측 촬영 장치에 맺힌 객체의 높이, hr m은 't=m' 시간에 우측 촬영 장치에 맺힌 객체의 높이를 말한다. 마찬가지로, xl n은, xr n은, hl n은, hr n은 't=n' 시간에 상기에서 설명한 각 값에 대응되는 값이다.In FIG. 1, x l m is a distance from which an object formed on the left photographing apparatus deviates from the center of the image at 't = m' time, and x r m is a center of an image of an object formed on the right photographing apparatus at the time ttm. H l m is the height of the object bound to the left photographing device at 't = m' time, and h r m is the height of the object bound to the right photographing device at 't = m' time. Similarly, x l n , x r n , h l n , and h r n are values corresponding to the above-described values at the time 't = n'.

도 2는 본 발명에 따른 일 실시예로서, 스테레오 비전 방식에 따라 거리를 추정방식을 개략적으로 나타낸 도면이다.2 is a diagram schematically illustrating a distance estimating method according to an exemplary embodiment of the present invention.

스테레오 비전 시스템을 이용하여 거리를 추정하는 방식의 경우, 좌우 영상 촬영 장치로부터 촬영된 영상을 이용하여 대응점을 찾아 깊이 맵(depth map)을 생성한다. 그리고, 상기 깊이 맵과 좌우 영상을 이용하여 이동 객체를 검출하고, 상기 검출된 이동 객체 내의 시차 평균을 구한다. 스테레오 비전 시스템에서는 상기 구해진 시차를 이용하여 객체의 거리를 추정할 수 있다. 상기 시차와 목표 객체의 거리는 하기의 수학식 1 내지 수학식 3과 상기 도 2의 각종 파라미터를 이용하여 자세히 설명하도록 한다. 상기 도 2에서 Ddisp는 목표 객체(object)와의 거리, B는 좌, 우측 영상 촬영 장치의 중심 사이의 거리, F는 영상 촬영 장치의 초점거리(렌즈와 촬상 장치(예를 들어, CCD) 사이의 거리), xl은 좌측 촬영 장치에 맺힌 영상의 중심으로부터 벗어난 거리, xr은 우측 촬영 장치에 맺힌 영상의 중심으로부터 벗어난 거리, Zd는 객체와 영상 촬영 장치의 수직 거리, Xd는 좌측 영상 촬영 장치와 우측 영상 촬영 장치의 중간 지점에서 Zd라인과 영상 촬영 장치의 수평면이 만나는 지점까지의 거리를 말한다.In the case of estimating distance using a stereo vision system, a depth map is generated by finding a corresponding point using images captured from the left and right image capturing apparatus. The moving object is detected using the depth map and the left and right images, and a parallax average in the detected moving object is obtained. In the stereo vision system, the distance of an object may be estimated using the obtained parallax. The distance between the parallax and the target object will be described in detail using Equation 1 to Equation 3 below and various parameters of FIG. 2. In FIG. 2, D disp is a distance from a target object, B is a distance between the center of the left and right imaging apparatuses, and F is a focal length of the imaging apparatus (between the lens and the imaging apparatus (eg, CCD). Distance), x l is the distance from the center of the image on the left camera, x r is the distance from the center of the image on the right camera, Z d is the vertical distance between the object and the device, and X d is the left. The distance from the middle point between the image capturing apparatus and the right image capturing apparatus to the point where the Z d line meets the horizontal plane of the image capturing apparatus.

Figure 112007094670928-PAT00001
Figure 112007094670928-PAT00001

Figure 112007094670928-PAT00002
Figure 112007094670928-PAT00002

Figure 112007094670928-PAT00003
Figure 112007094670928-PAT00003

목표 객체까지의 거리 Ddisp와 Xd, Zd는 삼각형을 이루므로, 수학식 3과 같이 삼각 공식에 의해 객체까지의 거리 Ddisp를 구할 수 있다. 상기 Zd는 좌, 우측 영상 촬영 장치의 중심 사이의 거리(B)와 영상 촬영 장치의 초점거리(F)를 곱한 값을 시차(xr-xl) 값으로 나눈 값으로 구할 수 있다(수학식 1). 그리고 Xd는 xl의 절대값과 xr의 절대값 가운데 큰 값과 상기 수학식 1에서 구한 Zd 값을 곱한 값을 F로 나눈 값에서 B를 2로 나눈 값을 뺀 값으로 구할 수 있다(수학식 2).Since the distances D disp to the target object, Xd, and Zd form a triangle, the distance D disp to the object can be obtained by a trigonometric formula as shown in Equation (3). Z d may be obtained by dividing the distance (B) between the centers of the left and right imaging apparatuses by the focal length (F) of the imaging apparatus divided by the parallax (x r -x l ). Equation 1). X d may be obtained by subtracting B divided by 2 from F divided by the value obtained by multiplying the greater value of the absolute value of x l and the absolute value of x r by the Z d value obtained in Equation 1 above. (Equation 2).

도 3은 본 발명에 따른 일 실시예로서, 원근법을 이용하여 거리를 추정방식을 개략적으로 나타낸 도면이다. 상기 도 3은 't=m' 시간과 't=n' 시간에서 영상에서의 객체의 높이를 나타내고 있다. 상기 객체의 높이는 객체의 특징이 되는 위치를 Y축으로 투영함으로써 구할 수 있다. 't=m' 시간에서 상기 Y축으로 투영된 객체의 높이는 hm이며, 't=n' 시간에서 상기 Y축으로 투영된 객체의 높이는 hn이다. 이 때, 좌측 영상만을 이용하여 객체의 높이를 추출하거나, 우측 영상만을 이용하여 객체의 높이를 추출하여 거리 추정에 사용할 수도 있고, 좌측 영상의 객체의 높이와 우측 영상의 객체의 높이를 평균한 값을 거리 추정에 사용할 수도 있다. 이하에서는 좌측 영상의 객체의 높이와 우측 영상의 객체의 높이를 평균한 값을 거리 추정에 사용하는 경우를 가정하여 설명하기로 한다.3 is a diagram schematically illustrating a distance estimating method using a perspective method according to an embodiment of the present invention. 3 illustrates the height of an object in an image at a 't = m' time and a 't = n' time. The height of the object can be obtained by projecting the position that characterizes the object onto the Y axis. The height of the object projected on the Y axis at time 't = m' is h m , and the height of the object projected on the Y axis at time 't = n' is h n . At this time, the height of the object may be extracted using only the left image, or the height of the object may be extracted using only the right image, and may be used for distance estimation, and the average of the height of the object of the left image and the height of the object of the right image. Can also be used for distance estimation. Hereinafter, a case in which a value obtained by averaging the height of the object of the left image and the height of the object of the right image is used for distance estimation.

상기 원근법을 이용하여 구한 목표 객체의 크기와 거리는 하기의 수학식 4, 수학식 5와 도 2, 도 3의 파라미터를 이용하여 자세히 설명하도록 한다.The size and distance of the target object obtained using the perspective method will be described in detail using the following Equation 4, Equation 5 and the parameters of FIGS.

Figure 112007094670928-PAT00004
Figure 112007094670928-PAT00004

Figure 112007094670928-PAT00005
Figure 112007094670928-PAT00005

상기 수학식 4에서 나타낸 바와 같이, 't=m' 시간에서 목표 객체의 높이(H)는 hl m값과 hr m값을 더하고 't=m' 시간에 추정된 거리 Ddisp ,m를 곱한 값을 2F값으로 나눈 값으로 나타낼 수 있다. 그리고, 't=m' 시간에서 원근법을 이용한 객체의 거리 Dper ,m은 2HF 값을 hl m값과 hr m값을 더한 값으로 나눈 값으로 나타낼 수 있다.As shown in Equation 4, the height (H) of the target object at time 't = m' adds h l m and h r m and adds the estimated distance D disp , m at time 't = m'. The product can be expressed as the value divided by 2F. In addition, the distance D per , m of the object using the perspective method at the time 't = m' may be expressed as a value obtained by dividing the 2HF value by the sum of the h l m value and the h r m value.

그러나, 상기 스테레오 비전 방식의 경우, 좌우 영상 촬영 장치에서의 픽셀 간의 거리차를 이용하기 때문에, 양자화 오차가 발생하게 되고, 이러한 양자화 오차는 시점 차가 커질수록, 즉 목표 객체와의 거리가 멀어질수록 오차율이 커지게 된다. 따라서, 상기 오차를 최소화하여 객체의 정확한 위치, 거리를 추정하는 방안을 설명하기로 한다. 상기 시차와 원근법을 이용하여 정확한 위치, 거리를 추정하기 위해 우선 시차를 이용하여 거리를 추정한다. 상기 시차를 이용하여 거리를 추정하는 방법에는 여러 가지 거리 추정 및 보간 방식이 사용될 수 있다. However, in the stereo vision method, since the distance difference between the pixels in the left and right image capturing apparatuses is used, a quantization error occurs. The error rate becomes large. Therefore, a method of estimating the exact position and distance of the object by minimizing the error will be described. In order to estimate the exact position and distance using the parallax and perspective, first, the distance is estimated using the parallax. Various distance estimation and interpolation methods may be used to estimate the distance using the parallax.

이하에서는 상기 거리 추정 및 보간 방식의 일 예로서, 포물선을 이용한 2차 보간 방식을 이용하여 거리를 추정하는 방식에 대해 설명하기로 한다. Hereinafter, as an example of the distance estimation and interpolation method, a method of estimating the distance by using a quadratic interpolation method using parabola will be described.

상기 스테레오 비전 시스템에서는 생성된 깊이 맵(depth map)과 촬영된 좌우 영상을 이용하여 객체를 추출할 수 있다. 그리고 상기 깊이 맵을 이용하여 상기 객체의 중심을 구한다. 예를 들어, 상기 객체는 같은 시차(disparity)를 갖는 픽셀들의 영역을 객체로 추출할 수 있고, 상기 추출된 영역의 중심을 객체의 중심으로 사용할 수 있다.In the stereo vision system, an object may be extracted using the generated depth map and the captured left and right images. The center of the object is obtained using the depth map. For example, the object may extract a region of pixels having the same disparity as an object, and use the center of the extracted region as the center of the object.

상기 객체의 중심이 정해지면, 상기 기준 영상에서 객체의 중심을 중심 픽셀로 하는 윈도우를 설정한다. 상기 기준 영상은 좌측 영상 또는 우측 영상을 가운데 하나를 기준 영상으로 할 수 있으며, 구현 예에 따라 달라질 수 있다. 이하에서는 설명의 편의를 위해 좌측 영상을 기준 영상으로 한 경우에 대해 설명하도록 한다.When the center of the object is determined, a window is set in which the center of the object is the center pixel in the reference image. The reference image may be one of a left image or a right image as a reference image, and may vary according to implementation. Hereinafter, a case in which the left image is a reference image will be described for convenience of description.

상기 윈도우는 픽셀단위로 홀수 크기를 가질 수 있다. 예를 들어, 디폴트(default)로 설정되는 윈도우로 3×3 크기를 갖는 윈도우를 설정할 수 있다. 상기 윈도우의 크기는 원 영상의 휘도값의 분산에 따라 조정한다. 예를 들어, 상기 설정된 윈도우 안의 영상에 대해 휘도값 분산이 설정된 임계치(TH)보다 커질때까지 상기 윈도우의 크기를 확대한다(5×5, 7×7, …). 상기 휘도의 변화가 적으면 좌우 영상의 정확한 대응점을 찾기 어려우므로, 상기 임계치는 좌우 영상의 정확한 대응점을 찾기에 충분할 정도로 설정될 수 있으며, 이는 구현 예에 따라 달라질 수 있다. 다만, 상기 추정된 객체의 경계선 영역에서는 교합(occlusion)이 발생할 수 있으므로, 상기 윈도우의 크기는 추정된 객체의 경계선을 넘지 않도록 한다.The window may have an odd size in pixels. For example, a window having a 3 × 3 size may be set as a window set as a default. The size of the window is adjusted according to the dispersion of the luminance value of the original image. For example, the size of the window is enlarged until the luminance value variance for the image in the set window is larger than the set threshold TH (5x5, 7x7, ...). When the change in luminance is small, it is difficult to find an exact correspondence point of the left and right images, and thus the threshold may be set to be large enough to find the exact correspondence point of the left and right images, which may vary depending on implementation. However, since occlusion may occur in the boundary region of the estimated object, the size of the window does not exceed the boundary of the estimated object.

이하에서는 설명의 편의를 위해 상기 윈도우의 크기가 3×3로 설정된 경우를 가정하여 설명하기로 한다. 상기 좌측 영상에 대해 객체의 중심을 중심 픽셀로 하는 윈도우가 설정되면, 깊이 맵을 이용하여 좌측 영상 윈도우 내 픽셀의 시차의 평균값을 구한다. 그리고 상기 평균값을 반올림하여 정수값을 얻는다. 상기 반올림된 정수값에 해당하는 시차 값을 갖는 픽셀(대응 픽셀)을 상기 우측 영상의 객체 영역에서 찾아 상기 픽셀을 중심 픽셀로 하는 같은 크기(3×3)의 윈도우를 우측 영상에 설정한다.In the following description, it is assumed that the size of the window is set to 3 × 3 for convenience of description. When a window having the center of the object as the center pixel is set for the left image, an average value of parallaxes of pixels in the left image window is obtained using a depth map. Then, the average value is rounded to obtain an integer value. A pixel (corresponding pixel) having a parallax value corresponding to the rounded integer value is found in the object region of the right image, and a window of the same size (3 × 3) having the pixel as the center pixel is set in the right image.

우측 영상에 상기 윈도우가 설정되면, 상기 우측 영상의 윈도우를 한 픽셀씩 이동하면서 좌측 영상과 우측 영상의 윈도우 내 픽셀의 정규 유사도(Normalized Cross Correlation : 이하 NCC)를 구한다. 상기 정규 유사도는 윈도우 내 픽셀의 유사도 정도를 정규화한 값을 나타낸다.When the window is set in the right image, the normalized cross correlation (hereinafter referred to as NCC) of pixels in the window of the left image and the right image is obtained by moving the window of the right image by one pixel. The normal similarity represents a value obtained by normalizing the degree of similarity of pixels in a window.

예를 들어, 상기 좌측 영상의 객체의 중심을 중심 픽셀로 하여 설정된 윈도우와 우측 영상에서 상기 대응 픽셀을 중심 픽셀로 하여 설정된 윈도우의 NCC 값을 NCC0이라고 하고, 좌측 영상의 객체의 중심을 중심 픽셀로 하여 설정된 윈도우와 상기 우측 영상의 상기 대응 픽셀에서 우측으로 한 픽셀 이동한 픽셀을 중심 픽셀로 하여 설정된 윈도우의 NCC 값을 NCC1이라고 하고, 좌측 영상의 객체의 중심을 중심 픽셀로 하여 설정된 윈도우와 상기 우측 영상의 상기 대응 픽셀에서 좌측으로 한 픽셀 이동한 픽셀을 중심 픽셀로 하여 설정된 윈도우의 NCC 구한 값을 NCC-1이라고 한다. 이하 수학식 6, 7은 상기 NCC를 구하는 수식을 나타낸다.For example, an NCC value of a window set with the center of the object of the left image as the center pixel and a window set with the corresponding pixel as the center pixel in the right image is referred to as NCC 0 , and the center of the object of the left image is the center pixel. The NCC value of the window set with the window set as the center pixel and the pixel shifted one pixel to the right from the corresponding pixel of the right image is referred to as NCC 1 , and the window set with the center of the object of the left image as the center pixel. The NCC obtained value of the window set by using the pixel shifted one pixel to the left from the corresponding pixel of the right image as the center pixel is referred to as NCC -1 . Equations 6 and 7 represent equations for obtaining the NCC.

Figure 112007094670928-PAT00006
Figure 112007094670928-PAT00006

Figure 112007094670928-PAT00007
Figure 112007094670928-PAT00007

상기 수학식 6과 수학식 7에서 W(x,y)는 윈도우 안의 x,y 좌표에서의 휘도값, Wm(x,y)는 윈도우 안의 전체 픽셀에 대한 휘도의 평균값, W'(x,y)는 상기 x,y 좌표에서의 휘도값을 전체 픽셀에 대한 휘도의 평균값을 뺀 값을 놈(norm) 값으로 나눈 값을 나타낸다. 상기 수학식 7에서 연산자 ⓧ는 좌측 영상의 윈도우 안에 있는 각 픽셀의 WL'(x,y) 값과 우측 영상의 윈도우 안에 있는 각 픽셀의 WR'(x,y) 값을 크로스 코릴레이션(cross correlation)하는 연산을 나타낸다. 상기 d0는 상기 좌 측 영상의 윈도우에서 구한 윈도우 내 픽셀의 시차 평균값을 반올림한 값이다. k는 윈도우의 위치를 이동하여 NCC 값을 구하는 경우에 윈도우의 중심 픽셀이 이동한 양을 나타낸다.In Equations 6 and 7, W (x, y) is a luminance value at x, y coordinates in a window, and Wm (x, y) is an average value of luminance of all pixels in the window, W '(x, y) ) Denotes a value obtained by dividing a luminance value in the x and y coordinates by subtracting an average value of luminance for all pixels by a norm value. In Equation 7, the operator 크로스 cross correlates the W L '(x, y) value of each pixel in the window of the left image and the W R ' (x, y) value of each pixel in the window of the right image. Represents a cross correlation operation. The d 0 is a value obtained by rounding a parallax average value of pixels in a window obtained from the window of the left image. k indicates the amount of shift of the center pixel of the window when the NCC value is obtained by shifting the position of the window.

상기 예에서는 좌측 영상을 기준 영상으로 하여 우측 영상의 윈도우를 이동하는 경우를 예로 하였으나, 상기에서 언급한 바와 같이 구현 예에 따라 우측 영상을 기준 영상으로 한 경우에는, 좌측 영상의 윈도우를 이동하는 경우로 구현할 수도 있다.In the above example, the case in which the window of the right image is moved using the left image as a reference image is taken as an example. However, when the right image is the reference image according to the implementation example, the window of the left image is moved. You can also implement

본 실시예에서는 NCC 값을 구하는 방식을 사용하였으나, 구현 예에 따라 윈도우 내 픽셀의 휘도 값에 대한 SSD(Sum of Squared Difference) 값, SAD(Sum of Absolute Difference) 값을 상기 NCC 값을 대신하여 사용할 수도 있다.In this embodiment, a method of obtaining an NCC value is used. However, according to an embodiment, a sum of squared difference (SSD) value and a sum of absolute difference (SAD) value for a luminance value of a pixel in a window may be used in place of the NCC value. It may be.

상기 구하여진 3개의 NCC 값(NCC-1, NCC0, NCC1)을 이용하여 정규 유사도가 최대가 되는 정밀 시차를 추정할 수 있다. 예를 들어, 상기 3개의 NCC 값이 2차 포물선을 형성한다고 가정한다.Using the three NCC values (NCC- 1 , NCC 0 , NCC 1 ) obtained above, a precise parallax at which the normal similarity is maximum can be estimated. For example, assume that the three NCC values form a secondary parabola.

도 4는 본 발명에 따른 일 실시예로서, 정규 유사도 값이 2차 포물선을 형성하는 경우의 예를 나타낸 도면이고, 도 5는 본 발명에 따른 일 실시예로서, 정규 유사도 값이 좌우 비대칭형의 포물선을 형성하는 경우의 예를 나타낸 도면이다.4 is a diagram illustrating an example in which a normal similarity value forms a secondary parabola as an embodiment according to the present invention, and FIG. 5 is a diagram illustrating an example in which a normal similarity value is left and right asymmetrical according to the present invention. It is a figure which shows the example in the case of forming a parabola.

상기 도 4는 상기 3개의 NCC 값이 좌우 대칭형의 2차 포물선을 형성하는 경우를 가정한 경우이다. 좌측 영상 윈도우의 중심 픽셀과 우측 영상 윈도우의 중심 픽셀 차이가 d0인 경우 NCC0 값이, 중심 픽셀 차이가 d0+1인 경우 NCC1 값이, 중심 픽셀 차이가 d0-1인 경우 NCC-1 값이 2차 포물선 좌표에 나타난 것을 볼 수 있다. 상기 도 4에서 정규 유사도가 최대가 되는 지점의 시차(dd)와 좌우 윈도우 중심 픽셀의 시차(d0)와 τ1만큼 차이가 남을 알 수 있다. 이는 상기에서 설명한 바와 같이 픽셀을 기초로 한 스테레오 비전 시스템에 있어서 픽셀간 양자화 오차에 기인한다. 상기 도 4에서는 중심 픽셀 차이가 d0인 경우와 d0-1인 경우의 사이에서 정규 유사도가 최대로 나타난다.4 illustrates a case in which the three NCC values form a secondary parabola of left-right symmetry. NCC 0 value when the center pixel difference between the left and right image windows is d 0 , NCC 1 value when the center pixel difference is d 0 +1, and NCC when the center pixel difference is d 0 -1 You can see the value -1 appear in the quadratic parabolic coordinates. In FIG. 4, it can be seen that the difference between the parallax d d at the point where the normal similarity is maximum and the parallax d 0 of the left and right window center pixels is equal to τ 1 . This is due to the inter-pixel quantization error in pixel-based stereo vision systems as described above. In FIG. 4, normal similarity is maximized between the case where the center pixel difference is d 0 and the case where d 0 -1.

다만, 상기 NCC 값이 완전한 좌우 대칭형의 2차 포물선을 형성하는 경우는 드물다. 따라서, 상기 도 5의 좌우 비대칭 포물선과 같이 d0-τ2 를 기준으로 좌측은 내부의 2차 포물선(y1=a1x2+b1x+c1) 형태를 가지며, 우측은 외부의 2차 포물선(y2=a2x2+b2x+c2) 형태를 가지는 경우를 가정한다. 상기 도 5에서는 좌측 영상 윈도우의 중심 픽셀과 우측 영상 윈도우의 중심 픽셀 차이가 d0인 경우의 NCC0 값, 중심 픽셀 차이가 d0+1인 경우의 NCC1 값은 외부의 2차 포물선(y2=a2x2+b2x+c2) 위에 위치하며, 중심 픽셀 차이가 d0-1인 경우의 NCC-1 값은 내부의 2차 포물선(y1=a1x2+b1x+c1) 위에 나타난 것을 볼 수 있다. 따라서, 상기 두 개의 정규 유사도 2차 포물선의 합이 최대가 되는 지점의 시차를 정밀 시차로 추정하여 객체의 정 확한 거리를 추정한다. 상기 도 5에서는 정밀 시차로 추정되는 위치와 좌우 윈도우 중심 픽셀의 시차(d0)가 τ2만큼 차이가 남을 알 수 있다.However, the NCC value rarely forms a fully parabolic secondary parabola. Accordingly, as shown in FIG. 5, the left side has an inner secondary parabola (y 1 = a 1 x 2 + b 1 x + c 1 ) based on d 0 -τ 2 , and the right side has an outer side as shown in FIG. 5. Assume a case has a secondary parabola (y 2 = a 2 x 2 + b 2 x + c 2 ). The 5, the NCC NCC 0 1 value when the value of the center pixel when the left and right of the center pixel of the difference image window of the image window d 0, the center of the pixel difference d 0 +1 is the secondary parabolic external (y 2 = a 2 x 2 + b 2 x + c 2 ), where the center pixel difference is d 0 -1, the NCC -1 value is the internal secondary parabola (y 1 = a 1 x 2 + b 1) x + c 1 ) can be seen above. Therefore, the exact distance of the object is estimated by estimating the parallax of the point where the sum of the two normal similarity secondary parabolas becomes the maximum with precise parallax. In FIG. 5, it can be seen that a difference between the position estimated as a precise parallax and the parallax d 0 between the left and right window center pixels is left by τ 2 .

상기 정밀 시차로 추정되는 지점의 시차(d0-τ2)를 추정하기 위해서는 상기 두 개의 포물선의 계수(a1, a2, b1, b2, c1, c2)를 알아야 한다. 도 6은 본 발명에 따른 일 실시예로서, 정규 유사도 포물선의 계수를 구하는 순서를 개략적으로 나타낸 도면이다.In order to estimate the parallax (d 0 -τ 2 ) of the point estimated as the precise parallax, two parabola coefficients (a 1 , a 2 , b 1 , b 2 , c 1 , c 2 ) must be known. FIG. 6 is a diagram schematically showing a procedure for obtaining coefficients of a normal similarity parabola as an embodiment according to the present invention.

우선 상기 도 4에서와 같이 상기 NCC 값이 좌우 대칭형의 1개의 포물선을 형성한다고 가정하여 상기 포물선에서 정규 유사도 값이 최대(coarse extremum)가 되는 지점(d0-τ1)을 찾을 수 있다(S600). 상기 값은 포물선 피팅(parabola fitting) 방법 등을 사용해서 찾을 수 있다. 상기 포물선 상의 3개의 위치에 대한 값(NCC-1, NCC0, NCC1)을 알고 있으므로, 상기 포물선의 수학식을 이용하여 상기 최대가 되는 지점을 찾을 수 있다.First, as shown in FIG. 4, assuming that the NCC values form one parabola having left and right symmetry, a point d 0 -τ 1 at which the normal similarity value becomes the maximum (coarse extremum) can be found in the parabola (S600). ). The value can be found using a parabola fitting method or the like. Since the values for the three positions on the parabola (NCC -1 , NCC 0 , NCC 1 ) are known, the maximum point can be found using the equation of the parabola.

상기 S600 단계에서 정규 유사도 값이 최대가 되는 지점을 찾은 경우, 상기 최대 값을 중심으로 좌우 2개의 정규 유사도 포물선을 가정한다. 상기 가정된 포물선은 각각 y1=a1x2+b1x+c1의 수학식과 y2=a2x2+b2x+c2의 수학식으로 나타낼 수 있다.When a point at which the normal similarity value becomes the maximum in step S600 is found, two normal similarity parabolas are assumed based on the maximum value. The hypothesized parabolas are y 1 = a 1 x 2 + b 1 x + c 1 , respectively. And y 2 = a 2 x 2 + b 2 x + c 2 .

상기 2개의 포물선을 구하기 위해, 기준 영상으로 설정된 좌측 영상을 이용하여 상기 포물선의 a1과 a2 계수를 구한다(S610). 기준 영상인 상기 좌측 영상에서 객체의 중심을 중심 픽셀로 하여 설정된 윈도우와, 상기 좌측 영상의 객체의 중심에서 한 픽셀 좌측에 있는 픽셀을 중심 픽셀로 하여 설정된 윈도우에 대해 NCC(

Figure 112007094670928-PAT00008
) 값을 구한다. 그리고 상기 좌측 영상에서 객체의 중심을 중심 픽셀로 하여 설전된 윈도우와, 상기 좌측 영상의 객체의 중심에서 한 픽셀 우측에 있는 픽셀을 중심 픽셀로 하여 설정된 윈도우에 대해 NCC(
Figure 112007094670928-PAT00009
) 값을 구한다. 상기 IL(x) 값은 x 위치 픽셀에서의 휘도 값을 사용할 수 있다. 상기 2개의 포물선의 a1과 a2 계수는
Figure 112007094670928-PAT00010
와
Figure 112007094670928-PAT00011
를 이용하여 얻을 수 있다.In order to obtain the two parabolas, a 1 and a 2 coefficients of the parabola are obtained using the left image set as the reference image (S610). NCC (for a window set with a center pixel as a center pixel in the left image as a reference image and a window set with a pixel left of a pixel at the center of the object in the left image as a center pixel)
Figure 112007094670928-PAT00008
) Value. In addition, NCC (for a window set up with the center pixel of the object as the center pixel in the left image and a window set with the pixel located one pixel right from the center of the object of the left image as the center pixel)
Figure 112007094670928-PAT00009
) Value. The I L (x) value may use a luminance value in an x position pixel. The a 1 and a 2 coefficients of the two parabolas are
Figure 112007094670928-PAT00010
Wow
Figure 112007094670928-PAT00011
Can be obtained using

상기 S610 단계에서 a1과 a2 계수가 얻고, 나머지 b1, b2, c1 및 c2를 구하여 최대 값(coarse extremum)을 중심으로 좌우 2개의 포물선의 모든 계수를 구한다(S620). 그리고 상기 가정한 2개의 규정 유사도 포물선의 합이 최대가 되는 위치를 구한다(S630). 상기 포물선의 나머지 계수는 상기 3개의 NCC값(NCC-1, NCC0, NCC1)과 상기 좌측 영상에 설정된 윈도우 자신의 NCC값을 이용하여 구할 수 있다. 예를 들어, 상기 좌측 영상에 설정된 윈도우 자신의 NCC값과 상기 NCC-1을 이용하여 b1과 c1값을 구할 수 있고, 상기 좌측 영상에 설정된 윈도우 자신의 NCC값과 상기 NCC1값을 이용하여 b2와 c2값을 구할 수 있다.In step S610, the coefficients a 1 and a 2 are obtained, and the remaining b 1 , b 2 , c 1, and c 2 are obtained to obtain all coefficients of the left and right two parabolas around the maximum value (coarse extremum) (S620). Then, the position at which the sum of the two prescribed similarity parabolas is assumed to be the maximum (S630). The remaining coefficients of the parabola may be obtained by using the three NCC values (NCC- 1 , NCC 0 , NCC 1 ) and the NCC values of the window itself set in the left image. For example, b 1 and c 1 values can be obtained using the NCC value of the window itself set in the left image and the NCC -1 , and the NCC value and NCC 1 value of the window itself set in the left image are used. We can get b 2 and c 2 values.

상기와 같은 방식에 따라 얻어진 2개의 포물선의 합이 최대가 되는 위치를 양자화 오차를 보간한 정밀 시차로 추정할 수 있으며, 상기 정밀 시차는

Figure 112007094670928-PAT00012
,
Figure 112007094670928-PAT00013
로 나타낼 수 있다. 상기 dd는 시차 'xr-xl'를 나타내며, k는 상수, dp는 픽셀간 거리 값을 나타낸다. 상기 얻어진 정밀 시차 값(dd ≒ xr-xl)을 상기 수학식 1에 대입하여 목표 객체의 정확한 거리와 위치를 추정할 수 있다.The position at which the sum of the two parabolas obtained according to the above method is maximized can be estimated by the precise parallax obtained by interpolating the quantization error.
Figure 112007094670928-PAT00012
,
Figure 112007094670928-PAT00013
It can be represented as. The d d represents the parallax 'x r -x l ', k represents a constant, and d p represents a distance value between pixels. The exact distance and position of the target object may be estimated by substituting the obtained precise parallax value (d d ≒ x r -x l ) into Equation 1 above.

상기에서 언급한 바와 같이 상기 거리추정 및 보간 방식은 일 예이며, 구현 예에 따라 다른 방식으로 정밀 거리가 추정될 수도 있다.As mentioned above, the distance estimation and interpolation scheme is an example, and the precise distance may be estimated in other manners according to the embodiment.

상기와 같이 목표 객체의 거리, 위치가 추정되면 필터를 이용하여 상기 추정된 값을 필터링(filtering)한다. 상기 필터의 예로 칼만 필터(Kalman filter) 등을 사용할 수 있다. 상기 칼만 필터의 경우 가우시안(guassian) 함수를 기초로 하는 확률 모델에 따라 입력된 값을 필터링한다. 상기 필터는 시간에 따라 입력되는 거리, 위치 값들을 확률 모델에 따라 필터링하여, 확률 밀도 함수와 입력되는 값들의 평균(mean), 분산(variance), 확률 밀도가 최대가 되는 거리(Ddisp), 확률 밀도 함수 의 공분산(covariance) 값(Pdisp) 등을 얻을 수 있다. 그리고, 상기 필터는 상기 확률 밀도 함수를 통해 확률 밀도가 가장 높은 거리(Ddisp)를 시차 방식을 통해 추정된 객체의 거리, 위치로 추정할 수 있다.When the distance and the location of the target object are estimated as described above, the estimated value is filtered using a filter. An example of the filter may be a Kalman filter. The Kalman filter filters input values according to a probability model based on a Gaussian function. The filter filters the distance input and position values according to the probability model according to time, so that the mean density, the variance of the probability values and the input values, and the maximum distance D disp , Covariance value P disp of the probability density function can be obtained. The filter may estimate the distance D disp having the highest probability density as the distance and position of the object estimated by the parallax method through the probability density function.

상기 시차 방식을 통해 추정된 거리(Ddisp)가 설정된 임계값(Dth)보다 작고, 확률 밀도 함수의 공분산(covariance) 값(Pdisp)이 설정된 임계값(Pth)보다 작을 때, 즉, 객체와의 거리가 일정 거리보다 가깝고 공분산이 일정 값보다 작을 때 상기 필터링을 통해 추정된 거리의 신뢰도가 높다. 상기 임계값들은 요구되는 신뢰도에 따라 구현 예마다 달라질 수 있다.When the distance D disp estimated by the parallax method is smaller than the set threshold D th , and the covariance value P disp of the probability density function is smaller than the set threshold P th , that is, When the distance to the object is closer than the predetermined distance and the covariance is smaller than the predetermined value, the reliability of the distance estimated through the filtering is high. The thresholds may vary from implementation to implementation depending on the required reliability.

상기 시차 방식을 통해 추정된 거리와 공분산 값이 해당 임계값보다 작은 경우에는 상기 추정된 거리 값과 상기 수학식 4를 이용하여 객체의 실제 높이(H)를 추정할 수 있다. 상기 실제 높이가 구해지면 상기 높이 값과 수학식 5를 이용하여 원근법에 의한 객체의 거리, 위치를 추정할 수 있다. 상기 원근법에 의한 객체의 거리, 위치가 추정되면, 상기에서 설명한 필터링을 통하여 확률 밀도가 최대가 되는 거리(Dper)와 공분산(Pper)를 추정할 수 있다. 상기 확률 밀도가 최대가 되는 거리(Dper)를 원근법 방식을 통해 추정된 객체의 거리, 위치로 추정할 수 있다. 원근법을 통해 추정된 거리의 확률 밀도가 최대가 되는 값을 구하는 방법은 상기 시차 방식에서 설명한 바와 같다.When the distance and the covariance value estimated through the parallax method are smaller than the corresponding threshold value, the actual height H of the object may be estimated using the estimated distance value and the equation (4). When the actual height is obtained, the distance and the position of the object by the perspective can be estimated using the height value and the equation (5). When the distance and the position of the object are estimated by the perspective method, the distance D per and the covariance P per at which the probability density becomes the maximum can be estimated through the above-described filtering. The distance D per at which the probability density is maximized may be estimated as the distance and position of the object estimated through the perspective method. The method for obtaining the maximum value of the probability density of the distance estimated through the perspective is as described in the parallax method.

도 7은 본 발명에 따른 일 실시예로서, 확률 밀도 함수를 개략적으로 나타낸 도면이다. 상기 도 7은 시차 방식에 따라 추정된 거리(Ddisp)와 확률 밀도 함수, 원근법에 따라 추정된 거리(Dper)와 확률 밀도 함수를 나타내며, D는 확률 밀도 함수를 보간하여 추정된 거리를 나타낸다.7 is a diagram schematically illustrating a probability density function as an embodiment according to the present invention. 7 illustrates a distance D disp estimated by a parallax method, a probability density function, a distance D per estimated by a perspective method, and a probability density function, and D denotes an estimated distance by interpolating a probability density function. .

상기 시차 방식에 따라 추정된 거리, 확률 밀도 함수와 상기 원근법을 이용하여 추정된 거리, 확률 밀도 함수를 보간하여 더 정확한 거리를 추정할 수 있다. 예를 들어, 상기 시차 방식에 따른 확률 밀도와 원근법에 따른 확률 밀도를 더하여 가장 높은 확률 밀도를 갖는 위치를 객체의 거리로 추정하여 정확한 거리를 추정할 수 있다. 상기 도 7에서는 D를 축으로 하는 확률 밀도 함수가 시차 방식에 따른 확률 밀도와 원근법에 따른 확률 밀도를 더한 예이다. 상기 가장 높은 확률 밀도를 갖는 위치는 상기 시차 방식에 따른 확률 밀도 함수와 원근법에 따른 확률 밀도 함수를 더한 후, 미분한 값이 0인 지점을 최대 값을 갖는 위치로 구할 수 있다.A more accurate distance can be estimated by interpolating the estimated distance, probability density function and the estimated distance and probability density function according to the parallax method. For example, an accurate distance may be estimated by adding the probability density according to the parallax and the probability density according to the perspective to estimate the position having the highest probability density as the distance of the object. In FIG. 7, a probability density function based on D is an example of adding a probability density according to a parallax method and a probability density according to a perspective method. The position having the highest probability density may be obtained by adding the probability density function according to the parallax method and the probability density function according to the perspective method, and then obtaining the point where the derivative value is 0 as the position having the maximum value.

도 8은 본 발명에 따른 일 실시예로서, 거리 추정 장치의 구성을 개략적으로 나타낸 블록도이다. 상기 거리 추정 장치는 좌측 영상 촬영장치(800), 우측 영상 촬영장치(802), 스테레오 매칭부(810), 객체 검출부(820), 제1 거리 추정부(830), 제1 필터부(840), 높이 추정부(850), 영상 높이 추정부(860), 객체 거리 추정부(870), 제2 필터부(880) 및 제3 거리 추정부(890)를 포함한다.8 is a block diagram schematically illustrating a configuration of a distance estimating apparatus according to an embodiment of the present invention. The distance estimating apparatus may include a left image capturing apparatus 800, a right image capturing apparatus 802, a stereo matching unit 810, an object detector 820, a first distance estimating unit 830, and a first filter unit 840. , A height estimator 850, an image height estimator 860, an object distance estimator 870, a second filter 880, and a third distance estimator 890.

좌측 영상 촬영 장치(800)와 우측 영상 촬영 장치(802)는 스테레오 비전 시스템에서 거리, 속도 등의 추정에 필요한 좌측 영상과 우측 영상을 촬영한다. 상기 영상 촬영 장치는 예를 들어, 카메라 등이 사용될 수 있다. 상기 좌측 영상 촬영 장치(800)와 우측 영상 촬영 장치(802)에서 각각 얻어진 좌측 영상과 우측 영상은 스테레오 매칭부(810)로 입력된다. 상기 스테레오 매칭부(810)에서는 입력된 좌측 영상과 우측 영상을 매칭(matching)하여 촬영된 영상의 깊이 맵(depth map)을 얻을 수 있다.The left image capturing apparatus 800 and the right image capturing apparatus 802 capture a left image and a right image necessary for estimating distance, speed, etc. in a stereo vision system. For example, a camera or the like may be used as the image capturing apparatus. The left and right images respectively obtained by the left image capturing apparatus 800 and the right image capturing apparatus 802 are input to the stereo matching unit 810. The stereo matching unit 810 may obtain a depth map of the captured image by matching the input left image with the right image.

객체 검출부(820)는 상기 깊이 맵 정보를 이용하여 거리나 속도 등을 추정하고자 하는 객체를 추출할 수 있다. 예를 들어, 상기에서 설명한 바와 같이 시차 값이 동일한 영역 등을 이용하여 상기 객체를 추출할 수 있다. 제1 거리 추정부(830)는 상기 객체 검출부(820)에서 추출된 객체 정보를 이용하여 추출된 객체의 거리를 추정한다. 상기 제1 거리 추정부(830)의 거리 추정 방식으로 다양한 방식의 거리 추정 방법과 보간 방법 등이 적용될 수 있다. 일 예로, 상기 제1 거리 추정부(830)는 상기에서 설명한 시차를 이용한 거리 추정 방식을 이용하여 객체의 거리를 추정할 수 있다. 제1 필터부(840)는 상기 제1 거리 추정부(830)에서 추정된 거리 정보를 필터링하여 확률 밀도가 최대가 되는 거리(Ddisp)와 확률 밀도 함수의 공분산(Pdisp)을 산출한다. 상기 제1 필터부의 예로 칼만 필터 등을 사용할 수 있다.The object detector 820 may extract an object for estimating a distance or a speed using the depth map information. For example, as described above, the object may be extracted using an area having the same parallax value. The first distance estimator 830 estimates the distance of the extracted object using the object information extracted by the object detector 820. As the distance estimation method of the first distance estimator 830, various methods of distance estimation and interpolation may be applied. As an example, the first distance estimator 830 may estimate the distance of the object using the distance estimation method using the parallax described above. The first filter unit 840 filters distance information estimated by the first distance estimator 830 to calculate a distance D disp at which the probability density is maximum and a covariance P disp of the probability density function. A Kalman filter or the like may be used as the first filter unit.

상기 도 8에서 높이 추정부(850), 영상 높이 추정부(860) 및 객체 거리 추정부(870)는 상기 확률 밀도가 최대가 되는 거리(Ddisp) 정보를 이용하여 객체의 거리를 추정하는 제2 거리 추정부로 볼 수 있다.In FIG. 8, the height estimator 850, the image height estimator 860, and the object distance estimator 870 estimate a distance of an object using distance D disp information at which the probability density is maximum. 2 can be viewed as a distance estimator.

상기 높이 추정부(850)는 상기 제1 필터부(840)에서 산출된 거리 정보(Ddisp)를 이용하여 객체의 실제 높이(H)를 추정한다. 상기 높이 추정 방식은 상기에서 설명한 바와 같다. 영상 높이 추정부(860)는 촬영된 영상에서의 객체의 높이를 추정한다. 상기 영상에서의 객체의 높이는, 상기에서 설명한 바와 같이 좌측 영상에서의 높이만을 이용하거나, 우측 영상에서의 높이만을 이용하거나, 또는 좌측 영상에서의 높이와 우측 영상에서의 높이를 평균하여 사용할 수 있다.The height estimator 850 estimates the actual height H of the object by using the distance information D disp calculated by the first filter 840. The height estimation method is as described above. The image height estimator 860 estimates the height of the object in the captured image. As described above, the height of the object in the image may be used by using only the height in the left image, using only the height in the right image, or averaging the height in the left image and the height in the right image.

객체 거리 추정부(870)는 상기 높이 추정부(850)에서 추정된 객체의 실제 높이(H) 정보와 영상 높이 추정부(860)에서 추정된 영상의 높이 정보를 이용하여 객체의 거리를 추정할 수 있다. 일 예로, 상기 객체 거리 추정부(870)는 원근법에 따른 거리 추정 방법을 사용하여 객체의 거리를 추정할 수 있다. 제2 필터부(880)는 상기 객체 거리 추정부(870)에서 추정된 거리 정보를 필터링하여 확률 밀도가 최대가 되는 거리(Dper)와 확률 밀도 함수의 공분산(Pper)을 산출한다. 상기 제2 필터부의 예로 칼만 필터 등을 사용할 수 있다.The object distance estimator 870 estimates the distance of the object using the actual height H information of the object estimated by the height estimator 850 and the height information of the image estimated by the image height estimator 860. Can be. For example, the object distance estimator 870 may estimate a distance of an object using a distance estimation method based on a perspective method. The second filter unit 880 filters distance information estimated by the object distance estimator 870 to calculate a distance D per having a maximum probability density and a covariance P per of a probability density function. A Kalman filter or the like may be used as the second filter unit.

제3 거리 추정부(890)는 상기 제1 필터부(840)에서 산출된 거리 정보(Ddisp)와 확률 밀도 함수의 공분산(Pdisp), 상기 제2 필터부(880)에서 산출된 거리 정보(Dper)와 확률 밀도 함수의 공분산(Pper)을 이용하여 객체의 거리를 추정할 수 있다. 예를 들어, 상기 제3 거리 추정부(890)는 확률 모델과 상기 제1 필터부(840)에 서 산출된 거리 정보(Ddisp), 확률 밀도 함수의 공분산(Pdisp) 등을 이용하여 제1 거리 추정부(830)에서 추정된 거리의 확률 밀도 함수를 구할 수 있고, 확률 모델과 상기 제2 필터부(880)에서 산출된 거리 정보(Dper), 확률 밀도 함수의 공분산(Pper) 등을 이용하여 객체 거리 추정부(870)에서 추정된 거리의 확률 밀도 함수를 구할 수 있다. 상기 제3 거리 추정부(890)는 상기에서 얻어진 각 확률 밀도의 합이 최대가 되는 위치를 객체의 거리(D)로 추정할 수 있다.The third distance estimator 890 calculates the distance information D disp calculated by the first filter 840, the covariance P disp of the probability density function, and the distance information calculated by the second filter 880. The distance of an object can be estimated using (D per ) and the covariance (P per ) of the probability density function. For example, the third distance estimator 890 may use the probability model, the distance information D disp calculated by the first filter 840, and the covariance P disp of the probability density function. The probability density function of the distance estimated by the first distance estimator 830 may be obtained, and the distance information D per calculated by the probability model, the second filter unit 880, and the covariance P per of the probability density function. The probability density function of the distance estimated by the object distance estimating unit 870 may be obtained using, for example. The third distance estimator 890 may estimate a position at which the sum of the probability densities obtained above becomes the maximum as the distance D of the object.

도 9는 본 발명에 따른 일 실시예로서, 거리 추정 방법을 개략적으로 나타낸 순서도이다.9 is a flowchart schematically illustrating a distance estimation method according to an embodiment of the present invention.

스테레오 비전 시스템의 좌우 영상 촬영 장치를 이용하여 영상을 촬영하고, 상기 촬영된 영상의 목표 객체를 검출한다(S900). 상기 스테레오 비전 시스템의 메모리에 저장된 객체의 높이 값(H)을 초기화하고(S902), 상기 검출된 객체에 대한 시차를 산출한다(S904). 상기 S904 단계에서 객체의 시차가 산출되면, 상기 시차를 이용하여 목표 객체의 거리를 추정한다(S906). 상기 시차를 이용한 객체 거리 추정 방식은 상기에서 설명한 바와 같다.The image is captured using the left and right image capturing apparatus of the stereo vision system, and the target object of the captured image is detected (S900). The height value H of the object stored in the memory of the stereo vision system is initialized (S902), and the parallax for the detected object is calculated (S904). When the parallax of the object is calculated in step S904, the distance of the target object is estimated using the parallax (S906). The object distance estimation method using the parallax is as described above.

상기 S906 단계에서 객체의 거리가 추정되면 상기 추정된 거리 정보를 필터링하여 확률 밀도가 최대인 거리(Ddisp)와 상기 확률 밀도의 공분산(Pdisp) 등을 산출한다(S908). 상기 필터링 방식의 예로 칼만 필터링 방식 등을 사용할 수 있다. 상기 S908 단계에서 산출된 확률 밀도가 최대인 거리(Ddisp)가 임계값(Dth)보다 작지 않 고, 공분산(Pdisp)이 임계값(Pth)보다 작지 않은 경우(S910), 상기 객체의 거리(D)를 상기 S908 단계에서 산출된 확률 밀도가 최대인 거리(Ddisp)로 추정한다(S912).When the distance of the object is estimated in step S906, the estimated distance information is filtered to calculate a distance D disp having a maximum probability density, a covariance P disp of the probability density, and the like (S908). As an example of the filtering method, a Kalman filtering method may be used. When the distance D disp having the maximum probability density calculated in step S908 is not smaller than the threshold D th and the covariance P disp is not smaller than the threshold P th (S910), the object The distance D is estimated as a distance D disp having a maximum probability density calculated in the step S908 (S912).

상기 S908 단계에서 산출된 확률 밀도가 최대인 거리(Ddisp)가 임계값(Dth)보다 작고, 공분산(Pdisp)이 임계값(Pth)보다 작은 경우(S910), 상기 확률 밀도가 최대인 거리(Ddisp) 정보를 이용하여 목표 객체의 실제 높이(H)를 산출한다(S914). Ddisp나 Pdisp가 임계값보다 클 경우에는 산출된 객체의 높이가 정확하지 않을 확률이 높기 때문에, 산출된 객체 거리(D)를 상기 S908 단계에서 산출된 확률 밀도가 최대인 거리(Ddisp)로 추정한다(S912).When the distance D disp having the maximum probability density calculated in the step S908 is smaller than the threshold D th and the covariance P disp is smaller than the threshold P th (S910), the probability density is maximum. The actual height H of the target object is calculated using the phosphorus distance D disp information (S914). D disp and P disp is greater when there is high probability of inaccurate, the height of the output objects, the probability density is maximum distance calculating the object distance (D) calculated above at the S908 step (D disp) than the threshold value (S912).

상기 S914 단계에서 목표 객체의 실제 높이(H)가 산출되고, 상기 객체 높이(H) 정보를 이용하여 상기 객체의 거리를 추정한다(S916). 상기 객체의 거리 추정 방식의 일 예로, 상기에서 설명한 바와 같이 원근법에 의한 방식을 사용할 수 있다. 상기 S916 단계에서 객체의 거리가 추정되면 상기 추정된 거리 정보를 필터링하여 확률 밀도가 최대인 거리(Dper)와 상기 확률 밀도의 공분산(Pper) 등을 산출한다(S918). 상기 필터링 방식의 예로 칼만 필터링 방식 등을 사용할 수 있다.In operation S914, the actual height H of the target object is calculated, and the distance of the object is estimated using the object height H information (S916). As an example of the distance estimation method of the object, as described above, a method based on a perspective method may be used. When the distance of the object is estimated in step S916, the estimated distance information is filtered to calculate a distance D per having a maximum probability density and a covariance P per of the probability density, etc. (S918). As an example of the filtering method, a Kalman filtering method may be used.

그리고, 상기 S908 단계와 상기 S918 단계에서 각각 산출된 확률 밀도가 최대인 거리, 확률 밀도의 공분산 등을 이용하여 객체의 정확한 거리를 추정할 수 있 다(S920). 예를 들어, 상기 S920 단계에서는 확률 모델과 상기 S908 단계에서 구한 추정 거리(Ddisp), 공분산(Pdisp)을 이용하여 추정된 거리의 확률 밀도 함수를 구할 수 있고, 확률 모델과 상기 S918 단계에서 구한 추정 거리(Dper), 공분산(Pper)을 이용하여 추정된 거리의 확률 밀도 함수를 구할 수 있다. 그리고 각각 산출된 확률 밀도의 합이 최대인 점을 객체의 정확한 거리로 추정할 수 있다.In addition, an accurate distance of the object may be estimated using a distance having a maximum probability density calculated in steps S908 and S918, and a covariance of probability density, etc. (S920). For example, in step S920, a probability density function of the estimated distance may be obtained using the probability model, the estimated distance D disp and the covariance P disp obtained in step S908. The probability density function of the estimated distance can be obtained using the estimated distance D per and covariance P per . The maximum sum of the calculated probability densities can be estimated as the exact distance of the object.

본 발명은 상술한 실시예에 한정되지 않으며, 첨부된 청구범위에서 알 수 있는 바와 같이 본 발명이 속한 분야의 통상의 지식을 가진 자에 의해 변형이 가능하고 이러한 변형은 본 발명의 범위에 속한다.The present invention is not limited to the above-described embodiments, and as can be seen in the appended claims, modifications can be made by those skilled in the art to which the invention pertains, and such modifications are within the scope of the present invention.

도 1은 본 본 발명에 따른 일 실시예로서, 시간에 따른 좌우 영상을 개략적으로 나타낸 도면1 is a diagram schematically illustrating left and right images according to time according to an embodiment of the present invention.

도 2는 본 발명에 따른 일 실시예로서, 스테레오 비전 방식에 따라 거리를 추정방식을 개략적으로 나타낸 도면2 is a diagram schematically illustrating a distance estimating method according to an exemplary embodiment of the present invention.

도 3은 본 발명에 따른 일 실시예로서, 원근법을 이용하여 거리를 추정방식을 개략적으로 나타낸 도면3 is a diagram schematically illustrating a distance estimating method using a perspective view according to an embodiment of the present invention.

도 4는 본 발명에 따른 일 실시예로서, 정규 유사도 값이 2차 포물선을 형성하는 경우의 예를 나타낸 도면4 is a diagram illustrating an example in which a normal similarity value forms a secondary parabola as an embodiment according to the present invention.

도 5는 본 발명에 따른 일 실시예로서, 정규 유사도 값이 좌우 비대칭형의 포물선을 형성하는 경우의 예를 나타낸 도면5 is a diagram illustrating an example in which a normal similarity value forms left and right asymmetric parabolas as an embodiment according to the present invention.

도 6은 본 발명에 따른 일 실시예로서, 정규 유사도 포물선의 계수를 구하는 순서를 개략적으로 나타낸 도면6 is a diagram schematically illustrating a procedure for obtaining coefficients of a normal similarity parabola as an embodiment according to the present invention.

도 7은 본 발명에 따른 일 실시예로서, 확률 밀도 함수를 개략적으로 나타낸 도면7 is a diagram schematically illustrating a probability density function as an embodiment according to the present invention.

도 8은 본 발명에 따른 일 실시예로서, 거리 추정 장치의 구성을 개략적으로 나타낸 블록도8 is a block diagram schematically illustrating a configuration of a distance estimating apparatus according to an embodiment of the present invention.

도 9는 본 발명에 따른 일 실시예로서, 거리 추정 방법을 개략적으로 나타낸 순서도9 is a flowchart schematically illustrating a distance estimation method according to an embodiment of the present invention.

*도면의 주요 부분에 대한 부호의 설명* Explanation of symbols for the main parts of the drawings

800 : 좌측 영상 촬영장치 802 : 우측 영상 촬영장치800: left video recording device 802: right video recording device

810 : 스테레오 매칭부 820 : 객체 검출부810: stereo matching unit 820: object detection unit

830 : 제1 거리 추정부 840 : 제1 필터부830: First distance estimator 840: First filter unit

850 : 높이 추정부 860 : 영상 높이 추정부850: height estimation unit 860: image height estimation unit

870 : 객체 거리 추정부 880 : 제2 필터부870: object distance estimation unit 880: second filter unit

890 : 제3 거리 추정부890: third distance estimation unit

Claims (18)

거리 추정 방법에 있어서,In the distance estimation method, 촬영된 영상에서 추출된 객체의 시차를 이용하여 상기 객체의 거리를 추정하고, 추정된 거리 값을 필터링하여 제1 확률 밀도를 구하는 단계;Estimating the distance of the object using the parallax of the object extracted from the captured image, and filtering the estimated distance value to obtain a first probability density; 상기 제1 확률 밀도가 최대가 되는 거리 값과 제1 확률 밀도의 공분산 값이 각각 임계값보다 작은 경우, 상기 제1 확률 밀도가 최대가 되는 거리 값을 이용하여 상기 객체의 높이를 구하는 단계;Obtaining a height of the object using the distance value at which the first probability density is maximum when the distance value at which the first probability density is maximum and the covariance value at the first probability density are smaller than a threshold value, respectively; 상기 객체의 높이를 이용하여 상기 객체의 거리를 추정하고, 추정된 거리 값을 필터링하여 제2 확률 밀도를 구하는 단계; 및Estimating the distance of the object using the height of the object, and obtaining a second probability density by filtering the estimated distance value; And 상기 제1 확률 밀도와 제2 확률 밀도에 따른 확률 밀도가 최대인 거리를 객체의 거리로 추정하는 단계를 포함하는 스테레오 비전을 이용한 거리 추정 방법.Estimating a distance having a maximum probability density according to the first probability density and the second probability density as a distance of an object. 제 1 항에 있어서,The method of claim 1, 상기 제1 확률 밀도를 구하는 단계는,Obtaining the first probability density, 상기 시차를 이용하여 추정된 거리 값을 시간에 따라 필터링하여 확률 밀도를 구하는 거리 추정 방법.The distance estimation method of calculating the probability density by filtering the distance value estimated using the time difference. 제 2 항에 있어서,The method of claim 2, 상기 필터링은, 칼만 필터링을 이용하는 거리 추정 방법.The filtering is a distance estimation method using Kalman filtering. 제 1 항에 있어서,The method of claim 1, 상기 제1 확률 밀도를 구하는 단계는,Obtaining the first probability density, 상기 제1 확률 밀도가 최대가 되는 거리 값과 상기 제1 확률 밀도의 공분산을 구하는 거리 추정 방법.And a covariance between the distance value at which the first probability density is maximized and the first probability density. 제 1 항에 있어서,The method of claim 1, 상기 객체의 높이를 이용하여 거리를 추정하는 단계는,Estimating the distance using the height of the object, 원근법을 이용하여 상기 객체의 높이에 따른 상기 객체의 거리를 추정하는 거리 추정 방법.A distance estimation method for estimating the distance of the object according to the height of the object using a perspective. 제 1 항에 있어서,The method of claim 1, 상기 제2 확률 밀도를 구하는 단계는,Obtaining the second probability density, 상기 객체의 높이를 이용하여 추정된 거리 값을 시간에 따라 필터링하여 확률 밀도를 구하는 거리 추정 방법.And a probability density is obtained by filtering a distance value estimated using the height of the object over time. 제 6 항에 있어서,The method of claim 6, 상기 필터링은, 칼만 필터링을 이용하는 거리 추정 방법.The filtering is a distance estimation method using Kalman filtering. 제 1 항에 있어서,The method of claim 1, 상기 제2 확률 밀도를 구하는 단계는,Obtaining the second probability density, 상기 제2 확률 밀도가 최대가 되는 거리 값과 상기 제2 확률 밀도의 공분산을 구하는 거리 추정 방법.And a distance variance of the maximum probability density of the second probability density and the second probability density. 제 1 항에 있어서,The method of claim 1, 상기 확률 밀도가 최대인 거리를 객체의 거리로 추정하는 단계는,Estimating the distance having the largest probability density as the distance of an object; 상기 제1 확률 밀도와 제2 확률 밀도를 더한 확률 밀도가 최대인 거리를 객체의 거리로 추정하는 거리 추정 방법.And estimating a distance having the maximum probability density plus the second probability density as the distance of the object. 제 1 항에 있어서,The method of claim 1, 상기 확률 밀도가 최대인 거리를 객체의 거리로 추정하는 단계는,Estimating the distance having the largest probability density as the distance of an object; 확률 모델과 상기 제1 확률 밀도가 최대가 되는 거리 값, 제1 확률 밀도의 공분산을 이용하여 제1 확률 밀도를 구하고, 확률 모델과 상기 제2 확률 밀도가 최대가 되는 거리 값, 제2 확률 밀도의 공분산을 이용하여 제2 확률 밀도를 구하는 단계; 및 A first probability density is obtained by using a probability model, a distance value at which the first probability density is maximum, and a covariance of a first probability density, a distance value at which the probability model and the second probability density are maximum, and a second probability density. Obtaining a second probability density using the covariance of; And 상기에서 구한 제1 확률 밀도와 제2 확률 밀도를 더한 확률 밀도가 최대인 거리를 구하는 단계를 포함하는 거리 추정 방법.And obtaining a distance having a maximum probability density obtained by adding the first probability density and the second probability density obtained above. 거리 추정 장치에 있어서,In the distance estimation device, 촬영된 영상에서 추출된 객체의 시차를 이용하여 상기 객체의 거리를 추정하 는 제1 거리 추정부;A first distance estimating unit estimating a distance of the object by using parallax of an object extracted from a captured image; 상기 제1 거리 추정부에서 추정된 거리 값을 필터링하여 제1 확률 밀도를 구하는 제1 필터부;A first filter unit filtering a distance value estimated by the first distance estimator to obtain a first probability density; 상기 제1 확률 밀도가 최대가 되는 거리 값을 이용하여 상기 객체의 높이를 추정하고, 상기 객체의 높이를 이용하여 객체의 거리를 추정하는 제2 거리 추정부;A second distance estimator estimating a height of the object using a distance value at which the first probability density is maximum, and estimating a distance of the object using the height of the object; 상기 제2 거리 추정부에서 추정된 거리 값을 필터링하여 제2 확률 밀도를 구하는 제2 필터부; 및A second filter unit obtaining a second probability density by filtering the distance value estimated by the second distance estimator; And 상기 제1 확률 밀도와 제2 확률 밀도를 이용하여 확률 밀도가 최대가 되는 거리를 객체의 거리로 추정하는 제3 거리 추정부를 포함하는 스테레오 비전을 이용한 거리 추정 장치.And a third distance estimator configured to estimate, as the distance of the object, a distance at which the probability density becomes the maximum using the first probability density and the second probability density. 제 11 항에 있어서,The method of claim 11, 상기 제1 필터부는,The first filter unit, 칼만 필터를 사용하는 스테레오 비전을 이용한 거리 추정 장치.Distance estimation device using stereo vision using Kalman filter. 제 11 항에 있어서,The method of claim 11, 상기 제1 필터부는,The first filter unit, 상기 제1 확률 밀도가 최대가 되는 거리 값, 제1 확률 밀도의 공분산을 산출하는 스테레오 비전을 이용한 거리 추정 장치.A distance estimating apparatus using stereo vision for calculating a distance value at which the first probability density is maximum and a covariance of the first probability density. 제 11 항에 있어서,The method of claim 11, 상기 제2 거리 추정부는,The second distance estimator, 상기 제1 확률 밀도가 최대가 되는 거리 값을 이용하여 객체의 실제 높이를 추정하는 높이 추정부;A height estimating unit estimating an actual height of an object using a distance value at which the first probability density is maximum; 촬영된 영상에서의 객체의 높이를 추정하는 영상 높이 추정부; 및An image height estimating unit estimating a height of an object in the captured image; And 상기 추정된 객체의 실제 높이와 영상에서의 객체의 높이를 이용하여 객체의 거리를 추정하는 객체 거리 추정부를 포함하는 스테레오 비전을 이용한 거리 추정 장치.And a distance estimator for estimating a distance of an object by using the estimated height of the object and the height of the object in the image. 제 11 항에 있어서,The method of claim 11, 상기 제2 필터부는,The second filter unit, 칼만 필터를 사용하는 스테레오 비전을 이용한 거리 추정 장치.Distance estimation device using stereo vision using Kalman filter. 제 11 항에 있어서,The method of claim 11, 상기 제2 필터부는,The second filter unit, 상기 제2 확률 밀도가 최대가 되는 거리 값, 제2 확률 밀도의 공분산을 산출하는 스테레오 비전을 이용한 거리 추정 장치.A distance estimating apparatus using stereo vision for calculating a distance value at which the second probability density becomes the maximum and a covariance of the second probability density. 제 11 항에 있어서,The method of claim 11, 상기 제3 거리 추정부는,The third distance estimator, 상기 제1 확률 밀도와 제2 확률 밀도를 더한 확률 밀도가 최대인 거리를 객체의 거리로 추정하는 스테레오 비전을 이용한 거리 추정 장치.And a distance estimator for estimating a distance having the maximum probability density plus the first probability density and the second probability density as an object distance. 제 11 항에 있어서,The method of claim 11, 상기 제3 거리 추정부는,The third distance estimator, 확률 모델과 상기 제1 확률 밀도가 최대가 되는 거리 값 및 제1 확률 밀도의 공분산을 이용하여 구한 제1 확률 밀도와, 확률 모델과 상기 제2 확률 밀도가 최대가 되는 거리 값 및 제2 확률 밀도의 공분산을 이용하여 구한 제2 확률 밀도를 더하고, 상기 제1 확률 밀도와 제2 확률 밀도를 더한 값이 최대가 되는 거리를 객체의 거리로 추정하는 스테레오 비전을 이용한 거리 추정 장치. A first probability density calculated using a probability model, a distance value at which the first probability density is maximum, and a covariance of the first probability density, a distance value at which the probability model and the second probability density are maximum, and a second probability density 2. A distance estimating apparatus using stereo vision, which adds a second probability density obtained by using a covariance and estimates a distance of an object, wherein the sum of the first probability density and the second probability density is a maximum.
KR1020070140656A 2007-12-28 2007-12-28 Method for distance estimation and apparatus for the same using a disparity and a perspective KR100926287B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070140656A KR100926287B1 (en) 2007-12-28 2007-12-28 Method for distance estimation and apparatus for the same using a disparity and a perspective

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070140656A KR100926287B1 (en) 2007-12-28 2007-12-28 Method for distance estimation and apparatus for the same using a disparity and a perspective

Publications (2)

Publication Number Publication Date
KR20090072520A true KR20090072520A (en) 2009-07-02
KR100926287B1 KR100926287B1 (en) 2009-11-12

Family

ID=41329735

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070140656A KR100926287B1 (en) 2007-12-28 2007-12-28 Method for distance estimation and apparatus for the same using a disparity and a perspective

Country Status (1)

Country Link
KR (1) KR100926287B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110260965A1 (en) * 2010-04-22 2011-10-27 Electronics And Telecommunications Research Institute Apparatus and method of user interface for manipulating multimedia contents in vehicle
KR101284798B1 (en) * 2009-12-08 2013-07-10 한국전자통신연구원 Apparatus and method for estimating a distance and a position of an object based on an image of a single camera

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102298652B1 (en) 2015-01-27 2021-09-06 삼성전자주식회사 Method and apparatus for determining disparty

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0933249A (en) * 1995-07-25 1997-02-07 Olympus Optical Co Ltd Three-dimensional image measuring device
JPH10239054A (en) 1997-02-21 1998-09-11 Nippon Telegr & Teleph Corp <Ntt> Method and device for measuring visual point/object point position
US7372550B2 (en) 2005-10-05 2008-05-13 Hewlett-Packard Development Company, L.P. Measuring distance using perspective

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101284798B1 (en) * 2009-12-08 2013-07-10 한국전자통신연구원 Apparatus and method for estimating a distance and a position of an object based on an image of a single camera
US20110260965A1 (en) * 2010-04-22 2011-10-27 Electronics And Telecommunications Research Institute Apparatus and method of user interface for manipulating multimedia contents in vehicle

Also Published As

Publication number Publication date
KR100926287B1 (en) 2009-11-12

Similar Documents

Publication Publication Date Title
US9374571B2 (en) Image processing device, imaging device, and image processing method
EP1944734B1 (en) Distance correcting apparatus of surrounding monitoring system and vanishing point correcting apparatus thereof
EP0762326B1 (en) Object detecting apparatus in which the position of a planar object is estimated by using Hough transform
KR100938195B1 (en) Method for distance estimation and apparatus for the same using a stereo matching
US9485495B2 (en) Autofocus for stereo images
US8120644B2 (en) Method and system for the dynamic calibration of stereovision cameras
US20110032341A1 (en) Method and system to transform stereo content
CN105069804B (en) Threedimensional model scan rebuilding method based on smart mobile phone
US8831359B2 (en) Apparatus and method for refining a value of a similarity measure
CN109840922B (en) Depth acquisition method and system based on binocular light field camera
US8369609B2 (en) Reduced-complexity disparity map estimation
KR101709317B1 (en) Method for calculating an object&#39;s coordinates in an image using single camera and gps
US8675047B2 (en) Detection device of planar area and stereo camera system
KR100926287B1 (en) Method for distance estimation and apparatus for the same using a disparity and a perspective
EP2913998A1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, disparity value deriving method, and computer-readable storage medium
KR100938194B1 (en) Method for detecting an object and apparatus for the same
US9113142B2 (en) Method and device for providing temporally consistent disparity estimations
US20130142388A1 (en) Arrival time estimation device, arrival time estimation method, arrival time estimation program, and information providing apparatus
Zhang et al. High quality depth maps from stereo matching and ToF camera
KR100911493B1 (en) Method for image processing and apparatus for the same
KR100928906B1 (en) Estimation device and estimation method using parallax
JPH1096607A (en) Object detector and plane estimation method
KR101266623B1 (en) Method and apparatus for estimating of vehicle distance
KR101042171B1 (en) Method and apparatus for controlling vergence of intersting objects in the steroscopic camera
KR102597896B1 (en) Vehicle Center Point Prediction Method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121016

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131022

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20141014

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20151028

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160928

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee