KR20110027373A - Apparatus and method for 3d estimating fusing optical flow and stereo matching - Google Patents

Apparatus and method for 3d estimating fusing optical flow and stereo matching Download PDF

Info

Publication number
KR20110027373A
KR20110027373A KR1020090085439A KR20090085439A KR20110027373A KR 20110027373 A KR20110027373 A KR 20110027373A KR 1020090085439 A KR1020090085439 A KR 1020090085439A KR 20090085439 A KR20090085439 A KR 20090085439A KR 20110027373 A KR20110027373 A KR 20110027373A
Authority
KR
South Korea
Prior art keywords
time
difference
binocular
light flow
value
Prior art date
Application number
KR1020090085439A
Other languages
Korean (ko)
Other versions
KR101027004B1 (en
Inventor
정홍
쉥 얀
최지희
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020090085439A priority Critical patent/KR101027004B1/en
Publication of KR20110027373A publication Critical patent/KR20110027373A/en
Application granted granted Critical
Publication of KR101027004B1 publication Critical patent/KR101027004B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

PURPOSE: A device and a method for estimating 3 dimensional structures which fused an optical flow and a stereo matching are provided to reduce search range of a disparity and an optical flow and improve calculation speed and accuracy by calculating exact corresponding point in real as using current frame and estimated corresponding points and a disparity predictability value. CONSTITUTION: A register(140) stores a disparity and an optical flow. A time update unit(130) calculates an optical flow value of each left-sided image of a parent node. A measured value updating unit(120) updates the register by calculating a disparity and an optical flow.

Description

광 흐름과 스테레오 매칭을 융합한 3차원 구조 추정 장치 및 방법{APPARATUS AND METHOD FOR 3D ESTIMATING FUSING OPTICAL FLOW AND STEREO MATCHING}3D structure estimation apparatus and method integrating light flow and stereo matching {APPARATUS AND METHOD FOR 3D ESTIMATING FUSING OPTICAL FLOW AND STEREO MATCHING}

본 발명은 광 흐름과 스테레오 매칭을 융합한 3차원 구조 추정에 관한 것으로, 더욱 상세하게는 광 흐름 및 양안차의 검색 범위를 줄일 수 있을 뿐만 아니라 연산 속도 및 정확도를 향상시킬 수 있는 광 흐름과 스테레오 매칭을 융합한 3차원 구조 추정 장치 및 방법에 관한 것이다.The present invention relates to a three-dimensional structure estimation incorporating light flow and stereo matching. More particularly, the present invention relates to light flow and stereo that can improve the computation speed and accuracy as well as reduce the search range of light flow and binocular difference. The present invention relates to a three-dimensional structure estimation apparatus and method incorporating matching.

일반적으로 인간의 시각 시스템은 두 개의 눈을 포함하는데, 이 두 개의 눈을 통해 사물의 멀고 가까움, 즉 거리 정보를 알 수 있다. 이를 카메라 영상에 적용하면 어떤 공간에 대한 두 장의 영상을 이용하면 거리 정보를 알 수 있게 된다.In general, the human visual system includes two eyes, through which the eyes can know the distant and closeness of the object, that is, the distance information. If this is applied to the camera image, distance information can be obtained by using two images of a space.

영상을 통해 거리 정보를 획득하는 것이 시각 시스템 내의 스테레오 매칭의 궁극적인 목적이다. 한 장의 영상은 3차원 공간을 2차원 공간으로 사영(projection)시킨 것 인데, 이 과정에서 거리 정보를 잃어버리게 되고 이 때문에 단일 영상에서 3차원 공간을 복원시키는 것은 어렵다.Acquiring distance information through an image is the ultimate goal of stereo matching in a visual system. A single image is a projection of a three-dimensional space into a two-dimensional space. In this process, distance information is lost. Therefore, it is difficult to restore the three-dimensional space in a single image.

하지만, 사물에 대해 서로 다른 위치에서 얻어진 두 영상이 있을 때 3차원 공간의 복원은 가능해진다. 만약 실제 공간 상의 어떤 점이 두 장의 영상에 맺히게 되면, 그 두 장의 영상의 정보와 간단한 기하구조를 이용하여 그 점의 실제 3차원 공간상의 위치를 찾을 수가 있다. 여기서, 3차원 공간에서 2차원 영상에 맺히는 점을 좌, 우 영상 각각의 대응점이라고 하며, 좌측 또는 우측 영상을 기준으로 서로 다은 대응점을 찾는 과정을 스테레오 매칭이라 한다.However, when there are two images obtained at different positions with respect to the object, the restoration of the three-dimensional space becomes possible. If a point in the real space is bound to two images, the position of the point in the actual three-dimensional space can be found using the information and simple geometry of the two images. In this case, a point formed on the 2D image in the 3D space is called a corresponding point of each of the left and right images, and a process of finding a corresponding point based on the left or right image is called stereo matching.

스테레오 매칭을 통해 두 영상의 양안차(disparity)를 구할 수 있는데, 즉 두 대의 카메라가 같은 평면상에 존재하고 광축이 서로 평행하면 두 영상의 양안차(disparity)는 두 카메라로부터 얻어지는 좌우 영상의 각각 대응되는 점의 차에 의해 계산될 수 있다. Stereo matching can be used to find the disparity of two images, i.e. if two cameras are on the same plane and the optical axes are parallel to each other, the disparity of the two images is the difference between the left and right images obtained from the two cameras. It can be calculated by the difference of the corresponding points.

한편, 두 개의 카메라에서 제공받은 좌우측 영상을 토대로 3차원 공간을 복원시키는데 필요한 것으로 광 흐름(optical flow)을 들 수 있는데, 여기서 광 흐름은 명도 유형을 서서히 변화시킴으로써 발생하는 영상에서의 움직임의 속도 분포, 즉 시간의 흐름에 따른 영상의 변화 값을 의미한다.On the other hand, the optical flow is required to restore the three-dimensional space based on the left and right images provided by the two cameras, where the light flow is a velocity distribution of motion in the image generated by gradually changing the brightness type. That is, it means a change value of the image over time.

광 흐름과 스테레오 매칭 기술을 융합하여 3차원 공간을 복원하는 종래 기술은 상호간의 부정확한 관계를 사용하여 광 흐름 및 양안차를 계산한다. 그 중 하나의 종래 기술은 시간에 순차적인 영상들의 특징 점을 이용해 광 흐름을 계산하고, 그 계산된 광 흐름 값을 스테레오 매칭의 이동 성분에 대한 정보로 이용한다.Conventional techniques of reconstructing three-dimensional space by fusing light flow and stereo matching techniques calculate the light flow and binocular difference using mutually inaccurate relationships. One conventional technique calculates a light flow using feature points of sequential images in time, and uses the calculated light flow value as information on a moving component of stereo matching.

다른 종래 기술은 양안차의 불연속적 특성과 광 흐름 사이에 나타나는 상호 관계를 이용하고, 스테레오 매칭 기술에서의 불연속과 차단(occlusion) 사이의 관 계를 양안차 계산을 위한 제한항으로 이용한다.Another prior art takes advantage of the interrelationship between the discontinuous nature of the binocular and the light flow, and uses the relationship between discontinuity and occlusion in stereo matching techniques as a constraint term for binocular difference calculation.

종래의 광 흐름과 양안차를 계산하는 기술은 상호간의 강력한 제한항을 이용하는 대신에 상대 큐(cue)의 정보를 추측하기 위해 단지 하나의 큐만을 사용하며, 기하학적 성질에 대한 제한을 이용하지 않을 뿐만 아니라 시간 특징적인 영역에서 계산되지 않는 문제점이 있다.Conventional techniques for calculating light flow and binocular difference use only one cue to guess the information of relative cues instead of using mutually strong constraints, and do not use restrictions on geometric properties. But there is a problem that is not calculated in the time characteristic domain.

본 발명은 부모 노드인 이전 시간의 모션과 프레임을 이용하여 현재 프레임의 양안차 예측 값과 대응점들 추정하고, 현재 프레임과 추정된 대응점 및 양안차 예측 값로 실제 정확한 대응점들을 계산하여 광 흐름 및 양안차의 검색 범위를 줄일 수 있을 뿐만 아니라 연산 속도 및 정확도를 향상시킬 수 있는 광 흐름과 스테레오 매칭을 융합한 3차원 구조 추정 장치 및 방법을 제공하는데 있다.The present invention estimates the binocular difference prediction value and the corresponding points of the current frame using the motion and the frame of the previous time, which is the parent node, and calculates the actual accurate correspondence points using the estimated point and the binocular difference prediction value of the current frame. The present invention provides a three-dimensional structure estimation apparatus and method that combines optical flow and stereo matching, which can reduce the search range and improve the computation speed and accuracy.

본 발명의 목적은 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The object of the present invention is not limited to those mentioned above, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.

본 발명의 실시 예에 따른 광 흐름과 스테레오 매칭을 융합한 3차원 구조 추정 장치는, 시간 t에서 입력되는 좌우측 입력 영상의 부모 노드(t-1)에 대한 양안 차와 광 흐름이 저장되어 있는 레지스터와, 상기 부모 노드에서 상기 시간 t의 좌우측 입력 영상에서 각각 추정되는 대응점, 좌측 영상을 기준으로 상기 부모 노드에서 추정된 상기 시간 t의 양안차 예측 값 및 상기 부모 노드의 좌우측 각 영상의 광 흐름 값을 계산하는 시간 업데이트부와, 상기 시간 업데이트부에서 계산된 상기 부모 노드에서의 광 흐름 값, 양안차 예측 값 및 대응점들을 이용하여 상기 좌우측 입력 영상에 대한 양안차와 광 흐름을 계산하여 상기 레지스터를 업데이트시키는 측정 값 업데이트부를 포함한다.According to an embodiment of the present invention, a three-dimensional structure estimation apparatus incorporating light flow and stereo matching includes: a register storing binocular difference and light flow for a parent node t-1 of left and right input images input at a time t And a corresponding point estimated from the left and right input images of the time t at the parent node, a binocular difference prediction value of the time t estimated from the parent node based on the left image, and a light flow value of each of the left and right images of the parent node. Calculating a binocular difference and light flow for the left and right input images by using a time updater that calculates a value and a light flow value, a binocular difference prediction value, and corresponding points calculated by the time updater. It includes a measurement value updating unit for updating.

본 발명의 실시 예에 따른 광 흐름과 스테레오 매칭을 융합한 3차원 구조 추정 장치의 상기 측정 값 업데이트부는, 상기 입력 좌측 영상을 기준으로 동일 라인 상에 존재하는 상기 좌우측 입력 영상의 픽셀들의 차를 최소화하는 양안차, 상기 양안차 예측 값과 상기 시간 t에서 선택할 수 있는 양안차간의 차를 최소화하는 양안차 및 임의의 픽셀에서 이전 픽셀로의 불연속 패널티를 토대로 상기 시간 t의 양안차를 계산하는 양안차 업데이트 모듈과, 상기 시간 t의 좌우측 입력 영상에서 특정 픽셀의 이웃 픽셀에 대한 좌우측 영상의 밝기 차이 값, 상기 시간 t에서 상기 특정 픽셀의 양안차와 상기 시간 업데이트부에서 추정된 상기 양안차 예측 값의 차가 최소가 되는 픽셀 위치를 이용하여 상기 시간 t의 광 흐름을 계산하는 광 흐름 업데이트 모듈을 포함한다.The measured value updating unit of the 3D structure estimating apparatus, which fuses light flow and stereo matching, according to an embodiment of the present invention, minimizes the difference between pixels of the left and right input images existing on the same line based on the input left image. A binocular difference that calculates the binocular difference at time t based on a binocular difference that minimizes the difference between the binocular difference prediction value and the binocular difference that can be selected at time t, and a discontinuous penalty from an arbitrary pixel to a previous pixel. An update module and a brightness difference value of the left and right images of neighboring pixels of a specific pixel in the left and right input images of the time t, the binocular difference of the specific pixel at the time t and the binocular prediction predicted by the time updater; And a light flow update module for calculating the light flow of the time t using the pixel position at which the difference is minimum. The.

다른 견지에서의 본 발명의 실시 예에 따른 광 흐름과 스테레오 매칭을 융합한 3차원 구조 추정 방법은 기 저장된 시간 t-1의 광 흐름으로부터 시간 t의 좌우측 입력 영상의 대응점들을 추정하는 단계와, 상기 추정된 대응점들로부터 상기 시 간 t의 추정된 양안차 예측 값과 상기 시간 t-1에서의 광 흐름을 추정하는 단계와, 상기 추정된 시간 t-1에서의 광 흐름, 상기 양안차 예측 값 및 상기 추정된 대응점을 이용하여 상기 시간 t의 양안차와 광 흐름 값을 산출하는 단계를 포함한다.In another aspect, a three-dimensional structure estimation method incorporating light flow and stereo matching according to an embodiment of the present invention includes estimating corresponding points of left and right input images of time t from a pre-stored light flow of time t-1; Estimating the estimated binocular difference prediction value of the time t and the light flow at the time t-1 from the estimated corresponding points, the light flow at the estimated time t-1, the binocular prediction value and Calculating the binocular difference and the light flow value of the time t using the estimated corresponding point.

본 발명의 실시 예에서 상기 시간 t의 양안차 예측 값은, 상기 좌우측 입력 프레임에서 상기 좌측 입력 영상을 기준으로 상기 시간 t-1에서 추정된 상기 시간 t의 양안차 예측 값인 것을 특징으로 한다.According to an embodiment of the present invention, the binocular difference prediction value of the time t may be a binocular difference prediction value of the time t estimated at the time t-1 based on the left input image in the left and right input frames.

본 발명의 실시 예에서 상기 시간 t의 양안차와 광 흐름 값을 산출하는 단계는, 상기 좌측 입력 영상을 기준으로 동일 라인 상에 존재하는 상기 좌우 입력 영상의 픽셀들간 차를 최소화하는 제 1 양안차를 찾는 단계와, 상기 양안차 예측 값과 상기 시간 t에서 선택할 수 있는 양안차의 차를 최소화할 수 있는 제 2 양안차를 찾는 단계와, 상기 좌측 또는 우측 입력 영상 프레임의 특정 픽셀에서 이웃하는 픽셀으로의 불연속 패널티 값을 산출하는 단계와, 상기 제 1 양안차, 제 2 양안차 및 상기 패널티 값으로 구성된 에너지 함수를 최소화하는 값을 상기 시간 t의 양안차로 산출하는 단계를 포함한다.In the embodiment of the present disclosure, calculating the binocular difference and the light flow value of time t may include a first binocular difference that minimizes a difference between pixels of the left and right input images existing on the same line based on the left input image. Finding a second binocular difference that can minimize a difference between the binocular difference prediction value and the binocular difference selectable at the time t, and neighboring pixels in a specific pixel of the left or right input image frame Calculating a discontinuous penalty value, and calculating a value for minimizing an energy function composed of the first binocular difference, the second binocular difference, and the penalty value as the binocular difference at time t.

본 발명의 실시 예에서 상기 시간 t의 광 흐름 값을 산출하는 단계는, 상기 좌측 또는 우측 입력 영상에서 특정 픽셀의 이웃 픽셀에 대한 좌우 영상의 밝기 차이 값을 산출하는 단계와, 상기 시간 t에서 상기 특정 픽셀의 양안차와 상기 양안차 예측 값의 차가 최소가 되는 픽셀의 위치를 찾는 단계와, 상기 밝기 차이 값과 상기 픽셀의 위치를 에너지 함수로 하여 상기 에너지 함수를 최소화하는 값을 상기 시간 t의 광 흐름 값으로 산출하는 단계를 포함한다.The calculating of the light flow value of the time t may include calculating brightness difference values of left and right images of neighboring pixels of a specific pixel in the left or right input image, and at the time t, Finding a position of a pixel at which the difference between the binocular difference of the specific pixel and the binocular difference prediction value is minimum; and minimizing the energy function by using the brightness difference value and the position of the pixel as an energy function; Calculating the light flow value.

본 발명에서는 부모 노드인 이전 시간의 모션과 프레임을 이용하여 현재 프레임의 양안차 예측 값과 대응점들 추정하고, 현재 프레임과 추정된 대응점 및 양안차 예측 값을 이용하여 실제 정확한 대응점들을 계산함으로써, 광 흐름 및 양안차의 검색 범위를 줄일 수 있을 뿐만 아니라 연산 속도 및 정확도를 향상시킬 수 있는 효과가 있다.In the present invention, the binocular difference prediction value and the corresponding points of the current frame are estimated using the motion and the frame of the previous time, which is the parent node, and the actual exact correspondence points are calculated by using the estimated point and the binocular difference prediction value. Not only can it reduce the search range of flow and binocular difference, but it can also improve the computation speed and accuracy.

본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. The objects and effects of the present invention and the technical configurations for achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The following terms are defined in consideration of the functions of the present invention, and may be changed according to the intentions or customs of the user, the operator, and the like.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져 야 할 것이다.The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. The present embodiments are merely provided to complete the disclosure of the present invention and to fully inform the scope of the invention to those skilled in the art, and the present invention is defined by the scope of the claims. It will be. Therefore, the definition should be made based on the contents throughout the specification.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 발명의 실시 예에서는 부모 노드인 이전 시간의 모션과 프레임을 이용하여 현재 프레임의 양안차 예측 값과 대응점들 추정하고, 현재 프레임과 추정된 대응점 및 양안차 예측 값을 이용하여 실제 정확한 대응점들을 계산하는 광 흐름과 스테레오 매칭을 융합한 3차원 구조 추정 장치 및 방법에 대해 설명한다.According to an embodiment of the present invention, the binocular difference prediction value and the corresponding points of the current frame are estimated using the motion and the frame of the previous time, which is the parent node, and the actual exact correspondence points are calculated using the estimated point and the binocular difference prediction value of the current frame. An apparatus and method for estimating a three-dimensional structure integrating light flow and stereo matching are described.

본 발명의 실시 예에 대한 설명에 앞서, 본 발명에서의 광 흐름이란 시간의 흐름에 따른 영상의 변화 값을 의미하는데, 즉 시간에 연속적인 비디오 영상에 대해서 시간 t, t-1, t-2,....................의 각 영상 프레임에 대한 픽셀의 변화 값을 의미한다.Prior to the description of an embodiment of the present invention, the light flow in the present invention means a change value of an image over time, that is, time t, t-1, t-2 for a video image that is continuous in time. It means the change value of pixel for each image frame.

일반적인 좌우 영상, 즉 좌우측 카메라에 의해 촬영된 영상에 대한 광 흐름은 아래의 수학식1에 의해 정의된다.A light flow for a general left and right image, that is, an image captured by the left and right cameras is defined by Equation 1 below.

Figure 112009055805118-PAT00001
Figure 112009055805118-PAT00001

여기서

Figure 112009055805118-PAT00002
는 좌,우 영상에 대한 각각의 대응점들의 광 흐름을 나타내며, u,v는 각각 수평, 수직 성분을 표현한다. 또한
Figure 112009055805118-PAT00003
은 양안차 d 의 시간의 흐름에 따라 유도된 값을 의미한다.here
Figure 112009055805118-PAT00002
Represents the light flow of the corresponding points for the left and right images, and u and v represent the horizontal and vertical components, respectively. Also
Figure 112009055805118-PAT00003
Denotes a value derived over time of binocular difference d .

본 발명에 의해 유도된 광 흐름-양안차의 관계식은 식

Figure 112009055805118-PAT00004
에 의해 아래의 수학식2와 같이 표현되며, 이를 광 흐름-양안차 식으로 불린다. 즉, 시간에 따 라 발생된 광 흐름에 대해 미분을 했을 경우 양안차와 동일한 값을 갖는다.The relation of light flow-binocular difference induced by the present invention is
Figure 112009055805118-PAT00004
It is expressed by Equation 2 below, which is called the light flow-binocular equation. That is, when differentiation is made for the light flow generated over time, it has the same value as the binocular difference.

Figure 112009055805118-PAT00005
Figure 112009055805118-PAT00005

상기의 수학식 2에서 F는 fundamental matrix이며, xl,xr 는 각각 좌, 우 영상의 대응점들을 의미한다.In Equation 2, F is a fundamental matrix, and x l and x r represent corresponding points of the left and right images, respectively.

시간 t-1에서 대응점쌍들은 모든 좌,우 영상의 픽셀들에 의해 계산되며, 전체 픽셀에 대한 시간 t-2에서의 부모 노드(parent node)들은 시간 t-1에서 추정값들의 계산을 위한 유효값이 된다. 여기서 부모노드는 시간에 순차적인 영상들에 대해 어떤 시간 t에 대응되는 이전 시간(t-1)에서의 대응점을 의미한다.Corresponding pairs at time t-1 are computed by the pixels of all left and right images, and the parent nodes at time t-2 for all pixels are valid values for calculation of estimates at time t-1. Becomes Herein, the parent node means a corresponding point at a previous time t-1 corresponding to a certain time t with respect to images sequentially in time.

도 1은 본 발명의 실시 예에 따른 광 흐름과 스테레오 매칭 기술을 이용한 3차원 구조 추정 장치를 도시한 블록도이다.1 is a block diagram illustrating an apparatus for estimating a 3D structure using a light flow and stereo matching technology according to an exemplary embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시 예에 따른 광 흐름과 스테레오 매칭 기술을 이용한 3차원 구조 추정 장치는 좌우 카메라(100, 110), 측정값 업데이트부(120), 시간 업데이트부(130) 및 레지스터(140)를 포함한다.Referring to FIG. 1, an apparatus for estimating a three-dimensional structure using a light flow and stereo matching technology according to an embodiment of the present invention includes left and right cameras 100 and 110, a measured value updater 120, a time updater 130 and Register 140.

양안차 및 광 흐름에 대한 대응점들은 각각의 스테이트(states)로 정의되며, 계산된 양안차와 광 흐름 값들은 3차원 구조 추정 장치의 결과 값(output)으로 정의되면, 이는 레지스터(140)에 저장된다.Corresponding points for binocular difference and light flow are defined in their respective states, and the calculated binocular difference and light flow values are defined as outputs of the three-dimensional structure estimation device, which are stored in the register 140. do.

본 발명에서 각 스테이트과 결과 값은 아래의 수학식 3에 의해 정의된다.In the present invention, each state and a result value are defined by Equation 3 below.

Figure 112009055805118-PAT00006
states :
Figure 112009055805118-PAT00006
states:

output :

Figure 112009055805118-PAT00007
output:
Figure 112009055805118-PAT00007

상기의 수학식 3에서

Figure 112009055805118-PAT00008
는 이전 시간(t-2)에 위치한 xl, xr의 부모 노드를 나타내는데, 즉 이전 시간에 위치한 프레임 값을 의미한다. 아래 첨자 t-1은 시간 t-1에서 얻은 값들을 의미한다.In Equation 3 above
Figure 112009055805118-PAT00008
Denotes the parent node of x l and x r located at the previous time (t-2), that is, the frame value located at the previous time. The subscript t-1 means the values obtained at time t-1.

시간 t의 새로운 프레임(좌우측 영상)(fl, fr)으로부터 출력 값을 추정하기 전에, 시간 업데이트부(130)는 시간 t-1의 모션(

Figure 112009055805118-PAT00009
)으로부터 시간 t의 대응점들(
Figure 112009055805118-PAT00010
)의 값을 추정한다. 이를 시간-업데이트 스테이지(time-update stage)라고 정의한다. Before estimating the output value from the new frame (left-right image) f l , f r of time t, the time updater 130 performs the motion of time t-1 (
Figure 112009055805118-PAT00009
Corresponding points of time t from
Figure 112009055805118-PAT00010
Estimate the value of). This is defined as a time-update stage.

측정 값 업데이트부(120)는 시간 업데이트부(130)의 출력과 시간 t의 새로운 프레임(fl, fr)을 이용하여 시간 t의 추정된 양안차 및 광 흐름을 얻은 후에 이를 메모리인 레지스터(140)에 저장한다. The measured value updater 120 obtains the estimated binocular difference and the light flow of the time t by using the output of the time updater 130 and the new frames f l and f r of the time t, and then registers the register as a memory. 140).

이와 같이, 시간 업데이트부(130)가 시간 t-1의 모션(

Figure 112009055805118-PAT00011
)으로부터 추정된 시간 t의 대응점들(
Figure 112009055805118-PAT00012
)의 값과 시간 t의 추정된 양안차 및 광 흐름은 아래의 수학식 4에 의해 계산된다.In this way, the time updater 130 performs the motion of the time t-1 (
Figure 112009055805118-PAT00011
Corresponding points of time t estimated from
Figure 112009055805118-PAT00012
And the estimated binocular difference and light flow at time t are calculated by Equation 4 below.

Figure 112009055805118-PAT00013
Figure 112009055805118-PAT00013

상기의 수학식 4에서

Figure 112009055805118-PAT00014
는 시간 t-1의 모션(
Figure 112009055805118-PAT00015
)으로부터 추정된 시간 t의 좌우 영상에서 대응점을 의미하며,
Figure 112009055805118-PAT00016
는 좌측 영상을 기준으로 시간 t-1에서 추정된 시간 t의 양안차 값(예측 값)이다. 또한
Figure 112009055805118-PAT00017
는 시간 t-1에서 좌우측 영상 각각에서 계산된 시간 t-1 프레임의 모션(광 흐름) 값을 의미한다.In Equation 4 above
Figure 112009055805118-PAT00014
Is the motion at time t-1 (
Figure 112009055805118-PAT00015
The corresponding point in the left and right images of time t estimated from
Figure 112009055805118-PAT00016
Is a binocular difference value (prediction value) of time t estimated at time t-1 based on the left image. Also
Figure 112009055805118-PAT00017
Denotes a motion (light flow) value of a time t-1 frame calculated at each of the left and right images at time t-1.

측정 값 업데이트부(120)에서는 시간 업데이트부(130)의 출력과 시간 t에서 좌우 카메라(100, 110)로부터 입력받은 좌우측 입력 영상을 이용하여 시간 t에서의 양안차 및 모션(광 흐름) 값들을 계산한다. 여기서, 시간 업데이트부(130)에서 계산된 시간 t-1에서 추정된 모션, 양안차 예측 값 및 은 새로운 정확한 모션과 영안차 값을 찾는 큐(cue)로 사용된다. The measured value updater 120 uses the output of the time updater 130 and the left and right input images received from the left and right cameras 100 and 110 at the time t to obtain binocular difference and motion (light flow) values at the time t. Calculate Here, the motion estimated from the time t-1 calculated by the time updater 130, the binocular difference prediction value, and are used as cues for finding a new correct motion and zero eye difference value.

시간 업데이트부(130)에서 추정된 시간 t-1에서의 양안차 예측 값(

Figure 112009055805118-PAT00018
)은 일반적인 스테레오 매칭기술에 더하여 시간 t에서 더 정확한 양안차
Figure 112009055805118-PAT00019
를 얻을 수 있으며, 모션의 대응점들(
Figure 112009055805118-PAT00020
)은 상기의 수학식 4에 의해 결정된다. 최적의 대응점은 반드시 앞선 프레임(앞선 시간의 영상)에서 얻은 추정된 위치로부터 가까운 곳에 존재하기 때문에 최적의 결과를 얻기 위해 수학식 1을 만족하는 점들의 주위를 검색한다. 즉, 도 2에 도시된 바와 같이, 최적의 대응점을 찾기 위해서 양안차 검색 범위와 광 흐름 검색 범위를 설정한 후 설정된 범위를 검색한다.The binocular difference prediction value at time t-1 estimated by the time updater 130 (
Figure 112009055805118-PAT00018
) Is more accurate binocular difference at time t in addition to the usual stereo matching technique
Figure 112009055805118-PAT00019
And the corresponding points of the motion (
Figure 112009055805118-PAT00020
) Is determined by Equation 4 above. Since the optimal correspondence point always exists close to the estimated position obtained from the previous frame (the image of the preceding time), the surroundings of the points satisfying Equation 1 are searched for the optimal result. That is, as shown in FIG. 2, the binocular vehicle search range and the light flow search range are set to find the optimum correspondence point, and then the set range is searched.

측정 값 업데이트부(120)는 두 개의 모듈로서 이루어지는데, 즉 양안차 업데이트 모듈(121) 및 광 흐름 업데이트 모듈(122)로 구성된다.The measured value updater 120 is composed of two modules, that is, the binocular vehicle update module 121 and the light flow update module 122.

양안차 업데이트 모듈(121)은 아래의 수학식 5의 에너지 함수를 최소화하는 양안차를 찾아 결과 값으로 출력한다.The binocular car update module 121 finds a binocular car that minimizes the energy function of Equation 5 below and outputs the result.

Figure 112009055805118-PAT00021
Figure 112009055805118-PAT00021

상기의 수학식 5에서 아래 첨자 t는 시간 t를 의미하며, 윗 첨자 l, r은 좌측과 우측을 의미, f(xl)는 좌측 영상을 기준으로 하는 영상의 픽셀 값을 의미한다. 이에 따라 첫째항인

Figure 112009055805118-PAT00022
은 좌측 영상을 기준으로 동일 라인(y축)상에 존재하는 좌, 우 영상의 픽셀들의 차를 최소화 하는 양안차 d를 찾는 것을 의미하며, 두 번째 항인
Figure 112009055805118-PAT00023
은 시간 t-1의 영상에서 예측, 추정한 시간 t에서의 양안차 예측 값(
Figure 112009055805118-PAT00024
)과 시간 t에서 선택할 수 있는 양안차의 차를 최소화 하는 양안차 d를 찾고자 하는 것을 의미한다. 그리고 마지막 항인
Figure 112009055805118-PAT00025
은 픽셀 x에서 x-1로의 불연속 패널티 값을 의미하는데, 이때 이웃하는 픽셀의 양안차 값이 연속적이지 못할 경우 그 값은 더 커진다.In Equation 5, the subscript t denotes a time t, the upper subscripts l and r denote left and right, and f (x l ) denotes a pixel value of an image based on the left image. Accordingly, the first term
Figure 112009055805118-PAT00022
Means the binocular difference d that minimizes the difference between the pixels of the left and right images on the same line (y-axis) based on the left image.
Figure 112009055805118-PAT00023
Is a binocular difference prediction value at time t
Figure 112009055805118-PAT00024
) And binocular car d that minimizes the difference between the binocular car selectable at time t. And the last term
Figure 112009055805118-PAT00025
Denotes a discontinuous penalty value from pixel x to x-1, which becomes larger if the binocular difference value of neighboring pixels is not continuous.

광 흐름 업데이트 모듈(122)은 아래의 수학식 6의 에너지 함수를 최소화하는 픽셀의 위치를 찾고, 이전 프레임(시간 t-1의 영상)과 현재 프레임(시간 t의 영상)의 픽셀 위치 차, 즉 모션을 결과 값으로 출력한다.The light flow update module 122 finds the position of the pixel that minimizes the energy function of Equation 6 below, and the pixel position difference between the previous frame (image at time t-1) and the current frame (image at time t), that is, Output the motion as a result.

Figure 112009055805118-PAT00026
Figure 112009055805118-PAT00026

상기의 수학식 6에서 여기서 첫 번째 항인

Figure 112009055805118-PAT00027
은 어떤 픽셀(x)의 이웃 픽셀(x')에 대한 좌, 우 영상의 밝기(intensity) 차이 값을 의미하며, 두 번째 항인
Figure 112009055805118-PAT00028
은 시간 t에서 어떤 픽셀(x)의 양안차
Figure 112009055805118-PAT00029
와 시간 업데이트부(130)에서 갱신된 시간 t-1에서 추정된 양안차 예측값(
Figure 112009055805118-PAT00030
)의 차가 최소가 되는 픽셀위치(x')를 의미한다.In Equation 6 above, the first term
Figure 112009055805118-PAT00027
Denotes the difference value of the brightness of left and right images of a neighboring pixel (x ') of a pixel (x), and the second term,
Figure 112009055805118-PAT00028
Is the binocular difference of any pixel (x) at time t
Figure 112009055805118-PAT00029
And the binocular difference prediction value estimated at time t-1 updated by the time updater 130 (
Figure 112009055805118-PAT00030
) Means the pixel position x 'at which the difference is small.

상기로부터 계산되는 모션(광 흐름)은 아래의 수학식 7과 같다.The motion (light flow) calculated from the above is expressed by Equation 7 below.

Figure 112009055805118-PAT00031
Figure 112009055805118-PAT00031

상기와 같은 과정을 통해 모든 대응점들이 발견되면, 아래의 수학식 8과 같이 이전 프레임(시간 t-1의 프레임)의 대응점들은 부모 노드처럼 레지스터(140)에 저장된다.When all the corresponding points are found through the above process, the corresponding points of the previous frame (frame of time t-1) are stored in the register 140 as the parent node as shown in Equation 8 below.

Figure 112009055805118-PAT00032
Figure 112009055805118-PAT00032

위의 과정을 통해 시간에 순차적인 모든 영상의 프레임에 대해 계산될 수 있으며, 상기 수학식 7, 8의 결과를 상기 수학식 3에 적용하여 최종 출력 값, 즉 양안차와 광 흐름을 산출하여 레지스터(140)에 저장한다.Through the above process can be calculated for all the frames of the image sequentially in time, by applying the result of Equation 7, 8 to Equation 3 to calculate the final output value, that is binocular difference and light flow register Save to 140.

상기와 같은 구성을 갖는 광 흐름과 스테레오 매칭 기술을 이용한 3차원 구조 추정 장치가 동작하는 과정에 대해 도 2 내지 도 3을 참조하여 설명한다.A process of operating the 3D structure estimation apparatus using the light flow and the stereo matching technique having the above configuration will be described with reference to FIGS. 2 to 3.

도 3은 본 발명의 실시 예에 따른 좌우 입력 영상에 대한 양안차와 광 흐름을 계산하는 과정을 도시한 흐름도로서, 양안차(disparity map)와 광흐름(optical flow)을 순차적으로 계산한다. 3 is a flowchart illustrating a process of calculating binocular difference and light flow for left and right input images according to an embodiment of the present invention, and sequentially calculating a disparity map and an optical flow.

도 3에 도시된 바와 같이, 시간 t와 t-1에서 주어진 좌우 입력 영상(fl, fr)에 대해, 아래의 수학식 9와 같이 전체 x0|0에 대해 초기화를 수행(S300)한다.As shown in FIG. 3, the left and right input images f l and f r given at times t and t-1 are initialized for all x 0 | 0 as shown in Equation 9 below (S300). .

Figure 112009055805118-PAT00033
Figure 112009055805118-PAT00033

그런 다음, 재귀 연산을 시작하는데, 즉 시간 업데이트부(130)는 상기의 수학식4를 이용하여 시간 t-1의 모션(

Figure 112009055805118-PAT00034
)으로부터 시간 t의 대응점들
Figure 112009055805118-PAT00035
을 추정함과 더불어 좌측 영상을 기준으로 시간 t-1에서 시간 t의 양안차 예측 값(
Figure 112009055805118-PAT00036
)을 추정(S302)한다. 추정된 양안차 예측 값(
Figure 112009055805118-PAT00037
)과 시간 t의 대응점들(
Figure 112009055805118-PAT00038
)은 측정 값 업데이트부(120)에 제공된다.Then, the recursive operation is started, that is, the time updater 130 uses the above equation (4) to calculate the motion of the time t-1.
Figure 112009055805118-PAT00034
Correspondences of time t from
Figure 112009055805118-PAT00035
In addition to estimating, the binocular difference prediction value of time t at time t-1 based on the left image (
Figure 112009055805118-PAT00036
) Is estimated (S302). Estimated binocular prediction (
Figure 112009055805118-PAT00037
) And the corresponding points of time t (
Figure 112009055805118-PAT00038
) Is provided to the measured value updater 120.

그리고 나서, 측정 값 업데이트부(120)는 시간 업데이트부(130)로부터 제공 받은 양안차 예측 값(

Figure 112009055805118-PAT00039
)과 시간 t의 대응점들(
Figure 112009055805118-PAT00040
) 및 좌우 카메라(100, 110)로부터 제공받은 좌우측 입력 영상(fl, fr)을 이용하여 시간 t의 양안차와 광 흐름을 순차적으로 계산한다. 즉, 측정 값 업데이트부(120)의 양안차 업데이트 모듈(122)은 시간 t의 좌우측 입력 영상의 전체 픽셀x에 대해, 양안차 예측 값((
Figure 112009055805118-PAT00041
) 및 좌우측 입력 영상(fl, fr)을 이용해 시간 t의 좌우측 입력 영상에 대한 양안차(
Figure 112009055805118-PAT00042
)를 결정(S304)한다. 즉, 상기의 수학식 5에 기재된 에너지 함수를 최소화하는 양안차를 찾아 레지스터(130)에 저장한다.Then, the measured value updating unit 120 is the binocular difference prediction value provided from the time update unit 130 (
Figure 112009055805118-PAT00039
) And the corresponding points of time t (
Figure 112009055805118-PAT00040
) And the left and right input images f l and f r provided from the left and right cameras 100 and 110 to sequentially calculate the binocular difference and the light flow at time t. That is, the binocular difference updating module 122 of the measured value updater 120 may use the binocular difference prediction value ((
Figure 112009055805118-PAT00041
) And the left and right input images (f l , f r )
Figure 112009055805118-PAT00042
) Is determined (S304). That is, the binocular difference that minimizes the energy function described in Equation 5 above is found and stored in the register 130.

상기의 수학식 5에 기재된 에너지 함수를 이용하여 최소화 하는 양안차 (

Figure 112009055805118-PAT00043
)를 찾는 방법은 기존의 스테레오 매칭 기법 belief propagation(BP) 또는 dynamic programing(DP)을 이용해 찾는다.Binocular difference minimized by using the energy function described in Equation (5)
Figure 112009055805118-PAT00043
) Can be found using conventional stereo matching techniques belief propagation (BP) or dynamic programming (DP).

그런 다음, 광 흐름 업데이트 모듈(124)은 상기의 수학식 6과 7을 이용하여 시간 t에서의 광 흐름을 계산(S306)한 후 이를 레지스터(130)에 저장한다.Then, the light flow update module 124 calculates the light flow at time t using Equations 6 and 7 (S306) and stores it in the register 130.

따라서, 레지스터(130)에는 계산된 부모노드 및 광흐름, 양안차 값들이 저장되며, 이러한 값들은 시간 t 프레임에서 결과값이 된다. Accordingly, the calculated values of the parent node, the light flow, and the binocular difference are stored in the register 130, and these values are the result of the time t frame.

본 발명의 실시 예에서는 양안차와 광 흐름을 순차적으로 계산하는 것으로 예를 들어 설명하였지만, 동시에 계산하는 것도 가능하며, 이에 대한 설명은 아래와 같다.In the exemplary embodiment of the present invention, the binocular difference and the light flow are sequentially described as an example, but the calculation may be performed at the same time.

먼저, 시간 t와 t-1에서 주어진 좌우 입력 영상(fl, fr)에 대해, 아래의 수 학식 10과 같이 전체 x0|0에 대해 초기화를 수행한다.First, the left and right input images f l and f r given at times t and t-1 are initialized for the entire x 0 | 0 as shown in Equation 10 below.

Figure 112009055805118-PAT00044
Figure 112009055805118-PAT00044

상기의 S202와 같이 시간 업데이트 과정을 통해 시간 t-1의 모션(

Figure 112009055805118-PAT00045
)으로부터 시간 t의 대응점들
Figure 112009055805118-PAT00046
을 추정함과 더불어 좌측 영상을 기준으로 시간 t-1에서 시간 t의 양안차 예측 값(
Figure 112009055805118-PAT00047
)을 추정한다. Motion of time t-1 through time update process as in S202 above (
Figure 112009055805118-PAT00045
Correspondences of time t from
Figure 112009055805118-PAT00046
In addition to estimating, the binocular difference prediction value of time t at time t-1 based on the left image (
Figure 112009055805118-PAT00047
Estimate).

그런 다음, 측정 값 업데이트부(130)는 아래의 수학식 11의 에너지 함수를 최소화하는 값들로부터 동시에 양안차 및 광 흐름 값을 얻은 후에 이를 레지스터(140)에 저장한다.Then, the measured value updater 130 obtains the binocular difference and the light flow values simultaneously from the values that minimize the energy function of Equation 11 below and stores them in the register 140.

Figure 112009055805118-PAT00048
Figure 112009055805118-PAT00048

Figure 112009055805118-PAT00049
Figure 112009055805118-PAT00049

상기의 수학식 11에서

Figure 112009055805118-PAT00050
은 어떤 픽셀(x)의 이웃 픽셀(x')에 대한 좌, 우 영상의 밝기(intensity) 차이 값을 의미하고,
Figure 112009055805118-PAT00051
은 좌측 영상을 기준으로 동일 라인(y축)상에 존재하는 좌, 우 영상의 픽셀들의 차를 최소화하는 양안차 d를 찾는 것을 의미하며,
Figure 112009055805118-PAT00052
은 시간 t-1프레임에서 예측, 추정한 시간 t에서의 양안차 예측 값
Figure 112009055805118-PAT00053
과 시간 t에서 선택할 수 있는 양안차의 차를 최소화 하는 양안차 d를 찾고자 하는 것을 의미한다. 이를 통해 시간 t에서의 양안차(d)와 좌우측 입력 영상에 대한 광 흐름(
Figure 112009055805118-PAT00054
)을 산출할 수 있다.In Equation 11 above
Figure 112009055805118-PAT00050
Denotes an intensity difference value of the left and right images with respect to the neighboring pixel x 'of a certain pixel x,
Figure 112009055805118-PAT00051
Means the binocular difference d that minimizes the difference between the pixels of the left and right images existing on the same line (y-axis) based on the left image.
Figure 112009055805118-PAT00052
Is the predicted binocular difference at time t-1
Figure 112009055805118-PAT00053
It means that we want to find binocular difference d that minimizes the difference of binocular difference that can be selected at time and t. This allows the light flow for binocular difference (d) and left and right input images at time t (
Figure 112009055805118-PAT00054
) Can be calculated.

본 발명의 실시 예에 따르면, 스테레오 매칭, 광 흐름의 대응점들의 후보 값들을 추정하고, 실제 영상 프레임과 후보 값을 이용하여 실제 정확한 대응점들을 계산함으로써, 광 흐름 및 양안차의 검색 범위를 효과적으로 줄일 수 있을 뿐만 아니라 연산 속도 및 정확도를 향상시킬 수 있다.According to an embodiment of the present invention, by estimating candidate values of corresponding points of stereo matching and light flow, and calculating actual correct correspondence points using actual image frames and candidate values, the search range of light flow and binocular difference can be effectively reduced. Not only that, but it also improves computation speed and accuracy.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 예를 들어 당업자는 각 구성요소의 재질, 크기 등을 적용 분야에 따라 변경하거나, 개시된 실시형태들을 조합 또는 치환하여 본 발명의 실시예에 명확하게 개시되지 않은 형태로 실시할 수 있으나, 이 역시 본 발명의 범위를 벗어나지 않는 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것으로 한정적인 것으로 이해해서는 안 되며, 이러한 변형된 실시예들은 본 발명의 특허청구범위에 기재된 기술사상에 포함된다고 하여야 할 것이다.Although the embodiments of the present invention have been described above with reference to the accompanying drawings, those skilled in the art to which the present invention pertains may implement the present invention in other specific forms without changing the technical spirit or essential features thereof. I can understand that. For example, those skilled in the art can change the material, size, etc. of each component according to the application field, or combine or replace the disclosed embodiments in a form that is not clearly disclosed in the embodiments of the present invention, but this also It does not depart from the scope of the invention. Therefore, the above-described embodiments are to be considered in all respects as illustrative and not restrictive, and such modified embodiments should be included in the technical spirit described in the claims of the present invention.

도 1은 본 발명의 실시 예에 따른 광 흐름과 스테레오 매칭 기술을 이용한 3차원 구조 추정 장치를 도시한 블록도이며,1 is a block diagram illustrating an apparatus for estimating a 3D structure using a light flow and stereo matching technology according to an exemplary embodiment of the present invention.

도 2는 본 발명에 따른 광 흐름과 양안차 사이의 관계도를 도시한 도면이며,2 is a view showing a relationship between the light flow and binocular car according to the present invention,

도 3은 본 발명의 실시 예에 따른 좌우 입력 영상에 대한 양안차와 광 흐름을 계산하는 과정을 도시한 흐름도이다.3 is a flowchart illustrating a process of calculating binocular difference and light flow for left and right input images according to an exemplary embodiment of the present invention.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>

100 : 좌측 카메라 110 : 우측 카메라100: left camera 110: right camera

120 : 측정 값 업데이트부 130 : 시간 업데이트부120: measured value updating unit 130: time updating unit

140 : 레지스터140: register

Claims (11)

시간 t에서 입력되는 좌우측 입력 영상의 부모 노드(t-1)에 대한 양안차와 광 흐름이 저장되어 있는 레지스터와,A register which stores binocular difference and light flow for the parent node (t-1) of the left and right input images input at time t, 상기 부모 노드에서 상기 시간 t의 좌우측 입력 영상에서 각각 추정되는 대응점, 좌측 영상을 기준으로 상기 부모 노드에서 추정된 상기 시간 t의 양안차 예측 값 및 상기 부모 노드의 좌우측 각 영상의 광 흐름 값을 계산하는 시간 업데이트부와,The binocular difference prediction value of the time t estimated from the parent node and the light flow value of each of the left and right images of the parent node are calculated based on a corresponding point estimated from the left and right input images of the time t at the parent node, and a left image. With time update section to say, 상기 시간 업데이트부에서 계산된 상기 부모 노드에서의 광 흐름 값, 양안차 예측 값 및 대응점들을 이용하여 상기 좌우측 입력 영상에 대한 양안차와 광 흐름을 계산하여 상기 레지스터를 업데이트시키는 측정 값 업데이트부A measured value updater configured to update the register by calculating the binocular difference and the light flow of the left and right input images using the light flow value, the binocular difference prediction value, and the corresponding points calculated by the time updater 를 포함하는 광 흐름과 스테레오 매칭을 융합한 3차원 구조 추정 장치.3D structure estimation apparatus that fuses the light flow and stereo matching comprising a. 제 1 항에 있어서,The method of claim 1, 상기 시간 업데이트부는,The time update unit, 아래의 수학식에 의해 상기 부모 노드에서의 광 흐름 값, 양안차 예측 값 및 대응점들을 계산하는 Computing light flow value, binocular difference prediction value and corresponding points in the parent node by the following equation
Figure 112009055805118-PAT00055
(
Figure 112009055805118-PAT00056
는 시간 t-1의 모션(
Figure 112009055805118-PAT00057
)으로부 터 추정된 시간 t의 좌우 영상에서 대응점,
Figure 112009055805118-PAT00058
는 좌측 영상을 기준으로 시간 t-1에서 추정된 시간 t의 양안차 예측 값,
Figure 112009055805118-PAT00059
는 시간 t-1에서 좌우측 영상 각각에서 계산된 시간 t-1 프레임의 광 흐름 값)
Figure 112009055805118-PAT00055
(
Figure 112009055805118-PAT00056
Is the motion at time t-1 (
Figure 112009055805118-PAT00057
In the left and right images of time t estimated from
Figure 112009055805118-PAT00058
Is a binocular difference prediction value of time t estimated at time t-1 based on the left image,
Figure 112009055805118-PAT00059
Is the light flow value of the time t-1 frame calculated from each of the left and right images at time t-1) 광 흐름과 스테레오 매칭을 융합한 3차원 구조 추정 장치.Three-dimensional structure estimation device that combines light flow and stereo matching. 제 1 항에 있어서,The method of claim 1, 상기 측정 값 업데이트부는,The measured value updating unit, 상기 입력 좌측 영상을 기준으로 동일 라인 상에 존재하는 상기 좌우측 입력 영상의 픽셀들의 차를 최소화하는 양안차, 상기 양안차 예측 값과 상기 시간 t에서 선택할 수 있는 양안차간의 차를 최소화하는 양안차 및 임의의 픽셀에서 이전 픽셀로의 불연속 패널티를 토대로 상기 시간 t의 양안차를 계산하는 양안차 업데이트 모듈과,A binocular difference that minimizes a difference between pixels of the left and right input images existing on the same line based on the input left image, a binocular difference that minimizes a difference between the binocular difference prediction value and a binocular difference selectable at the time t; A binocular vehicle update module that calculates the binocular difference of time t based on a discrete penalty from any pixel to a previous pixel, 상기 시간 t의 좌우측 입력 영상에서 특정 픽셀의 이웃 픽셀에 대한 좌우측 영상의 밝기 차이 값, 상기 시간 t에서 상기 특정 픽셀의 양안차와 상기 시간 업데이트부에서 추정된 상기 양안차 예측 값의 차가 최소가 되는 픽셀 위치를 이용하여 상기 시간 t의 광 흐름을 계산하는 광 흐름 업데이트 모듈을 포함하는 In the left and right input images of the time t, the difference in brightness of the left and right images of the neighboring pixels of the specific pixel, and the difference between the binocular difference of the specific pixel and the binocular prediction predicted by the time updater at the time t are minimum. A light flow update module for calculating the light flow at time t using pixel position; 광 흐름과 스테레오 매칭을 융합한 3차원 구조 추정 장치.Three-dimensional structure estimation device that combines light flow and stereo matching. 제 3 항에 있어서,The method of claim 3, wherein 상기 양안차 업데이트 모듈은,The binocular vehicle update module, 아래의 수학식의 에너지 함수를 최소화하는 양안차를 계산하여 상기 시간 t의 양안차를 계산하는 Compute binocular difference to minimize the energy function of the following equation to calculate the binocular difference of the time t
Figure 112009055805118-PAT00060
Figure 112009055805118-PAT00060
 (
Figure 112009055805118-PAT00061
은 좌측 영상을 기준으로 동일 라인(y축)상에 존재하는 좌, 우 영상의 픽셀들의 차를 최소화 하는 양안차 d를 찾는 것을 의미하며,
Figure 112009055805118-PAT00062
은 시간 t-1의 영상에서 예측, 추정한 시간 t에서의 양안차 예측 값(
Figure 112009055805118-PAT00063
)과 시간 t에서 선택할 수 있는 양안차의 차를 최소화하는 양안차 d)(
Figure 112009055805118-PAT00061
Means the binocular difference d that minimizes the difference between the pixels of the left and right images on the same line (y-axis) based on the left image.
Figure 112009055805118-PAT00062
Is a binocular difference prediction value at time t
Figure 112009055805118-PAT00063
Binocular car, minimizing the difference between 광 흐름과 스테레오 매칭을 융합한 3차원 구조 추정 장치.Three-dimensional structure estimation device that combines light flow and stereo matching. 제 4 항에 있어서,The method of claim 4, wherein 상기 양안차 업데이트 모듈은, BP 또는 DP의 스테레오 매칭 기법을 이용하여 상기 에너지 함수를 최소화하는 양안차를 찾는The binocular vehicle update module finds a binocular vehicle that minimizes the energy function using a stereo matching technique of BP or DP. 광 흐름과 스테레오 매칭을 융합한 3차원 구조 추정 장치.Three-dimensional structure estimation device that combines light flow and stereo matching. 제 3 항에 있어서,The method of claim 3, wherein 상기 광 흐름 업데이트 모듈은,The optical flow update module, 아래의 수학식의 에너지 함수를 최소화하는 픽셀의 위치를 찾고, 상기 찾은 픽셀에서의 상기 부모 노드의 프레임과 상기 시간 t의 프레임의 위치 차를 산출하여 상기 시간 t의 광 흐름 값을 산출하는 Finding the position of the pixel to minimize the energy function of the following equation, calculates the position difference between the frame of the parent node and the frame of the time t in the found pixel to calculate the light flow value of the time t
Figure 112009055805118-PAT00064
Figure 112009055805118-PAT00064
 (
Figure 112009055805118-PAT00065
은 어떤 픽셀(x)의 이웃 픽셀(x')에 대한 좌, 우 영상의 밝기(intensity) 차이 값,
Figure 112009055805118-PAT00066
은 시간 t에서 어떤 픽셀(x)의 양안차
Figure 112009055805118-PAT00067
와 양안차 예측값((
Figure 112009055805118-PAT00068
))의 차가 최소가 되는 픽셀위치(x'))(
Figure 112009055805118-PAT00065
Is an intensity difference value of the left and right images with respect to a neighboring pixel x 'of a pixel x,
Figure 112009055805118-PAT00066
Is the binocular difference of any pixel (x) at time t
Figure 112009055805118-PAT00067
And binocular car predictions ((
Figure 112009055805118-PAT00068
Pixel position where the difference between)) is the minimum (x ')) 광 흐름과 스테레오 매칭을 융합한 3차원 구조 추정 장치.Three-dimensional structure estimation device that combines light flow and stereo matching. 기 저장된 시간 t-1의 광 흐름으로부터 시간 t의 좌우측 입력 영상의 대응점들을 추정하는 단계와,Estimating corresponding points of the left and right input images of time t from the pre-stored light flow of time t-1; 상기 추정된 대응점들로부터 상기 시간 t의 추정된 양안차 예측 값과 상기 시간 t-1에서의 광 흐름을 추정하는 단계와,Estimating the estimated binocular difference prediction value of the time t and the light flow at the time t-1 from the estimated corresponding points; 상기 추정된 시간 t-1에서의 광 흐름, 상기 양안차 예측 값 및 상기 추정된 대응점을 이용하여 상기 시간 t의 양안차와 광 흐름 값을 산출하는 단계를 포함하는 Calculating the binocular difference and the light flow value of the time t using the light flow at the estimated time t-1, the binocular difference prediction value, and the estimated corresponding point. 광 흐름과 스테레오 매칭을 융합한 3차원 구조 추정 방법.A three-dimensional structure estimation method incorporating light flow and stereo matching. 제 7 항에 있어서,The method of claim 7, wherein 상기 시간 t의 양안차 예측 값은, 상기 좌우측 입력 프레임에서 상기 좌측 입력 영상을 기준으로 상기 시간 t-1에서 추정된 상기 시간 t의 양안차 예측 값인The binocular difference prediction value of the time t is a binocular difference prediction value of the time t estimated at the time t-1 based on the left input image in the left and right input frames. 광 흐름과 스테레오 매칭을 융합한 3차원 구조 추정 방법.A three-dimensional structure estimation method incorporating light flow and stereo matching. 제 7 항에 있어서,The method of claim 7, wherein 상기 시간 t의 양안차와 광 흐름 값을 산출하는 단계는,Computing the binocular difference and the light flow value of the time t, 상기 좌측 입력 영상을 기준으로 동일 라인 상에 존재하는 상기 좌우 입력 영상의 픽셀들간 차를 최소화하는 제 1 양안차를 찾는 단계와,Finding a first binocular difference that minimizes a difference between pixels of the left and right input images existing on the same line based on the left input image; 상기 양안차 예측 값과 상기 시간 t에서 선택할 수 있는 양안차의 차를 최소화할 수 있는 제 2 양안차를 찾는 단계와,Finding a second binocular difference capable of minimizing the difference between the binocular difference prediction value and the binocular difference selectable at the time t; 상기 좌측 또는 우측 입력 영상 프레임의 특정 픽셀에서 이웃하는 픽셀으로의 불연속 패널티 값을 산출하는 단계와,Calculating a discrete penalty value from a specific pixel of the left or right input image frame to a neighboring pixel; 상기 제 1 양안차, 제 2 양안차 및 상기 패널티 값으로 구성된 에너지 함수를 최소화하는 값을 상기 시간 t의 양안차로 산출하는 단계를 포함하는 Calculating a value for minimizing an energy function composed of the first binocular difference, the second binocular difference, and the penalty value as the binocular difference of time t; 광 흐름과 스테레오 매칭을 융합한 3차원 구조 추정 방법.A three-dimensional structure estimation method incorporating light flow and stereo matching. 제 7 항에 있어서,The method of claim 7, wherein 상기 시간 t의 양안차와 광 흐름 값을 산출하는 단계는,Computing the binocular difference and the light flow value of the time t, 상기 좌측 또는 우측 입력 영상에서 특정 픽셀의 이웃 픽셀에 대한 좌우 영상의 밝기 차이 값을 산출하는 단계와,Calculating brightness difference values of left and right images of neighboring pixels of a specific pixel in the left or right input image; 상기 시간 t에서 상기 특정 픽셀의 양안차와 상기 양안차 예측 값의 차가 최소가 되는 픽셀의 위치를 찾는 단계와,Finding a position of a pixel at which the difference between the binocular difference of the specific pixel and the binocular difference prediction value is minimum at the time t; 상기 밝기 차이 값과 상기 픽셀의 위치를 에너지 함수로 하여 상기 에너지 함수를 최소화하는 값을 상기 시간 t의 광 흐름 값으로 산출하는 단계를 포함하는 Calculating a value of minimizing the energy function as the light flow value at time t by using the brightness difference value and the position of the pixel as an energy function. 광 흐름과 스테레오 매칭을 융합한 3차원 구조 추정 방법.A three-dimensional structure estimation method incorporating light flow and stereo matching. 제 7 항에 있어서,The method of claim 7, wherein 상기 시간 t의 양안차와 광 흐름 값을 산출하는 단계는,Computing the binocular difference and the light flow value of the time t, 아래의 수학식으로 표현된 에너지 함수를 최소화하는 값들로부터 상기 시간 t의 양안차와 광 흐름 값을 산출하는 The binocular difference and the light flow value of the time t are calculated from the values that minimize the energy function represented by the following equation.
Figure 112009055805118-PAT00069
Figure 112009055805118-PAT00069
Figure 112009055805118-PAT00070
Figure 112009055805118-PAT00070
 (
Figure 112009055805118-PAT00071
은 어떤 픽셀(x)의 이웃 픽셀(x')에 대한 좌, 우 영상의 밝기(intensity) 차이 값,
Figure 112009055805118-PAT00072
은 좌측 영상을 기준으로 동일 라인(y축)상에 존재하는 좌, 우 영상의 픽셀들의 차를 최소화 하는 양안차 d,
Figure 112009055805118-PAT00073
은 양안차 예측 값
Figure 112009055805118-PAT00074
과 시간 t에서 선택할 수 있는 양안차의 차를 최소화 하는 양안차 d)(
Figure 112009055805118-PAT00071
Is an intensity difference value of the left and right images with respect to a neighboring pixel x 'of a pixel x,
Figure 112009055805118-PAT00072
Is binocular difference d, which minimizes the difference between the pixels of the left and right images on the same line (y-axis) based on the left image.
Figure 112009055805118-PAT00073
Is binocular car prediction value
Figure 112009055805118-PAT00074
Binocular car minimizing the difference between binocular car selectable at 광 흐름과 스테레오 매칭을 융합한 3차원 구조 추정 방법.A three-dimensional structure estimation method incorporating light flow and stereo matching.
KR1020090085439A 2009-09-10 2009-09-10 Apparatus and method for 3d estimating fusing optical flow and stereo matching KR101027004B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090085439A KR101027004B1 (en) 2009-09-10 2009-09-10 Apparatus and method for 3d estimating fusing optical flow and stereo matching

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090085439A KR101027004B1 (en) 2009-09-10 2009-09-10 Apparatus and method for 3d estimating fusing optical flow and stereo matching

Publications (2)

Publication Number Publication Date
KR20110027373A true KR20110027373A (en) 2011-03-16
KR101027004B1 KR101027004B1 (en) 2011-04-11

Family

ID=43934195

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090085439A KR101027004B1 (en) 2009-09-10 2009-09-10 Apparatus and method for 3d estimating fusing optical flow and stereo matching

Country Status (1)

Country Link
KR (1) KR101027004B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9159154B2 (en) 2012-01-18 2015-10-13 Samsung Electronics Co., Ltd. Image processing method and apparatus for generating disparity value
CN112991419A (en) * 2021-03-09 2021-06-18 Oppo广东移动通信有限公司 Parallax data generation method and device, computer equipment and storage medium

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100421208B1 (en) * 1996-10-30 2004-05-07 삼성전자주식회사 Wethod for synthesizing three-dimensional image

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9159154B2 (en) 2012-01-18 2015-10-13 Samsung Electronics Co., Ltd. Image processing method and apparatus for generating disparity value
CN112991419A (en) * 2021-03-09 2021-06-18 Oppo广东移动通信有限公司 Parallax data generation method and device, computer equipment and storage medium
CN112991419B (en) * 2021-03-09 2023-11-14 Oppo广东移动通信有限公司 Parallax data generation method, parallax data generation device, computer equipment and storage medium

Also Published As

Publication number Publication date
KR101027004B1 (en) 2011-04-11

Similar Documents

Publication Publication Date Title
CN108961327B (en) Monocular depth estimation method and device, equipment and storage medium thereof
CA3035298C (en) Predicting depth from image data using a statistical model
CN110163909B (en) Method, apparatus and storage medium for obtaining device pose
US20190122378A1 (en) Apparatuses and methods for machine vision systems including creation of a point cloud model and/or three dimensional model based on multiple images from different perspectives and combination of depth cues from camera motion and defocus with various applications including navigation systems, and pattern matching systems as well as estimating relative blur between images for use in depth from defocus or autofocusing applications
US10574967B2 (en) Autonomous performance of an operation on an object using a generated dense 3D model of the object
EP2698766B1 (en) Motion estimation device, depth estimation device, and motion estimation method
KR100720722B1 (en) Intermediate vector interpolation method and 3D display apparatus
WO2021237471A1 (en) Depth-guided video inpainting for autonomous driving
WO2015025897A1 (en) Object estimation device and object estimation method
JP2023510198A (en) Method and apparatus for detecting vehicle attitude
CN111047634B (en) Scene depth determination method, device, equipment and storage medium
JP2009133753A (en) Image processing device and its method
GB2552058A (en) Method and device for processing image data and driver assistance system for a vehicle
CN112233148A (en) Method and apparatus for estimating motion of object, and computer storage medium
Wang et al. Real-time dense 3d mapping of underwater environments
JP2008304202A (en) Method and apparatus for distance image generation and program
JP6188860B1 (en) Object detection device
JP4102386B2 (en) 3D information restoration device
KR20110027373A (en) Apparatus and method for 3d estimating fusing optical flow and stereo matching
Jing et al. Match-Stereo-Videos: Bidirectional Alignment for Consistent Dynamic Stereo Matching
CN107845108B (en) Optical flow value calculation method and device and electronic equipment
Pagel Extrinsic self-calibration of multiple cameras with non-overlapping views in vehicles
WO2021245972A1 (en) Computation device and parallax calculation method
CN105447885A (en) Parallax computation method and device
Schuster et al. MonoComb: A sparse-to-dense combination approach for monocular scene flow

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131231

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee