KR101344943B1 - System for real-time stereo matching - Google Patents

System for real-time stereo matching Download PDF

Info

Publication number
KR101344943B1
KR101344943B1 KR1020120128809A KR20120128809A KR101344943B1 KR 101344943 B1 KR101344943 B1 KR 101344943B1 KR 1020120128809 A KR1020120128809 A KR 1020120128809A KR 20120128809 A KR20120128809 A KR 20120128809A KR 101344943 B1 KR101344943 B1 KR 101344943B1
Authority
KR
South Korea
Prior art keywords
displacement
depth map
displacement range
value
offset
Prior art date
Application number
KR1020120128809A
Other languages
Korean (ko)
Other versions
KR20130058611A (en
Inventor
문병인
옥승호
배경렬
손현식
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to US13/681,455 priority Critical patent/US9014463B2/en
Publication of KR20130058611A publication Critical patent/KR20130058611A/en
Application granted granted Critical
Publication of KR101344943B1 publication Critical patent/KR101344943B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence

Abstract

본 발명은 실시간 스테레오 정합 시스템에 관한 것으로서, 보다 상세하게는 스테레오 정합에 사용되는 변위 범위(disparity range)를 이전 프레임 영상의 스테레오 정합 결과를 통해 점진적으로 최적화 시킴으로써 불필요한 정합 연산을 줄여 스테레오 정합 속도 및 정합율을 향상시키는 스테레오 정합 시스템에 관한 것이다.The present invention relates to a real-time stereo matching system, and more particularly, by gradually optimizing the disparity range used for stereo matching through the stereo matching result of the previous frame image, thereby reducing unnecessary matching operations and reducing the stereo matching speed and matching. A stereo matching system improves the rate.

Description

실시간 스테레오 정합 시스템{SYSTEM FOR REAL-TIME STEREO MATCHING}Real Time Stereo Matching System {SYSTEM FOR REAL-TIME STEREO MATCHING}

본 발명은 실시간 스테레오 정합 시스템에 관한 것으로서, 보다 상세하게는 스테레오 정합에 사용되는 변위 범위(disparity range)를 이전 프레임 영상의 스테레오 정합 결과를 통해 점진적으로 최적화 시킴으로써 불필요한 정합 연산을 줄여 스테레오 정합 속도 및 정합율을 향상시키는 스테레오 정합 시스템에 관한 것이다.The present invention relates to a real-time stereo matching system, and more particularly, by gradually optimizing the disparity range used for stereo matching through the stereo matching result of the previous frame image, thereby reducing unnecessary matching operations and reducing the stereo matching speed and matching. A stereo matching system improves the rate.

스테레오 정합 (stereo matching)은 동일 시간에 서로 다른 위치에서 획득한 둘 이상 2차원 영상으로부터 3차원 정보를 획득하는 기술로써, 좌/우 두 영상 내에서 동일 지점에 해당하는 대응점을 찾아 두 대응점간의 시차 (disparity) 정보를 획득함으로써 영상의 3차원 깊이(depth) 정보를 획득하는 일련의 대응점 문제(correspondence problem) 이다. Stereo matching is a technique of acquiring three-dimensional information from two or more two-dimensional images acquired at different positions at the same time, and finding a corresponding point corresponding to the same point in two left and right images and disparity between the two corresponding points. It is a series of correspondence problems for obtaining three-dimensional depth information of an image by acquiring disparity information.

이러한 대응점 문제를 해결하는 방법으로는 크게 특징 기반 정합법(feature-based matching) 및 영역 기반 정합법(area-based matching)이 있다. 특징 기반 정합법의 경우 꼭지점 및 경계선 등 영상의 특징 영역에서만 정합을 함으로써 두 영상에서의 특징 점을 찾을 수 있지만 특징 영역을 제외한 나머지 영역의 정보는 제공을 하지 못하는 단점이 있다. 영역 기반 정합법은 좌/우 영상의 동일 평행선 상 일정 크기의 윈도우 영역 내부 상관도를 측정하여 영상 전체의 대응점을 찾을 수 있기 때문에 조밀한 3차원 정보를 획득 할 수 있어 많이 사용되고 있다.There are two methods for solving such a problem, feature-based matching and area-based matching. In the feature-based matching method, the feature points of the two images can be found by matching only the feature regions of the image such as vertices and boundary lines, but the information of the remaining regions except the feature region cannot be provided. The area-based matching method is widely used because it is possible to obtain dense three-dimensional information because the correspondence point of the entire image can be found by measuring the correlation between the window area of a certain size on the same parallel line of the left and right images.

도 1은 좌/우 영상에서 일정한 윈도우 크기 및 일정한 크기의 변위 범위(disparity range)를 사용하는 기존의 영역 기반 정합법을 나타낸다. 도 1을 통해 예를 나타내면, 좌 영상의 A 지점에 대한 우 영상에서의 대응점을 찾기 위해 를 일정 크기의 변위 범위인 B 지점에서부터 B' 지점까지의 범위 내에서 동일 평행선 상 일정 크기의 윈도우 영역 내부의 상관도가 가장 높은 지점을 찾는다. 그리고 또 다른 예로 C 지점에 대한 우 영상에서의 대응점을 찾기 위해 D 지점에서 D' 지점까지의 일정한 변위 범위 내에서 상관도가 가장 높은 지점을 찾는다. 이러한 좌/우 영상 내 일정 크기의 윈도우 영역 내부 상관도를 측정하기 위한 방법으로는 SAD (sum of absolute difference), SSD (sum of squared difference), NCC (normalized correlation) 및 census transform 등 과 같은 다양한 방법이 사용된다. 하지만 이러한 기법들은 영상 전체 영역의 상관도를 측정해야 하기 때문에 윈도우의 크기가 커지고 좌/우 영상의 동일 평행선상 상관도를 측정하기 위한 변위 범위가 길어질수록 대응점을 찾기 위한 연산량이 급격히 증가하고 3차원 정보를 획득하는데 많은 시간이 소모되는 문제를 가지고 있다.FIG. 1 illustrates a conventional region-based matching method using a constant window size and a constant size range of disparity in left and right images. Referring to FIG. 1, in order to find a corresponding point in the right image with respect to the A point of the left image, the inside of the window area of the same size on the same parallel within the range from the point B to the point B ', which is a certain displacement range Find the point with the highest correlation. As another example, to find the corresponding point in the right image with respect to the C point, the highest correlation is found within the constant displacement range from the D point to the D 'point. As a method for measuring the internal correlation of a certain size of the window area in the left and right images, various methods such as sum of absolute difference (SAD), sum of squared difference (SSD), normalized correlation (NCC), and census transform, etc. This is used. However, since these methods need to measure the correlation of the whole image area, as the size of the window increases and the displacement range for measuring the parallel correlation between the left and right images increases, the computational amount to find the corresponding point increases rapidly and three-dimensional. There is a problem that takes a lot of time to obtain information.

종래의 영역 기반 스테레오 정합법에서 많은 연산량 줄이고, 정합 시간을 줄이기 위한 기존의 방법으로는 윈도우 영역 내부 상관도 측정 시 중복되는 연산을 제거하는 방법과, 상관도를 측정하기 위한 탐색 영역의 변위 범위를 미리 예측하는 방법 등이 사용되었다.
In the conventional domain-based stereo matching method, conventional methods for reducing a large amount of computation and reducing the matching time include a method of eliminating redundant operations when measuring the correlation within a window region, and a displacement range of a search region for measuring correlation. Prediction methods are used.

대한민국 공개특허 제 10-2011-0087303호Republic of Korea Patent Publication No. 10-2011-0087303

본 발명이 이루고자 하는 과제는 좌/우 영상의 동일 평행선상 상관도를 측정하기 위한 탐색 영역의 변위 범위(disparity range)를 이전 프레임 영상의 정합 결과를 통해 점진적으로 최적화 시킴으로써 정합에 사용되는 불필요한 연산을 줄여 정합속도 및 정합율을 높이기 위한 스테레오 정합 시스템을 제공하는 데 있다.The problem to be solved by the present invention is to optimize the disparity range of the search region for measuring the parallelism correlation of left and right images through the matching result of the previous frame image, thereby eliminating unnecessary computations used for matching. In other words, the present invention provides a stereo matching system for increasing the matching speed and matching rate.

특히, 본 발명은 이전 프레임 영상의 스테레오 정합 결과를 통해 현재 스테레오 정합에 사용되는 변위 범위를 설정할 때, 연속된 영상 데이터를 정합하여 생성된 움직임 벡터 정보를 추가적으로 참조함으로써 동적 환경에서의 스테레오 정합율을 향상시킬 수 있는 스테레오 정합 시스템을 제공하는데 있다.
In particular, when the displacement range used for the current stereo matching is set through the stereo matching result of the previous frame image, the stereo matching ratio in the dynamic environment is further determined by additionally referring to the motion vector information generated by matching the continuous image data. It is to provide a stereo matching system that can be improved.

본 발명의 일 측면에 따른 스테레오 정합 시스템은 N 프레임 영상의 스테레오 정합 결과로부터 깊이 맵 정보를 생성하는 깊이 맵 생성부; 상기 깊이 맵 정보를 이용하여 변위 범위 정보를 생성하는 변위 범위 제어부; 및 상기 변위 범위 정보를 이용하여 N+1 프레임 영상의 스테레오 정합 연산을 수행하는 스테레오 정합부;를 포함한다.Stereo matching system according to an aspect of the present invention includes a depth map generator for generating depth map information from the stereo matching result of the N frame image; A displacement range controller configured to generate displacement range information using the depth map information; And a stereo matching unit configured to perform a stereo matching operation on the N + 1 frame image by using the displacement range information.

이때, 상기 변위 범위 제어부는, 상기 깊이 맵 정보를 이용하여 일련의 윈도우 기반 필터링 연산을 수행할 수 있다.In this case, the displacement range controller may perform a series of window-based filtering operations using the depth map information.

본 발명에 적용가능한 실시예에서 상기 변위 범위 제어부는, 상기 깊이 맵 정보를 이용하여 일련의 필터링 연산을 수행 후 이를 통해 기준 변위 값을 설정하는 기준 변위 설정부; 및 상기 깊이 맵 정보를 이용하여 일련의 필터링 연산을 수행 후 이를 통해 오프셋 변위 값을 설정하는 오프셋 변위 설정부;를 포함할 수 있다.In an embodiment applicable to the present invention, the displacement range controller may include: a reference displacement setting unit configured to set a reference displacement value after performing a series of filtering operations using the depth map information; And an offset displacement setting unit configured to set an offset displacement value after performing a series of filtering operations using the depth map information.

또한, 상기 변위 범위 제어부는, 초기 설정된 기준 변위 범위 값을 저장하는 초기 기준 변위 범위 저장부; 및 초기 설정된 오프셋 변위 범위 값을 저장하는 초기 오프셋 변위 범위 저장부;를 더 포함할 수 있다.The displacement range controller may include an initial reference displacement range storage unit configured to store an initial reference displacement range value; And an initial offset displacement range storage unit which stores the initially set offset displacement range value.

바람직하게는, 상기 변위 범위 제어부는, 상기 깊이 맵 정보의 신뢰도 여부를 판단하는 깊이 맵 신뢰도 판단부를 더 포함할 수 있다.Preferably, the displacement range control unit may further include a depth map reliability determination unit that determines whether or not the reliability of the depth map information.

이때, 상기 변위 범위 제어부는, 상기 깊이 맵 정보의 신뢰도 값에 따라 초기 기준 변위 범위 또는 상기 기준 변위 설정부에 의해 설정된 기준 변위 값을 선택할 수 있는 제1 MUX부; 및 상기 깊이 맵 정보의 신뢰도 값에 따라 초기 오프셋 변위 범위 또는 상기 오프셋 변위 설정부에 의해 설정된 오프셋 변위 값을 선택할 수 있는 제2 MUX부를 더 포함할 수 있다.The displacement range controller may include: a first MUX unit configured to select an initial reference displacement range or a reference displacement value set by the reference displacement setting unit according to the reliability value of the depth map information; And a second MUX unit capable of selecting an initial offset displacement range or an offset displacement value set by the offset displacement setting unit according to the reliability value of the depth map information.

본 발명에 적용가능한 다른 실시예에서, N 프레임 및 N+1 프레임의 일방향 영상 정보를 이용하여 움직임 벡터 정보를 생성하는 움직임 벡터 생성부;를 더 포함하고, 상기 변위 범위 제어부는, 상기 움직임 벡터 정보를 추가적으로 이용하여 변위 범위 정보를 생성할 수 있다.In another embodiment applicable to the present invention, a motion vector generating unit for generating motion vector information using one-way image information of N frames and N + 1 frames, wherein the displacement range control unit, the motion vector information Displacement range information can be generated by additionally using.

이때, 상기 변위 범위 제어부는, 상기 깊이 맵 정보를 이용하여 일련의 윈도우 기반 필터링 연산을 수행할 수 있다.In this case, the displacement range controller may perform a series of window-based filtering operations using the depth map information.

본 발명에 적용가능한 실시예에서 상기 변위 범위 제어부는, 상기 깊이 맵 정보 및 상기 움직임 벡터 정보를 이용하여 일련의 필터링 연산을 수행 후 이를 통해 기준 변위 값을 설정하는 기준 변위 설정부; 및 상기 깊이 맵 정보를 이용하여 일련의 필터링 연산을 수행 후 이를 통해 오프셋 변위 값을 설정하는 오프셋 변위 설정부;를 포함할 수 있다.In an embodiment applicable to the present invention, the displacement range controller may include: a reference displacement setting unit configured to set a reference displacement value after performing a series of filtering operations using the depth map information and the motion vector information; And an offset displacement setting unit configured to set an offset displacement value after performing a series of filtering operations using the depth map information.

또한, 상기 변위 범위 제어부는, 초기 설정된 기준 변위 범위 값을 저장하는 초기 기준 변위 범위 저장부; 및 초기 설정된 오프셋 변위 범위 값을 저장하는 초기 오프셋 변위 범위 저장부;를 더 포함할 수 있다.The displacement range controller may include an initial reference displacement range storage unit configured to store an initial reference displacement range value; And an initial offset displacement range storage unit which stores the initially set offset displacement range value.

바람직하게는, 상기 변위 범위 제어부는, 상기 깊이 맵 정보의 신뢰도 여부를 판단하는 깊이 맵 신뢰도 판단부를 더 포함할 수 있다.Preferably, the displacement range control unit may further include a depth map reliability determination unit that determines whether or not the reliability of the depth map information.

이때, 상기 변위 범위 제어부는, 상기 깊이 맵 정보의 신뢰도 값에 따라 초기 기준 변위 범위 또는 상기 기준 변위 설정부에 의해 설정된 기준 변위 값을 선택할 수 있는 제1 MUX부; 및 상기 깊이 맵 정보의 신뢰도 값에 따라 초기 오프셋 변위 범위 또는 상기 오프셋 변위 설정부에 의해 설정된 오프셋 변위 값을 선택할 수 있는 제2 MUX부를 더 포함할 수 있다.
The displacement range controller may include: a first MUX unit configured to select an initial reference displacement range or a reference displacement value set by the reference displacement setting unit according to the reliability value of the depth map information; And a second MUX unit capable of selecting an initial offset displacement range or an offset displacement value set by the offset displacement setting unit according to the reliability value of the depth map information.

이상과 같은 본 발명에 의하면, 변위 범위를 이전 프레임 영상의 스테레오 정합 결과를 통해 점진적으로 최적화 시킴으로써, 스테레오 정합 시 불필요한 연산을 줄여 정합 속도를 높일 수 있으며, 불필요한 영역의 상관도를 측정하지 않음으로써 정합 오류를 최소화 하여 정합율을 높일 수 있다.According to the present invention as described above, by gradually optimizing the displacement range through the stereo matching result of the previous frame image, it is possible to increase the matching speed by reducing unnecessary operations during stereo matching, and to match by not measuring the correlation of unnecessary areas The error rate can be minimized to increase the matching rate.

특히, 이전 프레임 및 현재 프레임의 영상 데이터를 정합하여 생성된 움직임 벡터 정보를 추가적으로 참조함으로써, 스테레오 정합율을 보다 높게 향상시킬 수 있다.
In particular, by further referring to motion vector information generated by matching image data of a previous frame and a current frame, the stereo matching ratio may be further improved.

도 1은 좌/우 영상에서 일정한 윈도우 크기 및 일정한 크기의 변위 범위(disparity range)를 사용하는 종래의 영역 기반 정합법을 나타낸 도면,
도 2는 본 발명의 일 실시예에 따른 스테레오 정합 시스템을 나타낸 도면,
도 3은 스테레오 카메라로부터 획득된 좌/우 영상 및 이를 정합한 결과인 깊이 맵(depth map)을 나타낸 도면,
도 4는 본 발명의 일 실시예에 따른 변위 범위 제어부의 변위 범위 설정 방법을 나타낸 도면,
도 5는 본 발명의 일 실시예에 따른 스테레오 정합부의 스테레오 정합 연산을 수행하는 방법을 나타낸 도면,
도 6은 본 발명의 다른 실시예에 따른 스테레오 정합 시스템을 나타낸 도면,
도 7은 본 발명의 다른 실시예에 따른 움직임 벡터 성분의 생성 개념을 설명하기 위한 도면,
도 8은 본 발명의 다른 실시예에 따른 움직임 벡터 성분의 생성 범위를 설명하기 위한 도면,
도 9는 본 발명의 다른 실시예에 따른 움직임 벡터 성분 생성을 위한 정합 방법을 나타낸 도면, 및
도 10은 본 발명의 다른 실시예에 따른 스테레오 정합부의 스테레오 정합 연산을 수행하는 방법을 나타낸 도면이다.1 is a view showing a conventional region-based matching method using a constant window size and a constant size range of displacement in a left / right image;
2 illustrates a stereo matching system according to an embodiment of the present invention;
FIG. 3 illustrates a left / right image obtained from a stereo camera and a depth map resulting from matching the same;
4 is a view showing a displacement range setting method of the displacement range control unit according to an embodiment of the present invention;
5 is a view showing a method of performing a stereo matching operation of the stereo matching unit according to an embodiment of the present invention;
6 illustrates a stereo matching system according to another embodiment of the present invention;
7 is a view for explaining a concept of generating a motion vector component according to another embodiment of the present invention;
8 is a view for explaining a generation range of a motion vector component according to another embodiment of the present invention;
9 illustrates a matching method for generating a motion vector component according to another embodiment of the present invention; and
10 is a view showing a method of performing a stereo matching operation of the stereo matching unit according to another embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.BRIEF DESCRIPTION OF THE DRAWINGS The present invention is capable of various modifications and various embodiments, and specific embodiments are illustrated in the drawings and described in detail in the detailed description. It should be understood, however, that it is not intended to be limited to the specific embodiments of the invention but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.

이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 2는 본 발명의 일 실시예에 따른 스테레오 정합 시스템을 나타낸 도면이다.
2 is a diagram illustrating a stereo matching system according to an embodiment of the present invention.

도 2에 도시된 바와 같이, 본 발명에 적용가능한 바람직한 실시예에서 스테레오 정합 시스템은 N 프레임 영상의 스테레오 정합 결과로부터 깊이 맵 정보를 생성하는 깊이 맵 생성부(100); 상기 깊이 맵 정보를 이용하여 변위 범위 정보를 생성하는 변위 범위 제어부(200); 및 상기 변위 범위 정보를 이용하여 N+1 프레임 영상의 스테레오 정합 연산을 수행하는 스테레오 정합부(300);를 포함한다(단, N은 자연수).
As shown in FIG. 2, in a preferred embodiment applicable to the present invention, a stereo matching system includes a depth map generator 100 generating depth map information from a stereo matching result of an N frame image; A displacement range controller 200 for generating displacement range information using the depth map information; And a stereo matching unit 300 for performing a stereo matching operation on the N + 1 frame image by using the displacement range information (where N is a natural number).

깊이 맵 생성부(100)는 N 프레임 영상 데이터를 스테레오 정합하여 깊이 맵 정보를 생성한다. 본 발명에 적용가능한 실시예에서 상기 깊이 맵 생성부(100)는 좌측 및 우측 영상 데이터를 이용하여 스테레오 정합 연산을 수행하여 깊이 맵 정보를 생성할 수 있다. 상기와 같은 방법으로 생성된 깊이 맵 정보는 깊이 맵 저장부(미도시)에 저장되고, 필요한 경우 상기 깊이 맵 저장부로부터 추출하여 활용할 수 있다.
The depth map generation unit 100 generates depth map information by stereo matching N frame image data. In an embodiment applicable to the present invention, the depth map generator 100 may generate depth map information by performing a stereo matching operation using left and right image data. The depth map information generated by the above method is stored in a depth map storage (not shown), and may be extracted from the depth map storage if necessary.

변위 범위 제어부(200)는 상기 깊이 맵 생성부(100)를 통해 생성된 깊이 맵 정보를 이용하여 스테레오 정합 연산에 필요한 변위 범위 정보를 생성한다. 이때, 상기 변위 범위 제어부(200)는 상기 깊이 맵 정보를 이용하여 일련의 윈도우 기반 필터링 연산을 수행할 수 있다. 이와 같은 방법을 통해, 영상 데이터의 잡음 제거 및 데이터 저장에 필요한 메모리 크기를 줄일 수 있는 효과가 있다.
The displacement range controller 200 generates displacement range information necessary for stereo matching operation using the depth map information generated by the depth map generator 100. In this case, the displacement range controller 200 may perform a series of window-based filtering operations using the depth map information. Through this method, it is possible to reduce the memory size required for noise reduction and data storage of image data.

본 발명에 적용가능한 실시예에서 상기 변위 범위 제어부(200)는 상기 깊이 맵 정보를 이용하여 일련의 필터링 연산을 수행 후 이를 통해 기준 변위 값을 설정하는 기준 변위 설정부(210); 및 상기 깊이 맵 정보를 이용하여 일련의 필터링 연산을 수행 후 이를 통해 오프셋 변위 값을 설정하는 오프셋 변위 설정부(220);를 포함할 수 있다. 이때, 상기 기준 변위 설정부(210) 및 오프셋 변위 설정부(220)는 상기 필터링 연산을 통해 잡음 제거 및 데이터 저장에 필요한 메모리 크기를 줄일 수 있다.In the embodiment applicable to the present invention, the displacement range controller 200 includes: a reference displacement setting unit 210 for setting a reference displacement value after performing a series of filtering operations using the depth map information; And an offset displacement setting unit 220 configured to set an offset displacement value after performing a series of filtering operations using the depth map information. In this case, the reference displacement setting unit 210 and the offset displacement setting unit 220 may reduce the memory size required for noise removal and data storage through the filtering operation.

본 발명에 있어서, 기준 변위 값은, 특정 지점에 있어, 좌/우 영상간 대응점을 찾기 위한 기준 변위 크기를 나타내는 값이고, 오프셋 변위 값은, 상기 기준 변위를 중심으로 좌/우 일정 크기 만큼의 변위 오차 값을 의미한다. 즉, 본 발명에 적용가능한 실시예에서 이전 프레임 영상의 깊이 맵 정보를 통해 생성된 변위 범위 정보는 기준 변위 정보 및 오프셋 변위 정보를 포함하여 스테레오 정합 연산 시의 변위 범위를 설정할 수 있다. 보다 상세하게는 도 3을 통해 상세히 설명한다.
In the present invention, the reference displacement value is a value representing a reference displacement size for finding a corresponding point between the left and right images at a specific point, and the offset displacement value is equal to the left / right constant size around the reference displacement. The displacement error value. That is, in the embodiment applicable to the present invention, the displacement range information generated through the depth map information of the previous frame image may include the reference displacement information and the offset displacement information to set the displacement range during the stereo matching operation. More specifically, it will be described in detail with reference to FIG. 3.

도 3은 스테레오 카메라로부터 획득된 좌/우 영상 및 이를 정합한 결과인 깊이 맵(depth map)을 나타낸 도면이다.
FIG. 3 is a diagram illustrating a left / right image obtained from a stereo camera and a depth map resulting from matching the same.

도 3에 도시된 바와 같이, A, B 및 C 지점의 특징을 살펴보면 거리가 가장 먼 B 지점의 경우 좌/우 영상에서의 시차 차이가 거의 없는 반면, 가장 가까운 C 지점의 경우 좌/우 영상에서의 시차가 가장 큰 것을 알 수 있다. 그리고 정합 결과인 깊이 맵을 살펴 보면 거리가 가장 먼 B 지점, 즉 시차가 작은 부분은 가장 어두운 값을 가지고, 거리가 가장 가까운 C 지점, 즉 시차가 가장 큰 부분은 가장 밝은 값을 가지는 것을 알 수 있다. As shown in FIG. 3, the characteristics of points A, B, and C are as follows. In the case of the point B, which is farthest from the distance, there is little difference in the disparity in the left and right images, while in the case of the nearest C point, It can be seen that the parallax is the largest. The depth map that is the result of the registration shows that the point B, which has the longest distance, that is, the smallest parallax, has the darkest value, and the point C, which has the closest distance, that is, the largest parallax, has the brightest value. have.

실시간으로 연속적인 영상을 획득하는 스테레오 비전 시스템의 경우, 이전 프레임 영상의 깊이 맵 정보는 다음 프레임 영상의 깊이 맵 정보와 매우 유사한 특성을 가진다. 따라서 이러한 특성을 사용하여 스테레오 정합에 사용되는 변위 범위를 점진적으로 최적화 함으로써 스테레오 정합 시 불필요한 연산을 줄임으로써 정합 속도 및 정합율을 높일 수 있다.
In the case of a stereo vision system that acquires continuous images in real time, the depth map information of the previous frame image is very similar to the depth map information of the next frame image. Therefore, by using these characteristics, the displacement range used for stereo matching can be gradually optimized to increase the matching speed and matching rate by reducing unnecessary operations during stereo matching.

도 4는 본 발명의 일 실시예에 따른 변위 범위 제어부의 변위 범위 설정 방법을 나타낸 도면이다.
4 is a view showing a displacement range setting method of the displacement range control unit according to an embodiment of the present invention.

도 4에 도시된 바와 같이, 본 발명에 적용가능한 실시예에서는 특정 지점의 대응점을 찾고자 할 때, 이전 프레임 영상의 스테레오 정합 결과인 깊이 맵 정보를 이용하여 설정되는 기준 변위 값을 활용할 수 있다. 그리고, 상기 깊이 맵 정보를 이용하여 설정되는 오프셋 변위 값을 이용하여 상기 기준 변위를 중심으로 일정 크기 만큼의 범위를 오프셋 변위 범위로 설정할 수 있다. 이때 상기 오프셋 변위 값은 이전 프레임 영상의 깊이 맵 정보를 참조하여 시차의 크기에 따라 상대적으로 설정된다.As shown in FIG. 4, in an embodiment applicable to the present invention, when a corresponding point of a specific point is to be found, a reference displacement value set using depth map information that is a stereo matching result of a previous frame image may be utilized. In addition, a range of a predetermined size may be set as an offset displacement range based on the reference displacement using an offset displacement value set using the depth map information. In this case, the offset displacement value is set relative to the magnitude of parallax with reference to depth map information of a previous frame image.

도 4의 일 실시예를 살펴보면, A 지점의 변위 범위 정보는 N 프레임의 깊이 맵 정보를 이용하여 기준 변위 값이 7, 오프셋 변위 값이 5로 설정되었다. 이때, 본 발명의 일 실시예에서는 상기 기준 변위 값 및 오프셋 변위 값을 이용하여 B 지점부터 B'지점까지의 변위 범위를 설정하여 스테레오 정합을 수행할 수 있다. C 지점 및 E 지점의 경우 또한 A의 경우와 동일하게 변위 범위를 설정하여 스테레오 정합을 수행할 수 있다. Referring to one embodiment of Figure 4, the displacement range information of the point A is set to the reference displacement value 7, the offset displacement value is 5 by using the depth map information of the N frame. In this embodiment, stereo matching may be performed by setting a displacement range from point B to point B ′ using the reference displacement value and the offset displacement value. In the case of point C and E, stereo matching can also be performed by setting the displacement range in the same manner as in the case of A.

도 4의 경우, 각 지점의 기준 변위 값 및 오프셋 변위 값으로 미루어 보아, A 지점의 경우 E 지점에 비해 시차가 크지 않기 때문에 기준 변위 값이 상대적으로 작게 설정되었으며, 다음 프레임 영상에서의 시차의 변화 정도 또한 작게 예상되므로 오프셋 변위 값도 상대적으로 작게 설정되었음을 알 수 있다. 다만, 도 4의 각 지점에 대한 기준 변위 값 및 오프셋 변위 값은 스테레오 정합 연산을 수행하는 방법을 쉽게 설명하기 위해 설정된 값으로, 본 발명에 적용가능한 또 다른 실시예에서는 도 4의 실시예와 다른 기준 변위 값 및 오프셋 변위 값이 적용될 수 있다.
In the case of Figure 4, considering the reference displacement value and the offset displacement value of each point, in the case of point A, because the parallax is not large compared to the point E, the reference displacement value is set relatively small, the change of parallax in the next frame image Since the degree is also expected to be small, it can be seen that the offset displacement value is also set relatively small. However, the reference displacement value and the offset displacement value for each point of FIG. 4 are set to easily explain a method of performing a stereo matching operation. In another embodiment applicable to the present invention, the reference displacement value and the offset displacement value are different from those of FIG. 4. Reference displacement values and offset displacement values may be applied.

도 5는 본 발명의 일 실시예에 따른 스테레오 정합부의 스테레오 정합 연산을 수행하는 방법을 나타낸 도면이다.
5 is a view showing a method of performing a stereo matching operation of the stereo matching unit according to an embodiment of the present invention.

도 5에 도시된 바와 같이, 기준 변위 설정부(210)는 이전 프레임 영상의 스테레오 정합 결과인 깊이 맵 정보를 바탕으로 다음 프레임 영상의 스테레오 정합에 사용될 기준 변위를 설정하기 위한 모듈로써, 잡음 제거 및 데이터 저장에 필요한 메모리 크기를 줄이기 위해 일정 크기의 윈도우가 지정될 수 있다. 기준 변위 값은 이전 프레임 영상의 깊이 맵으로부터 생성되며, 윈도우 크기는 영상의 한 픽셀 단위인 1x1 크기부터 설정이 가능하다. 본 발명에 적용가능한 실시예에서는 2x2 크기의 윈도우가 기준 변위 설정부(210)에 적용되었으며, 윈도우 내부의 데이터는 일련의 필터링 연산을 통해 동일한 값이 적용될 수 있다. 다만, 본 발명은 상기 실시예로 한정되지 않는다.As shown in FIG. 5, the reference displacement setting unit 210 is a module for setting a reference displacement to be used for stereo matching of a next frame image based on depth map information that is a stereo matching result of a previous frame image. In order to reduce the memory size required for data storage, a window of a certain size may be specified. The reference displacement value is generated from the depth map of the previous frame image, and the window size can be set from 1 × 1 size, which is one pixel unit of the image. In an embodiment applicable to the present invention, a 2 × 2 window is applied to the reference displacement setting unit 210, and the same value may be applied to the data inside the window through a series of filtering operations. However, the present invention is not limited to the above embodiment.

오프셋 변위 설정부(220)는 다음 프레임 영상의 스테레오 정합에 사용될 오프셋 변위 값을 설정하기 위한 모듈로써, 상기 기준 변위 설정부(210)와 같이 일정한 크기의 윈도우가 적용될 수 있으며, 오프셋 변위 값의 설정은 윈도우에 해당하는 기준 변위 값을 참조하여 값의 변화에 따라 상대적인 값이 적용될 수 있다. 본 발명에 적용가능한 실시예에서는 A 지점인 어두운 영역의 경우 시차가 좁은 영역이며, C 지점인 밝은 영역의 경우 시차가 넓게 나타나는 영역이기 때문에 A 지점의 오프셋 변위 값보다 C 지점의 오프셋 변위 값을 상대적으로 더 크게 설정할 수 있다. 이러한 오프셋 변위 값의 설정은 다양한 방법이 사용될 수 있다.The offset displacement setting unit 220 is a module for setting an offset displacement value to be used for stereo matching of the next frame image. A window having a constant size may be applied as the reference displacement setting unit 210, and the offset displacement value is set. The relative value may be applied according to the change of the value by referring to the reference displacement value corresponding to the window. In the embodiment applicable to the present invention, since the parallax is narrow in the dark area of the point A, and the parallax is wide in the bright area of the C point, the offset displacement value of the C point is relative to the offset displacement value of the A point. You can set larger. Various methods can be used to set this offset displacement value.

도 5를 통해 본 발명의 실시 예를 설명하면, 이전 프레임 영상의 스테레오 정합 결과로부터 깊이 맵 정보가 획득되면, 기준 변위 설정부(210)는 상기 깊이 맵 정보를 이용하여 기준 변위 값을 설정하고, 오프셋 변위 설정부(220)는 상기 깊이 맵 정보를 이용하여 오프셋 변위 값을 설정한다. 그리고 현재 입력된 영상의 스테레오 정합 과정이 수행됨에 있어서, 상기 기준 변위 값 및 오프셋 변위 값을 활용하여 스테레오 정합 과정에 필요한 변위 범위를 설정한다.Referring to FIG. 5, when depth map information is obtained from a stereo matching result of a previous frame image, the reference displacement setting unit 210 sets a reference displacement value using the depth map information. The offset displacement setting unit 220 sets an offset displacement value using the depth map information. When the stereo matching process of the currently input image is performed, the displacement range required for the stereo matching process is set using the reference displacement value and the offset displacement value.

도 5의 실시예에서는, 좌 영상 A지점에서의 대응점을 우 영상에서 찾기 위해 기준 변위 설정부(210)에서는 기준 변위 값 1이 출력되고 오프셋 변위 설정부(220)에서는 오프셋 변위 값 3이 출력되어 기준 변위 값 지점을 중심으로 오프셋 변위 범위 만큼의 좌/우 지점인 B지점부터 B'지점까지의 변위 범위가 설정되어 스테레오 정합 과정이 수행 된다. 그리고 C 지점의 경우, 깊이 맵 정보로 미루어 보아 A 지점보다 시차가 더욱 크기 때문에 C 지점의 대응점을 찾기 위한 오프셋 변위 범위가 더욱 크게 설정된다.In the embodiment of FIG. 5, the reference displacement value setting unit 210 outputs a reference displacement value 1 and the offset displacement setting unit 220 outputs an offset displacement value 3 to find a corresponding point at the left image A point in the right image. The stereo matching process is performed by setting the displacement range from point B to point B ', which is the left / right point as much as the offset displacement range, around the reference displacement point. In the case of the point C, since the parallax is larger than the point A in view of the depth map information, the offset displacement range for finding the corresponding point of the point C is set larger.

상기와 같은 방법으로 생성된 각 지점 또는 일정 크기의 윈도우에 대응되는 기준 변위 값 및 오프셋 변위 값은 기준 변위 저장부(미도시) 및 오프셋 변위 저장부(미도시)에 저장되고, 필요한 경우 상기 기준 변위 저장부 및 오프셋 변위 저장부로부터 추출하여 활용할 수 있다.
The reference displacement value and the offset displacement value corresponding to each point or the window of the predetermined size generated by the above method are stored in the reference displacement storage unit (not shown) and the offset displacement storage unit (not shown), and if necessary, the reference displacement. It can be extracted from the displacement storage unit and the offset displacement storage unit.

본 발명에 적용가능한 실시예에서, 상기 변위 범위 제어부(200)는, 초기 설정된 기준 변위 범위 값을 저장하는 초기 기준 변위 범위 저장부(215); 및 초기 설정된 오프셋 변위 범위 값을 저장하는 초기 오프셋 변위 범위 저장부(225);를 더 포함할 수 있다. 보다 상세하게는, 상기 초기 기준 변위 범위 저장부(215) 및 초기 오프셋 변위 범위 저장부(225)는 깊이 맵 정보로부터 추출된 기준 변위 값 및 오프셋 변위 값을 활용할 수 없는 등의 경우에 대비하여 초기 기준 변위 범위 값 및 초기 오프셋 변위 범위 값을 저장할 수 있다.
In an embodiment applicable to the present invention, the displacement range controller 200 includes: an initial reference displacement range storage unit 215 for storing an initially set reference displacement range value; And an initial offset displacement range storage unit 225 for storing the initially set offset displacement range value. In more detail, the initial reference displacement range storage unit 215 and the initial offset displacement range storage unit 225 are initially prepared for the case where the reference displacement value and the offset displacement value extracted from the depth map information cannot be utilized. The reference displacement range value and the initial offset displacement range value can be stored.

본 발명에 적용가능한 바람직한 실시예에서, 상기 변위 범위 제어부(200)는, 상기 깊이 맵 정보의 신뢰도 여부를 판단하는 깊이 맵 신뢰도 판단부(230)를 더 포함할 수 있다. 상기 깊이 맵 신뢰도 판단부(230)는 미리 설정된 문턱 값을 시용하여 수집된 깊이 맵 정보를 활용가능한지를 판단할 수 있다. 이때, 상기 문턱 값으로는 깊이 맵의 잡음 및 정합 오류를 판단하기 위한 값이 적용될 수 있다.
In a preferred embodiment applicable to the present invention, the displacement range controller 200 may further include a depth map reliability determiner 230 that determines whether the depth map information is reliable. The depth map reliability determination unit 230 may determine whether the collected depth map information is available by using a preset threshold value. In this case, a value for determining a noise and a matching error of the depth map may be applied as the threshold value.

본 발명에 적용가능한 실시예에서 상기 변위 범위 제어부(200)는 상기 깊이 맵 정보의 신뢰도 값에 따라 초기 기준 변위 범위 값 또는 상기 기준 변위 설정부(210)에 의해 설정된 기준 변위 값을 선택할 수 있는 제1 MUX부(240); 및 상기 깊이 맵 정보의 신뢰도 값에 따라 초기 오프셋 변위 범위 또는 상기 오프셋 변위 설정부(220)에 의해 설정된 오프셋 변위 값을 선택할 수 있는 제2 MUX부(245)를 더 포함할 수 있다. 보다 상세하게는, 상기 깊이 맵 신뢰도 판단부(230)를 통해 상기 깊이 맵 정보가 활용가능하다고 판단되는 경우, 상기 제1 MUX부(240) 및 제2 MUX부(245)는 기준 변위 설정부(210) 및 오프셋 변위 설정부(220)에 의해 설정되는 기준 변위 값 및 오프셋 변위 값을 이용하여 스테레오 매칭 연산을 수행하도록 할 수 있다. 반대로, 상기 깊이 맵 신뢰도 판단부(230)를 통해 상기 깊이 맵 정보가 활용 불가능하다고 판단되는 경우, 상기 제1 MUX부(240) 및 제2 MUX부(245)는 초기 기준 변위 범위 및 초기 오프셋 변위 범위를 이용하여 스테레오 매칭 연산을 수행하도록 할 수 있다.In the embodiment applicable to the present invention, the displacement range controller 200 may select an initial reference displacement range value or a reference displacement value set by the reference displacement setting unit 210 according to the reliability value of the depth map information. 1 MUX unit 240; And a second MUX unit 245 for selecting an initial offset displacement range or an offset displacement value set by the offset displacement setting unit 220 according to the reliability value of the depth map information. In more detail, when it is determined that the depth map information is available through the depth map reliability determination unit 230, the first MUX unit 240 and the second MUX unit 245 may be a reference displacement setting unit ( The stereo matching operation may be performed by using the reference displacement value and the offset displacement value set by the 210 and the offset displacement setting unit 220. On the contrary, when it is determined that the depth map information is not available through the depth map reliability determination unit 230, the first MUX unit 240 and the second MUX unit 245 may have an initial reference displacement range and an initial offset displacement. The range can be used to perform a stereo matching operation.

상기와 같은 방법을 통해 이전 프레임 영상의 깊이 맵 정보의 신뢰도가 기준 이하 이거나, 스테레오 정합 과정이 처음 수행되는 경우에는 초기 기준 변위 범위 및 초기 오프셋 변위 범위를 이용하여 스테레오 매칭 연산을 수행할 수 있다.
Through the above method, when the reliability of the depth map information of the previous frame image is less than the reference or the stereo matching process is first performed, the stereo matching operation may be performed using the initial reference displacement range and the initial offset displacement range.

도 6은 본 발명의 다른 실시예에 따른 스테레오 정합 시스템을 나타낸 도면이다.
6 illustrates a stereo matching system according to another embodiment of the present invention.

도 6에 도시된 바와 같이, 본 발명에 적용가능한 바람직한 실시예에서 상기 스테레오 정합 시스템은 N 프레임 및 N+1 프레임의 일방향 영상 정보를 이용하여 움직임 벡터 정보를 생성하는 움직임 벡터 생성부(150)를 더 포함하고, 상기 변위 범위 제어부(200)는, 상기 움직임 벡터 정보를 추가적으로 이용하여 변위 범위 정보를 생성할 수 있다. As shown in FIG. 6, in the preferred embodiment applicable to the present invention, the stereo matching system includes a motion vector generator 150 for generating motion vector information using one-way image information of N frames and N + 1 frames. The displacement range controller 200 may further generate displacement range information by additionally using the motion vector information.

본 발명에 적용가능한 실시예에서 상기 움직임 벡터 생성부(150)는 N 프레임의 좌측 영상 데이터 및 N+1 프레임의 좌측 영상 데이터를 이용하여 움직임 벡터를 생성할 수 있다. 또 다른 실시예에서, 상기 움직임 벡터 생성부(150)는 N 프레임의 우측 영상 데이터 및 N+1 프레임의 우측 영상 데이터를 이용하여 움직임 벡터를 생성할 수도 있다. 본 발명은 일정 방향 영상 정보를 이용하여 움직임 벡터 정보를 생성하는 것을 기술적 특징으로 하는 기술에 관한 것으로, 상기 실시예로 국한되지 않는다.
In an embodiment applicable to the present invention, the motion vector generator 150 may generate a motion vector by using left image data of N frames and left image data of N + 1 frames. In another embodiment, the motion vector generator 150 may generate a motion vector using right image data of N frames and right image data of N + 1 frames. The present invention relates to a technology characterized by generating motion vector information using constant direction image information, and is not limited to the above embodiment.

도 7은 본 발명의 다른 실시예에 따른 움직임 벡터 성분의 생성 개념을 설명하기 위한 도면이다.
7 is a view for explaining the concept of generating a motion vector component according to another embodiment of the present invention.

도 7에 도시된 바와 같이, 본 발명에 적용가능한 실시예에서는 현재 프레임 영상의 특정 윈도우 움직임 벡터 정보를 추출하기 위해 이전 프레임 영상의 일정 탐색 영역 내부에서 스테레오 정합을 수행할 수 있다. 즉, 현재 프레임 영상의 윈도우 중앙 픽셀 a의 움직임 벡터를 추출하기 위해, 이전 프레임 영상에서 윈도우 픽셀인 bi ~ bq 에서 스테레오 정합을 수행할 수 있다. 상기 움직임 벡터의 추출을 위한 탐색 영역은 미리 설정되거나, 사용자로부터 입력받은 값으로 설정될 수 있다.As shown in FIG. 7, in an embodiment applicable to the present invention, stereo matching may be performed in a predetermined search region of a previous frame image to extract specific window motion vector information of the current frame image. That is, in order to extract the motion vector of the window center pixel a of the current frame image, stereo matching may be performed on the window pixels b i to b q in the previous frame image. The search region for extracting the motion vector may be preset or set to a value input from a user.

도 8을 참조하면, 본 발명의 일 실시예에서 움직임 벡터 (u, v)추출은 하기 [수학식 1]과 같이 수행되며, u, v의 범위는 하기 [수학식 2]와 같이 설정될 수 있다.Referring to FIG. 8, in one embodiment of the present invention, motion vector ( u, v ) extraction is performed as shown in Equation 1 below, and the range of u and v may be set as shown in Equation 2 below. have.

Figure 112012093610691-pat00001
Figure 112012093610691-pat00001

Figure 112012093610691-pat00002
Figure 112012093610691-pat00002

도 8의 실시예는 p=2 일 경우의 예이며, 각 u, v 범위 에서 스테레오 정합 결과 최대 정합 위치에서의 u, v 값이 최종 벡터 값이 된다. 예를 들어 현재 영상 프레임의 윈도우 중앙 픽셀 위치가 a(2,2)이고, 스테레오 정합 연산을 통해 최대 정합 윈도우의 중앙 픽셀 위치가 b(1,1) 이었다면, a(2,2)에서의 최종 벡터 값 (u, v)는 (-1, -1)이 된다. 상기와 같은 방법으로 생성된 각 지점 또는 일정 크기의 윈도우에 대응되는 움직임 벡터 정보는 움직임 벡터 저장부(미도시)에 저장되고, 필요한 경우 상기 움직임 벡터 저장부로부터 추출하여 활용할 수 있다. 상기 도 8의 실시예의 경우, 상기 a(2,2)에서의 최종 벡터 값 (u, v)은 상기 움직임 벡터 저장부의 a(2,2)의 위치에 저장될 수 있다.8 is an example of a case where p = 2 , and the u and v values at the maximum matching position are the final vector values in the stereo matching result in each u and v range. For example, if the window center pixel position of the current video frame is a (2,2), and the center pixel position of the maximum matching window was b (1,1) through a stereo matching operation, the last at a (2,2) The vector value (u, v) becomes (-1, -1). The motion vector information corresponding to each point or a window having a predetermined size generated by the above method is stored in a motion vector storage unit (not shown), and may be extracted from the motion vector storage unit if necessary. In the case of the embodiment of FIG. 8, the final vector value (u, v) in the a (2,2) may be stored at the position of a (2,2) of the motion vector storage unit.

그리고 상기 수학식 1은 영역 기반 스테레오 정합 알고리즘으로 주로 사용되는 SAD(sum of absolute difference) 연산이며, 본 발명에 적용가능한 정합 알고리즘은 상기 실시예로 국한되지 않는다.
Equation 1 is a sum of absolute difference (SAD) operation mainly used as an area-based stereo matching algorithm, and the matching algorithm applicable to the present invention is not limited to the above embodiment.

도 9은 본 발명의 다른 실시예에 따른 움직임 벡터 성분 생성을 위한 정합 방법을 나타낸 도면이다.
9 illustrates a matching method for generating a motion vector component according to another embodiment of the present invention.

도 9에 도시된 바와 같이, 본 발명에 적용가능한 실시예에서는 움직임 벡터 정보를 추출하기 위하여 스테레오 정합 연산을 평형 병렬 방향으로 수행할 수 있다. 다만, 이는 일 실시예로, 본 발명의 스테레오 정합 연산 방법은 다양한 방법이 적용될 수 있다.
As shown in FIG. 9, in an embodiment applicable to the present invention, a stereo matching operation may be performed in a parallel parallel direction to extract motion vector information. However, this is one embodiment, the stereo matching operation method of the present invention may be applied to a variety of methods.

도 10는 본 발명의 다른 실시예에 따른 스테레오 정합부의 스테레오 정합 연산을 수행하는 방법을 나타낸 도면이다.
10 is a view showing a method of performing a stereo matching operation of the stereo matching unit according to another embodiment of the present invention.

도 10에 도시된 바와 같이, 본 발명에 적용가능한 실시예에서 상기 변위 범위 제어부(200)는 추출된 움직임 벡터 정보를 추가적으로 이용하여 변위 범위를 설정할 수 있다. 보다 상세하게는, 본 발명에 적용가능한 바람직한 실시예에서 상기 변위 범위 제어부(200)가 상기 움직임 벡터 정보를 추가적으로 이용하여 변위 범위를 설정하는 경우, 현재 픽셀의 (x,y) 위치 및 상기 위치에 대응되는 움직임 벡터 정보 (u,v) 값이 더해진 (x+u, v+y) 좌표 값 정보를 이용하여 기준 변위 값을 설정할 수 있다.As shown in FIG. 10, in the embodiment applicable to the present invention, the displacement range controller 200 may additionally set the displacement range by using the extracted motion vector information. More specifically, in the preferred embodiment applicable to the present invention, when the displacement range control unit 200 additionally uses the motion vector information to set the displacement range, the displacement range control unit 200 is located at the (x, y) position and the position of the current pixel. A reference displacement value may be set by using (x + u, v + y) coordinate value information to which corresponding motion vector information (u, v) is added.

상기와 같은 방법을 통해, 기준 변위 설정부(210)는 깊이 맵 정보 및 움직임 벡터 정보를 이용하여 기준 변위 값을 설정할 수 있고, 오프셋 변위 설정부(220)는 깊이 맵 정보 및 움직임 벡터 정보를 이용하여 오프셋 변위 값을 설정할 수 있다.
Through the above method, the reference displacement setting unit 210 may set the reference displacement value using the depth map information and the motion vector information, and the offset displacement setting unit 220 uses the depth map information and the motion vector information. The offset displacement value can be set.

스테레오 정합 연산의 수행 방법 및 기타 구성에 대해서는 상세히 설명하였으므로, 이하 생략한다.
Since the method and other configuration of the stereo matching operation have been described in detail, it will be omitted below.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
The present invention has been described with reference to the preferred embodiments. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

100: 깊이 맵 생성부 150: 움직임 벡터 생성부
200: 변위 범위 제어부 210: 기준 변위 설정부
215: 초기 기준 변위 범위 저장부 220: 오프셋 변위 설정부
225: 초기 오프셋 변위 범위 저장부 230: 깊이 맵 신뢰도 판단부
240: 제1 MUX부 245: 제2 MUX부
300: 스테레오 정합부100: depth map generator 150: motion vector generator
200: displacement range control unit 210: reference displacement setting unit
215: Initial reference displacement range storage unit 220: Offset displacement setting unit
225: Initial offset displacement range storage unit 230: Depth map reliability determination unit
240: first MUX part 245: second MUX part
300: stereo matching unit

Claims (11)

N 번째 프레임 영상의 스테레오 정합 결과로부터 깊이 맵 정보를 생성하는 깊이 맵 생성부;
상기 깊이 맵 정보를 이용하여 변위 범위 정보를 생성하는 변위 범위 제어부; 및
상기 변위 범위 정보를 이용하여 N+1 번째 프레임 영상의 스테레오 정합 연산을 수행하는 스테레오 정합부;를 포함하는 스테레오 정합 시스템.(단, N은 자연수)
A depth map generator generating depth map information from a stereo matching result of the N-th frame image;
A displacement range controller configured to generate displacement range information using the depth map information; And
And a stereo matching unit for performing a stereo matching operation on the N + 1th frame image using the displacement range information. (Where N is a natural number)
제 1항에 있어서,
상기 변위 범위 제어부는,
상기 깊이 맵 정보를 이용하여 일련의 윈도우 기반 필터링 연산을 수행 후, 이를 이용하여 변위 범위 정보를 생성하는 것을 특징으로 하는 스테레오 정합 시스템.
The method of claim 1,
The displacement range control unit,
And performing a series of window-based filtering operations using the depth map information, and generating displacement range information using the same.
제 1항에 있어서,
상기 변위 범위 제어부는,
상기 깊이 맵 정보를 이용하여 일련의 필터링 연산을 수행 후 이를 통해 기준 변위 값을 설정하는 기준 변위 설정부; 및
상기 깊이 맵 정보를 이용하여 일련의 필터링 연산을 수행 후 이를 통해 오프셋 변위 값을 설정하는 오프셋 변위 설정부; 를 포함하는 것을 특징으로 하는 스테레오 정합 시스템.
The method of claim 1,
The displacement range control unit,
A reference displacement setting unit configured to set a reference displacement value after performing a series of filtering operations using the depth map information; And
An offset displacement setting unit configured to set an offset displacement value after performing a series of filtering operations using the depth map information; Stereo matching system comprising a.
제 3항에 있어서,
상기 변위 범위 제어부는,
초기 설정된 기준 변위 범위 값을 저장하는 초기 기준 변위 범위 저장부; 및
초기 설정된 오프셋 변위 범위 값을 저장하는 초기 오프셋 변위 범위 저장부;를 더 포함하는 것을 특징으로 하는 스테레오 정합 시스템.
The method of claim 3, wherein
The displacement range control unit,
An initial reference displacement range storage unit for storing an initial reference displacement range value; And
And an initial offset displacement range storage unit for storing the initially set offset displacement range value.
제 4항에 있어서,
상기 변위 범위 제어부는,
상기 깊이 맵 정보의 신뢰도 여부를 판단하는 깊이 맵 신뢰도 판단부를 더 포함하는 것을 특징으로 하는 스테레오 정합 시스템.
5. The method of claim 4,
The displacement range control unit,
And a depth map reliability determiner configured to determine whether the depth map information is reliable.
제 5항에 있어서,
상기 변위 범위 제어부는,
상기 깊이 맵 정보의 신뢰도 값에 따라 초기 기준 변위 범위 또는 상기 기준 변위 설정부에 의해 설정된 기준 변위 값을 선택할 수 있는 제1 MUX부; 및
상기 깊이 맵 정보의 신뢰도 값에 따라 초기 오프셋 변위 범위 또는 상기 오프셋 변위 설정부에 의해 설정된 오프셋 변위 값을 선택할 수 있는 제2 MUX부를 더 포함하는 것을 스테레오 정합 시스템.
6. The method of claim 5,
The displacement range control unit,
A first MUX unit capable of selecting an initial reference displacement range or a reference displacement value set by the reference displacement setting unit according to the reliability value of the depth map information; And
And a second MUX unit capable of selecting an initial offset displacement range or an offset displacement value set by the offset displacement setting unit according to the reliability value of the depth map information.
제 1항에 있어서,
N 번째 프레임 및 N+1 번째 프레임의 일방향 영상 정보를 이용하여 움직임 벡터 정보를 생성하는 움직임 벡터 생성부;를 더 포함하고,
상기 변위 범위 제어부는, 상기 움직임 벡터 정보를 추가적으로 이용하여 변위 범위 정보를 생성하는 것을 특징으로 하는 스테레오 정합 시스템.
The method of claim 1,
And a motion vector generator for generating motion vector information using one-way image information of the N-th frame and the N + 1-th frame.
And the displacement range controller generates displacement range information by additionally using the motion vector information.
제 7항에 있어서,
상기 변위 범위 제어부는,
상기 깊이 맵 정보 및 상기 움직임 벡터 정보를 이용하여 일련의 필터링 연산을 수행 후 이를 통해 기준 변위 값을 설정하는 기준 변위 설정부; 및
상기 깊이 맵 정보를 이용하여 일련의 필터링 연산을 수행 후 이를 통해 오프셋 변위 값을 설정하는 오프셋 변위 설정부; 를 포함하는 것을 특징으로 하는 스테레오 정합 시스템.
8. The method of claim 7,
The displacement range control unit,
A reference displacement setting unit configured to set a reference displacement value after performing a series of filtering operations using the depth map information and the motion vector information; And
An offset displacement setting unit configured to set an offset displacement value after performing a series of filtering operations using the depth map information; Stereo matching system comprising a.
제 8항에 있어서,
상기 변위 범위 제어부는,
초기 설정된 기준 변위 범위 값을 저장하는 초기 기준 변위 범위 저장부; 및
초기 설정된 오프셋 변위 범위 값을 저장하는 초기 오프셋 변위 범위 저장부;를 더 포함하는 것을 특징으로 하는 스테레오 정합 시스템.
The method of claim 8,
The displacement range control unit,
An initial reference displacement range storage unit for storing an initial reference displacement range value; And
And an initial offset displacement range storage unit for storing the initially set offset displacement range value.
제 9항에 있어서,
상기 변위 범위 제어부는,
상기 깊이 맵 정보의 신뢰도 여부를 판단하는 깊이 맵 신뢰도 판단부를 더 포함하는 것을 특징으로 하는 스테레오 정합 시스템.
The method of claim 9,
The displacement range control unit,
And a depth map reliability determiner configured to determine whether the depth map information is reliable.
제 10항에 있어서,
상기 변위 범위 제어부는,
상기 깊이 맵 정보의 신뢰도 값에 따라 초기 기준 변위 범위 또는 상기 기준 변위 설정부에 의해 설정된 기준 변위 값을 선택할 수 있는 제1 MUX부; 및
상기 깊이 맵 정보의 신뢰도 값에 따라 초기 오프셋 변위 범위 또는 상기 오프셋 변위 설정부에 의해 설정된 오프셋 변위 값을 선택할 수 있는 제2 MUX부를 더 포함하는 것을 특징으로 하는 스테레오 정합 시스템.The method of claim 10,
The displacement range control unit,
A first MUX unit capable of selecting an initial reference displacement range or a reference displacement value set by the reference displacement setting unit according to the reliability value of the depth map information; And
And a second MUX unit capable of selecting an initial offset displacement range or an offset displacement value set by the offset displacement setting unit according to the reliability value of the depth map information.
KR1020120128809A 2011-11-25 2012-11-14 System for real-time stereo matching KR101344943B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/681,455 US9014463B2 (en) 2011-11-25 2012-11-20 System for real-time stereo matching

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110124203 2011-11-25
KR20110124203 2011-11-25

Publications (2)

Publication Number Publication Date
KR20130058611A KR20130058611A (en) 2013-06-04
KR101344943B1 true KR101344943B1 (en) 2013-12-27

Family

ID=48857822

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120128809A KR101344943B1 (en) 2011-11-25 2012-11-14 System for real-time stereo matching

Country Status (1)

Country Link
KR (1) KR101344943B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101766149B1 (en) 2016-07-05 2017-08-07 현대자동차주식회사 Apparatus and Method for Stereo Matching which needs small Computation

Also Published As

Publication number Publication date
KR20130058611A (en) 2013-06-04

Similar Documents

Publication Publication Date Title
US9014463B2 (en) System for real-time stereo matching
AU2017324923B2 (en) Predicting depth from image data using a statistical model
US8385630B2 (en) System and method of processing stereo images
CN107025660B (en) Method and device for determining image parallax of binocular dynamic vision sensor
KR20100119559A (en) Method and system for converting 2d image data to stereoscopic image data
US20190080464A1 (en) Stereo matching method and apparatus
US9747690B2 (en) Image processing device, image processing method, and program
JP7449977B2 (en) Depth estimation method for variable focus camera
WO2017207647A1 (en) Apparatus and method for performing 3d estimation based on locally determined 3d information hypotheses
US20150131853A1 (en) Stereo matching system and method for generating disparity map using same
KR101478709B1 (en) Method and apparatus for extracting and generating feature point and feature descriptor rgb-d image
WO2014120281A1 (en) Increasing frame rate of an image stream
JP2007053621A (en) Image generating apparatus
WO2013173282A1 (en) Video disparity estimate space-time refinement method and codec
KR101766431B1 (en) Method and apparatus for detecting disparity by using hierarchical stereo matching
EP2823467B1 (en) Filtering a displacement field between video frames
CN112613460A (en) Face generation model establishing method and face generation method
KR101344943B1 (en) System for real-time stereo matching
WO2021220688A1 (en) Reinforcement learning model for labeling spatial relationships between images
US11809997B2 (en) Action recognition apparatus, action recognition method, and computer-readable recording medium
CN108062741B (en) Binocular image processing method, imaging device and electronic equipment
US9361540B2 (en) Fast image processing for recognition objectives system
Mun et al. Guided image filtering based disparity range control in stereo vision
KR101220003B1 (en) Generating method for disparity map
KR101373982B1 (en) Method and apparatus for fast stereo matching by predicting search area in stereo vision and stereo vision system using the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161123

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171110

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181126

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191202

Year of fee payment: 7