KR101289003B1 - Method and Device for Stereo Matching of Images - Google Patents
Method and Device for Stereo Matching of Images Download PDFInfo
- Publication number
- KR101289003B1 KR101289003B1 KR1020110137612A KR20110137612A KR101289003B1 KR 101289003 B1 KR101289003 B1 KR 101289003B1 KR 1020110137612 A KR1020110137612 A KR 1020110137612A KR 20110137612 A KR20110137612 A KR 20110137612A KR 101289003 B1 KR101289003 B1 KR 101289003B1
- Authority
- KR
- South Korea
- Prior art keywords
- reliability
- cost
- image
- matching
- stereo matching
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
본 발명은 신뢰도에 기반한 계층적 구조를 이용하여 스테레오 정합 비용 집적 과정을 용이하게 하는 것을 특징으로 하는 영상의 스테레오 정합 방법 및 장치에 대한 것이다.
본 발명은, 영상의 스테레오 정합 장치에 있어서, 정합될 대상 영상을 입력받는 영상 입력부; 상기 영상에 대한 서포트 윈도우의 크기와 레벨의 수를 계층적으로 설정하는 계층 구조 설정부; 상기 서포트 윈도우에 포함된 픽셀에 대한 신뢰도를 산출하고, 상기 계층적인 서포트 윈도우들에 대하여 순차적으로 정합 비용을 집적하는 신뢰도 기반 비용집적부; 및 상기 신뢰도 기반 비용집적부에서 집적된 비용에 따라 상기 스테레오 정합 결과를 산출하여 출력하는 변위 출력부를 포함하는 영상의 스테레오 정합 장치 및 이를 위한 스테레오 정합 방법을 제공한다.The present invention relates to a stereo matching method and apparatus for an image characterized by facilitating a stereo matching cost integration process using a hierarchical structure based on reliability.
The present invention provides a stereo matching apparatus, comprising: an image input unit configured to receive a target image to be matched; A hierarchical structure setting unit hierarchically setting the size and the number of levels of the support window for the image; A reliability-based cost integration unit that calculates reliability of pixels included in the support window and sequentially accumulates matching costs for the hierarchical support windows; And a displacement matching unit for calculating and outputting the stereo matching result according to the cost integrated in the reliability-based cost integration unit, and a stereo matching method therefor.
Description
본 발명은 영상의 스테레오 정합 방법 및 장치에 대한 것이다. 더욱 상세하게는 본 발명은 신뢰도에 기반한 계층적 구조를 이용하여 스테레오 정합 비용 집적 과정을 용이하게 하는 것을 특징으로 하는 영상의 스테레오 정합 방법 및 장치에 대한 것이다. The present invention relates to a method and apparatus for stereo matching of an image. More specifically, the present invention relates to a stereo matching method and apparatus for an image, characterized by facilitating a stereo matching cost integration process using a hierarchical structure based on reliability.
스테레오 정합(stereo matching)은 두 장 또는 그 이상의 영상에서 서로의 대응점을 검출하는 기술로서, 컴퓨터 비전 분야에서 꾸준히 연구되고 있다. 스테레오 정합 기술을 이용하면 대응점들의 변위 벡터를 요소로 하는 변위 영상을 획득할 수 있고, 획득된 변위 영상은 로봇 비전, 영상 기반 렌더링 또는 차세대 방송 등 다양한 분야에서 활용될 수 있다. Stereo matching (stereo matching) is a technique for detecting the correspondence of each other in two or more images, which is constantly being studied in the field of computer vision. Using stereo matching technology, it is possible to obtain a displacement image using the displacement vectors of the corresponding points, and the obtained displacement image may be utilized in various fields such as robot vision, image-based rendering, or next generation broadcasting.
스테레오 정합의 원리는 간단한 것처럼 보이나, 영상들의 모호성으로 인해 스테레오 정합은 실질적으로는 쉽지 않다. 영상의 모호성은 동일한 영역 및 주기적인 텍스쳐로부터 발생하고 스테레오 정합에서 중요한 문제점이다. 이러한 문제점을 해결하기 위하여 다양한 스테레오 정합 알고리즘이 제안되어 왔다. 그 한 방법으로서 a)최초 비용계산(initial cost computation), b)비용 집적(cost aggregation), c)변위 최적화(disparity optimization), 및 d)변위 정제(disparity refinement)의 단계들을 포함하는 알고리즘이 제안된 바 있다. 최초 비용 계산 단계는 상이한 픽셀들에 대해 다른 변위 추정을 할당하기 위한 정합 비용을 계산한다. 비용 집적은 지원하는 영역에 대한 초기 비용들을 공간적으로 집적한다. 변위 최적화는 사전 정의된 에너지 함수를 국부적으로 또는 전역적으로 최소화한다. 변위 정제는 출력된 변위 영상을 정제한다. The principle of stereo matching seems simple, but due to the ambiguity of the images, stereo matching is practically not easy. Image ambiguity arises from the same area and periodic texture and is an important problem in stereo matching. Various stereo matching algorithms have been proposed to solve this problem. As one method, an algorithm is proposed that includes the steps of a) initial cost computation, b) cost aggregation, c) disparity optimization, and d) disparity refinement. It has been. The initial cost calculation step calculates the matching cost for assigning different displacement estimates for different pixels. Cost aggregation spatially accumulates initial costs for the area of support. Displacement optimization minimizes the predefined energy function locally or globally. Displacement refinement refines the output displacement image.
일반적으로 스테레오 정합 알고리즘은 국부 알고리즘(local algorithm)과 전역 알고리즘(global algorithm)으로 구분된다. 국부 알고리즘은 상기 c)단계에서 국부적인 최적화 방법, 예컨대 WTA(winner-takes-all) 기법을 사용한다. 이에 대해 전역 알고리즘(global algorithm)은 그래프-컷(graph-cut), 신뢰 확산(belief propagation), 및 동적 프로그래밍(dynamic programming)과 같은 전역 최적화 방법을 사용한다. In general, the stereo matching algorithm is divided into a local algorithm and a global algorithm. The local algorithm uses a local optimization method, such as the Winner-takes-all (WTA) technique, in step c). In this regard, the global algorithm uses global optimization methods such as graph-cut, confidence propagation, and dynamic programming.
국부 또는 전역 알고리즘 모두에 있어서, 관심을 끌고 있는 핵심적인 부분은 상기 b)단계인 비용 집적이다. 다양한 비용 집적 알고리즘은 각각 서로 다른 서포트의 형태나 크기, 새로운 정합 비용을 계산하는 방법을 사용하며, 모호한 영역의 정합 비용을 개선하는 것을 목표로 한다. 가장 쉽고 오래된 집적 방법은 정형화된 정사각형의 서포트 윈도우 안의 모든 정합 비용을 평균하여 현재 위치의 비용으로 사용하는 방법이다. 그러나 이 집적 방법은 초기 정합 비용을 그대로 사용하는 방법보다 훨씬 나은 결과를 보여주지만, 변위의 경계에 대한 고려가 없기 때문에 경계 부근에서 변위 값들의 정확도가 감소하는 단점이 있다. For both local and global algorithms, the key point of interest is cost integration, step b) above. Various cost aggregation algorithms use different types of support to calculate different types of support, new matching costs, and aim to improve matching costs in ambiguous areas. The easiest and oldest method of integration is to average all the matching costs in a standardized square support window and use it as the cost of the current location. However, this integration shows much better results than using the initial matching cost as it is, but there is a disadvantage in that the accuracy of displacement values decreases near the boundary because there is no consideration of the boundary of the displacement.
이를 해결하기 위해서 다양한 서포트 윈도우 기반의 알고리즘들이 개발된 바 있다. 일례로서, Shiftable-윈도우 기술은 서로 다른 중심점을 갖는 여러 개의 윈도우를 정의하고 이를 통해 비용을 집적한 뒤, 최종 비용이 최소가 되는 윈도우를 선택하여 계산하는 방법이다. 그러나 이 기술은 윈도우의 수가 늘어나기 때문에 연산량이 증가한다는 문제점이 있다. 색상 분할 기술을 이용하여 서포트 윈도우의 크기와 모양을 정의하는 방법은 깊이 영상의 불연속 위치는 대응되는 색상 영상의 불일치 위치와 유사한 경향을 갖는다는 특징을 바탕으로 한다. 하지만 색상 분할 기술 또한 많은 시간이 소요되고, 정의되지 않는 문제(ill-posed problem)라는 문제점이 존재한다. 최근에는 임의의 크기와 형태를 갖는 서포트 윈도우를 이용하여 색상 차이와 거리에 따라 적응적으로 가중치를 계산하는 방법이 제안되어 많은 관심을 받고 있으나, 가중치 계산을 위해 연산량이 증가한다는 단점이 있다. To solve this problem, various support window based algorithms have been developed. As an example, the shiftable-window technique is a method of defining a number of windows having different center points, integrating the costs, and then selecting and calculating a window having a minimum final cost. However, this technique has a problem that the amount of calculation increases because the number of windows increases. The method of defining the size and shape of the support window using the color segmentation technique is based on the feature that the discontinuous position of the depth image tends to be similar to the disparity position of the corresponding color image. However, color segmentation technology also takes a lot of time, and there is a problem of an ill-posed problem. Recently, a method of adaptively calculating weights according to color differences and distances using a support window having an arbitrary size and shape has been proposed. However, there is a disadvantage in that an amount of calculation is increased for weight calculation.
상기한 방법들은 초기 정합 비용을 개선하여 전역적인 최적화 방법을 사용하지 않고 스테레오 정합의 성능을 개선시키지만, 여러 개의 서포트를 동시에 계산해야 하거나 서포트 내의 가중치를 개별적으로 계산해야 하기 때문에 계산적 복잡도가 크게 상승하게 된다는 공통적인 문제점이 있다. 최근 정확도를 유지하면서 속도를 개선하기 위해서 그래픽 프로세싱 유닛(GPU)을 이용한 가속화가 이뤄지고 있지만, 이는 하드웨어적인 접근 방법으로 근본적인 해결 방법이라 할 수 없다.While the above methods improve the initial matching cost and improve the performance of stereo matching without using global optimization methods, the computational complexity increases significantly because multiple supports must be computed simultaneously or the weights within the supports must be calculated separately. There is a common problem. In recent years, acceleration has been made using a graphics processing unit (GPU) to improve speed while maintaining accuracy, but this is a hardware approach and is not a fundamental solution.
본 발명은 상기한 바와 같은 문제점을 해결하기 위하여, 신뢰도에 기반한 계층적 구조를 이용하여 정합 비용 집적 과정의 복잡도를 줄이는 영상 스테레오 정합 방법 및 장치를 제공함을 목적으로 한다. An object of the present invention is to provide an image stereo matching method and apparatus for reducing the complexity of the matching cost integration process by using a hierarchical structure based on reliability.
이를 위해 본 발명은, 영상의 스테레오 정합 장치에 있어서, 정합될 대상 영상을 입력받는 영상 입력부; 상기 영상에 대한 서포트 윈도우의 크기와 레벨의 수를 계층적으로 설정하는 계층 구조 설정부; 상기 서포트 윈도우에 포함된 픽셀에 대한 신뢰도를 산출하고, 상기 계층적인 서포트 윈도우들에 대하여 순차적으로 정합 비용을 집적하는 신뢰도 기반 비용집적부; 및 상기 신뢰도 기반 비용집적부에서 집적된 비용에 따라 상기 스테레오 정합 결과를 산출하여 출력하는 변위 출력부를 포함하는 영상의 스테레오 정합 장치를 제공한다. To this end, the present invention provides a stereo matching apparatus, comprising: an image input unit configured to receive a target image to be matched; A hierarchical structure setting unit hierarchically setting the size and the number of levels of the support window for the image; A reliability-based cost integration unit that calculates reliability of pixels included in the support window and sequentially accumulates matching costs for the hierarchical support windows; And a displacement output unit configured to calculate and output the stereo matching result according to the cost integrated in the reliability-based cost integration unit.
일 실시예에 있어서, 상기 신뢰도는 특정 화소에 대한 신뢰도의 최소값과 상기 특정 화소에 대한 정합 비용의 두번째 최소값을 이용하여 산출될 수 있다. In one embodiment, the reliability may be calculated using a minimum value of reliability for a particular pixel and a second minimum value of a matching cost for the particular pixel.
바람직하게는, 상기 신뢰도 기반 비용집적부는, 상기 계층 구조 설정부에서 설정된 상기 서포트 윈도우의 최소 크기부터 최대 크기까지 상기 정합 비용을 집적하되, 이전 서포트 윈도우에서 해당 화소의 신뢰도 값이 소정 문턱 값 이상인 화소에 대해서는 다음 서포트 윈도우에서 비용 집적 과정을 수행하지 않는 방식으로 구성될 수 있다. Preferably, the reliability-based cost integration unit integrates the matching cost from the minimum size to the maximum size of the support window set by the hierarchical structure setting unit, but the pixel whose reliability value is greater than or equal to a predetermined threshold value in the previous support window. In the following support window may be configured in a manner that does not perform a cost integration process.
또한, 상기 신뢰도는 신뢰도 영상으로 표현되고, 상기 신뢰도 영상은 가우시안 평탄화 필터로 정제될 수 있다. In addition, the reliability may be represented by a reliability image, and the reliability image may be refined by a Gaussian flattening filter.
또한, 본 발명은, (a) 정합될 대상 영상을 입력받는 영상 입력 단계; (b) 상기 영상에 대한 서포트 윈도우의 크기와 레벨의 수를 계층적으로 설정하는 계층 구조 설정 단계; (c) 상기 서포트 윈도우에 포함된 픽셀에 대한 신뢰도를 산출하고, 상기 계층적인 서포트 윈도우들에 대하여 순차적으로 정합 비용을 집적하는 신뢰도 기반 비용집적 단계; 및 (d) 상기 신뢰도 기반 비용집적부에서 집적된 비용에 따라 상기 스테레오 정합 결과를 산출하여 출력하는 변위 출력 단계를 포함하는 영상의 스테레오 정합 방법을 제공한다. In addition, the present invention, (a) an image input step of receiving a target image to be matched; (b) a hierarchical structure setting step of hierarchically setting a size and a number of levels of a support window for the image; (c) a reliability-based cost aggregation step of calculating a reliability of pixels included in the support window and sequentially accumulating matching costs for the hierarchical support windows; And (d) a displacement output step of calculating and outputting the stereo matching result according to the cost integrated in the reliability-based cost integration unit.
바람직하게는, 상기 (c) 단계는, 상기 계층 구조 설정부에서 설정된 상기 서포트 윈도우의 최소 크기부터 최대 크기까지 상기 정합 비용을 집적하되, 이전 서포트 윈도우에서 해당 화소의 신뢰도 값이 소정 문턱 값 이상인 화소에 대해서는 다음 서포트 윈도우에서 비용 집적 과정을 수행하지 않는 것을 특징으로 한다. Preferably, in the step (c), the matching cost is accumulated from the minimum size to the maximum size of the support window set by the hierarchical structure setting unit, but the pixel whose reliability value is greater than or equal to a predetermined threshold value in the previous support window. In the following support window, the cost integration process is not performed.
본 발명은 다양한 정합 비용 집적 기술에 적용이 가능하고, 신뢰도 계산이나 피라미드 형태의 변형을 통해 추가적인 개선이 가능하여 다양한 분야에 응용이 가능하다. The present invention can be applied to various matching cost integration techniques, and further improvement is possible through reliability calculation or pyramid-shaped deformation, and thus it can be applied to various fields.
도 1은 본 발명의 바람직한 실시예에 따른 스테레오 정합 장치의 블록도이다.
도 2는 본 발명의 바람직한 실시예에 따른 스테레오 정합 방법의 순서도이다.
도 3은 영상의 계층 구조를 도시하는 것으로서, Type Ⅰ은 서포트 윈도우의 크기를 확장시키는 형태를 나타내며, Type Ⅱ는 영상 평면을 축소시키는 형태를 나타낸다.
도 4는 텍스쳐의 타입을 설명하기 위한 도면으로, tsukuba 영상을 도시하였다.
도 5는 텍스쳐의 타입에 따른 정합 비용을 도시한 도면이다.
도 6은 좌측부터 순서대로 original tsukuba 영상과, 이에 대응되는 변위 영상 및 신뢰도 영상을 나타낸다.
도 7은 본 발명의 바람직한 실시예에 따른 영상 정합 방법에 있어서 계층적 비용 집적 과정의 유사 소스 코드를 나타낸다.
도 8은 본 발명의 바람직한 실시예에 따른 스테레오 정합에 있어서, 서포트 윈도우 크기에 따라 계산된 픽셀 수(a)와 오차율(b)을 도시한 도면이다.
도 9는 비계층적 비용 집적과 본 발명에 따른 계층적 비용 집적에 따른 오차율과 계산 시간을 도시한 도면이다. 1 is a block diagram of a stereo matching device according to a preferred embodiment of the present invention.
2 is a flowchart of a stereo matching method according to a preferred embodiment of the present invention.
3 illustrates a hierarchical structure of an image, in which Type I represents a form in which the size of the support window is expanded, and Type II represents a form in which the image plane is reduced.
4 is a view for explaining the type of texture, showing a tsukuba image.
5 is a diagram illustrating a matching cost according to the type of texture.
6 shows an original tsukuba image, a displacement image, and a reliability image corresponding thereto in order from the left.
7 shows a similar source code of a hierarchical cost accumulation process in an image matching method according to a preferred embodiment of the present invention.
FIG. 8 is a diagram illustrating the number of pixels (a) and the error rate (b) calculated according to the support window size in stereo matching according to an exemplary embodiment of the present invention.
9 is a diagram illustrating an error rate and a calculation time according to non-hierarchical cost accumulation and hierarchical cost accumulation according to the present invention.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used to designate the same or similar components throughout the drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In addition, the preferred embodiments of the present invention will be described below, but it is needless to say that the technical idea of the present invention is not limited thereto and can be variously modified by those skilled in the art.
도 1은 본 발명의 바람직한 실시예에 따른 스테레오 정합 장치의 블록도이고, 도 2는 본 발명의 바람직한 실시예에 따른 스테레오 정합 방법의 순서도이다. 1 is a block diagram of a stereo matching device according to a preferred embodiment of the present invention, Figure 2 is a flow chart of a stereo matching method according to a preferred embodiment of the present invention.
도 1을 참조하면, 본 발명의 바람직한 실시예에 따른 스테레오 정합 장치(1)는 영상 입력부(10), 계층 구조 설정부(20), 신뢰도 기반 비용집적부(30), 및 변위 출력부(40)를 포함한다. Referring to FIG. 1, the
영상 입력부(10)는 스테레오 정합될 대상 영상을 입력받는다. 스테레오 정합 대상 영상은 좌측 영상과 우측 영상을 포함할 수 있다. The
계층 구조 설정부(20)는 입력된 영상에 대해 비용 집적을 수행하는 서포트 윈도우의 크기를 계층적으로 설정하고, 계층의 레벨수를 설정한다. The hierarchical
신뢰도 기반 비용집적부(30)는, 상기 서포트 윈도우에 포함된 픽셀에 대한 신뢰도를 산출하고 신뢰도에 기반하여 계층적인 서포트 윈도우에 대한 비용을 집적한다. The reliability-based
변위 출력부(40)는 상기 신뢰도 기반 비용집적부(30)에서 집적된 비용에 기반하여 스테레오 정합 결과를 산출하여 출력한다. 스테레오 정합 결과는 WTA와 같은 국부 알고리즘 또는 신뢰확산과 같은 전역 알고리즘을 통해 얻을 수 있으며, 변위 영상(disparity image)이나 변위 벽터(disparity vector)와 같은 결과로 제시될 수 있다. The
도 2를 참조하면, 본 발명의 바람직한 실시예에 따른 스테레오 정합 방법은, 영상을 입력받는 단계(S100), 영상에 대한 계층구조를 설정하는 단계(S110), 신뢰도에 기반하여 비용을 집적하는 단계(S120), 및 영상에 대한 스테레오 정합 결과를 출력하는 단계(S130)를 포함한다.
Referring to FIG. 2, in the stereo matching method according to an exemplary embodiment of the present invention, receiving an image (S100), setting a hierarchical structure for the image (S110), and accumulating costs based on reliability. (S120), and outputting a stereo matching result for the image (S130).
계층 구조 설정부(20)에서의 설정되는 계층 구조를 설명하면 다음과 같다. The hierarchical structure set by the hierarchical
영상의 계층 구조를 고려함에 있어서 서포트 윈도우(support window)의 크기를 확장시키는 형태(Pyramid of support window)와 영상 평면을 축소시키는 형태(Pyramid of image plane)를 고려할 수 있다. In considering the hierarchical structure of an image, a form of extending the size of a support window and a form of reducing the image plane may be considered.
도 3은 영상의 계층 구조를 도시하는 것으로서, Type Ⅰ은 서포트 윈도우의 크기를 확장시키는 형태를 나타내며, Type Ⅱ는 영상 평면을 축소시키는 형태를 나타낸다. 3 illustrates a hierarchical structure of an image, in which Type I represents a form in which the size of the support window is expanded, and Type II represents a form in which the image plane is reduced.
도 3에서 Type Ⅱ는 텍스쳐 정보를 잃게 되나 전체 변위 영역은 감소되어 각 계층별 변위가 모호해진다. 이에 대해 Type Ⅰ은 텍스쳐 정보를 유지하지만 계산이 더욱 복잡하다. 스테레오 정합에 있어서는 텍스쳐 정보가 매우 중요하므로 Type Ⅰ과 같은 계층 구조가 스테레오 정합을 위해서는 적절하다. 본 발명에서는 Type Ⅰ과 같이 서포트 윈도우의 크기를 증가시키는 형태의 계층 구조를 이용하면서, 신뢰도를 기반으로 하여 계산 복잡성을 감소시키는 것을 일 특징으로 한다.
In FIG. 3, Type II loses texture information, but the entire displacement area is reduced, and the displacement of each layer is ambiguous. Type I maintains texture information, but the computation is more complicated. Since texture information is very important in stereo matching, a hierarchical structure such as Type I is suitable for stereo matching. In the present invention, while using the hierarchical structure of increasing the size of the support window as in Type I, it is characterized in that the calculation complexity is reduced based on the reliability.
다음으로 신뢰도 기반 비용집적부(30)에서 신뢰도를 측정하고 이에 기반하여 계층적으로 비용을 집적하는 과정을 설명하면 다음과 같다. Next, a process of measuring the reliability in the reliability-based
먼저, 신뢰도(confidence)에 대해 설명한다. 스테레오 정합에 있어서 신뢰도는 각 화소가 정확한 변위 값을 가질 확률을 의미한다. 신뢰도는 스테레오 정합의 정확도를 증가시키기 위하여 널리 사용되고 있으나, 각 화소가 정확한 변위 값을 갖는지 여부를 확실히 구별하는 것은 불가능하다. 이에 따라 신뢰도는 스테레오 영상의 정합 비용 및 변위 쌍과 같은 주어진 정보를 이용하여 산출될 수 있다. First, confidence will be described. In stereo matching, reliability means the probability that each pixel has an accurate displacement value. Reliability is widely used to increase the accuracy of stereo matching, but it is impossible to reliably distinguish whether or not each pixel has an accurate displacement value. Accordingly, reliability can be calculated using given information, such as matching cost and displacement pair of the stereo image.
스테레오 정합을 위한 영상 이미지는 다양한 텍스쳐(texture)를 포함하고, 그 텍스쳐들의 형상과 밀도는 예측불가하다. 일반적으로 높은 고주파 텍스쳐(high frequency texture)는 정확한 스테레오 정합에 도움이 되지만, 텍스쳐가 주기적으로 반복되는 경우에는 무의미하다. Video images for stereo matching include various textures, and the shapes and densities of the textures are unpredictable. In general, high frequency textures are helpful for accurate stereo matching, but are meaningless if the texture is repeated periodically.
도 4는 텍스쳐의 타입을 설명하기 위한 도면으로, tsukuba 영상을 도시하였다. 도 5는 텍스쳐의 타입에 따른 정합 비용을 도시한 도면이다. 4 is a view for explaining the type of texture, showing a tsukuba image. 5 is a diagram illustrating a matching cost according to the type of texture.
도 4을 참조하면, 영상의 텍스쳐를 구분함에 있어 주기적인(periodic) 부분(P), 텍스쳐된(textured) 부분(T)과 균질적인(homogeneous) 부분(H)으로 표시하였다. 균질적인 부분(H)과 주기적인 부분(P)은 부정확한 스테레오 정합을 야기하는 것으로 알려져 있다. Referring to FIG. 4, a periodic portion P, a textured portion T, and a homogeneous portion H are divided to distinguish the textures of the image. Homogeneous portions (H) and periodic portions (P) are known to cause inaccurate stereo matching.
도 5에서의 정합 비용은 변위에 따라 adative support weight에 의해 계산되었다. 텍스쳐된 부분은 전반적으로 정확한 최저값을 가지는 것으로 나타나지만, 다른 것들은 불명확하다. 균질적인 부분은 전반적으로 가장 낮은 매칭값을 보이나 뚜렷한 최저값은 존재하지 않는다. 주기적인 부분은 국부적인 최저값이 존재하지만, 어느 최저값이 정확한 것인지 불명확하다. The mating cost in FIG. 5 was calculated by the adative support weight depending on the displacement. The textured part appears to have the correct minimum overall, but others are unclear. The homogeneous part has the lowest overall matching value, but no obvious minimum value. In the periodic part, there is a local minimum, but it is not clear which minimum is correct.
본 발명에 있어서는 전체 픽셀에서 신뢰할만한 매칭 비용을 가진 픽셀을 구분하기 위하여 신뢰도를 사용하고, 서포트 윈도우의 크기를 변화시키면서 수행하는 비용 집적을 하지 않는다. 이에 따라 연산 시간이 감소된다. In the present invention, reliability is used to distinguish pixels having a reliable matching cost from all pixels, and no cost accumulation is performed while changing the size of the support window. This reduces computation time.
신뢰도를 측정하는 일례로서 수학식 1이 사용될 수 있다.
수학식 1에서, Confidence(i)는 화소 i에 대한 신뢰도이고, 1stC(i)는 화소 i의 가장 작은 정합 비용이고, 2ndLC(i)는 정합 비용의 두 번째로 작은 국부 최소값이다. 국부 최소 값을 비교 대상으로 택한 이유는 최소값 근처에서 발생할 수 있는 유사 값들의 영향을 배제하기 위함이다. λ는 스케일 인자를, 255는 정규화 인자를 의미한다. In
도 6은 좌측부터 순서대로 original tsukuba 영상과, 이에 대응되는 변위 영상 및 신뢰도 영상을 나타낸다. 6 shows an original tsukuba image, a displacement image, and a reliability image corresponding thereto in order from the left.
신뢰도 영상의 밝기는 대응되는 변위값의 신뢰성을 나타낸다. 측정된 신뢰도에 따르면 균질적인 부분은 물론 주기적인 부분까지 구별될 수 있다.
The brightness of the reliability image represents the reliability of the corresponding displacement value. The measured reliability can distinguish between the homogeneous part and the periodic part.
다음으로 신뢰도 기반 비용집적부(30)에서 계층적 비용을 집적하는 과정을 설명한다. 본 발명에서는 신뢰도 영상과 계층적 서포트 윈도우를 이용하여 비용 집적의 계산 복잡도를 감소시킬 수 있다. Next, a process of accumulating hierarchical costs in the reliability-based
도 7은 본 발명의 바람직한 실시예에 따른 영상 정합 방법에 있어서 계층적 비용 집적 과정의 유사 소스 코드를 나타낸다. 7 shows a similar source code of a hierarchical cost accumulation process in an image matching method according to a preferred embodiment of the present invention.
먼저, 사용할 피라미드 레벨의 개수와 최대 서포트 윈도우의 크기를 결정한다. 사용할 피라미드 레벨의 개수와 최대 서포트 윈도우의 크기는 계층구조 설정부(20)에서 설정될 수 있다. First, determine the number of pyramid levels to use and the size of the maximum support window. The number of pyramid levels to be used and the size of the maximum support window may be set in the
다음으로 정합 비용을 초기화한다. 여기에서 정합 비용은 어떠한 방법을 통해 계산되어도 무방하다. Next we initialize the matching cost. Here, the matching cost may be calculated by any method.
서포트 윈도우로 정합 비용을 집적하고, 모든 화소에 대한 신뢰도(Confidence(i))를 측정한다. 신뢰도 값이 특정 문턱 값(Th)보다 크면 해당 화소의 플래그 값(Flg(i))을 "TRUE"로 바꾼다. 여기서 플래그 값은 해당 화소에 대한 추가적인 집적 과정의 필요 유무를 의미한다. 다음 레벨에서는 플래그 값이 "FALSE"인 화소들만을 대상으로 다음 레벨의 서포트 윈도우로 정합 비용 집적 과정을 수행한다. 이상의 과정은 초기에 설정한 최대 서포트 윈도우의 크기에 도달할 때까지 반복한다. 상기 과정에 있어서, 화소에 대한 신뢰도는 신뢰도 영상(confidence image)으로 나타내고, 상기 신뢰도 영상은 특정 화소의 주변 신뢰도 값을 고려하여 가우시안 평탄화 필터(Gausian smooth filter)로 정제될 수 있다. 예컨대, 상기 과정에 있어서 최소 크기의 서포트 윈도우의 레벨을 제 1 레벨이라 하고, 최대 크기의 서포트 윈도우의 레벨을 제 n 레벨(n은 2 이상의 자연수)이라 하면, 제 2 레벨에서는 제 1 레벨에서 플래그 값이 "FALSE"인 화소에 대해서만 정합 비용 집적 과정이 수행된다.The matching cost is integrated into the support window and the reliability (i) of all pixels is measured. If the reliability value is larger than the specific threshold Th, the flag value Flg (i) of the corresponding pixel is changed to “TRUE”. In this case, the flag value indicates whether additional integration is required for the corresponding pixel. In the next level, the matching cost accumulation process is performed to the support window of the next level only for pixels having the flag value "FALSE". The above procedure is repeated until the size of the initially set maximum support window is reached. In the above process, the reliability of a pixel is represented by a confidence image, and the reliability image may be refined by a Gaussian smoothing filter in consideration of a peripheral reliability value of a specific pixel. For example, in the above process, if the level of the support window of the smallest size is called the first level, and the level of the support window of the largest size is the nth level (n is a natural number of 2 or more), the flag is displayed at the first level in the second level. The matching cost integration process is performed only for pixels whose value is "FALSE".
이러한 계층적 비용 집적 과정을 이용하면, 서포트 윈도우의 크기가 증가하여도 실제 계산이 필요한 화소의 수는 감소한다 이는 많은 계산이 요구되는 큰 사이즈의 서포트 윈도우에서 불필요한 연산을 하지 않아도 된다는 것을 의미한다. 또한 추가적인 집적 과정을 통해 변위 영상의 오차율은 함께 감소한다. Using this hierarchical cost integration process, the number of pixels that need to be actually calculated decreases even if the size of the support window increases, which means that unnecessary operations are not required in a large size support window that requires many calculations. In addition, through the additional integration process, the error rate of the displacement image is reduced together.
도 8은 본 발명의 바람직한 실시예에 따른 스테레오 정합에 있어서, 서포트 윈도우 크기에 따라 계산된 픽셀 수(a)와 오차율(b)을 도시한 도면이다. FIG. 8 is a diagram illustrating the number of pixels (a) and the error rate (b) calculated according to the support window size in stereo matching according to an exemplary embodiment of the present invention.
도 8에 따르면, 서포트 윈도우의 크기가 증가함에 따라 실제 계산이 수행되는 픽셀의 수는 감소하는 것과, 오차율도 감소하는 것을 알 수 있다. According to FIG. 8, it can be seen that as the size of the support window increases, the number of pixels for which the actual calculation is performed decreases and the error rate decreases.
도 9는 비계층적 비용 집적과 본 발명에 따른 계층적 비용 집적에 따른 오차율과 계산 시간을 도시하였다. 9 illustrates the error rate and calculation time according to non-hierarchical cost accumulation and hierarchical cost accumulation according to the present invention.
본 발명에서 제안된 영상의 스테레오 매칭 결과를 평가하기 위하여, 도 9에 따른 결과는 Middlebury stereo benchmark(http://vision.midddlebury.edu/stereo)를 사용하였다. 도 9를 참조하면, 본 발명에 따른 계층적 비용집적 방법을 채용한 결과는 비계층적인 것에 비해 계산 시간이 짧게 걸리고, 정확도가 향상된 것을 알 수 있다. In order to evaluate the stereo matching result of the image proposed in the present invention, the result according to FIG. 9 used the Middlebury stereo benchmark (http://vision.midddlebury.edu/stereo). Referring to FIG. 9, it can be seen that the result of employing the hierarchical cost accumulation method according to the present invention takes shorter calculation time and improved accuracy than the non-hierarchical one.
이상에서 설명한 본 발명에 따르면, 본 발명은 신뢰도 기반의 계층적 구조를 이용한 비용 집적을 수행하는 방식으로 영상의 스테레오 정합을 수행하는 것을 특징으로 한다. 본 발명은 비용 집적 과정에서의 계산 복잡성을 감소시키고, 변위 영상의 정확성을 향상시킬 수 있다. According to the present invention described above, the present invention is characterized in that stereo matching of an image is performed in a manner of performing cost integration using a reliability-based hierarchical structure. The present invention can reduce the computational complexity in the cost integration process and improve the accuracy of the displacement image.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.It will be apparent to those skilled in the art that various modifications, substitutions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims. will be. Accordingly, the embodiments disclosed in the present invention and the accompanying drawings are not intended to limit the technical spirit of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited by the embodiments and the accompanying drawings. . The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.
10 : 영상 입력부
20 : 계층 구조 설정부
30 : 신뢰도 기반 비용집적부
40 : 변위 출력부10: video input unit
20: hierarchy setting unit
30: reliability based cost integration unit
40: displacement output unit
Claims (7)
정합될 대상 영상을 입력받는 영상 입력부;
상기 영상에 대한 서포트 윈도우의 크기와 레벨의 수를 계층적으로 설정하는 계층 구조 설정부;
상기 서포트 윈도우에 포함된 픽셀에 대하여 정확한 변위 값을 가질 확률인 신뢰도를 산출하고, 상기 계층적인 서포트 윈도우들에 대하여 순차적으로 스테레오 정합에 소요되는 정합 비용을 집적하는 신뢰도 기반 비용집적부; 및
상기 신뢰도 기반 비용집적부에서 집적된 비용에 따라 스테레오 정합 결과를 산출하여 출력하는 변위 출력부
를 포함하는 영상의 스테레오 정합 장치.In the stereo matching device of the image,
An image input unit configured to receive a target image to be matched;
A hierarchical structure setting unit hierarchically setting the size and the number of levels of the support window for the image;
A reliability-based cost integration unit that calculates a reliability that is a probability of having an accurate displacement value with respect to the pixels included in the support window, and accumulates a matching cost for stereo matching on the hierarchical support windows sequentially; And
Displacement output unit for calculating and outputting a stereo matching result according to the integrated cost in the reliability-based cost integration unit
Stereo matching device of the image comprising a.
상기 신뢰도는, 특정 화소에 대한 정합 비용의 최소값과 상기 특정 화소에 대한 정합 비용의 두번째 최소값을 이용하여 산출되는 것을 특징으로 하는 영상의 스테레오 정합 장치.The method of claim 1,
And the reliability is calculated using a minimum value of a matching cost for a specific pixel and a second minimum value of the matching cost for the specific pixel.
상기 신뢰도 기반 비용집적부는, 상기 계층 구조 설정부에서 설정된 상기 서포트 윈도우의 최소 크기부터 최대 크기까지 상기 정합 비용을 집적하되, 이전 서포트 윈도우에서 해당 화소의 신뢰도 값이 소정 문턱 값 이상인 화소에 대해서는 다음 서포트 윈도우에서 비용 집적 과정을 수행하지 않는 것을 특징으로 하는 영상의 스테레오 정합 장치.3. The method according to claim 1 or 2,
The reliability-based cost integration unit accumulates the matching cost from the minimum size to the maximum size of the support window set by the hierarchical structure setting unit, and provides next support for pixels whose reliability value is greater than or equal to a predetermined threshold in the previous support window. Stereo matching device, characterized in that the cost integration process is not performed in the window.
상기 신뢰도는 신뢰도 영상으로 표현되고, 상기 신뢰도 영상은 가우시안 평탄화 필터로 정제되는 것을 특징으로 하는 영상의 스테레오 정합 장치.The method of claim 3, wherein
And the reliability is represented by a reliability image, and the reliability image is refined by a Gaussian flattening filter.
(b) 상기 영상에 대한 서포트 윈도우의 크기와 레벨의 수를 계층적으로 설정하는 계층 구조 설정 단계;
(c) 상기 서포트 윈도우에 포함된 픽셀에 대하여 정확한 변위 값을 가질 확률인 신뢰도를 산출하고, 상기 계층적인 서포트 윈도우들에 대하여 순차적으로 스테레오 정합에 소요되는 정합 비용을 집적하는 신뢰도 기반 비용집적 단계; 및
(d) 상기 신뢰도 기반 비용집적부에서 집적된 비용에 따라 스테레오 정합 결과를 산출하여 출력하는 변위 출력 단계
를 포함하는 영상의 스테레오 정합 방법.(a) an image input step of receiving a target image to be matched;
(b) a hierarchical structure setting step of hierarchically setting a size and a number of levels of a support window for the image;
(c) a reliability-based cost aggregation step of calculating a reliability that is a probability of having an accurate displacement value with respect to the pixels included in the support window, and accumulating a matching cost for stereo matching sequentially for the hierarchical support windows; And
(d) a displacement output step of calculating and outputting a stereo matching result according to the integrated cost in the reliability-based cost integration unit;
Stereo matching method of an image comprising a.
상기 신뢰도는, 특정 화소에 대한 정합 비용의 최소값과 상기 특정 화소에 대한 정합 비용의 두번째 최소값을 이용하여 산출되는 것을 특징으로 하는 영상의 스테레오 정합 방법.The method of claim 5, wherein
And the reliability is calculated using a minimum value of a matching cost for a specific pixel and a second minimum value of the matching cost for the specific pixel.
상기 (c) 단계는, 상기 계층 구조 설정부에서 설정된 상기 서포트 윈도우의 최소 크기부터 최대 크기까지 상기 정합 비용을 집적하되, 이전 서포트 윈도우에서 해당 화소의 신뢰도 값이 소정 문턱 값 이상인 화소에 대해서는 다음 서포트 윈도우에서 비용 집적 과정을 수행하지 않는 것을 특징으로 하는 영상의 스테레오 정합 방법.The method according to claim 5 or 6,
In the step (c), the matching cost is accumulated from the minimum size to the maximum size of the support window set by the hierarchical structure setting unit, and the next support is performed on the pixel whose reliability value is greater than or equal to a predetermined threshold value in the previous support window. A stereo matching method of an image, wherein the cost integration process is not performed in a window.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110137612A KR101289003B1 (en) | 2011-12-19 | 2011-12-19 | Method and Device for Stereo Matching of Images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110137612A KR101289003B1 (en) | 2011-12-19 | 2011-12-19 | Method and Device for Stereo Matching of Images |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130070341A KR20130070341A (en) | 2013-06-27 |
| KR101289003B1 true KR101289003B1 (en) | 2013-07-23 |
Family
ID=48865165
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110137612A KR101289003B1 (en) | 2011-12-19 | 2011-12-19 | Method and Device for Stereo Matching of Images |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101289003B1 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102214934B1 (en) * | 2014-07-18 | 2021-02-10 | 삼성전자주식회사 | Stereo matching apparatus and method using unary confidences learning and pairwise confidences learning |
| US10529085B2 (en) * | 2018-03-30 | 2020-01-07 | Samsung Electronics Co., Ltd. | Hardware disparity evaluation for stereo matching |
| KR102319237B1 (en) * | 2021-03-02 | 2021-10-29 | 인하대학교 산학협력단 | Method for Handcrafted Cost-based Multi-view Stereo Matching |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060063558A (en) * | 2004-12-06 | 2006-06-12 | 한국전자통신연구원 | A depth information-based stereo/multi-view stereo image matching apparatus and method |
| KR20100068751A (en) * | 2008-12-15 | 2010-06-24 | 재단법인대구경북과학기술원 | Image matching method and apparatus and object detection apparatus using same |
| KR20100096872A (en) * | 2009-02-25 | 2010-09-02 | 삼성전자주식회사 | Apparatus and method for alignment of images |
-
2011
- 2011-12-19 KR KR1020110137612A patent/KR101289003B1/en not_active IP Right Cessation
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060063558A (en) * | 2004-12-06 | 2006-06-12 | 한국전자통신연구원 | A depth information-based stereo/multi-view stereo image matching apparatus and method |
| KR20100068751A (en) * | 2008-12-15 | 2010-06-24 | 재단법인대구경북과학기술원 | Image matching method and apparatus and object detection apparatus using same |
| KR20100096872A (en) * | 2009-02-25 | 2010-09-02 | 삼성전자주식회사 | Apparatus and method for alignment of images |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20130070341A (en) | 2013-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11100401B2 (en) | Predicting depth from image data using a statistical model | |
| US8385630B2 (en) | System and method of processing stereo images | |
| Hulik et al. | Continuous plane detection in point-cloud data based on 3D Hough Transform | |
| US8718328B1 (en) | Digital processing method and system for determination of object occlusion in an image sequence | |
| US8411966B2 (en) | Estimation of image relations from point correspondences between images | |
| US9014463B2 (en) | System for real-time stereo matching | |
| CN108564652B (en) | High-precision three-dimensional reconstruction method, system and equipment for efficiently utilizing memory | |
| CN109191498B (en) | Target detection method and system based on dynamic memory and motion perception | |
| CN105865462A (en) | Three dimensional SLAM method based on events with depth enhanced vision sensor | |
| KR20160123871A (en) | Method and apparatus for estimating image optical flow | |
| Kok et al. | A review on stereo vision algorithm: Challenges and solutions | |
| US9659372B2 (en) | Video disparity estimate space-time refinement method and codec | |
| CN114445473B (en) | Stereo matching method and system based on deep learning operator | |
| KR101289003B1 (en) | Method and Device for Stereo Matching of Images | |
| CN103985106A (en) | Equipment and method used for multi-frame fusion of strong noise images | |
| CN114972882A (en) | Wear surface damage depth estimation method and system based on multi-attention machine system | |
| JP4836065B2 (en) | Edge tracking method and computer program therefor | |
| Guan et al. | Belief-propagation on edge images for stereo analysis of image sequences | |
| EP2947625A1 (en) | Method and apparatus for selection of reliable points for 3D modeling | |
| US10354400B2 (en) | Method and system for matching stereo images | |
| Shetty et al. | Performance analysis of a fuzzy disparity selector for stereo matching of imagesegments under radiometric variations | |
| KR101344943B1 (en) | System for real-time stereo matching | |
| Wang et al. | A 39pJ/label 1920x1080 165.7 FPS Block PatchMatch Based Stereo Matching Processor on FPGA | |
| RU2517727C2 (en) | Method of calculating movement with occlusion corrections | |
| Puxbaum et al. | Gradient-based modified census transform for optical flow |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20160712 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20170629 Year of fee payment: 5 |
|
| LAPS | Lapse due to unpaid annual fee |