KR101220003B1 - Generating method for disparity map - Google Patents
Generating method for disparity map Download PDFInfo
- Publication number
- KR101220003B1 KR101220003B1 KR1020110087621A KR20110087621A KR101220003B1 KR 101220003 B1 KR101220003 B1 KR 101220003B1 KR 1020110087621 A KR1020110087621 A KR 1020110087621A KR 20110087621 A KR20110087621 A KR 20110087621A KR 101220003 B1 KR101220003 B1 KR 101220003B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- search range
- histogram
- generating
- esr
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
Abstract
Description
본 발명은 스테레오 이미지(stereo image)로부터 3차원 이미지를 얻는 것에관한 기술로서, 특히 스테레오 이미지로부터 희박 시차 맵(disparity map) 히스토그램을 생성하여 시차 맵을 생성하는 방법에 관한 것이다.The present invention relates to a technique for obtaining a three-dimensional image from a stereo image, and more particularly, to a method for generating a disparity map by generating a disparity map histogram from a stereo image.
스테레오 매칭 기술은 스테레오 이미지로부터 3차원 이미지를 얻기 위해 이용되는 기술로서, 동일 피사체에 대하여 동일선상의 서로 다른 촬영 위치에서 촬영된 다수의 2차원 이미지로부터 3차원 이미지를 얻기 위해 이용된다. 스테레오 이미지는 이처럼 피사체에 대하여 서로 다른 촬영 위치에서 촬영된 다수의 2차원 이미지, 즉 서로 짝(pair) 관계에 있는 다수의 2차원 이미지를 의미한다.Stereo matching is a technique used to obtain a three-dimensional image from a stereo image, and is used to obtain a three-dimensional image from a plurality of two-dimensional images photographed at different photographing positions on the same line with respect to the same subject. The stereo image refers to a plurality of two-dimensional images captured at different photographing positions with respect to a subject, that is, a plurality of two-dimensional images paired with each other.
일반적으로 2차원 이미지로부터 3차원 이미지를 생성하기 위해서는 2차원 이미지의 수직,수평의 위치 정보인 x,y 좌표에 더하여 깊이 정보인 z 좌표를 필요로 한다. z 좌표를 구하기 위해서는 스테레오 이미지의 시차 정보를 필요로 하는데, 스테레오 매칭은 이러한 시차를 얻기 위해 사용되는 기술이다. 예를 들어 스테레오 이미지가 두 대의 좌,우 카메라에 의해 촬영된 좌,우 이미지라면, 좌,우 이미지 중에 하나를 기준 이미지로, 다른 하나를 탐색 이미지로 정한다. 이러한 경우에 공간상의 동일한 한 점에 대한 기준 이미지와 탐색 이미지 간의 거리, 즉 좌표의 차이를 시차라고 하는데, 스테레오 매칭 기술을 이용하여 시차를 얻는다.In general, in order to generate a 3D image from a 2D image, a z coordinate as depth information is required in addition to the x and y coordinates of vertical and horizontal position information of the 2D image. To obtain z coordinates, parallax information of a stereo image is required, and stereo matching is a technique used to obtain such parallax. For example, if a stereo image is a left and right image captured by two left and right cameras, one of the left and right images is used as a reference image and the other is a search image. In this case, the distance between the reference image and the search image, or coordinates, for the same point in space is called parallax. The parallax is obtained by using stereo matching technique.
이미지의 전체 화소들에 대하여 위와 같이 얻어지는 기준 이미지와 탐색 이미지 간의 시차들을 이용하여 각 화소들에 대한 깊이 정보를 얻어 3차원 좌표들로 표현되는 디스패리티 맵을 생성한다.By using the parallaxes between the reference image and the search image obtained as described above with respect to all the pixels of the image, depth information about each pixel is obtained to generate a disparity map represented by three-dimensional coordinates.
통상적으로 기준 이미지와 탐색 이미지간의 시차를 구하기 위해 사용되는 스테레오 매칭 기술의 일 예를 개략적으로 설명하면 다음과 같다. 먼저 기준 이미지의 기준 화소를 중심으로 일정 크기의 윈도우(window)를 설정하며, 탐색 이미지에 대해서도 탐색 화소들을 중심으로 같은 크기의 윈도우를 설정한다. 기준 화소는 기준이미지의 화소들 중에 탐색 이미지에서 대응하는 점, 즉 대응점을 현재 탐색해야할 화소를 의미한다. 탐색 화소는 탐색 이미지의 화소들 중에 기준 화소에 대한 대응점인지를 현재 확인해야할 화소를 의미한다. 윈도우는 중심 화소와 그를 둘러싼 주변 화소들로 이루어지는 매트릭스 형태이다.In general, an example of a stereo matching technique used to calculate a parallax between a reference image and a search image is as follows. First, a window of a predetermined size is set around the reference pixel of the reference image, and a window of the same size is set around the search pixels for the search image. The reference pixel refers to a corresponding point in the search image among the pixels of the reference image, that is, a pixel to which the corresponding point is currently searched. The search pixel refers to a pixel to be checked at present whether it is a corresponding point with respect to the reference pixel among the pixels of the search image. The window is in the form of a matrix consisting of a center pixel and surrounding pixels surrounding it.
위와 같이 설정된 기준 화소 윈도우 내의 화소들과 각각의 탐색 화소 윈도우 내의 화소들 간의 유사도를 계산하고, 탐색 화소 윈도우들 중에 기준 화소 윈도우와 가장 유사도가 큰 값을 갖는 탐색 화소 윈도우의 탐색 화소를 대응점에 해당하는 대응 화소라고 규정한다. 그리고 기준 화소와 대응 화소 간의 거리를 시차로서 구한다.The similarity between the pixels in the reference pixel window set as described above and the pixels in each search pixel window is calculated, and the search pixels of the search pixel window having the most similarity to the reference pixel window among the search pixel windows correspond to the corresponding points. The corresponding pixel is defined. The distance between the reference pixel and the corresponding pixel is obtained as parallax.
기준 화소 윈도우 내의 화소들과 각각의 탐색 화소 윈도우 내의 화소들 간의 유사도를 계산하는 방법의 한 가지로서, 기준 화소 윈도우 내의 화소들의 평균값과 각각의 탐색 화소 윈도우 내의 화소들의 평균값을 구하여 비교하는 방법이 사용되어 왔었다.As a method of calculating the similarity between the pixels in the reference pixel window and the pixels in each search pixel window, a method of calculating and comparing the average value of the pixels in the reference pixel window and the average value of the pixels in each search pixel window is used. It has been.
기준 이미지와 탐색 이미지 간의 시차를 얻기 위해, 기준 화소 윈도우 내의 화소들의 평균값과 각각의 탐색 화소 윈도우 내의 화소들의 평균값을 구하여 비교함에 따라 메모리 사용량이 커지게 될 뿐만 아니라 오랜 처리 시간이 소요된다. 즉, 윈도우 내에 있는 모든 화소들에 대한 평균값을 구하여 비교해야 하기 때문에, 윈도우 내에 있는 모든 화소값들과 그의 평균값을 저장해야만 하므로 메모리 사용량이 커지게 되며, 처리시간도 많이 소요된다. 이뿐만 아니라 이미지 전체의 화소들에 각각에 관하여 모두 대응 화소를 탐색하여야 하기 때문에 메모리 사용량과 처리 시간이 비약적으로 커지게 된다.In order to obtain a parallax between the reference image and the search image, not only the memory usage is increased but also a long processing time by obtaining and comparing the average value of the pixels in the reference pixel window and the average value of the pixels in each search pixel window. That is, since the average value for all the pixels in the window must be obtained and compared, all pixel values in the window and the average value must be stored, thereby increasing memory usage and processing time. In addition, since the corresponding pixels must be searched for each of the pixels of the entire image, memory usage and processing time are dramatically increased.
이러한 문제를 해결하고자 한국 등록특허 10-0762670호에서 시차 맵을 생성하는 방법 및 그를 위한 스트레오 매칭 방법을 공개하였으나 이 기술 역시 해밍 거리(hamming distance)를 연산하는 과정은 종래의 기술과 동일한 한계점이 있었다.In order to solve this problem, Korean Patent Registration No. 10-0762670 discloses a method for generating a parallax map and a stereo matching method therefor, but this technique also has a limitation in calculating a hamming distance. .
한편 이동통신단말처럼 제품의 크기가 작은 각종 휴대용 단말에 채용되는 임베디드 시스템(embedded system)에 서는 공급 전력 용량이 적고, 프로세서의 연산 속도가 낮으며, 메모리 용량이 적은 등 많은 제약 사항을 가지며, 그 성능 또한 제한적인 경우가 많다. 그러므로 엠베디드 시스템에서는 큰 메모리 사용량과 긴 처리 시간을 필요로 하는 기능은 현실적으로 채용하기 곤란한 문제점이 있었다.On the other hand, embedded systems used in various portable terminals with small product sizes, such as mobile communication terminals, have many limitations such as low power supply, low computational speed, and low memory. Performance is also often limited. Therefore, the embedded system has a problem that it is difficult to employ a function that requires a large memory usage and a long processing time.
본 발명에 따른 시차 맵 생성 방법은 다음과 같은 해결과제를 목적으로 한다.A parallax map generation method according to the present invention aims at the following problem.
첫째, 시차 맵 생성에 이용되는 검색 범위를 축소한 시차 맵 생성방법을 제공하고자 한다.First, it is to provide a method for generating a parallax map with a reduced search range used for generating a parallax map.
둘째, 원본 이미지를 분할하고 각 분할된 영역의 축소 이미지에 대한 히스토그램을 분석하여 산출된 유효 검색 범위 내에서 시차 맵을 생성하고자 한다.Second, the parallax map is generated within the effective search range calculated by dividing the original image and analyzing the histogram of the reduced image of each divided region.
셋째, 시차 맵 생성의 정확도와 생성의 속도 관계를 적절히 조절하여 최적의 시차 맵 생성 방법을 제공하고자 한다.Third, an optimal parallax map generation method is provided by appropriately adjusting the relationship between the accuracy of the parallax map generation and the speed of the generation.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problem of the present invention is not limited to those mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.
본 발명에 따른 시차 맵을 생성하는 방법은 스테레오 이미지가 입력되는 S1 단계, 스테레오 이미지를 분할하고, 각각의 분할된 스테레오 이미지에 대한 해밍 거리 연산에 사용되는 유효 검색 범위(ESR)가 결정되는 S2 단계 및 유효 검색 범위(ESR)을 이용하여 시차 맵이 생성되는 S3 단계를 포함한다.The method for generating a parallax map according to the present invention includes a step S1 of inputting a stereo image, a step S2 of dividing the stereo image, and determining an effective search range (ESR) used for a Hamming distance calculation for each divided stereo image. And S3 step of generating a parallax map using an effective search range (ESR).
S2 단계는 분할된 스테레오 이미지에 대한 저해상도 축소 이미지가 생성되는 S2-1 단계, 저해상도 축소 이미지에 대한 히스토그램이 생성되는 S2-2 단계 및 히스토그램을 이용하여 유효 검색 범위(ESR)가 결정되는 S2-3 단계를 포함한다.In step S2, step S2-1 in which a low resolution reduced image is generated for the divided stereo image, step S2-2 in which a histogram is generated in the low resolution reduced image, and S2-3 in which an effective search range (ESR) is determined using the histogram. Steps.
S2-3 단계는 히스토그램에 log 값을 취한 후 평균값을 연산한 후 문턱값 조절 계수(
여기서, T(k)가 0이 아닌 k는 유효 검색 범위(ESR)에 해당한다.
Here, k where T (k) is not 0 corresponds to the effective search range ESR.
본 발명에 따른 시차 맵을 생성하는 방법은 S2-1 단계전에 저해상도 축소 이미지의 크기 및 
축소 이미지의 크기 및 
The size of the thumbnail and
μH는 히스토그램에 대한 log 값이고, IWH는 원본 이미지의 크기이고, fs는원본 이미지 대 부분 샘플링 이미지 크기의 비율을 의미한다. ▽k는 이미지에서 타겟이 되는 객체의 비율을 의미한다.μ H is the log value for the histogram, I WH is the size of the original image, and fs is the ratio of the original image to the size of the partially sampled image. K denotes the proportion of the target object in the image.
본 발명에 따른 시차 맵 생성 방법은 스테레오 매칭을 위한 검색 범위가 50%이상 줄어듦으로 영상이미지를 불러오기 위해 필요한 메모리 밴드위드(bandwidth) 가 줄고 이에 따른 하드웨어 비용 절감, 필요 칩면적 감소, 저전력 효과 등을 볼 수 있다.In the parallax map generation method according to the present invention, the search range for stereo matching is reduced by 50% or more, thereby reducing the memory bandwidth required for importing the video image, thereby reducing hardware cost, required chip area, and low power effect. Can be seen.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.
도 1은 윈도우 내의 해밍 거리를 도시한 그래프의 예이다.
도 2는 특정 간격에 픽셀 시차 값이 집중되는 예를 도시한 그래프이다.
도 3은 희박 시차 크기 비교를 위한 이미지의 예이다.
도 4(a)는 도 3에 도시된 각각 서로 다른 크기의 그림에 대한 히스토그램이고, 도 4(b)는 도 3에 도시된 각 크기의 그림에 대한 검색 범위를 도시한 그래프이다.
도 5는 
도 6은 희박 시차 맵의 크기를 나누기 위한 예를 도시한 그림이다.
도 7은 본 발명에 따른 시차 맵 생성 방법의 개략적인 순서도이다.1 is an example of a graph illustrating the Hamming distance in a window.
2 is a graph illustrating an example in which pixel parallax values are concentrated at specific intervals.
3 is an example of an image for lean parallax size comparison.
FIG. 4 (a) is a histogram for the pictures of different sizes shown in FIG. 3, and FIG. 4 (b) is a graph showing the search ranges for the pictures of each size shown in FIG.
5 is
6 is a diagram illustrating an example for dividing the size of the lean parallax map.
7 is a schematic flowchart of a method for generating a parallax map according to the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.The terms first, second, A, B, etc. may be used to describe various components, but the components are not limited by the terms, but merely for distinguishing one component from other components. Only used as For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
As used herein, the singular forms "a,""an," and "the" are intended to include the plural forms as well, unless the context clearly indicates otherwise. It is to be understood that the present invention means that there is a part or a combination thereof, and does not exclude the presence or addition possibility of one or more other features or numbers, step operation components, parts or combinations thereof.
이하에서는 도면을 참조하면서 본 발명에 따른 시차 맵 생성 방법에 관하여 구체적으로 설명하겠다.
Hereinafter, a parallax map generating method according to the present invention will be described in detail with reference to the drawings.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.
Prior to the detailed description of the drawings, it is to be clear that the division of the components in the present specification is only divided by the main function of each component. That is, two or more components to be described below may be combined into one component, or one component may be provided divided into two or more for each function. Each of the components to be described below may additionally perform some or all of the functions of other components in addition to the main functions of the components, and some of the main functions of each of the components are different. Of course, it may be carried out exclusively by.
센서스 변환을 이용한 스테레오 Stereo with Census Transform 매칭matching 방법 Way
본 발명은 스트레오 이미지로부터 3차원 이미지를 얻기 위한 시차 맵(disparity map)을 생성하기 위한 것이다. 먼저 종래의 스테레오 매칭 방법을 설명하고 본 발명의 아이디어에 대해 설명하기로 한다.The present invention is for generating a disparity map for obtaining a three-dimensional image from a stereo image. First, the conventional stereo matching method will be described and the idea of the present invention will be described.
2차원 스테레오 이미지로부터 3차원 이미지를 생성하기 위한 시차 맵을 생성하는 방법으로 스테레오 매칭(stereo matching) 방법이 사용된다. 본 발명도 스테레오 매칭 방법을 개량한 발명에 해당한다.Stereo matching is used as a method for generating a parallax map for generating a 3D image from a 2D stereo image. This invention also corresponds to the invention which improved the stereo matching method.
본 발명에서는 많은 매칭 알고리즘 중에 센서스 변환(census transform)을 이용한다. 센서스 변환 알고리즘은 하드웨어 구현에 적합한 것으로 본 발명 역시 하드웨어에 적용하기 적합한 시차 맵 생성방법에 해당한다.In the present invention, a census transform is used among many matching algorithms. The census transformation algorithm is suitable for hardware implementation, and the present invention also corresponds to a parallax map generation method suitable for hardware.
센서스 스테레오 매칭 알고리즘은 윈도우 내의 중심 픽셀(pixel)과 주변 픽셀 간의 휘도차(luminance difference)로부터 해밍 거리(hamming distance) 값을 연산하고, WTA(Winner-Take-All) 규칙을 적용하여 시차 값으로 최적 값을 결정한다.The census stereo matching algorithm calculates the Hamming distance value from the luminance difference between the center pixel and the surrounding pixels in the window, and applies the Winner-Take-All rule to optimize the parallax value. Determine the value.
이하 기본적인 센서스 알고리즘과 본 발명의 아이디어에 대해 살펴보기로 한다.Hereinafter, the basic census algorithm and the idea of the present invention will be described.
첫째, 2개의 스트레오 이미지 각각에 대해 타겟 픽셀(센터 픽셀)과 주변 픽셀들 간의 픽셀 값을 비교한다. 이 과정이 센서스 변환이고, 이 과정을 통해 아래의 수학식 1로 표현되는 비트 스트림(bit stream) 형태로 윈도우 내의 특징 데이터를 나타내는 n x n 행렬이 생성된다.
First, the pixel values between the target pixel (center pixel) and the surrounding pixels are compared for each of the two stereo images. This process is a census transformation, and through this process, an nxn matrix representing the feature data in the window is generated in the form of a bit stream represented by
윈도우 크기인 n은 입력되는 스테레오 이미지의 해상도에 따라 크기가 달라진다.
The window size n varies in size depending on the resolution of the input stereo image.
둘째, 왼쪽 고정 윈도우와 각 오른쪽 이동하는 윈도 간에 해밍 거리(hamming distance)를 연산한다. 해밍 거리(Hx ,y(k))는 아래의 수학식 2 및 수학식 3을 통해 연산되며, 대상이되는 윈도우는 검색 범위(SR: search range) 내에 위치한 것만 연산된다.
Second, a hamming distance is calculated between the left fixed window and each right moving window. Hamming distance (H x , y (k)) is calculated through the following equations (2) and (3), the target window is calculated only those located within the search range (SR).
도 1은 윈도우 내의 해밍 거리를 도시한 그래프의 예이다. 해밍 거리 값이 높다는 것은 왼쪽과 오른쪽 이미지에 있는 두 픽셀들의 유사도가 높다는 것을 의미한다. 도 1에서 θ(x,y)는 이미지 위치(x,y)에서 가장 매칭되는 지점을 의미한다.1 is an example of a graph illustrating the Hamming distance in a window. A high Hamming distance value means that the two pixels in the left and right images have a high similarity. In FIG. 1, θ (x, y) means the most matched point at the image position (x, y).
상기 과정을 반복하면 아래의 수학식 4로 표현되는 전체 시차 이미지 d(x,y)를 획득하게 된다.
By repeating the above process, the entire parallax image d (x, y) represented by Equation 4 below is obtained.
여기서, FSR은 전체 검색 범위(full search range)를 의미한다. 시차 맵의 깊이 해상도(depth resolution)은 FSR의 길이에 비례하여 달라진다.
Here, FSR means full search range. The depth resolution of the parallax map varies in proportion to the length of the FSR.
저해상도 이미지에 대한 히스토그램 사용Use histograms for low resolution images
본 발명에서는 고해상도 시차 맵을 생성하기 전에 검색 범위 추정을 수행한다. 이를 통해 빠른 실시간 시차 맵 생성이 가능해진다. In the present invention, search range estimation is performed before generating a high resolution disparity map. This enables fast real-time disparity map generation.
시차 맵의 중복성(redundancy)과 인접성(locality) 때문에 시차 맵의 히스토그램 에너지는 몇몇 지점(간격)에 집중되는 경향이 있다.Because of the redundancy and locality of the parallax map, the histogram energy of the parallax map tends to be concentrated at some point (interval).
도 2는 특정 간격에 픽셀 시차 값이 집중되는 예를 도시한 그래프이다. 도 2를 살펴보면, B로 표기된 영역인 25 ~ 150 거리(distance) 내에 약 95%의 픽셀 시차 값이 존재하는 것을 알 수 있다. 만약 이러한 정보를 사전에 알 수 있다면, A 영역은 매칭에 고려하지 않을 수 있다.2 is a graph illustrating an example in which pixel parallax values are concentrated at specific intervals. Referring to FIG. 2, it can be seen that a pixel parallax value of about 95% exists within a distance of 25 to 150, which is an area marked B. If this information is known in advance, the area A may not be considered for matching.
본 발명은 시차 맵 생성에 가치있는 영역(간격)을 사전에 확보하여 보다 빠르게 시차 맵을 작성하고자 한다. 먼저 저해상도 축소 이미지를 획득하여 이용한다. 저해상도 축소 이미지는 희박 표현 이론(sparse representation theory)로부터 근거한 것으로, 희박 표현 이론은 어떤 유형의 데이터가 중복성과 인접성을 갖고 있다면 희박한 형태로 표현이 가능하다. 본 발명에서는 주어진 스테레오 이미지의 시차 특성을 사전에 발견하기 위해 저해상도 축소 이미지를 사용한다.
The present invention aims to create a parallax map more quickly by securing an area (interval) that is valuable for generating a parallax map in advance. First, a low resolution reduced image is obtained and used. Low-resolution reduced images are based on sparse representation theory, which can be represented in sparse form if any type of data has redundancy and adjacency. In the present invention, a low resolution scaled down image is used to discover the parallax characteristics of a given stereo image in advance.
도 3은 희박 시차 크기 비교를 위한 이미지의 예이다. 도 4(a)는 도 3에 도시된 각각 서로 다른 크기의 그림에 대한 히스토그램이고, 도 4(b)는 도 3에 도시된 각 크기의 그림에 대한 검색 범위를 도시한 그래프이다. 도 3에 표시된 크기는 아래의 표 1에 다시 정의되어 있다. 도 3에는 원본 이미지와 축소된 3개의 이미지가 도시되어 있다.3 is an example of an image for lean parallax size comparison. FIG. 4 (a) is a histogram for the pictures of different sizes shown in FIG. 3, and FIG. 4 (b) is a graph showing the search ranges for the pictures of each size shown in FIG. The size shown in Figure 3 is again defined in Table 1 below. 3 shows an original image and three reduced images.
도 4(b)에 도시된 바와 같이, 유효한 검색 범위는 이미지 크기에 관계 없이 거의 동일하다. 아래의 표 1은 도 4가 나타내는 데이터를 SNR 용어(term)으로 분석한 것이다.
As shown in Fig. 4 (b), the effective search range is almost the same regardless of the image size. Table 1 below analyzes the data represented by FIG. 4 in terms of SNR terms.
SNR Himg는 원본 그림에 대한 히스토그램과 크기가 작은 샘플 이미지에 대한 히스토그램 사이의 SNR을 나타낸다. 이미지 크기가 줄어들면 SNR Himg가 줄어들지만, 대략적인 모양이나 검색 범위(SR)는 거의 변하지 않는다. 40 x 23 크기의 이미지에 대한 검색 범위는 다른 크기의 이미지에 비래 크다. 큰 검색 범위는 시차 맵 생성에 있어서 정확도에 영향을 미치지는 않고, 시차 맵 획득 과정의 속도를 약간 늦추는 정도에 불과하다.
SNR H img represents the SNR between the histogram for the original picture and the histogram for a small sample image. As the image size is reduced, the SNR hig is reduced, but the approximate shape and search range (SR) hardly change. The search range for 40 x 23 images is larger than for other sizes. The large search range does not affect the accuracy in generating the parallax map, but only slightly slows down the parallax map acquisition process.
검색 범위 추정Search range estimation
본 발명에 있어서 핵심적 구성의 하나는 검색 범위를 추정하여 시차 맵 생성 속도를 향상시키는 것이다. 즉 도 2에 도시된 의미 있는 B 영역만을 시차 맵 생성에 이용하고자 하는 것이다.One of the key components of the present invention is to estimate the search range and to improve the disparity map generation speed. That is, only meaningful B regions shown in FIG. 2 are intended for use in generating a parallax map.
전술한 바와 같이, 저해상도 축소 이미지의 히스토그램이 원본 이미지 히스토그램과 거의 동일하다. 따라서 저해상도 축소 이미지 히스토그램을 분석하여 검색 범위를 줄이는데 필요한 영역(간격) 정보를 획득할 수 있다. 이 분석은 두 단계를 통해 수행된다.As mentioned above, the histogram of the low resolution reduced image is almost identical to the original image histogram. Therefore, by analyzing the low-resolution reduced image histogram, it is possible to obtain area (interval) information necessary to reduce the search range. This analysis is performed in two steps.
첫째, 아래의 수학식 5와 같이, 저해상도 축소 이미지에 대한 히스토그램에 로그(log) 값을 취하고 평균을 구한 후 
First, as shown in Equation 5 below, the log value is taken in the histogram of the low resolution scaled image and the average is calculated.
여기서 SRL(search range length)은 시차 맵의 깊이 해상도를 의미하고, H(k)는 히스토그램을 의미하고, 
Where search range length (SRL) is the depth resolution of the parallax map, H (k) is the histogram,
둘째, 아래의 수학식 6과 같이, 각 히스토그램 값 H(k)로부터 상기 문턱값(
Second, as shown in Equation 6 below, from the histogram value H (k) the threshold value (
여기서, T(k)가 0이 아닌 k는 유효 검색 범위(ESR)에 해당한다.Here, k where T (k) is not 0 corresponds to the effective search range ESR.
상기 과정을 통해 고해상도 시차 맵 생성을 위한 범위가 줄어든 검색 범위를 획득하게 된다.
Through the above process, a search range having a reduced range for generating a high resolution disparity map is obtained.
정확도 관련 요소Accuracy Related Factors
본 발명은 저해상도 축소 이미지 히스토그램과 
첫째, 
히스토그램에서 0의 값을 갖는 검색 범위만 제거되도록 
둘째, 저해상도 축소 이미지 크기 자체를 조절하는 방법이다. 저해상도 축소 이미지를 검색 범위 측정에 사용하기 때문에, 더 희박한 저해상도 축소 이미지를 사용할수록 인식가능한 최저 해상도는 증가하게 된다. 즉, 특정 객체가 최저 식별 가능한 직각 모양 영역보다 작다면, 그 객체의 검색 범위는 무시될 수 있다. The second method is to adjust the size of the low resolution reduced image itself. Because low resolution reduced images are used to measure the search range, the thinner the lower resolution reduced images, the higher the minimum recognizable resolution. In other words, if a particular object is smaller than the lowest identifiable rectangular shape region, the search range of that object may be ignored.
도 6은 저해상도 축소 이미지의 크기를 조절하기 위한 예를 도시한 그림이다. 굵은 라인으로 표시한 직사각형 영역이 인식 가능한 최저 영역이라고 가정한다. 도 6은 극도로 희박한 시차 맵을 생성하기 위한 1/9 부분 샘플링 과정을 도시한다. 인식 가능한 최저 영역은 3x3 직사각형 영역이다. 만약 특정 객체 모양이 직사각형이 아니거나, 인식 가능한 최저 영역보다 작다면, 해당 객체는 가우시안 가능성(Gaussian probability)과 같이 인식된다.6 is a diagram illustrating an example for adjusting the size of a low resolution reduced image. It is assumed that the rectangular area indicated by the thick line is the lowest recognizable area. 6 shows a 1/9 partial sampling process for generating an extremely sparse parallax map. The lowest recognizable area is a 3x3 rectangular area. If the shape of a particular object is not rectangular or is smaller than the lowest recognizable area, the object is recognized as a Gaussian probability.
결국 특정 객체의 일부(▽k)가 시차 맵에서 확실하게 인식되도록 만들기 위해서는 저해상도 축소 이미지의 크기와 
After all, to make sure that a part of a particular object (▽ k ) is clearly recognized in the parallax map,
μH는 히스토그램에 대한 log 값이고, IWH는 원본 이미지의 크기이고, fs는원본 이미지 대 부분 샘플링 이미지 크기의 비율을 의미한다. 상기 수학식 7은 객체 인식 규칙이 가우시안 가능성을 따른다는 전제하에 상기 수학식 5 및 수학식 6으로부터 도출가능한 것이다.▽k는 이미지에서 타겟이 되는 객체의 비율을 의미한다. 예컨대, 시차 맵 중 10% 면적을 갖는 단일 깊이 객체가 있다는 ▽k = 0.1이 된다.μ H is the log value for the histogram, I WH is the size of the original image, and fs is the ratio of the original image to the size of the partially sampled image. Equation 7 is derived from Equations 5 and 6 on the premise that the object recognition rule follows a Gaussian possibility. ▽ k denotes the ratio of the target object in the image. For example, a single object having a depth of 10% of the area of the differential map is that the ▽ k = 0.1.
작은 물체가 중요하다고 가정하면, 희박도가 낮은 저해상도 축소 이미지를 사용하고 높은 
Assuming small objects are important, use low resolution, low resolution thumbnails
다중 검색 범위 추정Multiple search range estimation
정확도를 향상시키기 위하여 다중 검색 범위 추정 방법을 사용할 수 있다. 다중 검색 범위 추정은 시차 맵을 구성하는 작은 블럭(영역)에 대해 각각 검색 범위를 추정하는 것이다. 작은 블럭은 이미지의 일 부이지만, 그들의 히스토그램은 시차 내용물에 따라 달라질 수 있다. 따라서 각 로컬 블럭에 따라 보다 적합한 검색 범위를 사용한다면 정확도를 향상시킬 수 있다. Multiple search range estimation methods can be used to improve the accuracy. Multiple search range estimation is to estimate a search range for each of the small blocks (regions) constituting the parallax map. Small blocks are part of an image, but their histograms may vary depending on the parallax content. Therefore, the accuracy can be improved by using a more suitable search range for each local block.
상기 수학식 6에서의 유효 검색 범위를 
The effective search range in Equation 6
시차 추정Time difference estimation
유효 검색 범위가 도출되었다면, 최종 고해상도 시차 맵을 생성할 수 있다. 고해상도 시차 맵은 전술한 센서스 알고리즘을 동일하게 적용하여 획득할 수 있다. 다만 검색 범위를 전체 검색 범위가 아닌 유효 검색 범위를 이용하는 것이다.Once a valid search range has been derived, a final high resolution parallax map can be generated. The high resolution disparity map may be obtained by applying the same census algorithm described above. However, the search range is to use the effective search range, not the entire search range.
WTA(Winner-Take-All)을 적용하면 두 픽셀 간의 시차는 아래의 수학식 9에 의해 결정된다.
Applying Winner-Take-All (WTA), the parallax between two pixels is determined by Equation 9 below.
만약 다중 검색 범위를 적용한다면 검색 범위 k는 조건에 따라 아래의 수학식 10과 같이 달라질 수 있다.
If multiple search ranges are applied, the search range k may vary as shown in Equation 10 below.
여기서 W는 이미지의 가로 크기이고, H 상수는 이미지의 세로 크기이다.
Where W is the horizontal size of the image and H constant is the vertical size of the image.
도 7은 본 발명에 따른 시차 맵 생성 방법의 개략적인 순서도이다. 도 7(a)는 전체 시차 맵 생성 방법에 대한 순서도이고, 도 7(b)는 유효 검색 범위가 결정되는 S2 단계에 대한 세부 순서도이다.7 is a schematic flowchart of a method for generating a parallax map according to the present invention. FIG. 7A is a flowchart of a method for generating a full parallax map, and FIG. 7B is a detailed flowchart of step S2 in which an effective search range is determined.
본 발명에 따른 시차 맵을 생성하는 방법은 스테레오 이미지가 입력되는 S1 단계, 스테레오 이미지를 분할하고, 각각의 분할된 스테레오 이미지에 대한 해밍 거리 연산에 사용되는 유효 검색 범위(ESR)가 결정되는 S2 단계 및 유효 검색 범위(ESR)을 이용하여 시차 맵이 생성되는 S3 단계를 포함한다.The method for generating a parallax map according to the present invention includes a step S1 of inputting a stereo image, a step S2 of dividing the stereo image, and determining an effective search range (ESR) used for a Hamming distance calculation for each divided stereo image. And S3 step of generating a parallax map using an effective search range (ESR).
S2 단계는 분할된 스테레오 이미지에 대한 저해상도 축소 이미지가 생성되는 S2-1 단계, 저해상도 축소 이미지에 대한 히스토그램이 생성되는 S2-2 단계 및 히스토그램을 이용하여 유효 검색 범위(ESR)가 결정되는 S2-3 단계를 포함한다.In step S2, step S2-1 in which a low resolution reduced image is generated for the divided stereo image, step S2-2 in which a histogram is generated in the low resolution reduced image, and S2-3 in which an effective search range (ESR) is determined using the histogram. Steps.
S2-3 단계는 히스토그램에 log 값을 취한 후 평균값을 연산한 후 문턱값 조절 계수(
본 발명에 따른 시차 맵을 생성하는 방법은 S2-1 단계전에 저해상도 축소 이미지의 크기 및 
축소 이미지의 크기 및 
본 발명의 다른 측면으로 전술한 시차 맵을 생성하는 방법이 컴퓨터에서 수행될 수 있도록 프로그램밍되는 컴퓨터로 읽을 수 있는 기록 매체가 포함된다.
In another aspect of the present invention, a computer-readable recording medium that is programmed to be executed by a computer may be included in the method for generating a parallax map described above.
본 실시예 및 본 명세서에 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 본 발명의 권리범위에 포함되는 것이 자명하다고 할 것이다.
The embodiments and drawings attached to this specification are merely to clearly show some of the technical ideas included in the present invention, and those skilled in the art can easily infer within the scope of the technical ideas included in the specification and drawings of the present invention. Modifications that can be made and specific embodiments will be apparent that all fall within the scope of the present invention.
Claims (6)
스테레오 이미지가 입력되는 S1 단계;
상기 스테레오 이미지를 분할하고, 각각의 분할된 스테레오 이미지에 대한 해밍 거리 연산에 사용되는 유효 검색 범위(ESR)가 결정되는 S2 단계; 및
상기 유효 검색 범위(ESR)을 이용하여 시차 맵이 생성되는 S3 단계를 포함하는 것을 특징으로 하는 시차 맵을 생성하는 방법.In the method for generating a parallax map for a three-dimensional stereoscopic image,
A step S1 of inputting a stereo image;
Step S2 of dividing the stereo image and determining an effective search range (ESR) used for a hamming distance calculation for each divided stereo image; And
And a step S3 of generating a parallax map using the effective search range (ESR).
상기 S2 단계는
상기 분할된 스테레오 이미지에 대한 저해상도 축소 이미지가 생성되는 S2-1 단계;
상기 저해상도 축소 이미지에 대한 히스토그램이 생성되는 S2-2 단계; 및
상기 히스토그램을 이용하여 유효 검색 범위(ESR)가 결정되는 S2-3 단계를 포함하는 것을 특징으로 하는 시차 맵을 생성하는 방법.The method of claim 1,
The step S2
Step S2-1 of generating a low-resolution reduced image of the divided stereo image;
Step S2-2 of generating a histogram of the low resolution reduced image; And
And a step S2-3 in which an effective search range (ESR) is determined by using the histogram.
상기 S2-3 단계는
상기 히스토그램에 log 값을 취한 후 평균값을 연산한 후 문턱값 조절 계수(
상기 문턱값(
상기 T(k)가 0이 아닌 k 값 범위가 아래의 식으로 표현되는 유효 검색 범위(ESR)로 결정되는 S2-3-3 단계를 포함하는 것을 특징으로 하는 시차 맵을 생성하는 방법.
(여기서 HUDSM(k)는 저해상도 축소 이미지에 대한 히스토그램, SR은 검색 범위를 의미함)
(여기서 W는 이미지의 가로 크기이고, H 상수는 이미지의 세로 크기임)The method of claim 2,
Step S2-3
After taking the log value in the histogram and calculating the average value, the threshold adjustment coefficient (
The threshold (
And a step S2-3-3 in which the range of k values where T (k) is not zero is determined as an effective search range (ESR) expressed by the following equation.
(Where H UDSM (k) is the histogram for the low resolution thumbnail, and SR is the search range)
Where W is the horizontal size of the image and H constant is the vertical size of the image
상기 S2-1 단계전에 저해상도 축소 이미지의 크기 및
Before the step S2-1, the size of the low resolution
상기 축소 이미지의 크기 및
(여기서, μH는 히스토그램에 대한 log 값이고, IWH는 원본 이미지의 크기이고, fs는원본 이미지 대 부분 샘플링 이미지 크기의 비율이고, ▽k는 이미지에서 타겟이 되는 객체의 비율을 의미함)5. The method of claim 4,
The size of the thumbnail and
Where μ H is the log value for the histogram, I WH is the size of the original image, fs is the ratio of the original image to the size of the partially sampled image, and ▽ k is the ratio of the target object in the image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110087621A KR101220003B1 (en) | 2011-08-31 | 2011-08-31 | Generating method for disparity map |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110087621A KR101220003B1 (en) | 2011-08-31 | 2011-08-31 | Generating method for disparity map |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101220003B1 true KR101220003B1 (en) | 2013-01-09 |
Family
ID=47841448
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110087621A KR101220003B1 (en) | 2011-08-31 | 2011-08-31 | Generating method for disparity map |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101220003B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101505360B1 (en) | 2014-01-22 | 2015-03-30 | 경북대학교 산학협력단 | A disparity search range estimation apparatus and method |
| US20170084014A1 (en) * | 2015-09-21 | 2017-03-23 | Kyungpook National University Industry-Academic Cooperation Foundation | Method for estimating disparity search range to which multi-level disparity image division is applied, and stereo image matching device using the same |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100762670B1 (en) | 2006-06-07 | 2007-10-01 | 삼성전자주식회사 | Method and device for generating disparity map from stereo image and stereo matching method and device therefor |
| KR100943635B1 (en) | 2008-11-06 | 2010-02-24 | 삼성에스디에스 주식회사 | Method and apparatus for generating disparity map using digital camera image |
-
2011
- 2011-08-31 KR KR1020110087621A patent/KR101220003B1/en not_active IP Right Cessation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100762670B1 (en) | 2006-06-07 | 2007-10-01 | 삼성전자주식회사 | Method and device for generating disparity map from stereo image and stereo matching method and device therefor |
| KR100943635B1 (en) | 2008-11-06 | 2010-02-24 | 삼성에스디에스 주식회사 | Method and apparatus for generating disparity map using digital camera image |
Non-Patent Citations (2)
| Title |
|---|
| 논문:전자공학회논문지 * |
| 논문:한국광학회 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101505360B1 (en) | 2014-01-22 | 2015-03-30 | 경북대학교 산학협력단 | A disparity search range estimation apparatus and method |
| US20170084014A1 (en) * | 2015-09-21 | 2017-03-23 | Kyungpook National University Industry-Academic Cooperation Foundation | Method for estimating disparity search range to which multi-level disparity image division is applied, and stereo image matching device using the same |
| US9785825B2 (en) * | 2015-09-21 | 2017-10-10 | Kyungpook National University Industry—Academic Cooperation Foundation | Method for estimating disparity search range to which multi-level disparity image division is applied, and stereo image matching device using the same |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11562498B2 (en) | Systems and methods for hybrid depth regularization | |
| CN108470356B (en) | Target object rapid ranging method based on binocular vision | |
| CN109086724B (en) | Accelerated human face detection method and storage medium | |
| CN108460792B (en) | Efficient focusing stereo matching method based on image segmentation | |
| KR20130112311A (en) | Apparatus and method for reconstructing dense three dimension image | |
| US20230206594A1 (en) | System and method for correspondence map determination | |
| KR100943635B1 (en) | Method and apparatus for generating disparity map using digital camera image | |
| US20140161313A1 (en) | Tracking device | |
| CN106952304A (en) | A kind of depth image computational methods of utilization video sequence interframe correlation | |
| TW201436552A (en) | Method and apparatus for increasing frame rate of an image stream using at least one higher frame rate image stream | |
| KR20150082417A (en) | Method for initializing and solving the local geometry or surface normals of surfels using images in a parallelizable architecture | |
| CN111739071A (en) | Rapid iterative registration method, medium, terminal and device based on initial value | |
| KR101178015B1 (en) | Generating method for disparity map | |
| CN110992393A (en) | Target motion tracking method based on vision | |
| Muresan et al. | A multi patch warping approach for improved stereo block matching | |
| JP2015019346A (en) | Parallax image generator | |
| KR101220003B1 (en) | Generating method for disparity map | |
| CN113793370A (en) | Three-dimensional point cloud registration method and device, electronic equipment and readable medium | |
| Isakova et al. | FPGA design and implementation of a real-time stereo vision system | |
| JP2961272B1 (en) | Object recognition apparatus and method using feature vector | |
| Yang et al. | Contrast limited adaptive histogram equalization for an advanced stereo visual slam system | |
| CN111630569B (en) | Binocular matching method, visual imaging device and device with storage function | |
| KR101505360B1 (en) | A disparity search range estimation apparatus and method | |
| RU2582853C2 (en) | Device for determining distance and speed of objects based on stereo approach | |
| CN112615993A (en) | Depth information acquisition method, binocular camera module, storage medium and electronic equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20170102 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20181004 Year of fee payment: 6 |
|
| R401 | Registration of restoration | ||
| LAPS | Lapse due to unpaid annual fee |