KR20160098012A - Method and apparatus for image matchng - Google Patents

Method and apparatus for image matchng Download PDF

Info

Publication number
KR20160098012A
KR20160098012A KR1020150153291A KR20150153291A KR20160098012A KR 20160098012 A KR20160098012 A KR 20160098012A KR 1020150153291 A KR1020150153291 A KR 1020150153291A KR 20150153291 A KR20150153291 A KR 20150153291A KR 20160098012 A KR20160098012 A KR 20160098012A
Authority
KR
South Korea
Prior art keywords
pixel
image
depth
candidate values
determining
Prior art date
Application number
KR1020150153291A
Other languages
Korean (ko)
Other versions
KR102427846B1 (en
Inventor
후이 장
융지 장
페이 두안
하오싱 왕
한재준
김정배
멩 예
이선민
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US15/019,046 priority Critical patent/US10097808B2/en
Publication of KR20160098012A publication Critical patent/KR20160098012A/en
Application granted granted Critical
Publication of KR102427846B1 publication Critical patent/KR102427846B1/en

Links

Images

Classifications

    • H04N13/0048—
    • H04N13/0246—
    • H04N13/0271—
    • H04N13/0495—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

A method and an apparatus for matching images are provided. An image matching apparatus can determine a range of a depth value of a pixel included in images to be processed, assign multiple depth candidate values to a pixel, reassign multiple depth candidate values to a pixel to be processed, based on the depth candidate values assigned to the pixel and multiple depth candidate values assigned to a pixel adjacent to the pixel to be processed, determine any one among the reassigned depth candidate values to be a depth value of the pixel to be processed, and match the pixel to be processed and a pixel in another image corresponding to the determined depth value.

Description

영상 매칭 방법 및 장치{METHOD AND APPARATUS FOR IMAGE MATCHNG}[0001] METHOD AND APPARATUS FOR IMAGE MATCHNG [

아래의 실시예들은 영상들을 매칭하기 위한 방법 및 장치에 관한 것으로, 보다 상세하게는, 계산된 영상의 픽셀의 깊이 값을 이용하여 영상들을 매칭하는 방법에 관한 것이다.The following embodiments relate to a method and apparatus for matching images, and more particularly, to a method for matching images using depth values of pixels of a calculated image.

3차원(Dimensional; D) 디스플레이 기술은 3D 영상을 생성하는 기술과 디스플레이 장비 기술을 포함한다. 3D 영상을 생성하는 방법은 복수의 시점들에서 동일한 장면(scene)에 대한 영상들을 촬영하고, 3각 측량을 이용하여 상이한 영상들의 픽셀들 간의 대응 관계를 검출하여 장면의 3D 정보를 획득한다.Dimensional (D) display technologies include technologies for generating 3D images and display equipment technology. A method of generating a 3D image is to capture 3D images of a scene by capturing images of the same scene at a plurality of viewpoints and detecting correspondence between pixels of different images using triangulation.

3D 영상을 생성하는 방법의 주요 내용은 영상 획득, 카메라 파라미터의 측정, 3D 매칭 및 3D 리모델링을 포함한다. 그 중에서, 3D 매칭의 목적은 두 개의 대응 픽셀들 간의 시각 차이(깊이로도 부름)를 계산함에 있다.The main contents of the 3D image generation method include image acquisition, measurement of camera parameters, 3D matching, and 3D remodeling. Among them, the purpose of 3D matching is to calculate the visual difference (also called depth) between two corresponding pixels.

일 측면에 따른, 영상 매칭 방법은 제1 영상 및 제2 영상의 특성에 기반하여 상기 제1 영상 및 상기 제2 영상에 포함된 픽셀의 깊이 값의 범위(range of depth value)를 결정하는 단계, 상기 제1 영상의 적어도 하나의 픽셀에 복수 개의 깊이 후보 값(depth candidate value)들을 할당하는 단계, 상기 제1 영상 내의 제1 픽셀에 할당된 복수 개의 제1 깊이 후보 값들 및 상기 제1 픽셀에 인접한 제2 픽셀에 할당된 복수 개의 제2 깊이 후보 값들에 기반하여 복수 개의 제3 깊이 후보 값들을 상기 제1 픽셀에 재할당하는 단계, 상기 재할당된 복수 개의 제3 깊이 후보 값들 중 하나의 값을 상기 제1 픽셀의 깊이 값으로 결정하는 단계 및 상기 제1 픽셀과 상기 결정된 제1 픽셀의 깊이 값에 대응하는 상기 제2 영상의 제3 픽셀을 매칭(matching)하는 단계를 포함한다.According to one aspect, an image matching method includes determining a range of depth values of pixels included in the first image and the second image based on characteristics of a first image and a second image, The method comprising: assigning a plurality of depth candidate values to at least one pixel of the first image, a plurality of first depth candidate values assigned to a first pixel in the first image, Reassigning a plurality of third depth candidate values to the first pixel based on the plurality of second depth candidate values assigned to the second pixel, assigning a value of one of the reassigned plurality of third depth candidate values Determining a depth value of the first pixel and a third pixel of the second image corresponding to the depth value of the determined first pixel.

상기 제3 깊이 후보 값들의 개수는 상기 제2 깊이 후보 값들의 개수와 동일할 수 있다.The number of the third depth candidate values may be equal to the number of the second depth candidate values.

상기 깊이 값의 범위를 결정하는 단계는, 상기 깊이 값의 범위의 최소 값 및 최대 값을 결정하는 단계 및 상기 깊이 값의 샘플링 간격을 결정하는 단계를 포함할 수 있다.The step of determining the range of the depth value may include determining a minimum value and a maximum value of the range of the depth value, and determining a sampling interval of the depth value.

상기 깊이 값의 범위를 결정하는 단계는, 상기 제1 영상 및 상기 제2 영상 내의 구조 특성(structure characteristic)에 기반하여 상기 깊이 값의 범위를 결정하는 단계를 포함할 수 있다.The step of determining the range of depth values may include determining a range of depth values based on a structure characteristic in the first image and the second image.

상기 픽셀에 복수 개의 깊이 후보 값들을 할당하는 단계는, 상기 깊이 값의 범위 내의 값들 중 임의적으로 상기 복수 개의 깊이 후보 값들을 상기 픽셀에 할당하는 단계를 포함할 수 있다.The step of assigning the plurality of depth candidate values to the pixel may include assigning the plurality of depth candidate values, arbitrarily among the values within the depth value range, to the pixel.

상기 복수 개의 제3 깊이 후보 값들을 상기 제1 픽셀에 재할당하는 단계는, 상기 복수 개의 제1 깊이 후보 값들 및 상기 복수 개의 제2 깊이 후보 값들에 기반하여 상기 제1 픽셀에 대한 깊이 후보 값들의 집합을 생성하는 단계, 상기 집합의 깊이 후보 값들에 대한 매칭 비용을 각각 계산하는 단계, 상기 매칭 비용들에 기반하여 중 상기 복수 개의 제3 깊이 후보 값들을 결정하는 단계 및 상기 복수 개의 제3 깊이 후보 값들을 상기 제1 픽셀에 재할당하는 단계를 포함할 수 있다.Wherein the step of reassigning the plurality of third depth candidate values to the first pixel further comprises: re-assigning the plurality of third depth candidate values to the first pixel based on the plurality of first depth candidate values and the plurality of second depth candidate values Calculating a plurality of third depth candidate values among the plurality of third depth candidates based on the matching costs, generating a plurality of third depth candidate values based on the matching costs, And reassigning the values to the first pixel.

상기 복수 개의 제3 깊이 후보 값들을 결정하는 단계는 상기 계산된 매칭 비용들 중 매칭 비용이 적은 순서대로 상기 복수 개의 제3 깊이 후보 값들을 결정하는 단계를 포함할 수 있다.The determining of the plurality of third depth candidate values may include determining the plurality of third depth candidate values in order of less matching cost among the calculated matching costs.

상기 매칭 비용을 계산하는 단계는, 상기 집합의 깊이 후보 값들의 각각에 대한 상기 제1 픽셀에 대응하는 상기 제2 영상의 복수의 대응 픽셀들을 결정하는 단계, 상기 제1 픽셀을 포함하는 참조 영역을 상기 제1 영상 내에 설정하는 단계, 상기 복수의 대응 픽셀들을 각각 포함하는 복수의 타겟(target) 영역들을 설정하는 단계 및 상기 참조 영역과 상기 복수의 타겟 영역들의 각각 간의 매칭 비용을 계산하는 단계를 포함할 수 있다.Wherein calculating the matching cost comprises: determining a plurality of corresponding pixels of the second image corresponding to the first pixel for each of the set of depth candidate values; Setting within the first image, setting a plurality of target regions each including the plurality of corresponding pixels, and calculating a matching cost between the reference region and each of the plurality of target regions can do.

상기 참조 영역과 상기 복수의 타겟 영역들의 각각 간의 매칭 비용을 계산하는 단계는, 상기 참조 영역 및 타겟 영역 간의 텍스쳐 특징(texture characteristic)의 매칭도를 상기 매칭 비용으로써 계산하는 단계를 포함할 수 있다.The calculating the matching cost between the reference area and each of the plurality of target areas may include calculating a matching degree of a texture characteristic between the reference area and the target area as the matching cost.

상기 복수의 타겟 영역들을 설정하는 단계는, 미리 설정된 평행 이동량에 기반하여 타겟 영역의 크기를 결정하는 단계를 포함할 수 있다.The step of setting the plurality of target areas may include determining a size of the target area based on the preset parallel movement amount.

상기 참조 영역과 상기 복수의 타겟 영역들의 각각 간의 매칭 비용을 계산하는 단계는, 제1 타겟 영역에 대한 하나 이상의 서브-타겟 영역들을 결정하는 단계, 상기 서브-타겟 영역들 각각에 대한 매칭 비용을 계산하는 단계 및 계산된 매칭 비용들에 기반하여 상기 제1 타겟 영역에 대한 한 개의 매칭 비용을 결정하는 단계를 포함할 수 있다.Wherein calculating the matching cost between the reference region and each of the plurality of target regions comprises: determining one or more sub-target regions for a first target region; computing a matching cost for each of the sub- And determining a matching cost for the first target area based on the calculated matching costs.

상기 영상 매칭 방법은 상기 제1 픽셀과 인접한 다른 픽셀에 복수 개의 깊이 후보 값들을 반복적으로 재할당하는 단계를 더 포함할 수 있다.The image matching method may further include the step of repeatedly reassigning a plurality of depth candidate values to another pixel adjacent to the first pixel.

상기 반복적으로 재할당하는 단계는, 상기 제1 영상의 모든 픽셀들에 대해 제1 스캔 순서로 진행하는 단계를 포함할 수 있다.The repeatedly reallocating may include proceeding with all pixels of the first image in a first scan order.

상기 제1 스캔 순서는, 좌에서 우로 행 순차 스캔 순서, 우에서 좌로 행 순차 스캔 순서, 위에서 아래로 열 순차 스캔 순서 및 아래에서 위로 열 순차 스캔 순서 중 어느 하나일 수 있다.The first scan order may be any one of left to right row sequential scan order, right to left row sequential scan order, top to bottom column sequential scan order, and bottom to top column sequential scan order.

상기 반복적으로 재할당하는 단계는, 상기 제1 스캔 순서가 종료된 후, 상기 제1 영상의 모든 픽셀들에 대해 제2 스캔 순서로 진행하는 단계를 더 포함할 수 있다.The step of repeatedly reallocating may further include a step of performing a second scan sequence on all the pixels of the first image after the first scan order is terminated.

상기 제2 스캔 순서는 상기 제1 스캔 순서와 상이할 수 있다.The second scan order may be different from the first scan order.

상기 복수 개의 제3 깊이 후보 값들 중 상기 하나의 값을 상기 제1 픽셀의 깊이 값으로 결정하는 단계는, 에너지 함수(energy function)를 이용하여 상기 복수 개의 제3 깊이 후보 값들 중 상기 하나의 값이 상기 제1 픽셀의 깊이 값으로 결정하는 단계를 포함할 수 있다.Wherein the step of determining the one of the plurality of third depth candidate values as the depth value of the first pixel comprises the step of using the energy function to calculate the one of the plurality of third depth candidate values And determining the depth value of the first pixel as the depth value of the first pixel.

다른 일 측면에 따른, 입체 매칭 장치는 제1 영상 및 제2 영상을 저장하는 저장부 및 상기 제1 영상 및 상기 제2 영상의 특성에 기반하여 상기 제1 영상 및 상기 제2 영상에 포함된 픽셀의 깊이 값의 범위를 결정하고, 상기 제1 영상의 적어도 하나의 픽셀에 복수 개의 깊이 후보 값들을 할당하고, 상기 제1 영상 내의 제1 픽셀에 할당된 복수 개의 제1 깊이 후보 값들 및 상기 제1 픽셀에 인접한 제2 픽셀에 할당된 복수 개의 제2 깊이 후보 값들에 기반하여 복수 개의 제3 깊이 후보 값들을 상기 제1 픽셀에 재할당하고, 상기 재할당된 복수 개의 제3 깊이 후보 값들 중 하나의 값을 상기 제1 픽셀의 깊이 값으로 결정하고, 상기 제1 픽셀과 상기 결정된 제1 픽셀의 깊이 값에 대응하는 상기 제2 영상의 제3 픽셀을 매칭(matching)하는 프로세서를 포함한다.According to another aspect, a stereoscopic matching apparatus includes a storage for storing a first image and a second image, and a storage unit for storing pixels included in the first image and the second image based on the characteristics of the first image and the second image, A plurality of depth candidate values assigned to a first pixel in the first image and a plurality of first depth candidate values assigned to a first pixel in the first image, Reassigning a plurality of third depth candidate values to the first pixel based on a plurality of second depth candidate values assigned to a second pixel adjacent to the pixel, Value as the depth value of the first pixel and matching the first pixel with the third pixel of the second image corresponding to the determined depth value of the first pixel.

또 다른 일 측면에 따른, 입체 영상의 깊이 맵 생성 방법은 제1 영상 및 제2 영상의 특성에 기반하여 상기 제1 영상 및 상기 제2 영상에 포함된 픽셀의 깊이 값의 범위(range of depth value)를 결정하는 단계, 상기 제1 영상의 적어도 하나의 픽셀에 복수 개의 깊이 후보 값(depth candidate value)들을 할당하는 단계, 상기 제1 픽셀에 할당된 복수 개의 제1 깊이 후보 값들 및 상기 제1 픽셀에 인접한 제2 픽셀에 할당된 복수 개의 제2 깊이 후보 값들에 기반하여 복수 개의 제3 깊이 후보 값들을 상기 제1 픽셀에 재할당하는 단계, 상기 재할당된 복수 개의 제3 깊이 후보 값들 중 하나의 값을 상기 제1 픽셀의 깊이 값으로 결정하는 단계 및 상기 제1 픽셀의 깊이 값을 이용하여 상기 제1 영상 및 제2 영상에 대한 깊이 맵(depth map)을 생성하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method of generating a depth map of a stereoscopic image, the method comprising: determining a range of depth value of a pixel included in the first and second images based on characteristics of the first and second images; ), Assigning a plurality of depth candidate values to at least one pixel of the first image, determining a plurality of first depth candidate values assigned to the first pixel and a second depth candidate value Reassigning a plurality of third depth candidate values to the first pixel based on a plurality of second depth candidate values assigned to a second pixel adjacent to the first depth candidate value, Determining a depth value of the first pixel as a depth value of the first pixel and a depth map of the first and second images using the depth value of the first pixel.

도 1은 일 예에 따른 매칭된 입체 영상들을 도시한다.
도 2는 일 실시예에 따른 영상 매칭 장치의 구성도이다.
도 3은 일 실시예에 따른 영상 매칭 방법의 흐름도이다.
도 4는 일 예에 따른 픽셀의 깊이 값의 범위를 결정하는 방법의 흐름도이다.
도 5는 일 예에 따른 픽셀에 깊이 후보 값들이 할당된 영상을 도시한다.
도 6은 일 예에 따른 픽셀에 깊이 후보 값들을 재할당하는 방법의 흐름도이다.
도 7은 일 예에 따른 집합의 깊이 후보 값들에 대한 매칭 비용을 계산하는 방법의 흐름도이다.
도 8은 일 예에 따른 복수의 대응 픽셀들을 결정하는 방법을 도시한다.
도 9는 일 예에 따른 참조 영역 및 타겟 영역을 도시한다.
도 10은 일 예에 따른 참조 영역 및 타겟 영역 간의 매칭 비용을 계산하는 방법의 흐름도를 도시한다.
도 11은 일 예에 따른 타겟 영역 내의 서브-타겟 영역들을 도시한다.
도 12 및 도 13은 일 예에 따른 처리된 픽셀과 인접한 다른 픽셀에 깊이 후보 값들을 반복적으로 재할당하는 방법의 흐름도이다.
도 14는 일 예에 따른 픽셀들의 스캔 순서에 대한 처리할 픽셀 및 처리할 픽셀의 인접 픽셀들을 도시한다.
도 15는 일 예에 따른 입체 영상의 깊이 맵 생성 방법의 흐름도를 도시한다.Figure 1 shows matched stereoscopic images according to an example.
2 is a block diagram of an image matching apparatus according to an exemplary embodiment of the present invention.
3 is a flowchart of an image matching method according to an exemplary embodiment.
4 is a flow chart of a method of determining the range of depth values of a pixel according to an example.
FIG. 5 shows an image in which depth candidate values are assigned to a pixel according to an example.
6 is a flow diagram of a method for reassigning depth candidate values to a pixel according to an example.
7 is a flow chart of a method for calculating a matching cost for a set of depth candidate values according to an example.
Figure 8 illustrates a method for determining a plurality of corresponding pixels according to an example.
Figure 9 shows a reference area and a target area according to an example.
10 illustrates a flow diagram of a method for calculating a matching cost between a reference region and a target region according to an example.
FIG. 11 illustrates sub-target areas within a target area according to an example.
Figures 12 and 13 are flowcharts of a method for repeatedly reassigning depth candidate values to another pixel adjacent to a processed pixel according to an example.
FIG. 14 illustrates a pixel to be processed and adjacent pixels of a pixel to be processed for a scan order of pixels according to an example.
15 is a flowchart illustrating a method of generating a depth map of a stereoscopic image according to an exemplary embodiment of the present invention.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.In the following, embodiments will be described in detail with reference to the accompanying drawings. However, the scope of the patent application is not limited or limited by these embodiments. Like reference symbols in the drawings denote like elements.

아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Various modifications may be made to the embodiments described below. It is to be understood that the embodiments described below are not intended to limit the embodiments, but include all modifications, equivalents, and alternatives to them.

실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the examples are used only to illustrate specific embodiments and are not intended to limit the embodiments. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms "comprises" or "having" and the like refer to the presence of stated features, integers, steps, operations, elements, components, or combinations thereof, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this embodiment belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In the following description of the present invention with reference to the accompanying drawings, the same components are denoted by the same reference numerals regardless of the reference numerals, and redundant explanations thereof will be omitted. In the following description of the embodiments, a detailed description of related arts will be omitted if it is determined that the gist of the embodiments may be unnecessarily blurred.

도 1은 일 예에 따른 매칭된 입체 영상들을 도시한다.Figure 1 shows matched stereoscopic images according to an example.

실제 촬영한 시점이 아닌, 가상 시점(virtual view point)에 대한 영상을 생성하기 위해서는 입력 영상들 간의 영상 매칭(image matching)이 수행되어야 한다. 영상 매칭은 영상들 간의 픽셀 대응 관계를 설정함으로써 수행될 수 있다. 예를 들어, 제1 영상(110) 내의 픽셀(113) 및 제2 영상(120) 내의 픽셀(123)을 대응 관계로 설정할 수 있다.Image matching between the input images must be performed in order to generate an image for a virtual view point rather than a point actually photographed. Image matching can be performed by setting a pixel correspondence relationship between images. For example, the pixel 113 in the first image 110 and the pixel 123 in the second image 120 can be set in a corresponding relationship.

일 측면에 따르면, 입력 영상들은 동일한 장면(scene)을 동일한 시각에 다른 시점에서 각각 촬영한 영상들일 수 있다. 예를 들어, 제1 영상(110)은 좌측 영상 및 제2 영상(120)은 우측 영상일 수 있다. 제1 영상(110) 및 제2 영상(120)은 3차원 영상 페어(3 Dimensional image pair)일 수 있다.According to one aspect, the input images may be images of the same scene taken at different times at the same time. For example, the first image 110 may be a left image and the second image 120 may be a right image. The first image 110 and the second image 120 may be a 3-dimensional image pair.

제1 영상(110) 및 제2 영상(120)는 동일한 배경(112 및 122) 및 동일한 전경(114 및 124)를 촬영한 영상이다. 전경은 배경 앞에 있으므로, 촬영된 시점이 다른 경우 전경은 영상들 내에서의 위치 변화가 배경에 비해 크다.The first image 110 and the second image 120 are images of the same backgrounds 112 and 122 and the same foregrounds 114 and 124, respectively. Since the foreground is in front of the background, when the photographed point is different, the foreground changes in position within the images compared to the background.

전경(114)의 영상 내의 깊이에 의해 제1 영상(110) 및 제2 영상(120)이 가지는 시차(disparity)가 발생할 수 있다. 발생하는 시차를 이용하여 픽셀(113) 및 픽셀(123) 간의 대응 관계가 추정될 수 있다. 이하에서는 픽셀의 깊이 값을 추정하고, 추정된 깊이 값을 이용하여 영상들을 매칭하는 방법이 도 2 내지 도 15를 참조하여 상세히 설명된다.The disparity of the first image 110 and the second image 120 may occur due to the depth of the foreground image 114. The corresponding relationship between the pixel 113 and the pixel 123 can be estimated using the generated parallax. Hereinafter, a method of estimating a depth value of a pixel and matching images using the estimated depth value will be described in detail with reference to FIG. 2 to FIG.

도 1에서는 하나의 픽셀에 대한 대응 관계만이 도시되었으나, 이에 한정되는 것은 아니다.In FIG. 1, only the correspondence relation to one pixel is shown, but the present invention is not limited thereto.

도 2는 일 실시예에 따른 영상 매칭 장치의 구성도이다.2 is a block diagram of an image matching apparatus according to an exemplary embodiment of the present invention.

영상 매칭 장치(200)는 통신부(210), 프로세서(220) 및 저장부(230)를 포함할 수 있다.The image matching apparatus 200 may include a communication unit 210, a processor 220, and a storage unit 230.

통신부(210)는 입력 영상들을 외부의 장치로부터 수신할 수 있다.The communication unit 210 may receive input images from an external device.

프로세서(220)는 통신부(210)가 수신한 데이터 및 저장부(230)에 저장된 데이터를 처리할 수 있다.The processor 220 may process the data received by the communication unit 210 and the data stored in the storage unit 230.

저장부(230)는 통신부(210)가 수신한 데이터 및 프로세서(220)가 처리한 데이터를 저장할 수 있다. 예를 들어, 저장부(230)는 통신부(210)가 수신한 하나 이상의 영상들을 저장할 수 있다.The storage unit 230 may store data received by the communication unit 210 and data processed by the processor 220. For example, the storage unit 230 may store one or more images received by the communication unit 210.

통신부(210), 프로세서(220) 및 저장부(230)에 대해, 아래의 도 3 내지 도 15를 참조하여 상세히 설명된다.The communication unit 210, the processor 220, and the storage unit 230 will be described in detail with reference to FIGS. 3 to 15 below.

도 3은 일 실시예에 따른 영상 매칭 방법의 흐름도이다.3 is a flowchart of an image matching method according to an exemplary embodiment.

아래의 단계들(310 내지 350)은 제1 영상의 픽셀에 대응하는 제2 영상의 픽셀을 결정함으로써 영상들을 매칭하는 방법에 관한 것이다.The following steps 310 to 350 relate to a method of matching images by determining the pixels of the second image corresponding to the pixels of the first image.

일 측면에 따르면, 단계(310)가 수행되기 전에, 제1 영상 및 제2 영상은 저장부(230)에 저장되어 있을 수 있다. 다른 일 측면에 따르면, 단계(310)가 수행되기 전에, 통신부(210)는 제1 영상 및 제2 영상을 다른 장치로부터 수신할 수 있다.According to an aspect, the first image and the second image may be stored in the storage unit 230 before the step 310 is performed. According to another aspect, before step 310 is performed, the communication unit 210 may receive the first image and the second image from another apparatus.

이하에서, 제1 영상 및 제2 영상에 대해 설명하지만 두 개의 영상들에 대해 한정되는 것이 아니며. 두 개 이상의 영상들에 대해서도 적용될 수 있다.Hereinafter, the first image and the second image will be described, but the present invention is not limited to the two images. It can be applied to two or more images.

단계(310)에서, 프로세서(220)는 픽셀에 할당될 깊이 값의 범위(range of depth value)를 결정할 수 있다.At step 310, the processor 220 may determine a range of depth values to be assigned to the pixel.

일 측면에 따르면, 프로세서(220)는 결정된 깊이 값의 범위를 일정한 간격으로 샘플링 함으로써 L개의 깊이 값들을 생성할 수 있다. L은 자연수이다.According to an aspect, the processor 220 may generate L depth values by sampling a range of determined depth values at regular intervals. L is a natural number.

깊이 값의 범위를 결정하는 방법에 대해, 아래에서 도 4를 참조하여 상세히 설명된다.A method for determining the range of depth values will be described in detail below with reference to Fig.

단계(320)에서, 프로세서(220)는 제1 영상의 픽셀에 복수 개의 깊이 후보 값(depth candidate value)들을 할당할 수 있다. 예를 들어, 할당되는 깊이 후보 값들의 개수가 M으로 표시될 수 있다. M은 자연수이다.In step 320, the processor 220 may assign a plurality of depth candidate values to the pixels of the first image. For example, the number of depth candidate values to be assigned may be denoted by M. M is a natural number.

일 측면에 따르면, 프로세서(220)는 L개의 깊이 값들 중 M개의 깊이 값을 픽셀의 깊이 후보 값으로 픽셀에 할당할 수 있다. 예를 들어, 프로세서(220)는 M개의 깊이 후보 값을 임의적으로(randomly) 픽셀에 할당할 수 있다. M개의 깊이 후보 값은 초기 깊이 후보 값일 수 있다.According to an aspect, the processor 220 may assign M depth values of the L depth values to the pixels as depth candidate values of the pixels. For example, processor 220 may assign M depth candidate values randomly to pixels. The M depth candidate values may be initial depth candidate values.

아래의 도 5는 제1 영상의 픽셀들에 임의적으로 깊이 후보 값이 할당된 깊이 맵(depth map)을 도시한다. 도 5는 아래에서 다시 설명된다.FIG. 5 below shows a depth map in which depth candidate values are arbitrarily assigned to pixels of the first image. 5 is again described below.

제1 영상에 대해 단계(320)가 수행되는 것으로 설명되었으나, 제2 영상에 대해서도 단계(320)가 수행될 수 있다.Although step 320 has been described as being performed for the first image, step 320 may also be performed for the second image.

단계(330)에서, 프로세서(220)는 제1 영상 내의 제1 픽셀에 할당된 복수 개의 제1 깊이 후보 값들 및 제1 픽셀에 인접한 제2 픽셀에 할당된 복수 개의 제2 깊이 후보 값들에 기반하여 제1 픽셀에 복수 개의 제3 깊이 후보 값들을 재할당할 수 있다.At step 330, the processor 220 determines whether the first depth candidate value is greater than the first depth candidate value, based on the plurality of first depth candidate values assigned to the first pixel in the first image and the second depth candidate values assigned to the second pixel adjacent to the first pixel And reassign a plurality of third depth candidate values to the first pixel.

일 측면에 따르면, 제1 픽셀에 인접한 제2 픽셀은 복수일 수 있다. 예를 들어, 단계(330)에서 이용되는 제2 픽셀은 이미 깊이 후보 값이 재할당된 픽셀일 수 있다. 처리 순서에 따라 아직 깊이 후보 값이 재할당되지 않은 픽셀은, 제1 픽셀에 인접해 있는 경우라도 상기의 제1 픽셀에 인접한 제2 픽셀이 될 수 없다.According to an aspect, the second pixel adjacent to the first pixel may be plural. For example, the second pixel used in step 330 may be a pixel for which the depth candidate value has already been reassigned. A pixel whose depth candidate value has not yet been reassigned according to the processing order can not be a second pixel adjacent to the first pixel even if it is adjacent to the first pixel.

예를 들어, 제1 깊이 후보 값들의 개수는 M개 이고, 제2 깊이 후보 값들의 개수는 N개 이고, 제3 깊이 후보 값들의 개수는 N개 일 수 있다. N은 M 이하이고, 2 이상의 자연수일 수 있다. 예를 들어, M은 5이고, N은 3일 수 있다.For example, the number of the first depth candidate values may be M, the number of the second depth candidate values may be N, and the number of the third depth candidate values may be N. [ N is M or less, and may be a natural number of 2 or more. For example, M may be 5, and N may be 3.

제1 픽셀에 인접한 제2 픽셀에 대한 범위는 미리 설정될 수 있다. 예를 들어, 제1 픽셀에 바로 인접한 픽셀이 제2 픽셀이 될 수 있다. 다른 예로, 제1 픽셀로부터 소정의 거리 내에 위치하는 픽셀들이 제2 픽셀이 될 수 있다.The range for the second pixel adjacent to the first pixel can be preset. For example, a pixel immediately adjacent to the first pixel may be a second pixel. In another example, pixels located within a predetermined distance from the first pixel may be the second pixel.

하나의 픽셀에 대해 복수의 깊이 후보 값들을 유지함으로써 영상 매칭의 강인성(robustness)이 유지될 수 있다.The robustness of image matching can be maintained by maintaining a plurality of depth candidate values for one pixel.

단계(330)는 제1 영상의 픽셀들에 대해 반복적으로 수행되는 것으로 이해될 수 있다. 특정 픽셀에 대해 깊이 후보 값들이 재할당되면, 처리 순서(또는 스캔 순서)에 따라 다음 픽셀에 대한 처리가 수행될 수 있다. 픽셀에 재할당된 깊이 후보 값이 처리될 픽셀에 전파됨으로써 인접한 픽셀들 간의 기하학적 위치의 연관성이 유지될 수 있다. Step 330 can be understood to be performed repetitively for the pixels of the first image. If the depth candidate values are reassigned for a particular pixel, processing for the next pixel may be performed according to the processing order (or scan order). The re-assigned depth candidate value to the pixel can be propagated to the pixel to be processed so that the association of the geometric position between adjacent pixels can be maintained.

제1 영상 내의 픽셀들의 처리 순서 및 제1 픽셀에 인접한 제2 픽셀에 대해 아래에서, 도 12 내지 도 14를 참조하여 상세히 설명한다.The processing order of the pixels in the first image and the second pixel adjacent to the first pixel will be described below in detail with reference to Figs. 12 to 14 below.

제1 픽셀에 복수 개의 제3 깊이 후보 값들을 재할당하는 방법에 대해, 아래에서 도 6 내지 도 11을 참조하여 상세히 설명된다.A method of reallocating a plurality of third depth candidate values to a first pixel will be described in detail below with reference to Figs. 6 to 11. Fig.

제1 영상에 대해 단계(330)가 수행되는 것으로 설명되었으나, 제2 영상에 대해서도 단계(330)가 수행될 수 있다.Although step 330 has been described as being performed for the first image, step 330 may also be performed for the second image.

단계(340)에서, 프로세서(220)는 재할당된 복수 개의 제3 깊이 후보 값들 중 하나의 값을 제1 픽셀의 값으로 결정할 수 있다. 결정된 하나의 깊이 값은 최적(optimal) 깊이 값일 수 있다.In step 340, the processor 220 may determine a value of one of the plurality of re-allocated third depth candidate values as the value of the first pixel. One determined depth value may be an optimal depth value.

복수 개의 제3 깊이 후보 값들 중 하나의 값을 제1 픽셀의 값으로 결정하는 방법에 대해, 특별한 실시예로 한정되는 것은 아니다.The method for determining one of the plurality of third depth candidate values as the value of the first pixel is not limited to the specific embodiment.

일 측면에 따르면, 프로세서(220)는 글로벌 제약 조건(全局束)을 이용하여 복수 개의 제3 깊이 후보 값들 중 하나의 최적 깊이 값을 결정할 수 있다. 예를 들어, 프로세서(220)는 에너지 함수(energy function)를 생성하고, 생성된 에너지 함수에 기반하여 최적 값을 결정할 수 있다. 에너지 함수의 최대 값 또는 최소 값을 가지는 깊이 후보 값이 최적 깊이 값으로 결정될 수 있다.According to an aspect, the processor 220 may determine an optimal depth value of one of the plurality of third depth candidate values using a global constraint (global station bundle). For example, the processor 220 may generate an energy function and determine an optimal value based on the generated energy function. The depth candidate value having the maximum value or the minimum value of the energy function can be determined as the optimum depth value.

프로세서(220)는 동적 프로그래밍, 이미지 분할, 인공지능(예를 들어, 신경 네트워크 또는 유전적 알고리즘에 기초) 및 신뢰도 전파 중 적어도 하나의 방법을 이용하여 에너지 함수를 생성할 수 있다.The processor 220 may generate an energy function using at least one of the following methods: dynamic programming, image segmentation, artificial intelligence (e.g., based on neural networks or genetic algorithms), and reliability propagation.

단계(350)에서, 프로세서(220)는 제1 픽셀과, 결정된 제1 픽셀의 깊이 값에 대응하는 제2 영상의 제3 픽셀을 매칭할 수 있다.At step 350, the processor 220 may match the first pixel and the third pixel of the second image corresponding to the determined depth value of the first pixel.

프로세서(220)는 제1 픽셀 및 제3 픽셀의 매칭에 기반하여 제1 영상 및 제2 영상을 매칭할 수 있다.The processor 220 may match the first image and the second image based on the matching of the first pixel and the third pixel.

일 측면에 따르면, 제1 영상 내의 복수의 픽셀들이 제2 영상 내의 복수의 픽셀들과 매칭될 수 있다. 프로세서(220)는 매칭된 픽셀들에 기반하여 제1 영상 및 제2 영상을 매칭할 수 있다.According to an aspect, a plurality of pixels in the first image may be matched with a plurality of pixels in the second image. The processor 220 may match the first image and the second image based on the matched pixels.

도 4는 일 예에 따른 픽셀의 깊이 값의 범위를 결정하는 방법의 흐름도이다.4 is a flow chart of a method of determining the range of depth values of a pixel according to an example.

전술된 단계(310)는 아래의 단계들(410 내지 430)을 포함할 수 있다.The above-described step 310 may include the following steps 410 to 430.

단계(430)에서, 프로세서(220)는 제1 영상 및 제2 영상의 특성에 기반하여 제1 영상 및 제2 영상에 포함된 픽셀의 깊이 값의 범위를 결정할 수 있다. 예를 들어, 깊이 값의 범위는 1,000,000일 수 있다. 1,000,000은 예시적인 값이며, 이에 한정되는 것은 아니다.In step 430, the processor 220 may determine a range of depth values of the pixels included in the first image and the second image based on the characteristics of the first image and the second image. For example, the range of depth values may be 1,000,000. 1,000,000 is an exemplary value, but is not limited thereto.

일 측면에 따르면, 프로세서(220)는 제1 영상 및 제2 영상 중 적어도 하나의 영상 내의 인접한 픽셀들 간의 그레이 그래디언트(gray gradient) 대응 관계에 기반하여 깊이 값의 범위를 결정할 수 있다.According to one aspect, the processor 220 may determine a range of depth values based on a gray gradient correspondence between adjacent pixels in at least one of the first image and the second image.

다른 일 측면에 따르면, 프로세서(220)는 제1 영상 및 제2 영상 중 적어도 하나의 영상 내의 구조 특성(structure characteristic)에 기반하여 깊이 값의 범위를 결정할 수 있다. 구조 특성은 텍스쳐(texture), 엣지(edge) 및 엣지의 교점을 포함할 수 있다.According to another aspect, the processor 220 may determine a range of depth values based on a structure characteristic in at least one of the first image and the second image. The structural properties may include the intersection of texture, edge and edge.

단계(420)에서, 프로세서(220)는 깊이 값의 최소 값 및 최대 값을 결정할 수 있다. 예를 들어, 프로세서(220)는 제1 영상 및 제2 영상의 특성에 기반하여 깊이 값의 최소 값 및 최대 값을 결정할 수 있다.At step 420, the processor 220 may determine a minimum value and a maximum value of the depth value. For example, the processor 220 may determine the minimum and maximum depth values based on the characteristics of the first and second images.

예를 들어, 깊이 값의 최소 값은 음수의 값을 가질 수 있다.For example, the minimum value of the depth value may have a negative value.

단계(430)에서, 프로세서(220)는 깊이 값의 샘플링 간격을 결정할 수 있다.At step 430, the processor 220 may determine a sampling interval of depth values.

일 측면에 따르면, 프로세서(220)는 깊이 값을 표현하기 위해 할당되는 데이터의 크기에 기반하여 샘플링 간격을 결정할 수 있다. 예를 들어, 하나의 픽셀의 깊이 값을 표현하기 위한 데이터의 크기가 8비트(bit)인 경우, 8비트로 표현할 수 있는 값의 개수는 256개일 수 있다. 프로세서(220)는 샘플링된 깊이 값들의 개수가 256개 이하가 되도록 샘플링 간격을 결정할 수 있다.According to one aspect, the processor 220 may determine the sampling interval based on the size of the data that is allocated to represent the depth value. For example, when the size of data for representing the depth value of one pixel is 8 bits, the number of values that can be represented by 8 bits may be 256. The processor 220 may determine a sampling interval such that the number of sampled depth values is 256 or less.

예를 들어, 깊이 값의 범위가 1,000,000로 결정되고, 최소 값이 -5,000이고, 최대 값이 995,000이고, 데이터의 크기가 8비트인 경우, 샘플링 간격은 5,000으로 결정될 수 있다. 샘플링 간격이 5,000인 경우 샘플링된 깊이 값들의 개수는 200이므로, 깊이 값들이 8비트를 이용하여 표현될 수 있다.For example, if the depth value is determined to be 1,000,000, the minimum value is -5,000, the maximum value is 995,000, and the data size is 8 bits, the sampling interval may be determined to be 5,000. When the sampling interval is 5,000, the number of sampled depth values is 200, so the depth values can be expressed using 8 bits.

단계들(410 내지 430)을 통해 픽셀에 할당될 깊이 값의 후보들이 결정될 수 있다.Candidates of the depth value to be assigned to the pixel through steps 410 to 430 may be determined.

도 5는 일 예에 따른 픽셀에 깊이 후보 값들이 할당된 영상을 도시한다.FIG. 5 shows an image in which depth candidate values are assigned to a pixel according to an example.

제1 영상(500)은 복수의 픽셀들을 포함할 수 있다.The first image 500 may include a plurality of pixels.

전술된 단계(320)가 수행됨으로써 각 픽셀에 복수의 깊이 후보 값들이 할당될 수 있다.A plurality of depth candidate values may be assigned to each pixel by performing step 320 described above.

도시된 제1 영상(500)은 픽셀에 할당된 복수의 깊이 후보 값들 중 임의의 값을 도시하고 있을 수 있다. 픽셀의 색이 흰색에 가까울수록 작은 깊이 값이 픽셀에 할당된 것이고, 픽셀의 색이 검정에 가까울수록 큰 깊이 값이 픽셀에 할당된 것이다.The illustrated first image 500 may illustrate any of a plurality of depth candidate values assigned to a pixel. The closer the color of the pixel is to white, the smaller the depth value is assigned to the pixel, and the closer the color of the pixel is to black, the larger the depth value is assigned to the pixel.

도시된 제1 영상(500)은 픽셀에 할당된 복수의 깊이 후보 값들 중 어느 하나만을 나타내고 있으나, 각 픽셀에는 복수의 깊이 후보 값들이 할당되어 있다.The illustrated first image 500 shows only one of a plurality of depth candidate values assigned to a pixel, but a plurality of depth candidate values are assigned to each pixel.

도 6은 일 예에 따른 픽셀에 깊이 후보 값들을 재할당하는 방법의 흐름도이다.6 is a flow diagram of a method for reassigning depth candidate values to a pixel according to an example.

전술된 단계(330)는 아래의 제1 픽셀에 단계들(610 내지 640)을 포함할 수 있다.The above-described step 330 may include steps 610 through 640 at the first pixel below.

단계(610)에서, 프로세서(220)는 제1 픽셀에 대한 깊이 후보 값들의 집합을 생성할 수 있다.At step 610, the processor 220 may generate a set of depth candidate values for the first pixel.

일 측면에 따르면, 프로세서(220)는 제1 픽셀에 할당된 복수 개의 제1 깊이 후보 값들(예를 들어, M개) 및 제1 픽셀에 인접한 제2 픽셀에 할당된 복수 개의 제2 깊이 후보 값들(예를 들어, N개)에 기반하여 제1 픽셀에 대한 깊이 후보 값들의 집합을 생성할 수 있다. 제2 픽셀에 할당된 복수 개의 제2 깊이 후보 값들은 제2 픽셀에 대해 단계(330)가 수행되어, 제2 픽셀에 재할당된 값들일 수 있다.According to one aspect, the processor 220 includes a plurality of first depth candidate values (e.g., M) assigned to a first pixel and a plurality of second depth candidate values assigned to a second pixel adjacent to the first pixel (E. G., N) of depth candidate values for the first pixel. The plurality of second depth candidate values assigned to the second pixel may be values reassigned to the second pixel by performing step 330 for the second pixel.

예를 들어, 처리 순서(스캔 순서)에 따라, 제1 픽셀이 첫 처리 픽셀인 경우, 제2 픽셀은 존재하지 않을 수 있다. 제2 픽셀이 존재하지 않는 경우, 깊이 후보 값들의 집합은 제1 픽셀에 할당된 M개의 깊이 후보 값들을 포함한다. 제2 픽셀이 존재하지 않는 경우, 집합의 원소의 개수는 M개 일 수 있다.For example, according to the processing sequence (scan order), if the first pixel is the first processed pixel, the second pixel may not be present. If the second pixel is not present, the set of depth candidate values includes M depth candidate values assigned to the first pixel. If there is no second pixel, the number of elements in the set may be M.

다른 예로, 제1 픽셀이 제1 영상의 가장자리에 위치하는 경우, 제2 픽셀은 한 개 존재할 수 있다. 제2 픽셀이 한 개 존재하는 경우, 깊이 후보 값들의 집합은 제1 픽셀에 할당된 M개의 깊이 후보 값들 및 제2 픽셀에 N개의 깊이 후보 값들을 포함할 수 있다. 제2 픽셀이 한 개인 경우, 집합의 원소의 개수는 최대 M+N개 일 수 있다.In another example, if the first pixel is located at the edge of the first image, there may be one second pixel. If there is one second pixel, the set of depth candidate values may include M depth candidate values assigned to the first pixel and N depth candidate values for the second pixel. If there is only one second pixel, the number of elements of the set may be a maximum of M + N.

또 다른 예로, 제1 픽셀에 인접한 제2 픽셀이 두 개 존재할 수 있다. 제2 픽셀이 두 개 존재하는 경우, 깊이 후보 값들의 집합은 제1 픽셀에 할당된 M개의 깊이 후보 값들 및 각각의 제2 픽셀에 할당된 N의 깊이 후보 값들을 포함할 수 있다. 제2 픽셀이 두 개인 경우, 집합의 원소의 개수는 최대 M+2*N개 일 수 있다.As another example, there may be two second pixels adjacent to the first pixel. If there are two second pixels, the set of depth candidate values may include M depth candidate values assigned to the first pixel and N depth candidate values assigned to each second pixel. If there are two second pixels, the number of elements in the set can be at most M + 2 * N.

단계(620)에서, 프로세서(220)는 집합의 깊이 후보 값들에 대한 매칭 비용(matching cost)을 계산할 수 있다.At step 620, the processor 220 may calculate a matching cost for the depth candidate values of the set.

매칭 비용을 계산하는 방법에 대해, 아래에서 도 7 내지 도 9를 참조하여 상세히 설명된다.A method of calculating the matching cost will be described in detail below with reference to Figs. 7 to 9.

단계(630)에서, 프로세서(220)는 계산된 매칭 비용들에 기반하여 복수 개의 제3 깊이 후보 값들을 결정할 수 있다. 예를 들어, 제3 깊이 후보 값들의 개수는 제2 깊이 후보 값의 개수와 동일할 수 있다.At step 630, the processor 220 may determine a plurality of third depth candidate values based on the calculated matching costs. For example, the number of third depth candidate values may be equal to the number of second depth candidate values.

일 측면에 따르면, 프로세서(220)는 매칭 비용들 중 매칭 비용이 적은 순서대로 제3 깊이 후보 값들을 결정할 수 있다.According to an aspect, the processor 220 may determine the third depth candidate values in order of lesser matching costs among the matching costs.

단계(640)에서, 프로세서(220)는 결정된 제3 깊이 후보 값들을 제1 픽셀에 재할당할 수 있다.At step 640, the processor 220 may reassign the determined third depth candidate values to the first pixel.

도 7은 일 예에 따른 집합의 깊이 후보 값들에 대한 매칭 비용을 계산하는 방법의 흐름도이다.7 is a flow chart of a method for calculating a matching cost for a set of depth candidate values according to an example.

전술된 단계(620)는 아래의 단계들(710 내지 740)을 포함할 수 있다.The above-described step 620 may include the following steps 710-740.

단계(710)에서, 프로세서(220)는 집합의 깊이 후보 값들에 대한 제1 픽셀에 대응하는 제2 영상의 대응 픽셀들을 결정할 수 있다. 예를 들어, 집합의 깊이 후보 값들이 복수인 경우, 결정되는 대응 픽셀들도 복수일 수 있다.At step 710, the processor 220 may determine corresponding pixels of a second image corresponding to a first pixel for depth candidate values of the set. For example, if the depth candidate values of the set are a plurality, the corresponding pixels to be determined may also be plural.

대응 픽셀을 결정하는 방법에 대해, 아래에서 도 8을 참조하여 상세히 설명된다.A method for determining a corresponding pixel is described in detail below with reference to Fig.

단계(720)에서, 프로세서(220)는 제1 영상 내에 참조 영역(reference region)을 설정할 수 있다.In step 720, the processor 220 may set a reference region in the first image.

일 측면에 따르면, 프로세서(220)는 제1 픽셀을 포함하는 참조 영역을 제1 영상 내에 설정할 수 있다. 예를 들어, 참조 영역은 3x3 크기일 수 있다. 다른 예로, 참조 영역의 크기 및 형태는 임의적일 수 있다. 참조 영역의 크기는 영상 매칭 장치(200)의 계산 속도에 기반하여 미리 설정될 수 있다.According to one aspect, the processor 220 may set a reference area in the first image that includes the first pixel. For example, the reference area may be 3x3 size. In another example, the size and shape of the reference region may be arbitrary. The size of the reference area may be preset based on the calculation speed of the image matching apparatus 200.

단계(730)에서, 프로세서(220)는 대응 픽셀들을 각각 포함하는 타겟 영역(target region)들을 제2 영상 내에 설정할 수 있다.At step 730, the processor 220 may set target regions, each containing corresponding pixels, in the second image.

프로세서(220)는 미리 설정된 평행 이동량(maximum parallel movement amount)에 기반하여 타겟 영역의 크기를 결정할 수 있다.The processor 220 may determine the size of the target area based on a preset maximum parallel movement amount.

타겟 영역에 대해, 아래에서 도 9 및 도 11을 참조하여 상세히 설명된다.The target area will be described in detail below with reference to Figs. 9 and 11. Fig.

단계(740)에서, 프로세서(220)는 참조 영역 및 각각의 타겟 영역 간의 매칭 비용을 계산할 수 있다.At step 740, the processor 220 may calculate a matching cost between the reference area and each of the target areas.

예를 들어, 프로세서(220)는 참조 영역 및 타겟 영역 간의 텍스쳐 특징(texture characteristic)의 매칭도를 매칭 비용으로써 계산할 수 있다.For example, the processor 220 may calculate a matching degree of a texture characteristic between a reference area and a target area as a matching cost.

다른 예로, 프로세서(220)는 참조 영역 및 타겟 영역 간의 색상 값 또는 그레이 값의 분포의 유사도를 매칭 비용으로써 계산할 수 있다.As another example, the processor 220 may calculate the similarity of the distribution of color values or gray values between the reference region and the target region as a matching cost.

참조 영역 및 각각의 타겟 영역 간의 매칭 비용을 계산하는 방법에 대해, 아래에서 도 10 및 도 11을 참조하여 상세히 설명된다.A method of calculating the matching cost between the reference area and each target area will be described in detail below with reference to FIGS. 10 and 11. FIG.

도 8은 일 예에 따른 복수의 대응 픽셀들을 결정하는 방법을 도시한다.Figure 8 illustrates a method for determining a plurality of corresponding pixels according to an example.

제1 픽셀(812)의 깊이 값은 제1 픽셀(812) 및 제1 시점(811)을 연결하는 직선 상에 위치할 수 있다. 제1 시점(811)은 제1 영상(810)을 생성한 시점일 수 있다. 제1 픽셀에 대한 집합은 깊이 후보 값들(d1, d2, d3, d4 및 d5)을 포함할 수 있다.The depth value of the first pixel 812 may be located on a line connecting the first pixel 812 and the first point of view 811. The first point of view 811 may be a point of time when the first image 810 is generated. The set for the first pixel may include depth candidate values dl, d2, d3, d4, and d5.

각 깊이 후보 값들(d1, d2, d3, d4 및 d5)과 제2 시점(821)을 연결하는 직선 상에 대응 픽셀들(822, 823, 824, 825 및 826)이 위치할 수 있다.The corresponding pixels 822, 823, 824, 825, and 826 may be located on a straight line connecting each of the depth candidate values d1, d2, d3, d4, and d5 and the second view point 821. [

일 측면에 따르면, 프로세서(220)는 제1 영상(810)에 대한 파라미터, 제2 영상(820)에 대한 파라미터 및 에피폴라 구속 조건(epipolar condition of restriction)에 기반하여 제1 픽셀(812)의 대응 픽셀들(822, 823, 824, 825 및 826)을 결정할 수 있다.According to one aspect, the processor 220 may determine the first image 810 based on the parameters for the first image 810, the parameters for the second image 820, and the epipolar condition of restriction. And may determine corresponding pixels 822, 823, 824, 825 and 826.

예를 들어, 제1 영상(810)에 대한 파라미터는 제1 영상(810)을 촬영한 카메라의 좌표 및 촬영 방향에 대한 각도 정보를 포함할 수 있다.For example, the parameter for the first image 810 may include the coordinates of the camera that captured the first image 810 and angle information about the photographing direction.

제1 영상(810) 및 제2 영상(820)이 동일한 높이 동일한 롤 각도(roll angle) 및 동일한 피치 각도(pitch angle)에서 촬영된 경우, 제1 영상(810) 및 제2 영상(820)은 요 각도(yaw angle)가 상이할 수 있다. 제1 영상(810) 및 제2 영상(820)가 요 각도(yaw angle)만이 상이한 경우, 대응 픽셀들은 제2 영상(720)에서 x축으로 평행 이동한 것으로 이해될 수 있다.When the first image 810 and the second image 820 are taken at the same height and the same roll angle and the same pitch angle, the first image 810 and the second image 820 are The yaw angle may be different. If only the first image 810 and the second image 820 are different in yaw angle, the corresponding pixels may be understood to be moved in parallel in the second image 720 along the x axis.

도 9는 일 예에 따른 참조 영역 및 타겟 영역을 도시한다.Figure 9 shows a reference area and a target area according to an example.

참조 영역(910)은 제1 영상(810) 내에 제1 픽셀(812)을 포함하도록 설정될 수 있다. 예를 들어, 제1 픽셀(812)이 중앙에 위치하도록 참조 영역(910)이 설정될 수 있다.The reference area 910 may be set to include the first pixel 812 in the first image 810. For example, the reference area 910 may be set such that the first pixel 812 is centered.

타겟 영역들(920 및 930)은 제2 영상(820) 내에 각각의 대응 픽셀(822 또는 823)을 포함하도록 설정될 수 있다.Target areas 920 and 930 may be set to include respective corresponding pixels 822 or 823 in second image 820. [

타겟 영역에 대해서는, 아래에서 도 10 및 11을 참조하여 상세히 설명된다.The target area will be described in detail below with reference to FIGS. 10 and 11. FIG.

도 10은 일 예에 따른 참조 영역 및 타겟 영역 간의 매칭 비용을 계산하는 방법의 흐름도를 도시한다.10 illustrates a flow diagram of a method for calculating a matching cost between a reference region and a target region according to an example.

전술된 단계(740)는 아래의 단계들(1010 내지 1030)을 포함할 수 있다.The above-described step 740 may include the following steps 1010-1030.

단계(1010)에서, 프로세서(220)는 제1 타겟 영역에 대한 하나 이상의 서브-타겟 영역들을 결정할 수 있다. 예를 들어, 서브-타겟 영역은 제1 타겟 영역에 포함되고, 크기가 제1 타겟 영역 이하이다.At step 1010, the processor 220 may determine one or more sub-target regions for the first target region. For example, the sub-target region is included in the first target region and the size is less than or equal to the first target region.

단계(1020)에서, 프로세서(220)는 서브-타겟 영역들 각각에 대한 매칭 비용을 계산할 수 있다.At step 1020, the processor 220 may calculate a matching cost for each of the sub-target regions.

일 측면에 따르면, 프로세서(220)는 참조 영역 및 서브-타겟 영역들 각각 간의 매칭 비용을 계산할 수 있다.According to one aspect, the processor 220 may calculate a matching cost between each of the reference region and the sub-target regions.

예를 들어, 프로세서(220)는 참조 영역 및 서브-타겟 영역 간의 텍스쳐 특징의 매칭도를 매칭 비용으로써 계산할 수 있다. 프로세서(220)는 제1 픽셀을 중심으로 하는 텍스쳐 영역 및 대응 픽셀을 중심으로 하는 텍스쳐 영역 간의 매칭도를 계산할 수 있다.For example, the processor 220 may calculate the matching degree of the texture feature between the reference area and the sub-target area as a matching cost. The processor 220 may calculate the degree of matching between the texture area centered at the first pixel and the texture area centered at the corresponding pixel.

다른 예로, 프로세서(220)는 참조 영역 및 서브-타겟 영역 간의 색상 값 또는 그레이 값의 분포의 유사도를 매칭 비용으로써 계산할 수 있다. 픽셀들 간의 그레이 값 차이의 제곱의 합(Sum of Squared Difference; SSD), 픽셀들 간의 그레이 값 차이의 절대 값의 합(sum of absolute different; SAD), 정규화된 교차 상관관계 (normalized cross correlation; NCC) 및 제로 평균 정규화된 교차 상관관계(zero-mean normalized cross-correlation; ZNCC)가 매칭 비용으로 계산될 수 있다.As another example, the processor 220 may calculate the similarity of the distribution of color values or gray values between the reference region and the sub-target regions as a matching cost. A Sum of Squared Difference (SSD) of gray value differences between pixels, a sum of absolute differences (SAD) of gray value differences between pixels, a normalized cross correlation (NCC ) And a zero-mean normalized cross-correlation (ZNCC) can be calculated as a matching cost.

또 다른 예로, 프로세서(220)는 제1 픽셀을 중심으로 하는 위상(phase) 및 대응 픽셀을 중심으로 하는 위상 간의 매칭도가 계산될 수 있다.As another example, the processor 220 may calculate a degree of matching between a phase about a first pixel and a phase about a corresponding pixel.

또 다른 예로, 프로세서(220)는 제1 픽셀을 중심으로 하는 벡터 및 대응 픽셀을 중심으로 하는 벡터 간의 매칭도가 계산될 수 있다.As another example, the processor 220 may calculate a degree of matching between a vector centered at the first pixel and a vector centered at the corresponding pixel.

단계(1030)에서, 프로세서(220)는 계산된 매칭 비용들에 기반하여 제1 타겟 영역에 대한 한 개의 매칭 비용을 결정할 수 있다.At step 1030, the processor 220 may determine one matching cost for the first target area based on the calculated matching costs.

예를 들어, 프로세서(220)는 서브-타겟 영역들 각각에 대해 계산된 매칭 비용들 중 가장 비용이 큰 매칭 비용을 결정할 수 있다.For example, the processor 220 may determine the most costly matching cost among the calculated matching costs for each of the sub-target regions.

다른 예로, 프로세서(220)는 서브-타겟 영역들 각각에 대해 계산된 매칭 비용들 중 가장 비용이 작은 매칭 비용을 결정할 수 있다.As another example, the processor 220 may determine the least cost of the matching costs calculated for each of the sub-target regions.

프로세서(220)는 제2 타겟 영역에 대해서도 제1 타겟 영역과 동일하게 단계(1010 내지 1030)을 적용시킴으로써, 제2 타겟 영역에 대한 한 개의 매칭 비용을 결정할 수 있다.The processor 220 may determine one matching cost for the second target region by applying steps 1010 through 1030 to the second target region in the same manner as the first target region.

도 11은 일 예에 따른 타겟 영역 내의 서브-타겟 영역들을 도시한다.FIG. 11 illustrates sub-target areas within a target area according to an example.

제2 영상(820)에 설정된 타겟 영역(920)의 크기는 참조 영역(910)의 크기 보다 같거나 클 수 있다.The size of the target area 920 set in the second image 820 may be greater than or equal to the size of the reference area 910.

프로세서(220)는 타겟 영역(920)의 크기를 평행 이동량에 기반하여 결정할 수 있다.The processor 220 may determine the size of the target area 920 based on the translation amount.

예를 들어, 평행 이동량은 깊이 값의 범위를 샘플링한 간격에 기반하여 결정될 수 있다. 샘플링 간격이 크면, 평행 이동량도 커질 수 있다. 샘플링 간격이 작으면, 평행 이동량도 작아질 수 있다.For example, the amount of translation may be determined based on the interval at which the range of depth values is sampled. If the sampling interval is large, the amount of parallel movement can also be large. If the sampling interval is small, the amount of parallel movement can also be reduced.

일 측면에 따르면, 참조 영역(920)의 크기가 SxS이고, 평행 이동량이 T인 경우, 프로세서(220)는 타겟 영역(920)의 크기를 (S+2*T)x(S+2*T)로 결정할 수 있다. S 및 T는 자연수 이다.According to one aspect, when the size of the reference area 920 is SxS and the translation amount is T, the processor 220 converts the size of the target area 920 into (S + 2 * T) x (S + 2 * T ). S and T are natural numbers.

프로세서(220)는 타겟 영역(920) 내에 하나 이상의 서브-타겟 영역들(1110 내지 1130)을 설정할 수 있다. 도시되지는 않았지만, 도 11의 실시예에서는 총 9개의 서브-타겟 영역들이 설정될 수 있다.The processor 220 may set one or more sub-target areas 1110 to 1130 in the target area 920. Though not shown, a total of nine sub-target areas can be set in the embodiment of Fig.

서브-타겟 영역들(1110 내지 1130) 각각의 크기는 참조 영역의 크기와 동일하고 할 수 있다. 서브-타겟 영역들(1110 내지 1130) 각각은 대응 픽셀(822)을 포함하도록 설정될 수 있다. 서브-타겟 영역들(1110 내지 1130) 각이 대응 픽셀(822)을 포함하는 위치는 서로 상이할 수 있다.The size of each of the sub-target areas 1110 to 1130 may be the same as the size of the reference area. Each of the sub-target regions 1110 to 1130 may be set to include a corresponding pixel 822. [ The positions at which the sub-target regions 1110 to 1130 angles include the corresponding pixel 822 may be different from each other.

도 12 및 도 13은 일 예에 따른 처리된 픽셀과 인접한 다른 픽셀에 깊이 후보 값들을 반복적으로 재할당하는 방법의 흐름도이다.Figures 12 and 13 are flowcharts of a method for repeatedly reassigning depth candidate values to another pixel adjacent to a processed pixel according to an example.

단계(1210)에서, 프로세서(220)는 제1 픽셀과 인접한 다른 픽셀에 복수 개의 깊이 후보 값들을 반복적으로 재할당할 수 있다.At step 1210, the processor 220 may repeatedly reassign a plurality of depth candidate values to another pixel adjacent to the first pixel.

단계(1210)는 처리할 픽셀을 변경하여 단계(330)가 반복적으로 재수행되는 것으로 이해될 수 있다. 제1 픽셀에 대해 단계(330)가 수행된 후, 제1 픽셀에 인접한 다른 픽셀에 대해 단계(330)가 재수행될 수 있다. 처리될 인접한 다른 픽셀은 아직 깊이 후보 값이 재할당되지 않은 픽셀일 수 있다.Step 1210 may be understood as changing pixel to process so that step 330 is repeatedly performed again. After step 330 is performed for the first pixel, step 330 may be performed again for another pixel adjacent to the first pixel. Adjacent pixels to be processed may be pixels that have not yet been reassigned to the depth candidate values.

일 측면에 따르면, 단계(1210)는 제1 영상의 픽셀에 대해 모두 수행될 수 있다.According to an aspect, step 1210 may be performed for all of the pixels of the first image.

다른 일 측면에 따르면, 단계(1210)는 제1 영상 및 제2 영상의 픽셀에 대해 모두 수행될 수 있다.According to another aspect, step 1210 may be performed for both pixels of the first image and the second image.

픽셀에 대해 단계(1210)가 수행되는 순서는 스캔 순서로 정의될 수 있다.The order in which the step 1210 is performed for pixels may be defined in scan order.

스캔 순서는 좌에서 우로 행 순차 스캔 순서, 우에서 좌로 행 순차 스캔 순서, 위에서 아래로 열 순차 스캔 순서 및 아래에서 위로 열 순차 스캔 순서를 포함할 수 있다.The scan order may include left to right row sequential scan order, right to left row sequential scan order, top to bottom column sequential scan order, and bottom to top column sequential scan order.

프로세서(220)는 스캔 순서를 다르게 하여 복수회 수행할 수 있다. 스캔 순서가 복수회 수행되는 방법에 대해, 도 13을 참조하여 상세히 설명된다.The processor 220 may perform a plurality of times with different scan orders. A method in which the scan sequence is performed a plurality of times will be described in detail with reference to FIG.

단계(1210)는 아래의 단계들(1310, 1320 및 1330)을 포함할 수 있다.Step 1210 may include the following steps 1310, 1320, and 1330.

단계(1310)에서, 프로세서(220)는 제1 스캔 순서가 종료되었는지 여부를 판단할 수 있다.At step 1310, the processor 220 may determine whether the first scan order has expired.

예를 들어, 프로세서(220)는 제1 영상의 모든 픽셀들에 대해 깊이 후보 값들이 재할당된 경우 제1 스캔 순서가 종료된 것으로 판단할 수 있다.For example, the processor 220 may determine that the first scan sequence is terminated when depth candidate values are reallocated for all pixels of the first image.

제1 스캔 순서가 종료되지 않는 경우, 단계(1320)에서, 프로세서(220)는 제1 스캔 순서로 처리된 픽셀에 인접한 다른 픽셀에 깊이 후보 값들을 재할당할 수 있다.If the first scan order does not end, at step 1320, the processor 220 may reassign the depth candidate values to another pixel adjacent to the pixel processed in the first scan order.

제1 스캔 순서가 종료된 경우, 단계(1330)에서, 프로세서(220)는 제2 스캔 순서로 영상의 첫 픽셀에 대해 깊이 후보 값들을 재할당할 수 있다. 예를 들어, 제2 순서는 제1 스캔 순서와 상이할 수 있다.If the first scan order is terminated, then in step 1330, the processor 220 may reassign depth candidate values for the first pixel of the image in a second scan order. For example, the second order may be different from the first scan order.

단계(1330)가 처음 수행되는 경우, 제1 영상 및 제2 영상의 픽셀에 복수 개의 깊이 후보 값들이 초기적으로 할당될 수 있다. 예를 들어, 초기적으로 할당되는 깊이 후보 값들의 개수는 M개일 수 있다. 단계(1330)가 처음 수행되는 경우 전술된 단계(320)가 다시 수행되는 것일 수 있다.When step 1330 is initially performed, a plurality of depth candidate values may be initially assigned to the pixels of the first and second images. For example, the number of initially assigned depth candidate values may be M. When step 1330 is initially performed, step 320 described above may be performed again.

제2 순서에 따른, 첫 픽셀에 대해 깊이 후보 값들이 재할당된 후, 반복적으로 제2 스캔 순서로 처리된 픽셀에 인접한 다른 픽셀에 깊이 후보 값들을 재할당할 수 있다.After the depth candidate values have been reassigned for the first pixel, in accordance with the second order, it may be possible to reassign the depth candidate values to other pixels adjacent to the pixels that have been processed repeatedly in the second scan order.

제2 스캔 순서가 종료된 경우, 단계(1210)가 종료될 수 있다.If the second scan order is terminated, step 1210 may end.

도 14는 일 예에 따른 픽셀들의 스캔 순서에 대한 처리할 픽셀 및 처리할 픽셀의 인접 픽셀들을 도시한다.FIG. 14 illustrates a pixel to be processed and adjacent pixels of a pixel to be processed for a scan order of pixels according to an example.

도시된 스캔 순서는 좌에서 우로 행 순차 스캔 순서일 수 있다.The illustrated scan order may be from left to right in a row-sequential scan order.

영상(1400)에서 스캔 순서에 따라 처리될 첫 픽셀은 픽셀(1410)이다. 픽셀(1410)에 대해 깊이 후보 값들이 재할당된 후, 화살표의 방향을 따라 픽셀들이 처리된다.The first pixel to be processed according to the scan order in the image 1400 is the pixel 1410. After the depth candidate values have been reassigned for pixel 1410, pixels are processed along the direction of the arrow.

첫 번째 행의 픽셀(1420)이 처리된 후, 두 번째 행의 가장 좌측 픽셀(1430)이 처리된다. 상기와 같은 순서로 영상(1400)의 모든 픽셀들이 처리될 수 있다.After pixel 1420 of the first row is processed, the leftmost pixel 1430 of the second row is processed. All the pixels of the image 1400 may be processed in the same order as described above.

예를 들어, 픽셀(1440)이 처리할 픽셀(제1 픽셀)인 경우, 처리할 픽셀에 인접한 제2 픽셀은 픽셀(1441) 및 픽셀(1442)이다. 픽셀(1441) 및 픽셀(1442)은 스캔 순서에 따라 이미 처리된 픽셀들이다.For example, if pixel 1440 is the pixel (first pixel) to process, the second pixel adjacent to the pixel to be processed is pixel 1441 and pixel 1442. Pixel 1441 and pixel 1442 are pixels that have already been processed according to the scan order.

상기의 관계는 스캔 순서에 따라 달라질 수 있다.The above relationship may vary depending on the scan order.

도 15는 일 예에 따른 입체 영상의 깊이 맵 생성 방법의 흐름도를 도시한다.15 is a flowchart illustrating a method of generating a depth map of a stereoscopic image according to an exemplary embodiment of the present invention.

아래의 단계들(1510 내지 1550)을 통해 입체 영상의 깊이 맵이 생성될 수 있다.A depth map of the stereoscopic image may be generated through the following steps 1510 to 1550. [

단계들(1510 내지 1550)에 대한 설명은 전술된 단계들(310 내지 340)에 대한 설명이 동일하게 적용될 수 있으므로, 생략하도록 한다.The description of the steps 1510 to 1550 is omitted because the description of the steps 310 to 340 described above can be equally applied.

프로세서(220)는 단계(1510 내지 1540)를 통해, 제1 영상의 모든 픽셀들에 대한 깊이 값을 획득할 수 있다.The processor 220 may obtain the depth value for all the pixels of the first image through steps 1510 through 1540. [

단계(1550)에서, 프로세서(220)는 제1 픽셀의 깊이 값을 이용하여 제1 영상 및 제2 영상에 대한 깊이 맵을 생성할 수 있다.At step 1550, the processor 220 may generate a depth map for the first image and the second image using the depth value of the first pixel.

일 측면에 따르면, 프로세서(220)는 제1 영상의 모든 픽셀들에 대한 깊이 값을 이용하여 제1 영상에 대한 깊이 맵을 생성할 수 있다.According to one aspect, the processor 220 may generate a depth map for the first image using depth values for all pixels of the first image.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device , Or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

　이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

200: 영상 매칭 장치
210: 통신부
220: 프로세서
230: 저장부200: image matching device
210:
220: Processor
230:

Claims (20)

제1 영상 및 제2 영상의 특성에 기반하여 상기 제1 영상 및 상기 제2 영상에 포함된 픽셀의 깊이 값의 범위(range of depth value)를 결정하는 단계;
상기 제1 영상의 적어도 하나의 픽셀에 복수 개의 깊이 후보 값(depth candidate value)들을 할당하는 단계;
상기 제1 영상 내의 제1 픽셀에 할당된 복수 개의 제1 깊이 후보 값들 및 상기 제1 픽셀에 인접한 제2 픽셀에 할당된 복수 개의 제2 깊이 후보 값들에 기반하여 복수 개의 제3 깊이 후보 값들을 상기 제1 픽셀에 재할당하는 단계;
상기 재할당된 복수 개의 제3 깊이 후보 값들 중 하나의 값을 상기 제1 픽셀의 깊이 값으로 결정하는 단계; 및
상기 제1 픽셀과 상기 결정된 제1 픽셀의 깊이 값에 대응하는 상기 제2 영상의 제3 픽셀을 매칭(matching)하는 단계
를 포함하는,
영상 매칭 방법.
Determining a range of depth value of a pixel included in the first image and the second image based on characteristics of the first image and the second image;
Assigning a plurality of depth candidate values to at least one pixel of the first image;
A plurality of third depth candidate values based on a plurality of first depth candidate values assigned to a first pixel in the first image and a plurality of second depth candidate values assigned to a second pixel adjacent to the first pixel, Reallocating the first pixel to the first pixel;
Determining one of the plurality of re-allocated third depth candidate values as a depth value of the first pixel; And
Matching the first pixel with a third pixel of the second image corresponding to a depth value of the determined first pixel;
/ RTI >
Image matching method.
제1항에 있어서,
상기 제3 깊이 후보 값들의 개수는 상기 제2 깊이 후보 값들의 개수와 동일한,
영상 매치 방법.
The method according to claim 1,
Wherein the number of the third depth candidate values is equal to the number of the second depth candidate values,
Video matching method.
제1항에 있어서,
상기 깊이 값의 범위를 결정하는 단계는,
상기 깊이 값의 범위의 최소 값 및 최대 값을 결정하는 단계; 및
상기 깊이 값의 샘플링 간격을 결정하는 단계
를 포함하는,
영상 매칭 방법.
The method according to claim 1,
Wherein determining the range of depth values comprises:
Determining a minimum value and a maximum value of the range of depth values; And
Determining a sampling interval of the depth value
/ RTI >
Image matching method.
제1항에 있어서,
상기 깊이 값의 범위를 결정하는 단계는,
상기 제1 영상 및 상기 제2 영상 내의 구조 특성(structure characteristic)에 기반하여 상기 깊이 값의 범위를 결정하는 단계
를 포함하는,
영상 매칭 방법
The method according to claim 1,
Wherein determining the range of depth values comprises:
Determining a range of depth values based on a structure characteristic in the first image and the second image
/ RTI >
Image matching method
제1항에 있어서,
상기 픽셀에 복수 개의 깊이 후보 값들을 할당하는 단계는,
상기 깊이 값의 범위 내의 값들 중 임의적으로 상기 복수 개의 깊이 후보 값들을 상기 픽셀에 할당하는 단계
를 포함하는,
영상 매칭 방법.
The method according to claim 1,
Wherein the step of assigning a plurality of depth candidate values to the pixel comprises:
Assigning the plurality of depth candidate values to the pixel, arbitrarily among values within the depth value,
/ RTI >
Image matching method.
제1항에 있어서,
상기 복수 개의 제3 깊이 후보 값들을 상기 제1 픽셀에 재할당하는 단계는,
상기 복수 개의 제1 깊이 후보 값들 및 상기 복수 개의 제2 깊이 후보 값들에 기반하여 상기 제1 픽셀에 대한 깊이 후보 값들의 집합을 생성하는 단계;
상기 집합의 깊이 후보 값들에 대한 매칭 비용을 각각 계산하는 단계;
상기 매칭 비용들에 기반하여 중 상기 복수 개의 제3 깊이 후보 값들을 결정하는 단계; 및
상기 복수 개의 제3 깊이 후보 값들을 상기 제1 픽셀에 재할당하는 단계
를 포함하는,
영상 매칭 방법.
The method according to claim 1,
Wherein the step of reassigning the plurality of third depth candidate values to the first pixel comprises:
Generating a set of depth candidate values for the first pixel based on the plurality of first depth candidate values and the plurality of second depth candidate values;
Calculating a matching cost for the depth candidate values of the set, respectively;
Determining the plurality of third depth candidate values among the plurality of third depth candidate values based on the matching costs; And
And reassigning the plurality of third depth candidate values to the first pixel
/ RTI >
Image matching method.
제6항에 있어서,
상기 복수 개의 제3 깊이 후보 값들을 결정하는 단계는,
상기 계산된 매칭 비용들 중 매칭 비용이 적은 순서대로 상기 복수 개의 제3 깊이 후보 값들을 결정하는 단계
를 포함하는,
영상 매칭 방법.
The method according to claim 6,
Wherein the determining the plurality of third depth candidate values comprises:
Determining the plurality of third depth candidate values in order of less matching cost among the calculated matching costs
/ RTI >
Image matching method.
제6항에 있어서,
상기 매칭 비용을 계산하는 단계는,
상기 집합의 깊이 후보 값들의 각각에 대한 상기 제1 픽셀에 대응하는 상기 제2 영상의 복수의 대응 픽셀들을 결정하는 단계;
상기 제1 픽셀을 포함하는 참조 영역을 상기 제1 영상 내에 설정하는 단계;
상기 복수의 대응 픽셀들을 각각 포함하는 복수의 타겟(target) 영역들을 설정하는 단계; 및
상기 참조 영역과 상기 복수의 타겟 영역들의 각각 간의 매칭 비용을 계산하는 단계
를 포함하는,
영상 매칭 방법.
The method according to claim 6,
Wherein the calculating the matching cost comprises:
Determining a plurality of corresponding pixels of the second image corresponding to the first pixel for each of the depth candidate values of the set;
Setting a reference region including the first pixel in the first image;
Setting a plurality of target regions each including the plurality of corresponding pixels; And
Calculating a matching cost between the reference region and each of the plurality of target regions
/ RTI >
Image matching method.
제8항에 있어서,
상기 참조 영역과 상기 복수의 타겟 영역들의 각각 간의 매칭 비용을 계산하는 단계는,
상기 참조 영역 및 타겟 영역 간의 텍스쳐 특징(texture characteristic)의 매칭도를 상기 매칭 비용으로써 계산하는 단계
를 포함하는,
영상 매칭 방법.
9. The method of claim 8,
Wherein calculating the matching cost between the reference region and each of the plurality of target regions comprises:
Calculating a matching degree of a texture characteristic between the reference region and the target region as the matching cost
/ RTI >
Image matching method.
제8항에 있어서,
상기 복수의 타겟 영역들을 설정하는 단계는,
미리 설정된 평행 이동량에 기반하여 타겟 영역의 크기를 결정하는 단계
를 포함하는,
영상 매칭 방법.
9. The method of claim 8,
Wherein setting the plurality of target regions comprises:
Determining a size of the target area based on a preset parallel movement amount
/ RTI >
Image matching method.
제9항에 있어서,
상기 참조 영역과 상기 복수의 타겟 영역들의 각각 간의 매칭 비용을 계산하는 단계는,
제1 타겟 영역에 대한 하나 이상의 서브-타겟 영역들을 결정하는 단계;
상기 서브-타겟 영역들 각각에 대한 매칭 비용을 계산하는 단계; 및
계산된 매칭 비용들에 기반하여 상기 제1 타겟 영역에 대한 한 개의 매칭 비용을 결정하는 단계
를 포함하는,
영상 매칭 방법.
10. The method of claim 9,
Wherein calculating the matching cost between the reference region and each of the plurality of target regions comprises:
Determining one or more sub-target regions for a first target region;
Calculating a matching cost for each of the sub-target areas; And
Determining one matching cost for the first target area based on the calculated matching costs
/ RTI >
Image matching method.
제1항에 있어서,
상기 제1 픽셀과 인접한 다른 픽셀에 복수 개의 깊이 후보 값들을 반복적으로 재할당하는 단계
를 더 포함하는,
영상 매칭 방법.
The method according to claim 1,
Repeatedly reassigning a plurality of depth candidate values to another pixel adjacent to the first pixel
≪ / RTI >
Image matching method.
제12항에 있어서,
상기 반복적으로 재할당하는 단계는,
상기 제1 영상의 모든 픽셀들에 대해 제1 스캔 순서로 진행하는 단계
를 포함하고,
영상 매칭 방법.
13. The method of claim 12,
Wherein the repeatedly reallocating comprises:
Proceeding in a first scan order for all pixels of the first image;
Lt; / RTI >
Image matching method.
제13항에 있어서,
상기 제1 스캔 순서는,
좌에서 우로 행 순차 스캔 순서, 우에서 좌로 행 순차 스캔 순서, 위에서 아래로 열 순차 스캔 순서 및 아래에서 위로 열 순차 스캔 순서 중 어느 하나인,
영상 매칭 방법.
14. The method of claim 13,
The first scan sequence includes:
A left-to-right row-sequential scan order, a right-to-left row-sequential scan order, a top-to-bottom row-sequential scan order,
Image matching method.
제13항에 있어서,
상기 반복적으로 재할당하는 단계는,
상기 제1 스캔 순서가 종료된 후, 상기 제1 영상의 모든 픽셀들에 대해 제2 스캔 순서로 진행하는 단계
를 더 포함하는,
영상 매칭 방법.
14. The method of claim 13,
Wherein the repeatedly reallocating comprises:
Performing a second scan order on all pixels of the first image after the first scan order is completed,
≪ / RTI >
Image matching method.
제15항에 있어서,
상기 제2 스캔 순서는 상기 제1 스캔 순서와 상이한,
영상 매칭 방법.
16. The method of claim 15,
Wherein the second scan order is different from the first scan order,
Image matching method.
제1항에 있어서,
상기 복수 개의 제3 깊이 후보 값들 중 상기 하나의 값을 상기 제1 픽셀의 깊이 값으로 결정하는 단계는,
에너지 함수(energy function)를 이용하여 상기 복수 개의 제3 깊이 후보 값들 중 상기 하나의 값이 상기 제1 픽셀의 깊이 값으로 결정하는 단계
를 포함하는,
영상 매칭 방법.
The method according to claim 1,
Wherein the step of determining the one of the plurality of third depth candidate values as the depth value of the first pixel comprises:
Determining one of the plurality of third depth candidate values as a depth value of the first pixel by using an energy function
/ RTI >
Image matching method.
제1항 내지 제17항 중 어느 한 항의 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
17. A computer-readable recording medium containing a program for performing the method of any one of claims 1 to 17.
제1 영상 및 제2 영상을 저장하는 저장부; 및
상기 제1 영상 및 상기 제2 영상의 특성에 기반하여 상기 제1 영상 및 상기 제2 영상에 포함된 픽셀의 깊이 값의 범위를 결정하고, 상기 제1 영상의 적어도 하나의 픽셀에 복수 개의 깊이 후보 값들을 할당하고, 상기 제1 영상 내의 제1 픽셀에 할당된 복수 개의 제1 깊이 후보 값들 및 상기 제1 픽셀에 인접한 제2 픽셀에 할당된 복수 개의 제2 깊이 후보 값들에 기반하여 복수 개의 제3 깊이 후보 값들을 상기 제1 픽셀에 재할당하고, 상기 재할당된 복수 개의 제3 깊이 후보 값들 중 하나의 값을 상기 제1 픽셀의 깊이 값으로 결정하고, 상기 제1 픽셀과 상기 결정된 제1 픽셀의 깊이 값에 대응하는 상기 제2 영상의 제3 픽셀을 매칭(matching)하는 프로세서
를 포함하는
영상 매칭 장치.
A storage unit for storing the first image and the second image; And
Determining a range of depth values of pixels included in the first image and the second image based on the characteristics of the first image and the second image, Based on a plurality of first depth candidate values assigned to a first pixel in the first image and a plurality of second depth candidate values assigned to a second pixel adjacent to the first pixel, Reassigning depth candidate values to the first pixel, determining one of the reassigned plurality of third depth candidate values as a depth value of the first pixel, and determining the depth value of the first pixel and the determined first pixel And a third pixel of the second image corresponding to a depth value of the second image,
Containing
Image matching device.
제1 영상 및 제2 영상의 특성에 기반하여 상기 제1 영상 및 상기 제2 영상에 포함된 픽셀의 깊이 값의 범위(range of depth value)를 결정하는 단계;
상기 제1 영상의 적어도 하나의 픽셀에 복수 개의 깊이 후보 값(depth candidate value)들을 할당하는 단계;
상기 제1 픽셀에 할당된 복수 개의 제1 깊이 후보 값들 및 상기 제1 픽셀에 인접한 제2 픽셀에 할당된 복수 개의 제2 깊이 후보 값들에 기반하여 복수 개의 제3 깊이 후보 값들을 상기 제1 픽셀에 재할당하는 단계;
상기 재할당된 복수 개의 제3 깊이 후보 값들 중 하나의 값을 상기 제1 픽셀의 깊이 값으로 결정하는 단계; 및
상기 제1 픽셀의 깊이 값을 이용하여 상기 제1 영상 및 제2 영상에 대한 깊이 맵(depth map)을 생성하는 단계
를 포함하는,
입체 영상의 깊이 맵 생성 방법.Determining a range of depth value of a pixel included in the first image and the second image based on characteristics of the first image and the second image;
Assigning a plurality of depth candidate values to at least one pixel of the first image;
A plurality of third depth candidate values based on a plurality of first depth candidate values assigned to the first pixel and a plurality of second depth candidate values assigned to a second pixel adjacent to the first pixel, Reallocating;
Determining one of the plurality of re-allocated third depth candidate values as a depth value of the first pixel; And
Generating a depth map for the first image and the second image using the depth value of the first pixel;
/ RTI >
A depth map generation method of a stereoscopic image.
KR1020150153291A 2015-02-09 2015-11-02 Method and apparatus for image matchng KR102427846B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/019,046 US10097808B2 (en) 2015-02-09 2016-02-09 Image matching apparatus and method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510066534.9A CN105989590B (en) 2015-02-09 2015-02-09 Solid matching method and device
CN201510066534.9 2015-02-09

Publications (2)

Publication Number Publication Date
KR20160098012A true KR20160098012A (en) 2016-08-18
KR102427846B1 KR102427846B1 (en) 2022-08-01

Family

ID=56874465

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150153291A KR102427846B1 (en) 2015-02-09 2015-11-02 Method and apparatus for image matchng

Country Status (2)

Country Link
KR (1) KR102427846B1 (en)
CN (1) CN105989590B (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101869226B1 (en) * 2017-01-23 2018-06-19 성균관대학교산학협력단 Disparity map generating method for mono cameras

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107155100B (en) * 2017-06-20 2019-07-12 国家电网公司信息通信分公司 A kind of solid matching method and device based on image
CN110800023A (en) * 2018-07-24 2020-02-14 深圳市大疆创新科技有限公司 Image processing method and equipment, camera device and unmanned aerial vehicle
JPWO2021010067A1 (en) * 2019-07-17 2021-01-21
CN110517304B (en) * 2019-07-26 2022-04-22 苏州浪潮智能科技有限公司 Method and device for generating depth map, electronic equipment and storage medium
CN113469971B (en) * 2021-06-30 2023-10-13 深圳中科飞测科技股份有限公司 Image matching method, detection device and storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120163672A1 (en) * 2010-12-22 2012-06-28 David Mckinnon Depth Estimate Determination, Systems and Methods
KR20130099735A (en) * 2012-02-29 2013-09-06 삼성전자주식회사 Method and fusion system of time-of-flight camera and stereo camera for reliable wide range depth acquisition

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101398937B (en) * 2008-10-29 2011-05-18 北京航空航天大学 Three-dimensional reconstruction method based on fringe photograph collection of same scene
CN102223556B (en) * 2011-06-13 2013-02-27 天津大学 Multi-view stereoscopic image parallax free correction method
CN103236082B (en) * 2013-04-27 2015-12-02 南京邮电大学 Towards the accurate three-dimensional rebuilding method of two-dimensional video of catching static scene
CN104123727B (en) * 2014-07-26 2017-02-15 福州大学 Stereo matching method based on self-adaptation Gaussian weighting

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120163672A1 (en) * 2010-12-22 2012-06-28 David Mckinnon Depth Estimate Determination, Systems and Methods
KR20130099735A (en) * 2012-02-29 2013-09-06 삼성전자주식회사 Method and fusion system of time-of-flight camera and stereo camera for reliable wide range depth acquisition

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101869226B1 (en) * 2017-01-23 2018-06-19 성균관대학교산학협력단 Disparity map generating method for mono cameras

Also Published As

Publication number Publication date
CN105989590A (en) 2016-10-05
KR102427846B1 (en) 2022-08-01
CN105989590B (en) 2019-09-17

Similar Documents

Publication Publication Date Title
JP7173772B2 (en) Video processing method and apparatus using depth value estimation
US10540773B2 (en) System and method for infinite smoothing of image sequences
JP7300438B2 (en) Method and system for large-scale determination of RGBD camera pose
US10818029B2 (en) Multi-directional structured image array capture on a 2D graph
KR20160098012A (en) Method and apparatus for image matchng
KR102483641B1 (en) Method and apparatus for processing binocular image
US9117295B2 (en) Refinement of depth maps by fusion of multiple estimates
KR102380862B1 (en) Method and apparatus for image processing
CN111598993A (en) Three-dimensional data reconstruction method and device based on multi-view imaging technology
EP3110149B1 (en) A system and a method for depth-image-based rendering
CN112116639B (en) Image registration method and device, electronic equipment and storage medium
WO2014093906A1 (en) Model based video projection
US10097808B2 (en) Image matching apparatus and method thereof
US20190311524A1 (en) Method and apparatus for real-time virtual viewpoint synthesis
US10341683B1 (en) Apparatus and method to reduce an amount of coordinate data representing an object taken by an imaging device in a three dimensional space
US10964034B1 (en) Vertical disparity detection in stereoscopic images from optical flow data
JPWO2017209213A1 (en) Image processing apparatus, image processing method, and program
KR101804157B1 (en) Disparity map generating method based on enhanced semi global matching
KR20190072987A (en) Stereo Depth Map Post-processing Method with Scene Layout
KR101373982B1 (en) Method and apparatus for fast stereo matching by predicting search area in stereo vision and stereo vision system using the same
WO2023078052A1 (en) Three-dimensional object detection method and apparatus, and computer-readable storage medium
JP5686412B2 (en) 3D shape estimation device, 3D shape estimation method, and 3D shape estimation program
US10480934B2 (en) Effective search for a silhouette cone to reconstruct a three dimensional shape of an object
KR20180073020A (en) Hole Filling Method for Arbitrary View Image
JPWO2017090705A1 (en) Image processing apparatus, image processing method, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant