KR101888969B1 - 영상특성을 이용한 스테레오 매칭장치 - Google Patents

영상특성을 이용한 스테레오 매칭장치 Download PDF

Info

Publication number
KR101888969B1
KR101888969B1 KR1020120106997A KR20120106997A KR101888969B1 KR 101888969 B1 KR101888969 B1 KR 101888969B1 KR 1020120106997 A KR1020120106997 A KR 1020120106997A KR 20120106997 A KR20120106997 A KR 20120106997A KR 101888969 B1 KR101888969 B1 KR 101888969B1
Authority
KR
South Korea
Prior art keywords
cost
scan line
determined
image
level
Prior art date
Application number
KR1020120106997A
Other languages
English (en)
Other versions
KR20140040407A (ko
Inventor
이준서
하정목
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020120106997A priority Critical patent/KR101888969B1/ko
Priority to US14/430,270 priority patent/US9674503B2/en
Priority to PCT/KR2013/008533 priority patent/WO2014051309A1/en
Priority to TW102134825A priority patent/TWI618394B/zh
Publication of KR20140040407A publication Critical patent/KR20140040407A/ko
Application granted granted Critical
Publication of KR101888969B1 publication Critical patent/KR101888969B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

영상특성을 이용한 스테레오 매칭장치가 개시된다. 본 발명의 일실시예에 의하면, 상위 스캔라인의 동일 스테이지의 코스트가 이전 스테이지의 동일 레벨, 상위 레벨 및 하위 레벨 중 어느 레벨에서 결정되는지, 및 상위 스캔라인의 동일 스테이지의 코스트가 다른 디스패리티에서 결정되었는지 여부에 따라 현재의 스캔라인(해당 스캔라인)의 영상에 대한 복수의 스테이지의 노드에서의 코스트가 결정된다.

Description

영상특성을 이용한 스테레오 매칭장치{STEREO MATCHING APPARATUS USING IMAGE PROPERTY}
본 발명은 영상특성을 이용한 스테레오 매칭장치에 관한 것이다.
일반적으로 컴퓨터 비전(computer vision)이란, 영상을 이용하여 정보를 얻어내는 기술을 말하며, 영상을 이용하여 거리정보를 얻은 기술을 스테레오 비전이라 한다.
스테레오 시스템에서는 카메라가 가로로 2개 위치하므로, 좌영상과 우영상의 대응점을 찾는 것이 중요한데, 이를 스테레오 매칭이라 한다. 즉, 스테레오 매칭이란, 좌영상의 모든 픽셀에서 우영상의 픽셀을 비교하였을 때 가장 유사한 대응점을 찾는 것을 말한다. 이러한 대응점을 구하면 거리를 결정할 수 있다.
이러한 스테레오 매칭 방법에는 여러가지가 있는데, 이중 대표적인 것이 트렐리스 방식이다.
트렐리스는 정렬된(rectified) 스테레오 이미지를 사용하여 매칭과정을 거쳐 사물의 거리를 구하는 스테레오 매칭 방식 중 하나이다. 이러한 트렐리스 방식은 연산량이 다른 방식에 비해 적은 장점이 있으나, 정확도가 떨어지는 문제점이 있다.
스트릭 노이즈(streak noise)로 대표되는 트렐리스 방식의 단점은 스테레오 매칭을 수행할 때 좌우영상의 픽셀을 한줄씩 비교하는 점에서 발생한다.
본 발명이 해결하고자 하는 기술적 과제는, 스테레오 매칭 시스템에서 좌우영상의 픽셀을 한줄씩 비교하는 경우 스트릭 노이즈를 제거하여 거리정확도를 높이는, 영상특성을 이용한 스테레오 매칭장치를 제공하는 것이다.
상기와 같은 기술적 과제를 해결하기 위해, 본 발명의 일실시예의 스테레오 매칭장치는, 상기 스테레오 영상에서 대응점에 해당하는 스캔라인을 추출하는 추출부; 상위 스캔라인의 동일 스테이지의 코스트가 이전 스테이지의 동일 레벨, 상위 레벨 및 하위 레벨 중 어느 레벨에서 결정되는지, 및 상위 스캔라인의 동일 스테이지의 코스트가 다른 디스패리티에서 결정되었는지 여부에 따라 현재의 스캔라인(해당 스캔라인)의 영상에 대한 복수의 스테이지의 노드에서의 코스트를 결정하는 제1결정부; 결정된 코스트에 따른 경로를 지정하는 지정부; 및 지정된 경로에서 에너지를 최소화하는 경로를 결정하는 제2결정부를 포함한다.
본 발명의 일실시예에서, 스테레오 영상을 취득하는 스테레오 카메라부를 더 포함할 수 있다.
본 발명의 일실시예에서, 상기 제1결정부는, 해당 스캔라인의 정합 노드의 경우, 이전 스테이지의 동일 레벨의 코스트에 자신의 코스트를 더하여 코스트를 결정할 수 있다.
본 발명의 일실시예에서, 상기 제1결정부는, 해당 스캔라인의 비정합 노드의 경우, 상위 스캔라인의 동일 스테이지의 코스트가 이전 스테이지의 상위 레벨로부터 결정된 경우 제1비정합 파라미터를, 하위 레벨로부터 결정된 경우, 상기 제1비정합 파라미터와 상이한 제2비정합 파라미터를 결정할 수 있다.
본 발명의 일실시예에서, 상기 제1결정부는, 상위 스캔라인에서의 동일 스테이지의 코스트가 다른 디스패리티에서 결정되고, 이전 스테이지의 상위 레벨에서 결정된 경우, 상기 제1비정합 파라미터를 소정 범위 감소시키고, 이전 스테이지의 하위 레벨에서 결정된 경우, 상기 제2비정합 파라미터를 소정 범위 감소시킬 수 있다.
본 발명의 일실시예에서, 상기 제2결정부는, 해당 스캔라인에서 이전 스테이지의 동일 레벨의 코스트와, 상위 레벨의 코스트에 감소시킨 제1비정합 파라미터를 더한 값 및 하위 레벨의 코스트에 감소시킨 제2비정합 파라미터를 더한 값 중 최소값을 해당 노드의 코스트로 결정할 수 있다.
본 발명의 일실시예에서, 상기 지정부는, 코스트가 상위 레벨의 코스트에 의해 결정된 경우에는 1, 동일 레벨의 코스트에 의해 결정된 경우에는 0, 및 하위 레벨의 코스트에 의해 결정된 경우에는 -1에 해당하는 경로를 지정할 수 있다.
본 발명의 일실시예에서, 상기 제2결정부는, 에너지를 최소화하는 디스패리티를 결정할 수 있다.
영상의 특성을 이용하여, 상위 스캔라인에서의 트랜지션이 상위 레벨 또는 하위레벨에서 발생하였는지 따라 코스트 결정시 비정합 파라미터를 개별적으로 지정하고, 상위 스캔라인에서의 트랜지션이 일어난 경우, 해당 비정합 파라미터를 줄여 트렐리스를 계산하여, 매칭의 정확도를 높이도록 하는 효과가 있다.
도 1은 본 발명의 일실시예의 스테레오 시스템을 설명하기 위한 개략 구성도이다.
도 2는 양안차와 3차원 정보간의 관계를 설명하기 위한 예시도이다.
도 3은 좌영상과 우영상에서 불연속 성분에 의한 양안차를 나타낸 예이다.
도 4는 정합 노드와 비정합 노드에 대한 각 경로의 코스트를 나타낸 예시도이며, 여기서 검정색 점은 정합 노드를, 흰점은 비정합 노드를 의미한다.
도 5는 본 발명의 일실시예의 스테레오 카메라부를 이용하여 획득한 스테레오 영상의 일예시도이다.
도 6a 내지 도 6d는 도 5의 영상의 트렐리스 방식에 의한 스테레오 매칭을 설명하기 위한 일예시도이다.
도 7은 본 발명의 일실시예의 스테레오 매칭장치의 구성도이다.
본 발명은 다양한 변경을 가할 수 있고 여러가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명의 일실시예에 따른 스테레오 매칭장치는, 트렐리스 방식을 비롯한 다이내믹 프로그래밍 방식(dynamic programming algorithm)에서 적용가능하다. 다만, 편의상 본 발명의 일실시예에서는 트렐리스 방식에 대해 적용하는 것을 설명하겠으나, 다른 다이내믹 프로그래밍 방식에 적용하는 것을 배제하는 것이 아님은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 자명하다 할 것이다.
이하, 종래의 트렐리스 방식을 설명한 후, 본 발명의 일실시예에 따른 개선장치를 첨부된 도면을 참조로 설명하기로 한다.
도 1은 본 발명의 일실시예의 스테레오 시스템을 설명하기 위한 개략 구성도이다.
도면에 도시된 바와 같이, 본 발명의 일실시예의 스테레오 시스템은, 스테레오 카메라부(1)와 스테레오 매칭장치(2)를 포함한다.
스테레오 카메라부(1)는, 제1센서부(11) 및 제2센서부(12)를 포함한다. 제1센서부(11)와 제2센서부(12)는 소정 간격을 두고 배치되어, 각각 스테레오 영상 중 하나를 획득한다. 예를 들어, 제1센서부(11)는 좌영상을 획득하고, 제2센서부(12)는 우영상을 획득할 수 있다. 반면, 제1센서부(11)가 우영상을 획득하고, 제2센서부(12)가 좌영상을 획득할 수도 있다. 본 발명의 일실시예의 설명에서는, 설명의 편의상, 제1센서부(11)가 획득하는 영상을 좌영상으로, 제2센서부(12)가 획득하는 영상을 우영상으로 정하여 설명하기로 하겠다.
제1센서부(11) 및 제2센서부(12)는 예를 들어, 전하결합소자(Charge Coupled Device; CCD), 상보형 금속산화반도체(Complementary Metal-Oxide Semiconductor; CMOS) 센서 등의 카메라 센서일 수 있으나, 이에 한정되는 것은 아니며, 그와 유사한 기능을 수행하는 다른 소자일 수도 있다.
스테레오 매칭장치(2)는 스테레오 카메라부(1)로부터 스테레오 영상을 수신하여, 이에 대한 스테레오 매칭을 트렐리스 방식으로 수행한다.
이하에서는, 트렐리스 방식을 설명한 후, 트렐리스 방식을 개선한 본 발명의 일실시예의 스테레오 매칭장치를 설명하기로 한다.
먼저, 양안차(d)와 3차원 거리(Z)와의 관계에 대해 설명하면, 스테레오 매칭은 2차원 좌영상과 우영상으로부터 3차원 공간을 재구성하는 것으로, 두 개의 2차원 영상에서 대응점을 찾아 상호간의 기하학적 관계를 이용하여 3차원 정보를 추정하는 것이다.
두 개의 2차원 영상에서 대응점을 찾아 상호간의 기하학적 관계를 이용하여 3차원 정보를 추정하기 위하여, 스테레오 영상에서 한쪽 영상(기준영상)의 한 점에 대응되는 점을 다른 쪽 영상(대응영상)에서 찾아야 하는데, 이 점은 기준영상에서의 점에 대한 대응영상의 에피폴라 라인(epipolar line)상에 있으며, 에피폴라 라인에 대한 교정을 수행하면, 수평으로 펼쳐진 두 개의 단일 스캔 라인만을 검사함으로써, 스테레오 매칭을 수행할 수 있다.
도 2는 양안차와 3차원 정보간의 관계를 설명하기 위한 예시도로서, 스테레오 카메라부(1)로부터 얻은 좌영상 및 우영상과, 그 영상에 맺힌 사물과의 관계를 나타낸다.
대응되는 각 픽셀에 대한 양안차(d)는 단일 라인에서의 대응점으로 다음 수학식 1과 같이 나타낼 수 있다.
Figure 112012078235002-pat00001
여기에서, d는 양안차를 의미하며, xr은 우영상에서의 x축 길이, xl은 좌영상에서의 x축 길이를 의미하고, 한 점 P(x,y,z)가 좌영상과 우영상으로 촬영될 경우 기하학적 구조로부터 다음 수학식 2와 같은 관계가 성립함을 알 수 있다.
Figure 112012078235002-pat00002
여기서, f는 초점거리(focal length)를 의미하고, B(base length)는 두 카메라 사이의 거리를 의미하며, Z는 3차원 거리를 의미하는데, 이러한 수학식 2를 위의 수학식 1에 적용하면 아래의 수학식 3과 같이 나타낼 수 있다.
Figure 112012078235002-pat00003
따라서, 초점거리(f)와 두 카메라 사이의 거리(B)를 알 수 있고, 두 영상의 대응점을 찾을 수 있으면, 물체의 3차원 정보, 즉, 깊이(depth)를 추정할 수 있다는 것을 의미한다.
스테레오 카메라부(1)의 제1센서부(11) 및 제2센서부(12)는 3차원 영상을 2차원 불연속 성분(discrete components)으로 저장하므로, 관찰되는 영상을 불연속점으로 표현된다.
도 3은 좌영상과 우영상에서 불연속 성분에 의한 양안차를 나타낸 예이다.
도 3과 같이, 관찰된 좌영상 및 우영상에서 불연속 성분에 의한 양안차를 표현할 수 있는데, 영상으로부터 가장 멀리 있는 점의 양안차는 d=0이고(즉, z는 무한대), 같은 선상의 접점은 모두 같은 양안차를 가짐을 알 수 있으며, 3차원 깊이(Z, 3차원 거리)가 증가할수록 양안차는 감소함을 알 수 있다.
또한, 도 3의 검정색 점은 이 3차원 좌표가 사물의 표면인지를 검증할 매칭이 일어나는 노드로서, 사영선(projection line)이 만나는 곳에서 정의될 수 있고, 어떤 노드에서 적절한 매칭이 일어날 경우 이 노드에서 만나는 두 영상의 픽셀은 한 쌍을 이루게 되며, 이를 정합(matching) 노드라 한다. 이와는 반대로 두 영상 중 한쪽 영상에서는 사물의 표면이 보이지만, 그 사물의 표면이 다른 쪽 영상에서는 보이지 않는 영역이 존재할 수 있는데, 이를 비정합(occlusion) 노드라 한다.
도 3에서는, 좌측 한 개의 사영선은 우측의 다수 사영선들과 만나게 되는데, 이중 한 개의 사영선과 만나는 정합 노드에서만 옳은 정합이 일어나게 된다. 이와 같이, 영상이 투사되는 사영선 사이의 관계로부터 제한을 두면 검색해야 할 경로가 줄어들게 되어 계산의 효율성을 높이고, 계산양을 줄일 수 있다.
이러한 스테레오 매칭 기술은, 에너지 함수를 최소로 만드는 양안차를 찾는 MAP(Maximum A Posteriori) 추정을 기반으로 한다. 이를 위해 DP(dynamic programming)를 기반으로 하는 비터비(viterbi) 알고리즘을 이용하여 최적의 경로를 검색한다. 즉, 정합 노드 및 비정합 노드에서 경로(path)를 정의하고, 각각의 경로마다 주어진 코스트를 합하여, 이들 코스트가 최소가 되는 경로를 검출하는 방식으로 수행될 수 있다.
도 4는 정합 노드와 비정합 노드에 대한 각 경로의 코스트를 나타낸 예시도이며, 여기서 검정색 점은 정합 노드를, 흰점은 비정합 노드를 의미한다.
현재의 스테이지(stage)를 i라 하면, 최소가 될 수 있는 경로는 i-1 스테이지까지의 최소값에 i-1 스테이지에서 i 스테이지로 가는 경로의 코스트의 합 중, 최소값이다.
비정합 노드에서는 이전 스테이지의 동일 레벨의 코스트, 상위 레벨의 코스트 비정합 파라미터를 더한 값 및 하위레벨의 코스트에 비정합 파라미터를 더한 값 중 최소값을 지정하여 경로를 형성한다(a). 한편, 정합 노드에서는 이전 스테이지의 같은 레벨의 노드에 자신의 노드값을 더하여 경로를 형성한다(b). 이때, 정합 노드에서는 정합 코스트(matching cost)라 정의되는 코스트를 계산하기 위해 좌우영상의 픽셀값을 필요로 하게 된다.
최적의 경로는 이들 정합 및 비정합 노드 사이에 존재하며, 이들 경로에 정합 코스트와 비정합 코스트를 할당한 것과 같은 결과를 가져온다. 그리고, 스테이지는 격자구조에서 시간과 관련되어 좌에서 우로 가는 경로의 세로로 줄지어진 노드들을 하나의 스테이지로 정의한다.
이러한 트렐리스 방식을 적용하기 위해서는, 다음과 같은 제한이 있다.
첫째는 사물이 좌영상에 존재하는 위치보다 우영상에 존재하는 위치가 더 오른쪽에 있을 수 없다는 것이고, 둘째는, 첫번째 양안차인 d0와 마지막 양안차인 d2N은 값이 0이라는 것이며, di와 di -1의 차이가 1을 초과하지 않는다는 것이다.
최적경로를 검색하는 알고리즘은 다음과 같다.
스테이지 i=0에서 모든 노드의 코스트(δ)는 다음의 수학식과 같이 초기화된다. 여기에서, 'i=1,...,2N'에 따라 순방향으로 각각 반복 수행하는 것은 할당된 양안차(d)와 각각의 노드로부터 최적 경로와 최적 코스트를 획득하기 위함이다.
Figure 112012078235002-pat00004
한편, i+d가 짝수일 때에는 비정합 노드를 의미하는 것으로서, 비정합 노드에서의 코스트와 최적의 양안차(optimal disparity, Ψ)는 다음 수학식 5와 같다.
Figure 112012078235002-pat00005
Figure 112012078235002-pat00006
i+d가 홀수일 때에는 정합 노드를 의미하는 것으로서, 정합 노드에서의 코스트와 최적의 양안차는 다음 수학식 6과 같다.
Figure 112012078235002-pat00007
i가 2N이고 j가 0인 경우 순방향 반복연산을 완료하고 다음 수학식 7과 같이 역방향의 초기값(코스트 및 최적 양안차)을 결정한다.
Figure 112012078235002-pat00008
Figure 112012078235002-pat00009
이후, 스테이지의 역방향으로 아래의 수학식 8과 같이 역방향 회귀적 검색을 수행함으로써 최적의 양안차를 획득할 수 있다.
Figure 112012078235002-pat00010
γ는 수학식 5를 만족하는 비정합 파라미터이며, 영상의 크기는 M×N으로 정의한다.
위의 방식을, 실제 영상을 이용하여 예를 들어 설명하기로 한다.
도 5는 본 발명의 일실시예의 스테레오 카메라부(1)를 이용하여 획득한 스테레오 영상의 일예시도이며, 도 6a 내지 도 6d는 도 5의 영상의 트렐리스 방식에 의한 스테레오 매칭을 설명하기 위한 일예시도이다.
도 5와 같은 스테레오 영상에서 대응되는 하나의 라인(좌영상에서 y=3, 우영상에서 y=3라인)을 추출하여, 모든 픽셀의 밝기차를 계산한다.
도 6a에서, 편의상 좌측상부를 (0, 0)으로 표현한다. 0번째 가로줄과 7번째 가로줄은 모두 99이다. 이때, 99는 무한대 대신 편의상 넣은 값이다.
(1,1), (2,2), ... , (6,6) 의 1, 0, 0, 8, 9, 4는 우영상의 첫 번째 값인 14와 좌영상의 (13, 14, 14, 22, 23, 10)의 차이이다. 그 다음의 대각선인 (1,3), (2,4), ... , (6,8)의 8, 8, 0, 1, 12는 우영상의 두 번째 값인 22와 좌영상의 (14, 14, 22, 23, 10)의 차이이다. 이와 같은 방식으로, 픽셀차를 계산하여, 도 6a와 같이 저장할 수 있다.
도 6a의 결과를 이용하여, 도 4를 참조로 설명한 방식으로 도 6b를 완성한다. 즉, 비정합 노드(연두색)의 경우에는 이전 스테이지의 동일 레벨의 코스트와 상/하 레벨의 코스트에 비정합 파라미터를 더한 값을 비교하여 이중 최소값을 저장한다. 또한, 정합 노드(노란색)의 경우에는 이전 스테이지의 동일 레벨의 코스트에 자신의 노트값을 코스트로 저장한다.
즉, 비정합 노드의 경우에는, 이전 칸의 동일 디스패리티의 코스트와 1씩 차이의 디스패리티의 코스트 총 3개의 코스트를 비교하여 가장 작은 값을 찾아 그 값에 현재 칸에서 구한 코스트를 구하되, 이때 동일 디스패리티가 아닌 경우(즉, 동일 레벨의 코스트가 아닌 경우)에는, 패널티로써 비정합 파라미터를 더하는 것이다.
트렐리스는 에너지 최소화(energy minimization)의 문제이며, 모두 더했을 경우 에너지가 가장 적어지는 경우의 경로를 찾으면 그것이 곧 영상의 깊이이다. 에너지가 가장 적다는 말은, 좌우영상의 밝기의 차가 가장 적다는 말이고, 이는 가장 비슷한 형태로 매칭이 된 값이 에너지가 가장 적을 때의 경로라는 것을 의미한다.
도 6b에서는, 최우측 값이 29이고, 그 좌측에 29와 22가 있다. 이중 작은 값을 가지는 경로를 찾아야 하므로, 22를 선택하는 것이다.
도 6c는 도 6b의 각 노드의 값이 어느 경로에서 온 것인지를 설명한다. 해당 노드에 저장된 값이 이전 스테이지의 동일 레벨에서 온 경우에는 '0', 이전 스테이지의 하위 레벨에서 온 경우는 '1', 상위 레벨에서 온 경우는 '-1'을 저장한다.
도 6d는 도 6c의 경로를 이용하여 에너지를 최소화하는 디스패리티(disparity)를 구하는 과정을 설명하기 위한 예시도이다. 도 6d의 회색 부분은 에너지를 최소화하는 경로를 의미하고, 아래 부분은, 해당 경로의 디스패리티를 나타낸다. 디스패리티는, 0부터 시작하여, 경로에 저장된 값을 왼쪽으로 이동하면서 해당값을 더하여 구할 수 있다.
위와 같은 트렐리스 방식을 개선하는 본 발명의 일실시예의 스테레오 매칭장치에 대하여, 이하에서 설명한다.
우선 본 발명의 일실시예를 위하여, 영상의 특성을 먼저 설명한다.
스테레오 카메라부(1)는 한 물체를 촬영하는 경우 여러 픽셀에 걸쳐 표현하도록 구현된다. 따라서, 한 픽셀을 기준으로 그 주변 픽셀은 유사한 픽셀값을 가지게 된다. 이는, 한 물체내의 색이 비슷하고, 한 물체가 여러 픽셀에 걸쳐 나타나기 때문이다. 이를 트렐리스에 적용하면, 한 픽셀을 기준으로, 사방(좌측, 우측, 상측 및 하측)의 픽셀의 디스패리티(disparity)가 서로 유사하다.
본 발명의 일실시예는, 이러한 영상의 특성을 트렐리스에 적용한 것이다.
도 7은 본 발명의 일실시예의 스테레오 매칭장치의 구성도로서, 도 1의 스테레오 매칭장치(2)의 상세 구성을 나타낸 것이다.
도면에 도시된 바와 같이, 본 발명의 일실시예의 스테레오 매칭장치(2)는, 스캔라인 추출부(21), 코스트 결정부(22) 및 경로지정부(23) 및 최적경로 결정부(24)를 포함할 수 있다.
스캔라인 추출부(21)는 스테레오 카메라부(1)로부터 수신하는 스테레오 영상에서 대응점에 해당하는 라인을 추출한다. 추출된 라인의 일예는 도 6a 내지 도 6b에 도시된 바와 같다. 본 발명의 일실시예의 설명에서는, 스캔라인 추출부(21)가 추출한 현재의 스캔라인을 '해당 스캔라인'이라고 하고, 이전 타임에 추출한 스캔라인을 '상위 스캔라인'이라고 한다. 보통, 최상위 스캔라인부터 스테레오 매칭을 수행하기 때문이다.
코스트 결정부(22)는 스캔라인 추출부(21)가 추출한 라인의 픽셀에 대해, 정합 노드와 비정합 노드에서의 코스트를 각각 결정한다.
정합 노드의 경우 이전 스테이지의 동일 레벨의 코스트에 자신의 코스트를 더하여 결정한다.
본 발명의 일실시예에서는, 비정합 노드의 경우, 종래의 트렐리스 방식과 상이하다. 즉, 종래의 트렐리스 방식에서는, 비정합 노드의 경우, 이전 스테이지의 동일 레벨의 코스트와 상위 및 하위 레벨의 코스트에 비정합 파라미터를 더한 값을 비교하여, 이중 최소값으로 결정하는 방식이다.
그러나, 본 발명의 일실시예에서는, 위에서 설명한 영상의 특성을 이용하여, 상위 스캔라인의 동일 스테이지의 코스트가 이전 스테이지의 동일 레벨에서 왔는지, 상위 레벨에서 왔는지, 또는 하위 레벨에서 왔는지를 결정하여, 이에 대해 각각 비정합 파라미터를 개별적으로 부여하고, 상위 스캔라인에서 동일 스테이지의 코스트가 다른 디스패리티에서 왔는지 여부(즉, 트랜지션(transition)이 일어났는지 여부)에 따라, 해당 스캔라인의 비정합 파라미터의 크기를 감소하는 방식을 사용한다. 상위 스캔라인에서 트랜지션이 일어난 경우에는 해당 스캔라인에서도 트랜지션이 일어날 확률이 많기 때문에, 매칭의 정확도를 높일 수 있다.
즉, 상위 스캔라인에서의 동일 스테이지의 코스트가, 이전 스테이지의 동일 레벨에서 온 경우에는, 비정합 파라미터의 적용이 없고, 상위 스캔라인에서 동일 스테이지의 코스트가, 이전 스테이지의 상위 레벨에서 온 경우와, 하위 레벨에서 온 경우에, 해당 스캔라인에서의 비정합 파라미터로서 각각 제1비정합 파라미터와 제2비정합 파라미터를 결정한다.
본 발명의 일실시예의 코스트 결정부(22)는, 비정합 노드에서, 상위 스캔라인에서 동일 스테이지의 코스트가 다른 디스패리티에서 온 경우에는, 트랜지션이 일어난 경우로서, 상위 스캔라인에서의 동일 스테이지의 코스트가 이전 스테이지의 상위 레벨에서 온 경우에는 제1비정합 파라미터를 감소시키고, 상위 스캔라인에서의 동일 스테이지의 코스트가 이전 스테이지의 하위 레벨에서 온 경우에는, 제2비정합 파라미터를 감소시킨다. 이때, 제1 및 제2비정합 파라미터를 감소시키는 정도는 시스템의 설정에 의해 정하여 질 수 있다.
이후, 본 발명의 일실시예의 코스트 결정부(22)는 이전 스테이지의 동일 레벨의 코스트와 상위 레벨의 코스트에 제1비정합 파라미터를 더한 값 및 하위 레벨의 코스트에 제2비정합 파라미터를 더한 값을 비교하여, 이중 최소값을 저장할 수 있다.
이와 같이 결정된 코스트를 이용하여, 경로지정부(23)는 도 6d와 같이, 결정된 코스트에 따른 경로를 지정한다. 코스트가 상위 레벨의 코스트에 의해 결정된 경우는 1, 코스트가 동일 레벨의 코스트에 의해 결정된 경우에는 0, 코스트가 하위 레벨의 코스트에 의해 결정된 경우에는 -1에 해당하는 경로가 지정될 수 있다. 본 발명의 일실시예에서는, 저장부(도시되지 않음)를 더 구비하여, 이와 같이 결정된 경로를 저장할 수 있다.
최적경로 결정부(24)는, 경로지정부(23)가 지정한 경로에서 에너지를 최소화하는 최적의 경로를 결정한다. 즉, 에너지를 최소화하는 디스패리티를 결정한다. 최적경로 및 디스패리티를 구하는 과정은 도 6d에서 설명한 바와 같다.
이상에서 본 발명에 따른 실시예들이 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 다음의 특허청구범위에 의해서 정해져야 할 것이다.
1: 스테레오 카메라부 2: 스테레오 매칭장치
11, 12: 센서부 21: 스캔라인 추출부
22: 코스트 결정부 23: 경로지정부
24: 최적경로 결정부

Claims (8)

  1. 스테레오 영상에서 대응점에 해당하는 스캔라인을 추출하는 추출부;
    상위 스캔라인의 동일 스테이지의 코스트가 이전 스테이지의 동일 레벨, 상위 레벨 및 하위 레벨 중 어느 레벨에서 결정되는지, 및 상위 스캔라인의 동일 스테이지의 코스트가 다른 디스패리티에서 결정되었는지 여부에 따라 현재의 스캔라인(해당 스캔라인)의 영상에 대한 복수의 스테이지의 노드에서의 코스트를 결정하는 제1결정부;
    결정된 코스트에 따른 경로를 지정하는 지정부; 및
    지정된 경로에서 에너지를 최소화하는 경로를 결정하는 제2결정부를 포함하는 스테레오 매칭장치.
  2. 제1항에 있어서,
    스테레오 영상을 취득하는 스테레오 카메라부를 더 포함하는 스테레오 매칭장치.
  3. 제1항에 있어서, 상기 제1결정부는,
    해당 스캔라인의 정합 노드의 경우, 이전 스테이지의 동일 레벨의 코스트에 자신의 코스트를 더하여 코스트를 결정하는 스테레오 매칭장치.
  4. 제1항에 있어서, 상기 제1결정부는,
    해당 스캔라인의 비정합 노드의 경우, 상위 스캔라인의 동일 스테이지의 코스트가 이전 스테이지의 상위 레벨로부터 결정된 경우 제1비정합 파라미터를, 하위 레벨로부터 결정된 경우, 상기 제1비정합 파라미터와 상이한 제2비정합 파라미터를 결정하는 스테레오 매칭장치.
  5. 제4항에 있어서, 상기 제1결정부는,
    상위 스캔라인에서의 동일 스테이지의 코스트가 다른 디스패리티에서 결정되고, 이전 스테이지의 상위 레벨에서 결정된 경우, 상기 제1비정합 파라미터를 소정 범위 감소시키고, 이전 스테이지의 하위 레벨에서 결정된 경우, 상기 제2비정합 파라미터를 소정 범위 감소시키는 스테레오 매칭장치.
  6. 제5항에 있어서, 상기 제2결정부는,
    해당 스캔라인에서 이전 스테이지의 동일 레벨의 코스트와, 상위 레벨의 코스트에 감소시킨 제1비정합 파라미터를 더한 값 및 하위 레벨의 코스트에 감소시킨 제2비정합 파라미터를 더한 값 중 최소값을 해당 노드의 코스트로 결정하는 스테레오 매칭장치.
  7. 제1항에 있어서, 상기 지정부는,
    코스트가 상위 레벨의 코스트에 의해 결정된 경우에는 1, 동일 레벨의 코스트에 의해 결정된 경우에는 0, 및 하위 레벨의 코스트에 의해 결정된 경우에는 -1에 해당하는 경로를 지정하는 스테레오 매칭장치.
  8. 제1항에 있어서, 상기 제2결정부는,
    에너지를 최소화하는 디스패리티를 결정하는 스테레오 매칭장치.
KR1020120106997A 2012-09-26 2012-09-26 영상특성을 이용한 스테레오 매칭장치 KR101888969B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120106997A KR101888969B1 (ko) 2012-09-26 2012-09-26 영상특성을 이용한 스테레오 매칭장치
US14/430,270 US9674503B2 (en) 2012-09-26 2013-09-25 Stereo matching apparatus using image property
PCT/KR2013/008533 WO2014051309A1 (en) 2012-09-26 2013-09-25 Stereo matching apparatus using image property
TW102134825A TWI618394B (zh) 2012-09-26 2013-09-26 利用影像特性之立體匹配裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120106997A KR101888969B1 (ko) 2012-09-26 2012-09-26 영상특성을 이용한 스테레오 매칭장치

Publications (2)

Publication Number Publication Date
KR20140040407A KR20140040407A (ko) 2014-04-03
KR101888969B1 true KR101888969B1 (ko) 2018-09-20

Family

ID=50388622

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120106997A KR101888969B1 (ko) 2012-09-26 2012-09-26 영상특성을 이용한 스테레오 매칭장치

Country Status (4)

Country Link
US (1) US9674503B2 (ko)
KR (1) KR101888969B1 (ko)
TW (1) TWI618394B (ko)
WO (1) WO2014051309A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101590777B1 (ko) * 2014-12-16 2016-02-11 경북대학교 산학협력단 스테레오 비젼에서의 시차 보정장치 및 그 방법
TWI578269B (zh) * 2015-12-14 2017-04-11 財團法人工業技術研究院 三維座標縫合方法及應用其之三維座標資訊縫合裝置
KR102442594B1 (ko) * 2016-06-23 2022-09-13 한국전자통신연구원 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치 및 그 방법
KR101766149B1 (ko) 2016-07-05 2017-08-07 현대자동차주식회사 저연산 스테레오 영상 매칭 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100772319B1 (ko) 2006-11-03 2007-10-31 포항공과대학교 산학협력단 메시지 전달 기반 스테레오 영상 정합 시스템
US20110091096A1 (en) 2008-05-02 2011-04-21 Auckland Uniservices Limited Real-Time Stereo Image Matching System

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100374784B1 (ko) * 2000-07-19 2003-03-04 학교법인 포항공과대학교 실시간 입체 영상 정합 시스템
KR100503820B1 (ko) * 2003-01-30 2005-07-27 학교법인 포항공과대학교 시스톨릭 어레이를 이용한 멀티레이어 실시간 입체 영상정합 시스템 및 방법
US7809183B2 (en) * 2003-10-08 2010-10-05 Microsoft Corporation Gaze manipulation
US7570803B2 (en) * 2003-10-08 2009-08-04 Microsoft Corporation Virtual camera translation
KR100603603B1 (ko) * 2004-12-07 2006-07-24 한국전자통신연구원 변위 후보 및 이중 경로 동적 프로그래밍을 이용한 스테레오 변위 결정 장치 및 그 방법
CN101702056B (zh) * 2009-11-25 2011-07-20 中航华东光电有限公司 基于立体图像对的立体图像显示方法
TWI398158B (zh) * 2009-12-01 2013-06-01 Ind Tech Res Inst 產生立體影像之影像深度的方法
KR20110114250A (ko) * 2010-04-13 2011-10-19 (주) 에투시스템 상위 스캔라인의 양안차를 이용한 트렐리스 기반 스테레오 정합 시스템
KR20120089921A (ko) * 2010-12-23 2012-08-16 한국전자통신연구원 다이나믹 프로그래밍 방식을 이용하는 스테레오 매칭 시스템 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100772319B1 (ko) 2006-11-03 2007-10-31 포항공과대학교 산학협력단 메시지 전달 기반 스테레오 영상 정합 시스템
US20110091096A1 (en) 2008-05-02 2011-04-21 Auckland Uniservices Limited Real-Time Stereo Image Matching System

Also Published As

Publication number Publication date
US20150281672A1 (en) 2015-10-01
US9674503B2 (en) 2017-06-06
TWI618394B (zh) 2018-03-11
TW201419833A (zh) 2014-05-16
WO2014051309A1 (en) 2014-04-03
KR20140040407A (ko) 2014-04-03

Similar Documents

Publication Publication Date Title
KR101694292B1 (ko) 스테레오 영상 정합 장치 및 그 방법
KR100776649B1 (ko) 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법
KR101419979B1 (ko) 2ｄ 이미지 데이터를 스테레오스코픽 이미지 데이터로 변환하기 위한 방법 및 시스템
JP5949314B2 (ja) 視差マップ生成装置および視差マップ生成装置用のプログラム
JP6561512B2 (ja) 視差値導出装置、移動体、ロボット、視差値導出方法、視差値生産方法及びプログラム
CN105069804B (zh) 基于智能手机的三维模型扫描重建方法
KR102172912B1 (ko) 이미지에서 극점의 서브 픽셀 위치를 추정하기 위한 방법, 장치 및 시스템
US8994722B2 (en) Method for enhancing depth images of scenes using trellis structures
WO2007052191A2 (en) Filling in depth results
KR101888969B1 (ko) 영상특성을 이용한 스테레오 매칭장치
KR101875532B1 (ko) 계층적 스테레오 매칭 장치 및 방법
JP2005037378A (ja) 奥行計測方法と奥行計測装置
JP2012170067A (ja) トレリス構造を用いてシーンの仮想画像を生成する方法とシステム
KR101027003B1 (ko) 스테레오 매칭 장치 및 그 방법
KR101896941B1 (ko) 스테레오 매칭 장치 및 그 방법
JP4394487B2 (ja) ステレオ画像処理装置
US9936189B2 (en) Method for predicting stereoscopic depth and apparatus thereof
JP7136721B2 (ja) 演算装置、視差算出方法
US20120206442A1 (en) Method for Generating Virtual Images of Scenes Using Trellis Structures
KR102240570B1 (ko) 신장 트리 생성 방법 및 장치，스테레오 매칭 방법 및 장치，업 샘플링 방법 및 장치，및 기준 픽셀 생성 방법 및 장치
JP5840114B2 (ja) 仮想画像を生成する方法
CN112308897A (zh) 一种基于邻域信息约束与自适应窗口的立体匹配方法
KR20140067253A (ko) 영상 처리 장치 및 방법
KR101550665B1 (ko) 최적 계층적 블록 매칭 방법 및 시스템, 이를 이용한 영상 정합 방법 및 영상 압축 방법
KR101850649B1 (ko) 센서스 변환 기반의 스테레오 정합 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right