KR101027003B1 - 스테레오 매칭 장치 및 그 방법 - Google Patents

Abstract

본 발명은 스테레오 카메라를 통해 입력된 스테레오 영상에 대한 3차원 정보를 복원하여 스테레오 매칭을 수행하는 기법에 관한 것으로, 이를 위하여 본 발명은, 스테레오 영상이 입력되면, 그 스테레오 영상에 대한 흐림 파라미터를 결정하고, 스테레오 영상에 대한 각 픽셀별 흐림 파라미터로 변환한 후에, 각 픽셀별 흐림 파라미터와 양안차와의 관계를 획득하며, 그에 대응하는 정합 노드와 비정합 노드에서의 코스트를 계산하여 검출된 최적 경로에 대응하는 양안차를 결정함으로써, 스테레오 영상 내 흐림 현상을 통해 획득된 3차원 정보를 스테레오 매핑에 적용하여 그 매칭 신뢰도를 향상시킬 수 있는 것이다.

스테레오 매칭, 흐림 파라미터(blur parameter)

Description

스테레오 매칭 장치 및 그 방법{STEREO MATCHING APPARATUS AND ITS METHOD}

본 발명은 스테레오 매칭 기법에 관한 것으로, 더욱 상세하게는 스테레오 영상에 대한 흐림 파라미터를 이용하여 3차원 정보를 복원하고, 이를 스테레오 매칭에 이용할 수 있는 스테레오 매칭 장치 및 그 방법에 관한 것이다.

잘 알려진 바와 같이, 사람의 시각은 주위 환경의 정보를 얻기 위한 감각의 하나로서, 두 눈을 통해 사물의 위치와 멀고 가까움을 인지할 수 있다. 즉, 두 눈을 통해 들어오는 시각 정보들이 하나의 거리 정보로 합성이 되면서 자유롭게 활동할 수 있는 것이다.

이러한 시각 구조를 기계에 구현함으로써, 인간을 대신할 수 있는 로봇을 개발해 왔는데, 로봇의 시각 시스템은 스테레오 카메라(즉, 좌측 카메라와 우측 카메라)로 구성되고, 두 개의 카메라로부터 영상을 읽어 들여 하나의 3차원 정보로 재구성하게 된다.

이 때, 하나의 영상은 3차원 공간을 2차원 공간으로 사영시킨 것을 의미하는데, 이 과정에서 3차원 거리 정보(depth)를 상실하게 되고, 이것으로부터 3차원 공간을 직접 복원하는 것은 매우 어렵게 된다. 하지만, 서로 다른 위치에서 얻어진 두 장 이상의 영상이 있을 경우에는 3차원 공간의 복원을 수행할 수 있다.

즉, 실제 공간상의 한 점이 두 장의 영상에 맺혔을 때 두 영상에서 나타나는 그 점의 대응점을 찾고, 기하학적인 구조를 이용하면 그 점의 실제 공간에서의 위치를 찾을 수 있다.

하지만, 두 영상의 대응점을 찾는 일(이하 '스테레오 매칭'이라 함)은 매우 어려운 작업이며, 3차원 공간을 추정 및 복원하는데 필요한 가장 중요한 기술이다. 이러한 스테레오 매칭은 많은 형태의 결과를 가질 수 있는데, 그 결과가 너무 많기 때문에 그것들 중 실제 공간을 대변하는 결과만을 찾는 것은 매우 어려운 문제이다.

일반적으로, 스테레오 매칭 기술은 마코프 랜덤 필드(Markov Random Field : MRF) 모델을 기반으로 하며, 이 2차원 필드 모델은 복잡한 물체의 모델링을 간단하고, 지역적인 관계가 있는 확률 모델로 만들어 주는데, 이 마코프 랜덤 필드 모델(MRF)은 계산이 복잡하고, 계산량이 많으며, 결과의 경계가 희미해지는 단점을 가지고 있다.

한편, 고속 처리를 기반으로 하는 스테레오 매칭 기술에는 격자(trellis) 구조를 가지는 동적 계획(dynamic programming) 기술이 있는데, 이 기술은 격자 구조를 기반으로 하며, 상당히 빠르고 정확한 스테레오 매칭을 수행할 수 있다. 하지만, 이러한 동적 계획 기술은 단일 라인에서만 검색을 통해 매칭을 수행하기 때문에 스트라이프 노이즈(stripe noise, 즉 error)가 많은 결과를 가지는 단점을 갖는다.

또한, 3차원 공간을 복원하기 위한 기술로 스테레오 카메라가 아닌 모노 카메라를 이용한 기술이 사용되는데, 모노 카메라로부터 한 장의 영상을 획득하고, 그로부터 3차원 정보를 복원한다. 이 때, 2차원 이미지에서 가지는 정보는 매우 제한적이므로 정확한 3차원 복원이 어렵지만 특정 조건을 만족하는 모노 영상에 대해 3차원 정보를 추정하고 복원할 수 있다.

한편, DFD(depth from defocus, 이하 'DFD'라 함)는 카메라 초점 거리에 존재하는 물체를 제외하는 이미지의 흐림 현상을 이용해서 3차원 정보를 복원하는데, 포커스 포지션에서 벗어난 물체들은 포커스 포지션에서 벗어난 거리에 대응되는 점 확산 함수(PSF : point spread function), 점 확산 반경(R, blur circle radius) 등으로 나타나고, 이 점 확산 함수를 추정함으로써, 상실된 3차원 정보에 대한 추정 및 복원을 수행한다.

하지만, 상술한 바와 같이 종래의 DFD에서는 2차원 영상에서 얻을 수 있는 정보에 한계가 있어 그로부터의 3차원 공간 복원 결과 역시 한계를 가지며, 이러한 DFD 기술로 3차원 공간을 복원하기 위해 파라미터 설정을 변화시켜 여러 장의 영상으로부터 결과를 추정 및 재구성하게 되기 때문에 그 결과 역시 한계를 갖는 문제점이 있다.

이에 따라, 본 발명은 고정된 초점 거리를 이용하여 획득된 2차원 스테레오 영상에 대해 DFD 기술을 적용하여 좌측 이미지 및 우측 이미지, 각각에 대한 흐림 파라미터(blur parameter)를 추출하고, 추출된 흐림 파라미터를 스테레오 매칭에 적용함으로써, 향상된 매칭 결과를 획득할 수 있는 스테레오 매칭 장치 및 그 방법을 제공하고자 한다.

본 발명의 일 실시 예에 따르면, 스테레오 카메라를 통해 입력된 스테레오 영상을 전처리하는 영상 처리부와, 상기 전처리된 스테레오 영상에 대한 흐림 파라미터를 결정하며, 상기 스테레오 영상에 대한 각 픽셀별 흐림 파라미터로 변환한 후에, 상기 흐림 파라미터 및 카메라 파라미터간의 관계를 획득하는 3차원 정보 복원부와, 상기 각 픽셀별 흐림 파라미터와 상기 흐림 파라미터 및 카메라 파라미터간의 관계를 이용하여 양안차와의 관계를 획득하며, 상기 각 픽셀별 흐림 파라미터와 상기 양안차와의 관계에 따라 정합 노드와 비정합 노드에서의 정합 코스트와 비정합 코스트를 계산하여 검출된 최적 경로에 대응하는 양안차를 결정하는 영상 정합부를 포함하는 스테레오 매칭 장치가 제공된다.

본 발명의 다른 실시 예에 따르면, 스테레오 카메라를 통해 입력된 스테레오 영상을 전처리하는 단계와, 상기 전처리된 스테레오 영상에 대한 흐림 파라미터를 결정하는 단계와, 상기 스테레오 영상에 대한 각 픽셀별 흐림 파라미터로 변환하는 단계와, 상기 흐림 파라미터 및 카메라 파라미터간의 관계를 획득하는 단계와, 상기 각 픽셀별 흐림 파라미터와 상기 흐림 파라미터 및 카메라 파라미터간의 관계를 이용하여 상기 흐림 파라미터와 양안차와의 관계를 획득하는 단계와, 상기 각 픽셀별 흐림 파라미터와 상기 양안차와의 관계에 따라 정합 노드와 비정합 노드에서의 정합 코스트 및 비정합 코스트를 계산하여 최적 경로를 검색하고, 이에 대응하는 상기 양안차를 결정하는 단계를 포함하는 스테레오 매칭 방법이 제공된다.

본 발명은, 초점 거리에 있지 않은 물체에 의해 발생되는 스테레오 영상내의 흐림 현상을 이용해 좌, 우 각 각의 2차원 영상으로부터 3차원 거리 정보를 획득하고, 동시에 이를 스테레오 매칭에 적용함으로써, 중요한 제한항을 두어 스테레오 매칭 코스트의 신뢰도 향상에 기여한다.

이는 결과적으로 스테레오 매칭을 통한 3차원 공간 복원에 있어서 종래보다 향상된 양안차 맵(3차원 정보)을 획득할 수 있으며, 점확산 함수에 의해 흐려진 영상을 선명하게 복원하는 동시에, 보다 정확한 3차원 공간을 추정, 복원할 수 있다.

본 발명은, 스테레오 영상이 입력되면, 그 스테레오 영상에 대한 흐림 파라미터를 결정하고, 스테레오 영상에 대한 각 픽셀별 흐림 파라미터로 변환한 후에, 각 픽셀별 흐림 파라미터와 양안차와의 관계를 획득하며, 그에 대응하는 정합 노드와 비정합 노드에서의 코스트를 계산하여 검출된 최적 경로에 대응하는 양안차를 결정한다는 것이며, 이러한 기술적 수단을 통해 종래 기술에서의 문제점을 해결할 수 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형 태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시 예에 따라 추출된 흐림 파라미터를 이용하여 스테레오 매칭을 수행하는데 적합한 스테레오 매칭 장치의 블록 구성도로서, 제 1 카메라(102a), 제 2 카메라(102b), 영상 처리부(104), 3차원 정보 복원부(106), 영상 정합부(108), 출력부(110) 등을 포함할 수 있다.

도 1을 참조하면, 제 1 카메라(102a) 및 제 2 카메라(102b)는, 예컨대 CMOS(complementary metal??oxide??semiconductor, 이하 'CMOS'라 함) 모듈, CCD(charge-coupled device, 이하 'CCD'라 함) 모듈 등을 이용하여 피사체를 촬영하는 좌측 카메라와 우측 카메라를 의미하는 것으로, 입력되는 촬영 이미지(또는 동영상)는 렌즈를 통해 CMOS 모듈 또는 CCD 모듈로 제공되고, CMOS 모듈 또는 CCD 모듈은 렌즈를 통과한 피사체의 광신호를 전기적 신호(촬영 신호)로 변환 출력하며, 카메라가 갖는 노출, 감마, 이득 조정, 화이트 밸런스, 컬러 매트릭스 등을 수행한 후에, ADC(analog to digital converter, 이하 'ADC'라 함)를 통해 촬영 산호를 디지털 신호로 변환하여 좌측 영상 및 우측 영상을 각각 영상 처리부(104)로 전달한다.

그리고, 영상 처리부(104)는 교정 파라미터(rectification parameter)값을 이용하여 스테레오 영상을 교정(rectification)하고, 영상의 에피폴라 라인(epipolar line)을 일치시켜 출력하는 것으로, 제 1 카메라(102a) 및 제 2 카메라(102b)로부터 각각 전달되는 좌측 영상 및 우측 영상에 대한 스테레오 카메라의 교정 파라미터를 이용하여 에피폴라 라인이 수평이 될 수 있도록 영상을 교정하고, 좌측 카메라와 우측 카메라의 특성 차이 및 좌우 영상의 밝기 차이를 보정하여 3차원 정보 복원부(106) 및 영상 정합부(108)로 각각 전달한다.

여기에서, 에피폴라 라인은 스테레오 영상에서 한쪽 영상의 한 점이 다른 영상의 라인으로 대응되게 되는데, 이 대응되는 라인을 의미하는 것으로, 에피폴라 라인을 일치시키기 위해 스테레오 카메라 전방에 좌측 카메라 및 우측 카메라의 베 이스 라인 벡터와 평행하도록 스테레오 카메라 앞에 교정용 패턴을 이용하여 교정 파라미터를 추출하며, 이러한 교정 파라미터를 저장해 두고, 초기화 작업 시 이러한 교정 파라미터를 이용하여 에피폴라 라인이 수평이 되게 할 수 있다.

다음에, 3차원 정보 복원부(106)는 DFD를 이용하여 흐림 파라미터를 추출하는 것으로, 스테레오 영상에 대한 흐림 파라미터를 결정하고, 스테레오 영상에 대한 각 픽셀별 흐림 파라미터를 결정하며, 흐림 파라미터와 카메라 파라미터간의 관계를 결정한 후에, 이러한 각각의 정보(즉, 각 픽셀별 흐림 파라미터, 흐림 파라미터와 카메라 파라미터간의 관계 등)를 영상 정합부(108) 및 출력부(110)로 전달한다.

여기에서, 각 픽셀별 흐림 파라미터를 결정하고, 흐림 파라미터와 카메라 파라미터간의 관계를 결정하는 과정에 대해 상세히 설명하면, 본 발명은 고정된 초점 거리(focal length)에 따라 촬영된 2차원 스테레오 영상(즉, 좌측 영상 및 우측 영상)에 대해 DFD를 이용하여 좌측 영상과 우측 영상 각각의 흐림 파라미터(blur parameter)를 추출하게 되는데, 이러한 흐림 파라미터를 제한(constraint) 요소로 하여 스테레오 매칭을 수행함으로써, 더욱 향상된 매칭 결과를 획득할 수 있다.

먼저, 양안차(d)와 3차원 거리(Z)와의 관계에 대해 설명하면, 스테레오 매칭은 2차원 좌측 영상과 우측 영상, 즉 스테레오 영상으로부터 3차원 공간을 재구성 하는 것으로, 두 개의 2차원 영상에서 대응점들을 찾아 상호간의 기하학적 관계를 이용하여 3차원 정보를 추정한다. 예를 들면, 도 2는 본 발명의 실시 예에 따라 3차원 정보를 추정하기 위한 에피폴라 라인을 예시한 도면으로, 두 개의 2차원 영상 에서 대응점들을 찾아 상호간의 기하학적 관계를 이용하여 3차원 정보를 추정하기 위하여 스테레오 영상에서 한쪽 영상(Image1)의 한 점(P)에 대응되는 점을 다른 쪽 영상(Image2)에서 찾아야 하는데, 이 점(예를 들면, P', P1', P2')은 기준 영상(즉, Image1)에서의 점(P)에 대한 대응 영상(즉, Image2)의 에피폴라 라인 상에 있음을 알 수 있으며, 에피폴라 라인에 대한 교정(rectification)을 수행하면, 수평으로 펼쳐진 두 개의 단일 스캔라인만을 검사함으로써, 스테레오 매칭을 수행할 수 있다.

그리고, 도 3은 본 발명의 실시 예에 따라 양안차와 3차원 정보간의 관계를 설명하기 위한 도면으로, 스테레오 카메라로부터 얻은 좌측 영상 및 우측 영상과 그 영상들에 맺힌 사물과의 관계를 나타내는데, 대응되는 각 픽셀에 대한 양안차(d)는 단일 라인에서의 대응점으로 아래의 수학식 1과 같이 나타낼 수 있다.

여기에서, d는 양안차를 의미하며, x^r은 우측 영상에서의 x축 길이, x^l은 좌측 영상에서의 x축 길이를 의미하고, 한 점(x,y,z)이 좌측 영상과 우측 영상으로 촬영될 경우 기하학적 구조로부터 아래와 같은 수학식 2와 같은 파라미터간 관계를 알 수 있다.

여기에서, f는 초점 거리(focal length)를 의미하고, B(base length)는 두 카메라 사이의 거리를 의미하며, Z는 3차원 거리를 의미하는데, 이러한 수학식 2를 상기한 수학식 1에 적용하면 아래의 수학식 3과 같이 나타낼 수 있다.

따라서, 초점거리(f)와 두 카메라 사이의 거리(B)를 알 수 있고, 두 영상의 대응점을 찾을 수 있으면, 물체의 3차원 정보, 즉, 깊이(depth)를 추정할 수 있다.

다음에, 흐림 파라미터(blur parameter)와 3차원 거리(Z)와의 관계에 대해 설명하면, 도 4는 본 발명의 실시 예에 따라 초점 거리에 있는 점과 초점 거리에서 벗어난 점이 이미지 평면에 맺히는 형태를 예시한 도면으로, 초점 거리에 있는 점(P)은 이미지 평면에 하나의 점으로 맺히지만, 초점 거리에서 벗어난 점(P')은 이미지 평면에 점확산 형태로 나타나는 것을 확인할 수 있다. 이를 흐림 파라미터(blur parameter)라 칭하며, 그 값이 클수록 초점 위치보다 상대적으로 멀리 위치하는 물체임을 알 수 있다.

이러한 점확산 함수를 가우시안의 형태로 가정하면, 이때 가우시안의 확산 정도인 시그마(σ)로서 그 파라미터를 아래의 수학식 4와 같이 나타낼 수 있다. 여기에서, 시그마(σ)는 'σ = kR for k>0'의 관계를 나타낸다.

그리고, 입력 영상과 점확산 함수에 의해 흐릿하게(blur)된 이미지는 아래의 수학식 5와 같은 관계를 나타낼 수 있다.

여기에서, 아래 첨자(l, r)는 좌측 영상과 우측 영상을 각각 의미하며, f(x,y)는 흐림 현상 없는 이미지 함수를 의미하고,, g(x,y)는 점확산 함수 h(x,y)에 의해 흐림이 나타난 이미지 함수를 의미한다. 여기에서, 노이즈 항인 n(x,y)은 무시될 수 있다.

또한, 점확산 함수의 파라미터(σ)와 카메라로부터 관찰된 이미지 함수인 g(x,y), 흐림 현상이 없는 이미지 함수인 f(x,y)의 관계는 다음의 수학식 6과 같이 나타낼 수 있다.

여기에서,

연산은 라플라시안(Laplacian) 연산자를 의미하는데, 라플라시안 연산자는 흐림 현상(blur)이 있는 영상을 2차 미분을 통해 선명한(sharp) 영상으로 만들어 주는 연산자로서, 예를 들면, 4 이웃 픽셀의 라플라시안 마스크를 통해 선명화 연산에 이용될 수 있다.

또한, 상기한 수학식 6에 나타낸 바와 같이 점확산 정도를 나타내는 파라미터(σ)와 카메라부터 얻어진 영상과의 관계는 공간상에 변화가 없는(space invariant) 단일 파라미터 값으로, 전체 영상에 대해서 단 하나의 값만이 흐림 현상을 일으키는 파라미터로 존재 한다는 것을 의미하는데, 이것은 영상 전체의 픽셀 하나 하나의 양안차를 구하는 스테레오 매칭에 적용하기 어렵고, 관찰된 영상(g(x,y))만을 알고 있는 상태에서 알려지지 않은 선명한 영상(f(x,y)), 그것의 확산 파라미터 (σ)를 추정하기 어렵기 때문에, DFD를 스테레오 매칭에 적용하기 위해 공간상에서 픽셀마다 각각의 값을 갖도록(space variant) 수정하고, 하나의 미지수만 갖도록 만들어야 한다.

따라서, 흐림 정도를 나타내는 흐림 파라미터(σ)를 공간상에 픽셀마다 값을 갖도록 하기 위해서 σ를 아래의 수학식 7과 같이 나타낼 수 있다.

또한, 상기한 수학식 5에 나타낸 바와 같이 흐림 현상의 영상은 선명한 영상과 점확산 함수의 회선(convolution)에 의해 정의 될 수 있다는 것을 알고 있기 때문에, 이를 이용하여 상기한 수학식 7을 상기한 수학식 6에 적용하면 아래의 수학식 8을 획득할 수 있다.

그리고, 상기한 수학식 8을 상기한 수학식 5에 적용하면 아래의 수학식 9와 같이 나타낼 수 있다.

여기에서, 상기한 수학식 9는 카메라로부터 얻은 영상으로부터 각 픽셀마다 점확산 정도(σ)를 얻을 수 있다는 것을 의미하며, 각 픽셀 포인트에서의 σ는 아래의 수학식 10을 최소화하는 값을 유추하여 획득될 수 있다.

상기한 바와 같은 수학식 4 내지 수학식 11의 관계를 통해 공간 변화적인 좌측 영상과 우측 영상의 각 픽셀별 흐림 파라미터를 결정함으로써, 흐린 영상을 선명한 영상으로 복원할 수 있다.

한편, 도 4에 도시한 바와 같은 도면으로부터 렌즈에 관련된 함수는 아래의 수학식 11과 같이 나타낼 수 있다.

여기에서, 상기한 수학식 11은 초점 위치(r₀, Focus position)와, 초점 거리(f, focal length)와의 관계를 나타내는데, 초점 위치(r₀)에서 벗어난 점(P')은 아래의 수학식 12와 같은 관계를 나타낼 수 있다.

여기에서, z는 디포커스 위치(Defocus position)를 의미하며, z'은 광축 거리(Optical Axis)를 의미한다.

한편, 렌즈의 반경(D, radius)과 점확산의 반경(R)은 삼각형 형태의 기하학적 구조로부터 아래의 수학식 13을 만족한다.

따라서, 상기한 수학식 12와 상기한 수학식 13으로부터 거리(z)와 포커스 포지션에서 벗어나 점(P')의 점확산에 의한 상대적인 점확산 반경(R)과의 관계는 아래의 수학식 14와 같이 나타낼 수 있다.

여기에서, 미지수인 r'항을 소거하기 위해 상기한 수학식 10을 상기한 수학식 14에 적용하면, 아래의 수학식 15와 같이 나타낼 수 있다.

여기에서, 일반적으로 물체의 초점 위치(r₀)와 초점 거리(f)는 r_o>>f인 관계 를 갖기 때문에, 거리(z)와 상대적인 점확산 반경(R)과의 관계는 아래의 수학식 16과 같이 나타낼 수 있다.

여기에서, 초점 거리(f), 렌즈 반경(D), 초점 위치(r₀) 값은 모두 변하지 않는 고정된 값을 갖는다.

한편, 영상 정합부(108)는 DFD를 통해 결정된 각 픽셀별 흐림 파라미터와 흐림 파라미터와 카메라 파라미터간의 관계를 이용하여 양안차와 흐림 파라미터간의 관계를 결정하고, 정합 코스트와 비정합 코스트를 계산하여 양안차를 결정한 후, 결정된 양안차 결과를 출력부(110)로 전달한다.

여기에서, 양안차와 흐림 파라미터간의 관계를 결정하는 과정에 대해 상세히 설명하면, 거리(z)와 상대적인 점확산 반경(R)과의 관계를 나타내는 상기 수학식 16과 거리(z)와 양안차(d)와의 관계를 나타내는 상기 수학식 3으로부터 아래의 수학식 17과 같은 양안차 흐림 관계를 나타낼 수 있다.

이러한 수학식 17에 따라 양안차(d)와 흐림의 정도를 명확하게 알 수 있는데, 첫 번째 항은 상대적인 양안차 값을 의미하고, 두 번째 항은 상대적인 흐림 값 을 의미하며, 세 번째 항은 초점 위치와 거리와의 관계를 나타낸다. 여기에서, B(base distance)는 기준 거리를 의미하며, D(lense diameter)는 렌즈 반경을 의미하고, f(focal length)는 초점 거리를 의미하며, r₀(focus position)은 초점 위치로서, 모두 고정된 값을 갖는다.

한편, 양안차(d)와 흐림 파라미터(σ,R)를 추정하는 과정에 대해 설명하면, 스테레오 매칭의 궁극적인 목적은 좌측 영상과 우측 영상에 대해 각 영상의 단일 라인을 검색하여 대응되는 위치의 차인 양안차(d)를 구하는 것인데, 이상적인 경우 단일 라인에서의 흐림(blur) 영상과 선명한 영상과의 관계는 아래의 수학식 18과 같이 나타낼 수 있다.

여기에서, G(i,σ)는 가우시안에 의해 나타내는 흐림 영상을 의미하며, f(i)는 선명한 이미지를 의미하고, λ는 전체 에너지 함수의 정확도를 고려한 고정값을 의미하며, 인덱스가 (i)인 것은 x또는 y방향의 단일 스캔 라인에서의 연산을 의미한다.

상기한 수학식 18과 같은 관계를 선명한 영상에서의 양안차로 나타낼 경우 아래의 수학식 19와 같이 나타낼 수 있다.

상기한 수학식 19로부터 각 픽셀의 점 확산 파라미터(R)는 아래의 수학식 20을 만족할 수 있다.

이 때, 양안차를 알고 있는 경우 좌측 영상과 우측 영상에서 나타나는 흐림 정도의 파라미터(R)는 아래의 수학식 21에 나타낸 에너지 함수를 최소화 하는 값으로 추정할 수 있다.

반면에, 점확산 함수를 알고 있는 경우 양안차는 아래의 수학식 22와 같이 정의될 수 있다.

상술한 바와 같은 관계를 갖는 양안차와 흐림 파라미터를 이용하여 정합 코스트와 비정합 코스트를 계산하여 양안차를 결정하는 과정에 대해 상세히 설명하면, 일반적인 카메라는 3차원 영상을 2차원 불연속 성분(discrete components)으로 CCD또는 CMOS 센서에 저장이 되는데, 도 5는 본 발명의 실시 예에 따라 좌측 영상과 우측 영상에서 불연속 성분에 의한 양안차를 나타낸 도면으로, 관찰되는 2차원 영상은 모두 불연속 성분으로 표현될 수 있고, 이에 따라 도 5에 도시한 바와 같이 관찰된 좌측 영상 및 우측 영상에서 불연속 성분에 의한 양안차값을 표현할 수 있는데, 영상으로부터 가장 멀리 있는 점의 양안차값은 d=0이고(즉, z는 무한대), 같은 선상의 접점들은 모두 같은 양안차값을 가짐을 알 수 있으며, 3차원 깊이(Z, 3차원 거리)가 증가할수록 양안차값은 감소하게 됨을 알 수 있다.

또한, 도 5에 도시한 바와 같은 검정색 점은 이 3차원 좌표가 사물의 표면인지를 검증할 매칭이 일어나는 노드로서, 사영선이 만나는 곳에서 정의될 수 있고, 어떤 노드에서 적절한 매칭이 일어날 경우 이 노드에서 만나는 두 영상의 픽셀은 한 쌍을 이루게 되며, 이를 정합(matching)이라고 하고, 이와는 반대로 두 영상 중 한쪽 영상에서는 사물의 표면이 보이지만, 그 사물의 표면이 다른 쪽 영상에서는 보이지 않는 영역이 존재할 수 있는데, 이를 비정합(occlusion)이라고 한다.

한편, 도 6은 본 발명의 실시 예에 따라 격자 구조의 정합 노드와 비정합 노드를 예시한 도면으로, 피라미드 형태의 격자 구조(trellis)에서의 정합 노드(matching node)와 비정합 노드(occlusion node)를 표현하고 있는데, 점정색 점이 정합 노드를 의미하며, 흰점은 비정합 노드를 의미하고, 두 영상으로 부터의 사영선(projection line)에서 발생 가능한 정합 노드들은 다수 개 존재할 수 있으며, 이 정합 노드들에서는 모두 옳은 매칭이 일어날 가능성이 있는데, 그렇다고 하여 전체 양안차 맵의 형태와 관계없이 모든 노드에서 매칭이 일어날 수 있는 것은 아 니다. 즉, 도 5에 도시한 바와 같이 좌측 한 개의 사영선은 우측의 다수 사영선들과 만나게 되는데, 이 중에서 한 개의 사영선과 만나는 정합 노드에서만 옳은 매칭이 일어나게 되는 것과 같이, 영상이 투사되는 사영선 사이의 관계들로부터 제한을 두면 검색해야 할 패스가 줄어들게 되어 계산의 효율성 및 계산량을 줄일 수 있다.

이러한 격자 구조에서의 스테레오 매칭은 에너지 함수를 최소로 만드는 양안차 값을 찾는 MAP 추정(maximum a posteriori estimation)을 기반으로 하는데, 이를 위해 DP(dynamic programming)을 기반으로 하는 비터비(viterbi) 알고리즘을 이용하여 최적의 경로를 검색한다. 즉, 정합 노드들 및 비정합 노드들에서 패스를 정의하고, 각 각의 패스마다 주어진 코스트를 합하여 이들 코스트가 최소가 되는 패스를 검출하는 방식으로 수행될 수 있다.

일 예로서, 도 7은 본 발명의 실시 예에 따라 정합 노드와 비정합 노드들에 대한 각 패드들의 코스트를 나타낸 도면으로, 현재의 스테이지가 i이라 하면 최소가 될 수 있는 패스의 경로는 i-1스테이지까지의 최소값에 i-1스테이지에서 i스테이지로 가는 패스들의 코스트 값들의 합 중에서 최소값만이 i스테이지까지의 최소 패스가 될 수 있다.

여기에서, 비정합 노드는 이전 단의 같은 레벨의 노드와 상, 하 레벨의 노드에서 오는 패스가 형성될 수 있으며, 정합 노드는 이전 단의 같은 레벨의 노드에서만 패스가 형성될 수 있다. 이 때, 정합 노드에서는 매칭 코스트라 정의되는 코스트를 계산하기 위해 좌, 우 영상값을 필요로 하며, 최적의 패스는 이들 비정합 노드와 정합 노드 사이에 존재하며, 이들 패스에 매칭 코스트와 비정합 코스트를 할 당한 것과 같은 결과를 나타내고, 스테이지는 격자 구조에서 시간의 인덱스를 두어 좌에서 우로 가는 경로의 세로로 줄지어진 노드들을 하나의 스테이지로 정의할 수 있다.

본 발명에서는 기존의 알고리즘에서 정합 코스트에 제한항을 추가함으로써 정확한 코스트값 할당을 통한 향상된 양안차 맵을 획득하는 것인데, 정합 노드와 비정합 노드의 코스트를 이용하여 양안차를 결정하는 것을 설명하면, 스테이지 i=0에서 모든 노드의 코스트(δ)는 아래의 수학식 23과 같이 초기화된다. 여기에서, 'i=1,...,2N'에 따라 순방향으로 각각 반복 수행하는 것은 할당된 양안차(d)와 각각의 노드로부터 최적 패스와 최적 코스트를 획득하기 위함이다.

그리고, i+d가 짝수일 경우는 비정합 노드를 의미하는 것으로, 비정합 노드에서의 코스트 매트릭스

와 전체 코스트로 정의된

에서 각 노드로 가는 최소 경로 패스에 대한 패스 매트릭스(

)의 관계는 아래의 수학식 24와 같이 나타낼 수 있다. 여기서

는 비정합 파라미터를 의미한다.

또한, i+d가 홀수일 경우는 정합 노드를 의미하는 것으로, 정합 노드에서의 코스트와 최적의 양안차 값의 관계는 아래의 수학식 25와 같이 나타낼 수 있다.

여기에서, ν, λμ 값은 모두 상기한 수학식 25를 만족시키는 파라미터를 의미한다.

이 때, 스테이지 i가 'i=2N and d=0'의 조건을 만족하면, 순방향 반복 연산을 완료하고, 다음의 수학식 26과 같이 역방향의 초기값(코스트 및 양안차값)을 결정 한다.

이 후, 스테이지의 역방향으로 아래의 수학식 27과 같이 회귀적 검색을 수행함으로써 최적의 양안차(

)를 획득할 수 있다.

여기에서, 영상의 크기는 'MㅧN'으로 정의할 수 있다.

한편, 출력부(110)는 3차원 정보 복원부(106)로부터 전달되는 각 픽셀별 흐림 파라미터와, 흐림 파라미터와 카메라 파라미터간의 관계에 관한 정보를 영상 정 합부(108)로부터 전달되는 양안차값과 함께 양안차 정보로 구성하여 출력한다.

따라서, 스테레오 영상이 입력되면, 그 스테레오 영상에 대한 흐림 파라미터를 결정하고, 스테레오 영상에 대한 각 픽셀별 흐림 파라미터로 변환한 후에, 각 픽셀별 흐림 파라미터와 양안차와의 관계를 획득하며, 그에 대응하는 정합 노드와 비정합 노드에서의 코스트를 계산하여 검출된 최적 경로에 대응하는 양안차를 효과적으로 결정할 수 있다.

다음에, 상술한 바와 같은 구성을 갖는 스테레오 매칭 장치에서 스테레오 영상이 입력되면, 입력된 영상을 전처리하고, 전처리된 스테레오 영상에 대한 흐림 파라미터를 결정하며, 스테레오 영상에 대한 각 픽셀별 흐림 파라미터로 변환한 후에, 흐림 파라미터와 카메라 파라미터간의 관계를 획득하며, 각 픽셀별 흐림 파라미터와 흐림 파라미터와 카메라 파라미터간의 관계를 이용하여 양안차와의 관계를 획득하며, 그에 대응하는 정합 노드와 비정합 노드에서의 코스트를 계산하여 검출된 최적 경로에 대응하는 양안차를 결정하는 과정에 대해 설명한다.

도 8은 본 발명의 다른 실시 예에 따라 추출된 흐림 파라미터를 이용하여 스테레오 매칭을 수행하는 과정을 도시한 플로우차트이다.

도 8을 참조하면, 스테레오 매칭 장치의 대기 모드에서(단계802), 영상 처리부(104)에서는 제 1 카메라(102a) 및 제 2 카메라(102b)를 통해 좌측 영상 및 우측 영상을 포함하는 스테레오 영상이 입력되는지를 체크한다(단계804).

상기 단계(804)에서의 체크 결과, 스테레오 영상이 입력될 경우 영상 처리부(104)에서는 입력된 영상을 전처리하여 디지털 신호로 변환된 스테레오 영상을 3 차원 정보 복원부(106)로 전달한다(단계806). 여기에서, 입력 영상의 전처리는 제 1 카메라(102a) 및 제 2 카메라(102b)로부터 각각 전달되는 좌측 영상 및 우측 영상에 대한 스테레오 카메라의 교정 파라미터를 이용하여 에피폴라 라인이 수평이 될 수 있도록 영상을 교정한 후, 좌측 카메라와 우측 카메라의 특성 차이 및 좌우 영상의 밝기 차이를 보정하는 방식으로 수행될 수 있다.

그리고, 3차원 정보 복원부(106)에서는 전처리된 스테레오 영상에 대한 흐림 파라미터를 결정한다(단계808). 여기에서, 흐림 파라미터는 도 4에 도시한 바와 같이 초점 거리에 있는 점(P)은 이미지 평면에 하나의 점으로 맺히지만, 초점 거리에서 벗어난 점(P')은 이미지 평면에 점확산 형태로 나타나는 것을 의미하는데, 이러한 흐림 파라미터는 가우시안 형태의 점확산 함수를 이용하여 상기한 수학식 4와 같이 나타낼 수 있다.

그리고, 입력 영상과 점확산 함수에 의해 흐릿하게(blur)된 이미지는 상기한수학식 5와 같은 관계를 나타낼 수 있으며, 점확산 함수의 파라미터(σ)와 카메라로부터 관찰된 이미지 함수인 g(x,y), 흐림 현상이 없는 이미지 함수인 f(x,y)의 관계는 상기한 수학식 6과 같이 나타낼 수 있다. 여기에서, 상기한 수학식 6에 포함된 라플라시안 연산자를 이용하여 흐림 현상(blur)이 있는 영상을 2차 미분을 통해 선명한(sharp) 영상으로 변환할 수 있다.

한편, 3차원 정보 복원부(106)에서는 결정된 흐림 파라미터를 스테레오 매칭에 적용하기 위해 스테레오 영상에 대한 각 픽셀별 흐림 파라미터로 변환하여 결정한다(단계810). 여기에서, 스테레오 영상에 대한 각 픽셀별 흐림 파라미터로 변환 하는 이유는, 점확산 정도를 나타내는 파라미터(σ)와 카메라부터 얻어진 영상과의 관계는 공간상에 변화가 없는 단일 파라미터 값으로, 전체 영상에 대해서 단 하나의 값만이 흐림 현상을 일으키는 파라미터로 존재 한다는 것을 의미하고, 이것은 영상 전체의 픽셀 하나 하나의 양안차를 구하는 스테레오 매칭에 적용하기 어렵고, 관찰된 영상(g(x,y))만을 알고 있는 상태에서 알려지지 않은 선명한 영상(f(x,y)), 그것의 확산 파라미터 (σ)를 추정하기 어렵기 때문이며, 이에 따라 DFD를 스테레오 매칭에 적용하기 위해 공간상에서 픽셀마다 각각의 값을 갖도록 수정(변환)할 수 있다.

예를 들면, 흐림 정도를 나타내는 흐림 파라미터(σ)를 공간상에 픽셀마다 값을 갖도록 하기 위해서 σ를 상기한 수학식 7과 같이 나타내고, 흐림 현상의 영상이 선명한 영상과 점확산 함수의 회선에 의해 정의된다는 점을 이용하여 상기한 수학식 8을 획득할 수 있으며, 상기한 수학식 8을 상기한 수학식 5에 적용하면 카메라로부터 얻은 영상으로부터 각 픽셀마다 점확산 정도(σ)를 얻을 수 있다는 것을 의미하는 상기 수학식 9를 획득할 수 있고, 각 픽셀 포인트에서의 흐림 파라미터(σ)는 상기한 수학식 10을 최소화하는 값을 유추하여 획득될 수 있다.

이 때, 상기한 바와 같은 수학식 4 내지 수학식 11의 관계를 통해 공간 변화적인 좌측 영상과 우측 영상의 각 픽셀별 흐림 파라미터를 결정함으로써, 흐린 영상을 선명한 영상으로 복원할 수 있다.

또한, 3차원 정보 복원부(106)에서는 흐림 파라미터와 카메라 파라미터간의 관계를 획득한다(단계812). 여기에서, 도 4에 도시한 바와 같은 도면으로부터 렌즈 에 관련된 함수는 초점 위치(r₀)와, 초점 거리(f)와의 관계를 나타내는 상기 수학식 11과 같이 나타낼 수 있고, 초점 위치(r₀)에서 벗어난 점(P')은 상기한 수학식 12와 같은 관계를 나타낼 수 있다.

그리고, 렌즈의 반경(D)과 점확산의 반경(R)은 삼각형 형태의 기하학적 구조로부터 상기한 수학식 13을 만족하며, 상기한 수학식 12와 상기한 수학식 13으로부터 거리(z)와 초점 위치에서 벗어난 점(P')의 점확산에 의한 상대적인 점확산 반경(R)과의 관계는 상기한 수학식 14와 같이 나타낼 수 있으며, 미지수인 r'항을 소거하기 위해 상기한 수학식 10을 상기한 수학식 14에 적용하여 상기한 수학식 15와 같이 나타낼 수 있고, 일반적으로 물체의 초점 위치(r₀)와 초점 거리(f)는 r_o>>f인 관계를 갖기 때문에, 거리(z)와 상대적인 점확산 반경(R)과의 관계는 상기한 수학식 16과 같이 나타낼 수 있다. 여기에서, 초점 거리(f), 렌즈 반경(D), 초점 위치(r₀) 값은 모두 변하지 않는 고정된 값을 갖는다.

한편, 영상 정합부(108)에서는 스테레오 영상의 각 픽셀별 흐림 파라미터와 그 스테레오 카메라의 카메라 파라미터간의 관계를 이용하여 흐림 파라미터와 양안차와의 관계를 획득한다(단계814).

여기에서, 흐림 파라미터와 양안차와의 관계에 대해 설명하면, 거리(z)와 상대적인 점확산 반경(R)과의 관계를 나타내는 상기 수학식 16과 거리(z)와 양안차(d)와의 관계를 나타내는 상기 수학식 3으로부터 아래의 수학식 17과 같은 양안차 흐림 관계를 나타낼 수 있다.

이러한 수학식 17에 따라 상대적인 양안차 값, 상대적인 흐림 값, 초점 위치와 거리와의 관계를 통해 양안차(d)와 흐림의 정도를 명확하게 알 수 있고, 기준 거리(B), 렌즈 반경(D), 초점 거리(f), 초점 위치(r₀)는 모두 고정된 값을 갖는다.

한편, 양안차(d)와 흐림 파라미터(σ,R)를 추정하는 과정에 대해 설명하면, 스테레오 매칭은 좌측 영상과 우측 영상에 대해 각 영상의 단일 라인을 검색하여 대응되는 위치의 차인 양안차(d)를 구하는 것으로, 단일 라인에서의 흐림(blur) 영상과 선명한 영상과의 관계는 흐림 영상, 선명한 이미지, 전체 에너지 함수의 정확도를 고려한 고정값, x또는 y방향의 단일 스캔 라인에서의 연산 등을 고려한 상기한 수학식 18과 같이 나타낼 수 있다.

이러한 상기 수학식 18과 같은 관계를 선명한 영상에서의 양안차로 나타낼 경우 상기한 수학식 19와 같이 나타낼 수 있고, 이로부터 각 픽셀의 점 확산 파라미터(R)는 상기 수학식 20을 만족하는데, 양안차를 알고 있는 경우 좌측 영상과 우측 영상에서 나타나는 흐림 정도의 파라미터(R)는 상기한 수학식 21에 나타낸 에너지 함수를 최소화 하는 값으로 추정할 수 있으며, 점확산 함수를 알고 있는 경우 양안차는 상기한 수학식 22와 같이 정의될 수 있다.

그리고, 영상 정합부(108)에서는 획득된 흐림 파라미터와 양안차와의 관계에 따라 정합 노드와 비정합 노드에서의 코스트를 계산하여 검출된 최적 경로에 대응하는 양안차를 결정한다(단계816).

여기에서, 정합 노드와 비정합 노드에서의 코스트를 계산하여 최적 경로를 검출하고, 그에 대응하는 양안차를 결정하는 과정에 대해 설명하면, 관찰되는 2차원 영상은 모두 불연속 성분으로 표현될 수 있고, 이에 따라 도 5에 도시한 바와 같이 관찰된 좌측 영상 및 우측 영상에서 불연속 성분에 의한 양안차값을 표현할 수 있는데, 영상으로부터 가장 멀리 있는 점의 양안차값은 d=0이고(즉, z는 무한대), 같은 선상의 접점들은 모두 같은 양안차값을 가짐을 알 수 있으며, 3차원 깊이(Z, 3차원 거리)가 증가할수록 양안차값은 감소하게 됨을 알 수 있다.

또한, 도 6에 도시한 바와 같이 두 영상으로 부터의 사영선에서 발생 가능한 정합 노드들은 다수 개 존재할 수 있으며, 이 정합 노드들에서는 모두 옳은 매칭이 일어날 가능성이 있는데, 전체 양안차 맵의 형태와 관계없이 모든 노드에서 매칭이 일어날 수 있는 것은 아니며, 도 5에 도시한 바와 같이 좌측 한 개의 사영선은 우측의 다수 사영선들과 만나게 되는데, 이 중에서 한 개의 사영선과 만나는 정합 노드에서만 옳은 매칭이 일어나게 되는 것과 같이, 영상이 투사되는 사영선 사이의 관계들로부터 제한을 두면 검색해야 할 패스가 줄어들게 되어 계산의 효율성 및 계산량을 줄일 수 있다.

이러한 격자 구조에서의 스테레오 매칭은 에너지 함수를 최소로 만드는 양안차 값을 찾는 MAP 추정을 기반으로 하는데, 이를 위해 DP을 기반으로 하는 비터비 알고리즘을 이용하여 최적의 경로를 검색하는데, 정합 노드들 및 비정합 노드들에서 패스를 정의하고, 각 각의 패스마다 주어진 코스트를 합하여 이들 코스트가 최소가 되는 패스를 검출하는 방식으로 수행될 수 있고, 도 7에 도시한 바와 같이 현재의 스테이지가 i이라 하면 최소가 될 수 있는 패스의 경로는 i-1스테이지까지의 최소값에 i-1스테이지에서 i스테이지로 가는 패스들의 코스트 값들의 합들 중에서 최소값만이 i스테이지까지의 최소 패스가 될 수 있다.

여기에서, 비정합 노드는 이전 단의 같은 레벨의 노드와 상, 하 레벨의 노드에서 오는 패스가 형성될 수 있으며, 정합 노드는 이전 단의 같은 레벨의 노드에서만 패스가 형성될 수 있는데, 정합 노드에서는 매칭 코스트라 정의되는 코스트를 계산하기 위해 좌, 우 영상값을 필요로 하며, 최적의 패스는 이들 비정합 노드와 정합 노드 사이에 존재하며, 이들 패스에 매칭 코스트와 비정합 코스트를 할당한 것과 같은 결과를 나타내고, 스테이지는 격자 구조에서 시간의 인덱스를 두어 좌에서 우로 가는 경로의 세로로 줄지어진 노드들을 하나의 스테이지로 정의할 수 있다.

한편, 정합 노드와 비정합 노드의 코스트를 이용하여 양안차를 결정하는 것을 설명하면, 스테이지 i=0에서 모든 노드의 코스트(δ)는 상기한 수학식 23과 같이 초기화되고, i+j가 짝수일 경우 비정합 노드에서의 코스트와 최적의 양안차 값(ψ)의 관계는 상기한 수학식 24와 같이 나타낼 수 있으며, i+j가 홀수일 경우 정합 노드에서의 코스트와 최적의 양안차 값의 관계는 상기 수학식 25와 같이 나타낼 수 있다. 이 때, 스테이지 i가 'i=2N and j=0'의 조건을 만족하면, 상기한 수학식 26과 같이 코스트 및 양안차값의 결정을 완료하고, 스테이지의 역방향으로 상기한 수학식 27과 같이 회귀적 검색을 수행할 수 있다.

이어서, 출력부(110)에서는 결정된 양안차와 결정된 흐림 파라미터를 포함하는 양안차 정보를 예를 들면, 사용자 시스템 등으로 출력한다(단계818).

따라서, 스테레오 카메라를 통해 입력된 스테레오 영상에 대한 흐림 파라미터를 결정하고, 스테레오 영상에 대한 각 픽셀별 흐림 파라미터로 변환한 후에, 각 픽셀별 흐림 파라미터와 양안차와의 관계를 획득하며, 그에 대응하는 정합 노드와 비정합 노드에서의 코스트를 계산하여 검출된 최적 경로에 대응하는 양안차를 효과적으로 결정할 수 있다.

이상의 설명에서는 본 발명의 다양한 실시 예들을 제시하여 설명하였으나 본 발명이 반드시 이에 한정되는 것은 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함을 쉽게 알 수 있을 것이다.

도 1은 본 발명의 일 실시 예에 따라 추출된 흐림 파라미터를 이용하여 스테레오 매칭을 수행하는데 적합한 스테레오 매칭 장치의 블록 구성도,

도 2는 본 발명의 실시 예에 따라 3차원 정보를 추정하기 위한 에피폴라 라인을 예시한 도면,

도 3은 본 발명의 실시 예에 따라 양안차와 3차원 정보간의 관계를 설명하기 위한 도면,

도 4는 본 발명의 실시 예에 따라 초점 거리에 있는 점과 초점 거리에서 벗어난 점이 이미지 평면에 맺히는 형태를 예시한 도면,

도 5는 본 발명의 실시 예에 따라 좌측 영상과 우측 영상에서 불연속 성분에 의한 양안차를 나타낸 도면,

도 6은 본 발명의 실시 예에 따라 격자 구조의 정합 노드와 비정합 노드를 예시한 도면,

도 7은 본 발명의 실시 예에 따라 정합 노드와 비정합 노드들에 대한 각 패드들의 코스트를 나타낸 도면,

도 8은 본 발명의 다른 실시 예에 따라 추출된 흐림 파라미터를 이용하여 스테레오 매칭을 수행하는 과정을 도시한 플로우차트.

<도면의 주요부분에 대한 부호의 설명>

102a : 제 1 카메라 102b : 제 2 카메라

104 : 영상 처리부 106 : 3차원 정보 복원부

108 : 영상 정합부 110 : 출력부

Claims (26)

1. 스테레오 카메라를 통해 입력된 스테레오 영상을 전처리하는 영상 처리부와,

   상기 전처리된 스테레오 영상에 대한 흐림 파라미터를 결정하며, 상기 스테레오 영상에 대한 각 픽셀별 흐림 파라미터로 변환한 후에, 상기 흐림 파라미터 및 카메라 파라미터간의 관계를 획득하는 3차원 정보 복원부와,

   상기 각 픽셀별 흐림 파라미터와 상기 흐림 파라미터 및 카메라 파라미터간의 관계를 이용하여 양안차와의 관계를 획득하며, 상기 각 픽셀별 흐림 파라미터와 상기 양안차와의 관계에 따라 정합 노드와 비정합 노드에서의 정합 코스트와 비정합 코스트를 계산하여 검출된 최적 경로에 대응하는 양안차를 결정하는 영상 정합부를 포함하는

   스테레오 매칭 장치.
2. 제 1 항에 있어서,

   상기 3차원 정보 복원부는, 가우시안 형태의 점확산 함수를 이용하여 상기 흐림 파라미터를 결정하는

   스테레오 매칭 장치.
3. 제 2 항에 있어서,

   상기 3차원 정보 복원부는, 상기 흐림 파라미터와, 상기 스테레오 카메라로 부터 관찰된 이미지 함수와, 흐림 현상이 없는 이미지 함수의 관계를 획득하는

   스테레오 매칭 장치.
4. 제 3 항에 있어서,

   상기 3차원 정보 복원부는, 상기 흐림 파라미터와, 상기 스테레오 카메라로부터 관찰된 이미지 함수와, 상기 흐림 현상이 없는 이미지 함수의 관계에서 라플라시안 연산자를 이용하여 흐린 영상을 2차 미분을 통해 상기 흐린 영상보다 상대적으로 선명한 영상으로 변환하는

   스테레오 매칭 장치.
5. 제 2 항에 있어서,

   상기 3차원 정보 복원부는, 상기 흐림 파라미터를 공간상의 픽셀마다 값을 갖도록 나타내고, 상기 스테레오 카메라를 통해 촬영된 영상으로부터 각 픽셀마다 점확산 정도를 획득하여 각 픽셀 포인트에 대응하는 상기 흐림 파라미터가 최소값을 갖는 상기 각 픽셀별 흐림 파라미터를 획득하는

   스테레오 매칭 장치.
6. 제 5 항에 있어서,

   상기 3차원 복원부는, 카메라 렌즈의 초점 위치에서 벗어난 점의 점확산에 따라 상기 초점 위치에서 벗어난 점의 거리 및 점확산 반경과의 관계를 이용하여 상기 흐림 파라미터 및 카메라 파라미터간의 관계를 획득하는

   스테레오 매칭 장치.
7. 제 2 항에 있어서,

   상기 영상 정합부는, 거리 및 상대적인 점확산 반경과의 관계와 상기 거리 및 양안차의 관계를 이용하여 양안차 흐림 관계를 획득하는

   스테레오 매칭 장치.
8. 제 7 항에 있어서,

   상기 영상 정합부는, 흐림 이미지 함수, 선명한 이미지 함수, 전체 에너지 함수의 정확도를 고려한 고정값과, x또는 y방향의 단일 스캔 라인에서의 연산을 고려하여 상기 양안차로 나타내는

   스테레오 매칭 장치.
9. 제 8 항에 있어서,

   상기 영상 정합부는, 상기 양안차가 미리 획득된 경우 에너지 함수를 최소화 하는 값으로 좌측 영상과 우측 영상에서 나타나는 흐림 정도의 파라미터를 추정하는

   스테레오 매칭 장치.
10. 제 7 항에 있어서,

    상기 영상 정합부는, DP(dynamic programming)을 기반으로 하는 비터비 알고리즘을 이용하여 상기 정합 노드 및 비정합 노드에 대한 최적 경로를 검색하는

    스테레오 매칭 장치.
11. 제 10 항에 있어서,

    상기 영상 정합부는, 상기 각 픽셀별 흐림 파라미터와, 상기 흐림 파라미터 및 카메라 파라미터간의 관계와, 상기 양안차 흐림 관계를 상기 정합 코스트 및 비정합 코스트의 계산에서 제한항으로 포함시키는

    스테레오 매칭 장치.
12. 제 11 항에 있어서,

    상기 영상 정합부는, 상기 정합 코스트에 상기 비정합 코스트를 가산하여 가장 작은 값을 갖는 상기 최적 경로를 검색하여 상기 양안차를 결정하는

    스테레오 매칭 장치.
13. 제 12 항에 있어서,

    상기 영상 정합부는, 순방향 검색과 역방향 검색을 포함하는 양방향 검색을 수행하여 상기 최적 경로를 검색하고, 상기 양안차를 결정하는

    스테레오 매칭 장치.
14. 스테레오 카메라를 통해 입력된 스테레오 영상을 전처리하는 단계와,

    상기 전처리된 스테레오 영상에 대한 흐림 파라미터를 결정하는 단계와,

    상기 스테레오 영상에 대한 각 픽셀별 흐림 파라미터로 변환하는 단계와,

    상기 흐림 파라미터 및 카메라 파라미터간의 관계를 획득하는 단계와,

    상기 각 픽셀별 흐림 파라미터와 상기 흐림 파라미터 및 카메라 파라미터간의 관계를 이용하여 상기 흐림 파라미터와 양안차와의 관계를 획득하는 단계와,

    상기 각 픽셀별 흐림 파라미터와 상기 양안차와의 관계에 따라 정합 노드와 비정합 노드에서의 정합 코스트 및 비정합 코스트를 계산하여 최적 경로를 검색하고, 이에 대응하는 상기 양안차를 결정하는 단계를 포함하는

    스테레오 매칭 방법.
15. 제 14 항에 있어서,

    상기 흐림 파라미터는, 가우시안 형태의 점확산 함수를 이용하여 결정되는

    스테레오 매칭 방법.
16. 제 15 항에 있어서,

    상기 흐림 파라미터를 결정하는 단계는, 상기 흐림 파라미터와, 상기 스테레오 카메라로부터 관찰된 이미지 함수와, 흐림 현상이 없는 이미지 함수의 관계가 획득되는

    스테레오 매칭 방법.
17. 제 16 항에 있어서,

    상기 흐림 파라미터를 결정하는 단계는, 상기 흐림 파라미터와, 상기 스테레오 카메라로부터 관찰된 이미지 함수와, 상기 흐림 현상이 없는 이미지 함수의 관계에서 라플라시안 연산자를 이용하여 흐린 영상이 2차 미분을 통해 상기 흐린 영상보다 상대적으로 선명한 영상으로 변환되는

    스테레오 매칭 방법.
18. 제 15 항에 있어서,

    상기 각 픽셀별 흐림 파라미터로 변환하는 단계는, 상기 흐림 파라미터를 공간상의 픽셀마다 값을 갖도록 나타내고, 상기 스테레오 카메라를 통해 촬영된 영상으로부터 각 픽셀마다 점확산 정도를 획득하여 각 픽셀 포인트에 대응하는 상기 흐림 파라미터가 최소값을 갖는 상기 각 픽셀별 흐림 파라미터를 획득하는

    스테레오 매칭 방법.
19. 제 18 항에 있어서,

    상기 흐림 파라미터 및 카메라 파라미터간의 관계를 획득하는 단계는, 카메라 렌즈의 초점 위치에서 벗어난 점의 점확산에 따라 상기 초점 위치에서 벗어난 점의 거리와 상대적인 점확산 반경과의 관계를 이용하여 상기 흐림 파라미터 및 카 메라 파라미터간의 관계를 획득하는

    스테레오 매칭 방법.
20. 제 15 항에 있어서,

    상기 흐림 파라미터와 양안차와의 관계를 획득하는 단계는, 거리 및 상대적인 점확산 반경과의 관계, 상기 거리 및 상기 양안차의 관계를 이용하여 양안차 흐림 관계가 획득되는

    스테레오 매칭 방법.
21. 제 20 항에 있어서,

    상기 흐림 파라미터와 양안차와의 관계를 획득하는 단계는, 흐림 이미지 함수, 선명한 이미지 함수, 전체 에너지 함수의 정확도를 고려한 고정값과, x또는 y방향의 단일 스캔 라인에서의 연산을 고려하여 상기 양안차로 나타내는

    스테레오 매칭 방법.
22. 제 21 항에 있어서,

    상기 흐림 파라미터와 양안차와의 관계를 획득하는 단계는, 상기 양안차가 미리 획득된 경우 에너지 함수를 최소화 하는 값으로 좌측 영상과 우측 영상에서 나타나는 흐림 정도의 파라미터가 추정되는

    스테레오 매칭 방법.
23. 제 20 항에 있어서,

    상기 양안차를 결정하는 단계는, DP(dynamic programming)을 기반으로 하는 비터비 알고리즘을 이용하여 상기 정합 노드 및 비정합 노드에 대한 최적 경로가 검색되는

    스테레오 매칭 방법.
24. 제 23 항에 있어서,

    상기 양안차를 결정하는 단계는, 상기 각 픽셀별 흐림 파라미터와, 상기 흐림 파라미터 및 카메라 파라미터간의 관계와, 상기 양안차 흐림 관계를 상기 정합 코스트 및 비정합 코스트의 계산에서 제한항으로 포함시키는

    스테레오 매칭 방법.
25. 제 24 항에 있어서,

    상기 양안차를 결정하는 단계는, 상기 정합 코스트에 상기 비정합 코스트를 가산하여 가장 작은 값을 갖는 상기 최적 경로를 검색하여 상기 양안차가 결정되는

    스테레오 매칭 방법.
26. 제 25 항에 있어서,

    상기 양안차를 결정하는 단계는, 순방향 검색과 역방향 검색을 포함하는 양 방향 검색을 수행하여 상기 최적 경로를 검색하고, 상기 양안차가 결정되는

    스테레오 매칭 방법.

Images