KR101926498B1

KR101926498B1 - 스테레오 영상 정합 장치 및 이의 정합 방법

Info

Publication number: KR101926498B1
Application number: KR1020120097057A
Authority: KR
Inventors: 박정아
Original assignee: 엘지이노텍 주식회사
Priority date: 2012-09-03
Filing date: 2012-09-03
Publication date: 2019-03-12
Also published as: KR20140030635A

Abstract

실시 예에 따른 스테레오 영상 정합 방법은, 스테레오 카메라를 통해 스테레오 영상을 획득하는 단계; 상기 획득된 스테레오 영상을 전처리하는 단계; 상기 전처리한 스테레오 영상의 동일 픽셀 라인에 해당하는 픽셀 값들을 토대로 소정의 정합 코스트를 계산하여 최적 경로를 추적하는 단계; 및 상기 추적한 최적 경로에 대응하는 양안차를 이용하여 제 1 깊이 영상을 추출하는 단계를 포함하며, 상기 추적하는 단계는, 상기 스테레오 영상의 홀수 프레임과 짝수 프레임에 대한 스캔 방향을 서로 다르게 적용하여 상기 최적 경로를 추적하는 단계를 포함한다.

Description

스테레오 영상 정합 장치 및 이의 정합 방법{STEREO IMAGE MATCHING APPARATUS AND ITS METHOD}

실시 예는, 스테레오 영상 정합 장치 및 이의 정합 방법에 관한 것이다.

사람의 시각은 주위 환경의 정보를 얻기 위한 감각의 하나로서, 두 눈을 통해 사물의 위치와 멀고 가까움을 인지할 수 있다. 즉, 두 눈을 통해 들어오는 시각 정보들이 하나의 거리 정보로 합성되면서 자유롭게 활동할 수 있는 것이다.

이러한 시각 구조를 기계에 구현함으로써, 인간을 대신할 수 있는 로봇을 개발해 왔는데, 로봇의 시각 시스템은 스테레오 카메라(즉, 좌측 카메라와 우측 카메라)로 구성되고, 두 개의 카메라로부터 영상을 읽어 들여 하나의 3차원 정보로 재구성하게 된다.

이때, 하나의 영상은 3차원 공간을 2차원 공간으로 사영시킨 것을 의미하는데, 이 과정에서 3차원 거리 정보(depth)를 상실하게 되고, 이것으로부터 3차원 공간을 직접 복원하는 것은 매우 어렵게 된다. 하지만, 서로 다른 위치에서 얻어진 두 장 이상의 영상이 있을 경우에는 3차원 공간의 복원을 수행할 수 있다.

즉, 실제 공간상의 한 점이 두 장의 영상에 맺혔을 때 두 영상에서 나타나는 그 점의 대응점을 찾고, 기하학적인 구조를 이용하면 그 점의 실제 공간에서의 위치를 찾을 수 있다.

하지만, 두 영상의 대응점을 찾는 일(이하 '스테레오 매칭'이라 함)은 매우 어려운 작업이며, 3차원 공간을 추정 및 복원하는데 필요한 가장 중요한 기술이다. 이러한 스테레오 정합은 많은 형태의 결과를 가질 수 있는데, 그 결과가 너무 많기 때문에 그것들 중 실제 공간을 대변하는 결과만을 찾는 것은 매우 어려운 문제이다.

일반적으로, 스테레오 정합 기술은 마코프 랜덤 필드(Markov Random Field :MRF) 모델을 기반으로 하며, 이 2차원 필드 모델은 복잡한 물체의 모델링을 간단하고, 지역적인 관계가 있는 확률 모델로 만들어 주는데, 이 마코프 랜덤 필드 모델(MRF)은 계산이 복잡하고, 계산량이 많으며, 결과의 경계가 희미해지는 단점을 가지고 있다.

한편, 고속 처리를 기반으로 하는 스테레오 정합 기술에는 격자(trellis) 구조를 가지는 동적 계획(dynamic programming) 기술이 있는데, 이 기술은 격자 구조를 기반으로 하며, 상당히 빠르고 정확한 스테레오 정합을 수행할 수 있다. 하지만, 이러한 동적 계획 기술은 단일 스캔 라인에서만 검색을 통해 정합을 수행하기 때문에 아랫줄, 윗줄의 결과를 고려하지 않게 되어 스트라이프 노이즈(stripe noise)가 많이 발생한다.

즉, 모든 줄의 스테레오 정합이 독립적으로 이루어지게 되고, 그 결과 상, 하 행의 결과와 현재 행의 결과가 다르게 나타나는 현상이 발생하게 된다.

이러한 잡음을 줄이기 위해 영상처리에서 중간값 필터, 평균값 필터 등이 사용되고 있으나 각 프레임별로 적용되기 때문에 이전 프레임과의 연관성을 고려하지 않아 잡음이 매 프레임마다 변하여 안정적인 깊이 영상을 추출하기 어렵다는 문제점이 존재한다.

실시 예에서는, 스트릭 노이즈를 최소화할 수 있는 트렐리스 알고리즘을 제공하도록 한다.

또한, 실시 예에서는 양방향 스캔 방식을 적용하여 스트릭 노이즈를 최소화할 수 있도록 한다.

또한, 실시 예에서는 서로 다른 스캔 방식이 적용된 프레임별 상관 관계를 이용하여 잡음이 감소한 깊이 영상을 추출할 수 있도록 한다.

제안되는 실시 예에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 제안되는 실시 예가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

또한, 실시 예에 따른 스테레오 영상 정합 장치는, 대상 물체를 촬영하여 제 1 영상 및 제 2 영상을 획득하는 제 1 카메라 및 제 2 카메라; 및 상기 스테레오 카메라를 통해 획득된 제 1 영상 및 제 2 영상의 동일 픽셀 라인에 해당하는 픽셀 값들을 토대로 소정의 정합 코스트를 계산하고, 상기 계산한 정합 코스트를 토대로 최적 경로를 추적하여 제 1 깊이 영상을 추출하는 영상 정합부를 포함하며, 상기 영상 정합부는, 상기 제 1 및 2 영상의 홀수 프레임 및 짝수 프레임에 대한 스캔 방향을 서로 다르게 적용하여 상기 정합 코스트 계산 또는 최적 경로를 추적한다.

실시 예에 따르면, 양방향 주사 스캔 방식을 적용하여 스트릭 노이즈를 최소화할 수 있으며, 상기 양방향 주사 스캔 방식을 적용함에 있어서 프레임별로 서로 다른 주사 스캔 방식을 적용한 후 이의 상관 관계를 이용하여 깊이 영상을 획득하기 때문에 계산량을 최소화할 수 있다.

도 1은 실시 예에 따른 스테레오 영상 정합 장치의 전체적인 구성 및 연결 관계를 나타낸 도면이다.
도 2는 도 1에 도시된 영상 정합부의 상세 구성도이다.
도 3은, 도 2에 도시된 스테레오 정합부의 상세 구성도이다.
도 4는 도 2에 도시된 스테레오 후처리부의 상세 구성도이다.
도 5 내지 12는 실시 예에 따른 스테레오 영상 정합 과정을 설명하기 위한 도면이다.
도 13은 실시 예에 따른 세로축 중간값 필터링 과정을 설명하기 위한 도면이다.
도 14는 발명의 실시 예에 따른 스테레오 정합 방법을 설명하는 흐름도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

첨부된 도면의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 도면의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 도면의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 도면의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 상세히 설명하기로 한다.

도 1은 실시 예에 따른 스테레오 영상 정합 장치의 전체적인 구성 및 연결 관계를 나타낸 도면이다.

도 1을 참조하면, 스테레오 영상 정합 장치(100)는 제 1 카메라(110), 제 2 카메라(120) 및 영상 정합부(130)를 포함한다.

제 1 카메라(110) 및 제 2 카메라(120)는 모듈 등을 이용하여 피사체를 촬영하는 좌측 카메라와 우측 카메라를 의미한다.

입력되는 촬영 영상(또는 동영상)는 렌즈를 통해 CMOS 모듈 또는 CCD 모듈로 제공되고, CMOS(Complementary Metal-Oxide Semiconductor] 모듈 또는 CCD(Charge Coupled Device] 모듈은 렌즈를 통과한 피사체의 광신호를 전기적 신호(촬영 신호)로 변환 출력하며, 카메라가 갖는 노출, 감마, 이득 조정, 화이트 밸런스, 컬러 매트릭스 등을 수행한 후에, ADC(analog to digital converter, 이하 'ADC'라 함)를 통해 촬영 산호를 디지털 신호로 변환하여 좌측 영상 및 우측 영상을 각각 영상 정합부(130)로 전달한다.

영상 정합부(130)는 피라미드 형태의 격자 구조(trellis)에서 양안차를 통한 대응점을 지역적(local) 정합 기법으로 검색한다.

이하, 영상 정합부(130)에 대해 보다 구체적으로 설명하기로 한다.

도 2는 도 1에 도시된 영상 정합부의 상세 구성도이고, 도 3은, 도 2에 도시된 스테레오 정합부의 상세 구성도이고, 도 4는 도 2에 도시된 스테레오 후처리부의 상세 구성도이다.

도 2 내지 4를 참조하면, 영상 정합부(130)는 스테레오 전처리부(132), 스테레오 정합부(134) 및 스테레오 후처리부(135)를 포함한다.

스테레오 전처리부(132)는 상기 제 1 카메라(110) 및 제 2 카메라(120)를 통해 입력되는 촬영 영상에 대한 전처리를 수행한다.

즉, 스테레오 전처리부(132)는 교정 파라미터(rectification parameter) 값을 이용하여 스테레오 영상을 교정(rectification)하고, 영상의 에피폴라 라인(epipolar line)을 일치시켜 출력하는 것으로, 제 1 카메라(110) 및 제 2 카메라(120)로부터 각각 전달되는 좌측 영상 및 우측 영상에 대한 스테레오 카메라의 교정 파라미터를 이용하여 에피폴라 라인이 수평이 될 수 있도록 영상을 교정하고, 좌측 카메라와 우측 카메라의 특성 차이 및 좌우 영상의 밝기 차이를 보정한다.

일반적인 스테레오 영상에서 한쪽 영상의 한 점이 다른 영상의 라인으로 대응되게 되는데, 상기 에피폴라 라인은 이 대응되는 라인을 의미하는 것으로 상기 에피폴라 라인을 일치시키기 위해 스테레오 카메라 전방에 좌측 카메라 및 우측 카메라의 베이스 라인 벡터와 평행하도록 스테레오 카메라 앞에 교정용 패턴을 이용하여 교정 파라미터를 추출하며, 이러한 교정 파라미터를 저장해 두고 초기화 작업 시 이러한 교정 파라미터를 이용하여 에피폴라 라인이 수평이 되게 할 수 있다.

스테레오 정합부(134)는 상기 스테레오 전처리부(132)를 통해 전처리된 스테레오 영상에 대하여, 피라미드 형태의 격자 구조(trellis)에서 양안차를 통한 대응점을 지역적 매칭 기법으로 검색한다.

이를 위해, 스테레오 정합부(134)는 정합 코스트 계산부(1341), 정합 비교부(1342) 및 양안차 계산부(1343)를 포함한다.

정합 코스트 계산부(1341)는 좌 영상과 우영상의 같은 라인에 해당하는 픽셀 값들을 이용하여 정합 코스트를 계산한다.

이때, 정합 코스트 계산부(1341)는 프레임별로 서로 다른 스캔 방향으로 스캔을 하여 상기 정합 코스트를 계산한다.

예를 들어, 정합 코스트 계산부(1341)는 N 프레임에 대해 왼쪽에서 오른쪽으로 스캔을 하여 상기 정합 코스트를 계산한다. 이후, 정합 코스트 계산부(1341)는 N+1 프레임에 대해 오른쪽에서 왼쪽으로 스캔을 하여 상기 정합 코스트를 계산한다. 이와 마찬가지로, N+2 프레임은 왼쪽에서 오른쪽으로, N+3은 오른쪽에서 왼쪽으로 스캔을 진행한다.

결론적으로, 정합 코스트 계산부(1341)는 홀수 프레임에 대해서는 왼쪽에서 오른쪽으로 스캔을 하여 상기 정합 코스트를 계산하고, 짝수 프레임에 대해서는 오른쪽에서 왼쪽으로 스캔을 하여 상기 정합 코스트를 계산한다.

한편, 이는 일 실시 예에 불과할 뿐, 상기 정합 코스트 계산부(1341)는 홀수 프레임에 대해 오른쪽에서 왼쪽으로 스캔을 하여 정합 코스트를 계산하고, 짝수 프레임에 대해서 왼쪽에서 오른쪽으로 스캔을 하여 정합 코스트를 계산할 수도 있을 것이다.

정합 비교부(1342)는 상기 정합 코스트 계산부(1341)에서 계산된 정합 코스트와 임의의 감마 값을 비교하여, 각각의 노드가 정합되었는지, 아니면 정합되지 못했는지를 결정하고, 이에 따른 경로를 정한다.

양안차 계산부(1343)는 상기 정합 코스트와 상기 정해진 경로를 토대로 최적의 경로를 추적하여 양안차를 계산하고, 상기 계산한 양안차를 이용하여 경로를 정한다.

이때, 양안차 계산부(1343)는 프레임별로 서로 다른 스캔 방향으로 스캔을 진행하여 상기 양안차를 계산한다.

예를 들어, 양안차 계산부(1343)는 N 프레임에 대해 왼쪽에서 오른쪽으로 스캔을 하여 상기 양안차를 계산한다. 이후, 양안차 계산부(1343)는 N+1 프레임에 대해 오른쪽에서 왼쪽으로 스캔을 하여 상기 양안차를 계산한다. 이와 마찬가지로, N+2 프레임은 왼쪽에서 오른쪽으로, N+3은 오른쪽에서 왼쪽으로 스캔을 진행한다.

결론적으로, 양안차 계산부(1343)는 홀수 프레임에 대해서는 왼쪽에서 오른쪽으로 스캔을 하여 상기 양안차를 계산하고, 짝수 프레임에 대해서는 오른쪽에서 왼쪽으로 스캔을 하여 상기 양안차를 계산한다.

한편, 이는 일 실시 예에 불과할 뿐, 상기 양안차 계산부(1343)는 홀수 프레임에 대해 오른쪽에서 왼쪽으로 스캔을 하여 양안차를 계산하고, 짝수 프레임에 대해서 왼쪽에서 오른쪽으로 스캔을 하여 양안차를 계산할 수도 있을 것이다.

이때, 동일 프레임에 대하여, 상기 정합 코스트 계산부(1341)에서 진행한 스캔 방향과, 상기 양안차 계산부(1343)에서 진행한 스캔 방향은 서로 반대 방향임이 바람직하다.

예를 들어, N 프레임에 대해, 상기 정합 코스트 계산부(1341)에서 진행한 스캔 방향이 왼쪽에서 오른쪽인 경우, 상기 양안차 계산부(1343)는 오른쪽에서 왼쪽으로 스캔을 하여 양안차를 계산한다.

이는, 한 프레임에 대해 한쪽 방향으로만 스캔을 진행함에 따라 개체의 특정 위치에서 발생하는 스트릭 노이즈를 최소화하기 위함이다.

스테레오 후처리부(136)는 시간축 필터부(1362)를 포함할 수 있다.

시간축 필터부(1362)는 이전 프레임들과의 상관관계(correlation)를 이용하여 필터링을 수행한다.

평균값(average) 필터 또는 중간값(median) 필터와 같이, 일반적으로 영상 처리에서 많이 사용되는 필터는 잡음을 줄일 수 있지만, 시간에 따라 값이 변하지 않는 영역에 대해서 발생하는 잡음을 제거할 수 없다. 잡음도 없애고, 정적인 변화와 동적인 변화 모두를 제대로 반영하기 위해서는 시간적인 상관관계(correlation)를 이용하는 시간축(time domain) 필터를 사용해야 한다. 예로 디지털 필터의 한 종류로 입력신호의 값과 출력신호의 값이 재귀적으로(feedback) 적용되어 필터링이 수행되는 one-pole IIR(infinite impulse response) 필터 등이 있다.

즉, 상기에서와 같이 실시 예에서는 프레임별로 서로 다른 스캔 방향으로 스캔을 진행하여 깊이 영상을 생성하게 된다.

이때, 상기와 같은 스캔 방식은 단일 프레임에 대하여, 양방향 스캔 방식이 아닌 단방향 스캔 방식이며, 이로 인해 상기 생성된 깊이 영상에는 스트릭 노이즈를 포함할 수 있다.

이에 따라, 실시 예에서는 양방향 스캔 방식과 같은 효과를 얻기 위해, 상기와 같이 프레임별로 서로 다른 스캔 방향으로 스캔을 진행하고, 최종적으로 상기 후처리단에서 현재 프레임과 다른 방향으로 스캔을 진행한 이전 프레임의 상관 관계를 이용하여 시간축 필터링을 진행하여, 양방향 정합 방법과 같은 효과를 얻을 수 있도록 한다.

시간축 필터를 영상처리에 적용하게 되면 이전의 모든 프레임 픽셀 값의 누적 평균을 구하는데, 이를 수식으로 나타내면 [수식 1]과 같다.

[수식 1]

여기서, X_t[x,y] 는 t시간에서의 입력 값(현재 프레임의 픽셀 값), Y_t _- ₁[x,y]는 t-1시간까지의 누적 결과 값(이전 프레임까지의 누적 평균 픽셀 값), Y_t[x,y] 는 t시간에서의 필터링 후 최종 결과 값(현재 프레임의 누적 평균 픽셀 값), a는 얼마나 오랫동안 이전 프레임의 영향을 유지할 것인지를 설정하는 역할을 한다. 상기 a는 0 내지 1의 값을 가질 수 있다. 즉, 상기 현재 프레임의 픽셀 값과 이전 프레임까지의 누적 평균 픽셀 값의 적용비율을 합한 값은 1의 값을 가질 수 있다.

이에 의해, 현재 프레임의 누적 평균 픽셀 값은 현재 프레임의 픽셀 값 및 이전 프레임까지의 누적 평균 픽셀 값을 합한 결과로 나타낼 수 있다.

또한, 상기 a값에 따라서 가중치를 최근의 값 또는 이전의 값에 더 줄 것인지 결정된다.

상기 시간축 프레임에 의해 얻어진 현재 프레임의 누적 평균 픽셀 값에 근거하여 깊이 영상을 표현할 수 있게 된다.

이하, 상기 깊이 영상 생성 과정에 대해 보다 구체적으로 설명하기로 한다.

한 장의 영상은 3차원 공간을 2차원 평면에 투사한 것으로 이 과정에서 거리 정보가 사라지게 된다. 도 5는 이러한 과정을 나타내며 하나의 영상으로부터 3차원 공간을 복원하는 것은 불가능하다. 하지만 사람은 시야가 겹치는 두 개의 영상을 이용하여 거리 정보를 무의식적으로 인식할 수 있다. 도 6은 3차원 공간상의 한 점이 좌우 눈의 망막에 맺히는 방법을 간단히 나타낸 것이다. 공간상의 한 점은 좌우 망막의 서로 다른 위치에 맺히게 되며 이 양안차를 이용하여 거리를 인식하게 되는 것이다. 이러한 원리를 이용하면 서로 다른 위치의 두 카메라로부터 얻은 영상을 이용하여 거리 정보를 추출할 수 있다.

도 7은 서로 다른 위치의 카메라를 이용하여 하나의 물체에 대한 영상을 얻었을 때 좌우 영상에 물체가 어떻게 맺히는지 나타낸 그림이다.

도 7의 구조를 하나의 스캔 라인에 대해 나타내면 도 8과 같다. 도 8에서는 다음과 같은 가정이 전제가 된다.

첫째 좌우 영상의 에피폴라 라인은 동일하다.

둘째 좌우 영상은 동일한 평면에 위치한다.

셋째 좌우 카메라의 광축은 평행하다.

마지막으로 좌우 카메라의 초점 거리(focal length)는 같다.

이러한 가정을 만족한다면 하나의 대응점을 영상 전체에서 찾는 대신 동일한 스캔에서 찾을 수 있기 때문에 스테레오 정합을 상당히 간단하게 할 수 있다.

도 8에서 F는 좌우 카메라의 초점 거리(focal length), B는 베이스라인(baseline)으로 좌우 카메라 사이의 거리를 나타내며 d는 좌우 대응점 사이의 양안차(disparity)를 나타내며 Z는 공간상의 점 P(X,Y,Z)까지의 거리를 나타낸다. 이때, 상기 초점 거리(f)와 좌우 카메라 사이의 거리(B)는 상수 값이기 때문에 대응점을 찾아 양안차(disparity)를 알게 된다면 하기 수식 2를 통해 거리 정보를 구할 수 있게 된다.

[수식 2]

도 8은 공간상의 하나의 점에 대한 기하학적 구조를 나타낸 것으로, 정합이 발생할 수 있는 공간상의 다수의 점으로 확장하면 도 9와 같다. 각각의 좌우 스캔라인은 수식 3과 같이 N개의 픽셀로 나타낼 수 있다.

[수식 3]

도 9에서 검은 노드는 정합 노드로써, 좌우 영상의 대응점으로부터 프로젝션 라인(projection line)이 만나는 점에 형성된다. 즉, 공간상에 물체가 존재할 때, 물체의 표면은 정합 노드를 연결한 선과 일치하게 된다. 하지만 공간상의 모든 점이 좌우 영상에 대응점을 갖는 것은 아니다. 하나의 카메라에서는 보이지만, 다른 카메라에서는 보이지 않는 공간상의 점이 존재하는 경우도 있다. 이러한 현상을 비정합(occlusion)이라 한다. 왼쪽 영상에는 나타나지만 오른쪽 영상에는 나타나지 않을 경우, 우 비정합(right occlusion)이라고 하며, 그 반대의 경우를 좌 비정합(left occlusion)이라 한다.

이러한 비정합은 정확한 스테레오 정합을 수행하는데 가장 어려운 문제 중 하나이며, 도 9와 같은 구조에서는 비정합을 고려하여 스테레오 정합을 수행하는데 한계가 있다.

도 10은 center-referenced disparity 구조를 나타낸다. 도 9와 비교해서 달라진 점은 좌우 카메라의 초점(focal point)의 중간에 또 다른 초점(focal point)을 갖고 초점 거리(focal length)가 좌우 카메라의 두 배인 center- referenced projection이 추가된 것이다. 또한 새로운 프로젝션 라인(projection line)에 의해 하얀 노드(node)가 생성되었는데 이러한 노드(node)를 비정합 노드(occlusion node)라 한다. 도 9에서는 스테레오 정합을 수행하는데 있어 비정합(occlusion)에 대한 고려를 할 수 없지만 비정합 노드(occlusion node)를 추가함으로써 도 10에서는 비정합(occlusion)에 대한 고려를 할 수 있다. 이후에 스테레오 정합에 대한 설명을 함에 있어, 도 10의 구조를 기본으로 한다. 도 10에서 center-referenced disparity vector를 정의할 수 있다.

도 10을 보다 보기 쉽게 격자 구조(Trellis)로 변환한 것이 도 11이다. 도 11에서 disparity 값(di)과 인덱스(i) 간의 관계를 확인하기 위해 BOF(Boolean odd function)를 다음과 같이 정의한다.

di가 정합 노드(match node)를 나타낼 경우는 홀수가 되며, 비정합 노드(occlusion node)의 경우 짝수가 된다. 즉, 다음의 관계가 성립한다.

도 11은 다음과 같은 제한을 고려한 것이다. 우선 좌우 카메라의 광축이 평행하기 때문에 양안차(disparity)는 항상 0보다 크거나 같아야 한다. 둘째로 격자 구조(trellis)의 시작과 끝의 양안차(disparity) 값은 0으로 가정한다. 셋째로 양안차 변화량을 ±1로 제한한다. 마지막으로 정합 노드(match node)는 이전 스테이지의 같은 레벨에서 경로가 들어와 다음 스테이지의 같은 레벨로 나간다. 이러한 제한 사항을 식으로 정리하면 다음과 같다.

결론적으로, 이러한 격자 구조에서의 스테레오 정합은 에너지 함수를 최소로 만드는 양안차 값을 찾는 MAP 추정(maximum aposteriori estimation)을 기반으로 하는데, 이를 위해 DP(dynamic programming)을 기반으로 하는 비터비(viterbi) 알고리즘을 이용하여 최적의 경로를 검색한다. 즉, 정합 노드들 및 비정합 노드들에서 패스를 정의하고, 각각의 패스마다 주어진 코스트를 합하여 이들 코스트가 최소가 되는 패스를 검출하는 방식으로 수행될 수 있다. 상기 과정에 의해 피라미드 형태의 격자 구조(trellis)에서 양안차를 통한 대응점을 지역적(local) 매칭기법으로 검색할 수 있다.

즉, 비터리(Viterbi) 알고리즘은 현재 스테이지까지의 코스트는 이전 스테이지까지의 코스트와 각 경로에서 새로 더해진 코스트의 합이 최소가 되는 경로를 최적 경로로 결정한다. 각 스테이지에서 노드는 크게 정합 노드와 비정합 노드로 나누어진다. 두 종류의 노드는 경로와 코스트를 계산하는 방법이 다르므로 서로 나누어 고려를 한다.

도 11 및 12에 나타난 바와 같이, 정합 코스트 계산 과정에서의 프레임별 스캔 방향을 서로 반대 방향으로 하고, 또한 양안차 계산 과정에서의 프레임별 스캔 방향을 서로 반대 방향으로 한다.

즉, 상기 스캔 방향은 도 11에서와 같이 왼쪽에서 오른쪽 방향으로 갈 수도 있고, 도 12에서와 같이 오른쪽에서 왼쪽 방향으로 갈 수도 있다.

또한, 상기 동일 프레임에 대해, 상기 정합 코스트 계산 과정에서의 스캔 방향과 상기 양안차 계산 과정에서의 스캔 방향을 서로 반대 방향으로 한다.

상기와 같은 스캔 방향 변화에 의해, 스트릭 노이즈가 한쪽 방향에 치우치는 것을 방지할 수 있다. 즉, 상기와 같이 스캔 방향을 프레임별로 서로 다르게 하고, 또한, 동일 프레임에 대해서는 정합 코스트 계산 과정과 양안차 계산 과정에서의 스캔 방향을 서로 반대 방향으로 하여, 만약의 상황에서 발생할 수 있는 스트릭 노이즈를 분산시킨다.

또한, 상기와 같이 시간축 필터링을 적용하여 이전 프레임과의 상관 관계에 따른 필터링을 진행함으로써, 실질적으로 단방향 스캔 방식에 따른 연산량만으로도 양방향 스캔 방식에 대응되는 효과를 얻을 수 있다.

한편, 상기 스테레오 후처리부(136)는 세로축 중간값 필터부(1361)를 더 포함할 수 있다.

시간축 필터부(1362)에서는 프레임 간의 관계를 계산할 때, 픽셀 대 픽셀로 수행한다. 여러 픽셀을 이용한 스무딩 효과를 더하기 위해 중간값 필터를 적용할 수 있는데, 일반적으로 사용되는 가로축으로의 중간값 필터 대신 세로축 중간값 필터를 사용한다.

상기 세로축 중간값 필터부(1361)에 의해 수식[1]의 시간-축 필터에서 입력으로 들어가는 X_t[x,y] 값과 Y_t _-1[x,y] 값이 달라지게 된다. X_t[x,y]는 현재 프레임을 세로축으로 중간값 필터를 통해 나온 결과의 각 픽셀 값이 되고, Y_t _-1[x,y] 는 이전 프레임까지 중간값 필터를 통한 누적된 결과의 각 픽셀 값이다.

도 13은 발명의 실시 예에 따른 세로방향 중간값 필터링을 나타낸 도면이다. 도 13을 참고하면 3×3 픽셀에서 각 픽셀 값이 도시된 바와 같이 5, 3, 4, 6, 10, 5, 3, 4, 5의 값을 갖는 경우, 픽셀 값을 크기의 순서대로 나열하게 되면 3, 3, 3, 4, 4, 5, 5, 5, 10이 되고, 세로방향의 중간값 필터링에 의해 중간값인 4가 픽셀의 중간값이 된다. 이는 수식[1]에서 현재 프레임을 세로축으로 중간값 필터를 통해 나온 결과의 각 픽셀 값인 X_t[x,y]가 된다.

상기와 같이, 실시 예에 따르면, 양방향 주사 스캔 방식을 적용하여 스트릭 노이즈를 최소화할 수 있으며, 상기 양방향 주사 스캔 방식을 적용함에 있어서 프레임별로 서로 다른 주사 스캔 방식을 적용한 후 이의 상관 관계를 이용하여 깊이 영상을 획득하기 때문에 계산량을 최소화할 수 있다.

도 14는 발명의 실시 예에 따른 스테레오 정합 방법을 설명하는 흐름도이다.

우선, 제 1 카메라(110) 및 제 2 카메라(120)에 의해 복수의 이미지(좌 영상 및 우 영상)이 획득된다(101단계).

상기 복수의 이미지가 획득되면, 스테레오 전처리부(132)는 상기 획득된 이미지의 전처리를 수행한다(102단계).

이를 위해, 스테레오 전처리부(132)에서는 우선 카메라 칼리브레이션 과정이 진행된다. 이는 이미지에서 실제 파라미터를 찾아내는 프로세스로, 정밀한 2D 영상 처리 및 3D 영상 처리에 필요한 과정이다.

이에 의해 교정에 필요한 데이터인 고유 파라미터(Intrinsic parameter)와 외적 파라미터(extrinsic parameter)를 추출한다.

다음으로, 교정(Rectification)에 의해 좌, 우 영상의 에피폴라 라인을 수평으로 맞추게 된다. 즉, 좌 영상 및 우 영상에서 동일한 픽셀 대응점을 찾게 된다.

이후, 스테레오 정합부(134)에서는 정합 코스트를 계산하게 된다(103단계). 이는 좌, 우 영상의 같은 라인에 해당하는 픽셀 값들을 이용하여 정합 코스트를 계산한다.

다음으로, 상기 단계에서 계산된 정합 코스트와 임의의 값인 감마(gamma)와의 비교를 통하여 각 노드가 매칭되었는지의 여부를 판단하고, 상기 판단 결과에 따라 경로를 결정한다(104단계).

다음으로, 상기 정합 코스트와 상기 정해진 경로를 이용하여 최적의 경로를 찾아 깊이 영상을 생성하게 된다(105단계).

이때, 동일 프레임에 대해 상기 103단계에서의 스캔 방향과 상기 105단계에서의 스캔 방향은 서로 반대 방향임을 특징으로 한다.

또한, 상기 103단계에서의 스캔 방향은 연속하는 프레임을 기준으로 서로 반대 방향을 특징으로 하며, 상기 105단계에서의 스캔 방향도 연속하는 프레임을 기준으로 서로 반대 방향으로 수행되는 특징을 가진다.

이후 스테레오 후처리부(136)에서는 가로로 발생하는 스트릭 노이즈(streak noise) 특성을 고려하여 세로방향으로 중간값 필터를 적용하고, 시간축 필터링 단계에서 현재 프레임과 이전 프레임의 상관관계를 이용하여 잡음이 감소된 깊이 영상을 추출하게 된다(106단계).

상기 과정에 의해 추출된 깊이 영상(Depth map)은 사용자의 동작, 자세 등의 인식을 위하여 입력으로 사용된다.

이상에서 실시예들에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

110: 제 1 카메라
120: 제 2 카메라
130: 영상 정합부
132: 스테레오 전처리부
134: 스테레오 정합부
136: 스테레오 후처리부
1341: 정합 코스트 계산부
1342: 정합 비교부
1343: 양안차 계산부
1361: 세로축 중간값 필터부
1362: 시간축 필터부

Claims

스테레오 카메라를 통해 스테레오 영상을 획득하는 단계;
상기 획득된 스테레오 영상을 전처리하는 단계;
상기 전처리한 스테레오 영상의 동일 픽셀 라인에 해당하는 픽셀 값들을 토대로 정합 코스트를 계산하는 단계;
상기 계산된 정합 코스트와 기설정된 감마값을 비교하여 각 노드의 정합 여부를 결정하고, 상기 결정된 정합 노드에 따른 경로를 결정하는 단계;
상기 결정된 경로와 정합 코스트를 이용하여 최적 경로를 추적하는 단계;
상기 추적한 최적 경로에 대응하는 양안차를 이용하여 제 1 깊이 영상을 추출하는 단계; 및
상기 제 1 깊이 영상에서, 이전 프레임과 현재 프레임의 상관 관계를 이용하여 잡음이 제거된 제 2 깊이 영상을 추출하는 단계를 포함하며,
상기 정합 코스트를 계산하는 단계는,
상기 스테레오 영상의 홀수 번째 프레임에 대해서, 왼쪽에서 오른쪽으로만 스캔을 진행하여 상기 정합 코스트를 계산하는 단계와,
상기 스테레오 영상의 짝수 번째 프레임에 대해서, 오른쪽에서 왼쪽으로만 스캔을 진행하여 상기 정합 코스트를 계산하는 단계를 포함하고,
상기 최적 경로를 추적하는 단계는,
상기 홀수 번째 프레임에 대해서, 상기 정합 코스트 계산 시의 스캔 방향과 반대 방향인 오른쪽에서 왼쪽으로만 스캔을 진행하여 상기 최적 경로를 추적하는 단계와,
상기 짝수 번째 프레임에 대해서, 상기 정합 코스트 계산 시의 스캔 방향과 반대 방향인 왼쪽에서 오른쪽으로만 스캔을 진행하여 상기 최적 경로를 추적하는 단계를 포함하는 스트레오 영상 정합 방법.
삭제
삭제
삭제
제 1항에 있어서,
상기 최적 경로 추적은,
DP(Dynamic Programming) 기법을 기반으로 비터비 알고리즘을 이용하여 수행되는 스테레오 영상 정합 방법.
삭제
삭제
제 1항에 있어서,
상기 제 2 깊이 영상을 추출하는 단계는,
이전 프레임들과의 상관 관계를 이용하여 시간축 필터링을 수행하는 단계를 포함하는 스테레오 영상 정합 방법.
제 8항에 있어서,
상기 시간축 필터링 수행 이전에 상기 제 1 깊이 영상에 대한 세로축 중간값 필터링을 수행하는 단계를 더 포함하는 스테레오 영상 정합 방법.
대상 물체를 촬영하여 제 1 영상 및 제 2 영상을 획득하는 제 1 카메라 및 제 2 카메라;
상기 제 1 영상 및 제 2 영상을 전처리하는 스테레오 전처리부;
상기 전처리한 제 1 영상 및 제 2 영상의 동일 픽셀 라인에 해당하는 픽셀 값들을 토대로 정합 코스트를 계산하는 정합 코스트 계산부;
상기 계산된 정합 코스트와 기설정된 감마값을 비교하여, 각 노드의 정합 여부를 결정하고, 상기 결정된 정합 노드에 따른 경로를 결정하는 정합 비교부;
상기 결정된 경로와 정합 코스트를 이용하여 최적 경로를 추적하고, 상기 추적한 최적 경로에 대응하는 양안차를 이용하여 제 1 깊이 영상을 추출하는 양안차 계산부; 및
상기 제 1 깊이 영상에서 이전 프레임과 현재 프레임의 상관 관계를 이용하여 잡음이 제거된 제 2 깊이 영상을 추출하는 스테레오 후처리부를 포함하며,
상기 정합 코스트 계산부는,
상기 제 1 및 2 영상의 홀수 번째 프레임에 대해서, 왼쪽에서 오른쪽으로만 스캔을 진행하여 상기 정합 코스트를 계산하고,
상기 제 1 및 2 영상의 짝수 번째 프레임에 대해서, 오른쪽에서 왼쪽으로만 스캔을 진행하여 상기 정합 코스트를 계산하며,
상기 양안차 계산부는,
상기 홀수 번째 프레임에 대해서, 상기 정합 코스트 계산 시의 스캔 방향과 반대 방향인 오른쪽에서 왼쪽으로만 스캔을 진행하여 상기 최적 경로를 추적하고,
상기 짝수 번째 프레임에 대해서, 상기 정합 코스트 계산 시의 스캔 방향과 반대 방향인 왼쪽에서 오른쪽으로만 스캔을 진행하여 상기 최적 경로를 추적하는 스테레오 영상 정합 장치.
삭제
삭제
삭제
삭제
제 10항에 있어서,
상기 양안차 계산부는,
DP(Dynamic Programming) 기법을 기반으로 비터비 알고리즘을 이용하여 상기 양안차를 계산하는 스테레오 영상 정합 장치.
삭제
제 10항에 있어서,
상기 스테레오 후처리부는,
상기 제 1 깊이 영상에서 이전 프레임과 현재 프레임의 상관 관계를 이용하여 잡음이 제거된 제 2 깊이 영상을 추출하는 시간축 필터부를 포함하는 스테레오 영상 정합 장치.
제 17항에 있어서,
상기 시간축 필터부는,
현재 프레임의 픽셀 값과, 이전 프레임까지의 누적 평균 픽셀 값의 합을 현재 프레임의 누적 평균 픽셀 값으로 출력하는 스테레오 영상 정합 장치.
제 17항에 있어서,
상기 스테레오 후처리부는,
세로축 중간값 필터부를 더 포함하며,
상기 시간축 필터부는,
상기 세로축 중간값 필터부의 후단에 위치하는 스테레오 영상 정합 장치.
제 19항에 있어서,
상기 세로축 중간값 필터부는,
현재 프레임을 세로축으로 중간값 필터를 통해 나온 결과의 각 픽셀 값과, 이전 프레임까지 중간값 필터를 통해 누적된 결과의 각 픽셀 값을 합한 값을 출력하는 스테레오 영상 정합 장치.