KR100778085B1 - 주시각 제어를 위한 입체 영상 신호의 처리 방법 및 장치 - Google Patents

Abstract

주시각 제어를 위한 입체 영상 신호의 처리 방법 및 장치에 관하여 개시한다. 본 발명의 일 실시예에 따른 입체 영상 신호의 처리 방법은 먼저, 입체 영상 중의 하나인 제1 영상에서 수평 라인 단위로 라인 대표 수직 경계(Line Representative Vertical Edge)를 구한다. 그리고 이 라인 대표 수직 경계를 포함하는 M×1 픽셀 크기를 갖는 경계 창(Edge Window)을 이용하여 제2 영상과의 상관관계(Correlation)를 계산함으로써, 제2 영상에서 수평 라인 단위로 라인 대표 수직 경계의 위치에 대응하는 매칭 경계(Matching Edge)를 찾아낸 다음, 라인 대표 수직 경계와 매칭 경계와의 거리를 계산하여 해당 수평 라인에서의 불일치 거리(Disparity Distance)를 구한다. 계속해서 계산된 불일치 거리를 이용하여 제1 영상과 제2 영상의 수평 시차량(Horizontal Parallax Value)을 구한 다음, 이를 이용하여 디스플레이 영상으로 사용할 좌우 영상을 얻는다.

입체 영상, 입체 카메라, 주시각, 시차, 시차량, 경계 찾기, 상관관계

Description

주시각 제어를 위한 입체 영상 신호의 처리 방법 및 장치{Signal processing method and equipment of stereoscopic images for controlling convergence of stereoscopic camera}

도 1a 및 도 1b는 각각 입체 카메라의 좌측 카메라로 캡쳐(Capture)한 좌측 원 영상(Left Original Image)과 우측 카메라로 캡쳐한 우측 원 영상(Right Original Image)을 보여주는 것이다.

도 2a는 도 1a 및 도 1b의 영상을 가까운 물체를 기준으로 주시각을 제어한 경우의 영상이고, 도 2b는 도 1a 및 도 1b의 영상을 먼 물체를 기준으로 주식각을 제어한 경우의 영상이다.

도 3은 본 발명의 일 실시예에 따른 입체 영상 신호의 처리 방법을 보여주는 흐름도이다.

도 4는 본 실시예의 일 측면에 따라서 우영상에서 소정의 크기를 갖는 탐색 영역을 설정하고, 설정된 탐색 영역에서 경계 추출을 수행하는 것을 설명하기 위한 도면이다.

도 5는 이러한 유효 블록 대표 경계를 선별하는 방법의 일례를 보여주는 도면이다.

도 6은 본 발명의 실시예에 따라서 인접 경계를 제외하는 절차를 설명하기 위한 도면이다.

도 7은 탐색 영역 내의 하나의 수평 라인에 할당된 블록 번호의 일례를 보여주는 도면이다.

도 8은 경계의 유형에 따라서 불일치 거리의 차이를 보여주는 도면이다.

도 9는 라인 대표 경계 중에서 유효 수직 경계를 선별하는 과정을 설명하기 위한 블록도이다.

도 10은 비교 영역을 설정하는 방법의 일례를 설명하기 위한 도면이다.

도 11은 (R_k - L_k)²의 근사치를 구하는 과정의 일례를 보여주는 그래프이다.

도 12a 및 도 12b는 본 발명의 일 실시예에 따라서 근사치 계산을 수행하여 상관관계를 구하고 각 수평 라인 단위로 불일치 거리를 계산한 결과를 보여주는 사진다.

도 13은 본 발명의 실시예에 따라서 상관관계값을 구하고, 이를 이용하여 구한 해당 라인의 불일치 거리를 보여주는 사진이다.

도 14에는 도 13에 도시된 반복 패턴에서의 상관관계값을 보여주는 그래프이다.

도 15는 도 13의 사진에서 피크 체크 절차를 수행한 후의 해당 라인의 불일치 거리를 보여주는 사진이다.

본 발명은 입체 영상 신호 처리(Stereoscopic Image Signal Processing)에 관한 것으로서, 보다 구체적으로 주시각 제어를 위하여 입체 영상 신호를 처리하는 방법과 장치에 관한 것이다.

동일 피사체를 서로 다른 두 지점에서 관찰했을 때에 생기는 방향의 차이를 '시차(Parallax)'라고 한다. 사람은 '양안 시차의 원리'에 의하여 피사체에 대한 입체감을 느낄 수가 있는데, 입체 카메라는 이러한 양안 시차의 원리를 이용하여 입체 영상을 획득하기 위한 장치이다. 따라서 입체 카메라는 입체 영상, 즉 1쌍의 좌우 영상을 획득할 수 있도록 1쌍의 좌우 카메라를 구비한다.

상기 입체 카메라의 좌측 카메라와 우측 카메라 사이에는 시차가 존재한다. 그 결과 상기 좌측 카메라와 상기 우측 카메라를 통해서 이미지 센서로 각각 획득되는 좌영상과 우영상에는 피사체의 픽셀 좌표가 수직 및/또는 수평 방향으로 차이가 난다. 이러한 좌영상과 우영상에서의 피사체의 픽셀 좌표의 차이, 즉 위치 차이를 '시차량'이라고 한다. 시차량은 예컨대, (x, y)와 같은 벡터값일 수 있는데, 여기서 x는 수평 시차량을 나타내고 y는 수직 시차량을 나타낸다.

사람의 두 눈은 좌우 눈동자를 움직여서 관측하고자 하는 물체에 대한 시차량을 조절한다. 그리고 이러한 시차량의 조절을 통하여 편안하게 입체감을 느끼면서 주시하고자 하는 물체와 주변 물체를 동시에 관측할 수 있다. 이렇게 시차량을 조절하는 것을 주시각 제어(Convergence Control)라 하는데, 일반적으로 주시하고자 하는 물체의 시차량이 0이 되었을 때 가장 편안하게 입체 영상을 관람할 수가 있다. 반면, 주시각 제어가 되지 않은 입체 영상을 보게 될 경우에는 피사체에 대한 시차량이 매우 크게 나타나서 피사체의 윤곽이 흐릿할 뿐만 아니라 관측자는 초점이 맺히지 않은 물체의 관측에 따른 심한 관측 피로를 느끼게 된다.

입체 카메라를 통해서 획득한 영상도 이를 관람하는 사람의 관측 피로를 최소화하기 위해서는 시차량을 조절해주는 주시각 제어 기능이 요구된다. 일반적으로 입체 카메라의 경우에는 주시하고자 하는 물체의 방향이나 거리 등의 변화에 따라서 시차량이 최소가 되도록 좌우 카메라 사이의 거리나 각 카메라의 관측 방향 등을 제어하는 것이 요구된다. 입체 영상을 얻기 위해 사용되는 입체 카메라는 주시각 제어 방법에 따라서 크게 교차축 입체 카메라, 수평 이동축 입체 카메라, 및 평행축 입체 카메라의 세 가지로 구분된다.

교차축 입체 카메라는 폭주식 입체 카메라라고도 하며, 물체의 거리 변화에 따라 주시각 제어가 가능하도록 설계되어 있다. 이 교차축 입체 카메라는 물체의 거리 변화에 따라 카메라 렌즈의 광축을 회전시켜 항상 물체의 상이 좌우 이미지 센서의 중심에 맺히도록 주시각을 제어한다. 그러나 교차축 입체 카메라는 입체 영상의 재생 시에 왜곡이 심하게 발생할 수 있고, 실시간 제어가 어려울 뿐만 아니라 또한 카메라 광축의 회전을 정밀하게 제어하기 위한 장치가 필요하기 때문에 휴대 전화 등과 같은 소형 전자 기기에 적용하기 어렵다는 단점이 있다.

그리고 수평 이동축 입체 카메라는 교차축 입체 카메라와 같이 관측 물체의 거리 변화에 따라 기계적인 메카니즘을 통한 카메라의 주시각 제어가 가능한 카메라이다. 그러나 교차축 입체 카메라와는 달리 카메라 렌즈와 이미지 센서가 분리되어 있으며, 카메라 렌즈에 대하여 이미지 센서가 수평으로 상대적으로 이동하도록 하여 주시각을 조절하도록 설계되어 있다. 이러한 수평 이동축 입체 카메라는 좌우 이미지 센서 사이의 간격 변화량이 작아 교차축 입체 카메라에 비해 상대적인 영상 왜곡이 작다는 장점이 있지만, 카메라 렌즈와 이미지 센서를 분리시켜야 하며 또한 이미지 센서를 이동하면서 주시각 제어를 해야 하므로 실제 입체 카메라 제작에 많은 어려움이 있고, 기계적인 메카니즘을 이용하므로 소형 전자 기기에 적용하기 어려운 단점이 있다.

마지막으로 평행축 입체 카메라는 입체 영상 카메라 중 가장 단순한 형태로서, 두 대의 카메라를 사람의 눈 간격과 비슷한 거리로 평행하게 고정시켜 두고 입체 영상을 획득할 수 있도록 설계되어 있다. 이러한 평행축 입체 카메라는 카메라 렌즈와 이미지 센서 모두가 고정되어 있기 때문에 사람의 눈에서와 같은 기계적인 메카니즘을 이용한 주시각 제어 기능이 없으며, 그 결과 입체 카메라를 통하여 시차량이 조절된 입체 영상을 획득할 수는 없는 단점이 있다. 그러나 평행축 입체 카메라는 카메라 렌즈나 이미지 센서의 이동 및/또는 회전을 위한 기계적인 메카니즘이 필요 없기 때문에, 그 구조가 간단하여 휴대폰 등과 같은 휴대용 전자 기기에 적용하기에 적합한 장점도 있다.

전술한 평행축 입체 카메라의 단점을 보완하기 위하여 제안된 한 가지 방법으로 상기 평행축 입체 카메라를 통해 획득한 입체 영상 신호에 대한 후처리를 수 행함으로써, 디스플레이 영상에서 주시각 제어의 효과를 얻을 수 있는 방법이 제안되고 있다. 이러한 입체 영상 신호에 대한 처리를 통하여 주시각을 제어하는 방식은 입체 카메라를 통하여 검출한 영상 정보 신호를 이용하는 것이므로, 소프트웨어적인 방법을 이용하는 방법의 하나이다. 따라서 입체 영상 신호에 대한 후처리 방법은 실시간으로 주시각 제어가 가능할 뿐만 아니라, 빠르게 움직이는 물체나 또는 근거리에서 원거리로 이동하는 물체 또는 원거리에서 근거리로 이동하는 물체 등과 같이 거리의 변화가 큰 물체에 대하여 신속하게 주시각을 제어할 수 있는 장점이 있다. 예를 들어, 대한민국 공개특허 제2002-37097호, "신호 처리를 이용한 주시각 제어 장치 및 그 방법과 그를 이용한 입체 카메라 시스템"에는 입체 영상 신호에 대한 후처리를 수행하여 주시각을 제어하는 방법이 개시되어 있다.

그러나 이러한 종래 기술은 신호 처리 과정에서 좌우의 원 영상(Original Image)의 일부가 사라지는 문제점과 함께 원 영상 크기로 확대하는 과정에서 불필요한 비선형 수평 시차 왜곡 현상이 발생하는 단점이 있다. 또한, 다양한 패턴을 갖는 물체에 대한 고려가 부족하기 때문에, 잘못된 주시각 제어로 인하여 입체 영상에 대한 관측 피로를 가중시킬 수 있는 단점도 있다.

본 발명이 이루고자 하는 기술적 과제는 이와 같이 휴대용 전자 기기에 장착하기에 적합하고, 실시간이면서 또한 신속하게 입체 영상의 주시각을 제어할 수 있도록 입체 영상 신호의 처리 방법 및 장치를 제공하는데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는 입체 영상에 대한 관측 피로를 최소화할 수 있을 뿐만 아니라 다양한 패턴을 갖는 피사체들에 대해서도 최적의 주시각 설정이 가능하도록 하며, 또한 입체 카메라를 통해 획득한 원 영상이 사라지거나 및/또는 원 영상을 확대하거나 축소함에 따른 비선형 수평 시차의 발생이나 수직 시차의 발생과 같은 문제가 발생하지 않는 입체 영상 신호의 처리 방법 및 장치를 제공하는데 있다.

상기한 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 입체 영상 신호의 처리 방법은 제1 영상에서 수평 라인 단위로 라인 대표 수직 경계(Line Representative Vertical Edge)를 구하는 단계, 상기 라인 대표 수직 경계를 포함하는 M×1 픽셀 크기를 갖는 경계 창(Edge Window)을 이용하여 제2 영상과의 상관관계(Correlation)를 계산함으로써, 상기 제2 영상에서 수평 라인 단위로 상기 라인 대표 수직 경계의 위치에 대응하는 매칭 경계(Matching Edge)를 찾아내는 단계, 상기 라인 대표 수직 경계와 상기 매칭 경계와의 거리를 계산하여 해당 수평 라인에서의 불일치 거리(Disparity Distance)를 구하는 단계, 및 상기 불일치 거리를 이용하여 상기 제1 영상과 상기 제2 영상의 수평 시차량(Vertical Parallax Value)을 구하는 단계를 포함한다.

상기한 실시예의 일 측면에 의하면, 상기 수평 시차량을 이용하여 상기 제1 영상과 상기 제2 영상의 주시각을 제어하는 단계를 더 포함할 수도 있다.

상기한 실시예의 다른 측면에 의하면, 상기 라인 대표 수직 경계를 구하는 단계는 상기 제1 영상의 하나의 수평 라인에 대하여 각 픽셀의 수직 경계값을 계산하는 단계, 상기 경계값을 블록 단위로 분할한 다음, 해당 블록에서 수직 경계값이 가장 큰 픽셀을 블록 대표 경계로 선택하는 단계, 선택된 상기 블록 대표 경계들 중에서 소정의 기준에 따라 유효 블록 대표 경계를 선별하는 단계, 선별된 상기 유효 블록 대표 경계들 중에서 하나의 픽셀을 선택하여 라인 대표 경계를 선택하는 단계, 및 선택된 상기 라인 대표 경계의 수직성을 검토하여 상기 라인 대표 수직 경계인지 여부를 판단하는 단계를 포함할 수 있다.

상기한 기술적 과제를 달성하기 위한 본 발명의 다른 실시예에 따른 입체 영상 신호의 처리 장치는 제1 영상에서 수평 라인 단위로 라인 대표 수직 경계(Line Representative Vertical Edge)를 구하기 위한 라인 대표 수직 경계 계산부, 상기 라인 대표 수직 경계 계산부에서 구한 라인 대표 수직 경계를 포함하는 M×1 픽셀 크기를 갖는 경계 창(Edge Window)을 이용하여 제2 영상과의 상관관계(Correlation)를 계산함으로써, 상기 제2 영상에서 수평 라인 단위로 상기 라인 대표 수직 경계의 위치에 대응하는 매칭 경계(Matching Edge)를 찾아내기 위한 매칭 경계 탐색부, 상기 라인 대표 수직 경계 계산부에서 구한 라인 대표 수직 경계와 상기 매칭 경계 탐색부에서 찾은 매칭 경계와의 거리를 계산하여 해당 수평 라인에서의 불일치 거리(Disparity Distance)를 구하기 위한 불일치 거리 계산부, 및 상기 불일치 거리 계산부에서 구한 하나 이상의 불일치 거리를 이용하여 상기 제1 영상과 상기 제2 영상의 수평 시차량(Vertical Parallax Value)을 구하기 위한 수 평 시차량 결정부를 포함한다.

상기한 실시예의 일 측면에 의하면, 상기 입체 영상 신호의 처리 장치는 상기 수평 시차량 결정부에서 구한 수평 시차량을 이용하여 좌측 원 영상과 우측 원 영상으로부터 주시각이 제어된 좌우 영상을 얻기 위한 주시각 제어부를 더 포함할 수 있다.

상기한 실시예의 다른 측면에 의하면, 상기 라인 대표 수직 경계 계산부는 하나의 수평 라인에 대하여 각 픽셀의 수직 경계값을 계산하기 위한 수직 경계값 계산부, 상기 수직 경계값 계산부에서 구한 수직 경계값들을 블록 단위로 분할한 다음, 해당 블록에서 수직 경계값이 가장 큰 픽셀을 블록 대표 경계로 선택하기 위한 블록 대표 경계 선택부, 상기 블록 대표 경계 선택부에 의해 선택된 블록 대표 경계들 중에서 소정의 기준에 따라 유효 블록 대표 경계를 선별하기 위한 유효 블록 대표 경계 선별부, 상기 유효 블록 대표 경계 선별부에서 선별된 유효 블록 대표 경계들 중에서 하나의 픽셀을 선택하여 라인 대표 경계를 선택하기 위한 라인 대표 경계 선택부, 및 상기 라인 대표 경계 선택부에 의해 선택된 라인 대표 경계의 수직성을 검토하여 상기 라인 대표 수직 경계인지 여부를 판단하기 위한 수직성 판단부를 포함할 수 있다.

이하에서는, 첨부 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다. 이하의 실시예의 설명에서 각각의 구성요소의 명칭은 당업계에서 다른 명칭으로 호칭될 수 있는데, 이들이 기능적 유사성과 동일성이 있다면 비록 다른 명칭을 사용하더라도 본 발명의 실시예와 균등한 구성이라고 볼 수 있다. 마찬가지로 도면상의 구성을 일부 변형한 실시예가 채용되더라도 기능적 유사성과 동일성이 있다면 양자는 균등한 구성으로 볼 수 있다. 본 실시예에서 각각의 구성요소에 부가된 참조 부호는 단지 설명의 편의를 위하여 기재된 것일 뿐이다.

도 1a 및 도 1b는 각각 입체 카메라의 좌측 카메라로 캡쳐(Capture)한 좌측 원 영상(Left Original Image)과 우측 카메라로 캡쳐한 우측 원 영상(Right Original Image)을 보여주는 도면이다. 상기 입체 카메라의 좌우 카메라는 각각의 광축이 소정의 각도를 갖도록 대향하고 있거나 또는 광축이 서로 평행하게 배치되어 있을 수 있다. 그리고 상기 입체 카메라의 좌측 카메라와 우측 카메라는 동일한 높이에서 서로 평행하게 위치하는 평행축 입체 카메라인 것이 바람직하지만, 후술하는 본 발명의 실시예가 여기에만 한정되는 것은 아니다. 예컨대, 상기 입체 카메라는 좌측 카메라와 우측 카메라의 대향 각도가 일시적으로 고정되어 있는 다른 유형의 입체 카메라일 수 있다.

도 1a 및 도 1b에서 좌우 원 영상(10, 20)은 각각 좌측 카메라와 우측 카메라로 캡쳐한 전체 영상을 나타낸다. 좌우 원 영상(10, 20)은 각각 디스플레이 영상(12, 22)(전체 이미지(10, 20)에서 내부에 사각형 라인으로 표시된 영역)과 그 주변 영상(14, 24)으로 구분된다. 여기서 디스플레이 영상(12, 22)은 디스플레이 장치에서 실제로 디스플레이되는 부분을 나타내는데, 좌우 원 영상(10, 20) 전체가 아니라 여기에서 클립핑(Clipping)된 부분 영상이 디스플레이된다. 예를 들어, 디 스플레이 영상의 크기가 320×240인 경우에 좌우 원 영상에서 해당 크기의 영상만큼만 클리핑이 이루어진다.

그리고 도 1a 및 도 1b에 도시된 디스플레이 영상(12, 22)에는 각각 크기가 서로 다른 2개의 사각형(16, 18, 26, 28)이 존재한다. 이들 사각형(16, 18, 26, 28)은 동일한 크기의 피사체를 입체 카메라로 촬영한 것으로서, 이 중에서 큰 사각형(16, 26)은 상기 입체 카메라로부터 가까운 거리에 피사체가 위치하는 경우이고 작은 사각형(18, 28)은 입체 카메라로부터 먼 거리에 피사체가 위치하는 경우이다.

도 1a 및 도 1b를 참조하면, 좌측 디스플레이 영상(12, 이하, 단순히 '좌영상'이라고 한다)에서의 큰 사각형(16)은 우측 디스플레이 영상(22, 이하, 단순히 '우영상'이라고 한다)에서의 큰 사각형(26)보다 더 오른쪽에 위치하는 것을 알 수 있다. 반면, 좌영상(12)에서의 작은 사각형(18)은 우영상(22)에서의 작은 사각형(28)과 위치 차이가 거의 없거나 약간 더 왼쪽에 위치한다는 것을 알 수 있다. 이와 같이, 입체 카메라로부터 가까운 곳에 위치하는 물체는 우영상보다 좌영상에서 더 오른쪽으로 치우쳐서 위치하고, 입체 카메라로부터 먼 곳에 위치하는 물체는 우영상과 좌영상에서의 위치와 거의 같거나 또는 우영상에 비해서 좌영상에서 더 왼쪽(예컨대, 1~2 픽셀)에 치우쳐서 위치하게 된다. 이러한 좌우 영상(12, 22)에서의 피사체의 위치 차이는 좌우 영상(12, 22)의 위치가 각각 좌우 원 영상(10, 20)에서 동일한 위치(예컨대, 좌우 원 영상의 가운데 지점)에 고정되어 있고, 입체 카메라의 주시각과 피사체의 위치가 대응되지 않기 때문에 발생한다.

본 발명에 따른 입체 영상 신호의 처리 방법에서는 이와 같은 좌영상과 우영 상에서의 피사체의 위치 특성을 적절히 이용하여 좌영상과 우영상에서 각각의 피사체의 거리 차, 즉 시차량을 구한다. 특히 본 발명에서는 좌영상과 우영상의 수직 시차는 없는 것으로 가정하므로, 수평 시차량만을 구한다. 상기 수평 시차량은 후술하는 바와 같이 서로 매칭이 되는 경계 픽셀(이하에서는 단순히 '경계'라고만 한다) 사이의 불일치 거리(Disparity Distance)를 이용하여 구할 수 있다. 그리고 본 발명에서는 구해진 수평 시차량을 이용하여 좌측 원 영상과 우측 원 영상으로부터 클리핑하는 디스플레이 영역을 수평 방향으로 적절히 변화시킨다. 예를 들어, 상기 좌영상과 우영상 중에서 어느 하나의 영상이나 또는 양쪽 영상을 수평 시차량만큼 이동시켜서 좌우 디스플레이 영상을 획득한다.

예를 들어, 도 1a 및 도 1b에 도시된 좌영상(12)과 우영상(22)에서 큰 사각형(16, 26) 및/또는 작은 사각형(18, 28)의 거리 차, 즉 불일치 거리를 계산한다. 본 발명에 의하면, 이러한 불일치 거리를 구하기 위하여 피사체의 수직 경계 특성을 이용하는데, 이에 대해서는 뒤에서 상세하게 설명한다. 그리고 계산된 상기 불일치 거리 중에서 어느 하나의 불일치 거리를 수평 시차량으로 결정한 다음, 상기 수평 시차량을 기준으로 원 영상(10, 20)으로부터 클리핑되는 디스플레이 영상의 위치를 조절하여 좌영상과 우영상을 얻는다.

예를 들어, 도 2a에 도시된 바와 같이 가까운 물체, 즉 큰 사각형의 위치가 일치하도록 좌우 원 영상에서 클리핑되는 디스플레이 영상의 위치를 적절히 조절할 수 있다. 이 경우는 큰 사각형 경계에서의 불일치 거리가 수평 시차량으로 결정된 경우이다. 또는, 도 2b에 도시된 바와 같이 멀리 있는 물체, 즉 작은 사각형의 위 치가 일치하도록 좌우 원 영상에서 클리핑되는 디스플레이 영상의 위치를 적절히 조절할 수도 있다. 이 경우는 작은 사각형 경계에서의 불일치 거리가 수평 시차량으로 결정된 경우이다.

이와 같이, 디스플레이 영상의 위치를 조절함으로써 클리핑하여 획득한 좌영상과 우영상은 도 2a 또는 도 2b에 도시된 바와 같이, 가까운 물체 또는 멀리 있는 물체에 대한 수평 시차량이 0이 되므로, 관측 피로를 최소화하는 것이 가능하다. 바람직하게는 사람이 느끼는 관측 피로를 최소화하기 위해서는 가까운 물체에 대한 수평 시차량이 0이 되도록 디스플레이 영상의 위치를 조절하여 클리핑한다. 이하에서는 이러한 본 발명의 일 실시예에 대하여 입체 영상 신호를 처리하는 방법 및 장치에 대하여 상세하게 설명한다.

도 3은 본 발명의 일 실시예에 따른 입체 영상 신호의 처리 방법을 보여주는 흐름도이다. 도 3을 참조하면, 본 실시예에 따른 입체 영상 신호의 처리 방법은 휘도 변이 보정(Luminance Adjustment) 절차, 경계 찾기(Edge Finding) 및 라인 대표 경계 선택(Line Representative Edge Selection) 절차, 상관관계 계산(Correlation Calculation) 절차, 수평 시차량(Horizontal Parallax Value) 결정 절차, 및 입체 영상의 생성 절차를 포함한다.

휘도 변이의 보상

본 실시예에 따른 입체 영상 신호의 처리 절차에서는 우선 좌영상 및/또는 우영상에 대하여 휘도 변이를 보상한다(S11). 여기서 좌영상과 우영상은 입체 카메라를 통해 획득한 좌측 원 영상과 우측 원 영상 전체이거나 또는 그 위치가 고정되어 있는 특정 영역(예컨대, 원 영상의 중앙 영역)을 클리핑한 영상일 수 있는데, 이하에서는 후자의 경우를 예로 들어서 설명한다. 예컨대, 좌영상과 우영상은 좌측 원 영상과 우측 원 영상의 중심에서 디스플레이 영상의 크기에 상응하는 크기로 클리핑한 영상일 수 있다.

본 단계의 휘도 변이 보상 절차에서는 좌영상과 우영상 사이에 존재하는 밝기 및/또는 콘트라스트 차이에 대한 보정을 수행하여, 양쪽 영상의 밝기와 콘트라스트 차이를 감소시키거나 또는 제거해준다. 이 경우, 좌영상을 기준으로 우영상에 대하여 밝기 및/또는 콘트라스트 차이를 보정해주거나 또는 우영상을 기준으로 좌영상에 대하여 밝기 및/또는 콘트라스트 차이를 보정해줄 수도 있다.

예를 들어, 휘도 변이 보상을 위하여 좌영상과 우영상의 각각의 픽셀값으로부터 평균 휘도값과 콘트라스트를 구한 다음에, 그 차이값을 어느 한쪽에 영상에 보상해줄 수 있다. 상기 콘트라스트는 각 영상의 최대 휘도값과 최소 휘도값을 이용하여 구한다.

그리고 휘도 변이 보상 절차에서는 현재 프레임의 영상이 이용되거나 또는 하나 또는 하나 또는 다수 개의 이전 프레임의 영상이 이용될 수도 있다. 현재 프레임의 영상을 이용하는 경우는 실시간으로 휘도 변이 보상이 이루어지는 경우인데, 이 방법은 실시간 입체 영상 신호의 전송을 요하는 휴대 전화기 등에서는 적합하지가 않다. 왜냐하면, 일반적으로 휘도 변이 보상을 위하여 소정의 프로세싱 시 간이 소요되기 때문이다.

한편, 이전 프레임의 영상을 이용하는 경우는 이전 프레임의 밝기 및 콘트라스트 차이를 현재 프레임의 휘도 변이 보상에 이용한다는 점에서, 보정값에 다소 오차가 생길 가능성이 있다. 그러나 이 방법은 이전 프레임의 정보를 이용하여 현재 프레임을 보정한다는 점에서 실시간 입체 영상 신호의 전송 시스템에서 효율적으로 이용할 수 있는 장점이 있다.

이전 프레임의 영상을 이용하는 후자의 방법에서는 직전 프레임 하나 만의 휘도 및 콘트라스트 차이를 이용하거나 또는 다수 개의 이전 프레임에 대한 휘도 및 콘트라스트 차이를 지속적으로 관찰하여 일정 시간 동안 좌우 영상 사이에 휘도 변이가 존재하는 경우에만 휘도 변이 보상을 수행할 수 있다. 또한, 실시예에 따라서는 좌우 영상 사이에 존재하는 휘도 변이가 일정한 값 이상이 되는 경우, 즉 휘도 변이값의 변화가 프레임 사이에서 크게 생기는 경우에만 휘도 변이 보상을 수행할 수도 있다.

본 단계의 휘도 변이 보상 절차는 보다 정확한 자동 주시각 제어 정보를 얻기 위한 것이다. 일반적으로 좌측 카메라와 우측 카메라는 위치와 대향하는 방향이 다르기 때문에 조명의 방향이 완전히 동일하지 않다. 그 결과 좌우 영상 간에 밝기및/또는 콘트라스트 등과 같은 픽셀값의 차이가 생긴다. 본 단계는 이러한 좌우 영상 간에 존재하는 밝기 및/또는 콘트라스트 차이를 미리 보정함으로써, 후속 과정인 상관관계(Correlation) 계산 과정에서 보다 정확한 정보를 얻을 수가 있도록 한다.

이러한 휘도 변이 보상 절차는 자동 카메라의 경우에는 자동으로 조절되도록 하고 수동 카메라의 경우에는 수동으로 조절되도록 할 수 있다. 특히, 입체 카메라에서 자동 노출(Auto-exposure)을 작동시키는 경우에, 왼쪽 영상과 오른쪽 영상의 이득(Gain) 또는 콘트라스트(Contrast)와 오프셋(Offset) 또는 휘도(Brightness)에 차이가 발생할 수 있다. 이하에서는 자동 노출 모드에서 휘도 변이 보상을 수행하는 방법의 일례를 설명한다.

예를 들어, 좌측 카메라와 우측 카메라에서 들어오는 영상의 사이즈가 320×240이라고 가정하자. 휘도 변이 보상을 위하여, 먼저 좌영상과 우영상으로부터 특정 영역을 잘라내기 위한 클리핑(Clipping) 과정을 수행한다. 상기 특정 영역은 임의로 설정이 가능한데, 예컨대 펌웨어(Firmware)에서 클리핑하기 위한 영역의 크기 및 위치를 임의로 설정할 수 있다. 그리고 클리핑된 영역에서 각각 소정 개수의 화소 단위, 예컨대 4화소 단위로 평균 휘도값을 구한 다음, 상기 평균 휘도값의 최대값(Averaged Max), 상기 평균 휘도값의 최소값(Averaged Min), 및 모든 화소값을 더한 총합(Sum)을 얻는다. 그 결과, 좌우 영상 각각의 클리핑 영역에 대한 Averaged Max, Averaged Min, 및 Sum 정보가 구해진다. 그리고 이렇게 구해진 Averaged Max, Averaged Min, 및 Sum은 이용하여 후속 프레임의 영상에 적용될 이득 오프셋 파라미터(Gain-Offset Parameter)를 구할 수 있다.

이득 오프셋 파라미터가 구해지면 그 값이 자동 노출값으로 적용되어 현재 프레임의 영상을 캡쳐하는데 자동적으로 적용된다. 이 경우에 매 영상마다 이득 오프셋 파라미터를 적용하여 설정된 값을 바꾸는 것은 바람직하지 않으며, 이득 오프 셋 파라미터 값의 변화가 소정의 값 이상이 되거나 및/또는 일정 시간 이상 지속되는 경우 등에만 적용하여 설정된 이득 오프셋 파라미터를 바꾸어주는 것이 바람직하다. 이와 같이 구해진 이득 오프셋 파라미터가 현재 프레임에 적용되면 현재 프레임의 좌우 영상에 대한 휘도 변이 보상이 이루어진 좌우 영상이 얻어지고, 이와 같이 휘도 변이 보상이 이루어진 좌우 영상은 후속 절차인 입체 영상 신호의 처리에 이용될 수 있다.

이와 같이, 본 단계는 좌측 카메라(CAM_L)와 우측 카메라(CAM_R)의 밝기 및/또는 콘트라스트를 동일하게 혹은 비슷하게 조절함으로써, 자동 주시각 제어의 출력 결과의 정확도를 보다 더 향상시키기 위한 것이다. 따라서 본 실시예에 따른 입체 영상 신호의 처리 방법에서 휘도 변이 보상 절차는 반드시 자동 주시각 제어를 위한 입체 영상 신호의 처리 절차에 적용해야 할 필요가 있는 것은 아니기 때문에 생략할 수도 있다. 그러나 휘보 변이 보상 절차를 이용할 경우에는 주시각 제어 성능을 향상시킬 수 있기 때문에 선행하는 것이 바람직하다.

다음으로 휘도 변이 보상이 이루어진 좌우 영상 또는 휘도 변이 보상이 이루어지지 않은 좌우 영상을 이용하여 주시각 제어를 위한 입체 영상 신호 처리 절차를 수행한다.

경계 찾기 및 라인 대표 경계의 선택

계속해서 도 3을 참조하면, 휘도 변이 보상이 이루어진 좌우 영상 중에서 하 나의 영상을 이용하여 경계 찾기 및 라인 대표 경계 선택 절차(S12 ~ S16)를 수행한다. 경계 찾기 및 라인 대표 경계 선택 절차(S12 ~ S16)는 좌영상 또는 우영상을 이용하여 라인 대표 수직 경계의 위치를 수평 라인 단위로 찾는 과정으로서, 경계값 계산(Edge Value Calculation) 단계(S12), 블록 대표 경계(Block Representative Edge)의 선택 단계(S13), 유효 블록 대표 경계(Block Representative Edge)의 선별 단계(S14), 라인 대표 경계(Line Representative Edge)의 선택 단계(S15), 및 라인 대표 수직 경계(Line Representative Vertical Edge)의 선택 단계(S16)를 포함할 수 있다. 이하, 각 단계에 대하여 보다 구체적으로 설명한다.

이러한 경계 찾기 및 라인 대표 경계 선택 절차(S12 내지 S16)는 1쌍의 입체 영상 중에서 좌영상이나 또는 우영상 하나만을 이용한다. 이하에서는 우영상을 이용하여 경계 찾기 및 라인 대표 경계 선택 절차(S12 내지 S16)를 수행하는 경우에 대해서 상세하게 설명하지만, 후술되는 실시예는 좌영상을 이용하는 경우에도 그 기술 사상은 동일하게 적용될 수 있음은 당업자에게 자명하다.

◇ 경계값의 계산(S12)

경계값(Edge Value)은 해당 픽셀이 물체의 경계에 해당될 가능성을 수치화한 값으로서, 후속 절차인 경계 찾기 절차를 수행하기 위한 데이터로서 이용된다. 경계값 계산 절차와 이를 이용한 경계 찾기 절차는 하나의 영상 전체에 대해서 수행할 수도 있지만, 이러할 경우에는 데이터의 연산량이 많아지는 단점이 있다. 일반 적으로 입체 카메라를 통해 촬영하고자 하는 피사체는 카메라로부터 소정의 거리만큼 이격되어 카메라의 중심 부근에 위치하는 경우가 많으므로, 하나의 영상 전체가 아니라 중심 부근의 일부 영역에 대해서만 경계 찾기 절차를 수행하는 것이 바람직하다.

이와 같이, 경계 찾기 절차를 수행하는 중심 부근의 일부 영역을 이하에서는 '탐색 영역'이라고 칭하기로 한다. 상기 탐색 영역은 경계값을 구할 때마다 새롭게 설정하는 것이 아니라 본 실시예에 따른 입체 영상 신호의 처리 방법 및 장치에서는 그 영역의 좌표가 미리 설정되어 있을 수 있다.

도 4는 본 실시예의 일 측면에 따라서 하나의 영상, 예컨대 우영상에서 소정의 크기를 갖는 탐색 영역을 설정하고, 설정된 탐색 영역에서 경계 찾기를 수행하는 것을 설명하기 위한 도면이다. 도 4를 참조하면, 도시된 우영상(32)은 320×240픽셀의 크기를 가지며, 탐색 영역(34)은 240×124 픽셀의 크기를 갖는다. 여기서 우영상(32)의 크기 및/또는 탐색 영역(34)의 크기는 모두 예시적인 것으로서 변동될 수 있다.

이와 같이 탐색 영역(34)은 우영상(32)의 일부이므로, 우영상(32)에서 탐색 영역(34)이 차지하는 크기를 적절하게 선택한다면 보다 효과적인 신호 처리가 이루어질 수 있다. 예를 들어, 탐색 영역(34)은 우영상(32) 전체 크기의 1/4에서 3/4의 범위로 설정할 수 있다. 이 경우에 우영상(32)의 중앙 부근의 좁은 영역에 포커싱하기를 원한다면, 가능한 탐색 영역을 좁게 하는 것이 바람직하다. 그리고 탐색 영역(34)이 우영상에서 차지하는 비율이 작은 경우에는, 신호 처리 시간이 단축되는 장점이 있는 반면, 적은 수의 화소들만을 이용하기 때문에 경계 찾기의 정확성이 떨어질 염려가 있다.

그리고 본 실시예와 같이 우영상(32)을 이용하여 경계 찾기를 수행하는 경우에는 상기 탐색 영역(34)은 우영상의 중앙에 위치하는 것이 아니라 왼쪽으로 다소 쉬프트된 위치로 설정하는 것이 바람직하다. 왜냐하면, 카메라에서 가까운 곳에 위치하는 물체는 우영상의 경우에는 왼쪽으로 치우쳐서 나타나는 것이 일반적이기 때문에, 물체의 경계가 우영상의 왼쪽 부분에 존재할 확률이 더 높기 때문이다. 도 4의 경우에, 탐색 영역(32)의 수평 시작 위치(Horizontal Start Point, hsp)는 우영상(32)의 좌측에서부터 33번째 칼럼 라인(Column Line)에 위치한다. 그리고 상기 탐색 영역(32)의 수직 시작 위치(Vertical Start Point, vsp)는 우영상(32)의 위쪽으로부터 59번째 로우 라인(Row Line)에 위치하는데, 이 로우 라인은 탐색 영역이 수직 방향으로는 가운데에 위치하도록 하는 라인이다. 그 결과, 우영상의 중앙(C_R)이 탐색 영역(34)의 오른쪽에 치우쳐서 위치한다.

본 실시예의 일 측면에 의하면, 상기 탐색 영역(34)은 하나 이상의 칼럼 라인 단위로 묶어서 다수의 부분 탐색 영역으로 분할할 수도 있다. 이러한 분할은 후술하는 바와 같이 추출된 경계에 대하여 우선순위를 부여함으로써, 보다 유효한 경계를 선택하는데 이용하기 위한 것이다. 예를 들어, 탐색 영역(34)은 3개의 부분 탐색 영역으로 분할될 수 있는데, 제1 부분 탐색 영역(I)은 상기 탐색 영역(34)의 좌측 가장자리에 위치하는 32픽셀 크기의 칼럼 라인을 포함하고, 제2 부분 탐색 영 역(II)은 상기 제1 탐색 영역에 인접한 32픽셀 크기의 칼럼 라인과 상기 탐색 영역(34)의 우측 가장자리에 위치하는 32픽셀 크기의 칼럼 라인을 포함하고, 제3 부분 탐색 영역(III)은 상기 탐색 영역(34)의 가운데 부분에 위치하는 96픽셀 크기의 칼럼 라인을 포함할 수 있다.

이와 같이, 탐색 영역이 설정되면 탐색 영역(34) 내에서 각 픽셀별로 경계값, 보다 정확하게는 수직 경계값(Vertical Edge Value)을 구하는 과정을 수행한다. 여기서 '수직 경계값'이라고 하는 이유는 후술하는 바와 같이 경계값을 구할 때, 동일한 수평 라인의 인접 화소값을 이용하며, 또한 본 발명에서는 수직 시차는 0이라고 가정하기 때문에 피사체의 수직 경계만을 고려하기 때문이다.

상기 경계값을 구하는 방법은 여러 가지가 있을 수 있다. 하지만 경계값을 구할 경우에는 구해진 경계값이 주시각 제어에 이용하기에 적합한 좋은 경계인가 하는 점을 고려하여야 한다. 예를 들어, 점(Spot)이나 노이즈(Noise)에 의해 돌출된 부분은 물체의 경계가 아니므로, 무시될 수 있도록 하여야 한다. 그리고 얇은 선 등과 같은 불분명한 경계도 무시될 수 있도록 해야 하는데, 얇은 선이 경계로 추출되는 경우에는 후속 절차에서 정확한 상관관계를 얻기가 어려울 뿐만 아니라 추출된 경계가 반복 패턴의 일부일 가능성이 높기 때문이다.

이러한 점들을 고려할 경우에 경계값의 계산은 다수 픽셀들의 화소값을 이용하되, 가능한 많은 수의 픽셀들을 이용하는 것이 바람직하다. 예를 들어, 현재 픽셀의 경계값(Edge Value)을 계산하기 위하여, 4개 내지 24개의 픽셀값의 합을 이용할 수 있다. 본 실시예의 일 측면에 의하면, 경계를 추출하기 위한 경계값(Edge Value)은 다음의 수학식 1을 이용하여 구할 수 있다. 수학식 1은 16개 픽셀을 이용하여 경계값을 구하는 경우이다.

경계값(edge_value) = ABS{Sum(p-8 ~ p-1) - Sum(p ~ p+7)}

여기서, p는 현재 픽셀의 위치, p-1은 수평 라인에서 현재 픽셀의 좌측으로 1픽셀 쉬프트한 위치, p+1은 수평 라인에서 현재 픽셀의 우측으로 한 1픽셀 쉬프트한 위치를 나타낸다. 그리고 ABS는 연산 방법으로서 절대값을 구하는 것을 나타내고, Sum(a, b)은 위치a와 위치b 사이에 존재하는 픽셀들의 픽셀값의 합을 계산하는 것을 나타낸다.

◇ 블록 대표 경계의 선택

다음으로, 탐색 영역 내에서 구한 각 화소에 대한 경계값들을 이용하여, 블록 대표 경계에 해당되는 픽셀을 선택하는 절차를 수행한다(S13). 블록 대표 경계를 선택하면, 후속 절차에서 이용될 수 있는 픽셀의 수를 줄여서 연산 속도를 향상시킬 수가 있다. 여기서 블록이란 M×1의 크기를 갖는 블록인데, 이것은 본 실시예가 수평 라인 단위로 1개의 라인 대표 수직 경계에 해당되는 픽셀을 찾는 것이 목적이기 때문이다. 즉, 이러한 블록 대표 경계를 선택하는 절차는 라인 대표 수직 경계를 구하는 과정의 일부이다.

블록 대표 경계를 선택하기 위하여 하나의 수평 라인의 픽셀들(예컨대 도 4의 예에서 192개의 수평 라인 픽셀)을 소정 크기의 픽셀 단위로 묶어서 경계 블 록(Edge Block)을 설정할 필요가 있다. 전술한 바와 같이, 상기 경계 블록은 M×1의 크기를 갖는데, 여기서 M은 2이상의 자연수이다. 상기 M의 값은 예컨대, 하나의 픽셀에 대한 경계값을 구하는데 이용된 픽셀 수로 결정할 수 있지만, 본 발명이 여기에만 한정되는 것은 아니다. 예를 들어, 수학식 1을 이용하여 경계값을 구한 경우에는 상기 M은 16이 될 수 있으며, 이 경우에는 도 4에 도시된 바와 같이 탐색 영역을 구성하는 하나의 수평 라인은 16×1 픽셀의 크기를 갖는 12개의 경계 블록들로 구성된다.

이러한 경계 블록의 크기는 본 실시예에 따른 입체 영상 신호의 처리 방법 및 장치에서 미리 설정되어 있는 값일 수 있다. 그리고 본 실시예에서는 미리 설정된 경계 블록의 단위로 해당 경계 블록에서 경계값이 가장 큰 픽셀을 블록 대표 경계(Block Representative Pixel)로 선택한다. 즉, 본 실시예에 의하면, 하나의 경계 블록 내에서 그 경계값이 가장 큰 픽셀이 블록 대표 경계가 되며, 그 픽셀의 경계값이 블록 대표 경계값이 된다.

◇ 유효 블록 대표 경계의 선별

다음으로, 선택된 블록 대표 경계들로부터 유효 블록 대표 경계를 선별하는 과정을 수행한다(S14). 유효 블록 대표 경계를 선별하는 과정은 상기 S13 단계에서 구해진 블록 대표 경계들 중에서 라인 대표 경계로서 부적합한 경계를 제외시키는 과정이다. 이러한 유효 블록 대표 경계의 선별 절차를 거치고 나면 라인 대표 경계로 될 수 있는 라인 대표 블록 후보(Line Representative Block Candidate)의 수가 감소하여, 후속 절차에서의 연산을 더욱 간소화할 수가 있다.

유효 블록 대표 경계를 선별하는 첫 번째의 절차는 임계값(Threshold Value)보다 큰 경계값을 갖는 픽셀들만을 유효 블록 대표 픽셀로 선택하는 방식으로 수행할 수 있다. 상기 임계값은 임의의 값으로 미리 설정되어 있을 수 있는데, 이러한 임계값은 해당 라인의 경계값을 고려한 상대적인 값이거나 또는 이를 고려하지 않은 절대적인 값이거나 또는 상대적인 값과 절대적인 값을 모두 적용하는 값일 수도 있다.

예를 들어, 도 4에 도시된 예와 같이 하나의 수평 라인의 총 12개의 블록으로 구성되는 경우에, 하나의 수평 라인에는 총 12개의 블록 대표 경계값이 구해진다. 이 경우에 유효한 블록 대표 경계를 선별하는 기준으로, 상기 12개의 대표 경계값들 중에서 최대값의 1/2을 임계값으로 설정하여, 상기 임계값보다 큰 경계값을 갖는 블록 대표 경계만을 유효한 경계로 선택할 수 있다. 여기서 최대값의 1/2이라는 수치는 예시적인 것이다.

본 실시예의 다른 측면에 의하면, 상기 임계값으로서 해당 수평 라인의 경계값을 고려하지 않고 모든 수평 라인들에 대하여 같은 값을 적용할 수도 있다. 예를 들어, 유효한 블록 대표 경계를 선별하기 위한 기준으로, 상기 임계값을 160(여기서, 임계값 160은 경계의 콘트라스트가 40보다 크도록 하는 값이다)을 설정할 수 있다. 그리고 상기 단계 S13에서 선택된 블록 대표 경계들의 경계값이 160보다 큰 블록 대표 경계만을 유효한 경계로 선별할 수도 있다. 여기서 160은 임의적인 값으로서, 경계 블록의 크기 등에 따라서 변동될 수 있다.

본 실시예의 또 다른 측면에 의하면, 전술한 2가지 방법을 조합하여 유효한 블록 대표 경계를 선별할 수도 있다. 예를 들어, 각 수평 라인 단위로 최대 경계값의 1/2보다 큰 값으로 상기 임계값으로 정하되, 만일 최대 경계값의 1/2이 160보다 작은 경우에는, 상기 임계값을 160으로 결정할 수 있다. 이와 같은 경우는 유효한 블록 대표 경계를 선별하기 위한 임계값의 최저값을 미리 지정하는 경우이다.

도 5는 이러한 유효 블록 대표 경계를 선별하는 방법의 일례를 보여주는 도면이다. 도 5를 참조하면, 제1 경계 블록은 대표 경계값이 140이고, 제2 경계 블록은 대표 경계값이 300이며, 그리고 제3 경계 블록은 대표 경계값이 180이다. 따라서 도 5의 예에서는 최대 대표 경계값이 300이고, 상기 최대 대표 경계값의 1/2은 150이다.

이와 같은 경우에 본 발명의 일 실시예에 의하면, 상기 최대 블록 대표 경계값의 1/2이 160보다 작으므로, 임계값으로서 160이 되도록 설정하여 유효한 블록 대표 경계를 선별할 수 있다. 그리고 이러한 실시예에 의하면, 제1 경계 블록의 블록 대표 경계값은 임계값보다 작으므로, 제1 경계 블록의 블록 대표 경계는 라인 대표 수직 경계의 후보로부터 제외한다. 그리고 제2 및 제3 경계 블록의 블록 대표 경계값은 임계값인 160보다 크기 때문에 계속 후보로 잔류시킨다.

유효 블록 대표 경계를 선별하는 두 번째의 절차는 블록 대표 경계들 중에서 거리가 가까운 인접 블록 대표 경계들은 그 개수를 줄이는 방식으로 수행할 수 있다. 일반적으로 유효 경계들 사이의 간격이 너무 가까우면 부정확한 상관관계를 얻을 가능성이 높기 때문에, 본 단계는 서로 인접한 유효 경계들 중에서 경계값이 작 은 것을 제외함으로써 유효 경계를 선별한다. 예를 들어, 인접한 경계 블록들에서 모두 유효 블록 대표 경계가 존재하고 또한 두 블록 대표 경계의 거리차가 16픽셀 미만이면, 상기 두 블록 대표 경계 중에서 경계값이 작은 쪽을 후보에서 제외할 수 있다.

도 6은 이러한 본 발명의 실시예에 따라서 인접 경계를 제외하는 절차를 설명하기 위한 도면이다. 도 6을 참조하면, 제1 경계 블록과 제2 경계 블록 모두에서 유효 경계가 존재하는데, 상기 유효 경계들 사이의 거리는 11픽셀이다. 따라서 상기 2개의 유효 경계들 중에서 경계값이 작은 제1 경계 블록에 존재하는 유효 경계를 후보에서 제외한다. 반면, 제2 경계 블록과 제3 경계 블록 모두에서 유효 경계가 존재하는데, 상기 유효 경계들 사이의 거리는 18픽셀이다. 따라서 이러한 경우에는 두 유효 경계 모두를 후보로 잔류시킨다.

이러한 유효 블록 대표 경계를 선별하는 두 번째의 절차는 전술한 유효 블록 대표 경계를 선별하는 첫 번째의 절차를 종료한 이후에 수행하는 것이 바람직하지만, 본 실시예는 여기에만 한정되는 것은 아니다. 예를 들어, 유효 블록 대표 경계를 선별하는 두 번째의 절차는 상기 첫 번째의 절차 이전에 수행할 수도 있다. 그리고 실시예에 따라서는 유효 블록 대표 경계를 선별하기 위한 상기 첫 번째 절차와 두 번째의 절차 중에서 하나의 절차는 생략하고 다른 하나의 절차만 진행하는 것도 가능하다.

◇ 라인 대표 경계의 선택

계속해서 도 3을 참조하면, 각 수평 라인 단위로 상관관계 계산을 수행하는데 필요한 경계의 수만큼 유효 경계의 수를 줄이는 절차를 수행한다. 예를 들어, 본 단계에서는 상기 단계 S14에서 선별된 유효 블록 대표 경계들 중에서 상관관계를 구하는데 이용할 하나의 라인 대표 경계를 선별할 수도 있다(S15). 본 실시예에서 라인 대표 경계를 하나만 선별하는 이유는 라인 메모리 등에 제약이 존재하기 때문이다. 따라서 충분한 크기의 라인 메모리가 구비될 수 있다면, 보다 정확한 상관관계를 구하기 위하여 두 개 이상의 라인 대표 경계를 선별할 수도 있다.

하나의 수평 라인에서 하나의 라인 대표 경계만을 선택할 경우에, 우선 각 라인에서 경계값이 가장 큰 유효 블록 대표 경계를 선택하는 것을 고려해 볼 수 있다. 왜냐하면, 경계값이 가장 큰 픽셀은 상관관계의 계산도 그 만큼 용이하기 때문이다. 그러나 모든 수평 라인에 대하여 경계값이 가장 큰 픽셀을 라인 대표 경계로 선택하는 것은 후술하는 바와 같이 다른 문제를 발생시킬 염려가 있다.

예를 들어, 도 4에 도시된 탐색 영역(34)의 제3 영역(III)과 제1 영역(I)에 각각 하나의 물체가 존재하고, 또한 유효 블록 대표 경계의 선별 과정(S14)에서 상기 2개의 물체 모두에 대한 경계가 검출되었다고 가정해보자. 그리고 제1 영역(I)에 존재하는 물체가 제3 영역(III)에 존재하는 물체에 비하여 주위와 더욱 분명한 경계를 형성한다고 가정하자. 이와 같은 경우에는 제1 영역(I)에 존재하는 유효 블록 대표 경계의 경계값이 더 큰데, 모든 수평 라인에 대하여 경계값이 가장 큰 픽셀만을 라인 대표 경계로 선택하면, 모든 수평 라인에 대하여 제1 영역(I)에 존재하는 물체의 경계가 라인 대표 경계로 선택되는 결과가 발생할 수도 있다.

그런데 주시각 제어는 가능하다면 중앙에 위치하는 물체를 기준으로 하는 것이 관찰 피로를 최소화하면서 장시간 입체 영상을 관람하는데 바람직하다. 그러나 경계값이 가장 큰 픽셀을 하나만 선택할 경우에는 전술한 바와 같이 가장자리에 위치하는 물체에 대해서는 경계만 선택되는 결과를 초래할 수도 있다. 이것은 전술한 바와 같이 가장자리에 위치하는 물체의 배경에 대한 콘트라스트가 중앙에 위치하는 물체의 배경에 대한 콘트라스트보다 큰 경우에 발생할 수가 있다. 따라서 본 단계에서는 라인 단위로 하나의 경계를 라인 대표 경계로 선택하되, 선택되는 경계가 하나의 물체 특히, 가장자리에 위치하는 물체에 집중되는 현상을 방지하도록 절차를 수행할 필요가 있다.

이를 위하여 우선 라인 대표 경계를 선택하는데 있어서 각 영역별로 우선순위를 부여함으로써, 중앙에 있거나 또는 중앙에 가까운 곳에 있는 물체의 경계가 라인 대표 경계 후보(Line Representative Edge Candidate)로 선택되도록 할 수가 있다. 예를 들어, 전술한 예에서 제3 영역, 제2 영역, 및 제1 영역의 순서대로 우선순위를 부여하고, 유효 블록 대표 경계들 중에서 전술한 우선순위에 따라서 중앙에 있는 경계들부터 순차적으로 라인 대표 경계 후보로 선택할 수 있다.

예를 들어, 한 라인에서 최대 3개의 라인 대표 경계 후보를 선택한다고 하자. 이 경우에, 전술한 우선순위에 따라서 제3 영역에서 3개의 유효 경계가 존재하는지를 먼저 찾아볼 수 있다. 만일, 제3 영역에서 3개의 유효 경계가 존재하는 경우에는 이들 유효 경계를 라인 대표 경계 후보로 결정하고, 제1 영역과 제2 영역에서는 유효 경계를 찾지 않는다.

제3 영역에서 유효 경계를 찾을 경우에, 제3 영역을 구성하는 블록들내에서도 우선순위를 할당할 수 있다. 예를 들어, 도 4에서 하나의 수평 라인을 구성하는 블록들의 블록 번호가 도 7과 같이 할당되어 있다고 가정하자. 이 경우에 상기 제3 영역 내의 블록들 간의 우선순위는 블록 번호가 6, 7, 5, 8, 4, 9의 순으로 정해질 수 있는데, 이것은 제3 영역 내에서도 가장자리보다는 중앙에 보다 높은 우선순위를 주는 경우이다.

그리고 제3 영역에서 3개의 유효 경계를 찾을 수 없는 경우에, 다음으로 제2 영역에서 유효 경계를 선택한다. 이 경우에, 제2 영역을 구성하는 블록들내에서도 우선순위를 할당할 수 있다. 예를 들어, 도 7과 같이 블록 번호가 할당되어 있는 경우에, 제2 영역에서의 우선순위는 블록 번호가 3, 10, 2, 11의 순으로 정해질 수 있다.

계속해서, 제3 영역과 제2 영역에서 3개의 유효 경계를 찾을 수 없는 경우에는, 다음으로 제1 영역에서 유효 경계를 선택한다. 이 경우에, 제3 영역을 구성하는 블록들내에서도 우선순위를 할당할 수 있다. 예를 들어, 도 7과 같이 블록 번호가 할당되어 있는 경우에, 제1 영역에서의 우선순위는 1, 0의 순으로 정해질 수 있다. 그리고 제1 영역은 탐색 영역의 가장자리에 해당하므로, 실시예에 따라서는 제1 영역에서는 하나의 유효 경계만을 선택하도록 할 수도 있다.

이와 같이, 탐색 영역의 중앙 부분에 우선순위를 두고 최대 3개의 유효 경계를 라인 대표 경계 후보로 선택한 다음에는, 선택된 라인 대표 경계 후보들 중에서 하나의 유효 경계를 라인 대표 경계로 선별하기 위한 절차를 수행한다. 라인 대표 경계는 후속 절차인 상관관계를 구하는 절차에서 경계 창(Edge Window)을 설정하는데 기준이 된다.

이러한 라인 대표 경계의 선별 과정에서는 하나의 물체에 대한 경계에 라인 대표 경계가 집중되는 것을 방지하는 것이 중요하다. 왜냐하면, 라인 대표 경계가 탐색 영역 내에 있는 여러 물체들에 대하여 분산되도록 하는 것이 후속 절차인 상관관계를 구하는 절차에서 계산된 불일치 거리의 통계치를 얻는데 보다 적합하기 때문이다. 이하, 라인 대표 경계를 선별하는 과정의 일례를 보다 구체적으로 설명한다.

만일 해당 라인에서 선별된 라인 대표 경계 후보가 1개뿐인 경우에는, 무조건 그 하나의 라인 대표 경계 후보를 라인 대표 경계로 선택한다.

그리고 해당 라인에서 선별된 라인 대표 경계 후보가 2개가 존재하는 경우에는, 왼쪽이나 오른쪽의 가장자리를 기준으로 하여, 첫 번째 유효 경계와 두 번째 유효 경계를 번갈아 가면서 라인 대표 경계로 선택할 수 있다. 이를 위하여 라인 번호(Line Number)가 증가함에 따라 0, 1을 반복하는 제1 계산기(Counter_1)를 이용할 수 있으며, 선별된 라인 대표 경계 후보가 2개 존재하는 모든 수평 라인에서는 상기 제1 계산기를 이용하여 유효 경계를 번갈아가면서 선택한다.

그리고 해당 라인에서 선별된 라인 대표 경계 후보가 3개가 존재하는 경우에는, 왼쪽 또는 오른쪽의 가장자리를 기준으로 하여 첫 번째, 두 번째, 및 세 번째 유효 경계를 번갈아 가면서 선택한다. 이를 위하여 라인 번호가 증가함에 따라 0, 1, 2를 반복하는 제2 계산기(Counter_2)를 이용할 수 있으며, 선별된 라인 대표 경 계 후보가 2개 존재하는 모든 수평 라인에서는 상기 제2 계산기를 이용하여 유효 경계를 번갈아가면서 선택한다.

이와 같이, 본 단계에서는 하나의 수평 라인당 상기 S14 단계의 결과로 선별된 유효 블록 대표 경계들 중에서 하나의 라인 대표 경계를 선택한다. 이 경우에 선택된 라인 대표 경계가 가능하면 영상의 중앙 부근에 위치할 수 있도록 가장자리 영역보다는 중앙 영역에 높은 우선순위를 부여할 수 있으며, 또한 각 라인에서 선택된 라인 대표 경계가 하나의 물체, 즉 하나의 블록 위치에 집중되는 것을 방지할 수 있도록 하는 것이 바람직하다.

◇ 라인 대표 수직 경계의 선별

다음으로, 각 라인별로 하나의 라인 대표 경계가 선택되면, 선택된 라인 대표 경계가 유효한 수직 경계(Vertical Edge)에 해당되는지 여부를 판단하기 위한 라인 대표 수직 경계의 선별 절차를 수행한다(S16). 본 단계는 라인 대표 경계들 중에서 유효한 수직 경계를 선별함으로써, 보다 정확한 불일치 거리(Disparity Distance)값을 계산하기 위한 절차이다.

본 실시예에서는 좌측 카메라와 우측 카메라가 동일한 수평 높이에 위치하는 것을 전제로 한다. 따라서 상기 좌측 카메라와 우측 카메라를 통해 획득한 좌영상과 우영상 사이에는 수직 시차량이 0이라고 가정을 하고 있다. 그러나 수평축 입체 카메라를 이용하여 입체 영상을 획득하더라도,카메라 각도에 따라 가까운 물체와 먼 물체간에는 수직 시차량이 발생할 뿐만 아니라 좌영상과 우영상의 수직 시차량 이 항상 0이 되는 것은 현실적으로 불가능하다.

따라서 획득한 좌영상과 우영상에 약간의 수직 시차량이 존재한다고 가정해보자. 이 경우에 만일 선택된 라인 대표 경계가 수직하거나 또는 경사가 급한 경계(예컨대, 경계 라인의 기울기의 절대값이 1보다 큰 경계)에 위치하는 경우에는, 상관관계 계산을 통해 구한 좌우 영상 사이의 불일치 거리값은 실제 수평 시차량과 오차가 작다. 그러나 선택된 라인 대표 경계가 수평하거나 또는 경사가 완만한 경계(예컨대, 경계 라인의 기울기의 절대값이 1보다 작은 경계)에 위치하는 경우에는, 약간의 수직 시차량이 존재하는 경우라고 하더라도 좌우 영상 사이의 불일치 거리값과 실제 수평 시차량과의 오차는 상당히 크다. 따라서 본 실시예와 같이, 수직 시차량이 없다고 가정하는 경우에는 선택된 라인 대표 경계가 유효한 수직 경계인지 여부를 점검하고, 유효한 수직 경계만을 이용하여 불일치 거리를 구하는 것이 바람직하다.

이상에서 설명한 것을 도 8을 참조하여 다시 설명한다. 도 8에 도시된 영상은 약간의 수직 시차가 존재하는 좌영상과 우영상을 함께 도시한 것이다. 그리고 피사체(42, 44)는 원형의 물체인데, 오른쪽에 위치하는 피사체(42)가 좌영상에 존재하는 것이고, 왼쪽에 위치하는 피사체(44)가 우영상에 존재하는 것일 수 있다. 이러한 원형의 물체는 중심 부근에서는 경계의 경사가 급하지만 상단이나 하단에서는 경계의 경사가 완만한 특성을 갖는다.

이 경우에, 우영상(44)을 이용하여 상기 단계 S15의 결과로 선택된 라인 대표 경계는 각각 원의 중심 부근인 점A와 상단 부근인 점B에 위치한다고 가정하자. 그리고 상관관계의 계산으로 구한 점A의 매칭 경계(Matching Edge)를 점A'라고 하고 점B의 매칭 경계를 점B'라고 하자. 이 경우에, 점A와 점A' 사이의 불일치 거리는 d_a가 되고, 점B와 점B'를 사이의 불일치 거리는 d_b가 된다. 그리고 d_c는 좌영상의 피사체(42)와 우영상의 피사체(44) 사이의 실제 수평 시차량으로서, 원형의 피사체의 중심 사이의 거리이다.

도 8을 참조하면, d_a는 d_c와 거의 비슷하여 양 거리 사이의 오차는 0에 가깝다. 반면, d_b는 d_c와 다소 차이가 있어서 양 거리 사이에는 오차도 약간 존재한다는 것을 알 수 있다. 이것은 점B와 점B'가 위치하는 피사체의 경계는 경사가 완만하여 수직 방향으로 약간의 시차가 존재하면, 수평 방향으로는 큰 거리 차이가 생기는 특성을 갖는 경계이기 때문이다. 이와 같이, 원형 물체의 중앙 부분과 같이 수직 방향의 경계는 유효 경계가 될 수 있지만, 수평 방향의 경계를 유효 경계로 이용할 경우에는 상관관계의 계산에 큰 오차가 발생할 수 있다.

그러므로, 본 단계의 절차는 선택된 라인 대표 경계들 중에서 유효한 수직 경계만 남겨두고 수평 방향의 경계선에 위치하는 라인 대표 경계는 상관관계를 구하는 절차에서 배제시키기 위한 것이 목적이다. 유효한 수직 경계를 선별하기 위한 방법의 일례는 주변 영역에 적어도 하나의 다른 유효 경계가 존재하는지 여부를 판단하는 것으로서, 도 9를 참조하여 이에 대하여 상세히 설명한다.

우선, 탐색 영역(50)의 (k+1)번째 라인인 현재 라인에서 선택된 라인 대표 경계(52)의 위치를 p_k라고 하자. 여기서 p는 현재 위치가 탐색 영역의 왼쪽 끝에서 부터 (p+1) 번째 열(Column)에 위치하는 화소라는 것을 나타낸다. 상기 p_k가 유효한 수직 경계인지 여부를 판단하기 위한 한 가지 방법은 픽셀 p_k의 주변 영역(54)에 적어도 하나의 다른 유효 경계가 존재하는지를 판단하는 것이다. 본 단계에서 지칭하는 '유효 경계'는 전술한 단계 S13의 결과로 선택된 블록 대표 경계이거나 또는 단계 S14의 결과로 선별된 유효 블록 대표 경계일 수 있다.

상기 주변 영역(54)은 예컨대 상기 현재 라인의 아래쪽과 위쪽으로 각각 m라인 내의 범위, 즉 (k-m) 라인에서 (k+m) 라인의 범위에서, 현재 열의 왼쪽과 오른쪽으로 각각 n열 내의 범위, 즉 (p-n) 번째 열 내지 (p+n) 번째 열의 범위로 설정할 수 있다. 여기서 n과 m은 각각 1과 5사이의 자연수 일 수 있다. 도 9에는 상기 m과 n이 모두 2인 경우로서, 참조 번호 54로 표시된 주변 영역 내에 적어도 하나의 다른 유효 경계가 존재하는지 여부를 판단함으로써, p_k가 유효한 수직 경계인지를 판단한다.

상기 판단 결과, 라인 대표 경계(p_k)의 주변 영역(54)에 하나 이상의 다른 유효 경계가 존재하면, 해당 경계를 유효한 수직 경계로 판별한다. 왜냐하면, 주변 영역(54)에 다른 유효 경계가 존재한다는 것은 상기 라인 대표 경계(p_k)가 수직하거나 경사가 급한 경계선의 일부일 가능성이 높기 때문이다. 반면, 라인 대표 경계(p_k)의 주변 영역(54)에 다른 유효 경계가 하나도 존재하지 않는 경우에는, 해당 라인 대표 경계(p_k)는 수평 방향의 경계선의 일부이거나 또는 경사가 완만한 경계선 의 일부일 가능성이 높기 때문에 유효 수직 경계가 아닌 것으로 취급하여 라인 대표 수직 경계에 포함시키지 않는다.

상관관계의 계산

다음으로 각 수평 라인 단위로 상관관계를 계산한 다음, 반복 패턴을 제외하기 위한 피크 체크(Peak Check)를 수행하여, 유효한 매칭이 이루어지는 라인에 대하여 불일치 거리를 구하는 절차(S17 및 S18)를 수행한다.

◇ 상관관계의 계산

전술한 단계 S16에서 선별된 라인 대표 수직 경계를 이용하여 상관관계를 구하는 절차를 수행한다(S17). 상관관계를 구하는 본 단계의 목적은 구해진 상관관계값을 이용하여 라인 대표 수직 경계가 존재하는 모든 수평 라인에 대하여, 불일치 거리(Disparity Distance, disc)를 구하는 것이다. 불일치 거리는 우영상에서의 라인 대표 수직 경계의 위치와 상기 라인 대표 수직 경계와 가장 상관관계가 좋은 좌영상의 픽셀인 매칭 경계(Matching Edge)와의 거리 차이를 나타낸다. 이러한 불일치 거리는 라인 단위로 구해지는 것으로서, 영상 단위로 구해지는 수평 시차량과는 상이하다. 수평 시차량은 다수의 불일치 거리를 이용하여 구한다.

본 실시예에서 상관관계를 구한다는 것은 제1 영상, 예컨대 우영상의 해당 수평 라인에서 선별된 유효 수직 경계와 매칭되는 제2 영상, 예컨대 좌영상의 수직 경계, 즉 매칭 경계를 찾는 과정이다. 이를 위하여, 제1 영상의 유효 수직 경계의 픽셀값을 제2 영상의 동일 수평 라인에 존재하는 모든 픽셀값과 비교함으로써, 차분값이 가장 작은 픽셀을 매칭되는 수직 경계라고 판정하는 방법을 고려해 볼 수 있다. 그런데, 하나의 픽셀에 대한 픽셀값은 위치가 다른 경우에도 비슷할 수 있기 때문에, 양쪽 영상에서 픽셀 단위로 픽셀값을 비교하여 상관관계를 구하는 것은 현실적으로 바람직하지 않다. 따라서 정확한 상관관계를 구하기 위해서는 상기 유효 수직 경계를 포함하는 일정 영역의 픽셀값들과 다른 영상의 일정 영역의 픽셀값들을 비교함으로써 상관관계 정도를 판단하는 것이 보다 바람직하다. 이하에서는 유효 수직 경계를 포함하는 일정 영역을 경계 창(Edge Window)이라고 하고, 상기 경계 창과의 비교 대상이 되는 다른 영상의 영역을 비교 창(Compare Window)라고 한다.

상기 경계 창은 소정의 크기를 갖도록 임의로 설정할 수 있는데, 예컨대 8픽셀 내지 64픽셀의 범위 내의 크기를 갖도록 설정할 수 있다. 본 발명의 일 실시예에 의하면, 상기 경계 창은 32픽셀의 크기를 갖도록 설정할 수 있다. 그리고 경계 창 내에서 라인 대표 수직 경계의 위치는 가능한 중앙에 위치하는 것이 바람직하다. 예를 들어, 해당 라인에서의 라인 대표 수직 경계의 위치를 p라고 할 경우에, (p-16) 위치의 픽셀에서 (p+15) 위치의 픽셀의 범위까지를 경계 창으로 설정하거나 또는 (p-15) 위치의 픽셀에서 (p+16) 위치의 픽셀의 범위까지를 경계 창으로 설정할 수 있다.

그리고 제2 영상에서 설정되는 비교 창은 제1 영상에서 경계 창이 위치하는 라인과 동일한 위치의 라인에 위치하며, 이러한 비교 창의 위치는 비교 영 역(Compare Region) 내에서 가변적이다. 이 경우에, 불필요한 상관관계 계산을 없애기 위하여 비교 영역은 해당 라인의 모든 픽셀을 포함할 필요가 없다.

도 10은 비교 영역을 설정하는 방법의 일례를 설명하기 위한 도면이다. 도 10을 참조하면, 본 실시예는 좌영상 또는 우영상의 수평 방향의 길이가 320픽셀인 경우로서, 우영상을 이용하여 라인 대표 수직 경계를 구한 경우이다. 그리고 도 10은 경계 창이 32픽셀의 크기를 갖는 경우로서, 상기 경계 창은 선별된 라인 대표 수직 경계를 기준으로 왼쪽으로 16픽셀을 포함하고, 오른쪽으로 15픽셀을 포함한다. 즉, 도 10은 현재 픽셀의 위치를 p라고 할 경우에 (p-16) 위치의 픽셀에서 (p+15) 위치의 픽셀의 범위까지를 경계 창으로 설정하는 경우를 도시한 것이다.

전술한 바와 같이, 입체 카메라와 가까운 곳에 있는 물체는 좌영상에서는 오른쪽으로 치우쳐서 나타나고 우영상에서는 왼쪽으로 치우쳐 나타나는 것이 일반적이다. 따라서 비교 영역을 좌영상에서 설정할 경우에는 라인 대표 수직 경계의 위치 또는 경계 창의 위치를 기준으로 오른쪽으로 더 많은 픽셀이 포함되도록 비교 영역을 설정하는 것이 바람직하다. 도 10을 참조하면, 좌영상에 설정되는 비교 영역은 경계 창의 위치를 기준으로 왼쪽으로는 16 픽셀만을 포함하지만, 오른쪽으로는 120픽셀을 포함한다. 여기서, 비교 영역에 왼쪽으로 16픽셀을 포함시키는 이유는 피사체와 입체 카메라 사이의 거리가 큰 경우를 대비하는 것이고, 오른쪽으로 120픽셀을 포함시키는 이유는 피사체와 입체 카메라 사이의 거리가 가까운 경우를 대비하는 것이다. 여기서, 왼쪽 추가 픽셀의 크기는 상기 16픽셀에 한정되지 않으며, 4 내지 24 픽셀 정도의 크기를 가질 수 있으며, 오른쪽 추가 픽셀도 상기 120 픽셀에 한정되지 않고 80 내지 160 픽셀의 크기를 가질 수도 있다.

이상에서 설명한 바와 같이, 경계 창과 비교 영역이 결정되면 경계 창의 픽셀값들과 비교 창의 픽셀값들을 이용하여 상관관계값을 구하기 위한 계산을 수행한다. 상관관계값을 구하는 식은 일반적으로 다음의 수학식 2와 같이 표시할 수 있다.

여기서, k는 n의 크기를 갖는 경계 창에서의 픽셀의 위치를 나타내고, R_k는 오른쪽 영상에서 (k+1)번째 화소의 픽셀값을 나타내고, L_k는 왼쪽 영상에서 (k+1)번째 화소의 픽셀값을 나타낸다. 그리고 M_R 및 M_L은 각각 오른쪽 영상과 왼쪽 영상 전체의 화소 평균값을 나타낸다.

상관관계를 구할 경우에, 비교 창은 비교 영역의 왼쪽이나 오른쪽 가장자리를 시작 위치로 하여 오른쪽 방향이나 왼쪽 방향으로 이동하면서 설정할 수 있다. 이 경우, 비교 창은 하나의 픽셀 단위로 이동하거나 또는 2이상의 픽셀 단위로 이동하면서 설정할 수 있다. 본 실시예의 다른 측면에 의하면, 소정 크기, 예컨대 4픽셀 크기의 블록 단위로 비교 창을 설정하고 상관관계값을 구한 다음에, 상관관계가 좋은 비교 창에 대해서는 좌우로 1픽셀 단위로 비교 창을 설정하여 보다 정밀하게 상관관계값을 계산할 수도 있다. 어떤 경우이든, 하나의 수평 라인에서 다수의 상관관계값을 구할 수 있으며, 수학식 2에 따라서 상관관계값을 구할 경우에는 상관관계값이 가장 작은 비교 창이 매칭 경계를 포함하는 경우라고 할 수 있다.

수학식 2를 이용하여 상관관계값을 구할 경우에, 계산을 단순화하기 위하여 M_R과 M_L이 서로 같다고 가정할 있다. 이것의 이유는 여러 가지가 있을 수 있는데, 예컨대 좌영상과 우영상 사이의 휘도 변이 보정을 수행할 경우에 상기 M_R과 M_L은 그 값이 서로 비슷해진다. 또한, 계산의 편의를 위하여 상기 M_R과 M_L이 서로 같다고 가정할 수도 있다.

그리고 M_R과 M_L이 서로 같다고 가정하더라도 수학식 2를 이용하여 상관관계값을 구하는 것은 제곱값 계산이 포함되기 때문에, 연산을 복잡하게 한다. 따라서 이러한 문제를 회피하기 위하여 제곱값 계산을 하지 않고 근사치 계산을 수행할 수도 있다. 근사치 계산을 수행하는 방법의 일례는 다음과 같다.

우선 경계 창의 콘트라스트를 구한다. 경계 창의 크기가 32픽셀인 경우에 32픽셀의 최대값과 최소값을 구함으로써, 경계 창의 콘트라스트를 구할 수 있다.

다음으로, ABS(R_k - L_k)의 값을 이용하여 (R_k - L_k)²의 근사치를 다음과 같은 기준에 따라서 구한다.

1) ABS(R_k - L_k)의 값이 '콘트라스트×16/128' 보다 작은 경우, (R_k - L_k)²의 근사치는 ABS(R_k - L_k)의 값을 4로 나눈값, 즉 'ABS(L-R)/4'으로 한다.

2) ABS(R_k - L_k)의 값이 '콘트라스트×16/128' 보다 크고 '콘트라스트×23/128' 보다 작은 경우, (R_k - L_k)²의 근사치는 ABS(R_k - L_k)의 값을 2로 나눈값, 즉 'ABS(L-R)/2'으로 한다.

3) ABS(R_k - L_k)의 값이 '콘트라스트×23/128' 보다 크고 '콘트라스트×31/128' 보다 작은 경우, (R_k - L_k)²의 근사치는 ABS(R_k - L_k)의 값, 즉 'ABS(L-R)'으로 한다.

4) ABS(R_k - L_k)의 값이 '콘트라스트×31/128' 보다 크고 '콘트라스트×44/128' 보다 작은 경우, (R_k - L_k)²의 근사치는 ABS(R_k - L_k)의 값을 2로 곱한 값, 즉 'ABS(L-R)×2'으로 한다.

5) ABS(R_k - L_k)의 값이 '콘트라스트×44/128' 보다 크고 '콘트라스트×61/128' 보다 작은 경우, (R_k - L_k)²의 근사치는 ABS(R_k - L_k)의 값을 4로 곱한 값, 즉 'ABS(L-R)×4'으로 한다.

6) ABS(R_k - L_k)의 값이 '콘트라스트×61/128' 보다 크고 '콘트라스트×86/128' 보다 작은 경우, (R_k - L_k)²의 근사치는 ABS(R_k - L_k)의 값을 8로 곱한 값, 즉 'ABS(L-R)×8'으로 한다.

7) ABS(R_k - L_k)의 값이 '콘트라스트×86/128' 보다 큰 경우에는 상관관계가 없는 것으로 간주하고, 해당 비교 창은 매칭되지 않는 것으로 한다.

상기 기준에 따라 (R_k - L_k)²의 근사치를 구하는 그래프는 도 11에 도시되어 있다.

그리고 본 실시예에 의하면, 비교 창의 32개 픽셀 모두에 대하여 상기한 방법에 따라서 (R_i - L_i)²의 근사치를 구한 다음, 구한 근사치를 합산함으로써 상관관계값을 구한다. 그리고 상기 32개 픽셀 모두에 대하여 근사치의 합(상관관계값)이 구해진 경우에는, 구해진 상관관계값이 소정 크기의 임계값보다 큰 경우에는 해당 비교 창은 상관관계가 없는 것으로 간주할 수도 있다. 상기 임계값을 구하는 일례는 다음의 수학식 3과 같다.

임계값(T) = (콘트라스트×23/128)×18/2 + (콘트라스트×31/128)×8 + (콘 트라스트×44/128)×4×2 + (콘트라스트×61/128)×2×4

도 12a 및 도 12b는 본 발명의 일 실시예에 따라서 근사치 계산을 수행하여 상관관계를 구하여 매칭 경계를 찾고, 이를 이용하여 각 수평 라인 단위로 불일치 거리를 계산한 결과를 보여주는 사진이다. 이 중에서 도 12a는 근사치 계산 구간을 3개로 설정한 경우이고, 도 12b는 전술한 예와 같이 근사치 계산 구간을 7개로 설 정한 경우이다. 그리고 도 12a 및 도 12b에서 파랑색 점이 우영상에서 검출된 픽셀, 즉 라인 대표 수직 경계이며, 녹색점이 상관관계 계산을 이용하여 좌영상에서 구한 매칭 경계를 표시한 것이다. 따라서 각 도면에서 붉은 색 라인은 해당 라인에서의 불일치 거리를 나타낸다.

도 12a 및 도 12b를 참조하면, 근사치 구간을 7개로 설정한 경우에는 불일치 거리가 라인의 위치에 상관없이 거의 일정하지만, 근사치 구간을 3개로 설정한 경우에는 불일치 거리가 라인의 위치에 따라서 상당한 차이가 생긴다는 것을 알 수 있다. 이와 같이, 잘못된 불일치 거리가 검출되는 경우에는, 주시각 제어를 위하여 사용할 수평 시차량을 구하는 것이 쉽지가 않다. 왜냐하면, 정확한 수평 시차량을 선택하기가 어렵기 때문이다. 근사치 구간을 3개로 설정한 경우에 이러한 문제가 발생하는 이유는 여러 가지가 있는데, 우선 근사치 구간을 3개로 설정하는 것은 근사값을 구하는데 따른 오차가 커진다. 또한, 좌영상과 우영상은 주시하는 방향이 서로 다르기 때문에, 가까운 물체에 의하여 가려지는 먼 거리의 물체 부분도 차이가 나며, 그 결과 정확한 상관관계를 계산하기가 어렵게 만들기 때문이다.

◇ 피크 체크(Peak Check)

다음으로 상관관계의 계산이 완료되면, 피크 체크를 수행한다(S18). 본 단계는 반복 패턴의 존재하는 경우에 이를 불일치 거리의 계산으로부터는 제외함으로써, 수평 시차량 계산의 신뢰성을 높이기 위한 것이다.

도 13은 전술한 본 발명의 실시예에 따라서 상관관계값을 구하고, 이를 이용 하여 불일치 거리를 구하여 도시한 것이다. 도 13에서도 파랑색 점이 우영상에서 찾은 라인 대표 수직 경계을 나타내며, 녹색점이 상관관계 계산을 이용하여 좌영상에서 구한 매칭 경계를 표시하는 점이다. 그리고 붉은 색 라인은 해당 라인에서의 불일치 거리를 나타낸다.

도 13을 참조하면, 수직 방향으로 다수의 반복 패턴이 존재하는 경우에는 본 실시예와 같이 수직 경계 검출을 통하여 주시각 제어를 하는 것이 용이하지 않다는 것을 알 수 있다. 왜냐하면, 도 13에 도시된 바와 같이, 수직 방향으로 다수의 반복 패턴이 존재하는 경우에는 구해진 불일치 거리 값이 차이가 많이 발생하여 정확한 수평 시차량을 구하기가 어렵기 때문이다.

도 14에는 도 13에 도시된 반복 패턴에서의 상관관계값을 보여주는 그래프가 도시되어 있다. 도 14를 참조하면, 비교 창의 위치가 쉬프트됨에 따라서 상관관계값 그래프에는 네가티브 피크(Negative Peak)가 주기적으로 나타난다는 것을 알 수 있다. 도 14에 도시된 바와 같이, 상관관계값 그래프에 다수 개의 네가티브 피크가 생기는 경우에는 다수의 반복 패턴이 존재하는 경우이므로 해당 라인에 대하여 정확한 불일치 거리를 구하기가 어렵다. 따라서 해당 라인에서 불일치 거리를 구하기 위해서는 무조건 상관관계값이 가장 작은 픽셀을 매칭 경계로 선택하는 것은 바람직하지 않으며, 상관관계값의 그래프에서 다수의 네거티브 피크, 예컨대 3개 이상의 네가티브 피크가 존재하면 상관관계 실패로 간주하고 해당 라인에서는 불일치 거리를 구하지 않는 것이 바람직하다. 본 실시예에서 피크 체크란 이와 같이 상관관계값 그래프에서 다수의 네거티브 피크가 존재하는 경우에 해당 라인에서는 불일 치 거리를 구하지 않은 것을 의미한다.

도 15는 도 13의 영상과 동일한 영상에서 본 발명의 실시예에 따라서 상관관계값을 구하고, 피크 체크를 한 후에 구한 불일치 거리를 도시한 영상이다. 도 15에서도 파랑색 점이 우영상에서 찾은 라인 대표 수직 경계에 해당되며, 녹색점이 상관관계 계산을 이용하여 좌영상에서 구한 매칭 경계를 표시한 것이다. 그리고 붉은 색 라인은 해당 라인에서의 불일치 거리를 나타낸다. 도 15를 참조하면, 피크 체크를 한 경우에는 모든 라인에서 불일치 거리가 거의 일정하다는 것을 알 수 있다.

수평 시차량의 결정

전술한 본 발명의 실시예에 따라서 피크 체크 절차(S18)를 완료하면, 해당 라인 단위로 하나의 불일치 거리값을 얻을 수 있다. 유효 라인 대표 수직 경계의 선별 단계(S16) 및 피크 체크(S18)의 결과로 특정 수평 라인의 경우에는 불일치 거리가 존재하지 않을 수도 있다. 후술하는 수평 시차량의 결정 절차(S19)는 불일치 거리가 존재하는 수평 라인에 대해서만 수행한다.

전술한 본 발명의 실시예에 따라 피크 체크 절차까지 완료하면, 하나의 입체 영상에 대하여 다수의 불일치 거리를 얻을 가능성이 아주 높다. 그리고 이러한 다수의 불일치 거리는 그 값이 같은 경우도 있고 서로 다를 수도 있다. 그러나 하나의 입체 영상에 대하여 주시각 제어를 위한 수평 시차량은 하나이어야 한다. 따라서 본 단계에서는 크기가 서로 다른 다수의 불일치 거리 중에서 하나의 불일치 거 리를 수평 시차량으로 결정해야 한다.

크기가 서로 다른 다수의 불일치 거리 중에서 하나의 불일치 거리를 수평 시차량으로 결정하는 한 가지 방법은 빈도가 가장 높은 불일치 거리를 수평 시차량으로 선택하는 것이다. 다른 하나의 방법은 상관관계값이 가장 작은 라인에서의 불일치 거리를 수평 시차량으로 선택하는 것이다. 그리고 전술한 2가지 방법을 조합하여 사용하거나 또는 라인의 위치에 따라서 우선순위를 부여하고 중앙 부근에 위치하는 라인에서의 불일치 거리를 수평 시차량이 되도록 할 수도 있다.

이러한 여러 가지 방법은 입체 영상 신호의 처리 장치를 개발하는 업체에서 적절히 선택하는 것이 가능하다. 따라서 전술한 목적을 달성하기 위해서는 필요한 정보를 프로세서 장치로 제공하는 것이 필요한데, 하나의 영상에서 생성된 모든 정보를 프로세서로 제공하는 것은 현실적으로 불가능하다. 따라서 필요한 정보를 세트로 묶은 다음, 이를 몇 개의 그룹으로 분리하는 그룹핑(Grouping) 절차를 수행할 필요가 있다.

그룹핑 절차를 수행하기에 앞서서, 불일치 거리(disc)와 함께 세트로 관리할 필요가 있는 정보에 대하여 설명한다. 불일치 거리와 함께 세트로 관리할 정보 중의 하나는 상관관계를 구하기 위하여 사용된 라인 대표 수직 경계의 위치(pos)이다. 그리고 해당 라인에서의 불일치 거리에 대응하는 상관관계값(err)을 불일치 거리와 함께 관리하는 것이 바람직하다. 이 중에서 pos는 주시각 제어에 이용된 물체를 영상의 중앙에 포커싱 할 수 있도록 하는데 기준이 된다. 그리고 disc는 주시각 제어에 이용되며, err은 상관관계값의 크기를 비교하는데 이용될 수 있다. 이하에 서는 그루핑 절차에 대하여 상세하게 설명한다.

120개의 라인을 스캔한다고 가정할 경우에, 120개 모든 라인에 대하여 상기 pos, disc, 및 err를 구할 수 없다. 왜냐하면, 라인 대표 수직 경계를 선택하는 절차 및/또는 피크 체크 등의 절차 등에 따라서 특정 라인의 경우에는 경계를 검출할 수 없거나 또는 상관관계를 계산할 수가 없기 때문이다. 그리고 120개 모든 라인에 대하여 상기 pos, disc, 및 err를 구하여 출력한다는 것은 현실적으로 불가능할 뿐만 아니라 비효율적이다. 따라서 본 발명의 실시예에서는 그루핑을 통하여 정보를 가공하여 출력한다.

그리고 그루핑 과정의 일례는 다음과 같다.

우선, 최대 15개의 그룹이 존재할 수 있다고 가정한다. 그룹을 구분하는 기준은 disc가 되며, disc가 거의 같은 경우에 pos를 비교하여 그루핑을 수행한다. 예를 들어, 두 라인의 정보들 중에서 disc가 같고 pos의 차이가 12이하인지 여부를 판단한다. 판단 결과, 이에 해당되면 같은 그룹으로 분류하고 해당되지 않는 경우에는 다른 그룹으로 분류한다. 그리고 그룹의 수가 15가 되면 새로 들어오는 엔트리의 err와 그룹의 멤버 수(cnt)가 1개인 그룹에 있는 엔트리의 err과 비교하여 err이 작은 쪽을 새로운 그룹으로 취하고 큰 쪽은 그루핑에서 탈락시킨다. 만약에 그룹의 멤버 수가 1인 그룹이 없으면, 더 이상 그룹의 수를 증가시키지 않는다.

그리고 해당 영역의 모든 라인에 대한 그루핑이 완료되면, 그룹의 멤버 수가 가장 많은 그룹을 선별하여 출력한다. 이 경우 선별하는 그룹의 수는 특별한 제한이 없는데, 예컨대 그룹의 멤버 수가 많은 6개의 그룹을 선별하여 해당 그룹 멤버 들의 정보들을 출력할 수 있다.

본 실시예의 일 측면에 의하면, 수평 방향으로 중앙 부분의 영역과 가장자리 부분의 그루핑을 따라 관리할 수도 있다. 예를 들어, 도 4에 도시된 제3 영역(III)에서의 그루핑과 제1 및 제2 영역(I, II)에서의 그룹핑을 별도로 관리할 수 있다. 이와 같이 제1 및 제2 영역(I, II)에서도 그루핑을 별도로 관리하는 이유는 중앙 부분의 영역에 수직 경계가 없어서, 중앙 부분에서 포커싱을 맞추기가 어렵기 때문이다.

입체 영상의 생성

상기 단계 S19에서 각 영상에 대하여 수평 시차량이 구해지면, 출력된 정보, 예컨대 불일치 거리(disc) 및/또는 라인 대표 수직 경계의 위치(pos) 등을 이용하여, 좌측 원 영상과 우측 원 영상에서 클리핑할 영역의 위치를 계산한다. 본 단계에서 클리핑되는 영역을 계산하는 이유는 수평 시차량이 보정되도록 함으로써 주시각 제어가 이루어진 좌우 디스플레이 영상을 얻기 위해서이다. 따라서 본 발명에 의하면 신호 처리를 통하여 주시각 제어가 이루어진 1쌍의 좌우 영상을 획득하는 것이 가능하다. 그리고 클리핑으로 획득한 좌우 영상은 입체 영상의 디스플레이 방식, 예컨대 적, 청 방식, 프레임 스위칭 방식, 또는 수평 배리어(Parallax Barrier) 방식에 맞게 서로 혼합(Mixing)되거나 또는 양쪽 영상을 1화소씩 교환(Mux)하여 입체 영상을 생성한다(S20).

이상에서 상세하게 설명한 바와 같이, 본 발명에 의하면 피사체의 위치에 따라서 기계적인 메커니즘을 통하여 좌우 카메라 사이의 이격 거리나 대향 방향을 조절함으로써 좌우 카메라를 통해 획득하는 좌우 영상의 시차량을 최소화시키지 않는다. 반면, 본 발명에 의하면 일정 간격으로 이격되어 있으며 또한 주시 방향이 서로 평행하거나 또는 일정한 방향으로 대향하도록 고정되어 있는 좌우 카메라를 통해 획득한 입체 영상 신호를 적절히 처리함으로써, 디스플레이되는 입체 영상에서는 시차량이 없거나 또는 최소화가 되도록 한다.

이러한 본 발명에 의하면, 입체 영상 신호에 대한 처리를 통하여 주시각을 알아내고, 또한 주시하고자 하는 물체에 대하여 시차량이 최소가 되도록 입체 영상의 주시각을 자동으로 제어하는 것이 가능하다. 그리고 본 발명에 의하면, 이러한 주시각 제어가 소프트웨어적인 방법을 통하여 이루어지기 때문에, 실시간으로 주식각을 제어할 수 있으며 또한 입체 카메라 시스템의 구성을 단순화시킬 수가 있다. 따라서 본 발명에 따른 입체 영상 신호의 처리 장치 및 방법이 구현된 입체 영상 카메라는 휴대 전화와 같은 소형 전자 기기에 탑재하기에 적합하다.

Claims (17)

1. 주시각 제어를 위한 입체 영상 신호의 처리 방법에 있어서,

   제1 영상에서 수평 라인 단위로 라인 대표 수직 경계(Line Representative Vertical Edge)를 구하는 단계;

   상기 라인 대표 수직 경계를 포함하는 M×1 픽셀 크기를 갖는 경계 창(Edge Window)을 이용하여 제2 영상과의 상관관계(Correlation)를 계산함으로써, 상기 제2 영상에서 수평 라인 단위로 상기 라인 대표 수직 경계의 위치에 대응하는 매칭 경계(Matching Edge)를 찾아내는 단계;

   상기 라인 대표 수직 경계와 상기 매칭 경계와의 거리를 계산하여 해당 수평 라인에서의 불일치 거리(Disparity Distance)를 구하는 단계; 및

   상기 불일치 거리를 이용하여 상기 제1 영상과 상기 제2 영상의 수평 시차량(Vertical Parallax Value)을 구하는 단계를 포함하는 입체 영상 신호의 처리 방법.
2. 제1항에 있어서, 상기 수평 시차량을 이용하여 상기 제1 영상과 상기 제2 영상의 주시각을 제어하는 단계를 더 포함하는 것을 특징으로 하는 입체 영상 신호의 처리 방법.
3. 제1항에 있어서, 상기 제1 영상과 상기 제2 영상의 휘도 변이를 보정하는 단 계를 더 포함하는 것을 특징으로 하는 입체 영상 신호의 처리 방법.
4. 제1항에 있어서, 상기 라인 대표 수직 경계를 구하는 단계는

   상기 제1 영상의 하나의 수평 라인에 대하여 각 픽셀의 수직 경계값을 계산하는 단계;

   상기 경계값을 블록 단위로 분할한 다음, 해당 블록에서 수직 경계값이 가장 큰 픽셀을 블록 대표 경계로 선택하는 단계;

   선택된 상기 블록 대표 경계들 중에서 소정의 기준에 따라 유효 블록 대표 경계를 선별하는 단계;

   선별된 상기 유효 블록 대표 경계들 중에서 하나의 픽셀을 선택하여 라인 대표 경계를 선택하는 단계; 및

   선택된 상기 라인 대표 경계의 수직성을 검토하여 상기 라인 대표 수직 경계인지 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 입체 영상 신호의 처리 방법.
5. 제4항에 있어서, 상기 수직 경계값은 해당 픽셀에 좌측으로 인접하는 픽셀값들의 합과 상기 해당 픽셀에 우측으로 인접하는 픽셀값들의 합의 차를 이용하여 구하는 것을 특징으로 하는 입체 영상 신호의 처리 방법.
6. 제4항에 있어서, 상기 블록 대표 경계는 8 내지 32픽셀 단위로 하나의 픽셀 을 선택하여 구하는 것을 특징으로 하는 입체 영상 신호의 처리 방법.
7. 제4항에 있어서, 상기 유효 블록 대표 경계는 상기 블록 대표 경계들 중에서 그 경계값이 소정의 임계치 이상이 되는 것으로 한정하는 것을 특징으로 하는 입체 영상 신호의 처리 방법.
8. 제7항에 있어서, 상기 임계치는 상기 블록 대표 경계들의 경계값 중에서 최대 경계값의 1/2로 설정하거나 또는 상기 최대 경계값의 1/2이 160보다 작은 경우에는 160으로 설정하는 것을 특징으로 하는 입체 영상 신호의 처리 방법.
9. 제4항 또는 제7항에 있어서, 상기 유효 블록 대표 경계의 선별 단계에서는 서로 인접한 상기 블록 대표 경계 사이의 거리가 상기 블록의 크기보다 작은 경우에는, 그 경계값이 더 큰 블록 대표 경계만을 상기 유효 블록 대표 경계로 선별하는 것을 특징으로 하는 입체 영상 신호의 처리 방법.
10. 제4항에 있어서, 상기 라인 대표 경계를 선택하는 단계에서는 해당 라인에 존재하는 상기 유효 블록 대표 경계 중에서 영상의 중앙에 위치하는 픽셀에 가장 높은 우선순위를 부여하고, 좌우측 가장자리에 위치하는 픽셀에 가장 낮은 우선순위를 부여하여 선택하는 것을 특징으로 하는 입체 영상 신호의 처리 방법.
11. 제10항에 있어서, 상기 라인 대표 경계를 선택하는 단계는

    상기 유효 블록 대표 경계들 중에서 하나의 라인 당 최대 3개의 픽셀을 라인 대표 경계 후보들로 선택하는 단계; 및

    상기 라인 대표 경계 후보들 중에서 상기 라인 대표 경계를 선택하되, 해당 라인에 2개 또는 3개의 라인 대표 경계 후보가 있을 경우에는 픽셀의 위치가 고르게 분산되도록 상기 라인 대표 경계를 선택하는 단계를 포함하는 입체 영상 신호의 처리 방법.
12. 제4항에 있어서, 상기 라인 대표 수직 경계의 선별 단계에서는 해당 라인 대표 경계의 주위에서 아래쪽 방향이나 위쪽 방향으로 인접한 수평 라인에 상기 블록 대표 경계 또는 상기 유효 블록 대표 경계가 존재하는지 여부를 판단하되, 선택된 상기 라인 대표 경계 중에서 상기 블록 대표 경계 또는 상기 유효 블록 대표 경계가 상기 인접한 수평 라인에 존재하는 라인 대표 경계만을 상기 라인 대표 수직 경계로 판별하는 것을 특징으로 입체 영상 신호의 처리 방법.
13. 제1항에 있어서, 상기 매칭 경계를 찾아내는 단계에서 상기 상관관계를 계산할 경우에,

    상기 제2 영상에서 4블록 내지 8블록 범위 내의 블록 단위로 쉬프트시키면서 비교 창을 설정하여 1차 상관관계 계산을 수행하는 단계; 및

    상기 1차 상관관계 계산을 수행하는 단계에서 상기 관계가 가장 좋은 비교 창을 기준으로 하여 1픽셀 단위로 좌우측으로 쉬프트시키면서 2차 상관관계 계산을 수행하는 단계를 포함하는 것을 특징으로 하는 입체 영상 신호의 처리 방법.
14. 제1항에 있어서, 상기 수평 시차량을 구하는 단계에서는 영상의 중심에 존재하는 물체보다 상기 영상의 가장자리에 존재하는 물체에 대한 불일치 거리에 더 높은 우선순위를 부여하거나 또는 빈도가 가장 높은 불일치 거리에 더 높은 우선순위를 부여하는 것을 특징으로 하는 입체 영상 신호의 처리 방법.
15. 주시각 제어를 위한 입체 영상 신호의 처리 장치에 있어서,

    제1 영상에서 수평 라인 단위로 라인 대표 수직 경계(Line Representative Vertical Edge)를 구하기 위한 라인 대표 수직 경계 계산부;

    상기 라인 대표 수직 경계 계산부에서 구한 라인 대표 수직 경계를 포함하는 M×1 픽셀 크기를 갖는 경계 창(Edge Window)을 이용하여 제2 영상과의 상관관계(Correlation)를 계산함으로써, 상기 제2 영상에서 수평 라인 단위로 상기 라인 대표 수직 경계의 위치에 대응하는 매칭 경계(Matching Edge)를 찾아내기 위한 매칭 경계 탐색부;

    상기 라인 대표 수직 경계 계산부에서 구한 라인 대표 수직 경계와 상기 매칭 경계 탐색부에서 찾은 매칭 경계와의 거리를 계산하여 해당 수평 라인에서의 불일치 거리(Disparity Distance)를 구하기 위한 불일치 거리 계산부; 및

    상기 불일치 거리 계산부에서 구한 하나 이상의 불일치 거리를 이용하여 상 기 제1 영상과 상기 제2 영상의 수평 시차량(Vertical Parallax Value)을 구하기 위한 수평 시차량 결정부를 입체 영상 신호의 처리 장치.
16. 제15항에 있어서, 상기 수평 시차량 결정부에서 구한 수평 시차량을 이용하여 좌측 원 영상과 우측 원 영상으로부터 주시각이 제어된 좌우 영상을 얻기 위한 주시각 제어부를 더 포함하는 것을 특징으로 하는 입체 영상 신호의 처리 장치.
17. 제15항에 있어서, 상기 라인 대표 수직 경계 계산부는

    하나의 수평 라인에 대하여 각 픽셀의 수직 경계값을 계산하기 위한 수직 경계값 계산부;

    상기 수직 경계값 계산부에서 구한 수직 경계값들을 블록 단위로 분할한 다음, 해당 블록에서 수직 경계값이 가장 큰 픽셀을 블록 대표 경계로 선택하기 위한 블록 대표 경계 선택부;

    상기 블록 대표 경계 선택부에 의해 선택된 블록 대표 경계들 중에서 소정의 기준에 따라 유효 블록 대표 경계를 선별하기 위한 유효 블록 대표 경계 선별부;

    상기 유효 블록 대표 경계 선별부에서 선별된 유효 블록 대표 경계들 중에서 하나의 픽셀을 선택하여 라인 대표 경계를 선택하기 위한 라인 대표 경계 선택부; 및

    상기 라인 대표 경계 선택부에 의해 선택된 라인 대표 경계의 수직성을 검토하여 상기 라인 대표 수직 경계인지 여부를 판단하기 위한 수직성 판단부를 포함하는 것을 특징으로 하는 입체 영상 신호의 처리 장치.

Images