KR20120017658A - 주시각 제어를 위한 입체 영상 신호의 처리 방법 및 장치 - Google Patents

Abstract

입체 영상 신호의 처리 방법 및 장치가 개시된다. 일 실시예에 따른 입체 영상 신호의 처리 방법에서는 우선 좌영상과 우영상 중에서 적어도 하나의 영상의 초점 위치 정보를 이용하여 좌영상과 우영상에 각각 윈도우 영역을 설정한다. 이 때, 좌영상과 우영상은 동기화된 영상일 수 있다. 그리고 설정된 윈도우 영역 내에서 좌영상과 우영상 사이에 상관관계를 계산하여, 좌영상과 우영상 사이의 시차량을 구한다. 윈도우 영역 내에서 상관관계를 계산하므로, 초점이 맞는 피사체를 중심으로 시차량이 구해진다. 그리고 좌영상 또는 우영상 중에서 적어도 하나의 영상에 시차량을 보상하여 주시각이 제어된 좌영상과 우영상을 생성한다.

Description

주시각 제어를 위한 입체 영상 신호의 처리 방법 및 장치{Method and apparatus for processing stereoscopic image signals for controlling convergence of stereoscopic images}

본 발명은 영상 신호 처리(image signal processing)에 관한 것으로, 보다 구체적으로 주시각 제어를 위하여 입체 영상 신호(stereoscopic image signals)를 처리하는 방법과 장치에 관한 것이다.

동일 피사체를 서로 다른 두 지점에서 관찰했을 때에 생기는 방향의 차이를 '시차(Parallax)'라고 한다. 사람은 '양안 시차의 원리'에 의하여 피사체에 대한 입체감, 거리감을 느낄 수가 있다. 스테레오스코픽 카메라(stereoscopic camera) 또는 입체 카메라는 이러한 양안 시차의 원리를 이용하여 스테레오스코픽 영상(입체 영상)을 획득하기 위한 장치로서, 좌영상과 우영상을 각각 획득할 수 있도록 1쌍의 좌측 카메라와 우측 카메라로 구성된다.

입체 카메라를 구성하는 좌측 카메라와 우측 카메라는 소정의 거리로 이격되어 있다. 그 결과, 좌측 카메라와 우측 카메라를 통해서 이미지 센서로 각각 획득되는 좌영상과 우영상 사이에는 피사체의 픽셀 좌표가 수직 및/또는 수평 방향으로 차이가 난다. 이러한 좌영상과 우영상 사이에서의 피사체의 픽셀 좌표의 차이, 즉 위치 차이를 '디스패러티(disparity)'라고 한다. 피사체의 디스패러티는 입체 카메라로부터의 거리나 방향 등에 따라서 차이가 날 수 있는데, 입체 영상에 포함된 여러 피사체 중에서 주시하는 물체의 디스패러티를 '시차량'이라고 한다. 시차량은 예컨대, (x, y)와 같은 벡터값일 수 있는데, 여기서 x는 수평 시차량을 나타내고 y는 수직 시차량을 나타낸다.

시차는 주시각으로 표현될 수 있는데, '주시각'은 주시하는 물체에 양안(또는 좌우 카메라)의 중심선이 일치할 때 두 중심선이 만나는 각도를 가리킨다. 사람의 두 눈은 좌우 눈동자를 움직여서 주시하는 물체에 대한 시차, 즉 주시각을 조절한다. 그리고 사람은 이러한 주시각의 조절을 통하여 원하는 편안하게 입체감을 느끼면서 주시하고자 하는 물체와 그 주변 물체(배경 등)를 동시에 관측할 수 있다. 사람이 눈동자를 움직이는 것과 같이, 좌영상과 우영상 사이의 시차를 조절하는 것을 주시각 제어(Convergence Control)라 하는데, 일반적으로 주시하고자 하는 물체의 시차가 0이 되었을 때 가장 편안하게 입체 영상을 관람할 수가 있다. 반면, 주시각 제어가 되지 않은 입체 영상을 보게 될 경우에는 피사체에 대한 시차량이 매우 크게 나타나서 피사체의 윤곽이 흐릿할 뿐만 아니라 관측자는 초점이 맺히지 않은 물체의 관측에 따른 심한 관측 피로를 느끼게 된다.

입체 영상을 관람하는 사람의 관측 피로를 최소화하기 위해서는, 시차량을 조절해주는 주시각 제어가 요청된다. 일반적으로 입체 카메라의 경우에는 주시하고자 하는 물체의 방향이나 거리 등의 변화에 따라서 시차량이 최소가 되도록 좌우 카메라 사이의 거리 및/또는 각 카메라의 관측 방향 등을 제어하는 것이 요구된다. 입체 영상을 얻기 위해 사용되는 입체 카메라는 주시각 제어 방법에 따라서 크게 교차축 입체 카메라, 수평 이동축 입체 카메라, 및 평행축 입체 카메라의 세 가지로 구분된다. 이 중에서 교차축 입체 카메라와 수평 이동축 입체 카메라는 입체 카메라 사이의 거리나 렌즈 방향 등을 조작하여 주시각이 제어된 입체 영상을 획득하는 반면, 평행축 입체 카메라는 소정의 거리로 이격되어 평행하게 고정된 입체 카메라를 통해 획득한 좌우 영상에 대하여 후처리를 통해 주시각을 제어한다.

평행축 입체 카메라는 입체 영상 카메라 중 가장 단순한 형태로서, 두 대의 카메라를 사람의 눈 간격과 비슷한 거리로 평행하게 고정시켜 두고 입체 영상을 획득할 수 있도록 설계되어 있다. 이러한 평행축 입체 카메라는 사람의 눈에서와 같은 기계적인 메카니즘을 이용한 주시각 제어 기능이 없으며, 그 결과 입체 카메라를 통하여 시차량이 조절된 입체 영상을 획득할 수는 없다. 반면, 평행축 입체 카메라는 카메라 렌즈나 이미지 센서의 이동 및/또는 회전을 위한 기계적인 메카니즘이 필요 없기 때문에, 그 구조가 간단하여 휴대폰 등과 같은 휴대용 전자 기기에 적용하기에 적합한 장점도 있다.

본 출원의 출원인이 특허권자인 한국등록특허 제726,933호, "고정된 양안 카메라의 자동 주시각 제어를 위한 영상신호처리 방법"에서는 입체 영상 신호에 대한 후처리를 수행하여 주시각을 제어하는 하나의 방법이 개시되어 있다. 보다 구체적으로, 입체 영상 중에서 어느 한쪽 영상의 중심을 기준으로 탐색 영역을 설정한 다음, 다른 한 쪽의 영상에서 수평 방향으로 세분화된 탐색 패턴을 설정하고 설정된 탐색 패턴을 좌우로 이동시켜서 상관관계를 구하여 탐색 패턴 단위로 주시점을 구하고, 이 주시점의 차이를 기준으로 어느 한쪽의 영상을 수평 방향으로 이동시켜서 주시각을 제어하는 방법이 개시되어 있다. 위 한국등록특허에 개시되어 있는 주시각 제어 방법은 화면의 중심영역 중에서 가장 가까이에 있는 물체를 기준으로 주시점을 일치시키는 방법이다.

본 발명이 해결하려는 하나의 과제는 초점 심도가 작은 입체 영상에서 시각적 피로를 최소화할 수 있도록 주시각을 제어하는 입체 영상 신호의 처리 방법 및 장치를 제공하는 것이다.

본 발명이 해결하려는 다른 하나의 과제는 화면 내에서 주피사체가 있는 위치에 상관없이 시각적 피로를 최소화할 수 있도록 주시각을 제어하는 입체 영상 신호의 처리 방법 및 장치를 제공하는 것이다.

본 발명이 해결하려는 또 다른 하나의 과제는 휴대용 전자 기기에 장착하기에 적합하고, 실시간이면서 또한 신속하게 입체 영상의 시차를 최소화하도록 주시각을 제어하는 입체 영상 신호의 처리 방법 및 장치를 제공하는 것이다.

상기한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 입체 영상 신호의 처리 방법은 좌영상과 우영상 중에서 적어도 하나의 영상의 초점 위치 정보를 이용하여 상기 좌영상과 상기 우영상에 각각 윈도우 영역을 설정하는 단계, 상기 윈도우 영역 내에서 상기 좌영상과 상기 우영상 사이에 상관관계를 계산하여, 상기 좌영상과 상기 우영상 사이의 시차량을 구하는 단계, 및 상기 좌영상 또는 상기 우영상 중에서 적어도 하나의 영상에 상기 시차량을 보상하여 주시각이 제어된 좌영상과 우영상을 생성하는 단계를 포함한다.

상기 실시예의 일 측면에 의하면, 상기 입체 영상 신호의 처리 방법은 스테레오스코픽 카메라로부터 좌영상과 우영상을 수신하여 동기화하는 단계를 더 포함하고, 상기 윈도우 영역의 설정 단계에서는 동기화된 좌영상과 우영상을 이용할 수 있다. 이 경우에, 상기 동기화 단계에서는 상기 스테레오스코픽 카메라로부터 수신한 좌영상과 우영상을 소정의 시간 단위로 메모리에 저장하여 상기 좌영상과 상기 우영상의 동기화를 수행할 수 있다.

상기 실시예의 다른 측면에 의하면, 상기 초점 위치 정보는 상기 좌영상과 상기 우영상의 영상 데이터에 포함되어 있을 수 있다. 이 경우에, 상기 초점 위치 정보는 상기 좌영상과 상기 우영상을 촬영한 스테레오스코픽 카메라가 생성하는 것일 수 있다.

상기 실시예의 또 다른 측면에 의하면, 상기 상관관계의 계산 단계에서는 상기 좌영상의 윈도우 영역과 상기 우영상의 윈도우 영역 중의 어느 하나를 기준 영역으로 설정하고 다른 하나를 탐색 영역으로 설정한 다음, 상기 기준 영역과 상기 탐색 영역 내에서 상관관계를 계산할 수 있다.

상기 실시예의 또 다른 측면에 의하면, 상기 주시각이 제어된 좌영상과 우영상을 이용하여 소정 포맷의 입체 영상을 형성하는 단계를 더 포함할 수 있다.

상기한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 입체 영상 신호의 처리 장치는 좌영상과 우영상 중에서 적어도 하나의 영상의 초점 위치 정보를 이용하여 상기 좌영상과 상기 우영상에 각각 윈도우 영역을 설정하는 윈도우 영역 결정부, 상기 윈도우 영역 결정부에서 설정된 상기 윈도우 영역 내에서 상기 좌영상과 상기 우영상 사이에 상관관계를 계산하여, 상기 좌영상과 상기 우영상 사이의 시차량을 구하는 상관성 계산부, 및 상기 좌영상 또는 상기 우영상 중에서 적어도 하나의 영상에 상기 시차량을 보상하여 주시각이 제어된 좌영상과 우영상을 생성하는 주시각 제어부를 포함할 수 있다.

상기 실시예의 일 측면에 의하면, 상기 처리 장치는 스테레오스코픽 카메라로부터 좌영상과 우영상을 수신하여 동기화하는 동기화부를 더 포함하고, 상기 윈도우 영역 결정부는 상기 동기화부로부터 수신된 동기화된 좌영상과 우영상을 이용할 수 있다.

상기 실시예의 또 다른 측면에 의하면, 상기 처리 장치는 상기 주시각 제어부로부터 출력된 주시각이 제어된 좌영상과 우영상을 이용하여 소정 포맷의 입체 영상을 형성하는 입체 영상 형성부를 더 포함할 수 있다.

본 발명에 의하면, 영상의 위치에 따라서 초점이 맞거나 맞지 않은 피사체를 포함하는 입체 영상에서 초점이 맞는 피사체를 기준으로 주시각 제어를 수행함으로써, 초점이 맞는 피사체를 집중하여 입체 영상을 시청할 경우에 시각적 피로를 최소화할 수 있다. 아울러, 입체 영상 신호에 대한 후처리를 통해서 주시각을 제어하므로, 휴대용 전자 기기에 장착하기에 적합하고, 실시간이면서 또한 신속하게 입체 영상의 시차를 최소화하도록 주시각을 제어할 수 있다.

도 1a 및 도 1b는 각각 입체 카메라의 좌측 카메라로 캡쳐(Capture)한 좌측 원 영상(Left Original Image)과 우측 카메라로 캡쳐한 우측 원 영상(Right Original Image)의 일례를 보여주는 도면이다.
도 2는 본 발명의 일 실시예에 따른 입체 영상 신호의 처리 방법을 보여 주는 흐름도이다.
도 3a는 영상 내의 위치에 따라서 초점이 맞는 피사체와 맞지 않는 피사체를 포함하는 좌우 영상의 일례를 보여 주는 도면이고, 도 3b는 기존의 방법과 같이 영상의 중심에 위치한 피사체를 이용하여 주시각 제어를 수행한 경우의 입체 영상의 일례를 보여 주는 도면이고, 도 3c는 본 발명의 실시예에 따라서 초점이 맞는 피사체를 이용하여 주시각 제어를 수행한 경우의 입체 영상의 일례를 보여 주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 입체 영상 신호의 처리 장치(100)의 구성을 보여 주는 블록도이다.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세하게 설명한다. 사용되는 용어들은 실시예에서의 기능을 고려하여 선택된 용어들로서, 그 용어의 의미는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 후술하는 실시예들에서 사용된 용어의 의미는, 본 명세서에 구체적으로 정의된 경우에는 그 정의에 따르며, 구체적인 정의가 없는 경우는 당업자들이 일반적으로 인식하는 의미로 해석되어야 할 것이다.

도 1a 및 도 1b는 각각 입체 카메라의 좌측 카메라로 캡쳐(Capture)한 좌측 원 영상(Left Original Image)과 우측 카메라로 캡쳐한 우측 원 영상(Right Original Image)의 일례를 보여주는 도면이다. 좌측 카메라와 우측 카메라는 각각의 광축이 소정의 각도를 갖도록 대향하고 있거나 또는 광축이 서로 평행하게 배치되어 있을 수 있다. 그리고 좌측 카메라와 우측 카메라는 동일한 높이에서 서로 평행하게 위치하는 평행축 입체 카메라일 수 있지만, 후술하는 본 발명의 실시예가 여기에만 한정되는 것은 아니다. 예컨대, 상기 입체 카메라는 좌측 카메라와 우측 카메라의 대향 각도가 일시적으로 고정되어 있는 다른 유형의 입체 카메라일 수 있다.

도 1a 및 도 1b에서 좌우 원 영상(210, 220)은 각각 좌측 카메라와 우측 카메라로 캡쳐한 전체 영상을 나타낸다. 좌우 원 영상(210, 220)은 각각 디스플레이 영상(212, 222)(전체 이미지(210, 220)에서 내부에 사각형 라인으로 표시된 영역)과 그 주변 영상(214, 224)으로 구분될 수 있다. 여기서 디스플레이 영상(212, 222)은 디스플레이 장치에서 실제로 디스플레이되는 부분을 나타내는데, 좌우 원 영상(210, 220) 전체이거나 또는 여기에서 클립핑(Clipping)된 부분 영상일 수 있다. 예를 들어, 디스플레이 영상의 크기가 320×240인 경우에, 좌우 원 영상 자체의 크기가 320×240이거나 또는 좌우 원 영상은 이보다 영상 크기가 크지만 해당 크기의 영상만큼만 클리핑이 이루어질 수 있다.

그리고 도 1a 및 도 1b에 도시된 디스플레이 영상(212, 222)에는 각각 크기가 서로 다른 2개의 사각형(216, 218, 226, 228)이 존재한다. 이들 사각형(216, 218, 226, 228)은 동일한 크기의 피사체를 입체 카메라로 촬영한 것으로서, 이 중에서 큰 사각형(216, 226)은 입체 카메라로부터 상대적으로 가까운 거리에 피사체가 위치하는 경우이고 작은 사각형(218, 228)은 입체 카메라로부터 상대적으로 먼 거리에 피사체가 위치하는 경우이다. 그리고 큰 사각형(216, 226)과 작은 사각형(218, 228) 중에서 어느 하나만 초점이 맞거나 또는 도시된 바와 같이 두 개 모두 초점이 맞을 수도 있다.

이와 같은 경우에, 입체 영상의 특성상 좌측 디스플레이 영상(212, 이하, 단순히 '좌영상'이라고 한다)에서의 큰 사각형(216)은 우측 디스플레이 영상(222, 이하, 단순히 '우영상'이라고 한다)에서의 큰 사각형(226)보다 더 오른쪽에 위치하는 것을 알 수 있다. 반면, 좌영상(212)에서의 작은 사각형(218)은 우영상(222)에서의 작은 사각형(228)과 위치 차이가 거의 없거나 약간 더 왼쪽에 위치한다는 것을 알 수 있다. 이와 같이, 입체 카메라로부터 가까운 곳에 위치하는 물체는 우영상보다 좌영상에서 더 오른쪽으로 치우쳐서 위치하고, 입체 카메라로부터 먼 곳에 위치하는 물체는 우영상과 좌영상에서의 위치와 거의 같거나 또는 우영상에 비해서 좌영상에서 더 왼쪽(예컨대, 1~2 픽셀)에 치우쳐서 위치하게 된다. 이러한 좌우 영상(212, 222)에서의 피사체의 위치 차이는 좌우 영상(212, 222)의 위치가 각각 좌우 원 영상(210, 220)에서 동일한 위치(예컨대, 좌우 원 영상의 가운데 지점)에 고정되어 있고, 입체 카메라의 주시각과 피사체의 위치가 대응되지 않기 때문에 발생한다.

본 발명에 따른 입체 영상 신호의 처리 방법에서는 입체 영상의 초점 위치 정보에 기초하여 윈도우 영역을 설정하고, 이 윈도우 영역 내에서 좌우 영상의 상관관계를 구한 다음 시차량을 구한다. 입체 영상의 초점 위치 정보는 좌영상과 우영상을 획득하는 입체 카메라로부터 제공될 수 있는데, 여기에만 한정되는 것은 아니다. 예를 들어, 좌영상과 우영상의 분석을 통하여 초점 위치 정보를 찾아낼 수도 있다. 그리고 본 발명의 실시예에 의하면, 윈도우 영역 내에서 좌우 영상의 상관관계를 이용하여 시차량을 구하는 알고리즘에는 특별한 제한이 없으며, 이미 공지되어 있거나 또는 추후에 계발되는 새로운 알고리즘이 적용될 수도 있다. 공지된 알고리즘으로서는 예컨대, 앞에서 인용한 한국등록특허 제726,933호에 개시되어 있는 알고리즘이나 또는 본 출원의 출원인이 역시 특허권자인 한국등록특허 제778,085호, "주시각 제어를 위한 입체 영상 신호의 처리 방법 및 장치"에 개시되어 있는 알고리즘이 이용될 수 있는데, 여기에만 한정되는 것은 아니다. 후자의 한국등록특허에 의하면, 좌영상과 우영상에서의 피사체의 위치 특성, 즉 피사체의 경계를 이용하여 좌영상과 우영상에서 각각의 피사체의 거리 차, 즉 시차량을 구하는데, 위 한국등록특허에 개시되어 있는 구체적인 알고리즘들은 모두 참조에 의하여 본 명세서에 결합될 수 있다.

도 2는 본 발명의 일 실시예에 따른 입체 영상 신호의 처리 방법을 보여 주는 흐름도이고, 도 4는 본 발명의 일 실시예에 따른 입체 영상 신호의 처리 장치(100)의 구성을 보여 주는 블록도이다. 이하, 도 2 및 도 4를 참조하여, 본 발명의 일 실시예에 따른 입체 영상 신호의 처리 방법 및 장치에 관하여 상세히 설명한다.

도 2 및 도 4를 참조하면, 본 발명의 실시예에 따른 입체 영상 신호의 처리 방법에서는 우선 좌영상과 우영상을 동기화한다(10). 이를 위하여, 본 발명의 일 실시예에 따른 입체 영상 신호의 처리 장치(100)는 좌우 영상을 동기화하기 위한 동기화부(110)를 포함한다. 여기서, 좌영상과 우영상은 각각 좌측 카메라 모듈(22)과 우측 카메라 모듈(24)로 캡쳐(촬영)한 원 영상 전체이거나 또는 그 일부의 영상일 수 있다. 좌측 카메라 모듈(22)과 우측 카메라 모듈(24)로부터 전달되는 좌우 영상은 제1 및 제2 메모리(32, 34)에 각각 저장되는데, 여기서 제1 메모리(32)와 제2 메모리(34)의 구분은 단지 논리적인 구분일 뿐이며, 제1 메모리(32)와 제2 메모리(34)는 물리적으로 하나의 메모리에 구현되거나 또는 별개의 메모리에 구현될 수 있다.

동기화 과정(10)은 예를 들면, 좌우측 카메라 모듈(22, 24)로부터 각각 수신한 좌영상과 우영상을 소정의 시간 단위로 좌우측 메모리(32, 34)에 저장함으로써 수행될 수 있다. 이 경우에 시간 정보가 좌우측 메모리(32, 34)로부터 좌우측 카메라 모듈(22, 24)로 전달될 수 있다. 또는, 좌우 카메라 모듈(22, 24) 중에서 어느 하나의 모듈에서 동기화 신호를 다른 모듈로 전달하는 주종 시간 동기화 방법에 의하여 동기화가 이루어질 수 있다.

정지 영상을 촬영하는 경우에 동기화 과정(10)은 크게 문제가 되지 않지만, 동영상을 촬영하는 경우에는 문제가 발생할 수 있다. 예를 들어, 수평 변위 외에 수직 낙하는 공을 촬영하는 경우처럼 수직 변위가 큰 동영상의 경우에, 좌우 영상의 시간 동기화는 중요한 이슈가 될 수 있다. 왜냐하면, 수직 변위가 큰 동영상의 경우에는 정확한 시간 동기화가 이루어지지 않으면 입체 영상에 대한 후처리를 통해 주시각을 제어하기가 쉽지 않기 때문이다. 앞에서 인용한 한국등록특허에 개시되어 있는 바와 같이, 주시각 제어는 수평 방향의 디스패러티를 계산하여 이를 바탕으로 영상을 제어하는데, 수직 변위가 큰 동영상에서와 같이 동기화가 정확하게 이루어지지 않아서 수직 변위에 대한 보상 처리가 필요한 경우에는 주시각 제어 과정은 계산량이 많아지고 알고리즘이 복잡해지게 된다.

도 2를 참조하면, 좌영상과 우영상의 동기화가 이루어지고 나면, 좌영상과 우영상 각각에 대한 윈도우 영역을 설정한다(12). 윈도우 영역을 설정하는 과정(12)은 도 4의 윈도우 영역 결정부(120)에서 수행될 수 있다. 본 발명의 실시예에 의하면, 윈도우 영역 결정부(120)는 좌영상과 우영상 중에서 적어도 하나의 영상의 초점 위치 정보를 이용하여 윈도우 영역을 설정한다. 여기서, '초점 위치'란 좌영상 및/또는 우영상에서 초점이 맞는 피사체가 있는 위치를 가리킨다. 따라서 초점 위치는 반드시 영상의 중심에 위치한 피사체의 위치에 해당될 필요가 없으며, 영상의 일 측부에 위치하더라도 초점이 맞는 피사체가 있는 위치라면 초점 위치에 해당될 수 있다.

그리고 '윈도우 영역'이란 좌우 영상 사이에 상관관계에 대한 계산을 수행하는 좌우 영상 각각의 일 부분을 가리키는데, 그 구체적인 크기에는 특별한 제한이 없다. 윈도우 영역을 크게 하면 상관관계를 계산하는데 연산량이 증가하는 단점이 있지만 시차량을 보다 정확하게 계산할 수가 장점이 있으므로, 윈도우 영역의 크기는 이러한 장단점을 고려하여 적응적으로 결정될 수 있다. 또한, '초점 위치 정보를 이용하여 윈도우 영역을 설정한다'는 것은 좌우 영상의 초점 위치가 포함하도록 윈도우 영역을 설정한다는 것을 의미한다.

윈도우 영역 결정부(120)에서 좌영상 및/또는 우영상의 초점 위치 정보를 이용하는 방법에는 특별한 제한이 없다. 예를 들어, 좌영상과 우영상 중에서 어느 하나의 영상에 포함된 초점 위치 정보를 기준으로 좌영상과 우영상 모두의 윈도우 영역을 설정할 수 있다. 또는, 좌영상과 우영상 각각에 포함된 초점 위치 정보를 기준으로 좌영상과 우영상의 초점 위치 정보를 각각 설정할 수도 있다. 또는, 좌영상과 우영상 각각에 포함된 초점 위치 정보를 조합(예컨대, 좌영상과 우영상의 초점 위치가 다른 경우에 각 초점 위치의 중간 위치)하여 좌영상과 우영상의 윈도우 영역을 동일한 위치에 설정할 수도 있다.

초점 위치 정보는 예컨대, 입체 영상을 획득하는 입체 카메라부터 생성되어 좌영상 및/또는 우영상의 영상 데이터에 함께 포함될 수 있다. 이 경우에, 초점 위치 정보는 영상 데이터와 함께 메모리(32, 34)에 저장될 수 있으며, 윈도우 영역 결정부(120)는 메모리(32, 34)에 저장되어 있는 초점 위치 정보를 이용하여 윈도우 영역을 설정할 수 있다. 이와는 달리, 초점 위치 정보는 좌영상과 우영상의 분석을 통해 구하거나 또는 미리 설정된 소정의 위치 정보가 이용될 수도 있다.

계속해서 도 2를 참조하면, 설정된 윈도우 영역 내에서 좌영상과 우영상 사이에 상관관계를 계산하여 시차량을 구한다(14). 상관관계를 계산하여 시차량을 구하는 과정(14)은 도 4의 상관성 계산부(130)에서 수행될 수 있다. 여기서, '윈도우 영역 내에서 상관관계를 계산'하는 것은 좌영상과 우영상 각각의 윈도우 영역 내에서 서로 매칭이 되는 지점을 찾는 과정이다. 예를 들어, 좌영상의 윈도우 영역을 탐색 영역으로 설정하고, 우영상의 윈도우 영역을 기준 영역으로 설정하여 서로 매칭이 되는 지점을 찾거나 또는 탐색 영역과 기준 영역을 반대로 설정하여 서로 매칭이 되는 지점을 찾을 수 있다. 이 경우에, 매칭이 되는 지점을 찾는 구체적인 알고리즘에는 특별한 제한이 없다. 예를 들어, 위에서 인용한 한국등록특허 제726,933호에 개시되어 있는 알고리즘, 즉 탐색 패턴을 설정하고 이를 세분화하여 탐색 패턴을 좌우로 이동시키면서 탐색 영역과 비교한 후에 차분을 누적시켜 상관관계를 계산하는 알고리즘이 이용되거나 또는 한국등록특허 제778,085호에 개시되어 있는 알고리즘, 즉 수평 라인 단위로 라인 대표 수직 경계를 찾은 다음 M×1 픽셀 크기를 갖는 경계 창(edge window)을 이용하여 상관관계를 계산하는 알고리즘이 이용될 수 있다. 그리고 '상관관계를 이용하여 시차량을 구하는 것'은 상관관계의 계산을 통해 찾은 좌영상과 우영상의 매칭이 되는 위치의 거리(픽셀 수)를 구하는 것을 가리킨다.

이와 같이, 본 발명의 실시예에서 상관관계를 계산하여 시차량을 구하는 것은 윈도우 영역 내에서 이루어지며, 윈도우 영역은 초점 위치 정보를 이용하여 설정된다. 따라서 본 발명의 실시예에서 시차량은 결국 초점이 맞는 피사체를 기준으로 계산되며, 해당 피사체가 영상의 중심에 위치하는지 또는 영상의 가장자리에 위치하는지는 특별한 제한이 없다. 그리고 후술하는 바와 같이, 본 발명의 실시예에 의하면 윈도우 영역 내에서 계산된 시차량을 이용하여 주시각을 제어하므로, 초점이 맞는 피사체를 중심으로 주시각이 제어되어 입체 영상을 관측하는 관측자의 시각 피로를 최소화할 수 있다.

도 3a는 영상의 일 부분에서 초점이 맞는 피사체가 존재하는 좌영상과 우영상의 일례를 보여 주는 도면이다. 도 3a에서 왼쪽에 위치한 영상이 좌영상이고 오른쪽에 위치한 영상이 우영상인데, 영상의 가운데(점선으로 표시된 원형 도형)에서 초점이 맞지 않고 영상의 오른쪽(실선으로 표시된 별 도형)에서 초점이 맞는 경우이다. 기존의 방법(예컨대, 한국등록특허 제726,933호에 개시되어 있는 방법)에서는 초점이 맞는지를 고려하지 않고 해당 피사체가 영상의 중심에 위치하면 이 피사체를 이용하여 상관관계를 계산하여 시차량을 구하는 반하여, 본 발명의 실시예에 의하면 피사체가 영상에서 어디에 위치하는지를 고려하지 않고 초점이 맞는 피사체를 이용하여 상관관계를 계산하고 시차량을 구한다.

따라서 구해진 시차량을 좌영상 및/또는 우영상에 역보상하는 주시각 제어를 수행할 경우에, 기존의 방법에 의하면 도 3b에 도시되어 있는 바와 같이 주시각이 제어된 입체 영상에서 초점이 맞지 않는 피사체는 시차량이 0이지만 초점이 맞는 피사체는 소정의 시차량이 존재할 수 있다. 반면, 본 발명의 방법에 의하면, 도 3c에 도시되어 있는 바와 같이, 주시각이 제어된 영상에서 초점이 맞지 않는 피사체는 비록 그 피사체가 영상의 중심이 위치하더라도 소정의 시차량이 존재하지만 초점이 맞는 피사체는 시차량이 0이다. 일반적으로, 입체 영상을 관측 또는 시청하는 사람은 전체 영상에서 초점이 맞는 피사체를 중심으로 영상을 관측 또는 시청하기 때문에, 입체 영상을 장시간 시청 또는 관측하더라도 그 피로가 최소화될 수 있다.

계속해서 도 2를 참조하면, 이전 단계(14)에서 구해진 시차량을 이용하여 주시각 제어를 수행한다(16). 주시각을 제어하는 과정은 입체 영상 신호의 처리 장치(100)에서 주시각 제어부(140)에서 수행될 수 있다(도 4 참조). 주시각 제어 과정은 구해진 시차량을 좌영상 또는 우영상에 역보상을 하여 영상을 시차량만큼 이동시켜서 주시각이 제어된 좌영상 및/또는 우영상을 생성하는 과정을 포함한다. 이 경우에, 주시각을 제어하는 과정(16)에서는 구해진 시차량만큼 좌영상과 우영상 중에서 어느 하나의 영상만을 이동시키거나 또는 시차량을 소정의 비율로 나누어서 좌영상과 우영상 모두를 이동시킬 수가 있다.

그리고 도 2를 참조하면, 주시각을 제어하는 과정이 완료되면 소정의 포맷을 갖는 입체 영상을 형성한다(18). 입체 영상을 형성하는 과정(18)은 입체 영상 신호의 처리 장치(100)에서 입체 영상 형성부(150)에서 수행될 수 있다. 입체 영상 형성부(150)에서 형성되는 입체 영상의 포맷에는 특별한 제한이 없으며, 입체 영상을 디스플레이하는 디스플레이 장치에서 지원하는 포맷으로 출력될 수 있다. 예를 들어, 입체 영상은 프레임 시퀀스(frame by frame) 타입, 사이드 바이 사이드(side by side) 타입, 탑-다운(top-down) 타입, 라인 바이 라인(line by line) 타입, 또는 픽셀 바이 픽셀(pixel by pixel) 타입일 수 있다.

이상의 설명은 본 발명의 실시예에 불과할 뿐, 이 실시예에 의하여 본 발명의 기술 사상이 한정되는 것으로 해석되어서는 안된다. 본 발명의 기술 사상은 특허청구범위에 기재된 발명에 의해서만 특정되어야 한다. 따라서 본 발명의 기술 사상을 벗어나지 않는 범위에서 전술한 실시예는 다양한 형태로 변형되어 구현될 수 있다는 것은 당업자에게 자명하다.

100 : 입체 영상 신호의 처리 장치
110 : 동기화부
120 : 윈도우 영역 결정부
130 : 상관성 계산부
140 : 주시각 제어부
150 : 입체 영상 형성부

Claims (10)

1. 좌영상과 우영상 중에서 적어도 하나의 영상의 초점 위치 정보를 이용하여 상기 좌영상과 상기 우영상에 각각 윈도우 영역을 설정하는 단계;
   상기 윈도우 영역 내에서 상기 좌영상과 상기 우영상 사이에 상관관계를 계산하여, 상기 좌영상과 상기 우영상 사이의 시차량을 구하는 단계; 및
   상기 좌영상 또는 상기 우영상 중에서 적어도 하나의 영상에 상기 시차량을 보상하여 주시각이 제어된 좌영상과 우영상을 생성하는 단계를 포함하는 입체 영상 신호의 처리 방법.
2. 제1항에 있어서,
   스테레오스코픽 카메라로부터 좌영상과 우영상을 수신하여 동기화하는 단계를 더 포함하고,
   상기 윈도우 영역의 설정 단계에서는 동기화된 좌영상과 우영상을 이용하는 것을 특징으로 하는 입체 영상 신호의 처리 방법.
3. 제2항에 있어서,
   상기 동기화 단계에서는 상기 스테레오스코픽 카메라로부터 수신한 좌영상과 우영상을 소정의 시간 단위로 메모리에 저장하여 상기 좌영상과 상기 우영상의 동기화를 수행하는 것을 특징으로 하는 입체 영상 신호의 처리 방법.
4. 제1항에 있어서,
   상기 초점 위치 정보는 상기 좌영상과 상기 우영상의 영상 데이터에 포함되어 있는 것을 특징으로 하는 입체 영상 신호의 처리 방법.
5. 제4항에 있어서,
   상기 초점 위치 정보는 상기 좌영상과 상기 우영상을 촬영한 스테레오스코픽 카메라가 생성하는 것을 특징으로 하는 입체 영상 신호의 처리 방법.
6. 제1항에 있어서,
   상기 상관관계의 계산 단계에서는 상기 좌영상의 윈도우 영역과 상기 우영상의 윈도우 영역 중의 어느 하나를 기준 영역으로 설정하고 다른 하나를 탐색 영역으로 설정한 다음, 상기 기준 영역과 상기 탐색 영역 내에서 상관관계를 계산하는 것을 특징으로 하는 입체 영상 신호의 처리 방법.
7. 제1항에 있어서,
   상기 주시각이 제어된 좌영상과 우영상을 이용하여 소정 포맷의 입체 영상을 형성하는 단계를 더 포함하는 입체 영상 신호의 처리 방법.
8. 좌영상과 우영상 중에서 적어도 하나의 영상의 초점 위치 정보를 이용하여 상기 좌영상과 상기 우영상에 각각 윈도우 영역을 설정하는 윈도우 영역 결정부;
   상기 윈도우 영역 결정부에서 설정된 상기 윈도우 영역 내에서 상기 좌영상과 상기 우영상 사이에 상관관계를 계산하여, 상기 좌영상과 상기 우영상 사이의 시차량을 구하는 상관성 계산부; 및
   상기 좌영상 또는 상기 우영상 중에서 적어도 하나의 영상에 상기 시차량을 보상하여 주시각이 제어된 좌영상과 우영상을 생성하는 주시각 제어부를 포함하는 입체 영상 신호의 처리 장치.
9. 제8항에 있어서,
   스테레오스코픽 카메라로부터 좌영상과 우영상을 수신하여 동기화하는 동기화부를 더 포함하고,
   상기 윈도우 영역 결정부는 상기 동기화부로부터 수신된 동기화된 좌영상과 우영상을 이용하는 것을 특징으로 하는 입체 영상 신호의 처리 장치.
10. 제8항에 있어서,
    상기 주시각 제어부로부터 출력된 주시각이 제어된 좌영상과 우영상을 이용하여 소정 포맷의 입체 영상을 형성하는 입체 영상 형성부를 더 포함하는 입체 영상 신호의 처리 장치.

Images