KR20120102202A

KR20120102202A - 스테레오 카메라의 주시각 제어방법 및 그 스테레오 카메라 장치

Info

Publication number: KR20120102202A
Application number: KR1020110020185A
Authority: KR
Inventors: 현해식
Original assignee: (주)하이브
Priority date: 2011-03-08
Filing date: 2011-03-08
Publication date: 2012-09-18
Also published as: KR101270025B1

Abstract

스테레오 카메라의 주시각 제어방법 및 그 스테레오 카메라 장치가 개시된다. 본 발명은 스테레오 카메라가 촬영 중인 영상을 실시간으로 모니터링하면서 사용자가 선택한 화면 상의 객체의 위치(심도)에 주시점이 자동으로 형성되도록 스테레오 카메라의 주시각을 제어하며, 이를 위한 사용자 인터페이스를 제공한다.

Description

스테레오 카메라의 주시각 제어방법 및 그 스테레오 카메라 장치{Stereo Camera Appratus and Vergence Control Method thereof}

본 발명은, 특정 피사체에 주시점이 형성되도록 스테레오 카메라의 주시각을 자동으로 제어하는 스테레오 카메라의 주시각 제어방법에 관한 것으로서, 더욱 상세하게는 해당 카메라가 촬영한 영상에서 사용자가 객체를 선택하면, 해당 객체에 자동으로 주시점이 형성되도록 하는 스테레오 카메라의 주시각 제어방법 및 그 스테레오 카메라 장치에 관한 것이다.

입체 카메라는 피사체에 대한 입체 영상을 획득하기 위한 카메라로서, 상호 이격되게 배치된 두 개의 카메라로 동일한 장면을 촬영하여 획득한 두 장의 모노 영상을 이용하여 한 쌍의 스테레오 영상을 출력하는 장치이다. 이러한 입체 카메라를 '스테레오 카메라'라고도 한다. 스테레오 카메라를 이용하여 촬영한 영상을 소위 3D 표시장치에 표시함으로써 사용자가 3D 영상을 시청하게 된다.

스테레오 카메라를 이용하여 실사 영상을 만드는 방법에도 그 작동 방식에 따라 교차축 방식, 평행축 방식, 수평이동축 방식, 직교식 등이 있다. 렌즈와 센서의 중심을 연결하는 선을 광축이라 할 때, 평행축 방식은 두 광축이 평행하며 센서에 맺히는 두 이미지 간의 시차를 이용하여 입체 영상을 만드는 방법이다. 교차축 방식은 두 개 카메라의 광축이 회전하면서 주시점에서 일치하도록 함으로써 입체 영상을 만드는 방식이다. 여기서, 두 개 카메라의 광축이 교차하는 지점을 주시점이라 하고, 그 교차각을 주시각이라 한다. 수평 이동축 방식은 2개 카메라의 렌즈가 고정되어 있지 않고 대칭적으로 수평 이동함에 따라 주시각 제어 효과를 내는 방식이다. 그 밖에도 직교방식 등이 있다.

교차축 방식, 수평이동축 방식 또는 직교 방식의 경우, 주시각 제어가 가능하다. 주시각이 변하게 되면 두 개 카메라의 주시점이 변하게 되어, 주시각이 커지면 주시점은 가까워지고 주시각이 작아지면 주시점은 멀어진다.

도 1을 참조하면, 주시점(a)이 화면(S)의 중심에 위치한다. 스테레오 카메라는 사람의 평균 양안 거리 정도로 이격된 좌측 카메라와 우측 카메라를 구비한 것이므로, 좌측 카메라가 촬영한 영상과 우측 카메라가 촬영한 영상이 별개로 존재한다. 도 1은 피사체 A, B, C를 하나의 영상으로 촬영한 경우에 해당한다.

좌측 카메라와 우측 카메라가 촬영한 영상에서 주시점(a) 심도(Depth)에 위치한 피사체 A에 해당하는 영역은 화면(S) 상의 주시점(a) 심도에 상호 겹쳐진 하나의 피사체로 투영된다. 그러나, 주시점(a)과 다른 심도에 위치한 피사체 B와 C는 좌측 카메라에 의한 영상 부분(B-L, C-L)과 우측 카메라에 의한 영상 부분(B-R, C-R)이 상호 이격된 채 표시되고, 이렇게 상호 이격되어 표시되는 두 개 영상은 보는 사람에게 실사 효과를 내게 된다.

주시점(a)의 심도(Depth)보다 앞에 위치한 피사체 B는 화면(S) 앞에 위치한 것으로 보이게 되고, 주시점(a) 뒤에 위치한 피사체 C는 화면 뒤에 위치한 것으로 보이게 된다. 이처럼, 이미지 센서에 포착된 한 개 프레임의 스테레오 영상에서 주시점 거리보다 앞에 위치하는 피사체는 앞으로 튀어나와 보이게 되고, 주시점 거리보다 뒤에 위치한 피사체는 뒤로 들어가 보이게 된다.

주시점이 한쪽으로 치우쳐 너무 앞에 위치하게 되면, 사람에게 인지되는 영상의 입체 효과는 거의 없어진다. 반대로 주시점이 너무 뒤에 위치하게 되면, 대부분의 피사체가 앞으로 튀어나와 보이게 되고 특별히 카메라와 가까운 피사체 부분은 더욱 심하게 왜곡된 영상이 된다. 이러한 영상은 보는 사람에게 어지러움, 두통 등을 유발할 수 있다.

따라서 주시점은 촬영하는 영역의 적정 위치에 위치할 필요가 있다. 주시점의 이동은 주시각의 제어로 가능하다. 도 4에서처럼, 주시점(a, a')은 두 개 카메라의 광축(x1, x2)으로부터 동일한 거리에 위치한 축(이하, '중심축'이라 함)(x3) 상을 이동하게 되므로, 주시각이 b에서 b'로 바뀌면 주시점이 a에서 a'로 이동하게 된다.

종래의 주시각 제어는 촬영자가 수동으로 주시각을 조절하여 피사체에 주시점을 맞추거나, 카메라 장치가 자동으로 관심물체라고 판단되는 곳에 주시점이 생기도록 주시각을 제어하는 방법이 있다.

그 중에서도, 수동에 의한 방법에서는, 촬영자가 피사체의 3D 효과를 직접 눈으로 확인하면서 주시각을 제어하는 방법을 사용하였으며, 간혹 주시각을 달리하는 여러 대의 카메라로 촬영한 다음 적합한 3D 영상을 선택하는 방법이 사용되었다.

본 발명의 목적은 특정 피사체에 주시점이 형성되도록 스테레오 카메라의 주시각을 자동으로 제어하는 스테레오 카메라의 주시각 제어방법 및 그 스테레오 카메라 장치를 제공함에 있다.

본 발명의 또 다른 목적은, 스테레오 카메라가 촬영한 영상에서 사용자가 객체를 선택하면, 해당 객체에 자동으로 주시점이 형성되도록 해당 스테레오 카메라를 제어하는 스테레오 카메라의 주시각 제어방법 및 그 스테레오 카메라 장치를 제공함에 있다.

상기 목적을 달성하기 위해 본 발명의 스테레오 카메라 장치의 주시각 제어방법은, 제1 카메라와 제2 카메라로 촬영한 입체 영상을 표시하는 단계 중에, 사용자로부터 상기 표시된 영상에서의 특정 객체를 선택하는 선택명령을 입력받는 단계와, 상기 선택된 객체를 상기 제1 카메라 영상과 제2 카메라 영상으로부터 각각 추출하는 단계와, 상기 추출된 객체 영역의 특정 픽셀에 대한 심도(Depth)를 계산하는 단계와, 상기 제1 카메라와 제2 카메라의 주시각을 상기 심도에 따라 다시 계산된 주시각으로 변경하는 단계를 포함함을 특징으로 한다.

나아가, 본 발명의 주시각 제어방법은, 사용자로부터 상기 선택명령을 새롭게 입력받을 때까지, 상기 추출된 객체를 계속 추적하면서 상기 심도를 계산하는 단계 및 주시각을 변경하는 단계를 반복하는 단계를 더 포함할 수 있다. 이에 따라, 상기 객체 추적 중에 변경되는 심도에 따른 주시각 제어를 계속 수행하는 것이 바람직하다.

실시 예에 따라, 상기 심도를 계산하는 단계는, 상기 추출된 객체 영역의 중심점 픽셀에 대한 심도를 계산하는 것이 바람직하다.

다른 실시 예에 따라, 상기 선택명령은 상기 표시된 영상에서의 상기 객체의 위치 또는 범위를 지정하는 것에 대응될 수 있다. 이 경우, 상기 객체를 추출하는 단계는, 상기 지정된 위치 또는 범위 내에서 움직이는 객체를 추출하는 방법으로 상기 객체를 각각 추출할 수 있다.

본 발명의 다른 실시 예에 따라, 제1 카메라와 제2 카메라를 구비한 스테레오 카메라부와, 상기 제1 카메라와 제2 카메라가 촬영한 스테레오 영상을 표시하는 표시부를 포함하는 스테레오 카메라 장치는, 카메라 구동부, 입력부, 객체추출부, 심도계산부 및 주시각제어부를 포함한다.

여기서, 카메라 구동부는 기 설정된 제어 파마미터에 따라 상기 제1 카메라와 제2 카메라의 주시각을 변경시키고, 입력부는 사용자로부터 상기 표시부에 표시된 영상에서의 특정 객체를 선택하는 선택명령을 입력받는다.

객체추출부는 상기 입력부에 의해 선택된 객체를 상기 제1 카메라 영상과 제2 카메라 영상으로부터 각각 추출하고, 심도계산부는 상기 객체추출부가 추출한 객체 영역의 특정 픽셀에 대한 심도(Depth)를 계산한다.

주시각제어부는 상기 제1 카메라와 제2 카메라의 주시각을 상기 심도계산부에서 계산한 심도에 따라 다시 계산된 주시각으로 변경하기 위한 상기 제어 파라미터를 계산하여 상기 카메라 구동부에게 제공한다.

본 발명에 의하면, 사용자는 현재 촬영 중인 영상의 특정 객체를 선택하는 것만으로 해당 객체의 심도(Depth)에 주시점이 형성된 영상을 얻을 수 있다. 나아가, 해당 객체가 이동하여 해당 객체의 심도가 변경되더라도 자동으로 주시점이 이동된 영상을 얻을 수 있다.

따라서, 특정 피사체 또는 그 피사체의 이동이 중심이 되는 3D 입체 영상의 촬영이 매우 편리해진다.

도 1은 피사체의 상대적 위치에 따른 3D 입체 영상의 투영 상태를 도시한 도면,
도 2는 본 발명의 일 실시 예에 따른 스테레오 카메라의 블록도,
도 3은 본 발명의 주시각 제어방법의 설명에 제공되는 흐름도,
도 4는 교차축 방식에서의 스테레오 카메라의 주시점 및 주시각을 도시한 도면, 그리고
도 5는 사용자가 주시점 이동을 위해 객체를 선택하는 방법의 설명에 제공되는 도면이다.

이하 도면을 참조하여 본 발명을 더욱 상세히 설명한다.

도 2를 참조하면, 본 발명의 스테레오 카메라 장치(100)는 스테레오카메라부(110), 카메라 구동부(130), 표시부(151), 입력부(153) 및 영상처리부(170)를 포함한다.

스테레오카메라부(110)는 제1 카메라(111)와 제2 카메라(113)를 포함한다. 제1 카메라(111) 및 제2 카메라(113)는 통상 사람의 양안 간격 정도로 이격되어 배치되어 동일한 영역을 촬영한 영상을 각각 생성하며, 소위 '스테레오 카메라'라고 한다.

제1 카메라(111) 및 제2 카메라(113)는 단지 렌즈(Lenz)와 이미지 센서를 포함하는 장치로서, 아날로그 영상신호를 출력하는 아날로그 카메라일 수도 있고 디지털 영상신호를 출력하는 디지털 카메라일 수 있다. 제1 카메라(111) 및 제2 카메라(113)는 동일한 영역을 각각 촬영한 영상신호를 각각 영상처리부(170)에게 제공된다.

카메라 구동부(130)는 영상처리부(170)의 제어에 따라, 제1 카메라(111) 및 제2 카메라(113) 또는 그 카메라의 일부 구성(예컨대, 렌즈)을 조정하여 주시각(또는 주시점)을 조정한다.

제1 카메라(111) 및 제2 카메라(113)는 앞서 간단히 설명한 교차축 방식, 수평이동축 방식, 직교식 방식에 따라 그 전체적 배치나, 렌즈/센서의 구조 또는 광축의 방향에 있어서 서로 다른 구조를 가지게 되고, 카메라 구동부(130)도 그 방식에 따라 다른 구동 메커니즘을 가지게 된다.

예컨대, 수평이동축 방식의 경우, 카메라 구동부(130)는 제1 카메라(111)와 제2 카메라(113)의 렌즈의 위치를 대칭적으로 수평 이송할 수 있는 이송 메커니즘을 구비할 수 있다.

또한, 교차축 방식의 경우, 카메라 구동부(130)는 도 4에서처럼 제1 카메라(111)와 제2 카메라(113)의 광축(x1, x2)을 각각 회전시키기 위한 회전 구동부(미도시)를 구비할 수 있다. 다만, 본 발명이 카메라 구동부(130)를 통한 주시각의 실질적인 제어 메커니즘 자체에 특징이 있는 것이 아니므로, 카메라 구동부(130) 또는 카메라 구동부(130)를 통한 주시각 제어 자체에 대한 더 자세한 설명은 생략한다.

그 밖에 카메라 구동부(130)는 스테레오카메라부(110) 전체의 팬(Fan) / 틸트(Tilt) 및 줌(Zoom) 제어를 위한 종래에 알려진 메커니즘도 함께 가질 수 있다.

표시부(151)는 영상처리부(170)로부터 프레임 동기된 한 쌍의 스테레오 영상신호를 입력받아 동시에 겹치게 표시하여 사용자로 하여금 하나의 3D의 입체 영상으로 인식되도록 표시할 수 있는 장치이다.

입력부(153)는 표시부(151) 상에 설치된 터치 센서(Touch Sense) 뿐만 아니라, 마우스(Mouse), 기타 각종 입력수단이 모두 해당할 수 있다. 입력부(153)는 표시부(151)를 통해 표시되고 있는 영상으로부터 특정 객체를 선택하는 사용자의 선택 명령을 입력받아 영상처리부(170)에게 제공한다.

여기서, 특정 객체는 움직이는 객체와 위치 고정된 객체(나무, 배경 등)가 모두 가능하다. 또한, 특정 객체를 지정하는 것은 표시부 상에서 또는 한 개 영상 프레임에서의 특정 위치를 지정하는 것이 될 수 있으므로, 다시 말해 사용자의 선택 명령은 표시부(151) 상의 위치를 지정하는 '위치정보'가 된다.

입력부(153)를 통한 사용자의 객체 선택이 있는 경우, 영상처리부(170)는 해당 객체의 심도, 정확하게는 해당 객체의 위치에 대응되는 제1 카메라(111)와 제2 카메라(113)의 두 개의 광축(x1, x2)의 중심축(x3) 상의 점에 주시점이 형성되도록 카메라 구동부(130)를 제어한다.

사용자는, 종래에 하듯 직접 모니터를 보면서 카메라의 주시각을 수동으로 제어할 필요 없이, 표시부(151)에 표시 중인 특정 객체를 입력부(153)를 이용하여 선택함으로써, 해당 객체 심도에 주시점이 옮겨진 영상을 얻을 수 있게 된다. 표시부(151)와 입력부(153)는 그 사용자 인터페이스가 된다. 표시부(151) 및 입력부(153)를 통한 사용자의 객체 선택 방법은 아래에서 다시 설명한다.

영상처리부(170)는 영상수신부(171), 객체추출부(173), 심도계산부(175) 및 주시각제어부(177)를 포함한다.

영상수신부(171)는 제1 카메라(111) 및 제2 카메라(113)에서 입력되는 연속적인 프레임의 영상신호(또는 이미지)를 디지털 영상으로 변환하고, 그 프레임 동기를 맞추어 표시부(151)에게 제공하여 표시되도록 한다. 만약 제1 카메라(111)와 제2 카메라(113)가 디지털 카메라인 경우, 영상수신부(171)는 다른 변환처리 없이 한 쌍의 영상의 프레임 동기를 맞추는 역할을 한다.

객체추출부(173)는 입력부(153)로부터 사용자가 선택한 위치정보를 입력받고, 해당 사용자의 위치 정보에 대응되는 객체를 영상수신부(171)에서 출력되는 제1 카메라(111)의 영상과 제2 카메라(113)의 영상으로부터 각각 추출한다. 이렇게 추출된 객체 영역의 픽셀 위치가 심도계산부(175)의 심도 계산을 위한 스테레오 정합(Stereo Matching)에 사용된다.

또한, 객체추출부(173)는 사용자로부터 새로운 객체를 선택하는 선택명령이 제공되지 전까지는 기 추출된 객체의 움직임을 계속 추적한다. 객체를 추출하고 추적하는 방법은 이미 다양한 알고리즘이 알려져 있으며, 영상처리분야에서 기 알려진 방법으로 처리할 수 있다.

객체를 분리하는 기술로는 차 영상(Difference Image)과 에지 영상(Edge Image)을 이용하여 객체를 분리하는 방법이 있다. 이 방법은 사용하는 특징정보가 단순하여 빠른 처리는 가능하지만, 선택된 객체가 정지된 배경 상을 움직이는 물체라는 전제가 있다. 객체를 분리하는 다른 기술로는 영상 프레임에서 색상 정보를 기반으로 하여 특정 객체를 분리하는 기법이 있다.

예컨대 선택된 영역의 객체가 움직이는 경우라면, 객체추출부(173)는 입력된 영상 프레임에서 배경 영상을 빼는 방법(Background Subtraction)으로 추출된 움직이는 객체 중에서 선택된 위치 정보에 대응되는 객체를 분리해 낼 수 있다.

심도계산부(175)는 객체추출부()로부터 추출한 객체 영역에 포함되는 픽셀의 위치 정보를 제공받고 영상수신부(171)로부터 한 쌍의 디지털 영상을 입력받아, 추출된 객체 영역의 전체 픽셀 또는 그 중 특정 픽셀(예컨대 중심점 픽셀)의 심도 정보(Depth)를 계산한다. 심도계산부(175)는 계산된 심도 정보를 주시각제어부(177)에게 제공한다.

알려진 것처럼, 영상으로부터 3차원 공간상의 심도는 한 쌍의 스테레오 영상을 이용하여 스테레오 정합(Stereo Matching)으로 구할 수 있다. 심도 정보는 두 개 영상에서 동일한 객체의 상대적인 위치로부터 기하학적인 방법으로 구할 수 있으며, 당연히 동일한 객체를 형성하는 픽셀을 추출하는 것이 핵심이다.

두 개의 카메라로부터 획득한 영상에서 동일한 영역에 대응되는 픽셀의 위치는 에피폴라 선(Epipolar Line)상의 양안 차와 관계된다. 양안 차는 심도 정보를 포함하며, 이러한 양안 차로부터 계산된 기하학적 특성이 심도가 된다. 입력 영상으로부터 실시간으로 양안 차를 계산하면 관측 공간의 삼차원 심도 정보 등을 계산할 수 있다.

스테레오 정합 알고리즘으로 알려진 것에는, 예컨대, 대한민국 등록특허 제0517876호의 "복수 영상 라인을 이용한 영상 정합 방법"이나, 대한민국 등록특허 제0601958호의 "3차원 객체 인식을 위한 양안 차 추정방법" 등이 있다.

주시각제어부(177)는 카메라 구동부(130)의 작동 메카니즘과 그 메커니즘에 따른 주시각 제어 알고리즘을 고려하여 카메라 구동부(130)를 제어하기 위한 제어 파라미터를 계산하고 계산된 파라미터를 카메라 구동부(130)에게 제공함으로써, 카메라 구동부(130)로 하여금 사용자에 의해 선택된 객체에 주시점이 형성되도록 한다.

예컨대, 도 4와 같은 교차축 방식에서 사용자의 선택에 의해 주시점이 a에서 a'으로 이동한 경우, 이동된 주시점에 따른 주시각(b')을 계산하고 현재의 주시각(b)에서 새로 계산된 주시각(b')으로 변경하기 위한 파라미터 값을 계산하게 된다.

바람직하게는, 본 발명의 카메라 장치(100)는 주시각에 따른 파라미터 테이블을 미리 계산하여 메모리(미도시) 등에 보유하여 영상처리 속도를 높일 수 있다.

이하에서는 도 3 내지 도 5를 참조하여 본 발명의 스테레오 카메라 장치()의 주시각 제어방법을 설명한다. 다만, 설명의 편리를 위해, 이하에서는 객체추출부(173)가 추출된 객체 영역의 중심점 픽셀의 좌표를 심도계산부(175)에게 제공하고, 심도계산부(175)는 객체의 중심점의 심도를 계산하는 것으로 가정하고 설명한다.

<주시점 제어용 객체 선택: S301 단계>

스테레오카메라부(110)가 영상을 촬영하고, 해당 영상이 영상수신부(171)를 통해 표시부(151)에 표시되면, 사용자는 표시부(151)를 통해 표시된 영상으로부터 하나의 객체를 선택한다. 입력부(153)는 사용자의 선택 명령인 위치 정보를 입력받아 객체추출부(173)에게 제공한다.

예컨대, 입력부(153)가 표시부(151) 상에 설치된 터치 센서이고, 도 5의 화면(P)이 표시부(151)를 통해 표시된다고 가정하자. 사용자가 화면(P)상의 특정 객체(P1)의 위치를 누르게 되면, 입력부(153)는 사용자의 선택명령을 객체추출부(173)에 제공하게 된다. 이에 따라, 객체추출부(173)는 사용자가 선택한 객체(P1)를 추출하게 된다.

<영상으로부터 객체 추출 및 심도 측정: S303 ~ S305>

객체추출부(173)는 사용자의 선택 명령에 대응되는 위치의 객체를 영상수신부(171)에서 출력되는 제1 카메라 영상과 제2 카메라 영상으로부터 추출하여, 그 추출한 객체 영역의 중심점 픽셀의 좌표를 심도계산부(175)에게 제공한다. 이에 따라, 심도계산부(175)는 객체의 중심점 픽셀에 대한 심도를 제1 카메라 영상과 제2 카메라 영상을 이용하여 계산한다.

심도계산부(175)는 계산된 심도를 주시각제어부(177)에게 제공한다.

<해당 심도로의 주시점 이동 제어: S307>

주시각제어부(177)는 심도계산부(175)로부터 제공받은 심도, 정확하게는 해당 객체의 심도에 대응되는 중심축(x3) 상의 점에 주시점이 형성되도록 현재의 주시점을 이동시킨다. 주시점 이동은 주시각 제어에 대응되므로, 주시각제어부(177)는 이동할 주시점의 주시각을 계산한 다음, 현재 주시각에서 계산된 주시각으로 보정하기 위한 제어 파라미터를 계산하거나, 기 보유한 파라미터 테이블로부터 추출한다.

주시각제어부(177)는 계산된 파라미터를 이용하여 카메라 구동부(130)를 제어함으로써, 카메라 구동부(130)로 하여금 제1 카메라(111)와 제2 카메라(113)의 주시각을 조정하도록 한다.

<객체의 심도 변경에 따른 추적 제어: S309>

이상의 S303 내지 S307 단계의 동작은 실시간으로 처리되면서, 화면상에서의 선택된 객체의 이동에 따라 반복적으로 수행될 수 있다.

객체의 심도 정보는 상황에 따라 변할 수 있다. 예컨대, 스테레오카메라부(110)가 전체 방향을 회전함에 따라 촬영 장면이 다소간 바뀐다거나 선택된 객체(피사체)가 이동함에 따라, 화면상의 객체의 위치가 변하게 되고 그러한 위치 변화 중 일부는 객체의 심도 정보를 바꾸게 된다.

이러한 상황에 대비하여, 객체추출부(173)는 사용자의 새로운 선택이 있을 때까지, 이미 선택된 객체를 계속 추적하여 변경된 객체의 중심점 좌표를 계속 심도계산부(175)에게 제공한다. 이에 따라, 심도계산부(175)도 변경된 중심점 좌표에 대한 심도를 계산하고, 해당 심도 정보는 계속하여 주시각제어부(177)에게 제공된다.

이에 따라, 사용자가 선택한 특정 인물의 화면상 위치가 변하게 될 때, 자동으로 장면 전체의 입체 효과가 조정한다. 이러한 기능은 특정 객체(인물 등)가 중심이 되는 장면을 연속으로 촬영하는 경우에 매우 편리하다.

이상의 방법으로 본 발명의 스테레오 카메라 장치(100)의 주시각 제어가 수행된다.

앞서 제시한 것처럼, 도 3에 대한 설명은 추출한 객체 영역의 중심점 심도를 계산하여 주시점을 이동시키는 것에 대하여 설명하였으나 이에 한정되지 아니한다.

다른 실시 예에 의하면, 심도계산부(175)는 객체 영역에 포함된 전체 픽셀들의 심도를 모두 계산한 다음 평균한 평균 심도를 계산할 수도 있고, 중심점이 아닌 해당 객체 영역의 다른 위치의 특정 픽셀을 이용하여 심도를 계산할 수도 있다.

또한, 도 4 및 그에 따른 설명도 교차축 방식에 근거하여 이루어졌으나, 앞서 설명한 바와 같이 주시각 제어가 그 방식에 한정되지 아니한다. 따라서, 본 발명은 주시각 제어가 가능한 다른 방식에 대하여도 동일하게 적용될 수 있다.

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims

제1 카메라와 제2 카메라로 촬영한 입체 영상을 표시하는 단계를 포함하고,
상기 표시하는 단계 중에,
사용자로부터 상기 표시된 영상에서의 특정 객체를 선택하는 선택명령을 입력받는 단계;
상기 제1 카메라 영상과 제2 카메라 영상으로부터, 상기 선택된 객체를 각각 추출하는 단계;
상기 추출된 객체 영역의 특정 픽셀에 대한 심도(Depth)를 계산하는 단계; 및
상기 제1 카메라와 제2 카메라의 주시각을 상기 심도에 따라 다시 계산된 주시각으로 변경하는 단계를 포함하는 것을 특징으로 하는 스테레오 카메라 장치의 주시각 제어방법.
제1항에 있어서,
사용자로부터 상기 선택명령을 새롭게 입력받을 때까지, 상기 추출된 객체를 계속 추적하면서 상기 심도를 계산하는 단계 및 주시각을 변경하는 단계를 반복하는 단계를 더 포함하여 상기 객체 추적 중에 변경되는 심도에 따른 주시각 제어를 계속 수행하는 것을 특징으로 하는 스테레오 카메라 장치의 주시각 제어방법.
제1항 또는 제2항에 있어서,
상기 심도를 계산하는 단계는, 상기 추출된 객체 영역의 중심점 픽셀에 대한 심도를 계산하는 것을 특징으로 하는 스테레오 카메라 장치의 주시각 제어방법.
제1항 또는 제2항에 있어서,
상기 선택명령은 상기 표시된 영상에서의 상기 객체의 위치 또는 범위를 지정하는 것에 대응되고,
상기 객체를 추출하는 단계는, 상기 지정된 위치 또는 범위 내에서 움직이는 객체를 추출하는 방법으로 상기 객체를 각각 추출하는 것을 특징으로 하는 스테레오 카메라 장치의 주시각 제어방법.
제1 카메라와 제2 카메라를 구비한 스테레오 카메라부와, 상기 제1 카메라와 제2 카메라가 촬영한 스테레오 영상을 표시하는 표시부를 포함하는 스테레오 카메라 장치에 있어서,
기 설정된 제어 파마미터에 따라 상기 제1 카메라와 제2 카메라의 주시각을 변경시키는 카메라 구동부;
사용자로부터 상기 표시부에 표시된 영상에서의 특정 객체를 선택하는 선택명령을 입력받는 입력부;
상기 입력부에 의해 선택된 객체를 상기 제1 카메라 영상과 제2 카메라 영상으로부터 각각 추출하는 객체추출부;
상기 객체추출부가 추출한 객체 영역의 특정 픽셀에 대한 심도(Depth)를 계산하는 심도계산부; 및
상기 제1 카메라와 제2 카메라의 주시각을 상기 심도계산부에서 계산한 심도에 따라 다시 계산된 주시각으로 변경하기 위한 상기 제어 파라미터를 계산하여 상기 카메라 구동부에게 제공하는 주시각 제어부를 포함하는 것을 특징으로 하는 스테레오 카메라 장치.
제5항에 있어서,
상기 객체추적부는 사용자로부터 상기 선택명령을 새롭게 입력받을 때까지, 상기 추출된 객체를 계속 추적하고,
상기 심도계산부는 상기 추적 중인 객체의 변경되는 심도를 계속 계산하고,
상기 주시각제어부는 상기 변경되는 심도에 따라 주시각을 제어를 반복적으로 수행함으로써, 상기 객체 추적 중에 변경되는 심도에 따른 주시각 제어를 계속 수행하는 것을 특징으로 하는 스테레오 카메라 장치.
제5항 또는 제6항에 있어서,
상기 심도계산부는, 상기 추출된 객체 영역의 중심점 픽셀에 대한 심도를 계산하는 것을 특징으로 하는 스테레오 카메라 장치.
제5항 또는 제6항에 있어서,
상기 입력부는 상기 표시된 영상에서의 상기 특정 객체의 위치 또는 범위를 상기 선택명령으로 입력받고,
상기 객체추출부는, 상기 지정된 위치 또는 범위 내에서 움직이는 객체를 추출하여 상기 객체를 각각 추출하는 것을 특징으로 하는 스테레오 카메라 장치.