KR101429234B1

KR101429234B1 - 스케일러를 이용한 스테레오 카메라의 주시각 제어방법 및 그 스테레오 카메라

Info

Publication number: KR101429234B1
Application number: KR20120059701A
Authority: KR
Inventors: 현해식
Original assignee: (주)하이브
Priority date: 2012-06-04
Filing date: 2012-06-04
Publication date: 2014-08-12
Also published as: KR20130136120A

Abstract

스케일러를 이용한 스테레오 카메라의 주시각 제어방법 및 그 스테레오 카메라가 개시된다. 본 발명에 의하면, 광축이 평행하게 배치된 스테레오 카메라에서 별도의 기구적 구성을 사용하지 아니하고 스케일러(Scaler)를 이용한 영상처리를 통해 주시각 제어를 수행할 수 있다. 이에 따라, 본 발명의 스테레오 카메라는 그 구조가 매우 간단하면서도 안정적인 방법으로 주시각 제어를 수행할 수 있게 된다. 특별히,방송용 카메라와 같이 이미 카메라 모듈이 제작되어 카메라 모듈에 대한 제어가 불가능한 상태에서 주시각을 제어할 수 있다.

Description

스케일러를 이용한 스테레오 카메라의 주시각 제어방법 및 그 스테레오 카메라{Method for Controlling Convergence Angle of Stereo Camera by Using Scaler and the Stereo Camera}

본 발명은 스테레오 카메라의 주시각 제어방법 및 그 카메라에 관한 것으로서, 특별히 광축이 평행하게 배치된 스테레오 카메라 구조에서 별도의 기구적 구성을 포함하지 아니하고 스케일러(Scaler)를 이용한 영상처리를 통해 주시각 제어를 수행하는 스테레오 카메라의 주시각 제어방법 및 그 스테레오 카메라에 관한 것이다.

입체 카메라는 피사체에 대한 입체 영상을 획득하기 위한 카메라로서, 상호 이격되게 배치된 두 개의 카메라로 동일한 장면을 촬영하여 획득한 두 장의 모노 영상을 이용하여 한 쌍의 스테레오 영상을 출력하는 장치이다. 이러한 입체 카메라를 '스테레오 카메라'라고도 한다. 스테레오 카메라를 이용하여 촬영한 영상을 소위 3D 표시장치에 표시함으로써 사용자가 3D 영상을 시청하게 된다.

이때, 두 개 카메라는 동일한 피사체를 이격되어 촬영함에 따라 서로 다른 영상을 생성하는데 이러한 영상의 차이를 '양안 시차'라 한다. 그리고 시차가 '0'이 되는 지점을 '주시점(Convergence Point)' 또는 영점(Point of Zero)이라 하고, 렌즈와 센서의 중심을 연결하는 각 카메라의 축이 주시점에서 교차하도록 배치할 때, 교차 각을 '주시각'이라 한다. 이에 따라, 스테레오 카메라에서 주시점을 제어하는 것을 '주시점 제어' 또는 '주시각 제어'라 한다. 시차는 입체감을 느끼게 하는 중요한 요소이며, 따라서 주시각 제어도 입체 영상의 생성에 매우 중요한 요소가 된다.

스테레오 카메라를 이용하여 실사 영상을 만드는 방법에도 그 주시각 제어 방식에 따라 교차축 방식, 수평이동축 방식, 이미지 센서의 크롭(Crop) 영역을 이용하는 방식 등이 있다.

교차축 방식은 두 개 스테레오 카메라 각각의 광축이 주시점에서 교차하도록 배치하는 것으로, 모터 구동으로 제어된다. 교차축 방식은 영상에서의 좌우 측 크기가 왜곡되는 키스톤(Key Stone) 잡음이 발생하기 때문에 잘 사용하지 않는다.

수평 이동 축 방식에서도 2개 카메라의 렌즈나 이미지 센서가 고정되어 있지 않고 대칭적으로 수평 이동함에 따라 주시각 제어 효과를 내는 방식으로, 이미지 센서를 이동시키는 방식과 렌즈를 이동시키는 방식이 있다. 카메라와 렌즈가 분리되어 동작해야 하므로, 수평 이동 축 방식은 기구적으로 상당히 복잡한 대신에 입체 영상의 화질은 양호한 편이다.

크롭 영역을 이용하는 방식은 기구적인 장치가 필요하지 않아서 양산에 유리하지만, 이미지 센서의 해상도가 입체 영상의 해상도보다 크고 여유가 있어야 하며 이미지 센서를 직접 제어할 수 있는 시스템이어야 한다.

주시각이 변하게 되면 두 개 카메라의 주시점이 변하게 되어, 주시각이 커지면 주시점은 가까워지고 주시각이 작아지면 주시점은 멀어진다. 주지한 바와 같이, 주시점의 심도(Depth)에 위치한 피사체는 시차가 '0'이므로 입체효과가 없고, 주시점 심도 보다 앞에 위치한 피사체는 화면 앞에 위치하여 앞으로 튀어나와 보이게 되고, 주시점 뒤에 위치한 피사체는 화면 뒤에 위치하여 뒤로 들어가 보이게 된다.

본 발명의 목적은, 광축이 평행하게 배치된 스테레오 카메라 구조에서 별도의 기구적 구성을 포함하지 아니하고 스케일러(Scaler)를 이용한 영상처리를 통해 주시각 제어를 수행하는 스테레오 카메라의 주시각 제어방법 및 그 스테레오 카메라를 제공함에 있다.

상기 목적을 달성하기 위한 본 발명에 따른 스테레오 카메라는, 동일한 해상도를 가지는 한 쌍의 제1 카메라부와 제2 카메라부; 상기 제1 카메라부와 제2 카메라부에서 각각 출력되는 한 쌍의 영상에 대해 상기 해상도보다 작은 크기의 창을 설정하되, 그 위치를 조정함으로써 주시각 제어를 수행하는 창-설정부; 상기 창-설정부가 설정한 '창' 영역의 이미지를 상기 제1 카메라부와 제2 카메라부의 해상도로 복원하는 스케일조정부; 및 상기 스케일조정부가 출력하는 복원된 2개의 영상을 하나의 입체 영상으로 합성하는 영상합성부를 포함한다.

여기서, 상기 창은 상기 제1 카메라부와 제2 카메라부에서 출력되는 영상의 가로/세로 비율과 동일한 비율을 가지는 것이 바람직하다.

다른 실시 예에 따라, 상기 창-설정부는, 상기 제1 카메라부의 출력 영상에 설정된 제1 창과 상기 제2 카메라부의 출력 영상에 설정된 제2 창을, 상기 제1 카메라부와 제2 카메라부 사이의 중심으로부터 대칭적으로 이격시킴으로써 상기 주시각 제어를 수행할 수 있다.

본 발명의 다른 실시 예에 따른 스테레오 카메라의 주시각 제어방법은, 동일한 해상도를 가지는 한 쌍의 제1 카메라부와 제2 카메라부가 촬영하여 제공하는 한 쌍의 영상에 대해 상기 해상도보다 작은 크기의 창을 설정하되, 그 위치를 조정함으로써 주시각 제어를 수행하는 단계; 상기 설정된 '창' 영역의 이미지를 상기 제1 카메라부와 제2 카메라부의 해상도로 복원하는 단계; 및 상기 복원된 2개의 영상을 하나의 입체 영상으로 합성하는 단계를 포함한다.

본 발명의 스테레오 카메라의 주시각 제어방법은 교차축 방식, 수평이동축 방식과 같은 별도의 기구적 구성이 필요없고 따라서 그 기구적 구성을 제어하기 위한 구성도 필요없이 영상처리만으로 주시각 제어를 수행할 수 있으므로 간단하고 안정적인 방법으로 주시각 제어를 수행할 수 있다.

또한, 종래의 크롭(Crop) 방식에서처럼 원하는 해상도보다 더 큰 해상도의 이미지 센서가 없더라도 원하는 해상도의 입체 영상을 얻을 수 있다.

무엇보다, 방송용 카메라와 같이 이미 카메라 모듈이 제작되어 카메라 모듈에 대한 제어가 불가능한 상태에서 주시각을 제어할 수 있다.

도 1은 본 발명의 스테레오 카메라의 블록도,
도 2는 본 발명의 스테레오 카메라의 주시각 제어동작의 설명에 제공되는 도면,
도 3은 본 발명의 스테레오 카메라의 주시각 제어방법의 설명에 제공되는 흐름도, 그리고
도 4는 본 발명의 스테레오 카메라의 주시각 제어방법의 설명에 제공되는 다른 도면이다.

이하 도면을 참조하여 본 발명을 더욱 상세히 설명한다.

도 1을 참조하면, 본 발명의 스테레오 카메라(100)는 제1 카메라부(110), 제2 카메라부(130), 스케일러 모듈(150), 영상 합성부(170)를 포함한다.

제1 카메라부(110)와 제2 카메라부(130)는 일정한 간격 이격되도록 배치되어 영상을 촬영하는 아날로그 또는 디지털 카메라일 수 있다. 제1 카메라부(110)와 제2 카메라부(130)는 개별적으로 렌즈(111, 131)와 이미지 센서(113, 133)를 구비한다.

제1 카메라부(110)와 제2 카메라부(130)는 도 4에 도시된 것처럼 광축(b3, b4)이 평행하도록 배치되어 입체 영상이 생성되는 영역(C1)을 공유하는 것이 바람직하다. 제1 카메라부(110)와 제2 카메라부(130)에서 촬영한 영상 중에서 입체 영상 영역(C1)에 해당되는 부분의 영상은 시차를 가지며, 제1 카메라부(110)와 제2 카메라부(130)가 평행하게 배치됨으로써 그 주시점은 무한대에 위치한 것과 같다. 제1 카메라부(110)와 제2 카메라부(130)에서 촬영한 영상은 스케일러 모듈(150)에게 제공된다.

스케일러 모듈(150)은 제1 카메라부(110)의 제1 이미지 센서(113)와 제2 카메라부(130)의 제2 이미지 센서(133)에 대해 그 이미지 센서(113, 133)의 크기보다 작은 크기의 창(Window)을 각각 설정하고 그 창의 배치를 통해 스테레오 카메라(100)의 주시각을 제어한다.

이를 위해, 스케일러 모듈(150)은 앞서 설명한 '창'을 설정하고 배치함으로써 주시각 제어를 수행하는 창-설정부(151)와, 창-설정부(151)가 설정한 '창' 영역의 이미지를 제1 카메라부(110)와 제2 카메라부(130)가 출력하는 영상의 크기로 복원하는 스케일조정부(153)를 포함한다.

창-설정부(151) 및 스케일조정부(153)의 세부 동작은 도 3을 참조하여 다시 설명한다.

스케일러 모듈(150)이 한 쌍의 복원된 영상(R1, R2)을 영상 합성부(170)로 출력하면, 영상 합성부(170)는 스케일러 모듈(150)에서 출력되는 복원된 영상(R1, R2)을 합성하여 하나의 입체 영상을 생성한다. 영상 합성부(170)가 복원된 영상(R1, R2)을 기초로 하나의 입체 영상을 합성하는 방법은 종래에 알려진 다양한 방법을 그대로 적용할 수 있다.

이하에서는 도 3을 참조하여 본 발명의 스테레오 카메라(100)의 주시각 제어방법을 설명한다. 설명의 편리를 위해, 이미지 센서 상의 '창'의 설정은 이미지 센서가 출력하는 이미지에서 '창' 크기의 픽셀 영역을 설정하는 것과 동일하므로, '창' 영역에 해당하는 영상을 '창-영상'이라 한다.

< 창 설정: S401>

창-설정부(151)는 제1 카메라부(110)의 제1 이미지 센서(113)와 제2 카메라부(130)의 제2 이미지 센서(133)에 동일한 크기의 제1 창(W1)과 제2 창(W2)을 설정한다.

도 2를 참조하면, 광축이 나란하게 배치된 제1 이미지 센서(113)와 제2 이미지 센서(133)가 도시되어 있으며, 그 제1 이미지 센서(113)와 제2 이미지 센서(133) 보다 작은 크기의 제1 창(W1)과 제2 창(W2)이 설정되어 있다.

제1 창(W1)과 제2 창(W2)은 그 크기가 동일하며, 해상도가 제1 이미지 센서(113)와 제2 이미지 센서(133)의 해상도 보다 작지만 그 가로/세로 비율은 동일하게 설정되는 것이 바람직하다. 도 2에서처럼, 통상 창의 크기는 제1 이미지 센서(113)와 제2 이미지 센서(133) 해상도의 대략 90 % 내외로 설정하는 것이 바람직하다.

<원하는 주시각에 따른 창의 배치: S403>

창-설정부(151)는 주시각 설정을 위한 사용자의 제어명령이 있을 경우, 제1 창(W1)과 제2 창(W2)의 위치를 조정하여 주시각을 조정한다. 주시각은 제1 창(W1)과 제2 창(W2) 사이의 거리(X)에 비례하고, 주시거리(L)은 제1 창(W1)과 제2 창(W2) 사이의 거리(X)에 반비례한다.

창-설정부(151)는 제시된 주시각(또는 주시거리)에 기초하여 제1 창(W1) 또는 제2 창(W2)의 거리(X)를 비례적으로 계산하고, 그 거리(X)에 맞추어 제1 창(W1) 또는 제2 창(W2)을 재배치하여 사용자가 요청한 주시각을 맞춘다. 당연히, 제1 창(W1)과 제2 창(W2)은 중심선(F)을 중심으로 대칭되도록 배치된다.

한편, 스케일러 모듈(150)의 '창' 설정 및 '창-양상' 생성은 앞서 도 2의 설명에서처럼 제1 이미지 센서(113)와 제2 이미지 센서(133)를 중심으로 설명될 수 있으나, 제1 이미지 센서(113)와 제2 이미지 센서(133)의 출력 영상으로 대체하여 설명할 수 있다. 따라서, 도 2의 제1 이미지 센서(113)와 제2 이미지 센서(133)는 도 4의 제1 카메라 영상(M1)과 제2 카메라 영상(M2)에 해당하며, 도 2의 제1 창(W1)과 제2 창(W2)은 도 4의 제1 창-영상(r1)과 제2 창-영상(r2)에 해당한다.

주시점과 관련한 입체감에 대해 앞서 설명한 바와 같이, 주시점 위치에 존재하는 피사체는 그 심도가 '0'이고 입체감은 없다. 주시점 앞에 존재하는 피사체는 앞으로 튀어 나오는 입체감을 가지고, 주시점 뒤에 위치하는 피사체는 뒤로 들어가 보이는 입체감을 가진다.

앞서 설명한 바와 같이, 제1 카메라 영상(M1)과 제2 카메라 영상(M2) 중에서 입체 영상 영역(C1)에 해당하는 영상 부분은 기본적으로 시차를 가진다. 따라서 제1 창(W1)과 제2 창(W2)이 두 개 카메라의 광축(b3, b4)의 중심선(F)으로부터 동일한 간격으로 대칭적으로 이격되도록 배치되면, 제1 창-영상(r1)과 제2 창-영상(r2)에서의 시차가 변경되는 효과가 생긴다. 예를 들어, 제1 창(W1) 중심점과 제2 창(W2)의 중심점은 시차가 없어진다. 물론 해당 부분이 제1 카메라 영상(M1)과 제2 카메라 영상(M2)에서는 시차를 가진다.

따라서, 주시각 조정으로 주시점의 위치를 변경할 경우, 해당 주시점 위치가 제1 창(W1)과 제2 창(W2)의 중심에 위치하여 시차가 없도록 해야 한다. 도 4를 참조할 때, 동일한 피사체에 주시점이 형성되도록 하기 위해, 제1 창(W1) 또는 제1 창-영상(r1)은 그 중심선(b1)이 제1 카메라 영상(M1)의 중심선 오른쪽으로 이격되어 배치되고, 제2 창(W2) 또는 제2 창-영상(r2)은 그 중심선(b2)이 제2 카메라 영상(M2)의 중심선 왼쪽으로 이격되어 배치되었다. 그 두 개의 이격 간격은 동일하다. 도 4에서 고양이는 제1 창-영상(r1)과 제2 창-영상(r2)의 중심에 위치하여 고양이의 위치가 주시점(a)이도록 설정되었다.

<창-영상의 획득: S405>

S401 및 S403 단계를 통해, 창-설정부(151)의 제1 창(W1) 및 제2 창(W2)의 크기와 위치가 결정되면, 스케일조정부(153)는 제1 창-영상과 제2 창-영상을 추출한다.

스케일조정부(153)는 제1 카메라부(110)와 제2 카메라부(130)에서 연속적으로 출력되는 제1 카메라 영상(M1)과 제2 카메라 영상(M2)에서 제1 창-영상(r1)과 제2 창-영상(r2)을 연속적으로 추출한다.

<창-영상을 카메라 영상의 해상도로 복원: S407>

스케일조정부(153)는 제1 카메라 영상(M1)과 제2 카메라 영상(M2)에서 추출한 제1 창-영상(r1)과 제2 창-영상(r2)에 기 설정된 스케일 비만큼 확대하는 방법으로 원래 제1 카메라 영상(M1)과 제2 카메라 영상(M2)의 해상도로 복원한다.

제1 창-영상(r1)과 제1 카메라 영상(M1)의 해상도 비율이 A:B 인 경우, 스케일 팩트는 (B/A)가 된다. 예컨대, 제1 창-영상(r1)과 제1 카메라 영상(M1)의 해상도 비율이 9:10 인 경우, 스케일 팩트는 (10/9)가 된다. 스케일조정부(153)는 제1 창-영상(r1)과 제2 창-영상(r2)을 10/9 배 확대함으로써 원래 카메라 영상의 해상도로 복원한다.

도 4에는 스케일조정부(153)에 의해 복원된 한 쌍의 영상(R1, R2)이 도시되어 있다. 제1 카메라 영상(M1)과 제2 카메라 영상(M2)에서 중심으로부터 비켜 위치하였던 고양이가 복원된 영상(R1, R2)에서는 중심에 위치되었다. 다시 말해, 제1 카메라(110)와 제2 카메라(130)의 배치에 따라 주시점이 무한대에 해당하는 제1 카메라 영상(M1)과 제2 카메라 영상(M2)이, 고양이 위치가 주시점이 되도록 주시각이 제어된 영상(R1, R2)이 되었다.

<입체 영상의 합성: S409>

영상 합성부(170)는 스케일러 모듈(150)에서 출력되는 영상(R1, R2)을 합성하여 하나의 입체 영상을 최종 생성하게 된다.

이상의 방법에 의하여, 본 발명의 스테레오 카메라(100)는 다른 기구적 구성이 필요없을 뿐만 아니라, 요청되는 해상도 보다 큰 해상도의 이미지 센서를 갖추지 않더라도 안정된 입체 영상을 생성할 수 있다.

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims

입체 영상 생성을 위해 가상의 중심선을 기준으로 좌우로 배치된 동일한 해상도의 제1 카메라부와 제2 카메라부;
상기 해상도보다 작은 크기로 설정된 창(Window)을 상기 제1 카메라부의 영상과 제2 카메라부의 영상 내에 각각 배치하되 상기 제1 카메라부의 영상과 제2 카메라부의 영상의 상기 중심선 쪽 가장자리로부터 동일하게 이격된 위치에 각각 배치하고, 사용자의 주시점 조정에 따라 상기 이격의 정도를 조정하는 창-설정부;
상기 제1 카메라부의 영상과 상기 제2 카메라부의 영상으로부터 상기 창-설정부가 배치한 창의 영역에 포함된 이미지를 추출하여 상기 해상도로 복원하는 스케일조정부; 및
상기 스케일조정부가 출력하는 복원된 2개의 영상을 하나의 입체 영상으로 합성하는 영상합성부를 포함하는 것을 특징으로 하는 스테레오 카메라.
제1항에 있어서,
상기 창은 상기 제1 카메라부와 제2 카메라부에서 출력되는 영상의 가로/세로 비율과 동일한 비율을 가지는 것을 특징으로 하는 스테레오 카메라.
삭제
입체 영상 생성을 위해 가상의 중심선을 기준으로 좌우로 배치된 동일한 해상도의 제1 카메라부와 제2 카메라부가 촬영하여 제공하는 한 쌍의 영상에 대하여, 상기 해상도보다 작은 크기로 설정된 창(Window)을 상기 제1 카메라부의 영상과 상기 제2 카메라부의 영상 내에 각각 배치하는 단계;
상기 창을 상기 제1 카메라부의 영상과 상기 제2 카메라부의 영상의 상기 중심선 쪽 가장자리로부터 동일하게 이격된 위치에 각각 배치하고, 사용자의 주시점 조정에 따라 상기 이격의 정도를 조정하여 주시각을 제어하는 단계;
상기 제1 카메라부의 영상과 상기 제2 카메라부의 영상으로부터 상기 이격 정도를 조정하여 배치한 창의 영역에 포함된 이미지를 추출하여 상기 해상도로 복원하는 단계; 및
상기 복원된 2개의 영상을 하나의 입체 영상으로 합성하는 단계를 포함하는 것을 특징으로 하는 스테레오 카메라의 주시각 제어방법.
제4항에 있어서,
상기 창은 상기 제1 카메라부와 제2 카메라부에서 출력되는 영상의 가로/세로 비율과 동일한 비율을 가지는 것을 특징으로 하는 스테레오 카메라의 주시각 제어방법.
삭제