KR101824439B1

KR101824439B1 - 모바일 스테레오 카메라 장치 및 그 촬영방법

Info

Publication number: KR101824439B1
Application number: KR1020110013507A
Authority: KR
Inventors: 이연우
Original assignee: 주식회사 스테레오피아
Priority date: 2011-02-16
Filing date: 2011-02-16
Publication date: 2018-02-02
Also published as: KR20120094185A; WO2012111970A3; WO2012111970A2; US20140085423A1; CN103477645B; CN103477645A; US9451238B2

Abstract

모바일 스테레오 카메라 장치 및 그 촬영방법을 개시한다. 본 발명의 방법은 모바일촬영장소의 적정 위치에 모바일용 스테레오 카메라를 위치시키는 단계와, 모바일용 스테레오 카메라의 원점을 무한대로 하였을 때 광각 조건에서 포커싱 위치를 결정하는 단계와, 결정된 모바일용 스테레오 카메라 고정 위치에서 무한대를 원점 위치로 하여 원 소스 멀티유저용 카메라 간격을 산출하는 단계와, 산출된 카메라 간격으로 상기 모바일용 스테레오 카메라의 간격을 조정하는 단계와, 카메라 간격이 조정된 모바일용 스테레오 카메라로 촬영하는 단계를 포함한다. 따라서 모바일촬영환경에 적합한 스테레오 카메라를 제공함으로써 원 소스 멀티 유즈 용 입체모바일 컨텐츠를 용이하게 제작할 수 있다.

Description

모바일 스테레오 카메라 장치 및 그 촬영방법{Mobile Stereoscopic Camera Apparatus and Method of Shooting thereof}

본 발명은 모바일용 스테레오 카메라에 관한 것으로 특히 한번 제작한 입체영상 모바일 컨텐츠를 다양한 사이즈의 스테레오 디스플레이들, 휴대폰과 같은 이동단말기기의 디스플레이, 데스크 탑 컴퓨터의 디스플레이, 디지털 텔레비젼, 대형 극장 스크린 등에서 디스플레이하여 보더라도 눈에 피로감이 없이 입체 영상을 즐길 수 있는 모바일용 스테레오 카메라에 관한 것이다.

본 출원인은 제2007-0100904호의 "원소스 멀티유즈 스테레오 카메라 및 스테레오 영상 컨텐츠 제작방법"을 출원한 바 있다.

최근에 전자 및 반도체 기술의 발전으로 다양한 크기의 디스플레이들이 사용되고 있다. 작게는 2 ~ 2.5인치의 휴대폰 액정 디스플레이, 4 ~ 9인치 범위의 PMP, DMB 수신기, 네비게이션 등의 이동용 디스플레이, 9 ~ 19인치 범위의 노트북 컴퓨터 디스플레이, 12 ~ 24인치 데스크탑 퍼스널 컴퓨터 디스플레이, 15 ~ 60인치 범위의 가정용 LCD 및 P에 텔레비전 디스플레이, 30~200인치의 프로젝션 디스플레이, 100~300인치의 대형 극장용 스크린 디스플레이 등으로 다양한 크기의 디스플레이들에서 영상들을 즐길 수 있게 되었다.

그러나 지금까지의 입체영상은 100~300인치의 대형 극장용 스크린에 디스플레이하기에 적합한 영상들로만 제작되어 왔었다. 그러므로 이러한 입체영상들을 소형의 2인치의 휴대폰 디스플레이에서 즐길 경우 입체 효과가 거의 나타나지 않거나 수 십 인치의 컴퓨터 모니터나 가정용 텔레비전에서 즐길 경우 두통 및 눈 피로로 장시간 즐길 수 없는 문제점이 있었다.

통상적으로 사람의 양안간격이 대략 65mm 정도로 떨어져 있기 때문에 스테레오 영상을 촬영하는 두 대의 카메라의 간격도 양안간격과 동일하게 고정 유지하여야 한다고 생각되어 왔다.

그러나 사람의 스크린 주시거리는 대략 최근접 25cm(모발일 환경)에서 최대 12m(영화관 환경) 정도까지의 다양한 주시거리로 주어지게 되므로 바라보는 화각이 서로 다르게 된다.

최근 모바일 환경에서 동영상을 촬영하여 인터넷 등에 올리고 이를 데스크 탑 컴퓨터나 가정용 텔레비전을 통하여 즐기는 네티즌 문화가 활성화 되고 있으며 3G 화상 통화 서비스의 실행으로 모바일 환경에서 동영상을 실시간으로 주고받고 있다.

통상적으로 모바일 환경에서 촬영환경은 모바일이나 영화 촬영과는 달리 자기 자신의 얼굴을 찍는 셀카나 서로 얼굴을 마주보고 통화하는 영상통화동작에서 얼굴촬영환경이 주를 이룬다. 따라서 모바일 환경에서 주로 촬영되는 조건에 적합한 입체 카메라의 출현이 기대되고 있으나 아직까지는 초보적인 단계에 머물러 있는 실정이다.

그러므로 이와 같이 모바일 촬영환경과 디스플레이 환경이 서로 다르기 때문에 단순히 스테레오 카메라 간격만 양안간격으로 이격시켜서 촬영한다고 해서 모든 입체 디스플레이 환경을 만족시킬 수 없었다.

그러므로 지금까지 모바일용 입체촬영방식으로는 원소스 멀티 유저 컨텐츠를 제작할 수 없었다.

본 발명의 목적은 이와 같은 종래 기술의 문제점을 해결하기 위하여 모바일촬영환경에 적응된 최적의 입체효과를 발휘하면서 원 소스 멀티 유즈 타입의 모바일용 스테레오 영상을 촬영하기 적합한 모바일용 스테레오 카메라 장치를 제공하는 데 있다.

본 발명의 다른 목적은 모바일촬영환경에 적응된 최적의 입체효과를 발휘하면서 원 소스 멀티 유즈 타입의 모바일용 스테레오 카메라의 촬영방법을 제공하는 데 있다.

상기 목적을 달성하기 위하여 본 발명의 방법은 모바일촬영장소의 적정 위치에 모바일용 스테레오 카메라를 위치시키는 단계와, 모바일용 스테레오 카메라의 원점을 무한대로 하였을 때 광각 조건에서 포커싱 위치를 결정하는 단계와, 결정된 모바일용 스테레오 카메라 고정 위치에서 무한대를 원점 위치로 하여 원 소스 멀티유저용 카메라 간격을 산출하는 단계와, 산출된 카메라 간격으로 상기 모바일용 스테레오 카메라의 간격을 조정하는 단계와, 카메라 간격이 조정된 모바일용 스테레오 카메라로 촬영하는 단계를 포함한다.

본 발명에서 포커싱 위치를 결정하는 단계는 이미지센서의 가로 폭과 초점거리 및 얼굴 가로 폭의 비례식에 의해 결정된다.

또한, 본 발명의 촬영단계는 촬영광각조건의 스테레오 카메라의 초점거리 이상의 초점거리로만 줌밍하고 각 줌밍된 초점거리에서 모바일용 스테레오 카메라의 간격을 재조정한다.

본 발명에 의한 장치는 렌즈 광축이 서로 평행하게 배치된 좌측 및 우측 카메라들과, 카메라들로부터 포커싱 지점의 거리(Zo)를 산출하는 거리산출부와, 산출된 거리(Zo)와 무한대(∞) 값과 임계시차값과 포커싱된 초점거리 정보를 이용하여 원 소스 멀티 유저용 카메라 간격을 산출하는 카메라 간격 산출부와, 산출된 카메라 간격에 응답하여 상기 두 카메라의 간격을 조정하는 카메라 간격 조정모듈과, 카메라 간격 산출부에 의해 간격이 재조정된 좌우측 카메라에 의해 촬상된 좌측 영상 및 우측 영상을 저장하는 영상 저장부를 포함한다.

상술한 바와 같이 본 발명에서는 모바일촬영환경에 적합한 스테레오 카메라를 제공함으로써 원 소스 멀티 유즈 용 입체모바일 컨텐츠를 용이하게 제작할 수 있다.

도 1은 본 발명에 의한 모바일용 스테레오 카메라가 설치된 모바일 촬영 환경을 도시한 도면이다.
도 2는 본 발명에 의한 원 소스 멀티 유즈 모바일용 스테레오 카메라의 바람직한 일 실시예의 블록도를 나타낸다.
도 3은 19인치 모니터와 2/3인치 CCD 이미지 센서의 크기를 도시한 도면이다.
도 4는 본 발명의 카메라부의 좌우 카메라들과 피사체 사이의 광학적 기하관계를 나타낸다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 구체적으로 설명하고자 한다. 이 실시예는 이 기술에 숙련된 자들이 본 발명을 실시할 수 있게 충분히 상세하게 기술한다.

도 1은 본 발명에 의한 모바일용 스테레오 카메라가 설치된 휴대폰 촬영 환경을 도시한 도면이다.

도 1에서 본 발명의 모바일용 스테레오 카메라를 구비한 휴대폰(100)에서는 통상적으로 얼굴사진을 주로 촬영한다. 그리고 휴대폰(100)의 스테레오 카메라의 렌즈로부터 포커싱 지점(OZ)까지의 거리(ZO)는 예컨대 25cm 정도이다. 즉 휴대폰 촬영환경에서는 고도로 안정된 영상을 요구하는 것이 아니라 움직이는 환경에서 촬영하게 되므로 입체영상의 깊이감을 느낄 수 있을 정도이면 충분하다. 그러므로 원점은 무한대로 고정하고 전체적으로 안정된 입체감을 얻을 수 있을 정도면 충분하다.
[표1] 휴대폰 카메라의 이미지 센서의 크기에 따른 입체촬영조건

[표2]초점거리에 따른 무한대에서 임계시차값

상기 <표1>에 나타난 바와 같이 이미지 센서의 크기와 피사체의 폭과 피사체와 카메라 사이의 거리에 따른 초점거리를 나타낸다. 피사체와 카메라 사이의 거리가 일정하더라도 어린아이의 얼굴 폭과 성인의 얼굴 폭 사이즈의 차이만큼 초점거리가 달라지게 된다.
또한 상기 <표2>에 나타난 바와 같이 초점거리에 따라 무한대에서 임계시차도 달라지게 된다. 따라서 입체 카메라 폰의 설계시 이미지 센서 크기, 피사체 크기 및 피사체와의 거리에 따른 초점거리를 구하고 이 초점거리에 따른 임계시차를 고려하여 입체 카메라의 간격을 고려하여야 한다.

도 2는 본 발명에 의한 원소스 멀티유즈 모바일용 스테레오 카메라의 바람직한 제1실시예의 블록도를 나타낸다. 도 1을 참조하면, 스테레오 카메라는 입체 카메라부(110), 거리 산출부(120), 카메라 간격 산출부(130), 영상 저장부(140), 영상 결합부(150), 자동초점 조정부(160)를 포함한다.

입체 카메라부(110)는 좌측 카메라(112), 우측 카메라(114), 간격 조절부(116)를 포함한다. 좌우측 카메라들(112, 114)은 간격조절부(116) 상에 서로 평행하게 설치되어 광축에 대해 수직 방향, 즉 좌우 방향으로 이동 가능하여 이들 사이의 간격이 조절 가능하다. 좌측 카메라(112)는 동일 광축 상에 배열된 렌즈(LL)와 이미지 센서(SL)를 포함한다. 우측 카메라(112)는 동일 광축 상에 배열된 렌즈(LR)와 이미지 센서(SR)를 포함한다. 좌우측 렌즈들(LL, LR)은 통상적인 모바일용 렌즈들의 구경을 가지며 입체 줌 렌즈 군으로 구성될 수 있다. 여기서 이미지 센서들(SL,SR)은 CCD 센서 또는 CMOS 센서일 수 있다. 본 실시예에서는 16:9 HD 타입의 2/3인치 사이즈(대각길이 11mm, 높이5.39mm, 폭 9.59mm)를 가지며 1920*1080의 16:9 HD 해상도를 가진 이미지 센서를 사용한다.

삭제

간격 조절부(116)는 서보모터 또는 리니어 모터로 구동되는 수평 이동 메커니즘으로 구성되어 좌우 카메라들을 대칭적으로 수평 이동시킨다. 간격조절부(116)는 5mm 내지 20mm의 간격 조정범위를 가진다. 여기서 최소 간격은 두 카메라의 접근 가능한 물리적 사이즈에 의해 결정된다. 본 발명에서는 두 카메라의 간격이 양안 간격인 65mm로 고정된 것이 아니라 모바일촬영 환경에 따라 양안 간격보다 더 작게 대략 1/5배 이상으로 이격시키는 것이 가능하다. 이와 같은 큰 이격거리는 다양한 디스플레이 환경들에서도 모두 동일 유사한 입체효과를 그대로 유지하면서 피로감 없이 입체영상을 즐길 수 있게 하기 위해서이다.

상술한 실시예에서는 카메라를의 간격을 조정하지만 동일한 방식으로 CCD 이미지 센서들의 간격을 조정하거나 렌즈들의 간격을 조정하는 방식도 가능하다.

거리 산출부(120)는 광학적 거리측정센서(122)로부터 획득된 거리정보를 가지고 스테레오 카메라의 포커싱 거리(주시거리 ZO)를 산출한다. 여기서 광학적 거리측정센서를 이용한 거리산출 알고리즘은 통상의 거리 산출 알고리즘을 사용하므로 구체적인 설명은 생략한다. 여기서 거리 산출부(120)는 거리측정센서(122)을 사용하는 센서방식 대신에 사용자가 거리 값(ZO, ZF)을 직접 입력하는 입력방식, 입체영상의 시차를 이용한 거리산출방식 등으로 변형 가능하다.

카메라 간격 산출부(130)는 산출된 거리값(ZO), 초점거리(f) 및 임계 시차값(D)을 사용하여 다음 수학식 1에 의해 원 소스 멀티 유즈를 위한 카메라 간격을 산출한다.

[수학식 1]

CO = D × ZO × {(1/f) - (1/ ZO )}

여기서 D는 이미지 센서에서 임계 시차를 나타내고 f는 스테레오 카메라의 초점거리를 나타낸다. 여기서 임계시차(D : Disparity)는 두 이미지 센서에 각각 획득된 두 입체상들 사이의 허용 가능한 가장 큰 시차값을 나타낸다.

도 3은 19인치 모니터와 2/3인치 CCD 이미지 센서의 크기를 도시한 도면이다. 도면을 참조하면, 임계시차는 기준 디스플레이(19인치 모니터)에서 허용 가능한 최대 스크린 시차(SP ; Screen Parallax)와 기준 디스플레이의 수평 폭(MHW)과 이미지 센서(2/3인치)의 수평 폭(CHW)의 비례식에 의해 다음 수학식2에 의해 구해진다.

[수학식 2]

D = SP × ( CHW / MHW )

일반적으로 좌우안의 각 망막에서 입체상의 각도의 차이가 1.6도 이상이 되면 융합 범위를 벗어나게 되어 입체영상효과가 손실된다. 따라서 입체영상효과를 디스플레이하기 위해서는 스크린 상에서 두 입체상의 시차가 이 조건을 만족하는 범위 이내에 존재하여야 된다. 그러므로 융합범위 이내의 스크린 최대시차(SP)는 다음 수학식3으로 구해진다.

[수학식 3]

SP = 응시거리× tan (1.6)

영상 저장부(140)는 수학식1에 의해 카메라 간격이 재조정된 스테레오 카메라(100)를 통하여 각각 좌측 영상과 우측 영상을 획득하여 각각 좌측 영상 저장영역(142)과 우측 영상 저장영역(144)에 저장한다. 영상 저장부(140)에는 임계시차값 저장영역(146)을 포함한다. 저장영역(146)에 저장된 임계시차값(D)은 카메라 간격 산출부(130)에 제공된다.

영상 결합부(150)는 영상 저장부(140)의 좌측 영상 저장영역(142)과 우측 영상 저장영역(144)에 저장된 좌측 영상과 우측 영상을 각각 좌우측방향으로 시프트하여 제로시차의 위치가 일치하도록 오버랩시켜서 시차가 존재한 스테레오 영상으로 결합한다. 결합된 스테레오 영상은 스테레오 디스플레이를 통해 표시된다.

본 발명에서 영상 결합부는 카메라 수평이동방식이 아니라 카메라 고정방식일 경우에는 촬상된 좌우측 이미지를 불러 올때 마치 수평이동하는 것과 동일한 효과가 나도록 영상 데이터를 쉬프트하여 읽어내는 방식을 채택할 수 있다. 구체적인 내용은 선출원된 제2007-0100904호에 기재된 기술적 구성을 따른다.

자동초점 조정부(160)에서는 카메라들(112, 114)의 각 렌즈들(LL, LR)을 제어하여 자동으로 초점을 조정하여 포커싱을 제어한다. 포커싱된 초점거리(f) 정보를 카메라 간격 산출부(130)에 제공한다.

도 4는 카메라부(110)의 좌우 카메라(112, 114)와 모바일촬영 무대 사이의 광학적 기하 관계를 나타낸다.

도 4에서 각 기호는 아래와 같다.

AXL: 좌측 렌즈의 광축

AXR : 우측 렌즈의 광축

ZO: 렌즈 중심으로부터 포커싱점(OZ)까지의 직선 거리

ZF: 렌즈 중심으로부터 무한대 원점(OF)까지의 직선 거리

ZS: 렌즈 중심으로부터 이미지 센서(S_L,S_R)까지의 직선 거리

f : 렌즈 촛점거리

CO: 좌우 렌즈(L_L,L_R) 중심들 사이의 간격(좌우 카메라 간격)

CZ: 좌우 이미지 센서(S_L,S_R)에 포커싱된 좌우 이미지들 사이의 거리)

CF: 이미지 센서(S_L,S_R)에 촬상된 원점 좌우 이미지들 사이의 거리

CHW: 이미지 센서(S_L,S_R)의 가로 폭

DL : 좌측 시차

DR : 우측 시차

FHW : 촬영 광각조건에서의 얼굴 수평 최대 폭

따라서 도 4의 닮은 꼴 영역 A1, A2에서 ZO: CO/2 = ZS: (CZ- CO)/2 이므로 다음 수학식4로 정리된다.

[수학식 4]

CZ = (ZS/ZO) × CO + CO

마찬가지로 도 4의 닮은 꼴 영역 A3, A4에서 ZF: CO/2 = ZS: (CF- CO)/2이므로 다음 수학식5로 정리된다.

[수학식 5]

CF = ( ZS / ZF )× CO + CO

원점에 대응하는 이미지 센서(SL, SR) 상의 좌우 이미지의 시차(Disparity)는 다음 수학식6으로 정리된다.

[수학식 6]

D = DL + DR

= CZ - CF

= (ZS/ZO) ×CO + CO - CO

= ZS×CO/ZO

여기서 ZS/ZF ≒ 0 으로 근사 처리한다.

따라서 수학식6의 1/ZS값을 다음 수학식7의 값으로 치환하여 정리하면 수학식1을 얻을 수 있다.

[수학식 7]

1/ZS = 1/f - 1/ZO

그러므로 본 발명에서는 모바일 촬영시 스테레오 카메라의 위치를 고정하면 포커싱 거리를 측정하여 수학식1에 따라 카메라 간격을 재조정한다. 그리고 카메라 간격이 재조정된 스테레오 카메라로 촬영하게 되면 최원점에 대응하여 촬영된 좌우 입체상의 시차가 임계시차(D)의 범위를 벗어나지 않게 되므로 융합범위 이내에서 최대의 입체효과를 발휘할 수 있는 원 소스 멀티 유즈 입체 영상을 촬영할 수 있게 된다.

여기서 무대 수평폭(SHW)에 대한 CCD 이미지 센서의 수평폭(CHW)에 대응하는 최광각 조건의 초점거리(fw)에 의해 포커싱 거리(ZO)는 다음 수학식8에 의해 결정된다.

[수학식 8]

ZO = ( FHW / CHW ) × fw

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

모바일 촬영 위치에서 모바일용 스테레오 카메라(110)의 원점을 무한대로 하는 광각 조건에서 포커싱 거리(Z0)를 다음 [수학식1]에 의해 결정하는 단계;
상기 결정된 포커싱 거리(Z0)의 무한대 원점에서의 원 소스 멀티유저용 카메라 간격(C0)을 다음 [수학식2]에 의해 산출하는 단계;
상기 산출된 카메라 간격(C0)으로 상기 모바일용 스테레오 카메라의 간격을 조정하는 단계; 및
상기 카메라 간격(C0)이 조정된 모바일용 스테레오 카메라로 촬영하는 단계를 구비한 것을 특징으로 하는 모바일용 스테레오 카메라 촬영방법.
[수학식1]
ZO = (FHW / CHW) ×fw
FHW : 모바일 촬영 가능한 최대 얼굴 폭
CHW : 이미지센서 수평폭
fw : FHW가 CHW에 전부 촬상되는 광각조건에서의 스테레오 카메라 초점거리
[수학식2]
CO = D × ZO × {(1/f) - (1/ZO)}
D : 이미지 센서에서 임계 시차
f : 스테레오 카메라의 초점거리
(여기서 임계시차(D : Disparity)는 두 이미지 센서에 각각 획득된 두 입체상들 사이의 허용 가능한 가장 큰 시차값을 나타낸 것으로 다음 [수학식3]에 의해 산출됨.
[수학식3]
D = {기준 디스플레이 응시거리 × tan(1.6)} × ( CHW / MHW )
MHW : 기준 디스플레이의 수평 폭(MHW) )
삭제
삭제
렌즈 광축이 서로 평행하게 배치된 좌측 및 우측 카메라들(112, 114);
상기 카메라들(112, 114)로부터 포커싱 거리(Z0)를 다음 [수학식1]에 의해 산출하는 거리산출부(120);
산출된 포커싱 거리(Z0)와 임계시차값(D)과 포커싱된 초점거리(f) 정보를 이용하여 원 소스 멀티 유저용 카메라 간격(C0)을 다음 [수학식2]에 의해 산출하는 카메라 간격 산출부(130);
상기 산출된 카메라 간격(C0)에 응답하여 상기 두 카메라들(112, 114)의 간격을 조정하는 간격 조절부(116); 및
카메라 간격 산출부(130)에 의해 간격이 재조정된 좌우측 카메라들(112, 114)에 의해 촬상된 좌측 영상 및 우측 영상을 저장하는 영상 저장부(140)를 포함하는 것을 특징으로 하는 모바일용 스테레오 카메라 촬영장치.
[수학식1]
ZO = (FHW / CHW) ×fw
FHW : 모바일 촬영 가능한 최대 얼굴 폭
CHW : 이미지센서 수평폭
fw : FHW가 CHW에 전부 촬상되는 광각조건에서의 스테레오 카메라 초점거리
[수학식2]
CO = D × ZO × {(1/f) - (1/ZO)}
D : 이미지 센서에서 임계 시차
f : 스테레오 카메라의 초점거리
(여기서 임계시차(D : Disparity)는 두 이미지 센서에 각각 획득된 두 입체상들 사이의 허용 가능한 가장 큰 시차값을 나타낸 것으로 다음 [수학식3]에 의해 산출됨.
[수학식3]
D = {기준 디스플레이 응시거리 × tan(1.6)} × ( CHW / MHW )
MHW : 기준 디스플레이의 수평 폭(MHW) )