KR20140043666A

KR20140043666A - 모션 센서를 갖는 입체 비디오를 위한 장치 및 방법

Info

Publication number: KR20140043666A
Application number: KR1020130112186A
Authority: KR
Inventors: 쉬 뤼펭; 지앙 밍; 차오 쉬; 칼더 바틀리
Original assignee: 삼성전자주식회사
Priority date: 2012-10-01
Filing date: 2013-09-17
Publication date: 2014-04-10
Also published as: CN103716611A; EP2713614A3; EP2713614A2; US9654762B2; CN103716611B; US20140092218A1

Abstract

본 발명의 다양한 실시예들은 모션 센서를 구비하여 3차원(3D) 입체 비디오를 녹화하는 비디오 캡처 장치를 위한 장치 및 방법이 제공될 수 있다. 그 장치는 비디오를 캡처하는 하나의 렌즈를 구비하는 카메라부, 캡처된 비디오를 부호화하는 비디오 부호화기/복호화기, 캡처된 비디오에 해당하는 비디오 캡처 장치의 움직임 데이터를 캡처하는 모션 센서, 및 비디오 부호화기/복호화기 및 모션 센서를 제어하여 캡처된 움직임 데이터와 함께 상기 캡처된 비디오를 부호화하는 제어부를 포함할 수 있다.

Description

모션 센서를 갖는 입체 비디오를 위한 장치 및 방법{APPARATUS AND METHOD FOR STEREOSCOPIC VIDEO WITH MOTION SENSORS}

본 발명은 모션 센서를 갖는 입체 비디오를 위한 장치 및 방법에 관한 것이다.

전자 장치, 예를 들어, 휴대 단말기는 사용자에게 데이터 서비스 및 이동 네트워크에 대한 접속을 제공할 뿐만 아니라 사용자들간 무선 통신을 제공할 수 있다. 기술이 발전함에 따라 휴대 단말기는 단순한 전화통화를 넘어 많은 부가 기능들을 제공할 수 있다. 예를 들어, 휴대 단말기는 알람, 단문 메시지 서비스(SMS), 멀티미디어 메시지 서비스(MMS), 이메일, 게임, 단거리 통신에 대한 원격제어, 휴대폰에 포함된 디지털 카메라를 사용한 정지 이미지 캡처 기능 및/또는 비디오 캡처 기능, 스케줄링 기능 및 휴대 단말기 상에서 실행할 수 있는 다른 기능들을 제공할 수 있다. 이런 복수의 기능들이 제공되면서 휴대 단말기는 사용자들의 일상 생활에서 자주 사용될 수 있다.

휴대 단말기의 사용이 늘면서, 휴대 단말기의 이미지 캡처 기능 및/또는 비디오 캡처 기능도 성장하고 있다. 또한 3차원(3D) 이미지 및 비디오를 제공하기 위한 입체 캡처 기법 사용이 증가하고, 사용자에게 3D 이미지 및 3D 비디오를 보여주는 디스플레이를 보다 폭넓게 사용할 수 있다. 예를 들어, 자동입체(autostereoscopic) 3D 디스플레이는 특수한 헤드기어 또는 안경을 사용하지 않고도 3차원 이미지를 볼 수 있게 할 수 있다. 이 방법들은 이미지가 평평한 장치에 의해 생성되어도 관찰자에게 깊이 인지를 제공할 수 있다. 자동입체 3D 디스플레이를 위한 기술들이 존재할 수 있다. 현재 대부분의 평판 솔루션들은 렌티큘러(lenticular) 렌즈나 시차장벽(parallax disparity)을 채용할 수 있다. 관찰자가 어떤 관찰 위치에 머리를 위치시키면, 사용자는 두 눈으로 각기 다른 이미지를 인지하게 되어 깊이 착각(illusion of depth)을 제공하는 스테레오 이미지를 만들 수 있다.

도 1은 종래 기술에 따른 입체 이미지 및 그 이미지의 원본 장면의 디스플레이를 도시한 도면이다. 도 2는 종래 기술에 따른 도 1의 입체 이미지의 원본 장면을 도시한 도면이다.

도 1 및 도 2를 참조하면, 입체 이미지는 입체시(stereopsis)를 통한 깊이 착각을 제공하고, 여기서 사용자는 동일한 장면에 대한 두 개의 다른 이미지들, 즉, 스테레오 이미지를 보기 위해 양안(binocular) 비전을 사용하여 양 눈으로 그 장면을 본다. 입체 안경을 통해 보이는 것과 같은 두 개의 다른 이미지들, 즉, 좌안 시점과 우안 시점은 2차원 (2D)으로 제시된 동일한 장면을 보는 두 개의 다른 기준점간 거리에 해당하는 양안 시차를 갖고, 따라서 깊이 착각을 일으키고 3D 비디오를 생성할 수 있다. 달리 설명하면, 두 눈이 동일한 장면에 대해 각각의 이미지를 볼 때, 동일한 장면에 대한 두 이미지 사이의 양안 시차는 동일한 장면에 대한 각 이미지의 시야각을 다르게 해 깊이 착각을 초래할 수 있다. 여기서 다른 시야각은 동일한 장면을 보는 두 개의 다른 기준점에 해당할 수 있다.

따라서 동일한 장면에 대한 시야각의 차는 입체시를 초래하고, 따라서 2D 장면을 두 개의 다른 시야각으로 볼 때 관찰자에게 깊이감을 준다. 따라서 3D 비디오들을 보여주는 디스플레이들은 입체시를 사용하여 사용자에게 장면에 대한 입체 시점을 제공할 수 있다. 예를 들어, 사용자에게 한 장면을 보여줄 때, 두 개의 이미지가 사용자에게 제공되어 하나는 좌안에 다른 하나는 우안에 보여지고, 여기서 이 두 이미지는 하나의 장면에 대한 각각의 시야각을 갖는다. 따라서 사용자가 동일한 장면에 대한 각각의 시야각을 갖는 두 이미지를 통해 동일한 장면을 볼 때, 3D로 그 장면을 인지할 수 있다.

동일한 장면에 대한 다른 이미지들은 각각의 장소에 위치한 다른 카메라들 혹은 동일한 장면을 녹화하는 다수의 렌즈들을 구비한 하나의 카메라를 사용해 생성될 수 있다. 그러나 휴대 단말기는 하나의 카메라만을 구비하여 2D 이미지와 비디오를 생성할 수 있다. 또한, 휴대 단말기가 하나 이상의 카메라를 구비한다고 해도, 그 휴대 단말기는 각 면에 오직 하나의 디지털 카메라만 구비할 수 있다. 달리 설명하면, 휴대 단말기는 하나의 전방 카메라와 하나의 후방 카메라를 포함할 수 있다. 따라서 단일 렌즈 카메라를 사용하는 휴대 단말기로 입체 비디오를 생성할 필요가 있다.

본 발명의 다양한 실시예들은 입체 비디오를 생성하는데 사용되는 데이터를 생성하기 위해 모션 센서를 사용하여 그 입체 비디오를 생성하는 장치 및 방법을 제공할 수 있다.

본 발명의 다양한 실시예에 따르면, 모션 센서를 사용하여 3차원(3D) 입체 비디오를 녹화하는 비디오 캡처 장치가 제공될 수 있다. 그 비디오 캡처 장치는 비디오를 캡처하는 하나의 렌즈를 구비한 카메라부와, 캡처된 비디오를 부호화하는 비디오 부호화기/복호화기와, 캡처된 비디오에 해당하는 비디오 캡처 장치의 움직임 데이터를 캡처하는 모션 센서와, 및 비디오 부호화기/복호화기 및 모션 센서를 제어하여 캡처된 움직임 데이터로 캡처된 비디오를 부호화하는 제어부를 포함할 수 있다.

본 발명의 다양한 실시예에 따르면, 비디오 캡처 장치를 사용하여 3D 비디오를 녹화하는 방법이 제공될 수 있다. 그 방법은 3D 비디오 녹화를 초기화하는 동작과, 상기 비디오 캡처 장치의 움직임에 대한 비디오 프레임과 움직임 데이터로 비디오 데이터를 동시에 캡처하는 동작과, 상기 움직임 데이터와 상기 캡처된 비디오 프레임들을 상관하는 동작과, 상기 상관에 따라 상기 캡처된 비디오 프레임의 각각을 각 움직임 데이터와 함께 부호화하는 동작 및 부호화된 3D 비디오를 녹화된 3D 비디오로 저장하는 동작을 포함할 수 있다.

본 발명의 다양한 실시예에 따르면, 비디오 디스플레이 장치를 사용하여 3D 비디오를 재생하는 방법이 제공될 수 있다. 그 방법은 3D 비디오가 재생될 것인지의 여부를 결정하는 동작과, 상기 3D 비디오의 좌안 시점과 우안 시점을 디스플레이하는 상관 거리를 결정하는 동작과, 상기 상관 거리 및 상기 3D 비디오의 각 프레임의 움직임 데이터에 따라 상기 좌안 시점과 우안 시점에 대한 3D 비디오의 각 프레임을 선택하는 동작 및 상기 좌안 시점과 우안 시점에 대해 개별적으로 선택된 프레임들을 동시에 디스플레이하는 동작을 포함할 수 있다.

본 발명의 다른 다양한 실시예들, 장점, 및 중요한 특징들은 첨부된 도면과 결부시켜 본 발명의 예시적인 실시예들을 개시하는 하기 상세한 설명으로부터 당업자에게 명백해질 것이다.

본 발명의 다양한 실시예에 따르면, 모션 센서를 사용하여 단일 렌즈 카메라로 입체 비디오를 생성할 수 있다.

도 1은 종래 기술에 따른 입체 이미지 및 그 이미지의 원본 장면의 디스플레이를 도시한 도면이다.
도 2는 종래 기술에 따른 도 1의 입체 이미지의 원본 장면을 도시한 도면이다.
도 3은 본 발명의 한 실시예에 따른 비디오 캡처 장치를 도시한 도면이다.
도 4는 본 발명의 한 실시예에 따른 3차원(3D) 비디오 녹화를 도시한 도면이다.
도 5는 본 발명의 한 실시예에 따른 3D 비디오의 녹화 방법을 도시한 도면이다.
도 6은 본 발명의 한 실시예에 따른 3D 비디오 재생 방법을 도시한 도면이다.

이하 본 발명의 다양한 실시예를 첨부된 도면을 참조하여 상세히 설명할 수 있다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략할 수 있다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

다음의 설명과 청구범위에 사용된 용어와 단어들은 사전적인 의미에 한정되지 않으며, 단순히 본 발명에 대한 명확하고 일관성있는 이해를 위해 발명자에 의해 사용된 것이다. 따라서 본 발명의 예시적인 실시예에 대한 다음의 설명은 설명의 목적으로만 제공되며 부가된 청구범위와 그 균등물에 의해 정의된 발명을 제한할 목적으로 제공되지 않았음이 당업자에게는 명백할 것이다.

별도로 명시되지 않았다면 단수형 표현은 복수형을 포함한다는 것이 이해되어야 할 수 있다. 따라서, 예를 들어, "하나의 구성 요소의 표면"에 대한 언급은 하나 이상의 그러한 표면들에 대한 언급을 포함할 수 있다.

단어 "실질적으로"는 인용된 특징, 파라미터, 또는 값이 정확하게 달성될 필요는 없지만, 예를 들어, 허용치, 측정 오차, 측정 정확도 제한 및 당업자에게 알려진 다른 요소들을 포함하는 편차 또는 변이가 본 발명의 특징이 제공하려고 한 효과를 배제하지 않는 양으로 일어날 수 있다는 것을 의미할 수 있다.

본 발명의 다양한 실시예들은 모션 센서들을 구비한 입체 비디오용 장치 및 방법을 포함할 수 있다. 본 발명의 다양한 실시예들은 모션 센서들을 구비한 입체 비디오용 전자 장치 및 방법을 포함할 수 있다.

도 3은 본 발명의 예시적인 실시예에 따른 비디오 캡처 장치를 도시한 도면이다.

도 3을 참조하면, 비디오 캡처 장치(300)는 제어부(301), 카메라부(302), 비디오 부호화/복호화부(303), 저장부(304), 모션 센서부(305), 및 디스플레이부(306)를 포함할 수 있다. 그러나 비디오 캡처 장치(300)는 휴대 전화, 개인정보단말(PDA), 디지털 미디어 재생기, 태블릿 컴퓨터, 개인용 컴퓨터, 및 비디오를 캡처하는 카메라부를 포함하는 어떤 다른 적절한 및/또는 유사한 휴대용 전자 기기 또는 전자 장치를 포함하지만 이에 한정되지 않는 임의의 적절한 휴대용 전자 기기일 수 있다. 또한 비디오 캡처 장치(300)가 휴대 전화 또는 어떤 다른 유사한 휴대 통신 장치인 경우, 도시되지는 않았지만, 비디오 캡처 장치(300)는 GPS 신호를 수신하는 무선 주파수(RF) 수신부(307) 및 글로벌 포지셔닝 시스템(GPS) 신호를 수신하고 GPS 위치를 계산하는 GPS 수신부(308)를 포함할 수 있다. 또한, 다른 예시적인 실시예는 휴대 전자 기기에 적절한 부가적인 모듈들을 포함할 수 있고, 비디오 캡처 장치(300)에 포함된 둘 이상의 모듈들의 기능은 단일 콤포넌트로 통합될 수 있다.

제어부(301)는 비디오 캡처 장치(300)에 포함된 콤포넌트들간에 송수신되고 교환되는 신호들을 포함해 비디오 캡처 장치(300)의 동작들을 제어하고, 비디오 캡처 장치(300)의 콤포넌트들의 동작도 제어할 수 있다. 카메라부(302)는 정지 이미지 및 비디오를 캡처하기 위한 것으로, 전자 장치에 적합한 임의의 카메라일 수 있다. 비디오 부호화/복호화부(303)는 저장부(304)에 저장하기 위해 카메라부(302)에 의해 캡처된 정지 이미지와 비디오를 부호화하고, 디스플레이부(306)에 정지 이미지 및 비디오를 디스플레이하기 위해 저장부(304)에 저장되고 및/또는 RF 수신부(307)를 통해 수신된 정지 화상 및 비디오를 복호화할 수 있다. 모션 센서부(305)는 비디오 캡처 장치(300)의 움직임을 검출하고, 가속도계, 콤파스, 자기계(magnetometer), 자이로스코프, 및/또는 움직임을 판단하는 어떤 다른 적절한 장치 중 적어도 하나일 수 있다.

본 발명의 다양한 실시예에 따르면, 제어부(301)는 비디오 부호화/복호화부(303)를 제어하여 카메라부(302)로부터 수신된 비디오 데이터를 부호화할 수 있다. 비디오 캡처 장치(300)의 사용자는 비디오 캡처 장치(300)의 비디오 녹화기능을 활성화하여 비디오 녹화를 시작할 수 있다. 사용자는 비디오 캡처 장치(300)의 입력부(도시되지 않음)를 사용하여 비디오 녹화기능을 초기화할 수 있고, 여기서 입력부는 터치 스크린, 입력 키, 및/또는 비디오 캡처 장치(300)에 사용자 명령을 입력하는 어떤 다른 적절한 입력 장치 중 적어도 하나일 수 있다. 비디오 녹화 기능을 초기화한 후, 사용자는 카메라부(302)가 비디오 부호화/복호화부(303)로 제공된 비디오 데이터를 캡처하도록 비디오의 녹화를 초기화할 수 있다. 비디오 부호화/복호화부(303)는 캡처된 비디오 데이터를 동영상 전문가 그룹(MPEG) 코덱, H.264 코덱, 윈도우즈 미디어 비디오(WMV) 코덱, 퀵타임(QuickTime) 코덱, 및/또는 어떤 다른 적절한 디지털 비디오 코덱과 같은 어떤 적절한 비디오 코덱으로 변환할 수 있고, 디스플레이부(306)에 디스플레이하도록 부호화된 비디오 데이터를 복호화할 수도 있다.

비디오 부호화/복호화부(303)는 저장부(304)에 부호화된 비디오 데이터를 저장할 수 있다. 저장된 비디오 데이터는 모션 센서부(305)에 의해 감지된 움직임 데이터에 따른 움직임 데이터와 위치 데이터 중 적어도 하나를 포함할 수 있다. 예를 들어, 카메라부(302)가 비디오 부호화/복호화부(303)로 제공되는 비디오 데이터를 캡처하고 있을 때, 제어부(301)는 비디오 캡처 장치(300)의 움직임 또는 이동에 대한 움직임 데이터를 동시에 캡처하기 위해 모션 센서부(305)를 활성화할 수 있다. 한 실시예에 따르면, 제어부(301)는 카메라부(302)를 제어하여 비디오 데이터를 캡처하면서 모션 센서부(305)를 제어하여 비디오 캡처 장치(300)의 움직임 데이터를 동시에 캡처할 수 있다. 캡처된 움직임 데이터는 비디오 부호화/복호화부(303)로 제공되어 부호화된 비디오 데이터의 각 프레임이 그 프레임에 해당하는 움직임 데이터를 포함하게 할 수 있다.

따라서, 모션 센서부(305)는 비디오 프레임이 기준 프레임에 대해 캡처된 시간에 움직임의 양에 해당하는 움직임 데이터를 캡처할 수 있다. 또한 모션 센서부(305)는 캡처된 비디오의 각 프레임에 해당하는 데이터를 캡처할 수 있고, 한 주기 또는 소정 시간 양에 해당하는 데이터를 캡처할 수 있다. 또한 모션 센서부(305)는 N이 정수일 때 매 N번째 프레임에 해당하는 데이터를 캡처할 수 있고, 주기적인 속도로 또는 주기적인 시간에 데이터를 캡처할 수 있다.

도 4는 본 발명의 예시적인 실시예에 따른 3D 비디오 녹화를 도시한 도면이다.

도 4를 참조하면, 사용자가 녹화 대상물에 대한 3D 비디오를 녹화하는 동안 비디오 캡처 장치(300)를 움직이면, 제어부(301)는 카메라부(302)와 모션 센서부(305)를 모두 제어하여 동시에 데이터를 녹화할 수 있다. 따라서 모션 센서부(305)는 3D 비디오를 녹화하는 동안 비디오 캡처 장치(300)의 움직임에 해당하는 데이터를 기록할 수 있다. 제어부(301)는 3D 비디오의 각 프레임 기록들 사이의 움직임 양, 즉, 비디오 캡처 장치(300)가 움직인 거리를 판단할 수 있다. 예를 들어, 대상물 주위로 비디오 캡처 장치(300)를 회전시키면서 대상물에 대한 비디오 녹화를 생성하고, 비디오 녹화가 프레임 F0에서 F12까지를 포함한다면 제어부(301)는 둘 이상의 녹화된 프레임간 움직임 양을 결정할 수 있다. 비디오 캡처 장치(300)가 프레임 F0 및 프레임 F3을 캡처하는 사이에 움직이는 경우, 모션 센서(305)는 프레임 F0의 캡처에서 프레임 F3의 캡처까지 움직임 데이터 D0로 지칭될 수 있는 거리 D0만큼 움직였다고 판단할 수 있다.

따라서 캡처된 비디오를 부호화할 때, 비디오 부호화/복호화부(303)는 거리 D0에 해당하는 데이터를 수신하고, 그 데이터가 프레임 F3에 대응하여 저장되도록 프레임 F0에서 프레임 F3 사이의 제1움직임 양을 거리 D0로 저장할 수 있다. 비디오 부호화/복호화부(303)는 이 경우 기준 프레임인 프레임 F0에 대해 거리 D0가 프레임 F3에 태그되도록(tagged) 거리 D0에 해당하는 데이터를 프레임 F3의 부호화된 데이터와 함께 부호화할 수 있다. 이 경우, 모션 센서부(305)는 또한 프레임 F3 및 프레임 F6 사이에서 비디오 캡처 장치(300)가 이동한 거리의 양을 D1으로, F6 및 F9 사이는 거리 D2로, F9 및 F12 사이는 거리 D3으로 결정할 수 있다. 따라서 비디오 부호화/복호화부(303)는 프레임 F3에 거리 D0가, 프레임 F6에 D1이, 프레임 F9에는 D2가, 그리고 프레임 F9에는 D3가 각각 태그되도록 프레임 F0에서 F12까지의 비디오 데이터를 부호화할 수 있다.

따라서, 비디오 캡처 장치(300)의 이동량이 프레임 F0 내지 F12를 갖는 3D 비디오의 캡처를 위해 기록되고, 저장부(304)에 저장될 수 있다. 움직임 데이터 D0, D1, D2 및 D3는 각 프레임 F3, F6, F9 및 F2에 각각 대응되도록 적절한 방식으로 저장될 수 있다. 달리 설명하면, 녹화된 프레임들 F3, F6, F9 및 F12에는 각각 움직임 데이터 D0, D1, D2 및 D3가 태그되어 움직임 데이터 D0 내지 D3는 녹화된 프레임 F3, F6, F8 및 F12의 프레임 데이터와 함께 부호화될 수 있다. 그러나 본 예시적인 실시예는 이에 한정되지 않으며 움직임 데이터 D0 내지 D3는 각 프레임들과 별도로 저장될 수 있거나, 움직임 데이터가 각 녹화된 프레임에 대응하도록 임의의 적절한 방식으로 저장 또는 녹화될 수 있다.

또한 비디오 부호화/복호화부(303)는 시야각을 포함하도록 프레임 F0 내지 F12의 비디오 데이터를 부호화할 수 있다. 시야각은 좌안 시점 및 우안 시점 각각에 대응하는 카메라의 두 시점의 시야 방향간 각도일 수 있다. 따라서 시야각은 관찰자의 두 눈 사이의 거리에 대응할 수 있다. 왜냐하면 관찰자의 우안 및 좌안은 각각 우안 시점 및 좌안 시점에 대응하기 때문이다. 따라서 시야각은 인간의 눈 사이의 시야각에 대응하는 범위 내에 있다. 시야각은 움직임 데이터와 동시에 캡처될 수 있고, 시야각은 비디오 데이터 및 움직임 데이터의 녹화와 함께 비디오 캡처 장치(300)에 의해 녹화될 수 있다. 따라서 프레임 F0 내지 F12의 비디오 데이터를 부호화하는 것 외에 비디오 부호화/복호화부(303)는 프레임 F0 내지 F12 중 임의의 두 프레임의 시점 방향들 사이의 각에 대응하는 시야각을 포함할 수 있다. 달리 설명하면, 비디오 부호화/복호화부(303)는 프레임 F0 내지 F12의 부호화와 함께 시야각을 부호화하고, 여기서 시야각은 미리 정해진 쌍, 혹은 프레임 F0 내지 F12 중 임의의 적절한 쌍의 시각 방향들간 각거리(angular distance)이다.

다양한 실시예에 따르면, 녹화된 3D 비디오를 디스플레이하기 위해 제어부(301)는 디스플레이부(305)를 제어하여 3D 비디오를 보는 사용자에 대한 좌안 및 우안 시점에 따른 프레임들을 디스플레이할 수 있다. 다양한 실시예에 따르면, 디스플레이부(305)는 3D 비디오를 디스플레이하는데 사용될 수 있다. 그러나 3D 비디오는 디스플레이부(305) 또는 비디오 캡처 장치(305)의 내부 또는 외부에 있을 수 있고 3D 비디오의 좌안 및 우안 시점을 디스플레이하는데 적합한 임의의 다른 적절한 디스플레이부에 디스플레이될 수 있다. 3D 비디오는 좌안 및 우안 시점간 차가 사용자의 좌안과 우안 사이의 거리에 대응하도록 디스플레이될 수 있다. 특히, 사용자의 좌안과 우안 사이의 거리는 프레임 F0 내지 F12 중에서 움직임 데이터 D0 내지 D3에 따라 사용자에게 동시에 디스플레이되는 좌안 시점 프레임과 우안 시점 프레임을 결정하는데 사용될 수 있다.

달리 설명하면, 3D 비디오의 재생에서, 깊이 착각을 생성하기 위해 일정 거리로 떨어져서 녹화되고, 사용자에게 동시에 디스플레이될 프레임들을 선택하도록 사용자의 두 눈 사이의 거리에 따라 상관거리가 결정될 수 있다. 상관거리는 수동 입력 및/또는 3D 비디오는 보는 사용자에 의한 조절로 결정되거나, 3D 비디오를 디스플레이하는 디스플레이 장치와 3D 비디오를 보는 사용자 사이의 감지된 거리에 따라 자동으로 결정되거나 소정 값일 수 있다. 그러나 이에 한정되지 않으며, 상관거리는 임의의 적절한 방법 및/또는 수단에 따라 결정될 수 있다. 한 실시예에 따르면, 상관거리는 프레임 F0 내지 F12 가운데 한 쌍의 저장된 시야각과 결합되어 사용되고, 이 시야각은 각각 좌안 시점 및 우안 시점으로 디스플레이될, F0 내지 F12 중에서 선택된 한 쌍에 대한 시야각에 해당할 수 있다.

특히, 사용자의 두 눈이 거리 D0와 상관하는 경우, 프레임 F0의 녹화로부터 거리 D0 에서 녹화된 프레임 F3가 우안 시점으로 디스플레이됨과 동시에 F0가 좌안 시점으로 디스플레이될 수 있다. 따라서 디스플레이부(305)는 거리 D0만큼 서로 떨어진 위치에서 녹화된 두 프레임을 동시에 디스플레이하여 깊이 착각을 제공하고, 여기서 거리 D0는 사용자의 두 눈의 거리에 대응할 수 있다. 또한 디스플레이된 3D 비디오에 대한 사용자의 두 눈의 시야각은, 프레임 F0 내지 F12 가운데 한 쌍에 대한 해당 시야각이 사용자의 두 눈의 시야각에 해당하도록 프레임 F0 내지 F12 가운데 한 쌍에 대한 시야각을 선택하는데 사용될 수 있다. 한 실시예에 따르면, 디스플레이부(305)는 단안 렌즈, 즉, 달리 말하면, 비디오 캡처 장치(300)의 단일 렌즈 카메라를 사용하여 서로 다른 위치에서 녹화된 프레임들을 동시에 디스플레이함으로써 단안 렌즈를 사용해 녹화된 비디오를 양안 렌즈를 이용해 녹화된 비디오처럼 디스플레이할 수 있다.

도 5는 본 발명의 예시적인 실시예에 따른 3D 비디오 녹화 방법을 도시한 도면이다.

도 5를 참조하면, 501단계에서 비디오 캡처 장치(300)는 사용자가 비디오 캡처 특징을 초기화할 지의 여부를 결정할 수 있다. 비디오 캡처 특징을 초기화한 후, 비디오 캡처 장치(300)는 502단계에서 사용자가 3D 비디오의 녹화를 선택할지를 결정할 수 있다. 사용자가 3D 비디오 녹화를 선택하지 않으면, 비디오 캡처 장치(300)는 2D 비디오를 캡처하는 500단계로 진행할 수 있다. 사용자가 502단계에서 3D 비디오의 녹화를 선택하면, 비디오 캡처 장치(300)는 모션 센서부(305)를 초기화하도록 503단계로 진행할 수 있다. 다음, 504단계에서 비디오 캡처 장치(300)는 사용자가 3D 비디오 녹화를 시작할 것인지를 결정할 수 있다. 사용자가 3D 비디오의 녹화를 시작할 때, 비디오 캡처 장치(300)는 505단계에서 비디오 데이터와 움직임 데이터를 동시에 수집하고, 여기서, 움직임 데이터는 시야각을 포함할 수 있다.

비디오 데이터와 해당 움직임 데이터를 수집한 후, 비디오 캡처 장치(300)는 506단계에서 각 움직임 데이터를 각각 녹화된 비디오 프레임과 상관할 수 있다. 다음, 507단계에서 비디오 캡처 장치(300)는 506단계에서 수행된 상관에 따라 각 움직임 데이터와 함께 각 비디오 프레임을 부호화할 수 있다. 507단계에서 3D 비디오가 부호화된 후, 비디오 캡처 장치(300)는 508단계에서 부호화된 3D 비디오를 저장할 수 있다.

도 6은 본 발명의 예시적인 실시예에 따른 3D 비디오를 재생하는 방법을 도시한 도면이다.

도 6을 참조하면, 입체 3D 비디오 디스플레이에 적합한 임의의 장치일 수 있는 비디오 디스플레이 장치는 601단계에서 사용자가 재생, 즉, 3D 비디오의 재생을 초기화했는지를 판단할 수 있다. 다음으로 비디오 디스플레이 장치는 602 단계에서 미리 결정된 거리, 감지된 입력 및 사용자 입력 중 적어도 하나에 따라 상관거리를 결정할 수 있다. 다음, 603단계에서, 비디오 디스플레이 장치는 상관거리 및 각 프레임들의 움직임 데이터에 따라 좌안 및 우안 시점에 대한 3D 비디오의 각 프레임들을 선택할 수 있다. 한 실시예에 따르면, 비디오 디스플레이 장치는 프레임 F0 내지 F12 중에서 임의의 한 쌍의 프레임들의 시야각에 따라 3D 비디오의 각 프레임들을 선택할 수 있고, 여기서 F0 내지 F12 중에서 임의의 한 쌍의 프레임의 시야각은 부호화된 3D 비디오 데이터 및/또는 부호화된 3D 비디오의 움직임 데이터에 포함될 수 있다. 3D 비디오의 각 프레임들은 3D 비디오의 복호화시 선택되거나, 3D 비디오의 각 프레임에 태그된 움직임 데이터에 따라 부호화된 3D 비디오의 복호화 이전에 선택될 수 있다. 그러나 이에 한정되지 않으며, 각 프레임들은 움직임 데이터 및 상관거리를 사용하는 임의의 적절한 방법에 따라 좌안 및 우안 시점에 대해 각각 선택될 수 있다. 604단계에서 비디오 디스플레이 장치는 사용자의 좌안 시점과 우안 시점에 대해 개별적으로 선택된 프레임들을 동시에 디스플레이할 수 있다. 사용자는 비디오 디스플레이 장치에 의해 디스플레이된 좌안 및 우안 시점을 정확하게 보기 위해 입체 안경을 착용할 수 있다.

본 발명은 예시적인 실시예를 참조하여 도시되고 설명되었으며, 형태와 세부사항들의 다양한 변화가 첨부된 청구범위와 그 균등물에 의해 정의된 바와 같이 본 발명의 사상과 범위를 벗어나지 않고 그 안에서 이루어질 수 있음을 당업자는 이해해야 할 것이다.

301: 제어부 302: 카메라부
303: 비디오 부호화/복호화부 304: 저장부
305: 모션 센서부 306: 디스플레이부
307: RF 수신부 308: GPS 수신부

Claims

전자 장치에 있어서,
비디오를 캡처하는 하나의 렌즈를 포함하는 카메라부;
캡처된 비디오를 부호화하는 비디오 부호화기/복호화기;
캡처된 비디오에 상응하는 상기 전자 장치의 움직임 데이터를 캡처하는 모션 센서; 및
상기 비디오 부호화기/복호화기 및 모션 센서를 제어하여 상기 캡처된 움직임 데이터와 함께 상기 캡처된 비디오를 부호화하는 제어부를 포함하는 전자 장치.
제1항에 있어서,
상기 모션 센서는 가속도계, 콤파스, 자기계, 및 자이로스코프 중 적어도 하나인 전자 장치.
제1항에 있어서,
상기 제어부는 상기 카메라부가 비디오를 캡처하고 상기 모션 센서가 움직임 데이터를 캡처하도록 동시에 제어하는 전자 장치.
제1항에 있어서,
상기 제어부는 상기 캡처된 비디오의 각 프레임을 각 캡처된 움직임 데이터와 상관(correlate) 하는 전자 장치.
제4항에 있어서,
상기 각 캡처된 움직임 데이터는 각 프레임과 동시에 캡처되는 전자 장치.
전자 장치의 3D 비디오를 녹화하는 방법에 있어서,
3D 비디오 녹화를 초기화하는 동작;
비디오 프레임으로서의 비디오 데이터 및 상기 전자 장치의 이동에 대한 움직임 데이터를 동시에 캡처하는 동작;
상기 움직임 데이터와 상기 캡처된 비디오 프레임들을 상관하는(correlate) 동작;
상기 캡처된 비디오 프레임들 각각을 각 움직임 데이터와 함께 상기 상관에 따라 부호화하는 동작; 및
상기 부호화된 3D 비디오를 녹화된 3D 비디오로 저장하는 동작을 포함하는 방법.
제6항에 있어서,
상기 3D 비디오의 녹화를 초기화하는 동작은,
비디오 캡처 특징을 초기화하는 동작;
3D 비디오의 녹화가 선택되었는지 확인하는 동작; 및
모션 센서를 초기화하는 동작을 포함하는 방법.
제6항에 있어서,
상기 비디오 데이터 및 움직임 데이터를 동시에 캡처하는 동작은,
상기 전자 장치가 상기 비디오 데이터를 상기 비디오 프레임들로 캡처하고 있을 때, 상기 전자 장치의 이동에 대한 움직임 데이터를 캡처하는 동작을 포함하는 방법.
제6항에 있어서,
상기 움직임 데이터를 상기 캡처된 비디오 프레임과 상관하는 동작은,
상기 3D 비디오의 각 프레임을 캡처하는 시간에 상기 전자 장치가 이동한 거리를 상관하는 동작을 포함하는 방법.
제9항에 있어서,
상기 전자 장치가 이동한 거리는 상기 전자 장치가 기준 비디오 프레임을 녹화한 시간의 상기 전자 장치의 위치와 상기 3D 비디오의 각 비디오 프레임을 녹화하는 시간의 상기 전자 장치의 위치간 거리인 방법.
제9항에 있어서,
상기 움직임 데이터와 상기 캡처된 비디오 프레임을 상관하는 동작은,
상기 캡처된 비디오 프레임들 중 각 캡처된 비디오 프레임을 상기 각 캡처된 비디오 프레임을 캡처하는 시간에 상기 전자 장치의 위치에 해당하는 움직임 데이터와 상관하는 동작을 포함하는 방법.
제6항에 있어서,
상기 움직임 데이터와 상기 캡처된 비디오 프레임을 상관하는 동작은,
한 쌍의 캡처된 비디오 프레임간 시야각을 상관하는 동작을 포함함을 특징으로 하는 방법.
제9항에 있어서,
상기 시야각은 상기 한쌍의 캡처된 비디오 프레임 중 기준 프레임을 녹화하는 시간의 상기 비디오 캡처 장치의 시점 방향과 상기 한쌍의 캡처된 비디오 프레임 중 다른 프레임을 녹화하는 시간의 상기 비디오 캡처 장치의 시점 방향 사이의 각거리임(angular distance)인 방법.
제6항에 있어서,
상기 움직임 데이터와 상기 캡처된 비디오 프레임들의 상기 상관은 각 캡처된 비디오 프레임 각각에 대해 발생하는 방법.
제6항에 있어서,
상기 움직임 데이터와 상기 캡처된 비디오 프레임들의 상기 상관은 소정 시간 주기에 따라 발생하는 방법.
제6항에 있어서,
상기 움직임 데이터와 상기 캡처된 비디오 프레임들의 상기 상관은 상기 3D 비디오의 N번째 프레임마다 일어나고, 여기서 N은 정수인 방법.
전자 장치에서 3D 비디오를 재생하는 방법에 있어서,
3D 비디오가 재생될 것인지를 판단하는 동작;
상기 3D 비디오의 좌안 시점과 우안 시점을 디스플레이하기 위한 상관거리를 결정하는 동작;
상기 3D 비디오의 각 프레임들의 상기 상관거리 및 움직임 데이터에 따라 상기 좌안 시점 및 우안 시점에 대한 상기 3D 데이터의 각 프레임들을 선택하는 동작; 및
상기 좌안 시점 및 우안 시점에 대해 각각 선택된 프레임을 동시에 디스플레이하는 동작을 포함하는 방법.
제17항에 있어서,
상기 좌안 시점 및 우안 시점에 대해 각각 선택된 프레임을 동시에 디스플레이하는 동작은 상기 3D 비디오를 보는 사용자가 착용한 입체 안경에 대응하는 방법.
제17항에 있어서,
상기 3D 비디오의 각 프레임들을 선택하는 동작은 상기 3D 비디오의 복호화 이후 수행되는 방법.
제17항에 있어서,
상기 3D 비디오의 각 프레임들을 선택하는 동작은 상기 3D 비디오의 각 프레임에 태그된(tagged) 상기 움직임 데이터에 따라 상기 3D 비디오를 복호화하기 전에 수행되는 방법.
제17항에 있어서,
상기 상관거리를 결정하는 동작은 상기 좌안 시점 및 우안 시점이 사용자에게 깊이 착각을 제공하도록 사용자가 상기 상관거리를 조정하는 방법.
제17항에 있어서,
상기 상관거리를 결정하는 동작은 상기 비디오 디스플레이 장치로부터 사용자의 거리를 감지하는 동작을 포함함을 특징으로 하는 방법.
제17항에 있어서,
상기 상관거리를 결정하는 단계는 미리 정해진 상관 거리들 중 상관거리를 선택하는 동작을 포함하는 방법.
제17항에 있어서,
상기 3D 데이터의 각 프레임의 상관 거리 및 움직임 데이터에 따라 상기 좌안 시점 및 우안 시점에 대해 상기 3D 비디오의 각 프레임을 선택하는 동작은 상기 상관거리에 대응하는 시야각을 갖는 프레임 쌍을 선택하는 동작을 포함하는 방법.
제24항에 있어서,
상기 시야각은 상기 프레임 쌍의 기준 프레임의 녹화시 비디오 캡처 장치의 시점 방향과 상기 프레임 쌍의 다른 프레임의 녹화시 상기 비디오 캡처 장치의 시점 방향 사이의 각거리인 방법.