KR20140108078A

KR20140108078A - 논-스테레오스코픽 카메라를 이용하여 스테레오스코픽 이미지를 생성하는 방법과 기기 및 장치

Info

Publication number: KR20140108078A
Application number: KR1020130039507A
Authority: KR
Inventors: 마이소르 라빈드라 스리니바사; 파반 서드힌드라; 산자이 나라시마 무르티; 라자람 하누만타차야 나가누르
Original assignee: 삼성전자주식회사
Priority date: 2013-02-28
Filing date: 2013-04-10
Publication date: 2014-09-05
Also published as: US20140240471A1

Abstract

논-스테레오스코픽 카메라를 이용하여 스테레오스코픽 이미지들을 생성하기 위한 방법과 기기 및 장치가 개시된다. 일 실시 예에서, 장면의 제1 이미지가 전자 기기의 논-스테레오스코픽 카메라를 이용하여 캡처된다. 스테레오스코픽 이미지를 생성하기 위하여, 2개의 이미지들이 2개의 다른 뷰포인트들로부터 캡처된다. 이를 위하여, 제2 이미지를 캡처하는데 있어서 사용자를 안내하도록 가이드 프리뷰 스크린이 전자 기기의 디스플레이 유닛 상에 디스플레이된다. 가이드 프리뷰 스크린은 제2 이미지를 캡처하기 위해 전자 기기가 이동되어야 하는 방향을 표시한다. 일단 가이드 프리뷰 스크린이 제2 이미지가 캡처될 수 있음을 표시하면, 장면의 제2 이미지가 논-스테레오스코픽 카메라를 이용하여 캡처된다. 제1 이미지와 제2 이미지를 이용하여 장면의 스테레오스코픽 이미지가 생성되어 디스플레이 유닛 상에 디스플레이된다.

Description

논-스테레오스코픽 카메라를 이용하여 스테레오스코픽 이미지를 생성하는 방법과 기기 및 장치{METHOD, DEVICE, AND APPARATUS FOR GENERATING STEREOSCOPIC IMAGES USING A NON-STEREOSCOPIC CAMERA}

본 발명은 스테레오스코픽(stereoscopic) 이미지 생성에 관한 것으로, 더욱 상세하게는 논-스테레오스코픽(non-stereoscopic) 카메라를 이용하여 스테레오스코픽 이미지들을 생성하는 방법과 기기 및 장치에 관한 것이다.

스테레오스코픽 이미지는 인간의 두 눈을 통한 스테레오 시각의 원리에 의해 구현된다. 인간의 두 눈 사이의 약 65mm의 거리에 의해 유발되는 양안 시차(binocular parallax)는 3차원(three-dimension: 3D) 효과를 인지하는데 중요한 인자(factor)로서 역할을 할 수 있다. 3D 효과는 인간의 눈에 나타나는 실제 이미지와 동일한 이미지가 인간의 두 눈에 보여지는 방식으로 표현될 수 있다.

일반적으로, 스테레오스코픽 이미지는 스테레오 이미지들을 이용하여 생성된다. 스테레오 이미지들은 통상적으로 스테레오스코픽 3D 카메라라고도 알려진 스테레오 카메라를 이용하여 캡처된다. 예를 들어, 스테레오 카메라는 스테레오 이미지들을 캡처하기 위해 설계된 특별한 타입의 카메라이다. 이 스테레오 카메라는 인간의 두 눈 사이의 거리에 따라 분리된 2개의 렌즈들을 포함할 수 있다. 좌측 렌즈에 의해 캡처되는 스테레오 이미지는 오직 좌측 눈에 보여지고, 우측 렌즈에 의해 캡처되는 스테레오 이미지는 오직 우측 눈에 보여진다. 오늘날, 사용되는 대부분의 카메라들은 사용자가 스테레오스코픽 이미지들을 캡처할 수 없는 논-스테레오스코픽 카메라들(예를 들어, 스마트폰이나 태블릿에 있는 카메라)이어서, 사용자에게 불편함을 야기한다.

따라서 본 발명은 논-스테레오스코픽 카메라를 이용하여 스테레오스코픽 이미지들을 생성하기 위한 방법과 기기 및 장치를 제공한다.

또한 본 발명은 논-스테레오스코픽 카메라를 이용하여 스테레오스코픽 이미지들을 생성하기 위해 어느 한 장면에 대해 상이한 뷰포인트들로부터 이미지들을 정확히 캡처할 수 있도록 하는 방법과 기기 및 장치를 제공한다.

또한 본 발명은 논-스테레오스코픽 카메라를 이용하여 스테레오스코픽 이미지들을 생성하기 위해 어느 한 장면에 대해 상이한 뷰포인트들로부터 이미지들을 정확히 캡처할 수 있도록 논-스테레오스코픽 카메라를 올바르게 이동시키도록 할 수 있는 방법과 기기 및 장치를 제공한다.

또한 본 발명은 논-스테레오스코픽 카메라를 이용하여 스테레오스코픽 이미지들을 생성하기 위해 어느 한 장면에 대해 상이한 뷰포인트들로부터 이미지들을 정확히 캡처할 수 있도록 논-스테레오스코픽 카메라를 올바르게 이동시키도록 사용자에게 안내할 수 있는 방법과 기기 및 장치를 제공한다.

본 발명의 일 측면에 따른 방법은 전자 기기의 논-스테레오스코픽 카메라를 이용하여 장면의 제1 이미지를 캡처하는 단계를 포함한다. 상기 방법은 상기 장면의 깊이를 연산하는 단계; 상기 장면의 상기 연산된 깊이를 기반으로 상기 전자 기기의 디스플레이 유닛 상에 블랭크 디스플레이 영역과 병렬로 상기 장면의 프리뷰 프레임을 디스플레이하는 단계를 더 포함한다. 또한, 상기 방법은 상기 블랭크 디스플레이 영역이 상기 디스플레이 유닛으로부터 사라질 때 상기 장면의 제2 이미지를 캡처하는 단계를 포함한다. 또한 상기 방법은 상기 제1 이미지와 상기 제2 이미지를 이용하여 상기 장면의 스테레오스코픽 이미지를 생성하는 단계를 포함한다. 또한, 상기 방법은 상기 전자 기기의 상기 디스플레이 유닛 상에 상기 장면의 스테레오스코픽 이미지를 디스플레이하는 단계를 더 포함한다.

본 발명의 다른 측면에 따른 기기는 논-스테레오스코픽 카메라, 스테레오스코픽 이미지 생성 유닛 및 디스플레이 유닛을 포함한다. 상기 스테레오스코픽 이미지 생성 유닛은 상기 논-스테레오스코픽 카메라를 이용하여 장면의 제1 이미지를 캡처하며, 스테레오스코픽 효과를 생성하기 위해 상기 장면의 깊이를 연산하고, 상기 장면의 상기 연산된 깊이를 기반으로 하는 블랭크 디스플레이 영역과 병렬로 상기 장면의 프리뷰 프레임을 디스플레이하는 가이드 프리뷰 스크린을 제공한다. 상기 스테레오스코픽 이미지 생성 유닛은 상기 가이드 프리뷰 스크린 전체가 상기 프리뷰 프레임에 의해 점유될 때, 상기 장면의 제2 이미지를 캡처하기 위하여 캡처 신호를 생성한다. 상기 논-스테레오스코픽 카메라는 상기 캡처 신호를 기반으로 상기 장면의 제2 이미지를 캡처한다. 상기 스테레오스코픽 이미지 생성 유닛은 상기 제1 이미지와 상기 제2 이미지를 이용하여 상기 장면의 스테레오스코픽 이미지를 생성한다.

본 발명의 또 다른 측면에 따른 장치는 마이크로프로세서, 및 상기 마이크로프로세서와 결합된 메모리를 포함하고, 상기 메모리는 실행 가능한 프로그램의 형태로 저장된 가이드 프리뷰 모듈을 포함한다. 상기 마이크로프로세서는, 상기 실행 가능한 프로그램을 실행하여, 제1 뷰포인트로부터 제1 이미지가 논-스테레오스코픽 카메라를 이용하여 캡처되는 장면의 깊이를 연산한다. 상기 마이크로프로세서는 상기 장면의 상기 연산된 깊이에 해당하는 블랭크 디스플레이 영역과 병렬로 상기 장면의 프리뷰 프레임을 디스플레이하는 가이드 프리뷰 스크린을 생성한다. 상기 마이크로프로세서는 상기 가이드 프리뷰 스크린 전체가 상기 프리뷰 프레임에 의하여 점유될 때 상기 장면의 상기 제2 이미지를 캡처하기 위한 캡처 신호를 생성하여, 상기 장면의 제2 이미지가 상기 논-스테레오스코픽 카메라를 이용하여 제2 뷰포인트로부터 캡처되도록 한다. 또한 상기 마이크로프로세서는 상기 제1 이미지와 상기 제2 이미지를 이용하여 상기 장면의 스테레오스코픽 이미지를 생성한다.

본 발명에 따르면, 논-스테레오스코픽 카메라를 이용하여 어느 한 장면에 관해 상이한 제1, 제2 뷰포인트들로부터 제1, 제2 이미지를 정확히 캡처하여 스테레오스코픽 이미지를 생성할 수 있다. 또한 제1 이미지에 뒤이어 제2 이미지가 정확히 캡처될 수 있도록 하기 위해 논-스테레오스코픽 카메라를 올바르게 이동시키도록 사용자에게 안내함으로써, 제2 이미지가 정확히 캡처될 수 있도록 한다.

도 1a는 본 발명의 실시 예에 따라 논-스테레오스코픽 카메라를 이용하여 스테레오스코픽 이미지들을 생성하는 전자 기기의 블록도,
도 1b는 본 발명의 실시 예에 따른 도 1a의 스테레오스코픽 이미지 생성 유닛의 블록도,
도 2는 본 발명의 실시 예에 따라 논-스테레오스코픽 카메라를 이용하여 캡처된 이미지들로부터 스테레오스코픽 이미지를 생성하는 예시적인 방법을 도시한 프로세스 흐름도,
도 3은 본 발명의 실시 예에 따라 스테레오스코픽 이미지를 생성하기 위한 장면의 제2 이미지를 캡처하는 상세한 방법을 도시한 프로세스 흐름도,
도 4는 본 발명 실시 예에 따라 논-스테레오스코픽 카메라를 이용하여 상이한 뷰포인트들로부터 제1 이미지와 제2 이미지를 캡처하는 것을 도시한 예시도,
도 5a 내지 도 5c는 사용자가 장면의 제1 이미지에 뒤이어 제2 이미지를 캡처하는 것을 지원하는 가이드 프리뷰 스크린의 예시도,
도 6a 및 도 6b는 전자 기기가 올바른 방향 또는 잘못된 방향으로 시프트되는지를 디스플레이하는 가이드 프리뷰 스크린의 예시도,
도 7은 본 발명의 실시 예에 따라 장면의 프리뷰 프레임의 이동을 결정하기 위하여 결과 모션 벡터를 연산하는 예시적인 방법을 도시한 프로세스 흐름도,
도 8은 프리뷰 프레임과 연관된 구성 모션 벡터들과 결과 모션 벡터를 도시한 예시도,
도 9는 본 발명의 실시 예에 따라 제1 이미지에 대해 제2 이미지를 후처리하는 예시적인 방법을 도시한 프로세스 흐름도.

본 명세서에 첨부된 도면들은 오직 도시를 목적으로 하며, 어떤 식으로라도 본 발명의 개시의 범위를 한정하는 것이 의도되지는 않는다.

본 발명의 실시 예들에 대한 하기의 상세한 설명에서, 본 발명이 수행되는 특정 실시 예들이 도시에 의해 보여지는 도면들이 참조된다. 이러한 실시 예들은 당업자들이 본 발명을 수행하도록 충분히 상세히 기술되고, 다른 실시 예들이 활용될 수 있으며 본 발명의 범위를 이탈하지 않고 변경이 가능함을 이해하여야 한다. 따라서, 하기의 상세한 설명은 한정하는 식으로 이루어지지 않으며, 본 발명의 범위는 첨부된 청구항들에 의해서만 정의된다.

도 1a는 본 발명의 실시 예에 따라 논-스테레오스코픽 카메라(102)를 이용하여 스테레오스코픽 이미지들을 생성하는 전자 기기(100)의 블록도이다.

도 1a를 참조하면, 전자 기기(100)는 논-스테레오스코픽 카메라(102), 스테레오스코픽 이미지 생성 유닛(104), 저장(storage) 유닛(106), 디스플레이 유닛(108)을 포함한다. 전자 기기(102)는 논-스테레오스코픽 카메라(102)를 갖는 모바일 폰, 스마트 폰, 디지털 카메라, 태블릿 컴퓨터, 패블릿(phablet), 또는 다른 어떤 기기일 수 있다. 논-스테레오스코픽 카메라(102)는 일안(single lens) 카메라일 수 있으며, 2차원(two dimension: 2D) 이미지들을 캡처할 수 있는 카메라일 수 있다.

스테레오스코픽 이미지 생성 유닛(104)은 사용자로부터의 입력에 기초하여 논-스테레오스코픽 카메라(102)로 신호를 트리거하여 이미지들을 캡처한다. 일 실시 예에 있어서, 스테레오스코픽 이미지 생성 유닛(104)은 2D 모드 또는 3D 모드에서 이미지들을 캡처하도록 논-스테레오스코픽 카메라(102)로 신호를 트리거할 수 있다.

3D 모드의 경우, 논-스테레오스코픽 카메라(102)는 상이한 뷰포인트(viewpoint)들로부터 동일한 장면(scene)의 다수의 이미지들을 캡처한다. 또한 스테레오스코픽 이미지 생성 유닛(104)은 상이한 뷰포인트들로부터 다수의 이미지들을 캡처하기 위하여 디스플레이 유닛(108) 상에 가이드 프리뷰 스크린(guided preview screen)을 디스플레이한다. 예를 들어, 장면의 스테레오스코픽 이미지를 생성하기 위해 이미지들을 캡처하는데 있어서, 가이드 프리뷰 스크린은 첫 번째의 뷰포인트로부터 장면의 이미지(이하, '제1 이미지'라 칭함)를 캡처한 후에 다른 뷰포인트로부터 동일한 장면의 이미지(이하, '제2 이미지'라 칭함)를 자동으로 캡처하는데 있어서 사용자를 지원(assist)한다.

또한 스테레오스코픽 이미지 생성 유닛(104)은 캡처된 이미지들을 처리하며 저장 유닛(106)에 저장한다. 상이한 뷰포인트들로부터 캡처된 이미지들에 대해, 스테레오스코픽 이미지 생성 유닛(104)은 동일한 장면의 이미지들을 처리하여 장면의 스테레오스코픽 이미지를 생성한다. 스테레오스코픽 이미지 생성 유닛(104)은 소프트웨어, 하드웨어, 또는 소프트웨어와 하드웨어의 조합으로서 구현될 수 있다. 예를 들어, 스테레오스코픽 이미지 생성 유닛(104)은 ASIC(Application Specific Integrated Circuit)의 일부로서 구현될 수도 있을 것이다. 다른 예로서, 스테레오스코픽 이미지 생성 유닛(104)은, 본 발명의 하나 또는 그 이상의 실시 예들을 구현하기 위하여, 컴퓨터 판독가능 매체(readable medium)에 저장된 명령들을 액세스하여 이 명령들을 마이크로프로세서 상에서 실행할 수 있다.

디스플레이 유닛(108)은 가이드 프리뷰 스크린, 프리뷰 프레임, 및 캡처되어 저장된 이미지들(예를 들어, 논-스테레오스코픽 이미지와 스테레오스코픽 이미지)을 디스플레이한다. 일 실시 예에서, 디스플레이 유닛(108)은 사용자로부터 터치에 기반한 입력을 받는다. 저장 유닛(106)은 논-스테레오스코픽 이미지들과 스테레오스코픽 이미지들을 저장하는 휘발성 메모리 또는 비휘발성 메모리일 수 있다.

도 1b는 본 발명의 실시 예에 따른 도 1a의 스테레오스코픽 이미지 생성 유닛(104)의 블록도이다. 스테레오스코픽 이미지 생성 유닛(104)은 마이크로프로세서(110), 마이크로프로세서(110)에 결합된 메모리(112)를 포함한다. 메모리(112)는 실행 가능(executable)한 프로그램 형태로 저장된 가이드 프리뷰 모듈(114), 및 이미지 처리 모듈(116)을 포함한다. 마이크로프로세서(110)는 실행 가능한 프로그램을 실행하여 장면의 스테레오스코픽 이미지들을 생성한다. 예를 들어, 마이크로프로세서(110)가 실행 가능한 프로그램을 실행할 때, 가이드 프리뷰 모듈(114)은 논-스테레오스코픽 카메라(102)에 의하여 제1 뷰포인트로부터 제1 이미지가 캡처되는 장면의 깊이(depth)를 마이크로프로세서(110)가 연산할 수 있도록 한다. 또한 가이드 프리뷰 모듈(114)은 장면의 프리뷰 프레임을 블랭크(blank) 디스플레이 영역과 병렬로 디스플레이하는 가이드 프리뷰 스크린을 마이크로프로세서(110)가 생성할 수 있도록 한다. 일 실시 예에서, 블랭크 디스플레이 영역의 크기(size)는 장면의 연산된 깊이에 해당한다.

또한, 가이드 프리뷰 모듈(114)은, 논-스테레오스코픽 카메라(102)가 올바른 방향으로 사용자에 의해 이동될 때, 마이크로프로세서(110)가 블랭크 디스플레이 영역의 크기를 감소시키고 프리뷰 프레임의 크기를 증가시킬 수 있도록 한다. 또한, 가이드 프리뷰 모듈(114)은, 논-스테레오스코픽 카메라(102)가 잘못된 방향으로 이동될 때, 마이크로프로세서(110)가 사용자에게 통지할 수 있도록 한다.

가이드 프리뷰 스크린 전체가 프리뷰 프레임에 의해 점유될 때, 가이드 프리뷰 모듈(114)은 마이크로프로세서(110)가 장면의 제2 이미지를 캡처하기 위하여 캡처 통지를 생성할 수 있도록 한다. 캡처 통지를 기반으로, 논-스테레오스코픽 카메라(102)는 제2 뷰포인트로부터 장면의 제2 이미지를 캡처한다. 이미지 처리 모듈(116)은 마이크로프로세서(110)가 제1 이미지와 제2 이미지를 이용하여 장면의 스테레오스코픽 이미지를 생성할 수 있도록 한다. 스테레오스코픽 이미지 생성 유닛(104)의 동작은 이하에서 보다 상세히 설명된다.

도 2는 본 발명의 실시 예에 따라 논-스테레오스코픽 카메라(102)를 이용하여 캡처된 이미지들로부터 스테레오스코픽 이미지를 생성하는 예시적인 방법을 도시한 프로세스 흐름도이다.

도 2를 참조하면, 단계 202에서, 장면의 제1 이미지가 논-스테레오스코픽 카메라(102)를 이용하여 캡처된다. 일 실시 예에서, 논-스테레오스코픽 카메라(102)는 사용자가 장면의 제1 이미지를 캡처하기 위하여 신호를 트리거할 때 제1 이미지를 캡처한다. 이 실시 예에서, 스테레오스코픽 이미지 생성 유닛(104)은 제1 이미지를 캡처하기 위한 신호를 감지하고, 논-스테레오스코픽 카메라(102)에게 제1 이미지를 캡처할 것을 명령한다.

단계 204에서, 제2 이미지를 자동으로 캡처함에 있어서 사용자에게 안내하기 위하여 디스플레이 유닛(108) 상에 가이드 프리뷰 스크린이 디스플레이된다. 스테레오스코픽 이미지를 생성하기 위해서는, 2개의 상이한 뷰포인트들, 즉 우측 카메라 뷰포인트 및 좌측 카메라 뷰포인트로부터 2개의 이미지들이 캡처될 것이 요구된다. 제1 이미지가 우측 카메라 뷰포인트로부터 캡처된다면, 제2 이미지는 좌측 카메라 뷰포인트로부터 캡처될 필요가 있다.

전자 기기(100)는 싱글 논-스테레오스코픽 카메라인 논-스테레오스코픽 카메라(102)를 채용하므로, 전자 기기(100)가 다른 뷰포인트로부터 제2 이미지를 캡처하기 위하여 제1 이미지가 캡처된 위치로부터 변위(displace)되어야 한다. 본 발명의 실시 예에 따라, 스테레오스코픽 이미지 생성 유닛(104)은 제1 이미지를 캡처할 때 전자 기기(100)가 이동될 거리를 결정하고, 디스플레이 유닛(108) 상에 가이드 프리뷰 스크린을 디스플레이한다. 예시적인 가이드 프리뷰 스크린이 도 5a 내지 도 5c에 도시되어 있다.

일 실시 예에서, 가이드 프리뷰 스크린은 제2 이미지를 캡처하기 위해 전자 기기(100)가 이동되어야 하는 방향과 전자 기기(100)가 변위될 거리를 표시(indicate)한다. 예를 들어, 제1 이미지가 우측 카메라 뷰포인트로부터 캡처된다면, 가이드 프리뷰 프레임은 전자 기기(100)가 제2 이미지를 캡처하기 위하여 좌측 방향으로 이동되어야 할 것을 표시한다. 이 경우에, 사용자가 제1 방향으로 전자 기기(100)를 시프트(shift)하면, 가이드 프리뷰 프레임은 전자 기기(100)가 이동되는 방향이 올바르다는 것을 표시한다. 그러나, 사용자가 전자 기기(100)를 제2 방향으로 이동시키면, 가이드 프리뷰 프레임은 전자 기기(100)가 이동되는 방향이 잘못되었다는 것을 표시한다. 또한 가이드 프리뷰 스크린은 제2 이미지를 캡처하기 위하여 전자 기기(100)가 시프트될 거리를 디스플레이 유닛(108) 상에 디스플레이할 수 있다. 이는 다른 뷰포인트로부터 제2 이미지를 정확히 캡처하는데 있어서 사용자를 지원할 것이다. 제2 이미지를 캡처하는데 있어서 사용자를 안내하기 위하여 스테레오스코픽 이미지 생성 유닛(104)에 의해 수행되는 프로세스의 단계들은 도 3에 도시된다.

단계 206에서, 요구되는 거리만큼 전자 기기(100)가 일단 이동되면, 즉 제2 이미지가 캡처될 수 있음을 가이드 프리뷰 스크린이 표시할 때, 장면의 제2 이미지가 논-스테레오스코픽 카메라(102)를 이용하여 자동으로 캡처된다. 일 실시 예에서, 사용자가 전자 기기(100)를 가이드 프리뷰 스크린을 통해 가리켜진 것처럼 이동시킬 때, 스테레오스코픽 이미지 생성 유닛(104)은 제2 이미지가 캡처될 수 있다고 결정한다. 일 실시 예에서, 스테레오스코픽 이미지 생성 유닛(104)은 논-스테레오스코픽 카메라(102)에게 장면의 제2 이미지를 캡처할 것을 명령한다. 다른 실시 예에서, 스테레오스코픽 이미지 생성 유닛(104)이 제2 이미지를 캡처하기 위한 캡처 통지를 생성할 때, 사용자는 장면의 제2 이미지를 캡처하기 위하여 신호를 트리거할 수 있다. 그러면, 스테레오스코픽 이미지 생성 유닛(104)은 사용자에 의해 트리거된 신호를 감지하고, 논-스테레오스코픽 카메라(102)에게 장면의 제2 이미지를 캡처할 것을 명령한다.

단계 208에서, 제2 이미지가 제1 이미지에 대하여 후처리(post-process)된다. 제1 이미지와 제2 이미지는 더 나은 스테레오스코픽 효과를 위해 완전히 수평 정렬(horizontal alignment)이 되어야 한다. 제2 이미지가 수평으로 정렬되지 않으면, 스테레오스코픽 이미지 생성 유닛(104)은 제1 이미지에 대하여 수평 정렬을 교정하기 위하여 제2 이미지를 후처리한다. 일 예로서, 제2 이미지는 이미지 교정 알고리즘(image rectification algorithm)을 이용하여 후처리될 수 있다. 제2 이미지를 후처리하기 위하여 스테레오스코픽 이미지 생성 유닛(104)에 의해 수행되는 단계들이 도 9에 도시되어 있다. 다른 실시 예로서, 올바른 방향을 따라 수신되는 중간 프리뷰 프레임들 각각과 제1 이미지를 조합하여 다수의 후처리된 이미지들이 생성될 수 있다. 다수의 후처리된 이미지들은 제1 이미지와 완전히 수평 정렬된다. 따라서, 다수의 후처리된 이미지들 중의 어떤 것을 사용자가 스테레오스코픽 이미지를 생성하기 위해 선택할 옵션이 제공된다.

단계 210에서, 제1 이미지와 제2 이미지를 이용하여 장면의 스테레오스코픽 이미지가 생성되어 디스플레이 유닛(108) 상에 디스플레이된다. 스테레오스코픽 이미지 생성 유닛(104)에 의해 생성되는 스테레오스코픽 이미지는, 특정 타입의 디스플레이 기기들(예를 들어, 3D 텔레비전, 논-스테레오스코픽 디스플레이 등) 상에서 보일 때, 사용자에게 깊이감을 주어 시각적 콘텐트(content)에 추가적인 차원을 부가하는 단일 포맷에서의 제1 이미지와 제2 이미지의 조합이다. 이 깊이감은 눈의 시각적 불일치 때문에 인지된다. 사용자의 양 눈이 동일한 장면의 상이한 버전을 보기 때문에, 사용자의 뇌는 제1 이미지와 제2 이미지 간의 깊이로서 이들 차이를 매핑한다. 2개의 이미지들로부터 스테레오스코픽 이미지를 생성하여 디스플레이하는 프로세스는 당해 기술 분야에 잘 알려져 있으므로, 이에 관한 더 이상의 설명은 생략한다.

상술한 본 발명의 실시 예에 따른 방법은 파노라마 이미지들을 캡처하도록 구현될 수 있는 것도 생각해 볼 수 있다. 본 발명은 사용자가 카메라 이미지 캡처 해상도로 파노라마 이미지들을 캡처하여, 파노라마 이미지들의 품질을 개선할 수 있도록 한다.

도 3은 본 발명의 실시 예에 따라 스테레오스코픽 이미지를 생성하기 위한 장면의 제2 이미지를 캡처하는 상세한 방법을 도시한 프로세스 흐름도이다.

일단 장면의 제1 이미지가 캡처되면, 스테레오스코픽 이미지를 생성하기 위하여, 다른 뷰포인트로부터의 동일한 장면의 다른 이미지인 제2 이미지가 논-스테레오스코픽 카메라(102)를 이용하여 캡처될 것이 요구된다. 도 3에 보인 단계들 302 내지 320은 전자 기기(100)가 제2 이미지를 캡처하는데 있어서 사용자를 지원하는 단계적인 프로세스를 도시한다.

단계 302에서, 제1 이미지를 캡처하기 위해 설정된 장면 모드 타입이 결정된다. 장면 모드 타입은 세로 모드(portrait mode), 가로 모드(landscape mode), 야외 모드(outdoor mode), 매크로 모드(macro mode), 및 자동 장면 모드(auto scene mode)를 포함할 수 있다. 일 실시 예에서, 장면 모드 타입은 장면의 피사체가 논-스테레오스코픽 카메라(102)로부터 위치된 거리를 기반으로, 제1 이미지의 캡처 전에 사용자에 의해 선택된다. 예를 들어, 가로 모드는 장면의 피사체가 논-스테레오스코픽 카메라(102)에 가까이 위치할 때 선택된다. 반면에, 장면의 물체가 논-스테레오스코픽 카메라(102)로부터 매우 멀리 위치하면, 사용자는 매크로 모드를 선택할 수 있다. 다른 실시 예로서, 사용자에 의해 자동 장면 모드가 선택될 때 당해 기술 분야에 잘 알려진 방법들을 이용하여 장면 모드 타입이 자동으로 결정될 수 있다. 일 실시 예에 있어서, 자동 장면 모드가 선택되면, 장면의 피사체에 광 빔(light beam)을 쏘고, 광 빔이 되돌아 오는데 걸리는 시간을 계산하고, 광 빔이 되돌아 오는데 걸리는 시간을 기반으로 논-스테레오스코픽 카메라(102)로부터 장면의 피사체의 거리를 결정하여, 장면 모드 타입이 자동으로 결정된다. 피사체가 매우 멀면, 장면 모드 타입이 매크로 모드로 설정된다. 또한 피사체가 가까우면, 장면 모드 타입은 가로 모드로 설정된다.

단계 304에서, 장면 모드 타입을 기반으로 장면의 깊이가 연산된다. 각 장면 모드 타입은 스테레오스코픽 효과의 더 나은 인지를 위해 제1 이미지와 제2 이미지 간에 요구되는 특정 깊이와 연관된다. 예를 들어, 가로 모드의 깊이(X)는 야외 모드보다 작은 반면, 야외 모드의 깊이(X)는 세로 모드보다 작다. 매크로 모드의 깊이(X)는 모든 모드들 중에 제일 크다.

이상적으로, 장면의 깊이(X)는 더 나은 3차원 시각 경험을 위해 제1 이미지의 총 폭의 1/30과 같은 값을 초과되지 않아야 한다. 따라서, 매크로 모드에는 최대 깊이, 즉 X = 1/30 × (제1 이미지의 폭)이 할당된다. 세로 모드, 야외 모드, 및 가로 모드와 같은 다른 장면 모드 타입들을 위한 깊이 값(X)은 매크로 모드에 대한 각자 모드의 깊이의 측면에서 상대적 위치를 기반으로 할당된다. 자동 장면 모드에 대해, 깊이(X)는 다음과 같이 연산된다. 실례로서, 피사체의 최소 거리가 영(zero) 미터로 설정되고 최대 거리가 100 미터로 설정되며, 이에 대응되는 깊이 값들을 8비트를 사용하여 0~255로 나타내는 예를 들어 살펴보면 다음과 같다. 예를 들어, 장면의 피사체가 논-스테레오스코픽 카메라(102)로부터 50 미터의 거리에 위치하면, 장면 모드에 할당된 깊이 값은 128이 될 것이다. 반면, 피사체가 논-스테레오스코픽 카메라(102)로부터 1 미터에 위치하면, 장면 모드에 할당된 깊이 값은 3이 될 것이다. 그러나, 피사체가 100 미터를 넘는 거리에 위치하면, 깊이는 무한 값이 될 것이다.

상기 단계 304에서 연산된 깊이로 제2 이미지를 캡처하기 위하여, 전자 기기(100)는 제1 이미지가 캡처된 위치로부터 수평으로(즉, 우측 방향 또는 좌측 방향으로) 시프트되어 변위된다. 전자 기기(100)가 수평으로 변위될 거리는 피사체의 깊이에 달려 있다. 깊이 값이 크면(즉, 피사체가 가까우면), 제1 이미지가 캡처된 위치로부터 전자 기기(100)가 변위될 거리가 커진다. 반면, 깊이가 얕으면(즉, 피사체가 멀리 있으면), 전자 기기(100)가 변위될 거리는 작아진다. 상술한 바와 같이, 깊이 값은 매크로 장면 모드에 대해 더 크고, 가로 장면 모드에 대해 더 작다.

전자 기기(100)를 이동시키기 위해 사용자에게 안내될 필요가 있다. 본 발명에 따르면, 전자 기기(100)를 이동시키기 위해 사용자에게 안내하는 도 5a 및 도 5b에 도시된 바와 같은 가이드 프리뷰 스크린이 디스플레이 유닛(108) 상에 디스플레이된다. 가이드 프리뷰 스크린은 디스플레이 유닛(108)의 수직 에지(edge)로부터 옵셋된 장면의 프리뷰 프레임을 디스플레이할 수 있다. 이는 하기의 단계들에서 상세히 기술되는 바와 같이 제1 이미지가 캡처된 위치로부터 제2 이미지를 캡처하기 위해 소정의 거리만큼 전자 기기(100)가 시프트되어야 한다는 것을 표시한다.

단계 306에서, 디스플레이 유닛(108) 상에서 장면의 프리뷰 프레임이 옵셋될 거리가 장면의 연산된 깊이를 기반으로 연산된다. 예를 들어, 장면 타입 모드가 매크로 모드로 설정되면, 매크로 모드의 깊이는 1/30 × (제1 이미지의 폭)과 같다. 이 깊이 값에 해당하는 장면의 프리뷰 프레임이 디스플레이 유닛(108) 상에서 옵셋될 거리는 1/30 × (디스플레이 유닛(108)의 폭)과 같다. 일 실시 예에서, 프리뷰 프레임이 옵셋될 거리는 여러 깊이 값들에 대해 미리 연산되어 각 장면 타입에 대한 해당 깊이 값들에 관해 룩업 테이블에 저장된다. 이 실시 예에서, 깊이 값에 해당하는 거리는 룩업 테이블을 이용하여 결정된다.

단계 308에서, 제2 이미지를 캡처하는데 있어서 사용자를 안내하기 위하여 장면의 프리뷰 프레임이 디스플레이 유닛(108)의 수직 에지로부터 연산된 거리에서 디스플레이된다. 일 실시 예에서, 프리뷰 프레임에 인접하며, 옵셋 거리에 해당하는 디스플레이 영역이 블랭크 디스플레이 영역에 의해 점유된다. 즉, 도 5a에 도시된 바와 같이 프리뷰 프레임(402)은 디스플레이 유닛(108) 상에서 블랭크 디스플레이 영역(404)과 병렬로 디스플레이된다. 일 예 있어서, 블랭크 디스플레이 영역에 해당하는 픽셀들은 흰 색상이다. 또한, 피사체의 깊이가 얕으면, 블랭크 디스플레이 영역의 크기가 작은 반면, 피사체의 깊이가 깊으면, 블랭크 디스플레이 영역의 크기가 크다. 이에 따라, 블랭크 디스플레이 영역의 크기가 작은 경우는, 전자 기기(100)가 작은 거리만큼 이동되어야 함을 의미한다. 그러나, 블랭크 디스플레이 영역의 크기가 큰 경우는, 전자 기기(100)가 큰 거리만큼 이동되어야 함을 의미한다. 그러므로, 디스플레이 유닛(108) 상에 디스플레이되는 블랭크 디스플레이 영역은 제2 이미지를 캡처하기 위해 특정한 방향(예를 들어, 우측 방향 또는 좌측 방향)으로 전자 기기(100)가 변위되어야 함을 표시한다. 이에 따라, 사용자는 제2 이미지를 자동으로 캡처하기 위해 특정한 방향으로 전자 기기(100)를 이동시킨다. 이 과정 중에, 전자 기기(100)의 시프트가 단계 310에서 감지된다. 전자 기기(100)의 이동은 장면의 프리뷰 프레임의 이동을 기반으로 감지된다. 일 실시 예에서, 프리뷰 프레임의 이동은 결과 모션 벡터(resultant motion vector)를 기반으로 감지된다. 결과 모션 벡터를 연산하는 것에 관련된 단계들이 도 7에 도시되어 있다.

단계 312에서, 결과 모션 벡터의 방향을 기반으로 전자 기기(100)가 올바른 방향으로 변위되는지가 결정된다. 전자 기기(100)가 올바른 방향을 향하여 시프트됨에 따라, 단계 314에서, 디스플레이 유닛(108) 상에서 블랭크 디스플레이 영역의 크기는 감소하고, 프리뷰 프레임의 크기는 실질적으로 동시에 증가된다. 이 과정은 단계 306에서 연산된 거리만큼 전자 기기(100)를 이동함에 있어서 사용자를 지원한다. 디스플레이 유닛(108) 상에 디스플레이되는 블랭크 디스플레이 영역의 크기에 기반하여, 블랭크 디스플레이 영역은 사라지고(즉, 소정의 옵셋이 영(zero)이 되고) 프리뷰 프레임이 디스플레이 유닛(108)을 전체적으로 점유할 때까지, 사용자는 계속하여 전자 기기(100)를 이동시킨다. 그러나, 전자 기기(100)가 잘못된 방향으로 시프트된다고 결정되면, 단계 316에서, 사용자는 전자 기기(100)가 잘못된 방향으로 시프트된다고 하기에 상세히 기술되는 예시적인 기법들 중의 어느 것을 이용하여 통지받는다.

일 예에 있어서, 전자 기기(100)가 올바른 방향으로 시프트되면, 프리뷰 프레임의 에지들이 제1 색상(예를 들어, 녹색)으로 하이라이트된다. 전자 기기(100)가 잘못된 방향으로 이동되면, 프리뷰 프레임의 에지들이 제2 색상(예를 들어, 적색)으로 하이라이트된다. 다른 예에 있어서, 전자 기기(100)가 올바른 방향으로 이동되는 것을 나타내는 제1 오디오 신호가 생성된다. 반면, 전자 기기(100)가 잘못된 방향으로 이동되는 것을 나타내는 제2 오디오 신호가 생성된다. 또 다른 예에 있어서, 디스플레이 유닛(108)의 밝기가 전자 기기(100)가 옳은 방향으로 이동되고 있다는 것을 나타내면서 증가된다. 유사하게, 디스플레이 유닛(108)의 밝기가 전자 기기(100)가 잘못된 방향으로 이동되고 있다는 것을 나타내면서 감소된다.

단계 318에서, 디스플레이 유닛(108) 상에 디스플레이되는 블랭크 디스플레이 영역의 크기가 실질적으로 영(zero)인지가 결정된다. 달리 말해, 전자 기기(100)가 단계 306에서 연산된 거리만큼 변위되었는지 결정된다. 블랭크 디스플레이 영역의 크기가 실질적으로 영(zero)이면, 단계 320에서 장면의 제2 이미지가 캡처된다. 블랭크 디스플레이 영역의 크기가 영(zero)가 아니면, 블랭크 디스플레이 영역의 크기가 실질적으로 영(zero)이 될 때까지 단계들 310 내지 318이 반복된다. 일 실시 예에서, 사용자가 이미지 캡처 신호를 트리거하도록 블랭크 디스플레이 영역이 디스플레이 유닛(108)으로부터 사라질 때, 제2 이미지를 캡처하기 위한 표시(예를 들어, 시각적 표시, 소리 표시 등)가 디스플레이 유닛(108) 상에 디스플레이된다. 다른 실시 예에서, 블랭크 디스플레이 영역이 디스플레이 유닛(108)으로부터 사라질 때, 논-스테레오스코픽 카메라(102)를 이용하여 제2 이미지가 자동으로 캡처된다.

도 4는 본 발명의 실시 예에 따라 논-스테레오스코픽 카메라(102)를 이용하여 상이한 뷰포인트들로부터 장면(406)의 제1 이미지와 제2 이미지를 캡처하는 것을 도시한 예시도이다. 사용자가 전자 기기(100)를 이용하여 장면(406)의 스테레오스코픽 이미지를 생성하기를 원한다고 생각하자. 또한, 사용자가 뷰포인트(A)로부터 장면(406)의 제1 이미지를 캡처한다고 생각하자. 스테레오스코픽 이미지를 생성하기 위하여, 다른 뷰포인트(말하자면 뷰포인트 B)로부터 동일한 장면(406)의 다른 이미지(즉, 제2 이미지)가 캡처될 것이 요구된다. 사용자가 제2 이미지를 캡처하기 위한 신호를 트리거할 때, 장면 모드 타입과 장면(406)의 깊이를 기반으로 스테레오스코픽 이미지 생성 유닛(104)은 전자 기기(100)가 사용자에 의해 이동될 필요가 있는 거리를 연산한다.

이 연산을 기반으로, 스테레오스코픽 이미지 생성 유닛(104)은 도 5a에 도시된 바와 같이 디스플레이 유닛(108) 상에서 블랭크 디스플레이 영역(404)와 병렬로 프리뷰 프레임(402)을 디스플레이한다. 블랭크 디스플레이 영역(404)은 장면(406)의 제2 이미지를 뷰포인트 B로부터 캡처하기 위해 전자 기기(100)가 이동될 거리에 해당한다. 사용자가 뷰포인트 A로부터 뷰포인트 B로 전자 기기(100)를 이동시킴에 따라, 스테레오스코픽 이미지 생성 유닛(104)은 도 5b에 도시된 바와 같이 블랭크 디스플레이 영역(404)의 크기를 감소시키고 프리뷰 프레임(402)의 크기를 증가시킨다. 사용자가 이 거리를 갔을 때, 도 5c와 같이, 프리뷰 프레임(402)은 완전히 디스플레이 유닛(108)을 점유하고 블랭크 디스플레이 영역(404)은 사라져 제2 이미지가 캡처될 수 있다는 것을 사용자에게 나타낸다. 따라서, 스테레오스코픽 이미지 생성 유닛(104)은 뷰포인트 B로부터 장면(406)의 제2 이미지를 캡처한다.

도 6a 및 도 6b는 전자 기기(100)가 올바른 방향 또는 잘못된 방향으로 시프트되는지를 디스플레이하는 가이드 프리뷰 스크린의 예시도이다. 사용자가 뷰포인트 B로부터 제2 이미지를 캡처하기 위해 전자 기기(100)를 시프트할 때, 사용자는 올바른 방향이나 잘못된 방향으로 이동할 수 있다. 사용자가 올바른 방향으로 전자 기기(100)를 이동시킬 때, 스테레오스코픽 이미지 생성 유닛(104)은 도 6a에 도시된 바와 같이 예를 들어, 밝은 회색 색상으로 가이드 프리뷰 스크린의 경계를 하이라이트한다. 그러나, 스테레오스코픽 이미지 생성 유닛(104)이 사용자가 잘못된 방향으로 전자 기기(100)를 시프트하는 중이라고 결정할 때, 스테레오스코픽 이미지 생성 유닛(104)은 도 6b에 도시된 바와 같이 예를 들어 어두운 회색 색상으로 가이드 프리뷰 스크린의 경계를 하이라이트한다. 이와 달리, 다른 타입의 표시/경고(indications/warning)가 전자 기기(100)에 의해 사용자에게 제공될 수 있다.

도 7은 본 발명의 실시 예에 따라 장면의 프리뷰 프레임의 이동을 결정하기 위하여 결과 모션 벡터(resultant motion vector)를 연산하는 예시적인 방법을 한 프로세스 흐름도이다. 사용자가 전자 기기(100)를 이동시키는 중일 때, 디스플레이 유닛(108) 상에 디스플레이되는 프리뷰 프레임은 변경될 필요가 있다. 일 실시 예에서, 전자 기기(100)의 이동은 결과 모션 벡터의 값을 기반으로 결정된다. 결과 모션 벡터는 하기에 기술되는 방식으로 연산된다.

단계 702에서, 디스플레이 유닛(108) 상에 디스플레이되는 현재의 프리뷰 프레임이 다수의 균등한 크기의 세그먼트들로 분할된다. 프리뷰 프레임으로부터 형성된 세그먼트들의 수는 전자 기기(100)의 원하는 정확성 및 처리 능력에 달려 있다. 프리뷰 프레임이 많은 수의 세그먼트들로 분할되면, 결과 모션 벡터는 더 정확할 것이다. 일 실시 예에서, 프리뷰 프레임이 분할될 세그먼트들의 수는 사용자가 원하는 정확도 및 전자 기기(100)의 처리 능력을 기반으로 미리 구성(pre-configured)된다.

단계 704에서, 미리 설정된 크기 m×n(예를 들어, m개의 수평 픽셀×n개의 수직 픽셀)인 블록이 각 세그먼트에서 선택되는데, 예를 들어 각 세그먼트에서 중앙에 위치한 블록이 선택될 수 있다. 단계 706에서, 이전 프리뷰 프레임의 해당 블록에 대한 현재 프리뷰 프레임의 선택된 블록의 모션이 추정된다. 일 실시 예에서, 블록의 모션은 당해 기술 분야에 잘 알려진 블록 매칭 알고리즘(block matching algorithm)들 중의 하나를 이용하여 추정된다. 예를 들어, 풀 서치 알고리즘(full search algorithm)이 블록의 모션을 연산하기 위해 적용될 수 있다. 단계 708에서, 각 블록의 모션을 기반으로 각 블록에 해당하는 구성 모션 벡터(constituent motion vector)가 연산된다. 단계 710에서, 각 블록에 해당하는 구성 모션 벡터를 모든 블록들에 대해 평균하여 결과 모션 벡터가 연산된다. 프리뷰 프레임과 연관된 각 블록에 대한 구성 모션 벡터와 결과 모션 벡터가 도 8에 도시되어 있다.

도 8은 프리뷰 프레임과 연관된 구성 모션 벡터들과 결과 모션 벡터의 예를 도시한 예시도이다. 도 8에서, 프리뷰 프레임(802)은 9개의 균등한 크기의 세그먼트들(804)로 분할된다. 9개의 균등한 크기의 세그먼트들(804) 각각에서 블록(도시하지 않음)이 선택된다. 9개의 세그먼트들(804) 각각에 대해 연산된 구성 모션 벡터(806)는 실선의 화살표들로서 도시되어 있는 반면, 전 프리뷰 프레임용으로 연산된 결과 모션 벡터(808)는 점선의 화살표로서 도시되어 있다. 결과 모션 벡터는 전자 기기(100)의 이동과 이동 방향을 결정하는 것을 지원한다.

도 9는 본 발명의 실시 예에 따라 제1 이미지에 대해 제2 이미지를 후처리하는 예시적인 방법을 도시한 프로세스 흐름도이다. 가이드 프리뷰 스크린이 다른 뷰포인트로부터 제2 이미지를 캡처하기 위해 사용자를 안내하지만, 제1 이미지에 뒤이어 캡처된 제2 이미지는 제1 이미지에 대해 결함들(glitches)을 가질 수 있다. 스테레오스코픽 효과의 더 나은 인식을 위해, 제1 이미지와 제2 이미지는 완전히 수평으로 정렬되어야 한다. 잘못 정렬된 경우에, 제2 이미지를 수평으로 정렬되도록 하기 위해, 단계들 902 내지 908이 제2 이미지에 대해 수행된다.

단계 902에서, 제1 이미지의 코너 에지들이 확인된다. 당업자는 본 발명이 Harris 및 Stephens 코너 감지 알고리즘(corner detection algorithm), Shi-Thomas 코너 감지 알고리즘 등과 같은 잘 알려진 코너 감지 알고리즘을 이용하여 제1 이미지에서 코너 에지들을 결정한다는 것을 이해할 것이다. 단계 904에서, 제1 이미지의 코너 에지들에 해당하는 위치가 제2 이미지에서 결정된다. 예를 들어, Lucas-Kanade 광학 유동 알고리즘(optical flow algorithm)과 같은 광학 유동 알고리즘을 이용하여 코너 에지들에 해당하는 위치가 제2 이미지에서 결정된다. 제2 이미지에서의 코너 에지들의 위치는 제1 이미지와 제2 이미지 사이의 잘못된 정렬의 양을 결정하는 것을 돕는다.

단계 906에서, 제2 이미지에서의 제1 이미지의 코너 에지들의 위치를 기반으로 제1 이미지에 대한 제2 이미지의 모션이 연산된다. 일 실시 예에서, 제1 이미지에서의 각 코너 에지의 변위와 제2 이미지에서의 해당 위치가 연산되고, 4개의 코너 에지들에 연관된 변위의 평균이 결정된다. 단계 908에서, 연산된 모션의 y 성분(즉, 수직 변위)을 이용하여 제2 이미지가 제1 이미지와 수평으로 정렬된다.

본 발명의 특정 예시적 실시 예들을 참조하여 기술되었으나, 다양한 수정 및 변경이 다양한 실시 예들의 보다 넓은 사상 및 범위를 이탈하지 않고도 이러한 실시 예들에 이루어질 수 있음은 명확하다. 또한, 본 명세서에 기재된 다양한 기기들, 유닛들, 모듈들 등은 하드웨어 회로, 예를 들어, CMOS(complementary metal oxide semiconductor) 기반의 논리 회로, 펌웨어, 소프트웨어 중에 적어도 어느 한가지에 의해 구현될 수도 있고, 하드웨어, 펌웨어, 기계 판독 가능 매체에서 구현되는 소프트웨어 중의 어떤 조합에 의해 구현될 수도 있다. 예를 들어, 다양한 전기적 구조 및 방법들이 트랜지스터들, 논리 게이트들, 및 ASIC(Application Specific Integrated Circuit)과 같은 전기적 회로들을 이용하여 구현될 수 있다.

따라서 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 특허청구범위뿐만 아니라 특허청구범위의 균등한 것들에 의하여 정하여져야 한다.

Claims

논-스테레오스코픽 카메라를 이용하여 스테레오스코픽 이미지를 생성하는 방법에 있어서,
전자 기기의 논-스테레오스코픽 카메라를 이용하여 장면의 제1 이미지를 캡처하는 단계;
상기 장면의 깊이를 연산하는 단계;
상기 장면의 상기 연산된 깊이를 기반으로 상기 전자 기기의 디스플레이 유닛 상에 블랭크 디스플레이 영역과 병렬로 상기 장면의 프리뷰 프레임을 디스플레이하는 단계;
상기 블랭크 디스플레이 영역이 상기 디스플레이 유닛으로부터 사라질 때 상기 장면의 제2 이미지를 캡처하는 단계; 및
상기 제1 이미지와 상기 제2 이미지를 이용하여 상기 장면의 스테레오스코픽 이미지를 생성하는 단계를 포함하며,
상기 블랭크 디스플레이 영역은 상기 전자 기기가 상기 제2 이미지를 캡처하기 위해 이동될 거리를 표시하는 스테레오스코픽 이미지 생성 방법.
제1항에 있어서, 상기 전자 기기의 상기 디스플레이 유닛 상에 상기 장면의 상기 스테레오스코픽 이미지를 디스플레이하는 단계를 더 포함하는 스테레오스코픽 이미지 생성 방법.
제1항에 있어서, 상기 제1 이미지와 상기 제2 이미지는, 상기 장면의 다른 뷰포인트들에 해당하는 스테레오스코픽 이미지 생성 방법.
제1항에 있어서, 상기 장면의 깊이를 연산하는 단계는,
상기 캡처된 제1 이미지와 연관된 장면 모드를 결정하는 단계; 및
상기 장면 모드 타입을 기반으로 상기 장면의 깊이를 연산하는 단계를 포함하는 스테레오스코픽 이미지 생성 방법.
제4항에 있어서, 상기 장면 모드 타입은, 매크로 모드, 세로 모드, 가로 모드, 야외 모드, 및 자동 장면 모드 중에 적어도 하나를 포함하는 스테레오스코픽 이미지 생성 방법.
제1항에 있어서, 상기 장면의 상기 프리뷰 프레임을 디스플레이하는 단계는,
상기 프리뷰 프레임이 옵셋될 거리를 연산하는 단계; 및
상기 디스플레이 유닛의 수직 에지로부터 상기 연산된 거리에서 상기 프리뷰 프레임을 디스플레이하는 단계를 포함하는 스테레오스코픽 이미지 생성 방법.
제1항에 있어서, 상기 장면의 제2 이미지를 캡처하는 단계는,
상기 전자 기기의 이동을 감지하는 단계;
상기 전자 기기가 올바른 방향으로 이동되는지를 결정하는 단계;
상기 전자 기기가 상기 올바른 방향으로 이동되는 동안 상기 디스플레이 유닛 상에서 상기 블랭크 디스플레이 영역의 크기를 감소시킴과 동시에 상기 프리뷰 프레임의 크기를 증가시키는 단계;
상기 디스플레이 유닛 상에 디스플레이되는 상기 블랭크 디스플레이 영역의 크기가 영이 되었는지 결정하는 단계; 및
상기 블랭크 디스플레이 영역의 크기가 영이 되었을 때 상기 장면의 상기 제2 이미지를 캡처하는 단계를 포함하는 스테레오스코픽 이미지 생성 방법.
제1항에 있어서,
상기 전자 기기가 올바른 방향으로 이동되고 있는지를 결정하는 단계;
상기 전자 기기가 상기 올바른 방향으로 이동되고 있으면 상기 디스플레이 유닛 상에서 상기 프리뷰 프레임의 에지들을 제1 색상으로 하이라이트하는 단계; 및
상기 전자 기기가 잘못된 방향으로 이동되고 있으면 상기 디스플레이 유닛 상에서 상기 프리뷰 프레임의 에지들을 제2 색상으로 하이라이트하는 단계를 더 포함하는 스테레오스코픽 이미지 생성 방법.
제1항에 있어서,
상기 전자 기기가 올바른 방향으로 이동되고 있는지를 결정하는 단계;
상기 전자 기기가 올바른 방향으로 이동되고 있으면 제1 오디오 신호를 생성하는 단계; 및
상기 전자 기기가 잘못된 방향으로 이동되고 있으면 제2 오디오 신호를 생성하는 단계를 더 포함하는 스테레오스코픽 이미지 생성 방법.
제1항에 있어서,
상기 전자 기기가 올바른 방향으로 이동되고 있는지를 결정하는 단계;
상기 전자 기기가 올바른 방향으로 이동되고 있으면 상기 디스플레이 유닛의 밝기를 증가시키는 단계; 및
상기 전자 기기가 잘못된 방향으로 이동되고 있으면 상기 디스플레이 유닛의 밝기를 감소시키는 단계를 더 포함하는 스테레오스코픽 이미지 생성 방법.
제7항에 있어서, 상기 전자 기기의 이동을 감지하는 단계는,
상기 장면의 현재 프리뷰 프레임을 다수의 균등한 크기의 세그먼트들로 분할하는 단계;
상기 다수의 세그먼트들 각각에서 중앙에 위치하는 블록을 선택하는 단계;
상기 각 세그먼트의 상기 선택된 블록과 연관된 모션 벡터를 연산하는 단계;
상기 각 세그먼트에 연관된 블록과 연관된 상기 모션 벡터를 평균하여 결과 모션 벡터를 연산하는 단계; 및
상기 결과 모션 벡터를 기반으로 상기 전자 기기의 시프트를 감지하는 단계를 포함하는 스테레오스코픽 이미지 생성 방법.
제1항에 있어서,
상기 제1 이미지와 연관된 코너 에지들을 확인하는 단계;
상기 제2 이미지에서 상기 제1 이미지에 연관된 상기 코너 에지들에 해당하는 위치를 결정하는 단계;
상기 제2 이미지에서 상기 코너 에지들에 해당하는 위치를 기반으로 상기 제1 이미지에 대한 상기 제2 이미지의 모션을 추정하는 단계; 및
상기 추정된 모션을 기반으로 상기 제1 이미지와 상기 제2 이미지를 정렬하는 단계를 더 포함하는 스테레오스코픽 이미지 생성 방법.
논-스테레오스코픽 카메라; 및
스테레오스코픽 이미지 생성 유닛을 포함하고,
상기 스테레오스코픽 이미지 생성 유닛은, 상기 논-스테레오스코픽 카메라를 이용하여 장면의 제1 이미지를 캡처하며, 스테레오스코픽 효과를 생성하기 위해 상기 장면의 깊이를 연산하고, 상기 장면의 연산된 깊이를 기반으로 하는 블랭크 디스플레이 영역과 병렬로 상기 장면의 프리뷰 프레임을 디스플레이하는 가이드 프리뷰 스크린을 제공하며, 상기 가이드 프리뷰 스크린 전체가 상기 프리뷰 프레임에 의해 점유될 때, 상기 장면의 제2 이미지를 캡처하기 위하여 캡처 신호를 생성하고, 상기 캡처 신호를 기반으로 상기 장면의 제2 이미지를 상기 논-스테레오스코픽 카메라를 이용하여 캡처하며, 상기 제1 이미지와 상기 제2 이미지를 이용하여 상기 장면의 스테레오스코픽 이미지를 생성하는 기기.
제13항에 있어서, 상기 장면의 스테레오스코픽 이미지를 디스플레이하도록 구성된 디스플레이 유닛을 더 포함하는 기기.
제13항에 있어서, 상기 스테레오스코픽 이미지 생성 유닛은, 상기 캡처된 제1 이미지와 연관된 장면 모드 타입을 결정하고, 상기 장면 모드 타입을 기반으로 상기 장면의 깊이를 연산하는 기기.
제13항에 있어서, 상기 스테레오스코픽 이미지 생성 유닛은, 상기 프리뷰 프레임이 옵셋될 거리를 연산하고, 상기 디스플레이 유닛의 수직 에지로부터 상기 연산된 거리에서 상기 프리뷰 프레임을 디스플레이하는 기기.
제16항에 있어서, 상기 스테레오스코픽 이미지 생성 유닛은, 상기 논-스테레오스코픽 카메라의 이동을 감지하고, 상기 논-스테레오스코픽 카메라가 올바른 방향으로 이동되는 동안 상기 블랭크 디스플레이 영역의 크기를 감소시킴과 동시에 상기 프리뷰 프레임의 크기를 증가시키고, 상기 가이드 프리뷰 스크린 상에 디스플레이되는 상기 블랭크 디스플레이 영역의 크기가 영이 되었을 때 상기 장면의 상기 제2 이미지를 캡처하도록 표시하는 캡처 통지를 생성하는 기기.
제13항에 있어서, 상기 스테레오스코픽 이미지 생성 유닛은, 상기 논-스테레오스코픽 카메라가 올바른 방향으로 이동되고 있는지를 결정하고, 상기 논-스테레오스코픽 카메라가 올바른 방향으로 이동되고 있으면 상기 디스플레이 유닛 상에서 상기 프리뷰 프레임의 에지들을 제1 색상으로 하이라이트하며, 상기 논-스테레오스코픽 카메라가 잘못된 방향으로 이동되고 있으면 상기 디스플레이 유닛 상에서 상기 프리뷰 프레임의 에지들을 제2 색상으로 하이라이트하는 기기.
제13 항에 있어서, 상기 스테레오스코픽 이미지 생성 유닛은, 상기 논-스테레오스코픽 카메라가 올바른 방향으로 이동되고 있는지를 결정하고, 상기 논-스테레오스코픽 카메라가 올바른 방향으로 이동되고 있으면 제1 오디오 신호를 생성하며, 상기 논-스테레오스코픽 카메라가 잘못된 방향으로 이동되고 있으면 제2 오디오 신호를 생성하는 기기.
제13항에 있어서, 상기 스테레오스코픽 이미지 생성 유닛은, 상기 논-스테레오스코픽 카메라가 올바른 방향으로 이동되고 있는지를 결정하고, 상기 논-스테레오스코픽 카메라가 올바른 방향으로 이동되고 있으면 상기 가이드 프리뷰 스크린의 밝기를 증가시키며, 상기 논-스테레오스코픽 카메라가 잘못된 방향으로 이동되고 있으면 상기 가이드 프리뷰 스크린의 밝기를 감소시키는 기기.
마이크로프로세서; 및
상기 마이크로프로세서와 결합된 메모리를 포함하고,
상기 메모리는 실행 가능한 프로그램의 형태로 저장된 가이드 프리뷰 모듈을 포함하며,
상기 마이크로프로세서는, 상기 실행 가능한 프로그램을 실행하여,
제1 뷰포인트로부터 제1 이미지가 논-스테레오스코픽 카메라를 이용하여 캡처되는 장면의 깊이를 연산하고,
상기 장면의 연산된 깊이를 기반으로 하는 블랭크 디스플레이 영역과 병렬로 상기 장면의 프리뷰 프레임을 디스플레이하는 가이드 프리뷰 스크린을 생성하며,
상기 가이드 프리뷰 스크린 전체가 상기 프리뷰 프레임에 의하여 점유될 때 상기 장면의 상기 제2 이미지를 캡처하기 위한 캡처 통지를 생성하여, 상기 장면의 제2 이미지가 상기 논-스테레오스코픽 카메라를 이용하여 제2 뷰포인트로부터 캡처되도록 하는 장치.
제21항에 있어서, 상기 메모리는, 상기 마이크로프로세서에 의해 실행될 때, 상기 마이크로프로세서가 상기 제1 이미지와 상기 제2 이미지를 이용하여 상기 장면의 스테레오스코픽 이미지를 생성하도록 실행 가능한 프로그램의 형태로 저장된 이미지 처리 모듈을 포함하는 장치.
제21항에 있어서, 상기 마이크로프로세서는, 상기 캡처된 제1 이미지와 연관된 장면 모드 타입을 결정하고, 상기 장면 모드 타입을 기반으로 상기 장면의 깊이를 연산하는 장치.
제21항에 있어서, 상기 마이크로프로세서는, 상기 프리뷰 프레임이 옵셋될 거리를 연산하고, 상기 가이드 프리뷰 스크린의 수직 에지로부터 상기 연산된 거리에서 상기 프리뷰 프레임을 디스플레이하는 장치.
제24항에 있어서, 상기 마이크로프로세서는, 상기 논-스테레오스코픽 카메라의 이동을 감지하고, 상기 논-스테레오스코픽 카메라가 올바른 방향으로 되는 동안 상기 블랭크 디스플레이 영역의 크기를 감소시킴과 동시에 상기 프리뷰 프레임의 크기를 증가시키고, 상기 가이드 프리뷰 스크린 상에 디스플레이되는 상기 블랭크 디스플레이 영역의 크기가 영이 되었을 때 상기 장면의 상기 제2 이미지를 캡처하도록 표시하는 캡처 통지를 생성하는 장치.
제21항에 있어서, 상기 마이크로프로세서는, 상기 논-스테레오스코픽 카메라가 올바른 방향으로 이동되고 있는지를 결정하고, 상기 논-스테레오스코픽 카메라가 올바른 방향으로 이동되고 있으면 상기 프리뷰 프레임의 에지들을 제1 색상으로 하이라이트하며, 상기 논-스테레오스코픽 카메라가 잘못된 방향으로 이동되고 있으면 상기 프리뷰 프레임의 에지들을 제2 색상으로 하이라이트하는 장치.
제21항에 있어서, 상기 마이크로프로세서는, 상기 논-스테레오스코픽 카메라가 올바른 방향으로 이동되고 있는지를 결정하고, 상기 논-스테레오스코픽 카메라가 올바른 방향으로 이동되고 있으면 제1 오디오 신호를 생성하며, 상기 논-스테레오스코픽 카메라가 잘못된 방향으로 이동되고 있으면 제2 오디오 신호를 생성하는 장치.
제21항에 있어서, 상기 마이크로프로세서는, 상기 논-스테레오스코픽 카메라가 올바른 방향으로 이동되고 있는지를 결정하고, 상기 논-스테레오스코픽 카메라가 올바른 방향으로 이동되고 있으면 상기 가이드 프리뷰 스크린의 밝기를 증가시키며, 상기 논-스테레오스코픽 카메라가 잘못된 방향으로 이동되고 있으면 상기 가이드 프리뷰 스크린의 밝기를 감소시키는 장치.