KR20140004636A

KR20140004636A - 3차원 가능 비디오들 및 3차원 스틸 사진의 생성 및 저장을 위한 방법 및 카메라 시스템들

Info

Publication number: KR20140004636A
Application number: KR1020137009683A
Authority: KR
Inventors: 메드하 다하르마텔레케
Original assignee: 메드하 다하르마텔레케
Priority date: 2010-09-16
Filing date: 2010-09-16
Publication date: 2014-01-13
Also published as: US20140104388A1; US20130235259A1; SG179304A1; EP2617185A4; KR20140099817A; EP2617185A1; WO2012036628A8; CN103299240A; WO2012036637A3; WO2012036637A2; EP2616880A4; EP2616880A2; WO2012036626A8; CN103314568A; KR20140064701A; EP2616879A1; SG189409A1; US20140104389A1; SG2013090410A; EP2616879A4

Abstract

완전히 포커스하고자 하는 시야의 영역 내의 모든 객체들을 가지는 2-차원적인(2-D) 비디오 영상들 및 스틸 사진들을 생성할 수 있는 카메라 시스템이 개시된다. 배경을 포함하는 모든 객체들이 높은 이미지 품질로 완전히 포커스된다는 사실로 인해서, 이러한 비디오 영상들 및 스틸 사진들이 고품질의 3-차원적인(3-D) 비디오 영상들 및 3-D 스틸 사진들로 용이하게 변환될 수 있다. 이러한 변환은 소프트웨어 또는 하드웨어 또는 소프트웨어와 하드웨어 모두의 조합을 이용하여 이루어질 수 있을 것이다.

Description

3차원 가능 비디오들 및 3차원 스틸 사진의 생성 및 저장을 위한 방법 및 카메라 시스템들{METHODS AND CAMERA SYSTEMS FOR RECORDING AND CREATION OF 3DIMENSION (3D) CAPABLE VIDEOS AND 3DIMENSION (3D) STILL PHOTOS}

본원 발명의 실시예들은, 영화 단일 이미지 센서 및 광학 렌즈 모듈을 이용하여, 고품질 3-D 비디오 및 스틸 사진들로 변환될 수 있는 2-차원 비디오 및 스틸 이미지들을 기록하기 위한 카메라 시스템들 및 방법들에 관한 것이다.

표준 자동 포커스를 가지는 카메라는 단지 시야(view) 범위 내의 해당 영역만을 포커싱할 수 있다. 표준 자동 포커스 카메라는 근거리(예를 들어, 카메라로부터 5cm 거리) 및 원거리(예를 들어, 몇십 미터 또는 무한대까지)의 모든 객체들을 카메라의 이미지 센서 또는 사진 필름의 이미징 평면 상으로 동시에 포커스할 수 없다. 그에 따라, 표준 자동 포커스 카메라를 이용하여 캡쳐된 2-D 비디오로부터 양호한 품질의 3-차원적인 비디오를 생성할 있는 소프트웨어를 만들기가 불가능하거나 매우 어렵게 된다. 소프트웨어는 3D 비디오를 2D 비디오로부터 생성할 수 있다. 또한, 소프트웨어 및 하드웨어 조합들을 이용하여 2D 비디오로부터 3D 비디오를 생성할 수 있다. 양호한 3D를 달성하기 위한 핵심은 시야 영역 내의 모든 객체들을 카메라의 센서 상으로 포커싱하여, 시야 내의 모든 개소에서 완전히(fully) 포커싱되게 하는 것이다. 단일 장면(scene)의 비디오를 기록하기 위해서 둘 이상의 카메라들을 이용하고 그리고 추후에 둘 이상의 카메라에 의해서 이루어진 2개의 개별적인 비디오 기록들을 하나의 비디오 내로 조합하여 3 차원적인 비디오 영상들(movies) 및 스틸 사진들을 생성한다.

이러한 방법의 단점은 필요로 하는 카메라 성분들의 수가 증가된다는 것이고 그에 따라 3차원적으로 가능한 비디오 및 스틸 이미지들을 캡쳐할 수 있는 비디오/스틸 카메라의 가격이 높아진다는 것이다.

또한, 개별적인 비디오 기록들로부터 3D 비디오를 생성하기 위한 사후 프로세싱 필요성으로 인해서, 3D 영상 또는 비디오를 생성하기 위해서 시간이 많이 소요되고 그리고 추가적인 장비가 필요하게 된다. 전술한 요건들로 인해서, 저렴한 비용의 3D 가능 비디오 또는 스틸 카메라들의 제조가 불가능하게 된다. 저비용의 3-차원적인 소형(miniatureed) 비디오 및 스틸 캡쳐 가능 카메라들에 대한 수요가 증가함에 따라, 이미징 센서로 통합된 광학적 시스템을 이용하여 3-차원적인 비디오 영상들 및 스틸 사진들을 캡쳐할 수 있는 저비용의 카메라 시스템이 요구된다.

본원 발명의 실시예들은, 고품질의 3차원적인 비디오들 및 3-D 스틸 사진들로 변환될 수 있는 비디오 및 스틸 이미지들을 기록할 수 있는 저비용의 비디오 카메라 및 이미징(스틸 캡쳐) 카메라를 제조하기 위한 방법 및 시스템에 관한 것이다.

카메라의 광학적 시스템을 통해서 보여질 수 있는 전체 영역을, 비디오 영상 또는 스틸 사진을 캡쳐하기 위해서 이용되는, 이미지 센서 또는 필름으로 포커싱하기 위한 여러 가지 구성들이 구현될 수 있을 것이다.

본원 발명의 실시예들은, 다양한 거리들에 배치되는 객체들로부터 기원하는 광선들을 렌즈 조립체로부터 일정 거리에서 유지되는 제 1 포컬 평면(focal plane) 상으로 동시에 포커싱할 수 있는 광학적 이미징 렌즈 시스템을 제공할 때 특히 유리하다. 그에 따라, 본원 발명의 실시예들은 작고 콤팩트한(compact) 형태 인자(form factor)의 이미징 장치들을 이용하여 고품질의 3-차원 가능 비디오 및 스틸 이미지들을 생성할 수 있다.

여기에서, 3-차원 가능이라는 용어는, 오리지널 2-차원 비디오 영상 또는 스틸 사진으로부터, 소프트웨어 및 하드웨어의 조합을 이용하여 3-차원 비디오 영상 또는 3-D 스틸 사진들을 생성한다는 것의 의미(의도) 한다. 모바일 폰들, 랩탑들, 스마트 폰들, 모바일 멀티미디어 장치들, 웹 캠들, 캠코더들, 카메라들, 디지털 카메라들, 사진 필름 카메라, 의료용 카메라 및 콤팩트 카메라 모듈들과 같은 모바일 통신에서 적용될 수 있다.

2-차원 비디오 또는 스틸 이미지를 고품질 3-D 비디오 또는 스틸 이미지로 변환하기 위한 핵심은, 시계 내의 근거리의 또는 원거리의 모든 객체들이 완전하게 포커스되어야 하고 그리고 2-D 비디오 또는 2-D 스틸 포토 내에 흐릿한(blur) 영역들을 가지지 않아야 한다는 것이다. 본원에서 개시된 카메라 시스템은, 고품질의 변환된 3-차원 비디오 및 스틸 이미지들을 획득하기 위해서, 시계 내의 모든 객체들이 완전하게 포커스되어야 한다는 요건 및 흐릿한 영역들을 가지지 않아야 한다는 요건을 충족시키는 2-차원 비디오들 및 스틸 이미지들을 제공한다.

도 1은 근거리 또는 원거리의 객체들 모두를 동시에 포커싱할 수 있는 렌즈 조립체 및 포컬 평면에 배치되는 이미지 캡쳐 센서를 가지는 광학적 카메라 시스템 조립체를 도시한 도면으로서, 여기에서 광학적 렌즈 시스템은 복수의 성분들을 가진다.
도 2는 근거리 또는 원거리의 객체들 모두를 동시에 포커싱할 수 있는 렌즈 조립체 및 포컬 평면에 배치되는 이미지 캡쳐 센서를 가지는 광학적 카메라 시스템 조립체를 도시한 도면으로서, 여기에서 광학적 렌즈 시스템은 복수의 성분들을 가진다.
도 3은, 3-차원들로의 변환 후에, 2-D 비디오 영상 및 2-D 스틸 사진들을 모바일 폰으로부터 직접적으로 3-차원들로 관찰하기 위한 프로세스 흐름을 도시한 흐름도이다.

이하의 설명에서, 본원 발명의 여러 가지 예시적인 실시예들의 완전한 이해를 돕기 위해서, 수많은 특정의 상세사항들이 기술된다. 그러나, 당업자는, 본원 발명의 실시예들이 그러한 특정의 상세사항들 중 일부 또는 전부가 없이도 실시될 수 있다는 것을 이해할 수 있을 것이다. 다른 경우들에서, 설명된 실시예들의 관련된 양태들을 불필요하게 불명료하게 하지 않도록, 주지의 프로세스 동작들을 구체적으로 설명하지 않았다.

하나의 실시예에서, 완전히 포커스된 비디오 및 스틸 이미지들을 캡쳐하기 위한 특별한 광학적 시스템 및 이미지 센서를 가지는 카메라 시스템이 개시된다. 특별한 광학적 시스템은 다양한 거리들로부터 기원하는 광선들을 제 1 포컬 평면 상으로 동시에 포커스하도록 작동될 수 있는 렌즈 조립체로 이루어진다. 보다 특히, 근거리들(예를 들어, 적어도 몇 밀리미터)의 객체들로부터의 평행한, 수렴하는 또는 발산하는 광선들, 및 거의 무한대 거리들의 원거리 객체 또는 객체들로부터의 평행한 또는 거의 평행한 광선들은, 형성된 이미지의 포커스 품질을 수용가능한 공차(tolerance) 한계 내에서 유지하면서, 제 1 포컬 평면 상으로 동시에 포커스될 수 있을 것이다.

이미지 센서 또는 사진 필름의 이미징 표면이 제 1 포컬 평면에 배치된다. 특정 실시예들에서, 근거리 객체의 이미지가 형성될 제 2 포컬 평면과 원거리 객체의 이미지가 형성될 제 3 포컬 평면 사이의 분리 거리가 수용가능한 공차 한계를 가져야 한다. 광학적 시스템이 근거리들의 객체들에 대해서 포커싱하든지, 또는 거의 무한대 거리들의 객체들에 대해서 포커싱하든지, 또는 양자 모두에 대해서 포커싱하든지 간에, 제 1 포컬 평면은 렌즈 조립체로부터 고정된 거리에서 적절하게 유지될 수 있을 것이다. 따라서, 여러 가지 거리들의 객체들을 포커싱할 때, 이미지 센서 또는 사진 필름에 의해서 캡쳐되도록 객체들의 이미지들이 포커스되는 제 1 포컬 평면 또는 이미지 평면과 렌즈 조립체 사이의 상대적인 거리를 광학적 시스템이 변화시킬 필요가 없다. 다시 말해서, 근거리들 및 거의-무한대의 거리를 포함하는 여러 거리들에 배치된 객체들을 캡쳐하기 위해서 이미지들이 형성되는 제 1 포컬 평면은 렌즈 조립체에 대해서 고정된다(fixed; 일정하다). 포커스 기능을 실행할 때 렌즈들 사이의 상대적인 운동이 불필요하기 때문에, 광학적 시스템은 적은 공간 및 적은 파워(power)를 필요로 할 것이다. 이미지 평면은 이미지 센서의 일부로서 제공될 수 있을 것이며, 그러한 이미지 센서의 비제한적인 예에는, 전하 결합 소자(CCD) 센서, 상보형 금속 산화물 반도체(CMOS) 센서 및 사진 필름이 포함된다.

본원에 개시된 카메라 시스템에 의해서 캡쳐되는 비디오 및 스틸 이미지는 완전히 포커스하고자 하는 시계 내의 모든 객체들을 가질 것이다. 시계 내의 모든 객체들의 완전히 포커스된 비디오 및 스틸 이미지들을 제공할 수 있는 이러한 카메라의 특징은, 소프트웨어, 하드웨어 또는 양자의 조합을 이용한 비디오 및 스틸 이미지들의 변환에 의해서, 고품질 3-D 비디오들 및 스틸 이미지들의 생성을 가능하게 한다.

도 1 및 도 2는 설명된 장치들의 단면도들을 도시한다.

도 1은 본원 발명의 일 실시예에 따른 광학적 시스템을 도시한다. 광학적 시스템(100)은 렌즈(110)를 포함한다. 도시된 바와 같은(그러나 이러한 것으로 제한되는 것은 아니다) 고정장치(retainer) 구조물(120)이 렌즈(110)의 지지를 위해서 제공될 수 있을 것이다. 광학적 시스템(100)을 외부 본체 또는 장치에 설치 또는 장착하는 것을 돕기 위해서, 나사산(threads)이 고정장치 구조물(120) 상에 제공될 수 있을 것이다.

도시된 바와 같이, 근거리 객체들로부터의 평행한, 수렴하는 또는 발산하는 광선들 그리고 거의 무한대 거리들의 객체들로부터의 평행한 또는 거의 평행한 광선들이, 렌즈 조립체(110)로부터 고정된 거리에서 유지될 수 있는 제 1 포컬 평면 또는 이미지 평면 또는 이미지 센서(130) 상에서 동시에 포커스될 수 있을 것이다.

도 2는 렌즈 조립체(200) 내의 광학적 구성요소들의 어레이와 협력하는 도 1의 실시예를 도시한다.

렌즈 조립체(200)는 광학적 구성요소들 즉, 210(a), 210(b), 210(c), 210(d), 210(e)의 어레이를 포함하나, 도시된 것으로 제한되는 것은 아니다.

광학적 구성요소들의 수, 치수들 및 각각의 구성요소의 배향은 도시된 것으로 제한되지 않는다.

도 3은, 적합한 디스플레이(330)를 통해서 3-D 비디오 영상들 및 3-D 스틸 사진들로서 보여질 수 있는 비디오 영상들 및 스틸 이미지들을 직접적으로 플레이백(playback)하기 위해서 모바일 폰을 이용하기 위한 예시적인 흐름도를 도시한다. 본원에 개시된 카메라 시스템에 의해서 캡쳐된 고품질 2-D 비디오 또는 2-D 스틸 사진이 변환기(320)에 의해서 3-D 비디오 또는 3-D 스틸 사진으로 변환된다. 모바일 폰(310)은, 도 1 및 도 2에 도시된(그러나 이러한 도시 내용들로 제한되는 것은 아니다), 이미지 캡쳐 센서 또는 이미지 캡쳐 평면 상으로 근거리 및 원거리 객체들을 동시에 포커싱할 수 있는 광학장치들을 구비한 2-D 비디오 및 스틸 카메라를 구비한다.

Claims

광학적 카메라 시스템으로서:
렌즈 조립체를 포함하고, 상기 렌즈 조립체가 복수의 거리들로부터 기원하는 복수의 광선들을 상기 렌즈 조립체로부터 고정된 거리에서 유지되는 제 1 포컬 평면 상으로 동시에 포커스하도록 동작될 수 있으며,
그에 따라, 소프트웨어 및 하드웨어의 조합을 이용하여, 상기 카메라 시스템에 의해서 획득되는 비디오 또는 스틸 이미지들이 고품질의 3-차원적인 비디오 및 스틸 이미지들로 용이하게 변환될 수 있는, 광학적 카메라 시스템.
제 1 항에 있어서,
근거리 객체의 이미지가 형성되는 제 2 포컬 평면과 원거리 객체의 이미지가 형성되는 제 3 포컬 평면 사이의 분리 거리가 약 +/- 300 마이크로미터의 공차를 가지는, 광학적 카메라 시스템.
제 1 항에 있어서,
상기 제 1 포컬 평면이 상기 제 2 포컬 평면의 위치와 제 3 포컬 평면의 위치 사이의 위치에 있는, 광학적 카메라 시스템.
제 1 항에 있어서,
이미지 캡쳐링 센서 장치가 상기 제 1 포컬 평면에 배치되는, 광학적 카메라 시스템.
제 1 항에 있어서,
이미지 캡쳐링 필름이 상기 제 1 포컬 평면에 배치되는, 광학적 카메라 시스템.
제 1 항에 있어서,
상기 카메라에 대해서 근거리 및 원거리에 있는 객체들의 완전히 포커스된 이미지들을 생성하는, 광학적 카메라 시스템.
제 1 항에 있어서,
상기 카메라에 대해서 근거리 및 원거리에 있는 객체들의 완전히 포커스된 영상들을 생성하는, 광학적 카메라 시스템.
제 1 항에 있어서,
비디오 영상들 및 스틸 사진들을 생성할 수 있는, 광학적 카메라 시스템.
제 1 항에 있어서,
상기 캡쳐된 스틸 사진들 및 비디오 영상들 내의 객체들이 매우 뚜렷한(sharp) 엣지들을 가지고, 매우 뚜렷한 그리고 고해상도의 사진들 및 비디오들을 생성하는, 광학적 카메라 시스템.
소프트웨어를 이용하여, 제 1 항의 시스템을 이용하여 기록된 비디오 영상이 2-차원적인 비디오로부터 3-차원적인 비디오로 변환되는, 비디오.
하드웨어를 이용하여, 제 1 항의 시스템을 이용하여 기록된 비디오 영상이 2-차원적인 비디오로부터 3-차원적인 비디오로 변환되는, 비디오.
하드웨어 및 소프트웨어의 조합을 이용하여, 제 1 항의 시스템을 이용하여 기록된 비디오 영상이 2-차원적인 비디오로부터 3-차원적인 비디오로 변환되는, 비디오.
하드웨어를 이용하여, 제 1 항의 시스템을 이용하여 캡쳐된 스틸 사진들이 2-차원적인 스틸 사진으로부터 3-차원적인 스틸 사진으로 변환되는, 스틸 사진.
소프트웨어를 이용하여, 제 1 항의 시스템을 이용하여 캡쳐된 스틸 사진들이 2-차원적인 스틸 사진으로부터 3-차원적인 스틸 사진으로 변환되는, 스틸 사진.
소프트웨어 및 하드웨어의 조합을 이용하여, 제 1 항의 시스템을 이용하여 캡쳐된 스틸 사진들이 2-차원적인 스틸 사진으로부터 3-차원적인 스틸 사진으로 변환되는, 스틸 사진.
고품질의 3-차원적인 비디오들 및 3-차원적인 스틸 사진들로 변환될 수 있는 고품질 비디오 영상들 및 스틸 사진들을 기록할 수 있는 카메라 시스템 제조 방법.
제 1 항의 시스템을 이용하여 획득된 비디오 영상들 및 스틸 이미지들이 원거리에 있는 객체들의 매우 뚜렷하고 선명한(clear) 이미지들을 가지는, 비디오 영상들 및 스틸 이미지들.
제 1 항의 시스템을 이용하여 획득된 비디오 영상들 및 스틸 이미지들이 근거리에 있는 객체들의 매우 뚜렷하고 선명한 이미지들을 가지는, 비디오 영상들 및 스틸 이미지들.
제 1 항의 시스템을 이용하여 획득된 비디오 영상들 및 스틸 이미지들이 근거리 및 원거리 양자 모두에 있는 객체들의 매우 뚜렷하고 선명한 이미지들을 가지는, 비디오 영상들 및 스틸 이미지들.
제 1 항의 시스템을 이용하여 획득된 2-D 비디오 영상들 및 2-D 스틸 사진들이 3-D 비디오 영상들 및 3-D 스틸 사진들로 변환되는, 3-D 비디오 영상들 및 3-D 스틸 사진들.
제 20 항의 변환된 3-D 비디오 영상들 및 3-D 스틸 사진들이 3-D 가능(enabled) 텔레비전을 이용하여 보여질 수 있는, 3-D 비디오 영상들 및 3-D 스틸 사진들.
제 20 항의 변환된 3-D 비디오 영상들 및 3-D 스틸 사진들이, 컴퓨터 모니터, 랩탑, 모바일 폰, 스마트 폰, 포터블 미디어 플레이어, 또는 비디오 영상들 및 스틸 사진들을 디스플레이할 수 있는 임의의 다른 장치들 상에서 보여질 수 있는, 3-D 비디오 영상들 및 3-D 스틸 사진들.
제 20 항의 변환된 3-D 비디오 영상들 및 3-D 스틸 사진들이 전용 안경들로 보여질 수 있는, 3-D 비디오 영상들 및 3-D 스틸 사진들.
제 20 항의 변환된 3-D 비디오 영상들 및 3-D 스틸 사진들이, 전용 안경 없이, 컴퓨터 모니터, 랩탑, 모바일 폰, 스마트 폰, 포터블 미디어 플레이어, 또는 비디오 영상들 및 스틸 사진들을 디스플레이할 수 있는 임의의 다른 장치들 상에서 보여질 수 있는, 3-D 비디오 영상들 및 3-D 스틸 사진들.
전용 스펙터클들(spectacles)을 이용하지 않고 3-차원적인 비디오 및 3-차원적인 스틸 사진들을 보기 위한 시스템을 제조하기 위한 방법으로서,
상기 시스템이:
이미지 디스플레이 장치 상에 또는 접촉하여 배치된 그레이팅(grating) 구조물 또는 편광기 또는 양자의 조합을 가지거나 가지지 않는, 비제한적으로, 텔레비전, 컴퓨터 모니터, 모바일 폰 디스플레이, LCD(액정 디스플레이), 플라즈마 디스플레이, TFT 디스플레이, 또는 다른 임의의 적합한 디스플레이 장치들과 같은 이미지 디스플레이 장치를 포함하는, 시스템 제조 방법.
제 25 항에 있어서,
제 2 편광기가 상기 이미지 디스플레이 장치(예를 들어, 텔레비전, 컴퓨터 모니터, 모바일 폰 디스플레이, LCD(액정 디스플레이), 플라즈마 디스플레이, TFT 디스플레이, 또는 다른 적합한 디스플레이 장치) 상에 접촉하여 배치되는, 시스템 제조 방법.
광 에너지의 이용으로 렌즈 시스템에 의한 포커싱에 필요한 에너지를 자체적으로 생성할 수 있는, 광학적 렌즈 시스템.
모든 광선들을 하나의 평면 상으로 또는 이미지 센서 상으로 포커스하기 위해서 반사된 광 에너지에 반응할 수 있는, 광학적 렌즈 시스템.
렌즈 시스템의 여러 영역들로의 입사 광에 의존하여, 모든 광선들을 하나의 평면 상으로 포커스하기 위해서 렌즈 시스템의 여러 영역들에서 광학적 성질들을 변경할 수 있는, 광학적 렌즈 시스템.
렌즈 조립체로 제공된 전기적 에너지에 의존하여, 모든 광선들을 하나의 평면 상으로 포커스하기 위해서 렌즈 시스템의 여러 영역들에서 광학적 성질들을 변경할 수 있는, 광학적 렌즈 시스템.
2-차원적인 비디오 기록 또는 스틸 사진이, 소프트웨어 또는 하드웨어 또는 소프트웨어와 하드웨어 양자의 조합을 이용하여 적절한 포맷으로 변환된 후에, 모바일 폰 또는 텔레비전 상에서 3-차원으로 직접적으로 보여지는, 2-차원적인 비디오 기록 또는 스틸 사진.
소프트웨어 및 하드웨어의 조합을 이용하여, 제 1 항의 카메라 시스템에 의해서 실시간으로 캡쳐된 2-차원적인 비디오 콘텐츠 및 2-차원적인 스틸 콘텐츠를 3-차원적인 비디오 및 3-차원적인 스틸 이미지들로 변환할 수 있는, 텔레비전.
소프트웨어 및 하드웨어의 조합을 이용하여, 제 1 항의 카메라 시스템에 의해서 실시간으로 캡쳐된 2-차원적인 비디오 콘텐츠 및 2-차원적인 스틸 콘텐츠를, 안경들에 의해서 3-차원적인 이미지로 전환되는 포맷으로 변환할 수 있는, 텔레비전.
제 33 항의 안경들이, 3-차원적인 콘텐츠를 보기 위한, 3-D 가능 텔레비전 세트를 구비하는 안경들인, 안경들.
제 1 항에 있어서,
ZOOM 기능이 상기 카메라 시스템에 통합되는, 광학적 카메라 시스템.