KR20210011991A - 가상현실 입체 이미지들을 생성하기 위한 광학 배열체 - Google Patents

가상현실 입체 이미지들을 생성하기 위한 광학 배열체 Download PDF

Info

Publication number
KR20210011991A
KR20210011991A KR1020207036731A KR20207036731A KR20210011991A KR 20210011991 A KR20210011991 A KR 20210011991A KR 1020207036731 A KR1020207036731 A KR 1020207036731A KR 20207036731 A KR20207036731 A KR 20207036731A KR 20210011991 A KR20210011991 A KR 20210011991A
Authority
KR
South Korea
Prior art keywords
fisheye
image sensor
plane
lenses
image
Prior art date
Application number
KR1020207036731A
Other languages
English (en)
Other versions
KR102556895B1 (ko
Inventor
플로리안 케인즈
시 첸
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20210011991A publication Critical patent/KR20210011991A/ko
Application granted granted Critical
Publication of KR102556895B1 publication Critical patent/KR102556895B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0055—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element
    • G02B13/0065—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element having a beam-folding prism or mirror
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/0095—Relay lenses or rod lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1066—Beam splitting or combining systems for enhancing image performance, like resolution, pixel numbers, dual magnifications or dynamic range, by tiling, slicing or overlapping fields of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/17—Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H04N5/2254—
    • H04N5/23238—

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Lenses (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Cameras In General (AREA)

Abstract

반구형 시야를 갖는 입체 이미지를 생성하는 장치 및 방법이 개시된다. 일 실시예에서, 장치는 제1 어안 렌즈로부터 제1 광선을 그리고 제2 어안 렌즈로부터 제2 광선을 수광하는 광학 배열체를 포함한다. 제1 어안 렌즈와 제2 어안 렌즈는 서로 인접하게 위치하며, 제1 및 제2 어안 렌즈들 각각의 대물면은 제1 평면을 향한다. 광학 배열체는 제1 광선 및 제2 광선을 이미지 센서로 유도하고 제1 광선 및 제2 광선의 광축을 절곡시켜 제1 광선이 제2 광선과 나란히 이미지 센서에 투사되게 하는 것이다.

Description

가상현실 입체 이미지들을 생성하기 위한 광학 배열체
본 개시의 태양들 및 실시예들은 광학 배열체들에 관한 것이고, 구체적으로는 가상현실 입체 이미지들을 생성하기 위한 광학 배열체에 관한 것이다.
가상현실(VR) 환경은 일반적으로 관찰자(viewer)가 탐색할 수 있는 3차원 환경으로 설명되고, 거의 현실적인 경험을 갖는 환경의 시뮬레이션을 제공하도록 설계되어 있다. 가상현실 디스플레이 장치에 의해 관찰자는 가상현실 환경과 상호작용할 수 있게 된다. 예를 들어 헤드 마운트 디스플레이(HMD)를 사용하여 VR 환경에서 동적 이미지 또는 정적 이미지를 볼 수 있다. VR 디스플레이 장치의 시야(FOV)는 특정한 순간에 관찰자가 디스플레이 장치를 통해 볼 수 있는 관찰 가능한 영역의 범위이다. VR 디스플레이 장치 내에서 제공되는 입체 이미지는 관찰자에게 깊이 인식을 제공한다. 입체 이미지를 생성하기 위하여, 관찰자의 각각의 눈에는 동일한 물체의 이미지가 약간 다른 각도 또는 시각으로부터 제공된다. 장치 또는 시스템이 VR 디스플레이 장치를 이용하여 보는 장면을 기록하기 위해 사용될 수 있다.
다음은 본 개시의 일부 태양들에 대한 기본적인 이해를 제공하기 위한 본 개시를 간단하게 요약한 것이다. 이 요약은 본 개시에 대한 광범위한 개괄이 아니다. 개시의 핵심적이거나 중요한 요소들을 식별할 의도가 아니며 또한 본 개시의 구체적인 실시예의 범위 또는 특허청구범위의 범위를 설명할 의도도 아니다. 유일한 목적은 나중에 제시되는 상세한 설명에 대한 도입부로 본 개시의 일부 개념을 간략화된 형태로 제시하는 것이다.
일 실시예에서, 반구형 시야를 갖는 입체 이미지를 생성하는 광학 배열체가 개시된다. 광학 배열체는 제1 어안 렌즈로부터의 제1 광선 및 제2 어안 렌즈로부터의 제2 광선을 수광할 수 있다. 제1 및 제2 광선들은 제1 및 제2 어안 렌즈들 각각의 대물면을 통해 제1 및 제2 어안 렌즈들에 들어갈 수 있다. 제1 어안 렌즈와 제2 어안 렌즈가 서로 인접하게 위치될 수 있고, 제1 및 제2 어안 렌즈들 각각의 대물면은 제1 평면을 향할 수 있다. 광학 배열체는 제1 광선 및 제2 광선을 이미지 센서로 유도하고, 그리고 제1 광선이 제2 광선과 나란히 이미지 센서 상에 투사되도록 제1 및 제2 광선들의 광축선을 절곡시킬 수 있다.
일부 실시예들에서, 광학 배열체가 제1 및 제2 어안 렌즈들 각각으로부터 이미지 센서까지의 플랜지 초점 거리를 수정하여 플랜지 초점 거리의 수정된 값이 플랜지 초점 거리의 초기 값보다 크게 할 수 있다. 제1 및 제2 어안 렌즈들로부터의 제1 및 제2 광선들이 각각 제1 평면과 실질적으로 평행한 제2 평면에 초기 이미지를 형성할 수 있고, 제2 평면은 제1 및 제2 어안 렌즈로부터의 플랜지 초점 거리의 초기 값에 상응할 수 있다. 이미지 센서의 치수가 제1 및 제2 광선들에 의해 제2 평면에 형성된 초기 이미지들의 조합된 치수보다 작을 수 있다. 광학 배열체가 제1 평면과 실질적으로 평행한 제3 평면에 초기 이미지들의 사본들을 생성하도록 구성되고, 제3 평면은 제1 및 제2 어안 렌즈들로부터의 플랜지 초점 거리의 수정된 값에 상응할 수 있다. 광학 배열체가 제2 평면에 있는 초기 이미지들보다 작은 초기 이미지들의 사본들을 제3 평면에 생성하도록 구성되고, 제3 평면에 있는 초기 이미지들의 사본들은 이미지 센서 내에 서로 나란히 맞춰질 수 있다.
일부 실시예들에서, 제1 및 제2 어안 렌즈들 각각의 중심 사이의 제1 거리가 대략 65mm일 수 있다. 제1 또는 제2 어안 렌즈의 제1 직경이 65mm 미만일 수 있다. 제2 평면에 있는 초기 이미지들 각각의 제2 직경이 이미지 센서의 높이와 실질적으로 동일할 수 있다. 제3 평면에 있는 초기 이미지들의 사본들 각각의 제3 직경이 이미지 센서의 폭의 절반과 실질적으로 동일할 수 있다.
일부 실시예들에서, 제1 어안 렌즈 및 제2 어안 렌즈 각각의 중심이 제1 평면과 실질적으로 직교하는 제4 평면에 위치되고, 이미지 센서의 중심은 제1 평면과 실질적으로 직교하는 제5 평면에 위치되며, 제4 및 제5 평면들은 오프셋만큼 이격될 수 있다. 일부 실시예들에서, 장치는 광선들이 광학 배열체를 통해 유도되게 광선들을 절곡시키도록 구성된 한 세트의 볼록 렌즈들을 더 포함할 수 있다.
위에서 논의한 바와 같은 장치는 이미지 센서 및/또는 어안 렌즈들과 무관하게 제공될 수 있다(예컨대, 이미지 센서 및/또는 어안 렌즈들 없이 공급될 수 있다). 대안적으로, 장치는 이미지 센서를 포함하는 카메라를 더 포함할 수 있다. 카메라는 광학 배열체를 포함할 수 있다. 어안 렌즈들 중 하나 또는 둘 다가 카메라에 제거 가능하게 결합될 수 있다.
여러 가지 실시예들에서, 초기 이미지의 사본들 중 첫 번째 사본은 가상현실 HMD의 제1 아이 피스에 제공될 수 있고, 초기 이미지의 사본들 중 두 번째 사본은 가상현실 HMD의 제2 아이 피스에 제공될 수 있다. 초기 이미지의 사본들 중 첫 번째 사본은 카메라에 의해 디지털로 기록되어 가상현실 HMD의 제1 아이 피스에 전자적으로 전송될 수 있고, 초기 이미지의 사본들 중 두 번째 사본은 카메라에 의해 디지털로 기록되어 가상현실 HMD의 제2 아이 피스에 전자적으로 제공될 수 있다.
또한, 제1 어안 렌즈 및 제2 어안 렌즈, 이미지 센서 및 광학 배열체를 포함하는 시스템으로, 제1 어안 렌즈 및 제2 어안 렌즈는 제1 및 제2 어안 렌즈들의 대물면을 통해 제1 및 제2 어안 렌즈들로 들어가는 제1 광선 및 제2 광선을 각각 캡처하여 반구형 시야를 갖는 입체 이미지를 생성하고, 제1 및 제2 어안 렌즈들은 서로 인접하게 위치되며, 어안 렌즈들 각각의 대물면은 제1 평면을 향하고; 이미지 센서는 제1 및 제2 어안 렌즈들에 의해 캡처된 제1 및 제2 광선들을 각각 수광하고; 그리고 광학 배열체는 제1 및 제2 어안 렌즈들과 이미지 센서 사이에 위치되어, 제1 광선이 제2 광선과 나란히 이미지 센서 상에 투사되도록 제1 및 제2 광선들의 광축선들을 절곡시키는, 시스템이 개시된다.
일 실시예에서, 반구형 시야를 갖는 입체 이미지를 생성하는 방법이 개시된다. 방법은 제1 어안 렌즈로부터의 제1 광선 및 제2 어안 렌즈로부터의 제2 광선을 수광하여 반구형 시야를 갖는 입체 이미지를 생성하는 단계로, 제1 및 제2 광선들은 제1 및 제2 어안 렌즈들 각각의 대물면을 통해 제1 및 제2 어안 렌즈들로 들어가고, 제1 및 제2 어안 렌즈들은 서로 인접하게 위치되며, 어안 렌즈들 각각의 대물면은 제1 평면을 향하는 단계; 제1 및 제2 광선들이 이미지 센서로 유도하는 단계; 및 제1 광선이 제2 광선과 나란히 이미지 센서 상에 투사되도록 제1 및 제2 광선들의 광축선들을 절곡시키는 단계를 포함할 수 있다.
개시된 실시예들 중 하나 이상에서, 위에서 설명한 실시예들의 작업을 수행하기 위한 컴퓨팅 디바이스도 또한 개시된다. 또한, 본 개시의 실시예들에서, 비일시성 기계 판독 가능 저장 매체가 위에서 설명한 실시예들의 작업을 수행하기 위한 명령들을 저장한다.
본 개시의 태양들과 실시예들은 아래에 주어진 상세한 설명 및 본 개시의 다양한 태양들과 실시예들에 대한 첨부 도면들로부터 보다 완전하게 이해할 수 있을 것이지만, 이는 본 개시를 특정 태양들 또는 실시예들로 제한하는 것으로 간주되어서는 안 되며, 설명과 이해를 위한 것이다.
도 1은 2개의 어안 렌즈들과 이미지 센서를 이용한 예시적인 장치를 도시한다.
도 2는 2개의 어안 렌즈들, 이미지 센서 및 어안 렌즈들로부터의 광선을 절곡시키는 광학 배열체를 이용한 예시적인 장치를 도시한다.
도 3은 본 개시의 실시예들에 따른, 릴레이 렌즈들의 세트를 구비하는 광한 배열체의 예를 도시한다.
도 4는 본 개시의 실시예들에 따른, 필드 렌즈들의 세트를 구비하는 장치의 예를 도시한다.
도 5는 본 개시의 실시예들에 따른, 어안 이미지들의 크기를 감소시키는 광학 배열체의 예를 도시한다.
도 6a 내지 도 6d는 본 개시의 실시예들에 따른, 어안 렌즈들의 평면과 이미지 센서 사이에 오프셋을 갖는 광학 배열체의 예를 도시한다.
도 7은 본 개시의 실시예들에 따른 광학 배열체의 다른 예를 도시한다.
도 8a 및 도 8b는 본 개시의 실시예들에 따른 카메라, 어안 렌즈들 및 광학 배열체를 포함하는 장치의 예를 도시한다.
도 9는 본 개시의 실시예에 따른, 반구형 시야를 갖는 입체 이미지를 생성하는 방법의 일 예를 도시하는 흐름도이다.
인간이 실생활에서 경험하는 것과 유사한 VR 환경 내에서 자연스러운 인식을 제공하기 위하여, 환경 내의 이미지는 대략 180도의 시야(FOV) 또는 거의 반구형인 FOV를 커버할 수 있다. 헤드 마운트 디스플레이(HMD)의 관찰자가 돌아설 때, 관찰자는 반구형 FOV를 이용하여 자연스러운 인식을 계속 경험할 수 있다. 또한 이미지들은 깁이 인식을 제공하기 위한 입체 이미지들일 수 있다.
어안 렌즈를 구비한 카메라는 대략 180 FOV를 갖는 원형 이미지를 캡처할 수 있다. 어안 렌즈는 왜곡되고 볼록한 비직선(예컨대 직선 시각이 아님)인 모양을 갖는 넓은 파노라마형 또는 반구형 이미지를 생성하는 초광각 렌즈이다. 어안 렌즈는 대물면을 포함할 수 있다. 입체 이미지들을 제공하기 위하여, 약간 다른 시점들로부터의 장면을 나타내는 한 쌍의 이미지들이 2개의 어안 렌즈들을 이용하여 기록될 수 있다. VR 디스플레이 장치에서, 어안 이미지들 중 하나가 관찰자의 왼쪽 눈에 표시되고 다른 어안 이미지가 관찰자의 오른쪽 눈에 표시된다. 이 이미지들이 HMD에서 함께 보일 때, 2개의 이미지들 간의 미묘한 차이로 인해 사용자가 깊이가 있는 3차원(3D) 이미지를 인식하게 된다.
또한 어안 이미지들을 캡처하는 어안 렌즈들이 인간의 눈 위치와 유사한 방식으로 위치될 때 자연스러운 깊이 인식이 이루어진다. 인간의 눈들은 두 눈 사이에 특정 범위의 간격으로 전방을 바라보고 있다. 양 눈은 동일한 장면을 향하고 있으며, 이에 따라 실질적으로 장면의 동일한 부분들을 본다. 일반적으로, 동공 거리(IPD)라고도 하는 평균적인 성인의 눈들의 동공들 사이의 거리는 보통 55mm 내지 75mm의 범위 내에 있으며, 평균 IPD는 대략 65mm이다. 따라서 2개의 어안 렌즈들은 어안 이미지들이 60mm 내지 70mm 사이로, 바람직하게는 65mm로 이격된 2개의 시점들로부터 촬영되면 자연스러운 깊이 인식을 제공할 수 있다. 예를 들어, 2개의 어안 렌즈들은 수평으로 65mm 이격되게 그리고 지면 위 동일한 높이로 배치될 수 있다. 장면이 변하거나 혹은 움직임을 포함하면, 이미지들 둘 다를 동시에 촬영해야 할 필요가 있다.
이상의 기준을 감안하면, 2대의 카메라 또는 2개의 어안 이미지들을 캡처하는 2개의 렌즈들을 구비하는 한 대의 카메라를 이용하여 자연스러운 인식이 얻어질 수 있다. 2대의 카메라를 이용하여 2개의 이미지들을 캡처하는 것에는 몇 가지 단점들이 있다. 2대의 카메라를 작동시키는 것은 사용자에게 친숙하지 않다. 카메라들 사이에 작동을 정확하게 동기화시키는 것이 필요하다. 일반적으로 카메라 본체의 커다란 크기로 인해 카메라들 사이의 거리에 그리고 카메라들의 어안 렌즈들을 얼마나 서로 가깝게 배치할 수 있는지에 대해 제약이 생성된다. 카메라 본체들의 크기가 크기 때문에 2개의 카메라 렌즈들 사이의 거리를 사람의 눈들 사이의 거리에 부합시키는 것은 불가능하다. 각각의 카메라의 렌즈들이 인간 눈들의 평균 IPD보다 훨씬 크게 배치된 상태로 2대의 카메라들이 이미지들을 기록하는 데 사용되면, 생성된 이미지들은 장면 내의 물체들이 부자연스럽게 작아 보이는 과장된 3D효과를 나타낸다. 이는 카메라에 가까운 물체들의 경우에 더 심하다. 예를 들어, 렌즈들이 13센티미터(평균 인간 IPD의 2배) 간격으로 배치되면, 이미지 내의 사람은 실제 크기의 절반으로 나타날 수 있고 VR 환경이 자연스러워 보이지 않을 수 있다.
180도 FOV를 입체 이미지들로 캡처하기 위한 일반 소비자용 카메라들이 일부 존재한다. 이러한 일반 소비자용 카메라들은 2개의 소형 이미지 센서들을 구비하는 한 대의 카메라 내에 2개의 렌즈들을 나란히 수용하기 위해 소형 어안 렌즈들을 사용한다. 이러한 렌즈들 및 센서들은 전문가용 카메라 렌즈들 및 센서들보다 크기가 더 작을 수 있다. 그러나 이러한 일반 소비자용 카메라들의 센서 사이즈 제한 때문에 이 카메라들에 의해 생성된 이미지들의 품질이 낮다. 더 작은 렌즈들은 보다 높은 품질의 이미지를 생성하는 측면에서 물리적으로 제한된다. 이미지들은 낮은 품질의 렌즈들로 인해 선명하지 않을 수 있다. 소형 센서들은 또한 다이나믹 레인지(dynamic range) 문제가 크다. 이미지 센서의 다이나믹 레인지는 센서가 신뢰성 있게 캡처할 수 있는 최고 콘트라스트(최고 밝기와 최저 밝기의 비)의 측도이다. 픽셀 간의 콘트라스트가 높은 이미지에 의해 다이나믹 레인지 문제가 발생할 수 있다. 예를 들어, 실내에서 실외를 바라보는 시점에서, 실내 부분은 완전히 어둡게 보일 수 있는 반면 실외 부분은 과다 노출되고 특징이 없는 백색으로 나타날 수 있다. 특히 180도 FOV 장면에서는 캡처된 영역이 넓기 때문에 일반적으로 매우 어두운 부분과 매우 밝은 부분이 조합되어 나타난다. 더욱이 소형 렌즈는 해상도도 또한 제한적이다. FOV가 큰 이미지는 캡처된 영역이 넓기 때문에 높은 해상도(예컨대, 눈 당 보다 많은 픽셀들)를 필요로 한다. 따라서 해상도가 낮은 소형 렌즈들은 고품질의 선명한 이미지들을 생성하지 않는다.
본 개시의 태양은 2개의 어안 렌즈들 각각의 중심이 평균적인 인간 눈 IPD와 거의 동일한 간격으로 이격된 한 대의 카메라를 가지고 2개의 고품질 어안 렌즈들을 이용하는 것에 의해 위에서 언급한 과제들 및 다른 과제들을 해결한다. 한 대의 카메라로 2개의 렌즈들을 이용하면 렌즈들이 인간 눈 IPD와 동일한 거리에 배치되는 것을 막는 2개의 부피가 큰 카메라 본체들을 구비하는 것을 피할 수 있다. 2개의 어안 렌즈들 각각의 중심이 인간 눈 IPD(예컨대, 65mm)와 동일한 거리로 이격될 때, 어안 렌즈들에 의해 생성되는 이미지 서클들도 동일한 거리(예컨대, 65mm)로 이격될 수 있다. 그러나, 통상적으로는, 한 대의 카메라는 이미지를 형성하는 어안 렌즈로부터의 광선을 수광하는 하나의 이미지 센서로 제한된다. 통상적으로, 이미지 센서는 평균적인 인간 눈 IPD처럼 이격된 이미지 서클들을 수용하지 못할 수 있는 치수를 가진다. 즉, 예를 들어, 이미지 센서의 폭은 평균적인 인간 눈 IPD보다 작을 수 있는데, 이 경우 이미지 서클들이 이미지 센서에 맞지 않을 수 있다. 어안 렌즈들에 의해 생성된 이미지 서클들을 이미지 센서에 맞추기 위하여, 본 개시에서는 이미지 서클들이 처음 형성되는 위치로부터 이미지 서클들을 변위시킬 수 있게 한다.
본 개시의 태양들은 한 대의 카메라의 2개의 고품질 어안 렌즈들과 이미지 센서 사이에, 평균적인 인간 눈 IPD와 대략 동일한 거리로 2개의 어안 렌즈들의 중심들을 이격시키는 한편 어안 렌즈들로부터의 어안 이미지들이 이미지 센서 위에 서로 나란히 맞도록 어안 이미지들을 변위시키는 광학 배열체를 제공한다. 본 개시에서 사용되는 바와 같이, "나란히(alongside)"라는 용어는 이격되는 것 그리고/또는 접하는 것으로 정의될 수 있다. 일 예에서, 본 개시의 태양들은 반구형 시야를 갖는 입체 이미지를 생성하는 광학 배열체를 제공하는데, 이 광학 배열체는 제1 어안 렌즈로부터의 제1 광선 및 제2 어안 렌즈로부터의 제2 광선을 수광한다. 제1 어안 렌즈와 제2 어안 렌즈는 서로 인접하게 위치될 수 있다. 예를 들어, 제1 어안 렌즈와 제2 어안 렌즈는 어안 렌즈들의 중심들 사이의 거리가 약 65mm이도록 서로 수평으로 인접하게 위치될 수 있다. 어안 렌즈들 각각의 대물면은 제1 평면을 바라볼 수 있다. 예를 들어, 어안 렌즈들 둘 다가 동일한 장면을 캡처하도록 어안 렌즈들은 전방을 향하는 인간의 눈들과 유시하게 위치될 수 있다. 이러한 렌즈들의 구성 형태를 통해 입체 "VR180" 비디오 또는 정적 이미지들을 캡처할 수 있고, 입체 비디오 또는 정적 이미지들은 2개의 단시점(monoscopic) 비디오 또는 정적 이미지들을 포함하며, 이들 각각은 대략 반구형(또는 180도) 시야를 가진다. 광학 배열체는 제1 광선 및 제2 광선을 이미지 센서로 유도할 수 있다(달리 말하면, 제1 광선 및 제2 광선이 둘 다 동일한 이미지 센서의 서로 다른 영역으로 유도될 수 있음). 예를 들어, 이미지 센서는 카메라의 일부일 수 있다. 광학 배열체는 제1 광선과 제2 광선의 광축선들을 절곡시킬 수 있고 이에 따라 제1 광선이 제2 광선과 나란히 이미지 센서에 투사될 수 있다. 광축선을 절곡시키면 광선에 의해 생성된 이미지 서클이 이미지 센서에 맞을 수 있도록 더 가까워질 수 있다.
아래의 설명 및 본 명세서에서 참조하는 도면들은 본 출원의 요지의 실시예를 나타내며, 범위를 제한하고자 하는 것은 아니다. 본 발명의 기술 분야에서 통상의 지식을 가진 자는 개시된 시스템들, 장치들 및 방법들의 다른 실시예들이 가능함을 알 것이다. 이러한 모든 실시예들은 특허청구범위의 범위 내에 있는 것으로 간주되어야 한다. 도면 번호들은 반드시 도면에서 나타나는 순서대로 설명하지는 않는다. 광학 컴포넌트들과 같은 도면 중의 여러 가지 컴포넌트들에 대한 묘사는 예시적이며 반드시 축적에 맞추어 도시되어 있지는 않다.
도 1은 2개의 어안 렌즈들(110 및 112) 및 이미지 센서(140)를 이용한 예시적인 장치(100)를 도시하는 평면도이다. 이미지 센서(140)는 카메라 본체(150) 내에 포함될 수 있다. 광축선들(120 및 122)은 각각 어안 렌즈들(110 및 112)에 상응한다. 일부 예들에서, 축선(120 또는 122)과 같은 축선은 어안 렌즈들을 통해 중앙 광선이 전파되는 경로를 획정하는 어안 렌즈의 중심을 따르는 가상선일 수 있다. 일 예에서, 어안 렌즈의 중심은 평균적인 인간 눈 IPD와 거의 동일한 거리로 이격될 수 있다. 한편, 이미지 센서(140)의 치수는 IPD와 동일한 거리보다 작을 수 있다. 특정한 유형의 렌즈인 경우, 어안 렌즈로부터의 광선은 어안 렌즈 후방으로 고정된 거리에서 어안 이미지를 형성할 수 있습니다. 플랜지 초점 거리(160)는 어안 렌즈(110) 후방에 있는 장착 플랜지(예컨대, 플랜지 평면)로부터 이미지 센서(140)가 놓이는 평면(예컨대 초점 평면)까지의 거리로 정의될 수 있다. 어안 이미지 서클(130)은 어안 렌즈(110)로부터 플랜지 초점 거리(160)와 동일한 거리에 처음 형성될 수 있다. 따라서 이미지 서클(130)은 이미지 센서(140)의 평면과 동일한 평면에 나타날 수 있지만, 렌즈들이 이미지 센서의 치수보다 큰 거리로 이격되어 있다는 점으로 인해 어안 이미지 서클(130)이 이미지 센서(140) 외부에 나타날 수 있다. 예를 들어, 주어진 시나리오에서 이미지 센서(140)는 그 치수가 41mm(폭)에 22mm(높이)일 수 있다. 렌즈들(110 및 112)로부터의 광선들에 형성된 이미지 서클들(130 및 132)의 직경은 각각 20mm일 수 있다. 어안 렌즈들(110 및 112)의 중심들 간의 거리는 65mm일 수 있고, 이에 따라 이미지 서클들(130 및 132) 사이의 거리도 또한 65mm일 수 있다. 따라서 이미지 센서의 폭이 41mm이므로 이미지 서클들(130 및 132)이 도 1에 도시된 바와 같이 이미지 센서(140)의 완전 외부에 놓일 수 있다. 이러한 상황에서는 이미지 서클들이 센서의 외부에 놓이기 때문에 카메라가 이미지들을 기록할 수 없다. 이미지 서클들이 결국에는 이미지 센서 위에 투사되고 이미지 센서 상에서 서로 나란히 맞도록 이미지 서클들을 변위시키는 광학 배열체가 사용될 수 있다.
도 2는 2개의 어안 렌즈들, 이미지 센서 및 어안 렌즈들로부터의 광선들을 절곡시키는 광학 배열체(280)를 이용하는 예시적인 장치(200)를 도시한다. 광학 배열체(280)는 한 세트의 미러들(281, 282, 283 및 284)을 포함할 수 있다. 미러들은 미러들이 어안 렌즈들(210 및 212)로부터의 광선들의 광축선들(220 및 222)을 각각 절곡시키는 배치될 수 있고, 이에 따라 어안 렌즈(210)의 광선이 어안 렌즈(212)의 광선과 나란히 이미지 센서(240)에 투사된다. 도 2에 도시된 예에서, 한 쌍의 미러들(281 및 282)이 어안 렌즈들(210 및 212)과 이미지 센서(240)의 평면 사이에 배치된다. 광축선(220)은 미러(281)를 통해 절곡되어 미러(282)로 유도되고, 미러(282)는 광축선(220)을 더 절곡시켜 광축선(220)을 이미지 센서(240)와 교차하게 유도한다. 광축선(220)을 따르는 어안 렌즈(210)로부터의 광선은 이미지 센서(240)에 투사되고, 이 어안 렌즈에 의해 생성된 이미지 서클들이 이미지 센서(240)에 의해 기록될 수 있다. 광학 배열체(280)는 어안 렌즈들의 후방과 이미지 센서 사이에서 이동하는 광선들의 거리가 플랜지 초점 거리의 초기 값에서 수정된 값으로 수정되게 한다. 수정된 값은 광선이 절곡되기 전의 플랜지 초점 거리의 초기 값보다 클 수 있다. 즉, 어안 렌즈(210)의 후단부와 이미지 센서(240) 사이의 광축선(220) 부분은 미러들이 렌즈들과 이미지 센서 사이에 배치되기 전과 비교하여 미러들이 광축선(220)을 절곡시킨 후에 더 길 수 있다. 그 결과, 렌즈들에 의해 생성된 이미지 서클들(230 및 232)이 공중에, 즉 어안 렌즈들로부터 플랜지 초점 거리의 초기 값에 상응하게 나타난다. 이 이미지 센서(240)는 이미지 센서(240)에 이미지 서클들(230 및 232)의 희미한 형태를 생성하는 광선을 수광할 수 있다.
도 3은 본 개시의 실시예들에 따른 광학 배열체(300)의 예를 도시한다. 광학 배열체(300)는 반구형 시야를 갖는 입체 이미지를 생성할 수 있다. 광학 배열체(300)는 제1 어안 렌즈(310)로부터 제1 광선을 그리고 제2 어안 렌즈(312)로부터 제2 광선을 수광할 수 있다. 제1 어안 렌즈(310)와 제2 어안렌즈(312)는 서로 인접하게 위치될 수 있다. 일 예에서, 2개의 어안 렌즈들의 각각의 중심 사이의 거리는 대략 65밀리미터일 수 있다. 일 예에서, 제1 또는 제2 어안 렌즈의 직경은 예를 들어 65mm 미만인 어안 렌즈들의 중심들 사이의 거리보다 작을 수 있다. 제1 광선 및 제2광선은 제1 어안 렌즈(310) 및 제2 어안 렌즈(312) 대물면(311 및 313)을 통해 들어갈 수 있다. 대물면들(311 및 313)은 촬영될 물체, 장면 또는 뷰(view)를 향할 수 있다. 제1 및 제2 어안 렌즈들(310 및 313)의 각각의 대물면들(311 및 312)은 제1 평면(301)을 각각 바라볼 수 있다. 일 예에서, 제1 평면(301)은 입체 이미지를 생성하기 위해 캡처되는 장면에 상응할 수 있다. 광학 배열체(300)는 어안 렌즈(310)로부터의 제1 광선 및 어안 렌즈(312)로부터의 제2 광선을 이미지 센서(340)로 유도하도록 구성될 수 있다. 일 예에서, 이미지 센서의 폭은 어안 렌즈들에 의해 생성되는 이미지 서클의 직경 크기의 적어도 2배일 수 있으며, 이미지 센서의 높이는 적어도 어안 렌즈에 의해 생성되는 이미지 서클의 직경 크기일 수 있다. 일 예에서, 고해상도를 갖는 이미지 센서가 보다 상세한 이미지를 캡처할 수 있다. 예시적인 이미지 센서는 8000 x 4000 픽셀의 해상도를 가질 수 있다. 광축선들(320 및 322)은 각각 어안 렌즈들(310 및 312)로부터의 광선들에 상응하는 광축선으로 표시될 수 있다. 광학 배열체(300)는 어안 렌즈(310)로부터의 제1 광선이 이미지 센서(340)에 어안 렌즈(312)로부터의 제2 광선과 나란히 이미지 센서에 투사되게 제1 및 제2 광선들의 광축선들(320 및 322)을 절곡시키도록 구성될 수 있다.
도 2의 광학 배열체와 비교하여, 어안 렌즈들(310 및 312)은 이미지 센서(340)로부터 더 멀리 이동할 수 있다. 이러한 구성 형태로, 이미지 서클들(330 및 332)은 각각의 어안 렌즈들(310 및 312)에 각각 상응하는 제1 미러(381 및 384) 앞의 공중에 형성될 수 있다. 제1 및 제2 어안 렌즈들(310 및 312) 각각으로부터의 제1 및 제2 광선들은 제1 평면(301)과 실질적으로 평행할 수 있는 제2 평면(302)에 초기 이미지들(예를 들어, 이미지 서클들(330 및 332))을 형성할 수 있다. 일 예에서, 제2 평면에 있는 초기 이미지들 각각의 직경은 이미지 센서의 높이 또는 이미지 센서의 폭의 절반을 초과하지 않을 수 있다. 일 예에서, 초기 이미지들의 직경들은 또한 이미지 센서의 높이 또는 이미지 센서의 폭의 절반보다 실질적으로 작지 않을 수 있다. 제2 평면(302)은 광학 배열체가 존재하지 않는 상태의 어안 렌즈들(310 및 312)의 후방과 이미지 센서(340) 사이의 플랜지 초점 거리의 초기 값에 상응할 수 있다. 광학 배열체(300)가 존재함으로써 플랜지 초점 거리의 수정 값이 초기 값보다 크도록 플랜지 초점 거리가 수정될 수 있다.
광학 배열체(300)는 한 세트의 릴레이 렌즈들(390 및 392)을 포함할 수 있다. 릴레이 렌즈들은 초기 이미지가 형성되는 제2 평면(302)과 이미지 센서(340) 사이에 위치될 수 있다. 광학 배열체(300)의 릴레이 렌즈들은 제1 평면(301)과 실질적으로 평행한 제3 평면(303)에 초기 이미지 서클들의 사본들을 생성하도록 구성될 수 있다. 제3 평면(303)은 제1 및 제2 어안 렌즈들(310 및 312)의 후방으로부터의 플랜지 초점 거리의 수정된 값에 상응할 수 있다. 즉, 제3 평면은 이미지 센서(340)가 배치되는 평면에 상응한다. 이미지 센서(340)는 이미지 센서(340)에 맞추어진 서로 나란하게 이미지 센서 상에 투사되는 초기 이미지들의 사본들을 기록할 수 있다. 그러면 초기 이미지들의 사본들이 반구형 시야를 갖는 입체 이미지를 생성하는 데 사용될 수 있다.
릴레이 렌즈는 단일 요소 또는 다중 요소들을 포함할 수 있다. 예를 들어, 이중 가우스 구성 형태로 된 6개의 요소들의 조합을 사용할 수 있다. 릴레이 렌즈 설계의 세부 사항, 릴레이 렌즈들에 대한 미러들의 크기 및 배치는 어안 렌즈들의 광학적 특성들과 이미지 센서의 크기에 따라 달라질 수 있다.
도 4는 본 개시의 실시예들에 따른 장치(400)의 예를 도시한다. 장치(400)는 한 세트의 필드 렌즈들(460 및 462)을 포함할 수 있다. 실시예에서, 어안 렌즈들(410 및 412)은 초기 이미지(430 및 432)를 형성하는 광선들 중 일부가 미러들(482 및 484)을 각각 지나서 이동하는 거리로 이미지 센서(440)로부터 이격될 수 있다. 이러한 광선(464)의 예는 점선으로 표시된다. 광선(464)은 미러(482)와 교차하지 않는 각도로 어안 렌즈(410) 바깥으로 투사된다. 그 결과, 이 광선들은 이미지 센서(440)에 도달하지 않을 수 있다. 이미지 센서로부터 빗나간 광선들은 심각한 비네팅(예컨대, 명확한 테두리 없이 배경으로 사라짐)을 일으킬 수 있다. 이러한 시나리오들에서, 어안 렌즈로부터의 원형 이미지의 외측 부분은 이미지 센서 상에 매우 어둡거나 혹은 완전히 검게 나타날 수 있다. 어안 렌즈들의 FOV는 180도보다 상당히 작게 효과적으로 감소될 수 있다. 필드 렌즈들(460 및 462)은 빗나간 광선들을 고려하여 초기 이미지들이 형성되는 평면(예컨대, 도 3에 도시된 평면(302)) 상에 또는 그 근처에 배치될 수 있다. 필드 렌즈들(460 및 462)은 볼록 렌즈들일 수 있다. 볼록한 형상으로 인해, 필드 렌즈는, 필드 렌즈가 없었으면 밖으로 빠져나갔을, 광선을 광축선(예컨대 광축선(420))을 향해 다시 절곡시킬 수 있다. 이에 따라 광선이 광학 배열체의 미러들과 릴레이 렌즈들을 통해 유도되어 광선이 이미지 센서(440)에 투사될 수 있다. 이렇게 방향 전환된 광선의 예가 광선(466)으로 도시되어 있다. 필드 렌즈들은 이미지 센서가 비네팅 없이 전체 시야를 커버하는 것을 보장할 수 있다.
도 5는 본 개시의 실시예들에 따른 광학 배열체(500)의 예를 도시한다. 광학 배열체(500)는 초기 이미지와 릴레이 렌즈들 사이의 거리를 조정하여 이미지 센서가 수광하는 이미지의 크기를 수정할 수 있다. 일부 실시예들에서, 어안 렌즈들에 의해 생성된 원형 이미지들은 이미지 센서에 맞지 않을 정도로 클 수 있다. 예를 들어, 이미지 센서의 치수는 제1 및 제2 광선들에 의해 제2 평면에 형성된 초기 이미지들이 조합된 치수보다 작을 수 있다. 예를 들어, 이미지 센서의 이미지 폭은 40mm일 수 있고, 이미지 센서의 높이는 20mm일 수 있다. 초기 이미지들이 형성되는 제2 평면 상의 초기 이미지들 각각의 직경은 30mm일 수 있어, 초기 이미지들의 조합된 치수는 60mm이고, 이는 상술한 이미지 센서 치수보다 크다. 조합된 치수는 초기 이미지들의 사본들을 기록하기 위한 이미지 센서에 맞추기에는 너무 크다. 이러한 문제를 해결하기 위해, 광학 배열체는 제2 평면의 초기 이미지들보다 작은 제3 평면에 초기 이미지들의 사본들을 생성하도록 구성될 수 있고, 이에 따라 제3 평면에 있는 초기 이미지들의 사본들은 이미지 센서 내에 서로 나란히 맞춰진다. 일 예에서, 크기 감소의 결과, 제3 평면에 있는 초기 이미지들의 사본들 각각의 직경은 20mm일 수 있고, 초기 이미지들의 사본들의 조합된 치수는 40mm일 수 있어, 위의 예에서의 이미지 센서 내에 맞춰질 수 있다.
이미지들의 크기를 줄이기 위하여, 릴레이 렌즈와 이미지 센서 사이의 거리를 변경하지 않으면서 초기 이미지와 릴레이 렌즈 사이의 거리가 증가될 수 있다. 도 5에 도시된 바와 같이, 초기 이미지가 형성되는 제2 평면(502)과 릴레이 렌즈(590) 사이의 거리는 Dl 및 D2로 표시된다. 릴레이 렌즈(590)와 이미지 센서(540) 사이의 거리는 D3 및 D4로 표시된다. 이미지 센서(540)에서 어안 이미지의 크기는 평면(502)에 형성된 초기 이미지로부터 (D1+D2)/(D3+D4) 만큼 감소될 수 있다. 예를 들어,초기 이미지들 각각의 직경이 30mm이면, 2개의 이미지들이 이미지 센서에서 조합된 직경은 60mm일 것이다. 이미지 센서가 40mm x 20mm이면, 조합된 직경을 1.5의 비만큼 또는 40mm로 줄여야 한다. 따라서 거리 D1+D2는 거리 D3+D4보다 1.5배 증가하고 l에 따라 이미지 크기는 1.5의 비만큼 감소된다.
도 6a 내지 도 6d는 본 개시의 실시예들에 따른 어안 렌즈들의 평면과 이미지 센서 사이에 오프셋을 갖는 광학 배열체(600)의 예를 도시한다. 도 6a는 광학 배열체(600)를 도시하는 평면도이고, 도 6b는 광학 배열체(600)를 도시하는 정면도이고, 도 6c는 광학 배열체(600)를 도시하는 측면도이고, 도 6d는 광학 배열체(600)를 도시하는 사시도이다. 실시예에서, 제1 어안 렌즈와 제2 어안 렌즈의 각각의 중심은 제1 평면과 실질적으로 직교하는 제4 평면에 위치될 수 있고, 이미지 센서의 중심은 제1 평면과 실질적으로 직교하는 제5 평면에 위치될 수 있는데, 제4 평면과 제5 평면은 오프셋만큼 이격될 수 있다. 도 6a 내지 도 6d에 도시된 바와 같이, 5개의 평면들(601 내지 605)이 있다. 어안 렌즈들(610 및 612) 각각의 대물면은 제1 평면(601)을 향한다. 어안 렌즈들(610 및 612)의 중심들은 제1 평면(601)과 실질적으로 직교하는 제4 평면(604)에 위치되고, 이미지 센서의 중심은 제1평면(601)과 실질적으로 직교하는 제5 평면(605)에 위치된다. 달리 말하면, 제4 및 제5 평면들(604 및 605)은 서로 실질적으로 평행하며 제1 내지 제3 평면들(601 내지 603)(이들은 서로 실질적으로 평행함)과 실질적으로 직교하고, 어안 렌즈들(610 및 612)의 축선들은 제4 평면(604)에 있으며 이미지 센서(640)의 축선은 제5 평면(605)에 있다. 제4 평면(604)과 제5 평면(605)은 오프셋만큼 이격되어 있다. 오프셋은 예를 들어 미러들(683 및 684) 사이의 거리를 증가시킬 수 있고, 이는 어안 렌즈들이 카메라 본체(65)에 보다 가깝게 이동하게 하여 시스템의 전반적은 크기가 감소되게 할 수 있다. 도 6a 내지 도 6d에 도시된 특정 예에서, 오프셋은 수직 오프셋인데, 어안 렌즈들을 이미지 센서에 대해 하방으로 이동시키는 것에 의해 생성된다.
도 7은 본 개시의 실시예들에 따른 광학 배열체(700)의 다른 예를 도시한다. 일부 실시예들에서, 어안 렌즈의 플랜지 초점 거리, 이미지 서클의 크기 및 이미지 센서의 크기에 따라, 미러들과 릴레이 렌즈들의 순서가 광축선을 따라 변경될 수 있다. 일부 예들에서, 릴레이 렌즈를 어안 렌즈에 상응하는 한 쌍의 미러들의 첫 번째 미러와 마지막 미러 사이에 배치하는 대신, 릴레이 렌즈가 첫 번째 미러의 앞에 또는 마지막 미러의 뒤에 배치될 수 있다. 일부 예들에서, 첫 번째 미러는 필드 렌즈 앞에 배치될 수 있다. 일 예에서, 광학 배열체(700)와 릴레이 렌즈들(790 및 792)은 마지막 미러들(782 및 783) 뒤에 배치된다.
도 8a 및 도 8b는 본 개시의 실시예들에 따른 장치(800)의 예를 도시한다. 장치(800)는 카메라(850), 2개의 어안 렌즈들(810 및 812), 광학 배열체(801) 및 이미지 센서(840)를 포함할 수 있다. 광학 배열체(801)는 광학 배열체들(280, 300 또는 500) 중 어느 하나와 유사할 수 있다. 일부 실시예들에서, 광학 배열체(801)는 카메라(850)의 일부일 수 있다. 일부 실시예들에서, 어안 렌즈들(810 및 812) 중 하나 이상이 카메라(850) 또는 광학 배열체(801)에 제거 가능하게 결합될 수 있다. 일부 실시예들에서, 장치(800)는 가상현실 HMD(도시되지 않음)에 입체 이미지를 제공하는 데 사용될 수 있다. 일 실시예에서, 어안 렌즈들(810 및 812)에 의해 형성된 초기 이미지의 사본들 중 첫 번째 사본은 가상현실 HMD(도시되지 않음)의 제1 아이 피스(eye piece)에 제공될 수 있고, 초기 이미지의 사본들 중 두 번째 사본은 가상현실 HMD의 제2 아이 피스에 제공될 수 있다. 초기 이미지의 사본들 중 첫 번째 사본은 카메라에 의해 디지털로 기록되어 가상현실 HMD의 제1 아이 피스에 전자적으로 전송될 수 있고, 초기 이미지의 사본들 중 두 번째 사본은 카메라에 의해 디지털로 기록되어 가상현실 HMD에서의 재생을 위해 가상현실 HMD의 제2 아이 피스에 전자적으로 제공될 수 있다. 전송 및 재생은 실시간일 수 있거나, 혹은 기록된 이미지가 디지털 형태로 저장되어 나중에 재생될 수 있다.
도 9는 본 개시의 실시예들에 따른 반구형 시야를 갖는 입체 이미지를 생성하는 방법(900)의 일 예를 도시하는 흐름도이다. 예를 들어, 방법(900)은 도 8a 및 도 8b와 관련하여 설명한 장치(800), 및/또는 도 3과 관련하여 설명한 광학 배열체(300)를 이용하여 수행될 수 있다. 도 9 및 이와 관련된 설명이 방법(900)의 작업들을 특정한 순서로 나열하지만, 방법의 여러 가지 실시예들은 설명한 작업들 중 적어도 일부를 병렬로 그리고/또는 임의의 선택된 순서로 수행할 수 있다.
블록(902)에서, 제1 어안 렌즈로부터의 제1 광선과 제2 어안 렌즈로부터의 제2 광선이 수광되어 반구형 시야를 가진 입체 이미지를 생성할 수 있다. 제1 및 제2 어안 렌즈들은 서로 인접하게 위치될 수 있다. 어안 렌즈들 각각의 대물면은 제1 평면을 향할 수 있다. 블록(904)에서, 제1 및 제2 광선들은 이미지 센서로 유도될 수 있다. 블록(906)에서, 제1 광선이 제2 광선과 나란히 이미지 센서에 투사될 수 있도록 제1 및 제2 광선들의 광축선들이 절곡될 수 있다. 광선들은 제1 평면과 실질적으로 평행한 제2 평면에 초기 이미지를 생성할 수 있다. 일부 실시예에서, 초기 이미지들의 사본들은 제1 평면과 실질적으로 평행한 제3 평면에 형성된다. 초기 이미지들의 사본들은 반구형 시야를 가진 입체 이미지로 제공될 수 있다. 예를 들어, 입체 이미지는 VR 환경을 위해 제공될 수 있다.
상술한 설명에서, 많은 세부 사항들을 제시했다. 그러나 본 개시의 혜택을 보는 통상의 기술자에게는 이러한 구체적인 세부 사항들 없이도 본 개시가 실시될 수 있음이 명백할 것이다. 경우에 따라 본 개시를 이해하기 어렵게 하는 것을 방지하기 위하여 공지된 구조들 및 디바이스들이 상세하게 도시되지 않고 블록도의 형태로 도시된다.
본 명세서에서 "예(example)" 또는 "예시적(exemplary)"이라는 단어는 예(example), 사례(instance) 또는 도시(illustration)를 제공한다는 의미로 사용된다. 본 명세서에서 "예" 또는 "예시적"으로 설명하는 임의의 태양 또는 디자인이 반드시 다른 태양들 또는 디자인들보다 바람직하거나 혹은 이로운 것으로 이해되어야 하는 것은 아니다. 오히려, "예" 또는 "예시적"이라는 단어는 구체적인 방식으로 현존하는 관념을 표현하고자 하는 것이다. 본 출원서에서 사용하는 바와 같이, "또는(or)"이라는 용어는 배타적인 "또는"이라기보다는 포괄적인 "또는"을 의도하고 있다. 즉, 달리 명시되지 않거나 혹은 문맥으로부터 명확하지 않다면, "X는 A 또는 B를 포함한다"는 문장은 자연적인 포괄적 순열(permutations)을 의미한다. 즉, 만일 X가 A를 포함하거나; X가 B를 포함하거나; 혹은 X가 A와 B 둘 다를 포함하면, "X는 A 또는 B를 포함한다"는 문장은 앞에서 든 어떠한 사례에서도 충족된다. 또한, 본 출원서 및 첨부된 특허청구범위에서 사용된 관사 "a" 및 "an"은 달리 명시되지 않거나 혹은 단수 형태를 가리키는 것이 문맥으로부터 명확하지 않다면 일반적으로 "하나 이상"이라는 의미로 이해되어야 한다. 더욱이, 본 출원서 전체에 걸쳐서 "실시예(an implementation)" 또는 "일 실시예(one implementation)" 또는 "실시예(an implementation)" 또는 "일 실시예(one implementation)"이라는 용어를 사용하는 것은 그렇게 설명하지 않는 한 동일한 실시예 또는 실시예를 의미하고자 하는 것은 아니다. 본 명세서에서 사용되는 "제1(first)", "제2(second2)", "제3(third)", "제4(fourth)" 등의 용어는 상이한 요소들을 구별하기 위한 라벨들로 의도된 것이고, 반드시 이들의 숫자 명칭에 따른 순서적인 의미를 갖는 것은 아닐 수 있다.
이상의 설명은 예시적이며 제한적이지 않음을 의도하는 것으로 이해해야 한다. 다른 실시예들은 이상의 설명을 읽고 이해하면 통상의 기술자에게 명백할 것이다. 따라서 개시의 범위는 첨부된 특허청구범위를 이러한 특허청구범위가 포함하는 균등물의 전체 범위와 함께 참고하여 결정될 수 있다.

Claims (20)

  1. 반구형 시야를 갖는 입체 이미지를 생성하는 광학 배열체를 포함하는 장치로,
    광학 배열체가 제1 어안 렌즈로부터의 제1 광선 및 제2 어안 렌즈로부터의 제2 광선을 수광하고, 제1 및 제2 광선들은 제1 및 제2 어안 렌즈들 각각의 대물면을 통해 제1 및 제2 어안 렌즈들에 들어가고,
    제1 어안 렌즈와 제2 어안 렌즈가 서로 인접하게 위치되며, 제1 및 제2 어안 렌즈들 각각의 대물면은 제1 평면을 향하고, 그리고
    광학 배열체가,
    제1 광선 및 제2 광선을 이미지 센서로 유도하고, 그리고
    제1 광선이 제2 광선과 나란히 이미지 센서 상에 투사되도록 제1 및 제2 광선들의 광축선을 절곡시키는 것인, 장치.
  2. 청구항 1에 있어서,
    광학 배열체가 제1 및 제2 어안 렌즈들 각각으로부터 이미지 센서까지의 플랜지 초점 거리를 수정하여 플랜지 초점 거리의 수정된 값이 플랜지 초점 거리의 초기 값보다 크게 하는 것인, 장치.
  3. 청구항 2에 있어서,
    제1 및 제2 어안 렌즈들로부터의 제1 및 제2 광선들이 각각 제1 평면과 실질적으로 평행한 제2 평면에 초기 이미지를 형성하고, 제2 평면은 제1 및 제2 어안 렌즈로부터의 플랜지 초점 거리의 초기 값에 상응하는, 장치.
  4. 청구항 3에 있어서,
    이미지 센서의 치수가 제1 및 제2 광선들에 의해 제2 평면에 형성된 초기 이미지들의 조합된 치수보다 작은, 장치.
  5. 청구항 3 또는 청구항 4에 있어서,
    광학 배열체가 제1 평면과 실질적으로 평행한 제3 평면에 초기 이미지들의 사본들을 생성하도록 구성되고, 제3 평면은 제1 및 제2 어안 렌즈들로부터의 플랜지 초점 거리의 수정된 값에 상응하는, 장치.
  6. 청구항 5에 있어서,
    광학 배열체가 제2 평면에 있는 초기 이미지들보다 작은 초기 이미지들의 사본들을 제3 평면에 생성하도록 구성되고, 제3 평면에 있는 초기 이미지들의 사본들은 이미지 센서 내에 서로 나란히 맞춰지는, 장치.
  7. 선행하는 청구항들 중 어느 한 청구항에 있어서,
    제1 및 제2 어안 렌즈들 각각의 중심 사이의 제1 거리가 대략 65mm인, 장치.
  8. 선행하는 청구항들 중 어느 한 청구항에 있어서,
    제1 또는 제2 어안 렌즈의 제1 직경이 65mm 미만인, 장치.
  9. 청구항 3 또는 그 종속 청구항들 중 어느 한 청구항에 있어서,
    제2 평면에 있는 초기 이미지들 각각의 제2 직경이 이미지 센서의 높이와 실질적으로 동일한, 장치.
  10. 청구항 5 또는 그 종속 청구항들 중 어느 한 청구항에 있어서,
    제3 평면에 있는 초기 이미지들의 사본들 각각의 제3 직경이 이미지 센서의 폭의 절반과 실질적으로 동일한, 장치.
  11. 선행하는 청구항들 중 어느 한 청구항에 있어서,
    제1 어안 렌즈 및 제2 어안 렌즈 각각의 중심이 제1 평면과 실질적으로 직교하는 제4 평면에 위치되고, 이미지 센서의 중심은 제1 평면과 실질적으로 직교하는 제5 평면에 위치되며, 제4 및 제5 평면들은 오프셋만큼 이격된, 장치.
  12. 청구항 3 또는 그 종속 청구항들 중 어느 한 청구항에 있어서,
    광선들이 광학 배열체를 통해 유도되게 광선들을 절곡시키도록 구성된 한 세트의 볼록 렌즈들을 더 포함하는, 장치.
  13. 선행하는 청구항들 중 어느 한 청구항에 있어서,
    이미지 센서를 포함하는 카메라를 더 포함하는, 장치.
  14. 청구항 13에 있어서,
    카메라가 광학 배열체를 포함하는, 장치.
  15. 청구항 13 또는 청구항 14에 있어서,
    어안 렌즈들이 카메라에 제거 가능하게 결합된, 장치.
  16. 청구항 5 또는 그 종속 청구항들 중 어느 한 청구항에 있어서,
    초기 이미지의 사본들 중 첫 번째 사본은 가상현실 HMD의 제1 아이 피스에 제공되고, 초기 이미지의 사본들 중 두 번째 사본은 가상현실 HMD의 제2 아이 피스에 제공되는, 장치.
  17. 청구항 16에 있어서,
    초기 이미지의 사본들 중 첫 번째 사본은 카메라에 의해 디지털로 기록되어 가상현실 HMD의 제1 아이 피스에 전자적으로 전송되고, 초기 이미지의 사본들 중 두 번째 사본은 카메라에 의해 디지털로 기록되어 가상현실 HMD의 제2 아이 피스에 전자적으로 제공되는, 장치.
  18. 제1 어안 렌즈 및 제2 어안 렌즈, 이미지 센서 및 광학 배열체를 포함하는 시스템으로,
    제1 어안 렌즈 및 제2 어안 렌즈는 제1 및 제2 어안 렌즈들의 대물면을 통해 제1 및 제2 어안 렌즈들로 들어가는 제1 광선 및 제2 광선을 각각 캡처하여 반구형 시야를 갖는 입체 이미지를 생성하고, 제1 및 제2 어안 렌즈들은 서로 인접하게 위치되며, 어안 렌즈들 각각의 대물면은 제1 평면을 향하고;
    이미지 센서는 제1 및 제2 어안 렌즈들에 의해 캡처된 제1 및 제2 광선들을 각각 수광하고; 그리고
    광학 배열체는 제1 및 제2 어안 렌즈들과 이미지 센서 사이에 위치되어, 제1 광선이 제2 광선과 나란히 이미지 센서 상에 투사되도록 제1 및 제2 광선들의 광축선들을 절곡시키는, 시스템.
  19. 청구항 18에 있어서,
    광학 배열체가 제1 및 제2 어안 렌즈들 각각으로부터 이미지 센서까지의 플랜지 초점 거리를 수정하여 플랜지 초점 거리의 수정된 값이 플랜지 초점 거리의 초기 값보다 크게 하는 것인, 시스템.
  20. 제1 어안 렌즈로부터의 제1 광선 및 제2 어안 렌즈로부터의 제2 광선을 수광하여 반구형 시야를 갖는 입체 이미지를 생성하는 단계로, 제1 및 제2 광선들은 제1 및 제2 어안 렌즈들 각각의 대물면을 통해 제1 및 제2 어안 렌즈들로 들어가고, 제1 및 제2 어안 렌즈들은 서로 인접하게 위치되며, 어안 렌즈들 각각의 대물면은 제1 평면을 향하는 단계;
    제1 및 제2 광선들을 이미지 센서로 유도하는 단계; 및
    제1 광선이 제2 광선과 나란히 이미지 센서 상에 투사되도록 제1 및 제2 광선들의 광축선들을 절곡시키는 단계를 포함하는 방법.
KR1020207036731A 2018-09-17 2018-09-17 가상현실 입체 이미지들을 생성하기 위한 광학 배열체 KR102556895B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2018/051383 WO2020060533A1 (en) 2018-09-17 2018-09-17 Optical arrangement for producing virtual reality stereoscopic images

Publications (2)

Publication Number Publication Date
KR20210011991A true KR20210011991A (ko) 2021-02-02
KR102556895B1 KR102556895B1 (ko) 2023-07-18

Family

ID=63722806

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207036731A KR102556895B1 (ko) 2018-09-17 2018-09-17 가상현실 입체 이미지들을 생성하기 위한 광학 배열체

Country Status (6)

Country Link
US (1) US11280985B2 (ko)
EP (1) EP3652577A1 (ko)
JP (1) JP7202449B2 (ko)
KR (1) KR102556895B1 (ko)
CN (2) CN118068527A (ko)
WO (1) WO2020060533A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114071882A (zh) * 2021-11-03 2022-02-18 西安航天华阳机电装备有限公司 一种柔性版帖版设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005128286A (ja) * 2003-10-24 2005-05-19 Olympus Corp 超広角レンズ光学系及びそれを備えた撮像装置と表示装置
US20150370150A1 (en) * 2014-06-19 2015-12-24 Olloclip, Llc Auxiliary optical components for mobile devices
JP2016105191A (ja) * 2016-01-14 2016-06-09 キヤノン株式会社 結像光学系、及びそれを用いた投射型画像表示装置、撮像装置
KR20180057171A (ko) * 2016-11-22 2018-05-30 삼성전자주식회사 전방위 영상 촬영 장치 및 그것을 포함하는 전자 장치

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5721585A (en) 1996-08-08 1998-02-24 Keast; Jeffrey D. Digital video panoramic image capture and display system
JP2001312018A (ja) * 2000-04-28 2001-11-09 Riaruai:Kk ２枚組み画像および該画像を得るためのステレオカメラ
WO2007095743A1 (en) 2006-02-22 2007-08-30 Itres Research Limited Optically multiplexed imaging systems and methods of operation
JP2008151904A (ja) 2006-12-15 2008-07-03 Olympus Corp 広角光学系
JP2013057698A (ja) * 2010-01-14 2013-03-28 Panasonic Corp 鏡筒アダプタ、レンズ鏡筒およびそれを用いた撮像装置
JP2011205558A (ja) * 2010-03-26 2011-10-13 Fujifilm Corp 立体カメラ
US20170202439A1 (en) * 2014-05-23 2017-07-20 Covidien Lp 3d laparoscopic image capture apparatus with a single image sensor
US20150358539A1 (en) * 2014-06-06 2015-12-10 Jacob Catt Mobile Virtual Reality Camera, Method, And System
JP6732509B2 (ja) * 2016-04-15 2020-07-29 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム
CN206807614U (zh) * 2017-06-22 2017-12-26 成都易瞳科技有限公司 双鱼眼全景图像采集装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005128286A (ja) * 2003-10-24 2005-05-19 Olympus Corp 超広角レンズ光学系及びそれを備えた撮像装置と表示装置
US20150370150A1 (en) * 2014-06-19 2015-12-24 Olloclip, Llc Auxiliary optical components for mobile devices
JP2016105191A (ja) * 2016-01-14 2016-06-09 キヤノン株式会社 結像光学系、及びそれを用いた投射型画像表示装置、撮像装置
KR20180057171A (ko) * 2016-11-22 2018-05-30 삼성전자주식회사 전방위 영상 촬영 장치 및 그것을 포함하는 전자 장치

Also Published As

Publication number Publication date
JP7202449B2 (ja) 2023-01-11
WO2020060533A1 (en) 2020-03-26
US11280985B2 (en) 2022-03-22
KR102556895B1 (ko) 2023-07-18
US20210294080A1 (en) 2021-09-23
CN118068527A (zh) 2024-05-24
EP3652577A1 (en) 2020-05-20
CN112369018A (zh) 2021-02-12
JP2021536037A (ja) 2021-12-23

Similar Documents

Publication Publication Date Title
ES2546929T3 (es) Método de corrección de imágenes para compensar la distorsión de la imagen del punto de vista
US20050190989A1 (en) Image processing apparatus and method, and program and recording medium used therewith
KR20210100175A (ko) 하이퍼보컬 뷰포트(hvp) 디스플레이를 위한 적응형 뷰포트
CN202362582U (zh) 立体成像设备
CN108600729B (zh) 动态3d模型生成装置及影像生成方法
US10379332B2 (en) Stereoscopic viewing apparatus
TW202238222A (zh) 用於擴增實境及虛擬實境裝置的反向穿透式眼鏡
RU2397524C2 (ru) Камера фиксирования объемного изображения
KR102556895B1 (ko) 가상현실 입체 이미지들을 생성하기 위한 광학 배열체
JP6166985B2 (ja) 画像生成装置および画像生成プログラム
US20160011430A1 (en) Holographic 3d eyewear for video gaming
CN104216126A (zh) 一种变焦3d显示技术
Takaki Super multi-view display with 128 viewpoints and viewpoint formation
CN202003094U (zh) 立体观片观屏装置
JP2012008298A (ja) ３次元映像表示装置
US8267520B2 (en) Method for aerial display of images
JP4102410B2 (ja) 立体映像ディスプレイ装置
CN113382225B (zh) 一种基于全息沙盘的双目全息展示方法及装置
CN111194430B (zh) 一种基于棱镜合成光场的方法
CN118818801A (zh) 实景照明装置、三维图像采集装置及实景照明系统
KR101790168B1 (ko) 포물경을 이용한 입체영상 디스플레이 장치
Rinaldi et al. Filming Underwater in 3D Respecting Stereographic Rules
KR20140098040A (ko) 입체 동영상 촬영용 장치 및 카메라
CN118055217A (zh) 一种光场远像显示方法、系统及近视防控设备
CN117555138A (zh) 一种ar眼镜光路反射投射装置及畸变校正方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant