KR102118242B1 - 저-프로필 폴드형 광학 다중-카메라 시스템에서의 오토-포커스 - Google Patents

저-프로필 폴드형 광학 다중-카메라 시스템에서의 오토-포커스 Download PDF

Info

Publication number
KR102118242B1
KR102118242B1 KR1020167030542A KR20167030542A KR102118242B1 KR 102118242 B1 KR102118242 B1 KR 102118242B1 KR 1020167030542 A KR1020167030542 A KR 1020167030542A KR 20167030542 A KR20167030542 A KR 20167030542A KR 102118242 B1 KR102118242 B1 KR 102118242B1
Authority
KR
South Korea
Prior art keywords
lens
image
light
sensor
image sensor
Prior art date
Application number
KR1020167030542A
Other languages
English (en)
Other versions
KR20160140886A (ko
Inventor
토마스 웨슬리 오스본
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/526,104 external-priority patent/US9374516B2/en
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20160140886A publication Critical patent/KR20160140886A/ko
Application granted granted Critical
Publication of KR102118242B1 publication Critical patent/KR102118242B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0055—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element
    • G02B13/006—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element at least one element being a compound optical element, e.g. cemented elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/10—Power-operated focusing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0015—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0015—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design
    • G02B13/002—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design having at least one aspherical surface
    • G02B13/0045—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design having at least one aspherical surface having five or more lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0055—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element
    • G02B13/0065—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element having a beam-folding prism or mirror
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08—Catadioptric systems
    • G02B17/082—Catadioptric systems using three curved mirrors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08—Catadioptric systems
    • G02B17/0852—Catadioptric systems having a field corrector only
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/021—Mountings, adjusting means, or light-tight connections, for optical elements for lenses for more than one lens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/09—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/17—Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/16—Optical arrangements associated therewith, e.g. for beam-splitting or for colour correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H04N5/2253—
    • H04N5/2254—
    • H04N5/2258—
    • H04N5/23212—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H04N9/097—
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10T—TECHNICAL SUBJECTS COVERED BY FORMER US CLASSIFICATION
    • Y10T29/00—Metal working
    • Y10T29/49—Method of mechanical manufacture
    • Y10T29/49826—Assembling or joining

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Lenses (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Structure And Mechanism Of Cameras (AREA)

Abstract

예를 들어 폴드형 광학 구성을 이용하여, 오토포커싱하는 이미징 시스템들 및 방법들의 실시형태들이 개시된다. 일 시스템은, 타겟 이미지 장면을 캡처하도록 구성된 적어도 하나의 카메라로서, 센서 엘리먼트들의 어레이를 포함하는 이미지 센서, 수용된 광의 일부분을 제 1 방향으로 지향시키도록 구성된 주 광 폴딩 면, 및 광을 제 2 방향으로 지향시키는 부 광 폴딩 면을 갖는 광학 엘리먼트를 포함하는, 상기 적어도 하나의 카메라를 포함한다. 시스템은 또한, 렌즈 어셈블리로서, 부 광 폴딩 면과 이미지 센서 사이에 포지셔닝된 적어도 하나의 정지 렌즈로서, 광학 엘리먼트에 기계적으로 커플링된 제 1 면 및 이미지 센서에 기계적으로 커플링된 제 2 면을 갖는, 상기 적어도 하나의 정지 렌즈, 및 주 광 폴딩 면과 광학 엘리먼트 사이에 포지셔닝된 적어도 하나의 가동 렌즈를 갖는, 상기 렌즈 어셈블리, 및 렌즈 어셈블리를 통과한 광을 이미지 센서에 포커싱하기 위해 적어도 하나의 가동 렌즈를 이동시키도록 구성된 액츄에이터를 포함할 수 있다.

Description

저-프로필 폴드형 광학 다중-카메라 시스템에서의 오토-포커스 {AUTO-FOCUS IN LOW-PROFILE FOLDED OPTICS MULTI-CAMERA SYSTEM}
본 개시물은 이미징 시스템들에 관한 것이며, 특히, 폴드형 (folded) 광학을 갖는 다중-센서 이미징 시스템을 오토포커싱 (autofocusing) 하는 것에 관한 것이다.
모바일 전화기들 및 태블릿 컴퓨팅 디바이스들과 같은 많은 모바일 디바이스들은 스틸 및/또는 비디오 이미지들을 캡처 (capture) 하기 위해 사용자에 의해 작동될 수도 있는 카메라들을 포함한다. 이러한 모바일 디바이스들은 통상 상대적으로 얇게 설계되기 때문에, 카메라 또는 이미징 시스템들을 저-프로필 모바일 디바이스를 유지하기 위해 가능한 한 얇게 설계하는 것이 중요할 수 있다. 전통적인 모바일 디바이스 카메라들이 디바이스의 높이를 따라 선형으로 배열된 다수의 광학 엘리먼트들 (예컨대, 렌즈 시스템, 오토포커스 어셈블리, 및 이미지 센서) 을 가짐에 따라, 모바일 카메라, 이미징 시스템 또는 디바이스가 얼마나 얇게 구성될 수 있는지에 대한 제한 팩터들 (limiting factors) 중 하나는 카메라이다. 따라서, 광학 엘리먼트들 (예컨대, 굴절 광학 컴포넌트들, 지지 구조체들, 이를테면 렌즈, 배럴 (barrel) 또는 광학 엘리먼트 스페이서들) 을 포함하는 광학적 스택 (stack) 높이, 렌즈 시스템의 초점 길이, 오토포커스 메커니즘들, 및 가능하게는 다른 카메라 엘리먼트들은, 모바일 디바이스가 얼마나 얇게 구성될 수 있는지를 제한한다. 디바이스가 더 얇아짐에 따라 카메라의 초점 길이가 더 단축될 필요가 있을 수도 있으며, 이는 이미지 서클 (image circle) 직경을 감소시킬 수도 있다. 이미지 센서 픽셀들의 수를 증가시키는 것이 바람직한 경우, 일반적으로 픽셀 피치는 더 작게 될 필요가 있거나 대상 공간에서의 장면의 카메라 시야 (FOV: field of view) 가 증가될 필요가 있을 것이다. 픽셀 피치를 감소시키는 것이 불가능한 경우, 카메라의 FOV 가 증가될 필요가 있을 수도 있다. 어떤 때에는, FOV 를 증가시킴으로써 또는 픽셀 피치를 감소시킴으로써 초점 길이를 계속 감소시키는 것이 실시될 수 없거나 가능하지 않을 수도 있다. 따라서, 보다 낮은 프로필 이미지 캡처 디바이스들로 하여금, 초점 길이를 단축시키게 할 필요가 없게 또는 이미지의 해상도 (resolution) 를 감소시키게 할 필요가 없게 하는 것이 바람직할 수도 있다.
폴드형 광학 이미지 센서 어레이들은, 초점 길이를 단축시킬 필요가 없는 저-프로필 이미지 캡처 디바이스들의 생성을 허용한다. 일부 폴드형 광학 이미지 센서 어레이들은, 다수의 면들 (facets) 을 갖는 중앙 거울 또는 프리즘을 채용하여, 장면의 타겟 이미지를 포함하는 입사 광 (incoming light) 을, 어레이에서의 센서들에 의한 캡처를 위한 다수의 부분들로 분할하며, 여기서, 각각의 면은 타겟 이미지로부터의 광의 일부분을 어레이에서의 센서를 향해 지향시킨다. 분할 광 (split light) 의 각각의 부분은 렌즈 어셈블리를 통과하여 센서 바로 상 또는 하에 포지셔닝된 (positioned) 면에서 반사되어, 각각의 센서가 이미지의 일부분을 캡처할 수도 있다. 캡처된 부분들을 합하여 완전한 이미지로 스티칭 (stitching) 할 때 도움을 주기 위해, 센서 시야들은 오버랩 (overlap) 할 수 있다.
다수의 센서들을 향한 다수의 면들로부터의 광의 반사 및 카메라에 대한 높이 제한들로 인해, 전통적인 오토포커스 모듈들 및 기법들은 이러한 폴드형 광학 저-프로필 센서 어레이들에 대해 적응되지 않는다. 이러한 센서 어레이들의 폴드형 광학 및 다른 구조적 피처들 (features) 은 오토포커스 메커니즘들을 구현하기 어렵게 할 수 있다. 카메라들을 갖는 대부분의 모바일 디바이스들에 대해 오늘날 통상적으로 행해지는 바와 같이, 오토포커스 렌즈 어셈블리를 각각의 센서 상에서 상 및 하로 이동시키는 것은 시스템의 높이를 증가시키는 것이 될 것이고 입사각 및/또는 이미징 평면 (imaging plane) 의 수직선에 대한 광학 축들 (optical axes) 의 상대적인 포지셔닝 (positioning) 을 변경시킬 수도 있다.
전술한 바와 같이, 폴드형 광학 어레이 카메라들에서의 오토포커스에 의한 또 다른 문제점은 작은 폼 팩터 (form factor; 가능하게는 4.5mm 이하) 이며, 여기서, 상고 (image height) 에 걸친 초고해상도 (ultra-high resolution) 가 필요로 된다. 넓은 시야 (FOV) 렌즈들을 이용하여 높이 제약들과 성능 요건들 양방 모두를 만족시키는 것을 달성하는 것은 어렵다. 렌즈를 포커싱하는 가장 간단한 방법은 전체 렌즈 어셈블리를 센서 상에서 상 및 하로 리프트하는 것이지만, 이것은 시스템의 전체 높이를 증가시킬뿐만 아니라, 일 카메라의 광학 축의, 다른 카메라들의 각각의 광학 축에 대한 포지션 (position) 을 변경시킬 수도 있다. 대안적인 접근법이 필요로 되며 이하에서 설명된다.
전술한 문제점들은, 그 중에서도, 오토포커스된 이미지를 각각의 센서에 제공하기 위해 본 명세서에서 설명된 폴드형 광학 어레이 카메라 오토포커스 기법들에 의해 해결된다. 주 및 부 면을 이용하여 어레이에서 각각의 센서를 향해 광을 재지향시킴으로써, 그리고, 주 및 부 면들 사이에서 입사 광을 포커싱하기 위해 사용되는 렌즈 어셈블리들을 포지셔닝시킴으로써, 센서 어레이는 렌즈 어셈블리의 가동 부분에 대해 평행한 평판형 기판 (flat substrate) 상에 포지셔닝될 수도 있다. 이러한 어레이 카메라의 보다 긴 초점 길이는, 광학 줌과 같은 피처들을 구현하는 것, 및 전통적인 모바일 카메라에 의해 공통적으로 부여되는 것보다 많은 공간을 요구하는 보다 복잡한 광학들을 통합하는 것, 이를테면 보다 많은 광학 엘리먼트들을 부가하는 것을 가능하게 한다. 예를 들어, 다수의 렌즈들의 사용은, 보다 많은 해상도가 바람직한 경우 광학 줌 렌즈들에 대해 행해지는 바와 같이 카메라의 초점 길이를 증가시켜서 카메라의 FOV 를 감소시킬 수도 있고, 마찬가지로 FOV 가 더 넓어지는 것이 바람직한 경우 초점 길이가 감소될 수 있다. 또한, 시스템의 시야에 걸친 다중-렌즈들의 사용은, 다중-카메라 어레이의 전체 시야에 걸친 총 유효 (effective) 해상도를 증가시킬 수 있다.
일부 실시형태들에서, 렌즈 시스템 설계는, 예를 들어 수용가능한 변조 전달 함수 (MTF: modulation transfer function) 값들 및 20 cm 와 무한대 사이의 초점 범위를 갖는 것에 의해 정의되는 양호한 이미지 성능을 유지하면서, 폴드형 광학 시스템의 기계적 허용오차들 내에서 렌즈 어셈블리의 가동부의 횡방향 모션 (lateral motion) 을 가능하게 한다. 가동부는 이미지 센서에 의해 형성되는 평면에 평행한 방향으로 이동될 수 있다. 렌즈 시스템은 렌즈 어셈블리의 정지부 (stationary portion) 를 추가적으로 포함할 수 있다. 일부 실시형태들에서는, 줌 (Zoom) 과 오토포커스 (AF) 를 구현하도록 2 개 이상의 가동 렌즈 어셈블리들이 통합될 수 있다. 일부 구현형태들에서, 렌즈 어셈블리의 정지부는, 이미지 센서에 아주 근접하게 배치된, 예를 들어 센서 상에 배치된 유리 커버 플레이트에 부착된 필드 커렉터 (field corrector) 렌즈일 수 있다.
전술한 2-파트 렌즈 시스템 설계를 이용한 오토포커스 어셈블리는 일부 실시형태들에서 가이드 레일 (guide rail) 및 액츄에이터 (actuator) 를 구현할 수 있다. 예를 들어, 렌즈 어셈블리의 가동부는 상이한 초점 길이들을 달성하기 위해 포지션들의 일 범위를 통해 가동부를 이동시키는 액츄에이터에 커플링될 수 있다. 일부 실시형태들에서, 가동부는 센서 아래에 포지셔닝된 부 (secondary) 센서 프리즘의 에지를 따라 지나가는 가이드 레일의 옆의 액츄에이터에 커플링될 수 있다. 오토포커스 어셈블리는, 부 센서 프리즘의 에지를 따라 가이드 레일을 이동시킴으로써, 틸트 (tilt), 롤 (roll), 피치 (pitch), 및 요 (yaw) 를 렌즈 설계의 허용오차들 내로 제한하고 광학 축으로부터 멀어지는 병진 (translational) 횡방향 이동을 렌즈 설계의 허용오차들 내로 제한하면서, 렌즈 어셈블리의 가동부를 횡방향으로 (예컨대, 이미지 센서에 의해 형성된 평면에 평행한 방향으로) 이동시킬 수 있다.
일부 실시형태들에서, 전술한 바와 같은 2-파트 렌즈 시스템 설계를 이용한 오토포커스 어셈블리는 폴드형 광학 어레이에서 각각의 센서에 대해 설치될 수 있다.
하나의 혁신형태 (innovation) 는 타겟 이미지 장면을 캡처하도록 구성된 적어도 하나의 카메라를 포함하는 이미징 시스템을 포함한다. 적어도 하나의 카메라는, 센서 엘리먼트들의 어레이를 포함하는 이미지 센서, 수용된 광의 일부분을 제 1 방향으로 지향시키도록 구성된 주 광 폴딩 면 (primary light folding surface), 부 광 폴딩 면 (secondary light folding surface) 을 갖는 광학 엘리먼트로서, 부 광 폴딩 면은 주 광 폴딩 면으로부터 수용된 광을 제 2 방향으로 재지향시키도록 포지셔닝된, 상기 광학 엘리먼트, 및 렌즈 어셈블리를 포함한다. 렌즈 어셈블리는 부 광 폴딩 면과 이미지 센서 사이에 포지셔닝된 적어도 하나의 정지 렌즈로서, 광학 엘리먼트에 기계적으로 커플링된 제 1 면 및 이미지 센서에 기계적으로 커플링된 제 2 면을 갖는, 상기 적어도 하나의 정지 렌즈, 및 주 광 폴딩 면과 광학 엘리먼트 사이에 포지셔닝된 적어도 하나의 가동 렌즈를 포함한다. 적어도 하나의 카메라는, 렌즈 어셈블리를 통과한 광을 이미지 센서에 포커싱하기 위해 적어도 하나의 가동 렌즈를 이동시키도록 구성된 액츄에이터를 더 포함한다.
하나 이상의 추가적인 양태들을 갖는 각종 실시형태들이 고려된다. 일부 실시형태에서, 광학 엘리먼트는 부 광 폴딩 면에 의해 제 2 방향으로 재지향된 광이 이미지 센서를 향해 통과하는 출력 면을 더 포함하며, 여기서, 적어도 하나의 정지 렌즈는 출력 면에 접속된다. 이미징 시스템은, 이미지 센서와 적어도 하나의 정지 렌즈 사이에 배치되는 커버 유리를 포함할 수도 있다. 커버 유리는 적어도 하나의 정지 렌즈의 출력 면에 커플링된 제 1 커버 유리 면, 및 이미지 센서에 커플링된 제 2 커버 유리 면을 포함할 수도 있다. 커버 유리는 이미지 센서에 커플링된 제 2 커버 유리 면을 포함할 수도 있다. 광학 엘리먼트, 적어도 하나의 정지 렌즈, 커버 유리 및 이미지 센서는, 일 스택으로 함께 기계적으로 커플링될 수도 있다.
일부 실시형태들에서, 센서 엘리먼트들의 어레이는 센서 엘리먼트 피치를 가지며, 여기서, 이미지 센서는 센서 엘리먼트 피치에 적어도 일부 기초하여 결정되는 나이퀴스트 샘플링 레이트를 가지며, 여기서, 광학 시스템은 이미지 센서 나이퀴스트 샘플링 레이트에서 약 30% 이하의 MTF 성능을 갖도록 구성된다. 일부 실시형태들에서, 센서 엘리먼트 피치는 약 1.4 ㎛ 이하이다. 또 다른 양태는, 적어도 하나의 카메라가 액츄에이터와 렌즈 어셈블리의 적어도 하나의 가동 렌즈 사이에 커플링된 적어도 하나의 가이드 레일을 더 포함할 수도 있으며, 적어도 하나의 가이드 레일은, 광학 축으로부터 멀어지거나 광학 축 주위에서 회전하는 적어도 하나의 가동 렌즈의 모션을 제약하기 위해, 카메라 내의 일 면에 슬라이딩가능하게 맞물리도록 (engage) 포지셔닝되며, 광학 축은 제 1 방향에 실질적으로 평행한 것이다. 적어도 하나의 카메라는, 타겟 이미지 장면의 대응하는 복수의 부분들을 캡처하도록 구성된 복수의 카메라들을 포함할 수도 있으며, 이미징 시스템은 대응하는 복수의 부분들에 적어도 일부 기초하여 타겟 이미지 장면의 최종 이미지를 생성하도록 구성된 프로세서를 더 포함한다. 일부 실시형태들에서, 센서 엘리먼트 피치는 대략 1.0 ㎛ 이하일 수 있다. 일부 실시형태들에서, 적어도 하나의 가동 렌즈의 직경은 4.5 mm 이하이다.
시스템의 일부 실시형태들에서, 적어도 하나의 정지 렌즈는, 이미지 센서에 평행하게 그리고 광학 엘리먼트에 근접하게 배치된 실질적으로 평평한 면을 갖는 평오목 렌즈 (planoconcave lens), 및 실질적으로 평평한 면에 대향하게 배치되고 이미지 센서에 근접하게 배치된 오목 (concave) 면을 포함한다. 또 다른 양태는 부 광 폴딩 면이 거울을 포함할 수도 있다는 것이다. 일부 실시형태들에서, 광학 엘리먼트는 거울에 커플링된 지지 구조체를 더 포함하며, 여기서, 이미지 센서 및 거울은 서로에 대해 정지되도록 함께 기계적으로 커플링된다.
또 다른 혁신형태는, 타겟 이미지 장면을 캡처하도록 구성된 적어도 하나의 카메라를 포함하는 이미징 시스템이며, 적어도 하나의 카메라는, 센서 엘리먼트들의 어레이를 포함하는 이미지 센서, 수용된 광의 일부분을 제 1 방향으로 지향시키도록 구성된 주 광 폴딩 면, 주 광 폴딩 면으로부터 수용된 광을 제 2 방향으로 이미지 센서에 재지향시키도록 구성된, 광을 재지향시키기 위한 수단, 및 렌즈 어셈블리로서, 부 광 폴딩 면과 이미지 센서 사이에 포지셔닝된 적어도 하나의 정지 렌즈로서, 광을 재지향시키기 위한 수단에 기계적으로 커플링된 제 1 면 및 이미지 센서에 기계적으로 커플링된 제 2 면을 갖는, 상기 적어도 하나의 정지 렌즈, 및 주 광 폴딩 면과 광학 엘리먼트 사이에 포지셔닝된 적어도 하나의 가동 렌즈를 갖는 상기 렌즈 어셈블리를 포함한다. 이미징 시스템은, 렌즈 어셈블리를 통과한 광을 이미지 센서에 포커싱하기 위해 적어도 하나의 가동 렌즈를 이동시키기 위한 수단을 더 포함할 수 있다. 일부 실시형태들에서, 광을 재지향시키기 위한 수단은, 광을 재지향시키기 위한 수단에 의해 제 2 방향으로 재지향된 광이 이미지 센서를 향해 통과하는 출력 면을 포함하며, 여기서, 적어도 하나의 정지 렌즈는 출력 면에 접속된다. 일부 실시형태들에서, 시스템은, 이미지 센서와 적어도 하나의 정지 렌즈 사이에 배치된 이미지 센서를 보호하기 위한 수단을 더 포함한다. 이미지 센서를 보호하기 위한 수단은 커버 유리를 포함한다. 커버 유리는 적어도 하나의 정지 렌즈의 출력 면에 커플링된 제 1 커버 유리 면을 포함할 수도 있다. 커버 유리는 이미지 센서에 커플링된 제 2 커버 유리 면을 포함할 수도 있다. 각종 실시형태들에서, 광을 재지향시키기 위한 수단, 적어도 하나의 정지 렌즈, 커버 유리, 및 이미지 센서는, 서로에 대해 정지되도록 함께 기계적으로 커플링된다. 일부 실시형태들에서, 적어도 하나의 정지 렌즈는, 이미지 센서에 평행하게 그리고 광학 엘리먼트에 근접하게 배치된 실질적으로 평평한 면을 갖는 평오목 렌즈, 및 실질적으로 평평한 면에 대향하게 배치되고 이미지 센서에 근접하게 배치된 오목 면을 포함한다.
또 다른 혁신형태는, 타겟 이미지 장면을 캡처하도록 구성된 적어도 하나의 카메라를 제공하는 것을 포함하는 방법이며, 적어도 하나의 카메라는, 센서 엘리먼트들의 어레이를 포함하는 이미지 센서, 수용된 광의 일부분을 제 1 방향으로 지향시키도록 구성된 주 광 폴딩 면, 부 광 폴딩 면을 갖는 광학 엘리먼트로서, 부 광 폴딩 면은 주 광 폴딩 면으로부터 수용된 광을 제 2 방향으로 재지향시키도록 포지셔닝된, 상기 광학 엘리먼트, 및 렌즈 어셈블리로서, 부 광 폴딩 면과 이미지 센서 사이에 포지셔닝된 적어도 하나의 정지 렌즈로서, 광학 엘리먼트에 기계적으로 커플링된 제 1 면 및 이미지 센서에 기계적으로 커플링된 제 2 면을 갖는, 상기 적어도 하나의 정지 렌즈, 및 주 광 폴딩 면과 광학 엘리먼트 사이에 포지셔닝된 적어도 하나의 가동 렌즈를 갖는, 상기 렌즈 어셈블리를 포함한다. 적어도 하나의 카메라는, 렌즈 어셈블리를 통과한 광을 이미지 센서에 포커싱하기 위해 적어도 하나의 가동 렌즈를 이동시키도록 구성된 액츄에이터를 더 갖는다. 방법은, 광학 엘리먼트, 적어도 하나의 정지 렌즈 및 이미지 센서의 상대적인 포지셔닝을 유지하면서, 적어도 하나의 가동 렌즈를 이동시킴으로써 타겟 이미지 장면 상에 적어도 하나의 카메라를 포커싱하는 것을 더 포함한다. 적어도 하나의 카메라는 복수의 카메라들을 포함할 수도 있고, 방법은 복수의 카메라들로부터 이미지들을 수용하고 복수의 카메라들로부터 수용된 이미지들의 적어도 일부분을 포함하는 이미지를 형성하는 것을 더 포함한다.
또 다른 혁신형태는, 타겟 이미지 장면을 캡처하도록 구성된 적어도 하나의 카메라를 갖는 이미징 시스템을 포함하며, 적어도 하나의 카메라는, 센서 엘리먼트들의 어레이를 포함하는 이미지 센서로서, 센서 엘리먼트들의 어레이는 센서 엘리먼트 피치를 가지며, 이미지 센서는 센서 엘리먼트 피치에 적어도 일부 기초하여 결정되는 나이퀴스트 샘플링 레이트를 갖는, 상기 이미지 센서, 부 광 폴딩 면을 갖는 광학 엘리먼트로서, 부 광 폴딩 면은 부 광 폴딩 면 상에 수용된 광을 제 2 방향으로 재지향시키도록 포지셔닝된, 상기 광학 엘리먼트, 및 렌즈 어셈블리로서, 부 광 폴딩 면과 이미지 센서 사이에 포지셔닝된 적어도 하나의 정지 렌즈로서, 상기 광학 엘리먼트에 기계적으로 커플링된 제 1 면 및 이미지 센서에 기계적으로 커플링된 제 2 면을 갖는, 상기 적어도 하나의 정지 렌즈, 및 적어도 하나의 가동 렌즈로서, 부 광 폴딩 면에 의해 수용된 광이 적어도 하나의 가동 렌즈를 통과하도록 포지셔닝된, 상기 적어도 하나의 가동 렌즈를 갖는, 상기 렌즈 어셈블리를 포함한다. 이미징 시스템은 또한, 렌즈 어셈블리를 통과한 광을 이미지 센서에 포커싱하기 위해 적어도 하나의 가동 렌즈를 이동시키도록 구성된 액츄에이터를 포함할 수도 있다.
개시된 양태들은 개시된 양태들을 제한하는 것이 아니라 예시하기 위하여 제공된 첨부 도면들 및 부록들과 함께 이하에서 설명될 것이며, 여기서, 같은 부호는 같은 요소들을 표시한다.
도 1a 는 한 개의 센서 어셈블리 및 연관된 오토포커스 디바이스를 나타내는 폴드형 광학 센서 어셈블리의 일 실시형태의 횡단 측면도를 나타낸다.
도 1b 는 두 개의 센서 어셈블리들 및 연관된 오토포커스 디바이스들을 나타내는 폴드형 광학 센서 어셈블리의 일 실시형태의 횡단 측면도를 나타낸다.
도 1c 는 도 1b 의 센서 어셈블리의 광학 컴포넌트들의 일 실시형태의 상면도를 나타낸다.
도 1d 는 도 1c 의 광학 컴포넌트들의 실시형태의 측면도를 나타낸다.
도 1e 는 도 1d 의 광학 컴포넌트들의 실시형태의 횡단면도를 나타낸다.
도 1f 는 도 1c 의 광학 컴포넌트들의 실시형태에 대한 예시적인 다이어프램 (diaphragm) 의 횡단면도를 나타낸다.
도 1g 는 도 1c 의 광학 컴포넌트들의 실시형태에 대한 예시적인 다이어프램의 횡단면도를 나타낸다.
도 2 는 이미지 캡처 디바이스의 하나의 실시형태의 블록도를 나타낸다.
도 3 은 오토포커스를 이용한 폴드형 광학 이미지 캡처 프로세스의 일 실시형태를 나타낸다.
도 4 는 폴드형 광학 센서 어셈블리의 일 실시형태의 투시도를 나타낸다.
도 5 는 다수의 센서 어셈블리들을 이용한 이미징 시스템의 투시도를 나타낸다.
도 6 은 폴드형 광학 센서 어레이 실시형태의 투영된 시야들의 일 실시형태를 나타낸다.
도 7a 는 렌즈 어셈블리가 -30 ㎛ 에 포지셔닝되고 6767 mm 의 거리에서 포커싱된 폴드형 광학 센서 어레이의 일 실시형태를 나타낸다.
도 7b 는 도 7a 의 폴드형 광학 센서 어레이 실시형태의 광학 (예컨대, 렌즈 어셈블리 및 센서 프리즘) 에 있어서의 시뮬레이션된 MTF 대 (versus) 광학에 대한 화각 (field angle) 성능 데이터를 나타낸다.
도 7c 는 MTF 대 mm 당 사이클들 (cycles) 에서의 공간 주파수를 나타내며, 여기서, 다수의 MTF 곡선들은 도 7a 의 폴드형 광학 센서 어레이 실시형태에 있어서의 새지털 (sagittal) 및 탄젠셜 (tangential) 성능 데이터 양방 모두에 대한 선택된 화각들에 대해 나타낸다.
도 7d 는 렌즈 어셈블리가 0.0 ㎛ 에 포지셔닝되고 1000 mm 의 거리에서 포커싱된 폴드형 광학 센서 어레이의 일 실시형태를 나타낸다.
도 7e 는 도 7d 의 폴드형 광학 센서 어레이 실시형태의 광학에 있어서의 시뮬레이션된 MTF 대 화각 성능 데이터를 나타낸다.
도 7f 는 MTF 대 mm 당 사이클들에서의 공간 주파수를 나타내며, 여기서, 다수의 MTF 곡선들은 도 7d 의 폴드형 광학 센서 어레이 실시형태에 있어서의 새지털 및 탄젠셜 성능 데이터 양방 모두에 대한 선택된 화각들에 대해 나타낸다.
도 7g 는 렌즈 어셈블리가 142 ㎛ 에 포지셔닝되고 200 mm 의 거리에서 포커싱된 폴드형 광학 센서 어레이의 일 실시형태를 나타낸다.
도 7h 는 도 7g 의 폴드형 광학 센서 어레이 실시형태의 광학에 있어서의 시뮬레이션된 MTF 대 화각 성능 데이터를 나타낸다.
도 7i 는 MTF 대 mm 당 사이클들에서의 공간 주파수를 나타내며, 여기서, 다수의 MTF 곡선들은 도 7g 의 폴드형 광학 센서 어레이 실시형태에 있어서의 새지털 및 탄젠셜 성능 데이터 양방 모두에 대한 선택된 화각들에 대해 나타낸다.
도 7j 는 렌즈 어셈블리가 +35 ㎛ 에 포지셔닝되고 500 mm 의 거리에서 포커싱되는 폴드형 광학 센서 어레이의 일 실시형태를 나타낸다.
도 7k 는 MTF 대 도 7j 의 폴드형 광학 센서 어레이 실시형태에 대한 화각 성능 데이터를 나타낸다.
도 7l 은 MTF 대 mm 당 사이클들에서의 공간 주파수를 나타내며, 여기서, 다수의 MTF 곡선들은 도 7j 의 폴드형 광학 센서 어레이 실시형태에 대한 새지털 및 탄젠셜 성능 데이터 양방 모두에 대한 선택된 화각들에 대해 나타낸다.
도 7m 은 도 7a, 도 7d, 도 7g 및 도 7j 에 나타낸 폴드형 광학 센서 어레이 실시형태들에 대한 상대 조도 (relative illumination) 를 나타낸다.
도 8a 내지 도 8c 는 오토-포커스를 획득하기 위해 폴드형 광학 센서 어셈블리가 이동되는 곳에 대한 일 실시형태를 나타낸다.
도 9 는 폴드형 광학 이미지 센서에 대한 렌즈 어셈블리의 일 실시형태를 통과하는 광의 광선 추적 (ray trace) 을 나타낸다.
도 10a 는 이미지 센서 상의 PSF 패턴의 일 예를 나타낸다.
도 10b 내지 도 10f 는 이미지 해상도에 대한 레일레이 (Rayleigh) 성능 기준들 (criteria) 을 나타낸다.
도 11 은 본 명세서에서 설명된 바와 같은 광학 시스템을 갖는 어레이 카메라에 대한 회절 한계 (diffraction limit) 성능 데이터를 나타낸다.
도 12 는 단일 픽셀에 대한 MTF 성능 데이터를 나타낸다.
도 13a 내지 도 13e 는 광학 및 센서 조합의 하나의 실시형태에 대한 MTF 성능 기준들을 나타낸다.
도입
본 명세서에서 설명되는 바와 같은 폴드형 광학, 다중-카메라 시스템들에 대한 오토-포커스 시스템들 및 기법들의 실시형태들은, 다중-카메라 시스템에서 각각의 이미지 센서를 위해 설치되는 2-파트 렌즈 시스템 및 오토포커스 어셈블리를 포함할 수 있다. 다중-카메라는 복수의 이미지 센서들의 각각과 연관된 주 및 부 광 폴딩 면을 포함할 수 있다. 주 광 폴딩 면은 반사 거울 또는 굴절 프리즘일 수 있고, 기판에 탑재될 수 있고, 타겟 이미지 장면으로부터의 입사 광을 다중-카메라 시스템에서의 이미지 센서들의 수에 대응하는 다수의 부분들로 분할할 수 있다. 부 광 폴딩 면은 반사 거울 또는 굴절 프리즘일 수 있고, 주 광 폴딩 면으로부터 이미지 센서로의 광의 부분을 재지향시킬 수 있으며, 예를 들어 여기서, 이미지 센서는 주 광 폴딩 면이 탑재되는 동일한 기판 상에 평평하게 (flat) 탑재된다.
이러한 실시형태의 하나의 중요한 양태는 하나 이상의 반사 면들 또는 프리즘들을 이용하는 어레이에서 각각의 센서를 향해 광을 재지향시킴으로써, 공통의 평판형 기판 상에 모든 이미지 센서들을 포지셔닝하는 것이 가능하다는 것이다. 일부 실시형태들에서, 모든 센서 면들은 하나의 공통 다이 (die) 상에 형성되며, 여기서, 회로는 모든 센서들 사이에 공유될 수 있고, 가능하게는 다이 면적, 파워 요건들 및 다이의 내측 및 외측에서의 인터페이스들을 감소시킬 수 있다.
전술한 바와 같이, 예를 들어 이미지 센서의 광학 축을 따라 이미지 센서 상에서 렌즈를 상 또는 하로 이동시키는 전통적인 방법은, 카메라 모듈 높이를 증가시키고 다른 바람직하지 않은 특성들 또는 양태들을 잠재적으로 생성할 수도 있기 때문에, 바람직하지 않을 수도 있다.
폴드형 광학 시스템들에서의 오토포커스에서의 또 다른 잠재적인 문제점은 이미지 센서 면 상에 투영된 이미지의 전체 (full) 시야 (FOV) 에 걸쳐 높은 변조 전달 함수 (MTF) 해상도 성능을 달성하는 것에 대한 필요일 수 있다. 렌즈 어셈블리의 최대 MTF 성능은 렌즈 어셈블리의 회절 한계에 의해 제한되며, 이는 렌즈 어셈블리를 통과하는 광의 f-수 (f-number) 및 파장들에 의해 결정된다. 렌즈 어셈블리는 렌즈 어셈블리의 첫번 째 면으로부터 이미지 센서 면과 같이 이미지를 또 다른 면에 투영하는 렌즈 어셈블리의 마지막 면까지에서의 하나 이상의 광학 엘리먼트들로 구성된다. 엘리먼트는, 예를 들어 광을 굴절시키거나 광을 반사시킬 수 있는 하나 이상의 광학 면들로 이루어질 수 있다.
렌즈 어셈블리 실제 MTF 성능은, 이용된 이미지 높이들의 전체 범위에 걸친 회절 한계보다 적을 수 있지만, 렌즈 어셈블리의 전체 FOV 에 걸친 렌즈 어셈블리의 회절 한계에 매우 근접한 샘플들의 세트 또는 다량의 렌즈 어셈블리들을 제조하는 것이 가능하도록 렌즈를 설계하는 것이 바람직하다.
렌즈 어셈블리의 MTF 성능 요건들이 그 최대 성능 (예를 들어, 회절 한계) 을 향해 증가함에 따라, 이것은, 카메라 설계의 다른 양태들을 포함하여, 렌즈 어셈블리의 광학 컴포넌트들 및/또는 기계적 오토포커스 메커니즘들의 허용오차들에 대해 더 많은 요구들을 할 수도 있다. 보다 엄격한 허용오차들을 필요로 할 수도 있는 광학 컴포넌트들 또는 다른 카메라 설계 양태들의 예들로는, 오토포커스 메커니즘들, 렌즈 면들, 렌즈 재료들, 서로에 대한 렌즈 면들의 정렬, 및 렌즈 어셈블리를 단일 운영 유닛으로서 갖는 오토포커스 메커니즘들의 조합된 제조법을 들 수 있다. 기계적인 오토포커스 메커니즘들은, 예를 들어 렌즈 틸트 (tilt) 에러들 (예를 들어, 광학 축 둘레에서의 회전 에러들) 및/또는 병진 (translational) 에러들 (광학 축 둘레에서의 X, Y 및 Z 선형 방향 에러들) 을 생성할 수 있다. 단지 몇몇의 샘플들로부터 다량의 샘플들까지에 걸친 제조를 위해 의도된 일 설계에서, 렌즈 틸트 및 렌즈 병진과 같은 모든 중요한 변동들 (variations) 에 대한 제한들을 확립하고 나서, 렌즈 틸트 또는 병진과 같은 이들 변동들을 생성할 수 있는 모든 컴포넌트들, 엘리먼트들, 또는 양태들, 그리고 이들 변동들에 의해 영향을 받을 수 있는 이들 컴포넌트들, 엘리먼트들 또는 양태들에 대한 허용오차 버젯 (budget) 을 결정하는 것은 일반적으로 양호한 실행형태이다. 영향은 일반적으로 하나 이상의 중요한 변동들이 양에 있어서 변화함에 따른 MTF 감소로 표현된다. 모든 기계적 및 광학 컴포넌트들, 엘리먼트들 또는 설계 양태들에 대한 허용오차 버젯을 결정한 후, 다음으로 이들 컴포넌트들, 엘리먼트들 또는 양태들이 일정 수준의 통계적 신뢰도를 갖는 버젯된 (budgeted) 허용오차들 내에 머물도록 설계될 수 있다. 이러한 실행형태들의 이용은, 예를 들어 완전한 단일 또는 다중 카메라 오토포커스 모듈과 같은 최종 완제품의 수율을 증가시킬 수 있다. 이 방식으로 이 시스템을 조망함으로써, 렌즈 어셈블리는 전술한 변동들에 의해 야기되는 팩터들에 덜 민감하도록 또는 전술한 변동들에 덜 기여하도록 설계될 수 있다.
오토-포커스 메커니즘들 또는 다른 유사한 표현들이나 참조들이 본 명세서에서 사용되는 경우, 이러한 참조는 렌즈를 포커싱하는 프로세스와 연관되거나 연관되지 않은 모든 관련 링키지들 (linkages), 컴포넌트들, 엘리먼트들 또는 양태들을 포함할 수 있다. 예를 들어 오토포커스 메커니즘들은, 모션을 야기하거나 전달할 수도 있는 하나 이상의 모터들, 하나 이상의 액츄에이터들, 링키지들, 디바이스들, 컴포넌트들, 엘리먼트들, 또는 양태들을 포함할 수 있으며, 여기서 이 모션은 결국 렌즈 시스템을 특정 레벨의 포커스로 가져오도록 이동하거나 동작을 야기할 것이다. 모터 또는 모터로부터의 모션이 없더라도 다른 팩터들이 렌즈 어셈블리 MTF 에 영향을 미칠 수도 있다. 포커스의 레벨은 MTF, 펄스 스프레드 함수 (PSF: Pulse Spread Function) 의 용어와 같은 각종 방식들로 또는 다른 적합한 측도들 (measures) 로 표현될 수 있다.
본 명세서에서는 주로 MTF 성능의 맥락에서 논의되었지만, 이것은 예시적인 목적들을 위한 것이고, 렌즈 성능은 다른 실시형태들에서 PSF, 라인 스프레드 함수 (LSF: Line Spread Function) 와 같은 유사한 개념들로, 또는 유사한 개념들을 표현하는 다른 직접 또는 간접적인 방식들로 표현될 수 있다.
본 명세서에서 설명된 실시형태들은 폴드형 광학, 높은 MTF 해상도 오토-포커스 설계들을 위해 이용될 수도 있으며, 여기서, 렌즈 어셈블리 설계 및 오토포커스 기계적 구조 설계는 함께 작용하여, MTF 해상도로 하여금 감소되게 할 수 있는 변동들을 감소시킬 수 있고, 그리고/또는 렌즈 어셈블리, 엘리먼트들, 그러한 유형들의 양태들 및 일어날 수도 있는 변동들의 규모 (magnitude) 의 MTF 민감도를 감소시킬 수 있다. MTF 성능에 있어서 손실 또는 감소를 초래할 수 있는 가능한 변동들의 범위는, 전술한 가능한 변동들, 또는 다른 변동들에 의해 영향을 받아서 결국 MTF 성능에 영향을 미치거나 MTF 성능을 감소시킬 수 있는, 이차적 소스들, 삼차적 소스들 등으로부터 유래될 수 있다.
폴드형 광학 시스템을 설계하기 위한 프로세스의 하나의 예는 이미지 센서 픽셀 피치를 이용하여 시작하는 것이다. 렌즈는 광학 도메인에서 안티-에일리어싱 (anti-aliasing) 필터로서 동작할 필요가 있을 것이다. 이미지 센서 픽셀 피치가 렌즈 설계 프로세스의 시작 시에 고려되지 않는다면, 결과적인 렌즈 설계는 이미지 센서의 나이퀴스트 (Nyquist) 샘플 레이트보다 아래인, 포커스 평면에서의 mm 당 사이클들에서 장면 주파수 콘텐트를 필터링 아웃 (filter out) 할 수도 있다. 또는 대안적으로, 결과적인 렌즈 설계는 (mm 당 사이클들에서의) 나이퀴스트 장면 주파수를 넘어 너무 많은 콘텐트가 통과하도록 허용할 수도 있으며, 이 경우, 이미지는 현저한 에일리어싱 아티팩트들 (artifacts) 을 가질 수도 있다. 일부 실시형태들에서, 렌즈 시스템은 MTF 를 나이퀴스트 샘플 레이트에서 20% (또는 약간 더 적게) 로 감소시켜야 한다. 다음으로, 회절 한계는 렌즈 설계를 위한 시작점 (starting point) 으로서 이용될 수 있으며, 여기서, 20% 또는 약간 더 적음의 규칙 (rule) 을 충족시킬 f-수가 결정될 수 있다. 일단 f-수가 결정되면, 최종 렌즈 어셈블리 설계가 나이퀴스트 레이트에서 20% MTF 또는 그 미만을 갖도록 회절 한계를 증가시킬 양이 추정될 수 있다. 예를 들어, 렌즈 MTF 가 나이퀴스트 샘플 레이트에서 또는 그 근방에서 회절 한계보다 10% 이하라면, 20% 또는 약간 더 적음의 규칙을 달성하는 데 도움을 주기 위해 f-수는 잠재적으로 감소될 수 있다.
유효 (effective) 초점 길이가 대략 일정하게 유지된다면, 회절 한계가 증가될수록, 클리어 애퍼처 (clear aperture) 가 더 넓게 증가될 필요가 있을 것이다. 클리어 애퍼처가 증가함에 따라 렌즈 어셈블리의 높이가 증가할 수도 있다. 폴드형 광학을 가능한 한 얇게 유지하기 위해, MTF 성능이 회절 한계에 가능한 한 근접하도록 렌즈 어셈블리를 설계하는 것은 그래서 중요하다. 그렇지 않다면, 모듈 높이, 또는 두께, 전체의 단일 또는 다중 카메라 오토포커스 모듈에 대한 요건들을 충족시키는 것은 가능하지 않을 수도 있다. 그 기술분야에서 통상의 지식을 가지는 사람 (이하, "당업자") 은, f-수가 카메라 렌즈 시스템 또는 어셈블리와 같은 이미징 시스템의 클리어 애퍼처에 의해 분할되는 유효 초점 길이와 동일함을 인식할 것이다.
본 명세서에서 나타낸 실시형태들에 있어서, 렌즈 어셈블리들은, 나이퀴스트 샘플 레이트 및 모든 더 높은 주파수들까지의 mm 당 사이클들로, 회절 한계 소실점 (vanishing point) 을 벗어나는 mm 당 사이클들로, 모든 공간 주파수들에 걸친 회절 한계에 가능한 한 근접하게 유지되도록 설계되었다. 또한, MTF 성능은 렌즈 어셈블리의 전체 FOV 에 걸친, 그리고 무한대로부터 200 mm 의 근접한 거리까지의 모든 초점 거리들에서의, 회절 한계에 가능한 한 근접하게 유지되도록 설계되었다.
본 명세서에서 나타낸 실시형태들은, 예들로서, 이미지 센서 정사각형 픽셀 어레이를 이용한 것에 기초하며, 여기서, 픽셀 피치는 1.1 ㎛ 이며 픽셀 필 팩터 (fill factor) 는 100%이다. 따라서, 본 명세서에서 설명된 실시형태들은 mm 당 454 사이클들의 나이퀴스트 샘플 레이트에 기초한다. 샘플 이론에 대한 당업자는 1.1 ㎛ 와 같은 정사각형 애퍼처 폭이 샘플링 MTF 롤-오프 (roll-off) 를 도입할 수도 있음을 인식할 것이다. 샘플링 MTF 롤-오프는 계산될 수 있다. 샘플링 MTF 롤-오프를 더 보상하기 위해 회절 한계는 증가되어, 나이퀴스트 샘플 레이트에서 렌즈 MTF 롤-오프와 샘플링 MTF 롤-오프가 더해져서 함께 순 (net) 20% MTF 를, 또는 경우에 따라서는 일부 다른 약간 적은 MTF 레벨을 생성할 수 있을 것이다.
본 명세서에서 나타낸 실시형태들은 픽셀 사이즈, 형상, 피치, 직사각형 어레이, 비-직사각형 어레이, 또는 배열에 한정되지 않음이 또한 인식되어야 하며, 여기서, 픽셀 사이즈 또는 형상은 이미지 센서의 면 상에서 서로와 상이하게 존재할 수 있다. 실시형태들은 이러한 시스템을 설계하는 데 이용될 수도 있는 팩터들 또는 양태들, 및 본 명세서에서 설명되는 및 이점들, 속성들 및 청구항들을 지시하도록 의도된다. 실시형태들은 이들 실시형태들을 설명하거나 지칭할 때 커버되는 픽셀 사이즈 또는 다른 팩터들에 한정되지 않는다.
본 명세서에 나타낸 실시형태들은 센서 상에서 굴절 센서 프리즘 또는 반사 거울을 이용하여 구현될 수 있다. 굴절 센서 프리즘은 총 내부 반사 특성들을 이용하여 굴절 프리즘 형상의 광학 엘리먼트 상에서 센서 면 또는 반사 면을 향해 광을 반사시킬 수 있다.
본 명세서에서 나타낸 실시형태들에 있어서, 센서 프리즘 반사 면 및 센서 거울 면도 또한, 회전 및 병진 변동들에 가장 많은 민감도를 가질 수 있다. 이들 변동들은 오토포커스 메커니즘들, 모터, 및 다른 기계적 및/또는 광학 컴포넌트들, 엘리먼트들 또는 양태들과 모터의 상호작용들뿐만 아니라, 모션, 온도, 및 충격과 같은 다른 환경적 조건들로부터 유래할 수 있다. 회전 및 병진 변동들은 다른 관련된 또는 관련되지 않은 소스들로부터 유래할 수 있다. 다른 양태들은 또한 MTF 성능에 영향에 영향을 줄 수 있다.
본 명세서에서 설명된 실시형태들은 전술한 변동들을 감소시키도록 의도된 방법들을 이용한다.
일부 예들에서, 2-파트 렌즈 시스템은 하나의 이미지 센서의 폴드형 광학 경로의 주 및 광 폴딩 면들 사이에 포지셔닝된 가동부를 포함할 수 있다. 렌즈 어셈블리의 가동부는, 센서에 의해 캡처된 이미지의 초점 깊이를 변경하기 위해 주 및 부 광 폴딩 면들 사이에서 횡방향으로 (예컨대, 이미지 센서에 의해 형성된 평면에 평행한 방향으로) 이동할 수 있다. 가동부는 원하는 초점 길이 및 해상도를 생성하기 위해 선택된 다수의 렌즈들을 포함할 수도 있다. 2-파트 렌즈 시스템은 또한 정지부, 예를 들어 센서에 매우 근접하게 포지셔닝된 필드 커렉터 렌즈를 포함할 수 있다. 일부 실시형태들에서, 필드 커렉터 렌즈는 센서 상에 포지셔닝된 유리 커버 플레이트에 부착 (예컨대, 위치에 있어서 접착 또는 기계적으로 유지) 될 수도 있다.
일부 실시형태들에서, 렌즈 시스템의 가동부를 이동시키는 데 이용되는 오토포커스 어셈블리는 액츄에이터 및 가이드 레일 또는 다른 가이드 디바이스를 포함할 수 있다. 액츄에이터는 보이스 코일 모터 (VCM), 마이크로-전자 기계 시스템 (MEMS), 압전 (piezoelectric) 모터, 또는 형상 기억 합금 (SMA) 일 수도 있다. 액츄에이터는 렌즈 어셈블리의 가동부로부터 부 광 폴딩 면의 대향 측 상의 기판에 커플링될 수 있고, 가이드 레일에 의해 가동부에 커플링될 수 있다. 가이드 레일은, 렌즈 설계의 허용오차들 내에서 틸트 (예컨대, 롤, 피치, 요, 및 회전 모션) 및 가동부의 횡방향 병진 이동들을 제약하기 위해, 가동부로의 액츄에이터 모션을 병진할 수 있으며, 일부 실시형태에서는 부 광 폴딩 면의 일 면에 맞물릴 (예를 들어, 슬라이딩가능하게 맞물릴) 수 있다.
각종 실시형태들은 설명의 목적으로 도면과 함께 이하에서 설명될 것이다. 개시된 개념들의 많은 다른 구현형태들이 가능하다는 것과, 개시된 구현형태들을 이용하여 각종 이점들이 달성될 수 있다는 것은 이해되어야 한다.
오토포커스 어셈블리의 개요
이제 도 1a 및 도 1b 를 참조하여, 폴드형 광학 다중-센서 어셈블리 (100A, 100B) 를 위한 오토포커스 시스템의 실시형태의 하나의 예가 이제 더욱 상세히 설명될 것이다. 도 1a 는 한 개의 센서 어셈블리 및 연관된 오토포커스 디바이스를 나타내는 오토포커스 능력들을 갖는 폴드형 광학 센서 어셈블리 (100A) 의 일 실시형태의 횡단 측면도를 나타낸다. 도 1b 는 두 개의 센서 어셈블리 및 연관된 오토포커스 디바이스들을 나타내는 오토포커스 능력들을 갖는 폴드형 광학 센서 어셈블리 (100B) 의 일 실시형태의 횡단 측면도를 나타낸다.
도 1a 의 예에 나타낸 바와 같이, 이미지 센서 (125) 는 기판 (150) 상에 포지셔닝된다. 기판 (150) 은, 횡단으로 나타낸 하나의 에지에서, 광을 입사 광으로 재지향시키도록 구성되고 주 광 폴딩 면 (124) 을 포함하는 광학 엘리먼트에 인접한다. 나타낸 바와 같이, 주 광 폴딩 면 (124) 은 굴절 프리즘 (145) 의 일부이다. 나타낸 바와 같이, 센서 (125) 는 인쇄 회로 보드 (195) 에 형성된 직사각형의 슬롯 (117) 내에 탑재된다. 스터드 범프들 (107) 은, 예를 들어 센서 (125) 의 한 일부분에 접속되고, 인쇄 회로 보드 (195) 상의 전기 전도성 패드들과 접촉하는 데 이용된다. 인쇄 회로 보드 (195) 는 기판 (150) 상에 탑재될 수도 있으며, 기판 (150) 에 대해 정지 상태로 유지한다. 이것은, 센서 (125) 가 기판 (150) 에 탑재되고 인쇄 회로 보드 (195) 와 전기적 접촉을 이룰 수 있는 방법에 대한 단지 하나의 예이다. 일부 실시형태들에서, 센서 (125) 는 접착제를 이용하여 기판 (150) 에 부착될 수 있다. 일부 실시형태에서, 센서 (125) 는 기판 (150) 의 일부로서 형성될 수도 있으며, 예를 들어 기판 (150) 은 그 일부분에 센서 (125) 를 형성하는 데 적합한 실리콘 다이 또는 다른 반도체 재료일 수도 있다. 나타낸 바와 같이, 센서 (125) 는 커버 유리 (126) 에 의해 커버될 수 있고, 렌즈 (L6) 는 커버 유리 (126) 의 센서 (125) 로부터의 다른 측 상에 포지셔닝된다. 일부 예들에서, 커버 유리 (126) 는 함께 커플링된 두 개 이상의 컴포넌트들을 포함한다. 일부 예들에서, 커버 유리 (126) 는 센서의 광 수용 면의 오염을 방지하기 위해 제조 도중에 센서 (125) 에 커플링된다. 하지만, 일부 실시형태들에서, 커버 유리 (126) 는 생략될 수도 있으며, 렌즈 (L6) 가 센서 (125) 에 직접 커플링될 수도 있다.
렌즈 (L6) 는 필드 커렉터 렌즈일 수 있다. 일부 실시형태들에서, 렌즈 (L6) 는 L1 내지 L6 의 렌즈 시스템의 정지 컴포넌트이다. 일부 실시형태들에서, 렌즈 (L6) 는, 정지하고 있는, 즉, 오토포커스 동작을 이행하기 위해 이동하지 않는 렌즈 그룹 ("정지 렌즈 그룹") 을 형성하는 다수의 렌즈 엘리먼트들을 포함할 수 있다. L6 은 정지 렌즈 그룹을 형성하는 하나의 렌즈 또는 다수의 렌즈들일 수도 있으며, 여기서, 각각의 렌즈는 렌즈의 일 그룹 또는 스택으로서 함께 접속된다. 부 광 폴딩 면 (135) 은 렌즈 (L6) 로부터 떨어져서 연장되며, 나타낸 바와 같이 부 광 폴딩 면 (135) 에서 지지 블록 (136B) 에 커플링된 굴절 프리즘 (136A) 으로서 형성된다. 광을 재지향시키는 프리즘의 내부 반사 특성들을 이용하는 대신에, 136A 와 136B 사이에 거울 면이 배치되는 것이 가능하다.
렌즈들 (L1, L2, L3, L4, 및 L5) 을 포함하는 렌즈 시스템의 가동부 (130) 는 주 광 폴딩 면 (124) 과 부 광 폴딩 면 (135) 사이에 포지셔닝된다. 광학 축 (123) 은, 어레이 카메라 (100A) 로 진입하여 주 광 폴딩 면 (124) 에서 재지향되고 렌즈 시스템의 가동부 (130) 를 통과하여 부 광 폴딩 면 (135) 에서 재지향되고, 렌즈 (L6) 와 커버 유리 (126) 를 통과하여 센서 (125) 상에 입사되는 광이 취하는 경로의 하나의 예를 나타낸다. 가동부 (130) 는 대상 공간에서의 초점 거리를 변경시키기 위해 주 광 폴딩 면 (124) 을 형성하는 굴절 프리즘 (145) 의 바운딩 에지 (141; bounding edge) 와 부 광 폴딩 면 (135) 을 형성하는 굴절 프리즘 (136A) 의 바운딩 에지 (131) 사이에서 횡방향으로 (예컨대, 주 광 폴딩 면 (124) 과 부 광 폴딩 면 (135) 으로부터 연장되는 광학 축 (123) 을 따라, 그리고 센서 (125) 에 의해 형성된 평면에 실질적으로 평행한 방향으로) 이동할 수 있다. 렌즈 (L6) 는 가동부 (130) 의 광학 축에 평행한 또는 실질적으로 평행한 평면에 포지셔닝될 수도 있다.
일부 실시형태들에서, 센서 (125), 커버 유리 (126), 렌즈 (L6), 및 굴절 프리즘 (136A) 및/또는 블록 (136B) 을 포함하는 유닛 (본 명세서에서는 "광학 엘리먼트" 로 지칭함) 은, 이들 컴포넌트들이 카메라 내에서 서로에 대해 함께 고정되도록 하는 도시된 구성으로 접착될 수도 있거나 아니면 부착될 수도 있다. 일부 실시형태들에서, 이들 컴포넌트들은 이들 컴포넌트들의 서로에 대한 포지션들이 동일하게 유지되도록 영구적으로 또는 반-영구적으로 함께 고정될 수도 있으며, 이는 엘리먼트들을 통과하는 광의 광학 경로를 안정화시킨다. 일부 실시형태들에서, 전술한 바와 같이, 커버 유리 (126) 는 생략될 수도 있으며, 잔존하는 센서 (125), 렌즈 (L6), 및 굴절 프리즘 (136A) 및/또는 블록 (136B) 은, 렌즈 (L6) 가 센서 (125) 와 굴절 프리즘 (136A) 및/또는 블록 (136B) 사이에 포지셔닝된 채로, 서로에게 접착될 수 있거나 아니면 부착될 수 있다. 예를 들어, 렌즈 (L6) 는 센서 (125) 의 일부분과 굴절 프리즘 (136A) 및/또는 블록 (136B) 사이에서 물리적으로 배치될 수도 있다. 또한 예를 들어, 렌즈 (L6) 는 블록 (136B) 으로부터 센서 (125) 로 진행하는 광의 광학 경로에 배치될 수도 있다. 나타낸 바와 같이, 광학 엘리먼트는 주 광 폴딩 면 (124) 으로부터 렌즈 어셈블리의 가동부 (130) 로 통과된 광을 수용하는 입력 면 (바운딩 에지 (131)), 부 광 폴딩 면 (135), (렌즈 (L6) 에 인접한) 출력 면, 및 가이드 면 (186) 을 포함한다.
본 명세서에서 사용되는 바와 같이, 용어 "카메라" 는 이미지 센서, 렌즈 시스템, 및 다수의 대응 광 폴딩 (또는 반사) 면들을 지칭하며, 예를 들어 도 1a 에 나타낸 바와 같이 주 광 폴딩 면 (124), 가동 렌즈 어셈블리 (130), 부 광 폴딩 면 (135), 정지 렌즈 (L6), 및 센서 (125) 을 지칭한다. 폴드형-광학 다중-센서 어레이는 복수의 이러한 카메라들을 각종 구성들로 포함할 수 있다. 예를 들어, 어레이 카메라 구성들의 실시형태들은 2013년 3월 15일에 출원되고 발명의 명칭이 "MULTI-CAMERA SYSTEM USING FOLDED OPTICS" 인 미국출원공개 제2014/0111650호에 개시되어 있으며, 이로써 그 출원의 개시물은 참조로서 통합된다. 다른 어레이 카메라 구성들은 본 명세서에서 설명된 오토포커스 시스템들 및 방법들로부터 혜택을 받을 것이다.
액츄에이터 (180) 는 가동부 (130) 를 횡방향으로 이동시키는 데 이용될 수 있다. 액츄에이터 (180) 는 VCM, MEMS, 압전 모터, 또는 SMA 일 수도 있다. 액츄에이터 (180) 는 굴절 프리즘 (136A) 및/또는 블록 (136B) 의 하부 에지 (186) 를 따라 연장되는 가이드 레일 (185) 에 의해 가동부 (130) 에 커플링될 수 있다. 가이드 레일 (185) 은 액츄에이터 (180) 로부터 가동부 (130) 까지 모션을 병진 (translate) 할 수 있다. 가이드 레일 (185) 은, 렌즈 설계의 허용오차들 내에서 (예컨대, 원하는 품질의 이미지를 여전히 제공하면서) 가동부 (130) 의 틸트, 롤, 피치, 요, 및 병진 선형 모션들 (즉, 가동부(130) 의 광학 축으로부터 멀어지거나 광학 축 주위에서 트위스트하는 (twisting) 모션) 을 제약하기 위해, 하부 에지 (186) (또는 카메라 내에서의 또 다른 면, 예를 들어 굴절 프리즘 (136A) 및/또는 블록 (136B) 의 또 다른 면, 카메라 하우징의 인접 면, 중앙 굴절 프리즘의 하면 (lower surface), 광학 엘리먼트에 커플링되는 패드 또는 블록 등) 에 슬라이딩가능하게 맞물릴 수 있다. 비록 오직 하나의 가이드 레일 (185) 만이 예시되었지만, 일부 예들은 렌즈 어셈블리의 가동부 (130) 의 모션을 제약할 필요가 있음에 따라 다수의 가이드 레일들 (185) 을 포함할 수도 있다. 가이드 레일 (185) 과 하부 에지 (186) 사이의 마찰뿐만 아니라, 가동 렌즈 시스템 (130) 과 주변의 컴포넌트들 사이에서의 임의의 마찰은, 임의의 적합한 수단, 예를 들어 볼 베어링들, 윤활 액체들 또는 고체들, 자기장들, 또는 이들의 조합에 의해 감소될 수도 있다. 일부 실시형태들에서, 가동부 (130) 및/또는 액츄에이터 (180) 주위에 랩핑된 (wrapped) 자기 코일들은 틸트, 롤, 피치, 요, 및 병진 선형 방향들로의 원하지 않는 이동을 더 최소화시킬 수 있다.
비록 본 명세서에서는 부 광 폴딩 면 (135) 을 형성하는 프리즘 (136A) 및/또는 블록 (136B) 의 하부 에지 (186) 에 슬라이딩가능하게 맞물리는 가이드 레일 (185) 이 주로 논의되지만, 다른 실시형태들에서는 가이드 레일 (185) 이 다른 면들에 슬라이딩가능하게 맞물릴 수도 있다. 예를 들어, 가이드 레일의 일 단은 렌즈 시스템의 가동부를 지나서 연장될 수도 있고 주 광 폴딩 면 (124) 을 형성하는 프리즘 (145) 의 하면에 슬라이딩가능하게 맞물릴 수도 있다. 일부 실시형태들에서, 카메라는 하나 이상의 광 폴딩 면들을 반사 거울들로서 포함할 수도 있다. 이러한 실시형태들에서, 렌즈 어셈블리의 가동부의 광학 축 둘레에서의 원하지 않는 회전 및/또는 병진 모션을 제약하기 위해, 가이드 레일은 하나 이상의 거울들 및/또는 거울들을 위한 탑재 블록들의 일 에지와 접촉할 수도 있다.
비록 본 명세서에서 설명되는 바와 같은 다중-카메라 폴드형 광학 어레이 시스템들의 맥락 내에서 주로 논의되지만, 오토포커스 어셈블리는 하나 이상의 이미지 센서들 또는 폴드형 광학 렌즈 어셈블리들을 갖는 임의의 폴드형 광학 시스템에서 이용될 수 있다.
도 1b 에 나타낸 바와 같이, 센서 어셈블리 (100B) 는, 각각이 기판 (150) 에 탑재되는 한 쌍의 이미지 센서들 (105, 125), 이미지 센서들 (105, 125) 에 각각 대응하는 가동 렌즈 어셈블리들 (115, 130), 및 이미지 센서들 (105, 125) 의 커버 유리 (106, 126) 상에 각각 포지셔닝된 정지 렌즈들 (L6) (즉, 커버 유리 (106, 126) 는 정지 렌즈들 (L6) 과 이미지 센서들 (105, 125) 사이에 포지셔닝된다) 을 포함한다. 각각의 가동 렌즈 어셈블리 (115, 130) 는 가이드 레일 (184, 185) 에 커플링되며, 이는 결국 액츄에이터 (181, 180) 에 커플링된다. 굴절 프리즘 (140) 의 주 광 폴딩 면 (122) 은, 렌즈 시스템의 가동부 (115) 를 통과하고 부 광 폴딩 면 (110) 에서 재지향되며 렌즈 (L6) 와 커버 유리 (106) 를 통과하여 센서 (105) 상에 입사되는 광학 축 (121) 을 따르는 타겟 이미지 장면으로부터의 광의 일부분을 지향시킨다. 굴절 프리즘 (145) 의 주 광 폴딩 면 (124) 은, 광학 축 (123) 을 따라 렌즈 시스템의 가동부 (130) 를 통과하는 타겟 이미지 장면으로부터의 광의 일부분을 지향시키고, 광은, 부 광 폴딩 면 (135) 에서 재지향되고 렌즈 (L6) 와 커버 유리 (126) 를 통과하여 센서 (125) 상에 입사된다.
이미지 센서들 (105, 125) 은, 어떤 실시형태들에서, 전하 결합형 디바이스 (CCD), 상보형 금속 산화물 반도체 센서 (CMOS), 또는 광을 수용하고 수용된 이미지에 응답하여 이미지 데이터를 생성하는 임의의 다른 이미지 감지 디바이스를 포함할 수도 있다. 이미지 센서들 (105, 125) 은 정지 사진의 이미지 데이터를 획득하는 것이 가능할 수도 있고, 또한, 캡처된 비디오 스트림에서의 모션에 관한 정보를 제공할 수도 있다. 센서들 (105 및 125) 은 개별 센서들일 수도 있고, 또는, 3x1 어레이와 같은 센서들의 어레이들을 나타낼 수도 있다. 센서들의 임의의 적합한 어레이는 개시된 구현형태들에서 이용될 수도 있다.
센서들 (105, 125) 은 도 1b 에 나타낸 바와 같이 기판 (150) 상에, 예를 들어 렌즈 어셈블리 (115, 130) 의 이동 및 렌즈 어셈블리 (130) 의 광학 축에 평행한 (또는 거의 평행한) 평면에 탑재될 수도 있다. 일부 실시형태들에서, 모든 센서들은 평판형 기판 (150) 에 탑재됨으로써 하나의 평면 상에 있을 수도 있다. 예를 들어, 각종 실시형태들에서, 두 개, 세 개, 네 개, 다섯 개, 여섯 개, 일곱 개 또는 여덟 개, 또는 그보다 많은 센서들은 일 평면에 배치될 수도 있으며, 기판 (150) 에 탑재되거나 커플링될 수도 있다. 기판 (150) 은 임의의 적합한 실질적으로 평평한 재료일 수도 있다. 기판 (150) 은 입사 광이 기판 (150) 을 통과하여 주 광 폴딩 면들 (122, 124) 을 향하도록 허용하는 개구를 포함할 수 있다. 센서 어레이 또는 어레이들뿐만 아니라 예시된 다른 카메라 컴포넌트들을 기판 (150) 에 탑재하는 다수의 구성들이 가능하다.
주 광 폴딩 면들 (122, 124) 은, 나타낸 바와 같은 프리즘 면들일 수도 있거나 거울 또는 복수의 거울들일 수도 있고, 평평할 수도 있거나 입사 광을 이미지 센서들 (105, 125) 로 적절하게 재지향시키기 위한 필요에 따라 형상화될 수도 있다. 일부 실시형태들에서, 주 광 폴딩 면들 (122, 124) 은 중앙 거울, 피라미드, 또는 프리즘, 또는 오버랩하든 아니면 오버랩하지 않든 대상 필드에서의 이미지 장면의 별개의 부분들에 대한 별개의 섹션들 또는 면들을 채용한 다른 형상들로서 형성될 수도 있다. 중앙 거울, 피라미드, 프리즘, 또는 다른 반사 면은 타겟 이미지를 나타내는 광을 다수의 부분들로 분할하고 각각의 부분을 상이한 센서에 지향시킬 수도 있다. 예를 들어, 주 광 폴딩 면 (122) 은 제 1 시야에 대응하는 광의 일부분을 좌측 센서 (105) 를 향해 보낼 수도 있는 한편, 부 광 폴딩 면 (124) 은 제 2 시야에 대응하는 광의 제 2 부분을 우측 센서 (125) 를 향해 보낸다. 수용 센서들이 복수의 센서들의 어레이의 각각인 일부 실시형태들에서, 광 폴딩 면들은 타겟 이미지 장면의 상이한 부분을 센서들의 각각으로 보내도록 서로에 대해 각도를 가진 다수의 반사 면들로 이루어질 수도 있다. 카메라들의 시야들이 함께 적어도 타겟 이미지를 커버한다는 것은 이해되어야 한다. 시야들은, 예를 들어 이하에서 더 설명되는 바와 같이 도 2 에 나타낸 이미지 스티칭 모듈 (240) 및 프로세서를 참조하여, 최종 이미지를 형성하도록 캡처한 후 함께 정렬되어 스티칭될 수 있다.
광 폴딩 면들은 각종 실시형태들에서 평평하거나 곡면일 수 있다. 광 폴딩 면은 광학 시스템의 일부인 만곡부 (curvature) 를 가질 수 있으며, 이에 의해 평평한 면의 방식 외의 방식으로 광의 경로를 변경한다. 예를 들어 이러한 곡면은 전체 렌즈 광학 설계 중 일부일 수 있으며, 여기서, 이러한 곡면을 이용하지 않으면 렌즈 설계 및/또는 포커싱 능력의 성능이 달성되지 않을 것이다. 광 폴딩 면은 또한 광학 경로에서 광을 변경시키는 다른 재료들 또는 광학 엘리먼트들을 가질 수 있다. 다른 광학 엘리먼트들은 회절 광학 엘리먼트들 (DOE: Diffractive Optical Elements), 코팅들, 편광 엘리먼트들 등을 포함할 수 있지만, 이에 한정되지 않는다.
어레이에서의 각각의 센서 (및 각각의 카메라) 는 실질적으로 상이한 시야를 가질 수도 있고, 일부 실시형태들에서 시야들은 오버랩할 수도 있다. 광 폴딩 면들의 어떤 실시형태들은 렌즈 시스템을 설계할 때 자유도 (degree of freedom) 를 증가시키기 위해 복잡한 비-평면형 면들을 가질 수도 있다.
광은, 주 광 폴딩 면들 (122, 124) 에서 반사된 후, 주 광 폴딩 면들 (122, 124) 과 반사 면들 (110, 135) 사이에 설치된 가동 렌즈 시스템들 (115, 130) 을 통과할 수도 있다. 가동 렌즈 시스템들 (115, 130) 은 각각의 센서를 향해 지향되는 타겟 이미지의 부분을 포커싱하기 위해 이용될 수도 있다. 가동 렌즈 시스템들 (115, 130) 을 위한 오토포커스 어셈블리는 복수의 상이한 렌즈 포지션들 사이에서 렌즈를 이동시키는 액츄에이터를 포함할 수 있다. 액츄에이터는 보이스 코일 모터 (VCM), 마이크로-전자 기계 시스템 (MEMS), 또는 형상 기억 합금 (SMA) 일 수도 있다. 오토포커스 어셈블리는 액츄에이터를 제어하는 렌즈 드라이버 (lens driver) 를 더 포함할 수도 있다. 묘사된 바와 같이, 센서 (105) 는 광 폴딩 면 (110) 상에 포지셔닝될 수도 있고, 센서 (125) 는 광 폴딩 면 (135) 상에 포지셔닝될 수도 있다 ("상 (above)" 방향은 도 1b 에 나타낸 실시형태의 오리엔테이션 (orientation) 을 지칭한다). 하지만, 다른 실시형태들에서, 센서들은 부 반사 면들의 아래 (beneath) 에 있을 수도 있다. 여기서 사용되는 바와 같이, 타겟 이미지 장면을 나타내는 광이 진입하는, 카메라 하우징에서의 개구는 "상부 (top)" 로서 간주되고, 따라서, 부 반사 면의 "하부 (beneath)" 에 배치되는 센서는 개구에 대향하는 카메라 하우징의 면 상일 것이다. 하지만, 사용되는 카메라 하우징은, 예를 들어 이미지 캡처를 위한 관심의 장면으로의 카메라의 릴레이션 (relation) 에 기초한 임의의 오리엔테이션으로 포지셔닝될 수도 있다. 각각의 렌즈 어셈블리로부터의 광이 센서들을 향해 재지향되는 광 폴딩 면들 및 센서들의 다른 적합한 구성들이 가능하다.
각각의 센서의 시야는 대상 공간으로 투영될 수도 있고, 각각의 센서는 그 센서의 시야에 따라 타겟 장면의 일부분을 포함하는 부분 이미지를 캡처할 수도 있다. 일부 실시형태들에서, 대향 센서 어레이들 (105, 125) 에 대한 시야는 소정의 양 만큼 오버랩될 수도 있다. 단일 이미지를 형성하기 위해, 이하 설명되는 스티칭 프로세스가 두 개의 대향하는 센서들 (105, 125) 로부터의 이미지들을 결합하기 위해 이용될 수도 있다. 스티칭 프로세스의 어떤 실시형태들은 부분 이미지들을 함께 스티칭함에 있어 공통적인 피처들을 식별하기 위해 오버랩을 채용할 수도 있다. 오버랩하는 이미지들을 함께 스티칭한 후에, 스티칭된 이미지는 최종 이미지를 형성하기 위해 원하는 애스펙트 비 (aspect ratio), 예를 들어 4:3 또는 1:1 로 크로핑 (cropping) 될 수도 있다.
도 1a 및 도 1b 에 의해 나타낸 바와 같이, 각각의 카메라는 총 높이 H 를 갖는다. 일부 실시형태들에서, 총 높이 H 는 대략 4.5 mm 이하일 수 있다. 일부 실시형태들에서, 총 높이 H 는 대략 4.0 mm 이하일 수 있다. 따라서, 가동 렌즈 시스템들 (115, 130) 의 높이는 또한 높이 H 를 초과하지 않는다. 다른 구현형태들에서, 높이는 4.5 mm 를 초과할 수도 있다.
도 1c 내지 도 1g 는 마이크로미터들 (마이크로미터들을 지시하기 위해 일부 치수들 (dimensions) 은 ㎛ 로 라벨링되고, 다른 치수들은 도면 상에서의 공간 제한들로 인해 "㎛" 표시로 라벨링되지 않는다) 로 제공되는 컴포넌트들에 대한 치수 값들을 이용한 치수 데이터를 함께 이용하여, 도 1b 의 센서 어셈블리의 (렌즈들 (L1-L6), 센서 (125), 커버 유리 (126), 프리즘 (136A), 및 블록 (136B) 을 포함하는) 광학 컴포넌트들의 실시형태의 각종 도면들을 나타낸다. 도 1c 는 도 1b 의 센서 어셈블리의 광학 컴포넌트들의 일 실시형태의 상면도를 나타낸다. 도 1d 는 도 1c 의 광학 컴포넌트들의 실시형태의 측면도를 나타낸다. 도 1e 는 도 1c 에 표시된 A-A 횡단면을 따르는 도 1c 의 광학 컴포넌트들의 실시형태의 횡단면도를 나타낸다. 도 1f 는 도 1d 에 표시된 B-B 단면을 따르는 도 1c 의 광학 컴포넌트들의 실시형태에 대한 예시적인 다이어프램의 횡단면도를 나타낸다. 도 1g 는 도 1d 에 표시된 C-C 단면을 따르는 도 1c 의 광학 컴포넌트들의 실시형태에 대한 다이어프램의 횡단면도의 일 실시형태의 예를 나타낸다. 도 1g 에 나타낸 실시형태에서, 반지름은 803.4 ㎛ 일 수도 있다. 도 1c 내지 도 1g 에 나타낸 치수들은 광학 컴포넌트들에 대한 설계 파마리터들의 하나의 가능한 세트를 나타내도록 제공된다. 다른 구현형태들에서는 다른 설계 파라미터들이 적합할 수 있음은 이해될 것이다. 나타낸 파라미터들 또는 다른 변동들을 이용하여, 당업자는, 비용, 품질 등과 같은 설계 팩터들에 기초한 렌즈를 생성하기 위해 다양한 공지의 재료들이 이용될 수 있음을 이해할 것이다.
나타낸 파라미터들 또는 다른 변동들을 이용하여, 당업자는, 렌즈들 (L1, L2, L3, L4, L5 및 L6) 로 나타낸 것보다 많거나 적은 렌즈 표면들 및/또는 렌즈가 있을 수 있음을 이해할 것이다. 예를 들어, L6 은 센서 (125) 에 가장 근접한 측 상에서 하나의 렌즈의 면들을 갖는 하나의 렌즈인 것으로 도 1a 에 나타낸다. 대신에 L6 이 두 개의 렌즈 면들을 가질 수도 있으며, 여기서, 도 1a 에 나타낸 바와 같이, 면 (135) 에 가장 근접한 일 렌즈 면이 있고, 도 1a 에 나타낸 바와 같이 센서 (125) 에 가장 근접한 일 렌즈 면이 있다. 카메라 시스템에 사용되는 L6 또는 임의의 렌즈들의 면들은, 비구형 (aspheric) 의 면들 또는 비-구형 (non-spherical) 의 형상들과 같은 복잡한 렌즈 면들을 갖는 것으로 구성될 수도 있으며, 여기서, 비-구형이라는 것은 그 형상이 카메라 시스템의 광학 축 및/또는 카메라 시스템에서의 임의의 광학 컴포넌트 둘레에서 대칭적이지 않음을 의미한다. 또한, L6 는 렌즈들의 렌즈 스택을 형성하는 하나보다 많은 렌즈를 포함할 수도 있다. 예를 들어, L6 은 렌즈 스택을 형성하는 둘 이상의 렌즈들을 포함할 수도 있으며, 여기서, 각각의 렌즈는 적어도 하나의 렌즈 면을 갖는다. 또한, L6 은, 도 1a 에 나타낸 바와 같이 면 (135) 에 가장 근접한 하나의 렌즈, 및 도 1a 에 나타낸 바와 같이 센서 (125) 에 가장 근접한 또 다른 렌즈를 가질 수도 있고, 둘 이상의 렌즈들로 이루어진 렌즈들의 스택을 형성할 수도 있으며, 여기서, L6 의 렌즈들의 스택에서의 둘 이상의 렌즈들 사이에 하나 이상의 렌즈 면들이 있을 수도 있다.
예시적인 이미지 캡처 시스템의 개요
도 2 는 복수의 카메라들 (215a-215n) 에 링크된 이미지 프로세서 (220) 를 포함하는 컴포넌트들의 세트를 갖는 디바이스 (200) 의 하나의 가능한 실시형태에 대한 하이-레벨 블록도를 나타낸다. 이미지 프로세서 (220) 는 또한 작업 메모리 (205), 메모리 (230), 및 디바이스 프로세서 (250) 와 통신하며, 결국 전자 저장 모듈 (210) 과 전자 디스플레이 (225) 와 통신한다. 일부 실시형태들에서는, 도 2 에 도시된 바와 같이 두 개의 별개의 프로세서들 대신에 단일 프로세서가 이용될 수도 있다. 일부 실시형태들은 세 개 이상의 프로세서들을 포함할 수도 있다.
디바이스 (200) 는 셀 전화기, 디지털 카메라, 태블릿 컴퓨터, 개인 휴대 정보 단말 (PDA) 등이거나 그 일부일 수도 있다. 본 명세서에서 기술된 것과 같은 감소된 두께의 이미징 시스템이 이점들을 제공할 많은 휴대용 컴퓨팅 디바이스들이 존재한다. 디바이스 (200) 는 또한 얇은 이미징 시스템이 유리할 정지형 컴퓨팅 디바이스 또는 임의의 디바이스일 수도 있다. 디바이스 (200) 상의 사용자에 대해 복수의 애플리케이션들이 이용가능할 수도 있다. 이들 애플리케이션들은 전통적인 사진 및 비디오 애플리케이션들, 하이 다이내믹 레인지 이미징 (high dynamic range imaging), 파노라믹 포토 및 비디오, 또는 3D 이미지들 또는 3D 비디오와 같은 입체적 이미징을 포함할 수도 있다.
이미지 캡처 디바이스 (200) 는 외부 이미지들을 캡처하기 위한 카메라들 (215a-215n) 을 포함한다. 전술한 바와 같이, 각각의 카메라는 센서, 렌즈 시스템, 오토포커스 어셈블리, 및 광 폴딩 면들을 포함할 수도 있다. 카메라들 (215a-215n) 은, 도 1a 에 대해 상기 논의된 바와 같이, 센서, 렌즈 어셈블리, 및 타겟 이미지의 일부분을 각각의 센서로 재지향시키기 위한 주 및 부 반사 또는 굴절 면을 각각 포함할 수도 있다. 일반적으로, N 개의 카메라들 (215a-215n) 이 사용될 수도 있고, 여기서, N ≥ 2 이다. 따라서, 타겟 이미지는 N 개의 부분들로 분할될 수도 있고, 여기서, N 개의 센서 어셈블리들의 각각의 센서는 그 센서의 시야에 따라 타겟 이미지의 일부분을 캡처한다. 하지만, 일부 실시형태들은 오직 하나의 이미지 센서 어셈블리만을 채용할 수도 있고, 카메라들 (215a-215n) 은 본 명세서에서 설명된 폴드형 광학 이미징 디바이스의 구현을 위해 적합한 임의의 수의 이미지 센서 어셈블리들을 포함할 수도 있다는 것이 이해될 것이다. 카메라들의 수는, 도 4 에 대해 이하에서 보다 상세히 논의되는 바와 같이 시스템의 보다 낮은 z-높이를 달성하기 위해, 또는, 포스트-프로세싱 후에 이미지의 포커스를 조정하는 능력을 가능하게 할 수도 있는, 플렌옵틱스 (plenoptics) 카메라의 것과 유사한 오버랩하는 시야들을 가지는 것과 같은 다른 목적들의 필요성들을 충족시키기 위해, 증가될 수도 있다. 다른 실시형태들은 두 개의 동시적인 이미지들을 캡처하고 그 다음 그들을 함께 병합하는 능력을 가능하게 하는 하이 다이내믹 레인지 카메라들에 적합한 시야 오버랩 구성을 가질 수도 있다. 카메라들 (215a-215n) 은 캡처된 이미지를 이미지 프로세서 (220) 에 전송하기 위해 카메라 프로세서 (220) 에 커플링될 수도 있다.
이미지 프로세서 (220) 는, 이하 보다 자세히 설명될 바와 같이, 고품질의 스티칭된 이미지를 출력하기 위해 타겟 이미지의 N 개의 부분들을 포함하는 수신된 이미지 데이터에 대해 다양한 프로세싱 동작들을 수행하도록 구성될 수도 있다. 프로세서 (220) 는 범용 프로세싱 유닛 또는 이미징 애플리케이션들 (imaging applications) 을 위해 특별히 설계된 프로세서일 수도 있다. 이미징 프로세싱 동작들의 예들은 크로핑, (예를 들어 상이한 해상도로의) 스케일링 (scaling), 이미지 스티칭, 이미지 포맷 변환, 컬러 보간, 컬러 프로세싱, 이미지 필터링 (예를 들어, 공간 이미지 필터링), 렌즈 아티팩트 또는 결함 보정, 비네팅 (vignetting) 에 의해 야기되는 렌즈 광 롤-오프 또는 광 레벨의 감소 등을 포함한다. 프로세서 (220) 는 일부 실시형태들에서 복수의 프로세서들을 포함할 수도 있다. 어떤 실시형태들은 각각의 이미지 센서에 대해 전용되는 프로세서를 가질 수도 있다. 프로세서 (220) 는 하나 이상의 전용 이미지 신호 프로세서들 (ISPs) 또는 프로세서의 소프트웨어 구현일 수도 있다.
나타낸 바와 같이, 이미지 프로세서 (220) 는 메모리 (230) 및 작업 메모리 (205) 에 접속된다. 예시된 실시형태에서, 메모리 (230) 는 캡처 제어 모듈 (235), 이미지 스티칭 모듈 (240), 운영 시스템 (245), 및 오토포커스 모듈 (255) 을 저장한다. 이들 모듈들은, 디바이스 (200) 의 이미지 프로세서 (220) 가 각종 이미지 프로세싱 및 디바이스 관리 태스크들 (tasks) 을 수행하도록 구성하는 명령들을 포함한다. 작업 메모리 (205) 는 메모리 (230) 의 모듈들에 포함된 프로세서 명령들의 작업 셋트를 저장하기 위해 이미지 프로세서 (220) 에 의해 이용될 수도 있다. 대안적으로, 작업 메모리 (205) 는 또한, 디바이스 (200) 의 동작 동안 생성된 동적 데이터를 저장하기 위해 이미지 프로세서 (220) 에 의해 이용될 수도 있다.
상기 언급된 바와 같이, 이미지 프로세서 (220) 는 메모리 (230) 에 저장된 수 개의 모듈들에 의해 구성될 수도 있다. 캡처 제어 모듈 (235) 은 디바이스 (200) 의 전체 이미지 캡처 기능들을 제어하는 명령들을 포함할 수도 있다. 예를 들어, 캡처 제어 모듈 (235) 은 이미지 프로세서 (220) 가 카메라들 (215a-215n) 을 이용하여 타겟 이미지 장면의 러 (raw) 이미지 데이터를 캡처하도록 구성하기 위해 서브루틴들 (subroutines) 을 호출하는 명령들을 포함할 수도 있다. 다음으로, 캡처 제어 모듈 (235) 은, 카메라들 (215a-215n) 에 의해 캡처된 N 개의 부분 이미지들 상에 스티칭 기법을 수행하기 위해 이미지 스티칭 모듈 (240) 을 호출할 수도 있고, 스티칭 및 크로핑된 타겟 이미지를 이미징 프로세서 (220) 에 출력할 수도 있다. 캡처 제어 모듈 (235) 은 또한, 캡처될 장면의 프리뷰 (preview) 이미지를 출력하기 위해 러 이미지 데이터에 대해 스티칭 동작을 수행하기 위해, 그리고, 소정 시간 간격들로 또는 러 이미지 데이터에서의 장면이 변경될 때 프리뷰 이미지를 업데이트하기 위해 이미지 스티칭 모듈 (240) 을 호출할 수도 있다.
이미지 스티칭 모듈 (240) 은, 이미지 프로세서 (220) 가, 캡처된 이미지 데이터에 대해 스티칭, 크로핑 기법들 및 다른 이미지 프로세싱 기법들을 수행하도록 구성하는 명령들을 포함할 수도 있다. 예를 들어, N 개의 카메라들 (215a-215n) 의 각각은 각각의 센서의 시야에 따른 타겟 이미지의 일부분을 포함하는 부분 이미지를 캡처할 수도 있다. 전술한 바와 같이, 시야들은 오버랩의 영역들을 공유할 수도 있다. 단일 타겟 이미지를 출력하기 위해, 이미지 스티칭 모듈 (240) 은, 이미지 프로세서 (220) 가 고해상도 타겟 이미지를 생성하기 위해 다수의 N 개의 부분 이미지들을 결합하도록 구성할 수도 있다. 타겟 이미지 생성은 공지의 이미지 스티칭 기법들을 통해 일어날 수도 있다.
예를 들어, 이미지 스티칭 모듈 (240) 은 N 개의 부분 이미지들의 서로에 대한 회전 및 정렬을 결정하기 위해, 피처들에 매칭 (matching) 시키기 위해 N 개의 부분 이미지들의 에지들을 따라 오버랩 영역들을 비교하기 위한 명령들을 포함할 수도 있다. 각각의 센서의 시야의 형상 및/또는 부분 이미지들의 회전으로 인해, 결합된 이미지는 불규칙한 형상을 형성할 수도 있다. 따라서, N 개의 부분 이미지들을 정렬 및 결합한 후에, 이미지 스티칭 모듈 (240) 은, 이미지 프로세서 (220) 가, 결합된 이미지를 예를 들어 4:3 직사각형 또는 1:1 정사각형과 같은 원하는 형상 및 애스펙트 비로 크로핑하도록 구성하는 서브루틴들을 호출할 수도 있다. 크로핑된 이미지는 디스플레이 (225) 상에서의 표시를 위해 또는 전자 저장 모듈 (210) 에의 저장을 위해 디바이스 프로세서 (250) 로 전송될 수도 있다.
운영 시스템 모듈 (245) 은, 이미지 프로세서 (220) 가 디바이스 (200) 의 작업 메모리 (205) 및 프로세싱 리소스들을 관리하도록 구성한다. 예를 들어, 운영 시스템 모듈 (245) 은 카메라들 (215a-215n) 과 같은 하드웨어 리소스들을 관리하기 위한 디바이스 드라이버들을 포함할 수도 있다. 따라서, 일부 실시형태들에서, 위에 논의된 이미지 프로세싱 모듈들에 포함된 명령들은 이들 하드웨어 리소스들과 직접 상호작용하는 것이 아니라, 그 대신에 운영 시스템 컴포넌트 (245) 에 위치된 표준 서브루틴들 또는 API 들을 통해 상호작용할 수도 있다. 다음으로, 운영 시스템 (245) 내의 명령들은 이들 하드웨어 컴포넌트들과 직접 상호작용할 수도 있다. 운영 시스템 모듈 (245) 은 디바이스 프로세서 (250) 와 정보를 공유하도록 이미지 프로세서 (220) 를 추가로 구성할 수도 있다.
오토포커스 모듈 (255) 은, 이미지 프로세서 (220) 가, 예를 들어 대응하는 오토포커스 어셈블리들의 이동 및 포지셔닝에 의해 카메라들 (215a-215n) 의 각각의 포커스 포지션을 조정하도록 구성하는 명령들을 포함할 수 있다. 오토포커스 모듈 (255) 은, 이미지 프로세서 (220) 가 일부 실시형태들에서 포커스 분석들을 수행하고 포커스 파라미터들을 자동으로 결정하도록 구성하는 명령들을 포함할 수 있고, 일부 실시형태들에서는 이미지 프로세서 (220) 가 사용자-입력 포커스 커맨드들에 응답하도록 구성하는 명령들을 포함할 수 있다. 일부 실시형태들에서, 어레이에서의 각각의 카메라의 렌즈 시스템은 별개로 포커싱될 수 있다. 일부 실시형태들에서, 어레이에서의 각각의 카메라의 렌즈 시스템은 일 그룹으로서 포커싱될 수 있다.
디바이스 프로세서 (250) 는, 디스플레이 (225) 가 사용자에게 캡처된 이미지 또는 캡처된 이미지의 프리뷰를 표시하도록 제어하도록 구성될 수도 있다. 디스플레이 (225) 는 이미징 디바이스 (200) 의 외부에 있을 수도 있고, 또는 이미징 디바이스 (200) 의 일부일 수도 있다. 디스플레이 (225) 는 또한 이미지를 캡처하기 전에 일 사용을 위해 프리뷰 이미지를 표시하는 뷰 파인더를 제공하도록 구성될 수도 있으며, 메모리에 저장되거나 최근에 사용자에 의해 캡처된 캡처 이미지를 표시하도록 구성될 수도 있다. 디스플레이 (225) 는, 예를 들어 LCD 스크린, LED 스크린, 또는 다른 디스플레이 기술들과 같은 패널 디스플레이를 포함할 수도 있으며, 터치 감응 기술들을 구현할 수도 있다.
디바이스 프로세서 (250) 는 예를 들어 캡처된 이미지들을 나타내는 데이터를 저장 모듈 (210) 에 기입할 수도 있다. 저장 모듈 (210) 은 전통적인 디스크 디바이스로서 도표로 표현되지만, 당업자는, 저장 모듈 (210) 은 임의의 저장 매체 디바이스로서 구성될 수도 있다는 것을 이해할 것이다. 예를 들어, 저장 모듈 (210) 은, 플로피 디스크 드라이브, 하드 디스크 드라이브, 광학 디스크 드라이브 또는 광자기 디스크 드라이브와 같은 디스크 드라이브, 또는 플래시 메모리, RAM, ROM, 및/또는 EEPROM 과 같은 솔리드 스테이트 메모리를 포함할 수도 있다. 예를 들어, 저장 모듈 (210) 은, 플로피 디스크 드라이브, 하드 디스크 드라이브, 광학 디스크 드라이브 또는 광자기 디스크 드라이브와 같은 디스크 드라이브, 또는 플래시 메모리, RAM, ROM, 및/또는 EEPROM 과 같은 솔리드 스테이트 메모리를 포함할 수도 있다. 예를 들어, 저장 모듈 (210) 은 이미지 캡처 디바이스 (200) 내에 저장된 시스템 프로그램 명령들을 포함하는 ROM 메모리를 포함할 수도 있다. 저장 모듈 (210) 은 또한, 카메라로부터 착탈 가능할 수도 있는, 캡처된 이미지들을 저장하도록 구성된 메모리 카드들 또는 고속 메모리들을 포함할 수도 있다.
비록 도 2 는 프로세서, 이미징 센서, 및 메모리를 포함하도록 별개의 컴포넌트들을 갖는 디바이스를 묘사하지만, 당업자는, 이들 별개의 컴포넌트들은 특정 설계 목적들을 달성하기 위해 다양한 방식들로 결합될 수도 있다는 것을 인식할 것이다. 예를 들어, 대안의 실시형태에서, 메모리 컴포넌트들은 비용을 절감하고 성능을 개선시키기 위하여 프로세서 컴포넌트들과 조합될 수도 있다.
추가적으로, 비록 도 2 는 수개의 모듈들을 포함하는 메모리 컴포넌트 (230) 및 작업 메모리를 포함하는 별개의 메모리 (205) 를 포함하는 다수의 메모리 컴포넌트들을 나타내지만, 당업자는 상이한 메모리 아키텍쳐들 (architectures) 을 이용한 수개의 실시형태들을 인식할 것이다. 예를 들어, 설계는 메모리 (230) 에 포함된 모듈들을 구현하는 프로세서 명령들의 저장을 위해 ROM 또는 정적 RAM 메모리를 이용할 수도 있다. 프로세서 명령들은 이미지 프로세서 (220) 에 의한 실행을 용이하게 하기 위해 RAM 내로 로딩될 수도 있다. 예를 들어, 작업 메모리 (205) 는, 프로세서 (220) 에 의한 실행 전에 작업 메모리 (205) 에 로딩되는 명령들을 갖는 RAM 메모리를 포함할 수도 있다.
예시적인 이미지 캡처 프로세스의 개요
도 3 은 폴드형 광학 이미지 캡처 프로세스 (900) 의 일 실시형태를 나타낸다. 프로세스 (900) 는 블록 (905) 에서 시작하며, 여기서, 복수의 카메라들이 제공되고, 각각은 적어도 하나의 광 폴딩 면 및 오토포커스 어셈블리를 갖는다. 카메라들은 본 명세서에서 논의되는 임의의 센서 어레이 구성들을 형성할 수 있다. 카메라들은, 전술한 바와 같이, 센서, 렌즈 시스템, 및 렌즈 시스템으로부터의 광을 센서 상으로 재지향시키도록 포지셔닝된 반사 면을 포함할 수도 있다.
다음으로, 프로세스 (900) 는 블록 (910) 으로 이동하며, 여기서, 복수의 카메라들의 광학 경로는, 장면의 타겟 이미지를 포함하는 광으로 하여금, 적어도 하나의 광 폴딩 면에서 대응 이미징 센서들을 향해 재지향되게 한다. 예를 들어, 광의 일부분은 복수의 면들의 각각에서 복수의 센서들의 각각을 향해 재지향될 수도 있다. 이 단계는, 각각의 센서와 연관된 렌즈 시스템을 통해 광을 통과시키는 것을 더 포함할 수도 있고, 또한 제 2 면에서 센서 상으로 광을 재지향시키는 것을 더 포함할 수도 있다.
다음으로, 프로세스 (900) 는 블록 (915) 으로 천이하며, 여기서, 카메라들의 각각과 연관된 렌즈 어셈블리는, 이미지가 센서 상에 포커싱되는, 즉 원하는 초점 포지션에 "포커싱"되거나 "오토포커싱" 되는 그러한 포지션으로 이동된다. 예를 들어, 이것은 일부 실시예들에서 전술된 액츄에이터 및 가이드 레일을 이용하여 달성될 수 있다. 일부 실시형태들에서, 도 2 의 오토포커스 모듈 (255) 이 렌즈 포커싱을 수행할 수 있다.
다음으로, 프로세스 (900) 는 블록 (920) 으로 이동할 수도 있으며, 여기서, 센서들은 타겟 이미지 장면의 복수의 이미지들을 캡처한다. 예를 들어, 각각의 센서는 그 센서의 시야에 대응하는 장면의 일부분의 이미지를 캡처할 수도 있다. 함께, 복수의 센서들의 시야들은 적어도 대상 공간에서의 타겟 이미지를 커버한다.
다음으로, 프로세스 (900) 는 블록 (925) 으로 천이할 수도 있으며, 여기서, 복수의 이미지들로부터 단일 이미지를 생성하기 위해 이미지 스티칭 방법이 수행된다. 일부 실시형태들에서는, 도 2 의 이미지 스티칭 모듈 (240) 이 이 블록을 수행할 수도 있다. 이것은 공지의 이미지 스티칭 기법들을 포함할 수도 있다. 또한, 시야들에서의 오버랩의 임의의 영역들은, 스티칭 프로세스에서 이미지들을 정렬시키는 데 사용될 수도 있는, 복수의 이미지들에서의 오버랩을 생성할 수도 있다. 예를 들어, 블록 (925) 은 인접 이미지들의 중첩 영역에서의 공통 피처들을 식별하는 것 및 이미지들을 정렬하기 위해 그 공통 피처들을 이용하는 것을 더 포함할 수도 있다.
다음으로, 프로세스 (900) 는 블록 (930) 으로 천이하며, 여기서, 스티칭된 이미지는 특정 애스펙트 비, 예를들어 4:3 또는 1:1 로 크로핑된다. 마지막으로, 블록 (935) 에서 크로핑된 이미지를 저장한 후에 프로세스는 종료된다. 예를 들어, 이미지는 도 2 의 저장 컴포넌트 (210) 에 저장될 수도 있고, 또는 타겟 장면의 프리뷰 또는 리뷰 이미지로서의 표시를 위해 도 2 의 작업 메모리 (205) 에 저장될 수도 있다.
예시적인 어레이 카메라 오토포커스 어셈블리들의 개요
도 4 는 일 실시형태에 따른 어레이 카메라 어셈블리 (1000A) 를 나타낸다. 카메라 어셈블리 (1000A) 는 1001 로 구현된 렌즈 면들 (L1-L5), 센서 다이 (1002), 센서 프리즘 (1003), 렌즈 면 (L6), 및 센서 커버 유리 (1005) 를 포함한다. 센서 프리즘 (1003) 은 일부 실시예들에서 두 개의 유리 큐브의 두 개의 절반들 또는 일부분들 사이에 거울 면을 포함할 수 있다.
도 5 는 일 실시형태에 따른 공통 기판 (1104) 상에 설치된 다수의 카메라 어셈블리들을 이용한 어레이 카메라 (1000B) 를 나타낸다. 어레이 카메라 (1000B) 는, 도 4 에 나타낸 어셈블리 (1000A) 에 유사하게, 복수의 개별 카메라 어셈블리들을 포함하며, 각각은 1001 로 구현된 렌즈 면들 (L1-L5), 센서 다이 (1002), 센서 프리즘 (1003), 렌즈 면 (L6), 센서 커버 유리 (1005), 및 도 2 및 도 3 으로 설명된 바와 같은 전체 카메라 시스템의 또 다른 부분 또는 부분들에 접속될 수도 있는 전기 커넥터 (1006) 를 포함한다. 명확하게는, 이들 컴포넌트들은 개별 카메라 어셈블리들 중 두 개에 대해서만 라벨링되었다. 이 예에서, 네 개의 카메라 어셈블리들 (1000A) 이 이용된다. 보다 많은 카메라들 또는 보다 적은 카메라들 (또는 하나의 카메라) 이 또한 이용될 수 있다. 이 예에서, 기판 (1004) 은 직사각형 슬롯들을 제공할 수 있으며, 여기서, 네 개의 이미지 센서 다이들 (1002) 이 배치되어 기판 (1004) 의 또한 일부일 수도 있는 전기 전도성 트레이스들 (traces) 에 접속된다. 일부 실시형태들에서 센서 다이 (1002) 는 기판 (1004) 상에 직접 배치될 수도 있고, 슬롯들을 이용함이 없이 전기 전도성 트레이스들에 접속될 수도 있다. 다른 실시예들에서, 전기 전도성 트레이스들에 접속될 수도 있는 기판에 이미지 센서 다이들을 탑재하기 위한 다양한 방식들이 존재하며, 당업자는 다른 이러한 방법들에 익숙할 수도 있다. 전기 커넥터 (1106) 는 기판 (1004) 상의 전기 디바이스들을 카메라 이미지 프로세싱 시스템 (이 도면에 나타내지 않음) 에 접속하는 데 이용된다.
일부 실시예들에서, 하나 이상의 이미지 센서들 어레이들은, 위에서 참조에 의해 통합된, 2013년 3월 15일에 출원되고 발명의 명칭이 "MULTI-CAMERA SYSTEM USING FOLDED OPTICS" 인 미국출원공개 제2014/0111650호의 도 8 에 나타낸 바와 같이 공통 다이 상에 있을 수도 있다. 이 도면은 하나의 공통 다이 (811) 상에 두 개의 이미지 센서 이미지 면들의 일 예를 나타낸다. 이 예에서 대상 프리즘들 (820 및 821) 은 도 1b 에 나타낸 바와 같이 중앙에 대향되는 외측 상에 포지셔닝된다. 이미지 센서 프리즘 또는 거울 (830 및 831) 은 중앙에 나타나 있다. 하나의 렌즈의 렌즈 어셈블리는 렌즈 그림 (840) 에 의해 상징되며, 이와 유사하게 일 렌즈 어셈블리는 렌즈 그림 (841) 에 의해 상징된다. 다이 (811) 상에 두 개의 별개의 위치들을 겨누는 광학 축들 (860 및 861) 이 나타나 있다. 다이는, 렌즈 어셈블리들 (840 및 841) 양방 모두의 시야 내에서의 이미지를 캡처하는 다수의 이미지 센서 어레이 영역들 또는 공통 이미지 센서 어레이 영역을 포함한다. 이 도면과 연관된 개념은 복수의 카메라들에 연장될 수 있다. 당업자는 대상 공간에서의 복수의 이미지들을 캡처하고 각각의 카메라와 연관된 복수의 이미지들을 캡처하기 위해 카메라들을 정렬하는 다른 방식들이 존재한다는 것을 인식할 것이다. 일부 실시예들에서는, 하나 이상의 다이가 사용될 수 있으며, 여기서, 일부는 하나의 다이를 이용하여 복수의 이미지들을 캡처되게 할 수도 있으며, 다른 일부는 다이 당 오직 하나의 이미지만을 이용할 수도 있다.
도 4 에서 1000A 로서 나타낸 바와 같이, 복수의 카메라 어셈블리들로부터 하나의 다이 상에서 이미지들을 캡처하는 것이 가능하다는 이점들이 있다. 이러한 배열은, 하나의 카메라 이미지가 하나의 다이 상에서 캡처되는, 도 5 에서 1000B 로 나타낸 바와 같은 어레이 카메라 설계에 비해 집합적인 (collective) 다이 영역 및 파워를 감소시킬 수 있다.
두 개의 대상 프리즘들 (1010) 이 도 5 의 예에 나타나 있으며, 여기서, 두 개의 카메라들은 하나의 대상 프리즘을 공유한다. 예를 들어, 하나의 대상 프리즘은, 한 개, 두 개, 세 개 또는 그 이상의, 어셈블리 (1000A) 와 같은, 카메라 어셈블리들을 위해 이용될 수 있는 많은 구성들이 존재한다. 이들은 각각의 카메라 어셈블리의 광학 축을 폴딩하여 대상 공간으로 지시하기 위해 이용되기 때문에 "대상 프리즘들" 이라 지칭된다. 대상 프리즘들 및 카메라 어셈블리들에 대한 다른 가능한 구성들이 존재한다. 일 실시형태에서, 대상 프리즘 (1010) 은, 프리즘의 총 내부 반사 특성들을 이용하는 것 대신에 프리즘 상의 반사 면 (1011) 을 이용할 수도 있다. 대상 프리즘 (1010) 은 프리즘을 사용하는 것 대신에 거울로 대체될 수도 있다. 프리즘, 프리즘 반사 면, 또는 거울은 광학 축 및 연관된 대상 공간 광선들을 카메라의 입사동 (entrance pupil) 을 향해 반사시킬 것이다.
도 6 은 폴드형 광학 센서 어레이 실시형태의 투영된 시야들의 일 실시형태를 나타낸다. 시야들 (600A-600D) 은 나타낸 바와 같이 오버랩 (605) 의 영역들을 공유할 수도 있다. 오버랩 시야들 (600A-600D) 은 타겟 이미지 장면의 완전한 이미지로 스티칭되어 4:3 또는 1:1 과 같은 애스펙트 비를 갖는 최종 이미지 (610) 로 크로핑될 수도 있다.
예시적인 광학 성능의 개요
도 7a 내지 도 7m 은 대략 0 과 대략 172 ㎛ 사이에서, 본 명세서에서 설명되는 바와 같은 가동 렌즈 어셈블리 (705) 에 대한 모션의 범위 내에서 센서 프리즘을 함께 갖는 L1-L6 어셈블리의 시뮬레이션된 MTF 성능을 나타낸다. 도 7d 는 폴드형 광학 설계 및 프로세스가 대상 공간에서 1000 mm 에서 카메라 어셈블리를 포커싱하는 데 이용되는 일 실시형태를 나타낸다. 도 7d 에 나타낸 바와 같은 실시형태에서, 렌즈 엘리먼트들 (L1 내지 L5) 을 포함하는 렌즈 어셈블리 (705) 는 액츄에이터 (180) 에 의해 카메라가 대상 공간에서 1000 mm 에서 포커싱될 포지션인 기준 포지션 0.0 마이크로미터 (㎛) 로 이동된다. 도 7a, 도 7d, 도 7g, 및 도 7j 의 각각에서, 중앙 프리즘의 에지 (141) 및 센서 프리즘의 에지 (131) 에 의해 경계지어지는 공간 (710) 내에서의 렌즈 어셈블리 (705) 의 포지셔닝은 수직 점선들의 포지셔닝으로 표시된다.
도 7a 는 렌즈 어셈블리가 기준 포지션 0.0 ㎛ 에 대해 -30 ㎛ 에 포지셔닝된 폴드형 광학 카메라의 일 실시형태를 나타낸다. 이 실시형태에서, 도 7a 에 나타낸 바와 같이, 카메라 (1401) 는 6767 mm 의 하이퍼-포커스 (hyper-focus) 거리에서 포커싱된다. 도 7b 는 시뮬레이션된 MTF 대 도 7a 의 폴드형 광학 센서 어레이 실시형태의 광학 (예컨대, 렌즈 어셈블리 및 센서 프리즘) 에 대한 화각 성능 데이터 (1402a) 를 나타낸다 (광학 전달 함수 "OTF (optical transfer function)" 의 모듈러스는 MTF 를 나타낸다). 도 7b 에서, 그래프에서의 실선은 스타 (star) 패턴에 대한 MTF 를 나타내고, 그래프에서의 점선은 동심원들 (concentric circles) 에 대한 MTF 를 나타낸다. 도 7c 는 시뮬레이션된 MTF 대 mm 당 사이클들에서의 공간 주파수 데이터 (1402b) 를 나타내며, 여기서, 다수의 MTF 곡선들은 도 7a 의 폴드형 광학 센서 어레이 실시형태의 광학을 대한 새지털 및 탄젠셜 성능 데이터 양방 모두에 대한 선택된 대상 화각들에 대해 나타낸다. 시뮬레이션된 MTF 데이터는, 예를 들어 OSLO, ZEMAX, CODE V 등과 같은 광학 시뮬레이션 프로그램을 이용하여 계산 (또는 시뮬레이션) 될 수 있다.
전술한 바와 같이, 도 7d 는, 렌즈 어셈블리가 0.0 ㎛ 에 포지셔닝되고 1000 mm 의 거리에서 포커싱된 폴드형 광학 카메라의 일 실시형태를 나타낸다. 도 7e 는 시뮬레이션된 MTF 대 도 7d 의 폴드형 광학 센서 어레이 실시형태의 광학에 대한 화각 성능 데이터 (1404a) 를 나타낸다. 도 7e 에서, 그래프에서의 실선은 스타 패턴에 대한 MTF 를 나타내고, 그래프에서의 점선은 동심원들에 대한 MTF 를 나타낸다. 도 7f 는 시뮬레이션된 MTF 대 mm 당 사이클들에서의 공간 주파수 데이터 (1404b) 를 나타내며, 여기서, 다수의 MTF 곡선들은 도 7d 의 폴드형 광학 센서 어레이 실시형태의 광학을 대한 새지털 및 탄젠셜 성능 데이터 양방 모두에 대한 선택된 대상 화각들에 대해 나타낸다.
도 7g 는 렌즈 어셈블리가 기준 포지션 0.0 ㎛ 에 대해 142 ㎛ 에 포지셔닝된 폴드형 광학 카메라의 일 실시형태를 나타낸다. 이 실시형태에서, 도 7g 에 나타낸 바와 같이, 카메라 (1405) 는 200 mm 의 거리에서 포커싱된다. 도 7h 는 시뮬레이션된 MTF 대 도 7g 의 폴드형 광학 센서 어레이 실시형태의 광학에 대한 화각 성능 데이터 (1406a) 를 나타낸다. 도 7h 에서, 그래프에서의 실선은 스타 패턴에 대한 MTF 를 나타내고, 그래프에서의 점선은 동심원들에 대한 MTF 를 나타낸다. 도 7i 는 시뮬레이션된 MTF 대 mm 당 사이클들에서의 공간 주파수 데이터 (1406b) 를 나타내며, 여기서, 다수의 MTF 곡선들은 도 7g 의 폴드형 광학 센서 어레이 실시형태의 광학을 대한 새지털 및 탄젠셜 성능 데이터 양방 모두에 대한 선택된 대상 화각들에 대해 나타낸다.
도 7j 는 렌즈 어셈블리가 기준 포지션 0.0 ㎛ 에 대해 35 ㎛ 에 포지셔닝된 폴드형 광학 카메라의 일 실시형태의 예를 나타낸다. 이 실시형태에서, 도 7j 에 나타낸 바와 같이, 카메라 (1407) 는 500 mm 의 거리에서 포커싱된다. 도 7k 는 시뮬레이션된 MTF 대 도 7j 의 폴드형 광학 센서 어레이 실시형태의 광학에 대한 화각 성능 데이터 (1410a) 를 나타낸다. 도 7k 에서, 그래프에서의 실선은 스타 패턴에 대한 MTF 를 나타내고, 그래프에서의 점선은 동심원들에 대한 MTF 를 나타낸다. 도 7l 은 시뮬레이션된 MTF 대 mm 당 사이클들에서의 공간 주파수 데이터 (1410b) 를 나타내며, 여기서, 다수의 MTF 곡선들은 도 7j 의 폴드형 광학 센서 어레이 실시형태의 광학을 대한 새지털 및 탄젠셜 성능 데이터 양방 모두에 대한 선택된 대상 화각들에 대해 나타낸다.
도 7b, 도 7e, 도 7h, 및 도7k 에서 1402a, 1404a, 1406a, 및 1410a 로 나타낸 MTF 곡선들은, 카메라가 도 7a, 도 7d, 도 7g, 및 도 7j 에 각각 나타낸 거리들에서 포커싱될 때 L1-L6 어셈블리의 MTF 성능의 예들이다. 그래프들은, 그래프들 상에서 "Y 필드 (도 (Degrees))" 로서 나타낸, 카메라의 시야 (FOV) 에서, 광학 축에 대한 각도 방향에서의 MTF 곡선들을 나타내며, 여기서, 공간 변조 주파수는 mm 당 225 사이클들이다.
각각의 카메라의 센서는, MTF 가 픽셀들의 애퍼처 (또는 애퍼처들) 의 기능으로서 롤 오프하는 샘플링 이론 및 픽셀들의 피치를 샘플링하는 것에 부분적으로 기초하여 그 자신의 MTF 를 가질 수도 있으며, 여기서, 샘플링한 픽셀 피치는, 에일리어싱과 같은 아티팩트들이 존재할 경우 측정된 MTF 성능에 영향을 미칠 수 있다. 따라서, 일부 실시예들에서, 도 7b, 도 7c, 도 7e, 도 7f, 도 7h, 및 도 7i, 도 7k 및 도 7l 의 시뮬레이션된 광학 성능은, MTF 측정치들이 이미지 센서의 기록된 픽셀 출력들, 예를 들어 이미지 센서 픽셀들로부터 판독된 픽셀들의 각각을 위해 기록된 디지털 값들을 이용하여 생성될 때, 어레이 카메라에서의 각각의 단일 카메라의 측정된 MTF 성능에 매칭하지 않을 수도 있다. MTF 측정치 대 mm 당 사이클들을 생성하기 위해 측정치들은 충분한 수의 픽셀들 상에서 취해질 수 있다. 일부 구현형태들에서는, 전기적 노이즈를 추가하므로 메모리에 기록된 픽셀의 최종 디지털 값에 영향을 미칠 수도 있는 아날로그 버퍼에 픽셀 값이 출력될 수 있다. 따라서, 측정된 MTF 가 광학만의 (예를 들어, 이미지 센서의 기록된 픽셀 출력들 또는 광학만의 측정된 MTF 에 영향을 미칠 다른 중계 수단을 이용함이 없는) MTF 성능, 및 측정 하에 있는 특정 광학과 함께 사용된 이미지 센서의 기록된 픽셀 출력들의 MTF 를 포함하는 경우, MTF 측정치는 그래프들 (1402a, 1402b, 1404a, 1404b, 1406a, 1406b, 1410a, 및 1410b) 에 나타낸 바와 같은 시뮬레이션된 MTF 성능에 매칭할 수도 있다. 당업자는 또한, 이미지 어레이에서의 픽셀로부터의 기록된 출력의 일부로서 포함될 수도 있는 노이즈 컴포넌트들과 같이, 이 개시물에 포함되지도, 고려되지도 않고, 나타내지도 않은, 센서의 MTF 에 영향을 미칠 수도 있는 다른 팩터들이 존재한다는 것을 인식해야 한다. 또한, 픽셀 레벨을 전송하기 위해 전자 또는 다른 매체들에 의해 부가된 노이즈 소스들 및 가능하게는, 이미지 센서 픽셀 출력을 캡처하기 위한 기록 프로세스의 일부일 수도 있는 아날로그-투-디지털 (ADC) 변환기 시스템들과 같이, 이 개시물에 포함되지도, 고려되지도 않고, 나타내지도 않은, 이미지 센서에서의 픽셀로부터의 기록된 출력에 영향을 미칠 수도 있는 많은 다른 팩터들이 존재한다. 본 명세서에서의 이 개시물에 포함되지도, 고려되지도 않고, 나타내지도 않은, 이미지 센서의 MTF 에 영향을 미칠 수도 있는 다른 팩터들이 존재할 수도 있다. 광학은 +/- 16 도 (degrees) 에 걸쳐 이용될 도 7a 내지 도 7m 의 실시형태들로 설계된다.
초점 포지션들 6767 mm, 1000 mm, 및 500 mm 에 대해, 대응 MTF 곡선들 (1402a, 1402b, 1404a, 1404b, 1410a 및 410b) 이 나타나 있으며, 전체 "Y 필드 (도)" (예컨대, 광학축 둘레에서 0 도부터 -16 도까지) 에 걸쳐, 그리고 0 으로부터 mm 당 450 사이클들을 넘어서까지의 이미지 공간 주파수들의 범위에 걸쳐, 탄젠셜 및 새지털 MTF 시뮬레이션된 성능 양방 모두에 대해 대략 동일하다.
포지션 +142 ㎛ 에 대해, 새지털 시뮬레이션된 성능은 그래프 (1406a) 에 나타낸 바와 같이 0 도부터 -16 도까지의 전체 Y 필드 (도) 에 걸쳐 50% MTF 근방으로 유지되고, 1406b 에 나타낸 바와 같이 회절 한계에 근접하게 유지되며, 여기서, 그래프들 (1402b, 1404b, 1406b 및 1410b) 에 나타낸 회절 한계는 이들 그래프에 나타낸 최대 MTF 곡선이다. 하지만, Y 필드 (도) 로서의 새지털 성능으로부터 벗어난 탄젠셜 MTF 성능은 증가된다. 이것은 이 실시형태가 최단 거리 근방임을 의미하며, 여기서, 유용한 이미지들이 캡처될 수 있으며, 여기서, 유용한 MTF 해상도가 새지털 MTF 성능에 대해 달성되고, 유용하지만 감소된 MTF 성능이 탄젠셜 MTF 성능에 대해 달성된다.
초점 포지션들 6767 mm (이 실시형태에서의 하이퍼-포커스 포지션), 1000 mm 및 500 mm 에 대해, 대응 MTF 그래프들 (1402a, 1402b, 1404a, 1404b, 1410a 및 1410b) 이 나타나 있으며, 전체 Y 필드 (도) 에 걸쳐 (예컨대, 광학 축 둘레에서 0 도부터 -16 도까지), 그리고 mm 당 450 사이클들에서 0 부터 나이퀴스트까지의 이미지 공간 주파수들의 범위에 걸쳐, 탄젠셜 및 새지털 MTF 성능 데이터 양방 모두에 대해 대략 동일하다. 1.1 ㎛ 의 정사각형 픽셀을 갖는 센서에 대한 나이퀴스트 샘플 레이트는 mm 당 454 사이클들이다.
나타낸 바와 같이, 그래프들 (1402b, 1404b 및 1410b) 에 나타낸 새지털 및 탄젠셜 MTF 성능 데이터는 회절 한계에 근접하며, 여기서, 그래프들 (1402b, 1404b, 1406b 및 1410b) 에 나타낸 회절 한계는 이들 그래프들에 나타낸 최대 MTF 곡선이다.
포지션 +142 ㎛ 에 대해, 그래프 (1406a) (도 7h) 에서의 새지털 성능 데이터는 0 도부터 -16 도까지의 대상 각도들 전체 Y 필드 (도) 의 범위에 걸쳐 50% MTF 근방에서 유지되며, 그래프 (1406b) 에 나타낸 바와 같이 회절 한계에 근접하게 유지된다. 하지만, 도면의 1406a 에 나타낸 MTF 가 mm 당 225 사이클들에 대한 것일 경우, 1406b 에서의 탄젠셜 MTF 성능 데이터는 16 Y 필드 (도) 에서 약 18 퍼센트에 놓인다. 픽셀 피치가 1.1 ㎛ 인 경우, 반-나이퀴스트 (Half-Nyquist) 샘플 레이트는 mm 당 225 픽셀 샘플들의 근방이다. 20 퍼센트 근방에서의 MTF 값들이 일반적으로 당업자에 의해 고려되어 검출가능하게 된다. 이것은, Y 필드 (도) 가 15 도를 초과하는 경우, 렌즈 시스템이, 검출가능한 MTF 데이터를 산출하는 것이 가능하지 않을 수도 있음을 의미한다.
새지털 및 탄젠셜 MTF 성능 데이터가, 0 부터 이미지 센서 공간 나이퀴스트 샘플링 레이트까지의 공간 주파수 범위에 걸쳐, 렌즈 회절 한계 곡선에 근접하도록 렌즈 어셈블리 시스템을 설계하는 것이 바람직할 수도 있다. 일부 실시형태들에서, 카메라의 전체 시야에 걸쳐 균일한 MTF 성능을 가지기 위해, 렌즈 어셈블리 MTF 성능은 거의 모든 대상 필드 각도들에서 회절 한계 곡선의 근방에 있는 것이 바람직할 수 있다. 이들 조건들은 또한, 200 mm 의 포커스 거리 내지 6767 mm 의 하이퍼-포커스 거리와 같은 시스템의 전체 포커스 범위 요건들에 걸쳐 충족되는 것이 바람직할 수 있다.
f-수 및 렌즈 어셈블리 애퍼처는 렌즈 어셈블리의 회절 MTF 한계 곡선에 영향을 미칠 수도 있다. 도 1a 에 나타낸 바와 같이, 최소 달성가능 높이 H 는, 카메라 시스템의 시야, 렌즈 어셈블리 MTF 성능 데이터 곡선들 및 mm 당 픽셀들 (예를 들어, 픽셀 피치) 에서의 센서 공간 샘플링 레이트들 및 픽셀 애퍼처들과 연관된 센서 어레이 MTF 응답을 노잉 (knowing) 함으로써 부분적으로 결정될 수도 있다. 이 정보로부터, 렌즈 어셈블리의 최소 애퍼처를 결정하는 것이 가능해질 수도 있고, 이에 의해 최소 달성가능 높이 H 를 결정하는 것이 가능해질 수도 있다. 렌즈 어셈블리의 MTF 곡선들이 회절 한계에 근접하는 경우, 렌즈 어셈블리 높이 H 는 특정 카메라 설계 및 연관된 회절 한계를 위해 가능한 최소 높이 근방일 수도 있다. 최적의 카메라 설계 (예를 들어, 여기서, 최적이라 함은 FOV 및 나이퀴스트 샘플 레이트까지의 공간 주파수들에 걸친 렌즈 MTF 곡선들이, 광학 설계가 달성가능 최소 높이 H 에 가까울 수도 있는, 원하는 초점 거리들의 범위에 걸쳐 회절 한계에 근접한다는 것을 의미한다) 의 하나의 실시형태는, MTF 20 % 규칙, 즉, 픽셀 애퍼처들 및 샘플 레이트들과 연관된 MTF 감소를 포함하는 카메라 시스템의 MTF 는, 이미지 센서 나이퀴스트 샘플링 레이트에서 약 20 퍼센트에 또는 실질적으로 약 20 퍼센트에 있어야 한다는 규칙을 충족시킬 최소 클리어 애퍼처를 갖는 것으로서 간주될 수 있다. 본 명세서에서 나타낸 바와 같이, 이 예에서 고려되지 않은 다른 팩터들이 MTF 에 영향을 미칠 수도 있다.
픽셀 애퍼처 및 픽셀 공간 샘플 레이트 (예를 들어, 픽셀 피치) 에 의해 야기되는, 렌즈 어셈블리 MTF 곡선들과 MTF 감소의 합산 (plus) 이, 나이퀴스트 샘플 레이트에서 약 20 퍼센트로부터 상당히 MTF 를 증가 또는 감소시키는 경우, 최종 이미지는 현저한 에일리어싱 아티팩트들 또는 센서 픽셀 애퍼처 및 공간 샘플 레이트 (즉, 픽셀 피치 나이퀴스트 샘플 레이트) 에 대해 달성가능한, mm 당 사이클들에서의 해상도 성능보다 적은 해상도 성능을 갖는 것에 의해 야기되는, 열화된 성능을 가질 수도 있다. 바꾸어 말하면, 결합된 광학 시스템의 MTF 및 이미지 센서의 MTF 가 나이퀴스트 샘플 레이트에서 20% 보다 상당히 적은 MTF 를 생성하는 경우, 장면에서의 공간 주파수들은 현저한 에일리어싱 아티팩트들 없이 달성될 수 있는 것보다 적게 감소될 수도 있다.
시스템의 허용오차들 (예컨대, 이상적인 광학 축 둘레에서의 회전 및 병진 변동들에 대해 허용가능한 모션의 양) 이 MTF 가 감소하는 것을 야기하는 경우, 렌즈 어셈블리의 애퍼처는 잠재적으로 증가되어 MTF 를 20 퍼센트 규칙의 근방에서 또는 이를 초과하여 유지할 수 있다. 따라서, 최적 높이 H 카메라 설계를 가능한 한 근접하게 달성하기 위해, 가능한 한 낮은 허용오차들 및 잠재적 변동들을 유지하는 것이 바람직하다.
도 7m 은 렌즈 어셈블리의 시뮬레이션된 상대 조도를 나타낸다. 나타낸 바와 같이, 상대 조도는 FOV 에 걸쳐 오직 10 퍼센트만 감소되었으며, +/-16 도와 같은 좁은 FOV 를 이용하는 것이 일반적이다. 이것은 이미지들이 함께 스티칭되는 경우 낮은 상대 조도 롤-오프를 갖는 것이 가능함을 의미한다.
본 명세서에서 설명된 오토포커스 어셈블리 실시형태들의 일부에서, L6 은 센서 프리즘에 부착될 수도 있으며, 다음으로, L6 과 센서 프리즘이 함께 이미지 센서 커버 유리에 또는 직접 이미지 센서에 중 어느 일방에 탑재되거나 영구적으로 탑재될 수 있다. 이것은, 오토-포커스 프로세스가 중력, 모션 또는 온도와 같은 다른 팩터들의 영향 하에서 일어나거나 틸트하거나 시프트 (shift) 하는 동안, 센서 프리즘이 센서에 대해 틸트하거나 시프트하는 것을 방지할 수 있다.
센서 또는 커버 유리 중 어느 일방에 L6 과 센서 프리즘을 함께 탑재하는 것은, 광학 축 (123) 에 대한 회전 틸트 에러 및 선형 병진 에러의 양에 민감할 수도 있는, 도 1a 및 도 1b 에 나타낸 렌즈 어셈블리 설계의 MTF 성능에 대한 잠재적인 유해한 영향들을 극복한다는 이점들을 제공할 수 있다. 이 민감도를 극복하기 위해, 본 명세서에서의 실시형태들은, 이미지 센서에 대해 센서 프리즘과 L6 을 함께 이동시킬 필요가 없는 렌즈 어셈블리 및 오토포커스 방법을 제공할 수 있다. 이미지 센서 이미지 평면에 센서 프리즘과 L6 을 함께 부착시키는 이점들은, 이미지 센서 이미지 평면에 대해 이상적인 광학 축으로부터의 회전 틸트 및 선형 병진 편차들에 대한 MTF 민감도를 감소시키는 것을 포함한다. 일단 이미지 센서 평면으로의 이미지 센서 프리즘과 L6 간의 함께하는 정렬이 어셈블리 프로세스 동안 정확히 행해진다면, 잔존하는 틸트 및 병진 에러들은 L1 내지 L5 렌즈 어셈블리 (705) 와 센서 프리즘 사이에서 대부분 발생하게 된다. 본 명세서에서 설명된 바와 같은 가이드 레일 또는 다른 적합한 디바이스들의 사용은, 센서 프리즘, L6 및 이미지 센서로 구성된, 고정된 유닛에 대한 L1 내지 L5 렌즈 어셈블리 (705) 의 이상적인 광학 축으로부터의 틸트 또는 병진 에러들을 감소시키거나 제한하는 데 기여할 수 있다.
개념적으로, 우리가 이미지 센서 "가시화 (visualized)" 이미지 평면을 광선들이 차단없이 통과할 수 있는 평면으로서 나타낸다면, 우리는 이미지 센서 이미지 면을 나타내는 가시화 이미지 평면의 면에 걸쳐 측정되는 바와 같은 가장 높은 최적의 균일한 MTF 성능을 산출할 이상적인 가시화 평면 위치 및 오리엔테이션을 찾아 볼 수 있다. 일 예로서, 이미지 센서 이미지 평면의 평면 앞 및/또는 뒤에 있는 이미지 공간 (또는 광 필드 (light field)) 에서의 광학에 의해 형성되는 최상의 또는 가장 선명하게 포커싱된 이미지는, 이미지 센서 이미지 평면과 평행하게 정렬되지 않을 수도 있고, 일부 예들에서는, 이미지 센서 이미지 평면의 앞 및/또는 뒤에 있는 광 필드 공간에서의 최상으로 포커싱된 이미지는 일 평면이라기 보다는 오히려 윤곽 (contour) 이라고 볼 수 있으며, 여기서, 윤곽 내에 일 평면을 정렬하여 최상의 핏 (best fit) 을 형성하는 것이 가능할 수도 있다. 이 경우 이미지 센서 이미지 평면에 걸친 MTF 성능은, 광 필드에서의 최상의 핏 이미지 평면이 이미지 센서 이미지 평면 상에 최적으로 포커싱되는 경우, 이상적인 설계에 대한 이미지 센서 이미지 평면에 걸친 MTF 성능을 감소시킬 수도 있다. 이 주제는 우리가 도 9 에 나타낸 광선 추적 다이어그램을 논의하는 경우 더 다루어질 것이다. 일부 구현형태들에서, (도 1a 및 도 1b 에 나타낸 바와 같이) 부 광 폴딩 면 (135) 으로부터 이미지 센서 이미지 평면으로 진행하는 긴 광선들은, 센서 이미지 평면을 교차하는 이상적인 광학 축에 대한 센서 프리즘과 L6 의 회전 변동들의 영향들을 확대할 것이다.
센서 프리즘이 광학 축 (123) 을 따라 전 및 후로 이동된다면, L5 렌즈 면으로부터 부 광 폴딩 면 (135) 까지의 거리는 광학 축 (123) 을 따라 증가 또는 감소될 것이다. 광학 축은, 이미지 센서 이미지 평면 상에 투영되는 경우, 이미지 센서 이미지 평면 상의 기준점에 대해 그 교차점을 시프트할 수도 있다. 따라서, 센서 프리즘이 소정의 회전 및/또는 병진 세트의 범위들 내에서 이동하도록 허용되는 경우, 이미지 센서 이미지 평면과의 광학 축 (123) 의 교차는 이미지 센서 이미지 평면 상의 기준점으로부터의 선형 거리만큼 벗어날 수도 있다.
일부 실시형태들에서, 도 7a, 도 7d, 도 7g, 및 도 7j 에 나타낸 바와 같은 센서 프리즘과 L6 은, 센서 프리즘과 L6 이 함께 그 페이지의 평면에서 상 또는 하로 이동되는 경우 광학 축이 이미지 센서 이미지 평면과 교차하는, 일 위치에서의 변경을 야기할 수도 있다. L6 면은 광학 축 (123) 으로 하여금 이미지 센서 이미지 평면에 수직인 이상적인 각도로부터 각도에 있어서 벗어나게 할 수도 있으며, 이것은 L6 렌즈 엘리먼트 설계의 형상 (예를 들어, 만곡부) 및 이러한 병진 변동의 양의 함수로서의 MTF 성능을 감소시킬 수도 있다.
이들 변형들을 설명하는 목적은 이상적인 기준점과 이상적인 이미지 센서 이미지 평면에 대한 센서 프리즘의 회전 및 병진 변동들 최소화시키는 것에 대한 중요성을 지시하는 것이다. 이것이 행해질 수 있는 방법에 대한 일 예는, 만일 이미지 센서 유리 플레이트가 존재한다면 이미지 센서 유리 플레이트에, 또는 이미지 센서 유리 플레이트가 존재하지 않는다면 이미지 센서 이미지 평면에, 센서 프리즘과 L6 을 함께 부착하는 것이다. 이것은 이미지 센서 평면 상의 기준점에 대한 센서 프리즘과 L6 의 회전 변동들을 방지할 수 있다. 일단 이것이 행해지면, 잔존하는 변동들, 예컨대, 광학 축 (123) 에 대한 렌즈 어셈블리 (130) 의 회전 및 병진 변동들은 가동 렌즈 어셈블리 (130) 및 센서 프리즘 사이에 존재할 것이며, 여기서, 그 광학 축은 이미지 센서 이미지 평면 상의 일 포인트로부터 시작하여 L6, 센서 프리즘을 통과하고, 반사 면 (135) 에서 휘어지고, 광학 축 (123) 을 따라 센서 프리즘으로부터 사출된다. 전술한 광학 축 (123) 에 대해 렌즈 어셈블리 (130) 의 이들 회전 및 병진 변동들을 감소 또는 최소화시키는 데 도움을 줄 수 있는 방법들 및 시스템들은 도 8a, 도 8b 및 도 8c 에서 설명된다.
예시적인 오토포커스 컴포넌트들의 개요
도 8a 내지 도 8c 는 렌즈 어셈블리 (L1 내지 L5; 130) 가 모터 디바이스 (1501) 에 의해 센서 프리즘에 대해 전 및 후로 이동되는 방법에 대한 일 설계 (1500) 의 일 실시형태를 나타내며, 여기서, 센서 프리즘은 프리즘 (136A) 과 블록 (136B) 및 반사 면 (135) 을 포함할 수 있다. 어셈블리 (130) 를 전 및 후로 이동시킴으로써 대상 공간에서의 포커스 포지션이 변경될 수 있다. 도 8a 내지 도 8c 는, 이 실시형태에서, 렌즈 엘리먼트들 (L1 내지 L5) 이 전 및 후로 이동되어 센서 이미지 평면의 면에 대한 렌즈 면들 (L5) 사이의 거리를 증가 또는 감소시키고, 이에 의해 초점 길이를 증가 또는 감소시키는 방법을 나타낸다.
도 8a 는 도 1a 에 대해 전술한 컴포넌트들을 포함하는 완전한 어셈블리 (1500) 를 나타낸다.
도 8b 는 기판 (150), 액츄에이터 (1501), 센서 (125), 커버 유리 (126), 렌즈 (L6), 주 광 폴딩 면 (124) 을 포함하는 굴절 프리즘 (145), 및 굴절 프리즘 (136A) 과 블록 (136B) 사이의 부 광 폴딩 면 (135) 을 포함하는 완전한 카메라 어셈블리 (1500) 의 정지부 (1502) 의 일 예를 나타낸다. 액츄에이터는 결국 센서 기판 (150) 에 고정되는 지지 부재 (예컨대, 회로 보드 (195)) 에 고정될 수 있다.
도 8c 는 가이드 레일 (185), 렌즈 면들 (L1-L5) 을 포함하는 렌즈 시스템의 가동부 (130), 및 액츄에이터 접촉 부재 (1506) 를 포함하는 카메라 (1500) 의 가동부 (1503) 의 일 예를 나타낸다. 가동 렌즈 어셈블리 (130) 는 원하는 초점 길이를 제공하도록 형상화되고 포지셔닝된 다수의 렌즈들을 포함할 수 있다. 가동 렌즈 어셈블리 (130) 로 나타낸 특정 렌즈 구성은 일 예를 제공하는 것이며, 양호한 이미지 성능을 유지할 수 있는 임의의 렌즈 구성은, 폴드형 광학 시스템의 허용오차 내에서 이동하는 동안, 이용될 수 있다. 가이드 레일 (185) 은 굴절 프리즘 (136A) 및 블록 (136B) 의 하면과 접촉하여, 허용오차들 내에서의 가동 렌즈 어셈블리 (130) 의 (롤, 요 및 피치 방향으로의) 회전 이동뿐만 아니라, 허용오차들 내에서의 가동 렌즈 어셈블리의 (상 및 하로 또는 좌 및 우 방향으로의) 병진 이동을 안정화시킬 수 있다.
이 실시형태에서, 1503 과 같은 어셈블리들을 어셈블리 (1502) 에 유지하기 위한 방법은 나타내지 않는다. 이러한 방법들의 예들은 글라이드들 (glides) 및/또는 인터로킹 그루브들 (interlocking grooves) 을 이용하는 것을 포함하지만, 이에 한정되지는 않는다. 전원 및/또는 전원들을 필요로 하거나/할 수 있는 자기장 생성기들을 필요로 하지 않고 자석들에 의해 유도되는 바와 같은 하나 이상의 자기장들은, 카메라의 정지부 (1502 (도 8b)) 및 가동부 (1503 (도 8c)) 와 같은 기계 부품들 및/또는 어셈블리들 사이의 저항을 낮추는 데 이용될 수 있다. 예를 들어, 이러한 글라이드들 및/또는 인터로킹 그루브들은, 예를 들어 두 개의 자기장들을 갖는다. 하나의 자기장은 130 주위에 존재할 수 있고 두 번째 자기장은 모터 영역 (180) 또는 예컨대 어셈블리 (1500) 에서의 다른 위치들 주위에 존재할 수 있다. 반면, 전통적인 모바일 디바이스 렌즈 배럴은 일반적으로 하나의 자기장에 의해 서스펜딩되고 (suspended), 이에 의해 더 많은 병진 X, Y 및 Z 변위 및/또는 롤, 피치 및 요와 같은 회전 변위를 유발한다.
적합한 폴드형 광학 시스템의 또 다른 실시형태는 주변에 프리즘을 갖지 않는 부 광 지향 면으로서 거울 면 (135) 을 이용하는 것이다. 따라서, 프리즘 부분들 (136A, 136B) 의 예시적인 엘리먼트가 제거되고 오직 거울 면 (135) 만이 잔존한다. 거울 (135) 을 고정하기 위한 구조체 설계는 가이드 레일 (185) 을 가이드하는 데 이용될 수 있다.
허용오차들을, 전통적인 모바일 디바이스의 허용오차보다 엄격한 허용오차들로 유지함으로써, 힘들 (forces) (예컨대, 카메라 시스템의 가속도 및 감속도) 의 영향들 및 카메라 시스템들의 내측 및 외측에서의 영향들로부터의 진동들이 방지, 약화 및/또는 최소화될 수 있다.
자기장들 외에도 많은 다른 형태들의 서스펜션 (suspension) 이 존재하며, 예를 들어 이용될 수 있는 이러한 방법들은 하나 이상의 오일, 볼 베어링들, 공기, 가스, 윤활 액체들 또는 고체들 등을 포함한다.
본 명세서에서 설명된 폴드형 광학 다중-센서 어셈블리들의 하나의 이점은, 긴 가이드들과, 필수적이지는 않지만, 예를 들어 자기장들, 볼 베어링들 및 오일들과 같은 액체들을 이용하는 것과 같이 하나 이상의 서스펜션들을 이용하여, 디바이스들과 같은 것을 유지하여, 카메라의 정지부 (1502) 및 가동부 (1503) 를 엄격한 허용오차들 내에서 유지하는 데 도움을 줄 수 있는 능력이다. 이러한 허용오차들은, 예를 들어 X, Y 및 Z 선형 방향들과 같은 병진 이동 허용오차들 및 롤, 피치 및 요와 같은 회전 이동 허용오차들일 수 있으며, 여기서, 병진 이동, 회전 이동, 피치 이동, 롤 이동, 및 요 이동의 의미는 문헌에서 찾을 수 있다. 이들 허용오차들에 대한 기준 방향들은, 이용된 특정 설계에 따라 결정될 것이기 때문에, 나타나 있지 않다.
또 다른 이점은, 카메라 어셈블리들 (1000A 및/또는 1500) 사이 및 주변에 전기적 및/또는 기계적인 구조체들을 제공할 공간이 존재한다는 점이다. 하나의 이러한 구조체들은 전기적 및/또는 기계적 디바이스들을 인터로킹하여, 1, 2, 또는 그 이상의 카메라 어셈블리들 (1000A 및/또는 1500) 에 대한 포커스 포지션들을 제어할 수 있다. 본 출원의 실시형태들은 모바일 카메라 디바이스들에 제한되지 않으며, 임의의 유형의 카메라 디바이스들 및 이미징 시스템들에 동일하게 적용가능하다.
폴드형 광학의 중요한 이점은, 포지션 지시자들 (indicators) 이 이용되어, 적절한 프로세스가 이 정보를 이용할 수 있다는 점이다. 렌즈 어셈블리 (1000A 및/또는 1500) 내에 이러한 포지션 지시자들을 위한 보다 많은 공간이 존재할 수도 있다. 어레이 카메라 하우징 내에 보다 많은 공간이 또한 존재하여 하나 이상의 카메라들을 유지할 수도 있다. 이러한 부가적인 카메라들은, 어레이 카메라의 렌즈 어셈블리 또는 렌즈 어셈블리들을 포커싱하는 데 도움을 주기 위해 이용되도록 깊이 검출을 도울 수 있다. 이러한 포지션 지시자들은 도 5 에 나타낸 바와 같이 하우징 및/또는 어셈블리 기판들 상에 배치될 수 있다.
반면, 하우징은 어셈블리 카메라 모듈들 및/또는 어셈블리 기판 (1004) 을 부분적으로 또는 전체적으로 중 어느 일방으로 둘러쌀 수도 있는 구조체들이다.
다른 실시형태들에서, 렌즈 면들, L1 내지 L6 사이에서의 이동의 위치에 대한 광학 설계들은 상이할 수도 있지만, 본 명세서에서 설명된 바와 동일한 개념들이 적용된다. 면들의 수는 다른 광학 설계들에 대해 상이할 수 있다. 다른 구현형태들은 액체 렌즈들 또는 다른 기술들에 대한 것과 같이 하나 이상의 면들의 곡률을 변경시키는 것과 같이 이용될 수 있다. 이러한 구현형태들의 일부 이점들은, 예를 들어 어레이에서의 다른 것들에 대한 하나의 카메라의 광학 축이, 이미지들을 함께 스티칭할 때 중요한 고려사항인 포지션을 변경시키지 않는다는 점이다. 이동가능한 렌즈 어셈블리의 포지션 지시자를 구현하는 것이 가능하다. 이 정보를 이용하여, 이미지 센서 프로세서 (ISP) 와 같은 모듈 또는 외부 디바이스는 카메라가 포커싱하는 거리를 추정할 수 있다. 어레이에서의 각각의 카메라에 대한 포커스 위치에 대한 지식은, 이미지들을 함께 스티칭하는 방법을 이용하여, 고유의 다른 피처들과 같은 것으로 하여금, 각각의 카메라를 상이한 거리들에서 포커싱함으로써, 연장된 DoF (depth of field) 이미지들을 제공할 수 있게 하도록 도움을 줄 수 있다. 교정 (calibration) 은 카메라들의 각각이 양호한 포커스를 획득했는지의 여부를 합리적인 확실성 내에서 결정하는 데 사용될 수 있다.
또 다른 실시형태는 프리즘 블록 (136A) 을 제거하고 오직 거울 면 (135) 만을 유지한다. 거울 면은 플레이트, 136B 와 같은 지지 블록 또는 다른 수단에 부착될 수 있다. 거울 주변에서 구조체는 이미지 센서 (125) 의 이미지 평면의 면에 대해 거울을 고정적으로 계속 정렬 및 정지시키도록 배치될 수 있으며, 여기서, 거울, L6 및 이미지 센서 (125) 는 서로에 대해 이동하지 않을 것이다. 센서 (125), L6 및 거울 면 (135) 을 고정적으로 제자리에 유지하는 데 이용되는 구조체는 또한, 도 8c 에 나타낸 가동 시스템 (1503) 을 지지하도록 설계될 수 있다. 반면, 136A 및 136B 가 실시형태 내에 있는 설명된 모든 아이템들은, 이제 이들이 실시형태 내에 있지 않는 이 경우에 또한 적용한다.
또 다른 실시형태는, 도 8a 및 도 8c 에 나타낸 185 와 같은 막대 (rod) 대신에 "U" 자형 브래킷 (bracket) 을 이용하는 것이다. "U" 자형 브래킷은 전술한 바와 같은 거울 지지 구조체 또는 센서 프리즘 (136A) 및 블록 (136B) 의 모든 세 개의 면들 상에서 글라이딩할 수 있다. 이것은 부가적인 지지를 도와 틸트 및 선형 병진 변동들 또는 이동을 최소화 또는 제한할 것이다.
예시적인 광선 추적의 개요
도 9 는, 렌즈 면들 (L1 내지 L5) 을 통과하고, 면 (1603) 에서 반사하고, 렌즈 면 (L6) 을 통과하여 센서 면 (1602) 에 도달하는, 렌즈 어셈블리 (1600) 의 일 실시형태를 통과하는 광의 광선 추적을 나타낸다. 이 실시형태에서, 광의 광선들의 다섯 그룹들은, 렌즈 어셈블리 (1600) 를 통과하는 광의 광선들의 그룹들을 따라갈 때 명확히 하기 위한 목적으로 상이한 점선을 이용하여 나타낸다. 각각의 그룹은 광학 축에 대한 대상 공간에서의 상이한 포인트로부터, 그리고 무한대인 것으로 간주될 만큼 충분히 멀리 떨어져서 발생한다. 이들 광선들이 광학 면들 (L1-L6) 을 통과함에 따라, 도 9 에 나타낸 바와 같이, 이들 광선들이 센서 면 (1602) 에 더 근접하게 이동할수록 이들 광선들은 점진적으로 함께 클러스터링된다 (cluster).
도 9 에 나타낸 렌즈 어셈블리 (1600) 의 실시형태는, 오직 거울 면 (1603) 만을 나타낸 대신에, 도 8a 및 도 8b 에 나타낸 바와 같은 구조체들 (136A) 및 블록 (136B) 을 갖지 않는다. 거울 면 (1603) 을 유지하는 지지 구조체는 나타나 있지 않으며, 도 8c 에 나타낸 바와 같은 가동 구조체 (1503) 를 위한 지지 구조체 역시 도 9 에 나타내지 않는다. 도 9 에서, 대상 공간의 카메라의 FOV 에서 5 개의 상이한 대상 높이들로부터의 광선들은 L1 에 진입하고, 광학 렌즈 시스템 (L1 내지 L6) 을 통과하여, 센서 이미지 평면의 면에서 5 개의 상이한 이미지 높이들로 종료한다.
거울 (1603) 은, 광선들을 이미지 센서 면 (예를 들어, 이미지 센서 이미지 평면 (1602)) 을 향해 반사시키는 데 이용될 수도 있다. 이미지 센서 바로 위의 렌즈 (L6) 가 존재하지 않는다고 가정하면, 광의 광선들은 수평의 렌즈 어셈블리 (여기서, 수평은 이미지 센서 면 (1602) 의 평면에 평행한 평면을 지칭한다) 에서의 L5 의 마지막 렌즈 면으로부터 거울 (1603) 로까지 그 후 센서 (1602) 의 면에 도달하는 긴 거리를 지나야만 한다는 것은 자명해진다. 따라서, 때때로 "필드 커렉터" 로 지칭되기도 하는 렌즈 면 (L6) 은, 광선들에 대해 최종 보정을 행하기 위해 이미지 평면에 근접하게 배치되어, 센서 면 (1602) 상의 일 포인트에 가능한 한 근접하게 수렴시킨다. 이러한 렌즈는 이미지 평면에 근접하게 배치되며, 여기서, 그 기능의 일부는 전체 이미지 높이에 걸쳐 보다 양호하게 포커싱되도록 광선에 대해 조정들을 행하는 것이다. 렌즈 (L6) 는, 그 능력으로 하여금, 이미지 센서 면 상에 고해상도 이미지들을 이미징할 수 있게 할 시스템을 통과하는 광의 진행에 대한 최소한의 보정들을 허용할 능력으로 인한 이점들을 갖는 반면, L6 과 같은 렌즈 면을 갖지 않는 시스템은 동일한 수준의 MTF 해상도를 달성하는 것이 가능하지 않을 수도 있다.
특정 픽셀 피치들에 대한 예시적인 광학 성능의 개요
도 10a 는, 예를 들어 대상 공간에서의 일 포인트로부터, 어레이의 이미지 센서의 이미지 센서 평면 상에 이미징될 수도 있는 포인트 스프레드 함수 (PSF: point spread function) 를 나타낸다. PSF 패턴에 대한 이하의 논의는, 본 명세서에서 설명된 바와 같은 어레이 카메라와 함께 사용하기 위한 성능 기준들을 만족시키는 L1-L6 렌즈 어셈블리 또는 또 다른 렌즈 어셈블리와 함께 사용하기 위한 적합한 픽셀 피치를 결정하는 것에 관한 것이다. 대략 1.1 마이크로-미터, 1.0 마이크로-미터 및 서브-미크론 (sub-micron) 의 픽셀 사이즈들의 보다 작은 정사각형 픽셀 피치 센서들을 향한 추세는, 두 개의 인접한 포인트들 또는 두 개의 인접한 미세 선들과 같이, 일 이미지에서의 미세 피처들을 해상하는 (resolve) 것이 가능하도록, 렌즈 설계들에 대해 보다 엄격한 허용오차 요건들을 부과한다. 렌즈 어셈블리가 충분히 선명한 (sharp) 포커스를 갖지 않는다면, 이러한 미세 피처들은 해상가능하지 않을 수도 있다. 이것은 시간 도메인에서의 선형 전기 필터의 응답과 같은, 일 시스템에 대한 임펄스 응답의 유사한 개념에 의해 이해될 수 있다. 이제, 전기 필터의 응답과 같은 시간 도메인에서의 임펄스 응답을 갖는 것 대신에, 렌즈 시스템으로 돌아오면, 렌즈들은, 이미지 공간에서의 이미지 평면의 면 상에 이미징 및 포커싱될 때 대상 공간에서의 일 포인트 대상에 대한 PSF 응답을 갖는다. 이 PSF 의 폭은 특정 렌즈에 대해 양호하게 매칭하는 최소의 픽셀 사이즈를 결정하기 위해 미터법 (metric) 으로서 이용될 수 있다. 레일레이 기준들은 또한 특정 렌즈에 대해 양호하게 매칭하는 픽셀의 사이즈를 결정하기 위해 미터법으로서 이용될 수 있다.
L1-L6 렌즈 어셈블리, 또는 L1-L6 어셈블리 대신에 이용되는 유사한 어셈블리의 목적은, 작은 픽셀들, 예를 들어 1 마이크로-미터 또는 서브-미크론의 픽셀들을 위한 본 명세서에 기재된 MTF 및 PSF 해상도 요건들 세트를 충족시키는 것인 한편, 또한 하나 이상의 카메라 어셈블리들로 가능한 한 얇게 구성된 어레이 카메라를 유지하는 것이다.
포인트 스프레드 함수 (PSF) 는 광학 시스템의 해상력 (resolving power) 의 일 측도 (measure) 이다. 포인트 스프레드 함수가 더 좁아질수록, 해상도는 더 양호해질 것이다. 명칭이 암시하는 바와 같이, 포인트 스프레드 함수는, 이미지 평면 상에 이미징 및 포커싱될 때의 대상 공간에서의 일 포인트 대상의 스프레드를 정의한다. 포커싱된 이미지 평면 상에서의 대상 공간에서의 포인트 대상의 확산하는 정도는, L1-L6 과 같은 렌즈 어셈블리의 품질에 대한 일 측도일 수 있다. 도 10b 내지 도 10e 의 도면들에서의 곡선들은, 이미지 평면 상에 포커싱될 때의 PSF 응답에서의 확산 또는 블러링 (blurring) 의 정도의 해상가능 측도들이기에 앞서, 대상 공간에서의 두 개의 포인트들이 얼마나 근접해 있을 수 있는지에 대해 나타낸 예들이다. 도 10b 의 그래프에서:
Zo = 1.22*λ*(f/#)
f/# = f-수 = EFL/(클리어 애퍼처)
λ = 광 파장 = 550nm
도 10b 는 대상 공간에서의 하나의 포인트에 대한 PSF 함수의 횡단면 프로필 곡선 (1710) 을 나타내며, 여기서, 1 의 피크치는, 곡선 상에 나타낸 바와 같이, 정규화된 PSF 의 최대치이다. 도 10c 는 해상되지 않은 PSF 의 그래프를 나타낸다. 도 10c 에서, 예를 들어 두 개의 PSF 곡선들 (1712 및 1713) 은 대상 공간에서의 두 개의 인접 포인트들에 대한 두 개의 PSF 곡선들을 독립적으로 나타낸다. 이들은 함께 충분히 근접해 있어서 두 개의 PSF 곡선들이 서로 오버레이한다 (overlay). 이들 두 개의 곡선들 (1712 및 1713) 이 함께 더해지는 경우, 결과물은 곡선 (1711) 이며, 여기서, 곡선 (1711) 이 약간 더 넓지만, 대상 공간에서 두 개의 포인트들이 존재하는지 또는 오직 하나의 포인트가 존재하는지 말하기 어렵다.
도 10d 는, 함께 더해졌을 때 우리가 곡선 (1721) 을 얻을 만큼 충분히 떨어져서 분리되어 있는 두 개의 PSF 패턴들 (1722 및 1723) 의 유사한 그래프를 나타내며, 여기서, 우리는 두 개의 인접한 대상 포인트들을 가까스로 해상할 수 있다. 도 10e 는, 도 10c 및 도 10d 와 유사하게, 대상 공간에서의 두 개의 인접한 포인트들로부터 서로 오버레이하는 두 개의 PSF 패턴들 (1732 및 1733) 을 나타내는 일 예이다. 이 예에서, 함께 더해져서 우리는, 대상 공간에서 두 개의 인접한 대상 포인트들이 존재한다고 지시하는, 해상가능한 것으로서 통상적으로 간주되는 곡선 (1731) 을 얻는다. 다음으로, 이미지 센서가 이용되어, 예를 들어 이미지 센서 이미지 평면 상에 이미징 및 포커싱된 광 패턴의 레벨들을 측정한다. 일 예로서, 곡선 (1731) 에 나타낸 두 개의 피크들 및 두 개의 피크들 사이에서의 최소치 상에 놓아 나타낸, 인접한 세로 직사각형 박스들 (1705) 이 존재한다. 이들 세 개의 광 레벨들을 측정하기 위해, 예를 들어 대략 이들 두 개의 피크들 및 중간 (middle) 내에 또는 가까이에 세 개의 픽셀들이 최소한도로 요구된다. 이들 픽셀들이 모노크롬 (monochrome) 이라면, 이들 픽셀들 상에 이미징된 광 레벨이 측정될 수 있다. 광의 광자들을, 예를 들어 전기 신호와 같은 신호로 변환하기 위한 픽셀 영역 (예를 들어, 애퍼처) 및 시간 구간은, 소정의 픽셀 상에서의 광 레벨의 측정을 나타낼 수 있다. 이 방식으로, 예를 들어 특정 시간 구간 상에서 평균을 내는 경우, 이미지 센서 픽셀 상에서의 광 레벨을 전기 신호로 변환할 수 있다. 당업자는 이미지 센서 어레이의 샘플링 픽셀들이 이미지 센서의 이미지 평면 상에 포커싱된 광 이미지 패턴을 공간적으로 필터링할 수도 있다는 것을 인식할 수도 있다. 예를 들어, 하나의 모노크롬 픽셀 상에 대한 곡선 (1731) 의 피크들 중 하나의 광 레벨들의 평균을 내는 것은, 광 레벨의 실제 피크에 견줄만한 전기 신호를 산출할 수 없을 수도 있고, 오히려 픽셀의 영역 (예를 들어, 애퍼처) 및 광의 광자들이 픽셀에 의해 캡처되는 시간 구간에 걸친 광 레벨의 통합일 수도 있다. 반면, 본 명세서에서의 예들의 목적들을 위해 픽셀 면의 영역은 픽셀의 애퍼처로서 간주된다.
예를 들어, 누군가로 하여금 각각의 모노크롬 픽셀 상에 이미징된 광 스펙트럼의 컬러를 결정할 수 있게 하는 측정치를 누군가가 선택하여 취하는 것이라면, 우리는 베이어 컬러 (Bayer color) 패턴과 같은 컬러 패턴을 선택할 필요가 있을 수도 있으며, 여기서, 예를 들어 누군가는, 각각의 모노크롬 픽셀에 대해 네 개의 픽셀들을 부가할 것이며, 여기서, 이들 네 개의 픽셀들의 각각은, 통상적으로 베이어 컬러 필터 패턴의 컬러 필터들을 참조하기 위한 공통 방식인, 레드, 그린-레드, 블루, 그린-블루 (예를 들어, R, Gr, B 및 Gb) 컬러 필터 패턴의 네 개의 광 컬러 필터들 중 하나를 가질 것이다. 당업자는 이러한 패턴 및 컬러 픽셀들 R, Gr, B 및 Gb (예를 들어, RGrBGb 패턴) 의 각각의 출력을, 모노크롬 픽셀에 의해 나타낸 픽셀 내에서의 이들 네 개의 픽셀들에 대한 컬러를 나타내는 값들로 변환하는 방법을 인지할 수도 있다. 도 10e 에서, 당신은 Gr 픽셀 (1752) 및 R 픽셀 (1753) 이 서로에 대해 인접하는 수평 패턴 상에서 볼 수 있을 것이다. Gr 및 R 양방 모두는 도 10e 에 나타낸 수평 로우 (row) 에 걸친 한 쌍으로서 반복된다. B 및 Gb 픽셀들은 Gr 및 R 필셀들 바로 뒤에서 일 로우 상에 있기 때문에 나타나 있지 않으며, 여기서, 뒤는 도 10e 의 평면의 바로 뒤의 일 평면을 의미한다. 당업자는 각각의 로우 및 컬럼 (column) 에서의 픽셀들의 수가 이제 2 만큼 증가되었음을 인식할 수도 있다.
예를 들어, 이미지 센서 어레이와 함께 렌즈 어셈블리의 해상도를 측정하는 방식으로서 대상 공간에서의 흑색 및 백색의 타겟을 이용하는 것이라면, 흑색 및 백색의 타겟들은 R, Gr, B, 및 Gb 컬러 필터들의 컬러 필터들 스펙트럼을 커버하기에 충분히 넓은 광 스펙트럼을 투영하기 때문에, 당업자는 각각의 컬러 픽셀이 픽셀의 애퍼처 상에 이미징된 광을 측정할 수 있을 것임을 인식할 수도 있다. 이 방식으로, 컬러 필터들의 각각을, 이미지 센서 이미지 평면 상에서의 흑색 및 백색의 타겟의 이미지에 대한 별개의 샘플로서 간주할 수도 있다.
도 10f 는 선명하게 해상가능한 대상 공간에서의 두 개의 인접한 포인트 대상들의 예를 나타낸다.
렌즈 어셈블리의 PSF 성능은 렌즈 어셈블리와 함께 사용하기 위한 적합한 픽셀 피치를 결정하는 데 이용될 수 있다. 폴드형 광학 어레이 카메라 렌즈 어셈블리들은 대응 센서 픽셀 사이즈의 픽셀들을 해상하거나 선명하게 해상할 수 있어야 한다.
일 실시형태에서, 이미지 센서를 갖지 않은 폴드형 광학 단일 렌즈 어셈블리는, 550 나노미터 (nm) 의 파장에서, 6.3 의 EFL, 2.5 의 f/#, 32 도의 FOV, 3.56 mm 의 이미지 서클 직경을 가질 수 있다. 이러한 광학 렌즈 어셈블리는 시스템으로서 L1-L6 과 함께 사용하기 위한 모노크롬 정사각형 이미지 센서 픽셀 피치에 적합할 수 있고, 또는 유사한 렌즈 어셈블리는 픽셀의 각각의 수평 및 수직 변들 상에서 대략 0.84 ㎛ (마이크로-미터) 일 수 있고, 각각의 변 상에서 대략 0.42 ㎛ 의 적합한 베이어 이미지 센서 정사각형 픽셀 사이즈 피치일 수 있다. 다른 팩터들은, 0.84 ㎛ 모노크롬 픽셀들 및/또는 0.42 베이어 컬러 필터 이미지 센서 픽셀들에 적합한 이상적인 MTF 또는 PSF 성능을 달성하는 것이 가능하지 않을 수도 있는 이러한 렌즈 어셈블리 시스템의 성능을 감소시킬 수 있다.
도 11 은 폴드형 광학 렌즈 어셈블리에 대한 회절 한계 성능 데이터 (1791) 를 나타내며, 여기서, L1 내지 L6 과 같은 렌즈 어셈블리의 애퍼처는 원형 애퍼처를 가지며 렌즈 어셈블리의 MTF 성능을 측정하는 데 사용되는 패턴은 사인곡선형 (sinusoidal) 패턴이다. 도 11 은 또한 가로좌표 상에서 1.0 의 MTF 로부터 포인트 0.9 로 그려진 근사치 (approximation) 선 (1792) 을 나타내며, 여기서, 그래프의 가로좌표는 V/Vo 에 관한 것이며, 여기서, V 는 mm 당 V 사이클들의 공간 주파수를 갖는 사인곡선형 패턴을 나타내고, Vo 는 "소실점" 을 나타내며, 여기서, V 는 대략 제로 (0) MTF 를 갖는다. 본 명세서에서 설명된 바와 같은 렌즈 시스템을 갖는 어레이 카메라에 있어서 대상 공간에서의 사인곡선형 패턴은 이미지 평면의 면 상에 이미징되며, 여기서 이미지 평면 상의 사인곡선형 패턴은 mm 당 사이클들로 설명된다. 예를 들어, 본 명세서에서 설명된 카메라 어레이 렌즈 어셈블리들에 있어서, 소실점 (Vo) 은 곡선 (1791) 에 대해 나타낸 바와 같이 대략 727 cyc/mm 일 수도 있고, 가로좌표 상에서의 선 (1792) 의 교차점은 Vo 의 90% 인 654 cyc/mm 이다.
도 12 는, 사인곡선형 광 패턴이 이미지 센서 어레이에서의 픽셀들의 로우 또는 컬럼을 따라 이미징될 때 이미지 센서 어레이의, 샘플 이론에 기초한, 정규화된 MTF 공간 주파수 응답을 나타낸다. 당업자는, 이것이 샘플 이론에 기초하여 픽셀 샘플들의 로우 또는 컬럼의 이론적인 응답임을 인식할 것이다. 도 12 에 나타낸 정규화된 곡선에 대한 방정식들은:
MTFDetector(Sf) = 1, Sf=0 일 때.
이 롤 오프에 대한 방정식은:
MTFDetector(Sf) = abs(sin(Pi*PW*Sf))/(PixelPitch*Sf)
여기서, Sf 는 정사각형 픽셀들의 이미지 센서 어레이 상에서의 로우 또는 컬럼을 따라 투영되는 사인곡선형 광 패턴의 정규화된 공간 주파수이며, PW 는 수평 또는 수직 방향들로의 정사각형 픽셀 폭을 나타내며, PixelPitch 는 이미지 센서 어레이의 수평 및 수직 픽셀 피치를 나타낸다. 픽셀 폭은 통상적인 카메라 이미지 센서에 대한 픽셀 피치보다 일반적으로 약간 적지만, 본 명세서에 나타낸 예들에 대해서는 픽셀 폭이 픽셀 피치와 동일한 것으로 간주되는 것이다. 당업자는 용어 "픽셀 폭" 이 센서들 픽셀 피치 및 용어 "필-팩터" 의 통상 의미를 노잉함으로써 결정될 수도 있으며, 여기서, 필-팩터는 이미지 센서가 각각의 픽셀 상에 마이크로-렌즈들을 가질 때 사용된다. 각각의 픽셀의 마이크로-렌즈는 픽셀의 감광성 영역 상에 광을 포커싱하는 데 이용된다. 일부 경우들에서는 필-팩터가 각각의 픽셀에 의해 커버되는 영역의 80% 일 수도 있으며, 일부 경우들에서는 필-팩터가 픽셀 영역의 100% 근방으로 고려될 수도 있다. 이 개시물에서의 예시적인 실시형태들에서는, 다르게 언급되지 않거나 문맥이 다르게 지시하지 않는다면, 100% 의 필-팩터가 가정될 수도 있다.
도 13a 내지 도 13e 는 렌즈 및 센서 조합에 대한 MTF 성능 기준들을 나타낸다. 렌즈 어셈블리는 L1-L6 조합 또는 본 명세서에서 설명된 성능 기준들을 만족시키는 임의의 다른 렌즈 시스템일 수 있다. 도 13a 는 컬럼 (2001) 에 나타낸 바와 같이 1.4 ㎛ 의 픽셀 피치를 이용한 이미지 센서에 대한, 컬럼 (2002) 에 나타낸 바와 같이 1.1 ㎛ 의 픽셀 피치를 이용한 이미지 센서에 대한, 그리고 컬럼 (2003) 에 나타낸 바와 같이 0.5 ㎛ 의 픽셀 피치를 이용한 이미지 센서에 대한 나이퀴스트 샘플링 레이트들의 테이블을 나타낸다.
도 13b 는 그래프들 (3301, 3302 및 3303) 에 각각 나타낸 바와 같이 1.4 ㎛, 1.1 ㎛ 및 0.5 ㎛ 의 수평 및 수직 이미지 센서 픽셀 폭들을 갖는 세 개의 이미지 센서 어레이들에 대한 이론적인 샘플링 MTF 롤-오프를 나타낸다. 또한, 도 11 의 1792 로 설명된 L1 내지 L6 렌즈 어셈블리에 대한 회절 한계를 근사화한 선 (3304) 은 도 13b 에 나타낸다. 도 13c 는 렌즈 어셈블리 (L1-L6) 에 대한 회절 한계 근사치 (3304) 와 비교된 1.4 ㎛ 정사각형 픽셀 이미지 센서 어레이에 대한 MTF 롤-오프 (3301) 의 줌-인 (zoomed-in) 도면을 나타낸다. 도 13d 는 렌즈 어셈블리 (L1-L6) 에 대한 회절 한계 근사치 (3304) 와 비교된 1.1 ㎛ 정사각형 픽셀 이미지 센서 어레이에 대한 MTF 롤-오프 (3302) 의 줌-인 도면을 나타낸다. 도 13e 는 렌즈 어셈블리 (L1-L6) 에 대한 회절 한계 근사치 (3304) 와 비교된 0.5 ㎛ 정사각형 픽셀 이미지 센서 어레이에 대한 MTF 롤-오프 (3303) 의 줌-인 도면을 나타낸다.
도 13c, 도 13d 및 도 13e 각각에서의 점선들 (4501, 4502 및 4503) 은 도 13b 에서의 회절 한계 (3304) 와 곡선들 (3301, 3302 및 3303) 과 대응하는 MTF 롤-오프의 곱을 나타낸다. 수직의 실선들 (4701 및 4702) 은 픽셀 피치 1.4 ㎛ 및 1.1 ㎛ 에 대한 나이퀴스트 샘플 레이트를 각각 나타낸다. 삼각형들 (4601 및 4602) 은 에일리어싱으로부터 유발되는 에일리어싱 폴드 백 간섭 (aliasing fold back interference) 을 대략적으로 나타낸다. 도 13c 및 도 13d 에 의해 나타낸 바와 같이 에일리어싱이 발생할 수 있다. 일반적으로 20% MTF 보다 아래의 에일리어싱 간섭은, 현저한 에일리어싱 아티팩트들을 갖지 않는다는 면에서 수용가능하다. 그럼에도 불구하고, 나이퀴스트 상에서의 세부사항 (details) 은, 그것이 현저하든 현저하지 않든, 나이퀴스트보다 아래의 주파수들을 폴드 백 (fold back) 하고 이와 간섭할 수도 있다. 따라서, 1.1 ㎛ 의 픽셀 피치는, 본 명세서에서 설명된 바와 같은 렌즈 어셈블리 (L1-L6) 와 함께 사용될 때, 수용가능한 결과들을 생성할 것이다. 도 13c 에 나타낸 바와 같이, 1.4 의 픽셀 피치는, 본 명세서에서 설명된 바와 같은 렌즈 어셈블리 (L1-L6) 와 함께 사용될 때, 바람직하지 않은 가시적인 (그리고 현저한) 에일리어싱 결과들을 생성할 수도 있다. 이것은 20% MTF 를 상당히 넘어서는 에일리어싱은 가시적인 에일리어싱 아티팩트들을 생성할 수도 있기 때문이다.
도 10a 내지 도 13e 에 의해 실증된 바와 같이, 해상도에 대한 레일레이의 기준들은, L1-L6 또는 유사하게 수행하는 렌즈 어셈블리와 함께 사용하기 위한 적합한 픽셀 사이즈를 결정하는 방법에 대한 지도 (guidance) 를 제공한다. 하지만, 렌즈 수차 (lens aberrations) 효과들이 렌즈 MTF 성능을 이상적인 것으로부터 감소시키고 이에 의해 PSF 응답 폭이 증가시킬 수 있다. 따라서, 렌즈 해상도가 이상적인 성능의 해상도보다 적다는 사실로 인해, 보다 넓은 픽셀 사이즈가 렌즈에 매칭시키는 데 이용될 수 있다. 렌즈 성능이, 이상적인 렌즈의 성능과 유사할 회절 한계에 근접한 경우 (수차가 없고 일 원형 애퍼처를 가정하면), 이러한 고품질의 렌즈들이, 제조 시에, 예를 들어 공통 모바일 디바이스에서의 사용을 위한 대량-생산 시에, 신뢰성있게 생산될 수 있다고 가정하면, 보다 작은 픽셀이 이용될 수 있다.
웨이퍼 광학은, 현재의 스택 배럴 설계들의 수율보다 더 높은 수율로, 더 높은 렌즈 정렬 정확도를 본질적으로 생성할 수 있다. 간단히 샘플링 이론 때문에, 픽셀 사이즈가 넓어질수록, 픽셀 MTF 해상도는 낮아진다. 더 넓은 픽셀들은 나이퀴스트 샘플링 레이트를 낮출 수 있으며, 이것은, 보다 많은 이미지 에일리어싱 또는 에일리어싱 효과들을 감소시키기 위해 나이퀴스트 주변에서의 렌즈 이미지 MTF 해상도를 낮출 필요로 이어질 수 있다.
결론적으로, 대략 1.4 ㎛ 내지 서브-미크론의 픽셀들의 현재 및 미래의 이미지 센서 픽셀 피치에 매칭시킬 수 있는 고성능 오토포커스 대량 생산형 렌즈 어셈블들을 구현하는 데 이용될 수도 있는 방법들 및 시스템들이 본 명세서에 나타나 있다. 예를 들어, L6 과 센서 프리즘을 함께 센서 또는 센서 커버 유리에 부착하면, 렌즈를 포커싱하고 적어도 0.5 ㎛ 정사각형만큼 작은 픽셀들을 축적하기에 충분히 적합한 회절 한계 성능 근방을 달성할 수 있다. 초점 길이를 변경시킬 목적으로 렌즈 어셈블리들을 이동시키기 위한 종래의 솔루션들은, 렌즈 어셈블리 (L1-L6) 에 대해, 본 명세서에서 설명된 바와 같은 어레이 카메라의 성능을 달성하는 데 필요한 필수적인 성능을 제공하지 않을 수도 있다. 따라서, 폴드형 광학의 대량 생산을 위한 양호한 솔루션을 제공하는 방법들이 필요로 된다. 제공된 실시형태는 이것이 행해질 수 있다는 것을 보여준다. 본 명세서에서 설명된 시스템들 및 방법들은 필드 커렉터를 구현하고, 센서 프리즘 또는 거울의 정밀 어셈블리 및 전술한 바와 같은 필수적인 정밀 성능을 제공할 오토포커스 액츄에이션/이동 설계를 요구한다.
용어
본 명세서에 개시된 구현형태들은 다중-센서 폴드형 광학 시스템을 위한 시스템들, 방법들 및 장치를 제공한다. 이들 실시형태들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있음을 당업자는 인식할 것이다.
일부 실시형태들에서, 전술된 회로들, 프로세스들, 및 시스템들은 무선 통신 디바이스에서 이용될 수도 있다. 무선 통신 디바이스는 다른 전자 디바이스들과 무선으로 통신하기 위해 사용된 일종의 전자 디바이스일 수도 있다. 무선 통신 디바이스들의 예들은 셀룰러 전화기들, 스마트 폰들, 개인 휴대 정보 단말들 (PDAs), e-리더들, 게이밍 시스템들, 음악 플레이어들, 넷북들, 무선 모뎀들, 랩톱 컴퓨터들, 태블릿 디바이스들 등을 포함한다.
무선 통신 디바이스는 하나 이상의 이미지 센서들, 2 이상의 이미지 신호 프로세서들, 명령들을 포함하는 메모리 또는 전술된 CNR 프로세스들을 수행하기 위한 모듈들을 포함할 수도 있다. 디바이스는 또한, 데이터, 프로세서 로딩 명령들 및/또는 메모리로부터의 데이터, 하나 이상의 통신 인터페이스들, 하나 이상의 입력 디바이스들, 하나 이상의 출력 디바이스들, 예컨대 디스플레이 디바이스 및 파워 소스/인터페이스를 가질 수도 있다. 무선 통신 디바이스는 부가적으로, 송신기 및 수신기를 포함할 수도 있다. 송신기 및 수신기는 집합적으로 트랜시버로 지칭될 수도 있다. 트랜시버는 무선 신호들을 송신 및/또는 수신하기 위해 하나 이상의 안테나들에 커플링될 수 있다.
무선 통신 디바이스는 또 다른 전자 디바이스 (예컨대, 기지국) 에 무선으로 접속할 수도 있다. 무선 통신 디바이스는 대안으로 모바일 디바이스, 이동국, 가입자국, 사용자 기기 (UE: user equipment), 원격국, 액세스 단말, 모바일 단말, 단말, 사용자 단말, 가입자 유닛 등으로 지칭될 수도 있다. 무선 통신 디바이스들의 예들은 랩톱 컴퓨터 또는 데스크톱 컴퓨터들, 셀룰러 전화들, 스마트 폰들, 무선 모뎀들, e-리더들, 태블릿 디바이스들, 게임 시스템들 등을 포함한다. 무선 통신 디바이스들은 제 3 세대 파트너쉽 프로젝트 (3GPP) 와 같은 하나 이상의 산업 표준들에 따라 동작할 수도 있다. 따라서, 일반적인 용어 "무선 통신 디바이스" 는 산업 표준들에 따라 다양한 명명법들로 설명된 무선 통신 디바이스들 (예컨대, 액세스 단말, 사용자 기기 (UE), 원격 단말 등) 을 포함할 수도 있다.
본 명세서에서 설명된 기능들은 하나 이상의 명령들로서 프로세서-판독가능 또는 컴퓨터-판독가능 매체에 저장될 수도 있다. 용어 "컴퓨터-판독가능 매체" 는 컴퓨터 또는 프로세서에 의해 액세스될 수 있는 임의의 이용가능한 매체를 지칭한다. 비한정적인 예로서, 이러한 매체는 RAM, ROM, EEPROM, 플래시 메모리, CD-ROM 또는 다른 광학 디스크 저장 디바이스, 자기 디스크 저장 디바이스 또는 다른 자기 저장 디바이스, 또는 원하는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 저장하는 데 사용될 수 있으며 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수도 있다. 여기에 사용된, 디스크 (disk) 및 디스크 (disc) 는 CD (compact disc), 레이저 디스크 (laser disc), 광 디스크 (optical disc), DVD (digital versatile disc), 플로피 디스크 (floppy disk) 및 블루레이 디스크 (Blu-ray disc) 를 포함하며, 여기서, 디스크 (disk) 는 보통 데이터를 자기적으로 재생하지만, 디스크 (disc) 는 레이저를 이용하여 광학적으로 데이터를 재생한다. 컴퓨터-판독가능 매체는 유형적이고 (tangible) 비-일시적 (non-transitory) 일 수도 있다는 점이 주목되어야 한다. "컴퓨터 프로그램 제품"이라는 용어는 컴퓨팅 디바이스 또는 프로세서에 의해 실행, 프로세싱 또는 컴퓨팅될 수도 있는 코드 또는 명령들 (예를 들어, "프로그램") 과 결합한 컴퓨팅 디바이스 또는 프로세서를 지칭한다. 본 명세서에서 사용된 바와 같이, "코드"라는 용어는 컴퓨팅 디바이스 또는 프로세서에 의해 실행가능한 소프트웨어, 명령들, 코드 또는 데이터를 지칭할 수도 있다.
본 명세서에 개시된 방법들은 설명된 방법을 달성하기 위한 하나 이상의 단계들 또는 동작들을 포함한다. 방법 단계들 및/또는 동작들은 청구항들의 범위로부터 벗어나지 않으면서 서로 교환될 수도 있다. 바꾸어 말하면, 설명되고 있는 방법의 적절한 동작에 대하여 단계들 또는 동작들의 특정 순서가 요구되지 않는 한, 특정 단계들 및/또는 동작들의 순서 및/또는 사용은 청구항들의 범위로부터 벗어나지 않으면서 변형될 수 있다.
용어들, "커플", "커플링", "커플링된" 또는 본 명세서에 사용된 바와 같은 단어 커플의 다른 변형들은 간접적 접속 또는 직접적 접속 중 어느 일방을 나타낼 수도 있다. 예를 들어, 제 1 컴포넌트가 제 2 컴포넌트에 "커플링되면", 제 1 컴포넌트는 제 2 컴포넌트에 간접적으로 접속되어 있을 수도 있고, 또는 제 2 컴포넌트에 직접적으로 접속되어 있을 수도 있다. 본 명세서에 사용된 바와 같이, 용어 "복수" 는 2 이상을 가리킨다. 예를 들어, 복수의 컴포넌트들은 2 이상의 컴포넌트들을 나타낸다.
용어 "결정하기" 는 매우 다양한 액션들을 망라하므로, "결정하기" 는 계산하기, 연산하기, 처리하기, 도출하기, 조사하기, 검색하기 (예를 들어, 테이블, 데이터베이스, 또는 다른 데이터 구조 내 검색하기), 확인하기 등을 포함할 수 있다. 또한, "결정하기" 는 수신하기 (예를 들어, 정보 수신하기), 액세스하기 (예를 들어, 메모리 내의 데이터에 액세스하기) 등을 포함할 수도 있다. 또한, "결정하기" 는 해결하기, 선택하기, 선정하기, 확립하기 등을 포함할 수 있다.
문구 "~에 기초하는" 은 달리 명백히 명시되지 않는 한 "단지 ~에만 기초하는" 을 의미하지 않는다. 바꾸어 말하면, 문구 "~에 기초하는" 은 "단지 ~에만 기초하는" 및 "적어도 ~에 기초하는" 양방 모두를 설명한다.
이하의 설명에서, 예들에 대한 완전한 이해를 제공하기 위해 특정 세부사항들이 주어진다. 하지만, 당업자는 예들이 이들 특정 세부사항들 없이도 실시될 수도 있다는 것을 이해할 것이다. 예를 들어, 전기적 컴포넌트들/디바이스들은 불필요한 상세에서 예들을 모호하게 하지 않도록 블록도들로 보여질 수도 있다. 다른 견지들에서, 이러한 컴포넌트들, 다른 구조들 및 기법들은 예들을 추가적으로 설명하기 위해 상세하게 보여질 수도 있다.
제목들은 참조를 위해 그리고 여러 섹션들을 위치시키는 것을 돕기 위해 본 명세서에 포함된다. 이들 제목들은 그에 대해 기술된 개념들의 범위를 제한하도록 의도되지 아니한다. 이러한 개념들은 전체 명세서에 걸쳐 적용가능할 수도 있다.
예들은 또한 프로세스로서 설명될 수 있으며, 프로세스는 플로우차트, 흐름도, 유한 상태도, 구조도, 또는 블록도로 도시되는 것이 주목된다. 비록 플로우차트가 동작들을 순차적인 프로세스로서 설명할 수도 있지만, 많은 동작들은 병행하여 또는 동시에 수행될 수 있고 프로세스는 반복될 수 있다. 또한, 동작들의 순서는 재배열될 수도 있다. 프로세스는 그것의 동작들이 완료될 때 종결된다. 프로세스는 방법, 함수, 절차, 서브루틴, 서브프로그램 등에 대응할 수도 있다. 프로세스가 소프트웨어 함수에 대응하는 경우, 그것의 종결은 함수의 호출 함수 또는 메인 함수로의 복귀에 대응한다.
개시된 구현형태들의 이전 설명은 당업자가 본 발명의 실시형태들을 실시 또는 이용할 수 있도록 하기 위해 제공된다. 이들 구현형태들에 대한 다양한 변형들은 당업자에게 자명할 것이며, 본 명세서에서 정의된 일반적인 원리들은 본 발명의 실시형태들의 사상 또는 범위로부터 벗어나지 않고도 다른 구현형태들에 적용될 수도 있다. 따라서, 실시형태들은 본 명세서에 나타난 구현형태들로 제한되는 것으로 의도되지 않고, 본 명세서에 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위에 부합한다.

Claims (30)

  1. 이미징 시스템 (100A, 100B) 으로서,
    타겟 이미지 장면을 캡처하도록 구성된 적어도 하나의 카메라를 포함하며,
    상기 적어도 하나의 카메라는,
    센서 엘리먼트들의 어레이를 포함하는 이미지 센서 (105, 125);
    수용된 광의 부분을 제 1 방향으로 지향시키도록 구성된 주 광 폴딩 면 (112, 124);
    상기 주 광 폴딩 면으로부터 수용된 광을 제 2 방향으로 상기 이미지 센서에 재지향시키도록 구성된, 광을 재지향시키기 위한 수단 (110, 135);
    렌즈 어셈블리 (115, L6; 130, L6) 로서,
    상기 광을 재지향시키기 위한 수단과 상기 이미지 센서 사이에 포지셔닝된 적어도 하나의 정지 렌즈 (L6) 로서, 상기 적어도 하나의 정지 렌즈는 상기 광을 재지향시키기 위한 수단에 기계적으로 커플링된 제 1 면, 및 제 2 면을 가지는, 상기 적어도 하나의 정지 렌즈 (L6), 및
    상기 주 광 폴딩 면과 상기 광을 재지향시키기 위한 수단 사이에 포지셔닝된 적어도 하나의 가동 렌즈 (115, 130) 를 포함하는, 상기 렌즈 어셈블리 (115, L6; 130, L6); 및
    상기 렌즈 어셈블리를 통과한 광을 상기 이미지 센서에 포커싱하기 위해 상기 적어도 하나의 가동 렌즈를 이동시키기 위한 수단 (180, 181) 을 포함하고,
    상기 제 2 면은 상기 이미지 센서에 기계적으로 커플링되고, 상기 적어도 하나의 정지 렌즈는 필드 커렉터 렌즈를 포함하는 것을 특징으로 하는 이미징 시스템.
  2. 제 1 항에 있어서,
    상기 광을 재지향시키기 위한 수단은, 상기 제 2 방향으로 광을 재지향시키기 위한 수단에 의해 재지향된 광이 상기 이미지 센서를 향해 통과하는 출력 면을 포함하고,
    상기 적어도 하나의 정지 렌즈는 상기 출력 면에 접속되는, 이미징 시스템.
  3. 제 1 항에 있어서,
    상기 이미지 센서와 상기 적어도 하나의 정지 렌즈 사이에 배치되는 상기 이미지 센서를 보호하기 위한 수단 (106, 126) 을 더 포함하는, 이미징 시스템.
  4. 제 3 항에 있어서,
    상기 이미지 센서를 보호하기 위한 수단은 커버 유리를 포함하는, 이미징 시스템.
  5. 제 4 항에 있어서,
    상기 커버 유리는 상기 적어도 하나의 정지 렌즈에 커플링된 제 1 커버 유리 면을 포함하는, 이미징 시스템.
  6. 제 5 항에 있어서,
    상기 커버 유리는 상기 이미지 센서에 커플링된 제 2 커버 유리 면을 포함하는, 이미징 시스템.
  7. 제 4 항에 있어서,
    상기 광을 재지향시키기 위한 수단, 상기 적어도 하나의 정지 렌즈, 상기 커버 유리, 및 상기 이미지 센서는, 서로에 대해 정지되도록 함께 기계적으로 커플링되는, 이미징 시스템.
  8. 제 1 항에 있어서,
    상기 적어도 하나의 정지 렌즈는,
    상기 이미지 센서에 평행하게 그리고 광학 엘리먼트에 근접하게 배치된 실질적으로 평평한 면을 갖는 평오목 렌즈, 및
    상기 실질적으로 평평한 면에 대향하게 배치되고 상기 이미지 센서에 근접하게 배치된 오목 면을 포함하는, 이미징 시스템.
  9. 제 1 항에 있어서,
    상기 광을 재지향시키기 위한 수단은 프리즘을 포함하는, 이미징 시스템.
  10. 제 1 항에 있어서,
    상기 광을 재지향시키기 위한 수단은 거울을 포함하는, 이미징 시스템.
  11. 제 1 항에 있어서,
    상기 적어도 하나의 카메라는 액츄에이터와 상기 적어도 하나의 가동 렌즈 사이에 커플링된 적어도 하나의 가동 렌즈를 안정화시키기 위한 적어도 하나의 수단 (184, 185) 을 더 포함하고,
    상기 안정화시키기 위한 적어도 하나의 수단은, 광학 축 (121, 123) 으로부터 멀어지거나 상기 광학 축 주위에서 회전하는 상기 적어도 하나의 가동 렌즈의 모션을 제약하기 위해, 상기 카메라 내의 면 (186) 에 슬라이딩가능하게 맞물리도록 포지셔닝되며,
    상기 광학 축은 상기 제 1 방향에 실질적으로 평행한, 이미징 시스템.
  12. 제 1 항에 있어서,
    상기 적어도 하나의 카메라는, 상기 타겟 이미지 장면의 대응하는 복수의 부분들을 캡처하도록 구성된 복수의 카메라들 (215a-n) 을 포함하며,
    상기 이미징 시스템은 상기 대응하는 복수의 부분들에 적어도 부분적으로 기초하여 상기 타겟 이미지 장면의 최종 이미지를 생성하도록 구성된 프로세서 (220) 를 더 포함하는, 이미징 시스템.
  13. 센서 엘리먼트들의 어레이를 포함하는 이미지 센서 (105, 125) 및 렌즈 어셈블리 (115, L6; 130, L6) 를 갖는 적어도 하나의 카메라로 타겟 이미지 장면을 캡처하는 방법으로서,
    수용된 광의 부분을 주 광 폴딩 면 (122, 124) 을 이용하여 제 1 방향으로 지향시키는 단계,
    상기 주 광 폴딩 면으로부터 수신된 광을 제 2 광 폴딩 면 (110, 135) 을 갖는 광학 엘리먼트를 이용하여 제 2 방향으로 재지향시키는 단계,
    상기 제 2 광 폴딩 면과 상기 이미지 센서 사이에 포지셔닝된 상기 렌즈 어셈블리의 적어도 하나의 정지 렌즈 (L6) 를 이용하여 재지향된 상기 광을 보정하는 단계로서, 상기 적어도 하나의 정지 렌즈는 상기 광학 엘리먼트에 기계적으로 커플링된 제 1 면, 및 제 2 면을 가지는, 상기 재지향된 광을 보정하는 단계; 및
    상기 광학 엘리먼트, 상기 적어도 하나의 정지 렌즈 및 상기 이미지 센서의 상대적인 포지셔닝을 유지하면서, 액츄에이터 (180, 181) 를 이용하여 상기 렌즈 어셈블리의 적어도 하나의 가동 렌즈를 이동시킴으로써 상기 타겟 이미지 장면 상에 상기 적어도 하나의 카메라를 포커싱함으로써, 상기 렌즈 어셈블리를 통과하는 광을 상기 이미지 센서 상에 포커싱하는 단계를 포함하고,
    상기 적어도 하나의 가동 렌즈는 상기 주 광 폴딩 면과 상기 광학 엘리먼트 사이에 포지셔닝되며,
    상기 제 2 면은 상기 이미지 센서에 기계적으로 커플링되고, 상기 적어도 하나의 정지 렌즈는 필드 커렉터 렌즈를 포함하는 것을 특징으로 하는 타겟 이미지 장면을 캡처하는 방법.
  14. 제 13 항에 있어서,
    상기 적어도 하나의 카메라는 복수의 카메라들 (215a-n) 을 포함하고,
    상기 방법은 상기 복수의 카메라들로부터 이미지들을 수용하는 단계 및 상기 복수의 카메라들로부터 수용된 상기 이미지들의 적어도 부분을 포함하는 이미지를 형성하는 단계를 더 포함하는, 타겟 이미지 장면을 캡처하는 방법.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
KR1020167030542A 2014-04-04 2015-04-02 저-프로필 폴드형 광학 다중-카메라 시스템에서의 오토-포커스 KR102118242B1 (ko)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201461975669P 2014-04-04 2014-04-04
US201461975680P 2014-04-04 2014-04-04
US61/975,680 2014-04-04
US61/975,669 2014-04-04
US201462015364P 2014-06-20 2014-06-20
US62/015,364 2014-06-20
US14/526,104 US9374516B2 (en) 2014-04-04 2014-10-28 Auto-focus in low-profile folded optics multi-camera system
US14/526,104 2014-10-28
US14/676,669 US9383550B2 (en) 2014-04-04 2015-04-01 Auto-focus in low-profile folded optics multi-camera system
US14/676,669 2015-04-01
PCT/US2015/024121 WO2015153901A1 (en) 2014-04-04 2015-04-02 Auto-focus in low-profile folded optics multi-camera system

Publications (2)

Publication Number Publication Date
KR20160140886A KR20160140886A (ko) 2016-12-07
KR102118242B1 true KR102118242B1 (ko) 2020-06-02

Family

ID=54209632

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167030542A KR102118242B1 (ko) 2014-04-04 2015-04-02 저-프로필 폴드형 광학 다중-카메라 시스템에서의 오토-포커스

Country Status (8)

Country Link
US (2) US9383550B2 (ko)
EP (1) EP3126891B1 (ko)
JP (1) JP2017515144A (ko)
KR (1) KR102118242B1 (ko)
CN (1) CN106164732A (ko)
BR (1) BR112016023095B1 (ko)
MX (1) MX2016012728A (ko)
WO (1) WO2015153901A1 (ko)

Families Citing this family (125)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4757340B2 (ja) * 2009-10-30 2011-08-24 シャープ株式会社 照明装置、その照明装置を備える画像読取り装置、その画像読取り装置を備える画像形成装置
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
CN105556944B (zh) 2012-11-28 2019-03-08 核心光电有限公司 多孔径成像系统和方法
CN109194849B (zh) 2013-06-13 2021-01-15 核心光电有限公司 双孔径变焦数字摄影机
US9857568B2 (en) 2013-07-04 2018-01-02 Corephotonics Ltd. Miniature telephoto lens assembly
CN107748432A (zh) 2013-07-04 2018-03-02 核心光电有限公司 小型长焦透镜套件
CN109246339B (zh) 2013-08-01 2020-10-23 核心光电有限公司 用于对对象或场景进行成像的双孔径数字摄影机
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9294672B2 (en) * 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US9549107B2 (en) 2014-06-20 2017-01-17 Qualcomm Incorporated Autofocus for folded optic array cameras
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
WO2016099099A1 (en) * 2014-12-15 2016-06-23 Samsung Electronics Co., Ltd. Image capturing device and sensing protection device
CN112327464A (zh) 2015-01-03 2021-02-05 核心光电有限公司 微型长焦镜头模块和使用该镜头模块的相机
EP3492958B1 (en) 2015-04-02 2022-03-30 Corephotonics Ltd. Dual voice coil motor structure in a dual-optical module camera
ES2908652T3 (es) * 2015-04-16 2022-05-03 Corephotonics Ltd Enfoque automático y estabilización de imagen óptica en una cámara compacta de plegado
JPWO2016181512A1 (ja) * 2015-05-12 2018-02-22 オリンパス株式会社 撮像装置、内視鏡システムおよび撮像装置の製造方法
EP3722860B1 (en) 2015-05-28 2023-04-19 Corephotonics Ltd. Bi-directional stiffness for optical image stabilization and auto-focus in a digital camera
EP3104595A1 (en) * 2015-06-08 2016-12-14 Thomson Licensing Light field imaging device
KR102143309B1 (ko) 2015-08-13 2020-08-11 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
WO2017037688A1 (en) 2015-09-06 2017-03-09 Corephotonics Ltd. Auto focus and optical image stabilization with roll compensation in a compact folded camera
US9659371B2 (en) * 2015-10-08 2017-05-23 Christie Digital Systems Usa, Inc. System and method for online projector-camera calibration from one or more images
KR102477092B1 (ko) * 2015-10-15 2022-12-13 삼성전자주식회사 이미지 획득 장치 및 방법
US9753255B2 (en) 2015-11-03 2017-09-05 Himax Technologies Limited Array lens system
CN106772928A (zh) * 2015-11-23 2017-05-31 奇景光电股份有限公司 阵列透镜系统
JP2017097185A (ja) * 2015-11-25 2017-06-01 奇景光電股▲分▼有限公司 アレイレンズシステム
KR102433623B1 (ko) 2015-12-29 2022-08-18 코어포토닉스 리미티드 자동 조정가능 텔레 시야(fov)를 갖는 듀얼-애퍼처 줌 디지털 카메라
EP3758356B1 (en) 2016-05-30 2021-10-20 Corephotonics Ltd. Actuator
KR102302004B1 (ko) 2016-06-19 2021-09-14 코어포토닉스 리미티드 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화
US10706518B2 (en) 2016-07-07 2020-07-07 Corephotonics Ltd. Dual camera system with improved video smooth transition by image blending
KR102657464B1 (ko) 2016-07-07 2024-04-12 코어포토닉스 리미티드 폴디드 옵틱용 선형 볼 가이드 보이스 코일 모터
TWI616675B (zh) 2016-07-14 2018-03-01 大立光電股份有限公司 光學攝像系統組、取像裝置及電子裝置
US10277816B2 (en) * 2016-09-28 2019-04-30 Qualcomm Incorporated Systems and methods to reduce actuator power leakage
TWI594037B (zh) * 2016-11-24 2017-08-01 大立光電股份有限公司 影像擷取鏡頭組、取像裝置及電子裝置
WO2018122650A1 (en) 2016-12-28 2018-07-05 Corephotonics Ltd. Folded camera structure with an extended light-folding-element scanning range
CN106791330B (zh) 2017-01-11 2019-08-13 Oppo广东移动通信有限公司 摄像头模组及终端
CN106791329B (zh) 2017-01-11 2019-09-13 Oppo广东移动通信有限公司 摄像头模组及终端
JP7057364B2 (ja) 2017-01-12 2022-04-19 コアフォトニクス リミテッド コンパクト屈曲式カメラ
CN115857135A (zh) * 2017-02-23 2023-03-28 核心光电有限公司 折叠式摄影机透镜设计
TWI781985B (zh) * 2017-03-09 2022-11-01 美商康寧公司 具有自動對焦與光學圖像穩定功能的相機模組
DE102017204035B3 (de) 2017-03-10 2018-09-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
KR102530535B1 (ko) 2017-03-15 2023-05-08 코어포토닉스 리미티드 파노라마 스캐닝 범위를 갖는 카메라
CN110780423A (zh) * 2017-03-24 2020-02-11 玉晶光电(厦门)有限公司 光学成像系统
DE102017206429A1 (de) * 2017-04-13 2018-10-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
DE102017206442B4 (de) 2017-04-13 2021-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur Abbildung von Teilgesichtsfeldern, Multiaperturabbildungsvorrichtung und Verfahren zum Bereitstellen derselben
KR20190022522A (ko) 2017-07-07 2019-03-06 코어포토닉스 리미티드 미광을 방지하기 위한 접이식 카메라 프리즘 설계
CN113031218A (zh) 2017-07-23 2021-06-25 核心光电有限公司 折叠式摄影机以及其折叠透镜套件
CN107395809B (zh) * 2017-08-15 2019-08-20 维沃移动通信有限公司 一种光线传输装置和移动终端
KR101956705B1 (ko) * 2017-08-21 2019-03-11 삼성전기주식회사 촬상 광학계
US10904512B2 (en) 2017-09-06 2021-01-26 Corephotonics Ltd. Combined stereoscopic and phase detection depth mapping in a dual aperture camera
US10951834B2 (en) 2017-10-03 2021-03-16 Corephotonics Ltd. Synthetically enlarged camera aperture
WO2019102313A1 (en) * 2017-11-23 2019-05-31 Corephotonics Ltd. Compact folded camera structure
US10969652B2 (en) 2018-01-10 2021-04-06 Apple Inc. Camera with folded optics having moveable lens
KR20240019388A (ko) 2018-01-26 2024-02-14 애플 인크. 광학기기를 이동시키기 위한 액추에이터를 갖는 접이식 카메라
WO2019150188A1 (en) * 2018-02-05 2019-08-08 Corephotonics Ltd. Reduced height penalty for folded camera
US11061213B2 (en) 2018-02-07 2021-07-13 Apple Inc. Folded camera
TWI703367B (zh) * 2018-02-08 2020-09-01 先進光電科技股份有限公司 光學成像系統
CN113568251B (zh) 2018-02-12 2022-08-30 核心光电有限公司 数字摄像机及用于提供聚焦及补偿摄像机倾斜的方法
EP3759538A4 (en) 2018-03-02 2021-05-05 Corephotonics Ltd. SPACER DESIGN TO REDUCE SCATTERED LIGHT
US10694168B2 (en) 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
KR20230098686A (ko) * 2018-04-23 2023-07-04 코어포토닉스 리미티드 연장된 2 자유도 회전 범위를 갖는 광학 경로 폴딩 요소
EP3562285A1 (de) * 2018-04-25 2019-10-30 Siemens Aktiengesellschaft Verbinden elektrischer bauelemente
KR20230019212A (ko) * 2018-05-14 2023-02-07 코어포토닉스 리미티드 폴디드 카메라 렌즈 설계
WO2019225979A1 (en) * 2018-05-23 2019-11-28 Lg Electronics Inc. Camera and terminal including the same
US10884237B2 (en) 2018-05-23 2021-01-05 Lg Electronics Inc. Camera with an image sensor generating an image signal based on input light reflected by a prism apparatus and passing through lens apparatus, and terminal including the same
US11314147B1 (en) 2018-05-31 2022-04-26 Apple Inc. Folded camera with actuator for moving optics
EP3809685A4 (en) * 2018-06-12 2021-09-01 Ningbo Sunny Opotech Co., Ltd. CAMERA UNIT WITH LIGHT DEFLECTION MECHANISM AND ITS APPLICATION
CN208386734U (zh) * 2018-06-14 2019-01-15 Oppo广东移动通信有限公司 摄像头模组和电子装置
KR102289149B1 (ko) 2018-08-04 2021-08-12 코어포토닉스 리미티드 카메라 위의 전환 가능한 연속 디스플레이 정보 시스템
US11635596B2 (en) 2018-08-22 2023-04-25 Corephotonics Ltd. Two-state zoom folded camera
US11340388B2 (en) * 2018-08-31 2022-05-24 Apple Inc. Power prism for folded lenses
TWI741404B (zh) * 2018-11-05 2021-10-01 以色列商核心光電有限公司 摺疊相機透鏡設計
CN111615822B (zh) 2019-01-03 2022-02-08 核心光电有限公司 一种双重相机
KR102242437B1 (ko) 2019-01-07 2021-04-20 코어포토닉스 리미티드 슬라이딩 조인트를 갖는 회전 메커니즘
CN109633854B (zh) * 2019-01-08 2020-09-29 瑞声通讯科技(常州)有限公司 一种图像采集器及移动电子设备
US11698526B2 (en) * 2019-02-08 2023-07-11 The Charles Stark Draper Laboratory, Inc. Multi-channel optical system
KR102424008B1 (ko) 2019-02-25 2022-07-22 코어포토닉스 리미티드 적어도 하나의 2 상태 줌 카메라를 갖는 멀티-애퍼처 카메라
CN113891059B (zh) 2019-03-09 2024-02-13 核心光电有限公司 对双摄像机进行立体校准的方法
US11070709B2 (en) * 2019-04-12 2021-07-20 Asm Technology Singapore Pte Ltd Aligning an image sensor relative to a lens module
US10567749B1 (en) * 2019-05-03 2020-02-18 Zf Active Safety And Electronics Us Llc Modulation transfer function evaluation for red/clear filtered optical devices
JP6951828B2 (ja) * 2019-06-01 2021-10-20 エーエーシー オプティックス ソリューションズ ピーティーイー リミテッド ペリスコープレンズモジュール及びペリスコープレンズモジュールに適用されるプリズム装置
KR102515482B1 (ko) 2019-07-31 2023-03-29 코어포토닉스 리미티드 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
KR102288615B1 (ko) 2019-08-21 2021-08-11 코어포토닉스 리미티드 큰 센서 포맷을 위한 작은 총 트랙 길이
EP4030233A4 (en) * 2019-09-18 2022-11-23 Ningbo Sunny Opotech Co., Ltd. PERISCOPE CAMERA MODULE AND ELECTRONIC DEVICE
KR102356807B1 (ko) 2019-10-11 2022-01-28 삼성전기주식회사 카메라 모듈
US11659135B2 (en) 2019-10-30 2023-05-23 Corephotonics Ltd. Slow or fast motion video using depth information
US11656538B2 (en) 2019-11-25 2023-05-23 Corephotonics Ltd. Folded zoom camera module with adaptive aperture
US11949976B2 (en) 2019-12-09 2024-04-02 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
US11770618B2 (en) 2019-12-09 2023-09-26 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
US11693221B2 (en) 2019-12-25 2023-07-04 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Camera module, camera assembly, and electronic device
CN114667729B (zh) 2020-01-08 2024-04-19 核心光电有限公司 多孔变焦数码摄像头及其使用方法
US11829001B2 (en) * 2020-01-22 2023-11-28 Tdk Taiwan Corp. Optical system
TWI730637B (zh) * 2020-02-24 2021-06-11 大陽科技股份有限公司 相機模組與電子裝置
EP4097773A4 (en) 2020-04-26 2023-11-01 Corephotonics Ltd. TEMPERATURE CONTROL FOR HALL BAR SENSOR CORRECTION
CN117372250A (zh) 2020-05-17 2024-01-09 核心光电有限公司 全视场参考图像的图像拼接
CN117518313A (zh) 2020-05-30 2024-02-06 核心光电有限公司 用于获得超微距图像的系统
US11516391B2 (en) * 2020-06-18 2022-11-29 Qualcomm Incorporated Multiple camera system for wide angle imaging
US11910089B2 (en) 2020-07-15 2024-02-20 Corephotonics Lid. Point of view aberrations correction in a scanning folded camera
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
WO2022023855A1 (en) 2020-07-31 2022-02-03 Corephotonics Ltd. Folded macro-tele camera lens designs
CN114270145B (zh) 2020-07-31 2024-05-17 核心光电有限公司 用于大行程线性位置感测的霍尔传感器-磁体几何结构
KR102598070B1 (ko) 2020-08-12 2023-11-02 코어포토닉스 리미티드 스캐닝 폴디드 카메라의 광학 이미지 안정화
CN112037128B (zh) * 2020-08-21 2023-11-03 苏州巨能图像检测技术有限公司 一种全景视频拼接方法
CN111968099B (zh) * 2020-08-24 2023-01-24 中国科学院长春光学精密机械与物理研究所 一种大口径拼接望远镜共相方法、装置、设备及存储介质
CN117420665A (zh) 2020-09-18 2024-01-19 核心光电有限公司 手持式电子装置
US11709347B2 (en) 2020-09-24 2023-07-25 Apple Inc. Folded camera with autofocus and optical image stabilization systems
US20220091398A1 (en) * 2020-09-24 2022-03-24 Apple Inc. Telephoto Camera with a Stationary Optics Assembly
US11283978B1 (en) * 2020-10-15 2022-03-22 Asm Technology Singapore Pte Ltd Aligning lens elements in a lens module relative to an image sensor
US11481917B2 (en) * 2020-10-21 2022-10-25 Faro Technologies, Inc. Compensation of three-dimensional measuring instrument having an autofocus camera
US11763491B2 (en) 2020-10-21 2023-09-19 Faro Technologies, Inc. Compensation of three-dimensional measuring instrument having an autofocus camera
CN114868065A (zh) 2020-12-01 2022-08-05 核心光电有限公司 具有连续自适应变焦系数的折叠摄像机
EP4091008A4 (en) 2021-01-25 2023-08-16 Corephotonics Ltd. SLIM WIDE-ANGLE POP-OUT CAMERA LENSES
CN113382139B (zh) * 2021-05-28 2022-09-06 南昌欧菲光电技术有限公司 驱动装置、摄像模组及电子设备
CN113532381A (zh) * 2021-08-05 2021-10-22 湖南旺轩科技有限公司 一种风塔沉降测定装置及测定方法
US20230071642A1 (en) * 2021-09-09 2023-03-09 Sintai Optical (Shenzhen) Co., Ltd. Lens Device
CN113784027B (zh) * 2021-09-09 2023-06-23 东莞华贝电子科技有限公司 一种潜望式摄像头组件及电子设备
WO2023079403A1 (en) 2021-11-02 2023-05-11 Corephotonics Ltd. Compact double folded tele cameras

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030171653A1 (en) * 2002-03-08 2003-09-11 Takeshi Yokoi Capsule endoscope
US20070024739A1 (en) * 2005-07-26 2007-02-01 Konica Minolta Opto, Inc. Image pickup optical systems, image pickup apparatuses and digital apparatuses
US20080291543A1 (en) * 2007-02-26 2008-11-27 Pentax Corporation Imaging unit and mobile electronic device
US20090153726A1 (en) * 2007-12-13 2009-06-18 Hae Keun Lim Camera Module
CN105445885A (zh) * 2015-10-30 2016-03-30 宁波舜宇光电信息有限公司 可调光学镜头和摄像模组及其制造方法

Family Cites Families (303)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA927646A (en) 1970-09-09 1973-06-05 Watanuki Toshio Camera for taking hemispherical motion picture
US4114171A (en) 1976-04-06 1978-09-12 Vivitar Corporation Reflex camera with internal zoom lens
US4437745A (en) 1982-09-30 1984-03-20 Stephen Hajnal Three dimensional camera system
JPS60213178A (ja) 1984-04-06 1985-10-25 Olympus Optical Co Ltd 撮像装置
GB8430980D0 (en) 1984-12-07 1985-01-16 Robinson M Generation of apparently three-dimensional images
US4639586A (en) 1985-02-06 1987-01-27 The United States Of America As Represented By The Secretary Of The Air Force Optically phased laser transmitter
US4740780A (en) 1985-06-24 1988-04-26 Gec Avionics, Inc. Head-up display for automobile
US5214462A (en) 1986-05-12 1993-05-25 Asahi Kogaku Kogyo Kabushiki Kaisha Lens shutter camera including zoom lens and barrier mechanisms
US4890314A (en) 1988-08-26 1989-12-26 Bell Communications Research, Inc. Teleconference facility with high resolution video display
US6031892A (en) 1989-12-05 2000-02-29 University Of Massachusetts Medical Center System for quantitative radiographic imaging
US5194959A (en) 1989-12-21 1993-03-16 Ricoh Company, Ltd. and Nippon Telegraph and Telephone Corporation Image forming apparatus for forming image corresponding to subject, by dividing optical image corresponding to the subject into plural adjacent optical image parts
US5016109A (en) 1990-07-02 1991-05-14 Bell South Corporation Apparatus and method for segmenting a field of view into contiguous, non-overlapping, vertical and horizontal sub-fields
US5142357A (en) 1990-10-11 1992-08-25 Stereographics Corp. Stereoscopic video camera with image sensors having variable effective position
US5063441A (en) 1990-10-11 1991-11-05 Stereographics Corporation Stereoscopic video cameras with image sensors having variable effective position
US5207000A (en) 1991-06-14 1993-05-04 Industrial Technology Research Institute Method and apparatus useful for determining an angle between a virtual optical axis and a planar surface
US5231461A (en) 1991-12-09 1993-07-27 Hughes Danbury Optical Systems, Inc. Solar monochromator for filter calibration
US5926411A (en) * 1991-12-30 1999-07-20 Ioptics Incorporated Optical random access memory
US5686960A (en) 1992-01-14 1997-11-11 Michael Sussman Image input device having optical deflection elements for capturing multiple sub-images
DE4212271C1 (ko) 1992-04-11 1993-07-08 Deutsche Forschungsanstalt Fuer Luft- Und Raumfahrt E.V., 5300 Bonn, De
US5243413A (en) 1992-09-02 1993-09-07 At&T Bell Laboratories Color parallax-free camera and display
US5313542A (en) 1992-11-30 1994-05-17 Breault Research Organization, Inc. Apparatus and method of rapidly measuring hemispherical scattered or radiated light
JP2888713B2 (ja) 1993-01-14 1999-05-10 キヤノン株式会社 複眼撮像装置
EP0610605B1 (en) 1993-02-11 1997-07-16 Agfa-Gevaert N.V. Method of recognising an irradiation field
US5586063A (en) 1993-09-01 1996-12-17 Hardin; Larry C. Optical range and speed detection system
US5614941A (en) 1993-11-24 1997-03-25 Hines; Stephen P. Multi-image autostereoscopic imaging system
GB2284273B (en) 1993-11-29 1997-01-08 Hadland Photonics Limited Electronic high speed camera incorporating a beam splitter
JPH089424A (ja) 1994-06-20 1996-01-12 Sanyo Electric Co Ltd 立体画像撮像制御装置
JP3186448B2 (ja) 1994-08-01 2001-07-11 ミノルタ株式会社 立体テレビカメラ
JP3458486B2 (ja) 1994-10-25 2003-10-20 松下電器産業株式会社 全方位撮影装置及び全方位画像合成装置
KR100235343B1 (ko) 1994-12-29 1999-12-15 전주범 영역분할 기법을 이용한 동영상신호 부호화기의 움직임 벡터 측정장치
JPH08194274A (ja) 1995-01-13 1996-07-30 Olympus Optical Co Ltd 立体撮像装置
US5606627A (en) 1995-01-24 1997-02-25 Eotek Inc. Automated analytic stereo comparator
US5990934A (en) 1995-04-28 1999-11-23 Lucent Technologies, Inc. Method and system for panoramic viewing
US5745305A (en) 1995-04-28 1998-04-28 Lucent Technologies Inc. Panoramic viewing apparatus
US5793527A (en) 1995-06-30 1998-08-11 Lucent Technologies Inc. High resolution viewing system
US5539483A (en) 1995-06-30 1996-07-23 At&T Corp. Panoramic projection apparatus
US5903306A (en) 1995-08-16 1999-05-11 Westinghouse Savannah River Company Constrained space camera assembly
US6111702A (en) 1995-11-30 2000-08-29 Lucent Technologies Inc. Panoramic viewing system with offset virtual optical centers
US6115176A (en) 1995-11-30 2000-09-05 Lucent Technologies Inc. Spherical viewing/projection apparatus
US6141034A (en) 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
JPH09214992A (ja) 1996-02-06 1997-08-15 Asahi Optical Co Ltd 撮像装置
US5640222A (en) 1996-03-15 1997-06-17 Paul; Eddie Method and apparatus for producing stereoscopic images
US6850279B1 (en) 1996-06-18 2005-02-01 Sony Corporation Optical image recording system, and associated processing system
US5721585A (en) 1996-08-08 1998-02-24 Keast; Jeffrey D. Digital video panoramic image capture and display system
JPH10142490A (ja) 1996-11-15 1998-05-29 Canon Inc 環境認識装置及びカメラ
AU6515798A (en) 1997-04-16 1998-11-11 Isight Ltd. Video teleconferencing
US7028899B2 (en) 1999-06-07 2006-04-18 Metrologic Instruments, Inc. Method of speckle-noise pattern reduction and apparatus therefore based on reducing the temporal-coherence of the planar laser illumination beam before it illuminates the target object by applying temporal phase modulation techniques during the transmission of the plib towards the target
DE19903807A1 (de) 1998-05-05 1999-11-11 Zeiss Carl Fa Beleuchtungssystem insbesondere für die EUV-Lithographie
US6128143A (en) 1998-08-28 2000-10-03 Lucent Technologies Inc. Panoramic viewing system with support stand
US6195204B1 (en) 1998-08-28 2001-02-27 Lucent Technologies Inc. Compact high resolution panoramic viewing system
US6285365B1 (en) 1998-08-28 2001-09-04 Fullview, Inc. Icon referenced panoramic image display
US6141145A (en) 1998-08-28 2000-10-31 Lucent Technologies Stereo panoramic viewing system
US6144501A (en) 1998-08-28 2000-11-07 Lucent Technologies Inc. Split mirrored panoramic image display
DE19942900B4 (de) 1998-09-08 2004-01-22 Ricoh Company, Ltd. Vorrichtung zur Korrektur von Bildfehlern, die durch ein Kameraverwackeln hervorgerufen werden
US7271803B2 (en) 1999-01-08 2007-09-18 Ricoh Company, Ltd. Method and system for simulating stereographic vision
US6611289B1 (en) 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
US6870680B2 (en) 2001-08-17 2005-03-22 Sony Corporation Imaging device
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
JP3587506B2 (ja) 1999-08-30 2004-11-10 富士重工業株式会社 ステレオカメラの調整装置
GB2354389A (en) 1999-09-15 2001-03-21 Sharp Kk Stereo images with comfortable perceived depth
GB2354390A (en) 1999-09-16 2001-03-21 Ibm Wide-angle image capture apparatus
US6650774B1 (en) 1999-10-01 2003-11-18 Microsoft Corporation Locally adapted histogram equalization
US6862364B1 (en) 1999-10-27 2005-03-01 Canon Kabushiki Kaisha Stereo image processing for radiography
US6782137B1 (en) 1999-11-24 2004-08-24 General Electric Company Digital image display improvement system and method
JP2001194114A (ja) 2000-01-14 2001-07-19 Sony Corp 画像処理装置および画像処理方法、並びにプログラム提供媒体
JP2001209037A (ja) 2000-01-26 2001-08-03 Olympus Optical Co Ltd 可変ホログラム素子及びそれらを用いた光学装置
US6823021B1 (en) 2000-10-27 2004-11-23 Greenwich Technologies Associates Method and apparatus for space division multiple access receiver
US6701081B1 (en) 2000-06-06 2004-03-02 Air Controls, Inc. Dual camera mount for stereo imaging
US6768509B1 (en) 2000-06-12 2004-07-27 Intel Corporation Method and apparatus for determining points of interest on an image of a camera calibration object
AU2002226873A1 (en) 2000-07-14 2002-04-08 Applied Wdm, Inc. Optical waveguide transmission devices
JP2002040584A (ja) 2000-07-28 2002-02-06 Hamamatsu Photonics Kk 高速撮像カメラ
JP2002158913A (ja) 2000-11-16 2002-05-31 Canon Inc 撮像装置及び撮像方法
IL139995A (en) 2000-11-29 2007-07-24 Rvc Llc System and method for spherical stereoscopic photographing
EP1231780A3 (en) 2001-02-07 2004-01-14 Sony Corporation Image pickup apparatus
JP2002277736A (ja) 2001-03-21 2002-09-25 Olympus Optical Co Ltd 撮像装置
US6421185B1 (en) 2001-04-16 2002-07-16 The United States Of America As Represented By The Secretary Of The Air Force Wide field-of-view imaging system using a spatial light modulator
US6628897B2 (en) 2001-06-20 2003-09-30 Sony Corporation Camera system
US20030038814A1 (en) 2001-08-27 2003-02-27 Blume Leo R. Virtual camera system for environment capture
US7116351B2 (en) 2001-10-29 2006-10-03 Sony Corporation Imaging device
JP4198449B2 (ja) 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
US6768598B2 (en) 2002-04-02 2004-07-27 Sony Corporation Image pickup system
US6861633B2 (en) 2002-06-20 2005-03-01 The Aerospace Corporation Microelectromechanical system optical sensor providing bit image data of a viewed image
US7298392B2 (en) 2003-06-26 2007-11-20 Microsoft Corp. Omni-directional camera design for video conferencing
US7209161B2 (en) 2002-07-15 2007-04-24 The Boeing Company Method and apparatus for aligning a pair of digital cameras forming a three dimensional image to compensate for a physical misalignment of cameras
US7602969B2 (en) 2002-07-18 2009-10-13 Sony Corporation Imaging data processing method, imaging data processing device, and computer program
JP2004072349A (ja) 2002-08-05 2004-03-04 Canon Inc 撮像装置、及びその制御方法
US7893957B2 (en) 2002-08-28 2011-02-22 Visual Intelligence, LP Retinal array compound camera system
JP2004260787A (ja) 2002-09-09 2004-09-16 Rohm Co Ltd イメージセンサモジュール
US7084904B2 (en) 2002-09-30 2006-08-01 Microsoft Corporation Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time
KR20050074594A (ko) * 2002-11-11 2005-07-18 코닌클리즈케 필립스 일렉트로닉스 엔.브이. 줌 렌즈, 카메라 및 휴대용 장치
AU2003302166A1 (en) 2003-01-02 2004-07-29 Covi Technologies, Inc. Optical block assembly
US6933493B2 (en) * 2003-04-07 2005-08-23 Kingpak Technology Inc. Image sensor having a photosensitive chip mounted to a metal sheet
IL155525A0 (en) 2003-04-21 2009-02-11 Yaron Mayer System and method for 3d photography and/or analysis of 3d images and/or display of 3d images
JP3709879B2 (ja) 2003-05-01 2005-10-26 日産自動車株式会社 ステレオ画像処理装置
US7463280B2 (en) 2003-06-03 2008-12-09 Steuart Iii Leonard P Digital 3D/360 degree camera system
CN1802583A (zh) 2003-06-09 2006-07-12 奥林巴斯株式会社 可变镜
US6809887B1 (en) 2003-06-13 2004-10-26 Vision Technologies, Inc Apparatus and method for acquiring uniform-resolution panoramic images
US7495694B2 (en) 2004-07-28 2009-02-24 Microsoft Corp. Omni-directional camera with calibration and up look angle improvements
US7336299B2 (en) 2003-07-03 2008-02-26 Physical Optics Corporation Panoramic video system with real-time distortion-free imaging
KR100541028B1 (ko) 2003-07-21 2006-01-11 주식회사 옵토메카 이미지 센서 및 그 제조 방법
US20050057659A1 (en) 2003-09-16 2005-03-17 Takami Hasegawa Camera image shake correcting device
US7028546B2 (en) 2003-10-21 2006-04-18 Instrumented Sensor Technology, Inc. Data recorder
US20050111106A1 (en) 2003-10-31 2005-05-26 Kazuhiro Matsumoto Optical element assembly formed of multiple optical elements such as prisms, and image pickup apparatus using the same in image pickup function section
JPWO2005081020A1 (ja) 2004-02-19 2008-05-15 キヤノン株式会社 光学機器およびビームスプリッター
US20050185711A1 (en) 2004-02-20 2005-08-25 Hanspeter Pfister 3D television system and method
GB0406730D0 (en) 2004-03-25 2004-04-28 1 Ltd Focussing method
US7068432B2 (en) * 2004-07-27 2006-06-27 Micron Technology, Inc. Controlling lens shape in a microlens array
US7593057B2 (en) 2004-07-28 2009-09-22 Microsoft Corp. Multi-view integrated camera system with housing
EP1784988A1 (en) 2004-08-06 2007-05-16 University of Washington Variable fixation viewing distance scanned light displays
WO2006026354A2 (en) 2004-08-25 2006-03-09 Newport Imaging Corporation Apparatus for multiple camera devices and method of operating same
US7039292B1 (en) 2004-09-09 2006-05-02 Rockwell Collins, Inc. Optical system for vehicle flight control
DE102004045430A1 (de) 2004-09-18 2006-05-18 Deutsche Telekom Ag Vorrichtung zur Bildstabilisierung
JP3791847B1 (ja) 2005-08-10 2006-06-28 京セラ株式会社 カメラモジュールおよび該カメラモジュールを搭載した情報端末
EP1816514B1 (en) 2004-11-15 2012-06-20 Hitachi, Ltd. Stereo camera
US7372996B2 (en) 2004-12-27 2008-05-13 Trw Automotive U.S. Llc Method and apparatus for determining the position of a vehicle seat
WO2006075528A1 (ja) 2005-01-13 2006-07-20 National University Corporation NARA Institute of Science and Technology ３次元オブジェクト計測装置
US7512262B2 (en) 2005-02-25 2009-03-31 Microsoft Corporation Stereo-based image processing
JP4177826B2 (ja) 2005-03-23 2008-11-05 株式会社東芝 画像処理装置および画像処理方法
US20060215054A1 (en) 2005-03-23 2006-09-28 Eastman Kodak Company Wide angle camera with prism array
JP2006279538A (ja) 2005-03-29 2006-10-12 Sony Corp 撮像装置
US20060238441A1 (en) 2005-04-25 2006-10-26 The Boeing Company Method and apparatus for displaying a stereoscopic image
US20070102622A1 (en) 2005-07-01 2007-05-10 Olsen Richard I Apparatus for multiple camera devices and method of operating same
US20090268983A1 (en) 2005-07-25 2009-10-29 The Regents Of The University Of California Digital imaging system and method using multiple digital image sensors to produce large high-resolution gapless mosaic images
JP2007081473A (ja) 2005-09-09 2007-03-29 Eastman Kodak Co 複数光学系を有する撮像装置
KR100710208B1 (ko) * 2005-09-22 2007-04-20 동부일렉트로닉스 주식회사 씨모스 이미지 센서 및 그 제조방법
US20070085903A1 (en) 2005-10-17 2007-04-19 Via Technologies, Inc. 3-d stereoscopic image display system
US20070164202A1 (en) 2005-11-16 2007-07-19 Wurz David A Large depth of field line scan camera
JP4979928B2 (ja) 2005-11-28 2012-07-18 株式会社トプコン 三次元形状演算装置及び三次元形状演算方法
KR100658145B1 (ko) * 2005-12-13 2006-12-14 삼성전기주식회사 모바일 카메라 광학계의 광학 렌즈 시스템
US8059185B2 (en) 2005-12-28 2011-11-15 Canon Kabushiki Kaisha Photographing apparatus, image display method, computer program and storage medium for acquiring a photographed image in a wide range
US7215479B1 (en) 2006-02-10 2007-05-08 Micron Technology, Inc. Integrated lens system for image sensor and method for manufacturing the same
GB2435360B (en) 2006-02-16 2009-09-23 Imagination Tech Ltd Method and apparatus for determining motion between video images
JP4844177B2 (ja) 2006-03-07 2011-12-28 株式会社ニコン ブレ補正装置及びカメラ
JP2007274542A (ja) * 2006-03-31 2007-10-18 Sony Corp 撮像装置および携帯電話機
CN101055342A (zh) 2006-04-12 2007-10-17 鸿富锦精密工业（深圳）有限公司 自动对焦镜头模组
US8433157B2 (en) 2006-05-04 2013-04-30 Thomson Licensing System and method for three-dimensional object reconstruction from two-dimensional images
CN101433077B (zh) 2006-05-05 2011-03-23 诺基亚公司 具有小高度和高分辨率的光学图像记录设备
EP2023298A4 (en) 2006-05-09 2010-07-21 Sega Corp IMAGE PROCESSING DEVICE AND IMAGE PROCESSING PROGRAM
US20080007617A1 (en) 2006-05-11 2008-01-10 Ritchey Kurtis J Volumetric panoramic sensor systems
JP4972779B2 (ja) 2006-05-30 2012-07-11 コニカミノルタアドバンストレイヤー株式会社 光学ユニットおよび撮像装置
JP5067021B2 (ja) 2006-06-01 2012-11-07 富士ゼロックス株式会社 画像形成装置、画像形成装置の組立方法及び解体方法並びに画像形成装置に用いられる仮止め部材
JP4851239B2 (ja) 2006-06-05 2012-01-11 株式会社トプコン 画像処理装置及びその処理方法
JP2008048293A (ja) 2006-08-18 2008-02-28 Kyocera Corp 撮像装置、およびその製造方法
US20080058629A1 (en) 2006-08-21 2008-03-06 University Of Washington Optical fiber scope with both non-resonant illumination and resonant collection/imaging for multiple modes of operation
DE102006044786A1 (de) 2006-09-14 2008-03-27 Schefenacker Vision Systems Germany Gmbh Kamerasystem, Verfahren zum Betreiben eines Kamerasystems und Sensoreinrichtung eines Kamerasystems
EP1912098B1 (en) 2006-10-12 2012-04-25 Carl Zeiss SMT GmbH Unit magnification projection objective
US7817354B2 (en) 2006-10-25 2010-10-19 Capsovision Inc. Panoramic imaging system
JP5040493B2 (ja) 2006-12-04 2012-10-03 ソニー株式会社 撮像装置及び撮像方法
KR100821480B1 (ko) * 2006-12-22 2008-04-11 동부일렉트로닉스 주식회사 이미지 센서 및 그의 제조방법
KR100866491B1 (ko) 2007-01-30 2008-11-03 삼성전자주식회사 영상 처리 방법 및 장치
US7683962B2 (en) 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
US8356035B1 (en) 2007-04-10 2013-01-15 Google Inc. Association of terms with images using image similarity
JP4582423B2 (ja) 2007-04-20 2010-11-17 富士フイルム株式会社 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP5013078B2 (ja) 2007-04-24 2012-08-29 コニカミノルタアドバンストレイヤー株式会社 レンズ鏡胴及び撮像装置
US20080290435A1 (en) * 2007-05-21 2008-11-27 Micron Technology, Inc. Wafer level lens arrays for image sensor packages and the like, image sensor packages, and related methods
JP2008294819A (ja) 2007-05-25 2008-12-04 Sony Corp 撮像装置
US7860214B1 (en) 2007-06-13 2010-12-28 The United States Of America As Represented By Secretary Of Agriculture Correction of x-ray images
US20090003646A1 (en) 2007-06-29 2009-01-01 The Hong Kong University Of Science And Technology Lossless visible watermarking
US20090005112A1 (en) 2007-06-29 2009-01-01 Samsung Electronics Co., Ltd. Optical imaging system configurations for handheld devices
JPWO2009011153A1 (ja) 2007-07-13 2010-09-16 三菱電機株式会社 画像読取装置
JP4900118B2 (ja) 2007-07-31 2012-03-21 コニカミノルタオプト株式会社 カメラモジュールおよび電子機器
TWI383666B (zh) 2007-08-21 2013-01-21 Sony Taiwan Ltd 多重鏡頭相機系統之先進式動態接圖方法
JP5000428B2 (ja) * 2007-08-22 2012-08-15 Ｈｏｙａ株式会社 撮像装置
US7973834B2 (en) 2007-09-24 2011-07-05 Jianwen Yang Electro-optical foveated imaging and tracking system
KR20090032261A (ko) 2007-09-27 2009-04-01 삼성전자주식회사 움직임 추정에 기초하여 움직임 보상을 수행하는 영상 처리장치 및 그 방법
JP5152483B2 (ja) 2007-10-05 2013-02-27 ソニー株式会社 撮像装置
EP3836539B1 (en) 2007-10-10 2024-03-13 Gerard Dirk Smits Image projector with reflected light tracking
CN101822068B (zh) 2007-10-11 2012-05-30 皇家飞利浦电子股份有限公司 用于处理深度图的方法和设备
US20100259655A1 (en) 2007-11-01 2010-10-14 Konica Minolta Holdings, Inc. Imaging device
JP4831514B2 (ja) 2007-11-13 2011-12-07 独立行政法人情報通信研究機構 設定パラメータ最適化装置およびそのプログラム
KR100927347B1 (ko) 2007-11-13 2009-11-24 파워옵틱스 주식회사 줌렌즈 광학계
US8791984B2 (en) 2007-11-16 2014-07-29 Scallop Imaging, Llc Digital security camera
CN100465699C (zh) 2007-12-05 2009-03-04 浙江大学 利用棱镜分光渐晕补偿实现多ccd无缝拼接的光电系统
US8300086B2 (en) 2007-12-20 2012-10-30 Nokia Corporation Image processing for supporting a stereoscopic presentation
US20090185067A1 (en) 2007-12-21 2009-07-23 Stereo Display, Inc. Compact automatic focusing camera
CN101952762B (zh) * 2008-01-02 2012-11-28 加利福尼亚大学董事会 高数值孔径远程显微镜设备
US7978222B2 (en) 2008-03-01 2011-07-12 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Systems and methods for image stabilization
US7961398B2 (en) 2008-03-05 2011-06-14 Contrast Optical Design & Engineering, Inc. Multiple image camera and lens system
WO2009119370A1 (ja) 2008-03-26 2009-10-01 コニカミノルタオプト株式会社 撮像装置
EP2263373B1 (en) 2008-03-28 2014-08-13 The Trustees of Columbia University in the City of New York Generalized assorted pixel camera systems and methods
US7864336B2 (en) 2008-04-28 2011-01-04 Agilent Technologies, Inc. Compact Littrow encoder
CN101571666A (zh) 2008-04-28 2009-11-04 鸿富锦精密工业（深圳）有限公司 成像设备
US8280194B2 (en) 2008-04-29 2012-10-02 Sony Corporation Reduced hardware implementation for a two-picture depth map algorithm
US9001187B2 (en) 2009-05-11 2015-04-07 CapsoVision, Inc. Capsule imaging system having a folded optical axis
US9171221B2 (en) 2010-07-18 2015-10-27 Spatial Cam Llc Camera to track an object
CN102047651B (zh) 2008-06-02 2013-03-13 松下电器产业株式会社 生成法线信息的图像处理装置、方法及视点变换图像生成装置
JP5223486B2 (ja) 2008-06-18 2013-06-26 ソニー株式会社 電子双眼鏡
WO2010010712A1 (ja) 2008-07-24 2010-01-28 パナソニック株式会社 カメラ駆動装置
JP2010041381A (ja) 2008-08-05 2010-02-18 Nikon Corp 電子カメラ、ステレオ画像生成方法およびステレオ画像生成システム
KR100942925B1 (ko) 2008-08-11 2010-02-22 한국전자통신연구원 스테레오 비전 시스템 및 그 제어방법
EP2316054A1 (en) 2008-08-14 2011-05-04 Remotereality Corporation Three-mirror panoramic camera
US8305425B2 (en) 2008-08-22 2012-11-06 Promos Technologies, Inc. Solid-state panoramic image capture apparatus
JP2010067014A (ja) 2008-09-11 2010-03-25 Ricoh Co Ltd 画像分類装置及び画像分類方法
US10043304B2 (en) 2008-09-25 2018-08-07 Koninklijke Philips N.V. Three dimensional image data processing
JP5248971B2 (ja) * 2008-10-08 2013-07-31 オリンパス株式会社 撮像ユニットの製造方法、および撮像ユニット
US8571399B2 (en) 2008-10-14 2013-10-29 Nidec Sankyo Corporation Photographic optical device
US8267601B2 (en) 2008-11-04 2012-09-18 James Cameron Platform for stereoscopy for hand-held film/video camera stabilizers
JP4852591B2 (ja) 2008-11-27 2012-01-11 富士フイルム株式会社 立体画像処理装置、方法及び記録媒体並びに立体撮像装置
CN101770059B (zh) 2008-12-27 2012-06-20 鸿富锦精密工业（深圳）有限公司 相机模组
US9395617B2 (en) 2009-01-05 2016-07-19 Applied Quantum Technologies, Inc. Panoramic multi-scale imager and method therefor
US8326036B2 (en) 2009-02-20 2012-12-04 Qylur Security Systems, Inc. Automated image separation method
GB0903689D0 (en) 2009-03-03 2009-04-15 Sigmavision Ltd Vehicle tyre measurement
WO2010103948A1 (ja) * 2009-03-10 2010-09-16 コニカミノルタオプト株式会社 撮像光学系，撮像光学装置及びデジタル機器
JP5316118B2 (ja) 2009-03-12 2013-10-16 オムロン株式会社 ３次元視覚センサ
US20100265313A1 (en) 2009-04-17 2010-10-21 Sony Corporation In-camera generation of high quality composite panoramic images
US20100278423A1 (en) 2009-04-30 2010-11-04 Yuji Itoh Methods and systems for contrast enhancement
US8503778B2 (en) 2009-05-14 2013-08-06 National University Of Singapore Enhancing photograph visual quality using texture and contrast data from near infra-red images
US8170408B2 (en) 2009-05-18 2012-05-01 Invensense, Inc. Optical image stabilization in a digital still camera or handset
US8194170B2 (en) 2009-06-02 2012-06-05 Algonquin College Axicon lens array
US9124874B2 (en) 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence
US8405750B2 (en) 2009-06-08 2013-03-26 Aptina Imaging Corporation Image sensors and image reconstruction methods for capturing high dynamic range images
US9479768B2 (en) 2009-06-09 2016-10-25 Bartholomew Garibaldi Yukich Systems and methods for creating three-dimensional image media
CN101581828B (zh) 2009-06-09 2011-06-22 苏州大学 环形孔径超薄光学成像系统
JP5293463B2 (ja) 2009-07-09 2013-09-18 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8228417B1 (en) 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
JP5450200B2 (ja) 2009-07-17 2014-03-26 富士フイルム株式会社 撮像装置、方法およびプログラム
TWI389559B (zh) 2009-08-14 2013-03-11 Ind Tech Res Inst 前景影像分離方法
US8294073B1 (en) 2009-10-01 2012-10-23 Raytheon Company High angular rate imaging system and related techniques
US9063345B2 (en) 2009-10-19 2015-06-23 Pixar Super light-field lens with doublet lenslet array element
JP5539818B2 (ja) * 2009-10-20 2014-07-02 富士フイルム株式会社 撮像レンズおよび撮像装置
US8325187B2 (en) 2009-10-22 2012-12-04 Samsung Electronics Co., Ltd. Method and device for real time 3D navigation in panoramic images and cylindrical spaces
US8457398B2 (en) 2009-10-27 2013-06-04 Himax Media Solutions, Inc. Image enhancement method and apparatuses utilizing the same
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
WO2011066275A2 (en) 2009-11-25 2011-06-03 Massachusetts Institute Of Technology Actively addressable aperture light field camera
US8400555B1 (en) 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths
WO2011081646A1 (en) 2009-12-15 2011-07-07 Thomson Licensing Stereo-image quality and disparity/depth indications
US8442392B2 (en) 2009-12-22 2013-05-14 Nokia Corporation Method and apparatus for operating the automatic focus or the optical imaging stabilizing system
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
JP5683025B2 (ja) 2010-04-19 2015-03-11 パナソニックＩｐマネジメント株式会社 立体画像撮影装置および立体画像撮影方法
JP5593118B2 (ja) 2010-04-30 2014-09-17 日本電産サンキョー株式会社 振れ補正機能付き光学ユニット
JP5622443B2 (ja) 2010-06-08 2014-11-12 日本電産サンキョー株式会社 振れ補正機能付き光学ユニット
WO2011155318A1 (ja) 2010-06-08 2011-12-15 日本電産サンキョー株式会社 振れ補正装置、撮影用光学装置およびレンズ駆動装置
JP5138734B2 (ja) 2010-06-15 2013-02-06 シャープ株式会社 撮像レンズ、および撮像モジュール
CN101902657B (zh) 2010-07-16 2011-12-21 浙江大学 一种基于深度图分层的虚拟多视点图像的生成方法
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
TWI409577B (zh) 2010-08-20 2013-09-21 Primax Electronics Ltd 光學影像系統
US20120056987A1 (en) 2010-09-03 2012-03-08 Luke Fedoroff 3d camera system and method
JP5392415B2 (ja) 2010-09-22 2014-01-22 富士通株式会社 ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
CN103339918B (zh) 2010-10-01 2016-05-04 康泰克斯有限公司 图像传感器的信号强度匹配
US9317761B2 (en) 2010-12-09 2016-04-19 Nanyang Technological University Method and an apparatus for determining vein patterns from a colour image
JP5716465B2 (ja) 2011-03-09 2015-05-13 ソニー株式会社 撮像装置
US9030550B2 (en) 2011-03-25 2015-05-12 Adobe Systems Incorporated Thin plenoptic cameras using solid immersion lenses
US9172856B2 (en) 2011-03-29 2015-10-27 Microsoft Technology Licensing, Llc Folded imaging path camera
US8928988B1 (en) 2011-04-01 2015-01-06 The Regents Of The University Of California Monocentric imaging
WO2012136388A1 (en) 2011-04-08 2012-10-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Capturing panoramic or semi-panoramic 3d scenes
US20120293607A1 (en) 2011-05-17 2012-11-22 Apple Inc. Panorama Processing
US9390530B2 (en) 2011-05-27 2016-07-12 Nokia Technologies Oy Image stitching
CN103609102B (zh) 2011-06-15 2016-09-28 微软技术许可有限责任公司 高分辨率多光谱图像捕捉
TWI507807B (zh) 2011-06-24 2015-11-11 Mstar Semiconductor Inc 自動對焦方法與裝置
US20130265459A1 (en) * 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
US8896890B2 (en) 2011-06-30 2014-11-25 Lexmark International, Inc. Image capture system having a folded optical path
JP5848052B2 (ja) 2011-07-21 2016-01-27 日本電産サンキョー株式会社 振れ補正機能付き光学ユニット
JP5819128B2 (ja) * 2011-07-29 2015-11-18 Hoya株式会社 撮像ユニット
US8784301B2 (en) * 2011-08-12 2014-07-22 Intuitive Surgical Operations, Inc. Image capture unit and method with an extended depth of field
US8988564B2 (en) 2011-09-09 2015-03-24 Apple Inc. Digital camera with light splitter
WO2013039035A1 (ja) 2011-09-14 2013-03-21 コニカミノルタアドバンストレイヤー株式会社 撮像レンズ、撮像装置及び携帯端末並びにデジタル機器
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
US8855476B2 (en) 2011-09-28 2014-10-07 DigitalOptics Corporation MEMS MEMS-based optical image stabilization
US9495597B2 (en) 2011-10-20 2016-11-15 Monsanto Technology Llc Plant stand counter
US9692991B2 (en) 2011-11-04 2017-06-27 Qualcomm Incorporated Multispectral imaging system
US8582220B2 (en) 2011-12-05 2013-11-12 Himax Technologies Limited Lens module
CN202405984U (zh) 2011-12-10 2012-08-29 东莞市旭业光电科技有限公司 一种用于音圈马达的垫片
KR101975893B1 (ko) 2012-03-21 2019-09-10 엘지이노텍 주식회사 카메라 모듈
US9210405B2 (en) 2012-03-22 2015-12-08 Qualcomm Technologies, Inc. System and method for real time 2D to 3D conversion of video in a digital camera
KR101818778B1 (ko) * 2012-03-23 2018-01-16 한국전자통신연구원 실감 파노라마 영상 생성을 위한 3ｄ 데이터 포맷 생성／소비 장치 및 방법
US20130260823A1 (en) 2012-03-31 2013-10-03 Ashutosh Y. Shukla Compact Portable Electronic Device Having Augmented Back Volume for Speaker
NL2008639C2 (en) 2012-04-13 2013-10-16 Cyclomedia Technology B V Device, system and vehicle for recording panoramic images, and a device and method for panoramic projection thereof.
JP2013238848A (ja) 2012-04-20 2013-11-28 Hoya Corp 撮像装置
US9571818B2 (en) 2012-06-07 2017-02-14 Nvidia Corporation Techniques for generating robust stereo images from a pair of corresponding stereo images captured with and without the use of a flash device
EP2677733A3 (en) 2012-06-18 2015-12-09 Sony Mobile Communications AB Array camera imaging system and method
EP2677734A3 (en) 2012-06-18 2016-01-13 Sony Mobile Communications AB Array camera imaging system and method
US9134503B2 (en) 2012-07-06 2015-09-15 Apple Inc. VCM OIS actuator module
WO2014012603A1 (en) 2012-07-17 2014-01-23 Heptagon Micro Optics Pte. Ltd. Optical devices, in particular computational cameras, and methods for manufacturing the same
CN105787909B (zh) 2012-08-08 2018-07-20 杜比实验室特许公司 用于高动态范围图像的图像处理
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
JP2014112302A (ja) 2012-12-05 2014-06-19 Ricoh Co Ltd 所定領域管理システム、通信方法、及びプログラム
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US9270876B2 (en) 2013-01-05 2016-02-23 The Lightco Inc. Methods and apparatus for using multiple optical chains in parallel with multiple different exposure times
US9171355B2 (en) 2013-04-12 2015-10-27 Qualcomm Incorporated Near infrared guided image denoising
US9602806B1 (en) 2013-06-10 2017-03-21 Amazon Technologies, Inc. Stereo camera calibration using proximity data
JP2015036716A (ja) 2013-08-12 2015-02-23 ソニー株式会社 像ぶれ補正装置及び撮像装置
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
EP2860699A1 (en) 2013-10-11 2015-04-15 Telefonaktiebolaget L M Ericsson (Publ) Technique for view synthesis
US9223118B2 (en) 2013-10-31 2015-12-29 Apple Inc. Small form factor telephoto camera
CN203745777U (zh) 2014-01-10 2014-07-30 瑞声声学科技(深圳)有限公司 阵列式镜头装置
WO2015121707A1 (en) 2014-02-13 2015-08-20 Sony Corporation Method and system for adjusting camera settings using corneal reflection
US9316810B2 (en) 2014-03-07 2016-04-19 Apple Inc. Folded telephoto camera lens system
US9557627B2 (en) 2014-03-07 2017-01-31 Apple Inc. Folded camera lens systems
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9294672B2 (en) 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US20150373269A1 (en) 2014-06-20 2015-12-24 Qualcomm Incorporated Parallax free thin multi-camera system capable of capturing full wide field of view images
US9549107B2 (en) 2014-06-20 2017-01-17 Qualcomm Incorporated Autofocus for folded optic array cameras
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
US10334158B2 (en) 2014-11-03 2019-06-25 Robert John Gove Autonomous media capturing
US10070055B2 (en) 2015-03-25 2018-09-04 Massachusetts Institute Of Technology Devices and methods for optically multiplexed imaging
US10142113B2 (en) 2015-06-18 2018-11-27 Bank Of America Corporation Identifying and maintaining secure communications
US20170038502A1 (en) 2015-08-06 2017-02-09 Qualcomm Incorporated Methods and apparatus having a two-surface microlens array for low f-number plenoptic cameras

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030171653A1 (en) * 2002-03-08 2003-09-11 Takeshi Yokoi Capsule endoscope
US20070024739A1 (en) * 2005-07-26 2007-02-01 Konica Minolta Opto, Inc. Image pickup optical systems, image pickup apparatuses and digital apparatuses
JP2007033819A (ja) * 2005-07-26 2007-02-08 Konica Minolta Opto Inc 撮像光学系、撮像レンズ装置及びデジタル機器
US20080291543A1 (en) * 2007-02-26 2008-11-27 Pentax Corporation Imaging unit and mobile electronic device
US20090153726A1 (en) * 2007-12-13 2009-06-18 Hae Keun Lim Camera Module
CN105445885A (zh) * 2015-10-30 2016-03-30 宁波舜宇光电信息有限公司 可调光学镜头和摄像模组及其制造方法

Also Published As

Publication number Publication date
US20150286033A1 (en) 2015-10-08
US9383550B2 (en) 2016-07-05
CN106164732A (zh) 2016-11-23
EP3126891A1 (en) 2017-02-08
KR20160140886A (ko) 2016-12-07
US9973680B2 (en) 2018-05-15
JP2017515144A (ja) 2017-06-08
BR112016023095B1 (pt) 2022-05-24
EP3126891B1 (en) 2020-03-11
US20160353008A1 (en) 2016-12-01
MX2016012728A (es) 2016-12-12
BR112016023095A2 (ko) 2017-08-15
WO2015153901A1 (en) 2015-10-08

Similar Documents

Publication Publication Date Title
KR102118242B1 (ko) 저-프로필 폴드형 광학 다중-카메라 시스템에서의 오토-포커스
US9860434B2 (en) Auto-focus in low-profile folded optics multi-camera system
US10498961B2 (en) Auto focus and optical image stabilization with roll compensation in a compact folded camera
US9854182B2 (en) Folded optic array camera using refractive prisms
US9549107B2 (en) Autofocus for folded optic array cameras
WO2012066774A1 (ja) 撮像装置及び距離計測方法
KR20130082440A (ko) 전환 가능한 초점거리를 갖는 카메라 모듈
JP2022509604A (ja) カメラモジュール
US20220187509A1 (en) Enhanced imaging device using liquid lens, embedded digital signal processor, and software
JP5409588B2 (ja) 焦点調節方法、焦点調節プログラムおよび撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant