KR20190138853A - 부분 시야들을 이미징하기 위한 디바이스, 다중-개구 이미징 디바이스 및 이를 제공하기 위한 방법 - Google Patents

부분 시야들을 이미징하기 위한 디바이스, 다중-개구 이미징 디바이스 및 이를 제공하기 위한 방법 Download PDF

Info

Publication number
KR20190138853A
KR20190138853A KR1020197033460A KR20197033460A KR20190138853A KR 20190138853 A KR20190138853 A KR 20190138853A KR 1020197033460 A KR1020197033460 A KR 1020197033460A KR 20197033460 A KR20197033460 A KR 20197033460A KR 20190138853 A KR20190138853 A KR 20190138853A
Authority
KR
South Korea
Prior art keywords
view
image
field
partial
image information
Prior art date
Application number
KR1020197033460A
Other languages
English (en)
Other versions
KR102230188B1 (ko
Inventor
쟈크스 듀파레
알렉산더 오베르되어스터
프랭크 윕퍼만
안드레아스 브뤽크너
Original Assignee
프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. filed Critical 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Publication of KR20190138853A publication Critical patent/KR20190138853A/ko
Application granted granted Critical
Publication of KR102230188B1 publication Critical patent/KR102230188B1/ko

Links

Images

Classifications

    • H04N5/23238—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Focusing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

디바이스는 이미지 센서 및 광학 채널들의 어레이를 포함하며, 각각의 광학 채널은 상기 이미지 센서의 이미지 센서 영역 상에 전체 시야의 부분 시야를 투영하기 위한 옵틱을 포함한다. 상기 어레이의 제1 광학 채널은 상기 전체 시야의 제1 부분 시야를 이미징하도록 구성된다. 상기 어레이의 제2 광학 채널은 상기 전체 시야의 제2 부분 시야를 이미징하도록 구성된다. 상기 디바이스는 상기 전체 시야의 결합된 이미지 정보를 생성하기 위해 상기 이미징된 부분 시야들에 기초하여 상기 제1 및 제2 부분 시야들의 이미지 정보를 획득하고, 상기 전체 시야의 이미지 정보를 획득하고, 상기 전체 시야의 이미지 정보와 상기 부분 시야들의 이미지 정보를 결합하도록 구성되는 계산 유닛을 포함한다.

Description

부분 시야들을 표현하기 위한 디바이스, 다중-개구 표현 디바이스 및 이를 제공하기 위한 방법
본 개시 발명은 여기에서 설명되는 전체 시야의 다중-채널 캡처를 위한 디바이스, 기존 카메라를 보충하기 위한 보충 디바이스, 다중-개구 이미징 디바이스, 및 디바이스 및 다중-개구 이미징 디바이스를 생산하는 방법들에 관한 것이다. 더욱이 본 개시 발명은 상이한 시야들에 대한 대칭 채널 배치에 관한 것이다.
종래의 카메라들은 전체 물체 필드를 이미징하는 이미징 채널을 각각 제시한다. 다른 카메라들은 여러개의 이미징 채널들을 포함함으로써, 여러개의 부분 시야들에 의해 전체 시야를 이미징한다. 카메라로부터 상이한 거리들을 나타내는 물체들을 갖는 전체 시야를 위한 이미지들의 정확한 스티칭(stitching)(소잉(sowing-) 및/또는 결합(joining))을 위해, 캡처된 전체 시야의 깊이(depth) 맵을 계산하는 것이 필요할 수 있다. 만약 스테레오스코픽(stereoscopic) 캡처가 이러한 목적으로 이용된다면, (인공, 중심) 기준 카메라의 시각(perspective)을 합성하는 것이 필요할 수 있다. 몇몇 물체들은 비전(vision) 라인을 따라 커버 업(cover up)될 수 있기 때문에 이는 엄폐(occultation) 또는 가림(occlusion) 문제를 발생시킬 수 있다. 미리보기 및/또는 비디오를 출력하기 위해, 예를 들어, 스티칭에 의한, 이미지 프로세싱이 수행될 수 있으며, 이는 많은 계산 비용을 요구한다.
그러므로, 바람직한 것은 위에서-언급된 단점들을 나타내지 않는 고-품질 이미지들을 제공하는 개념이다.
그러므로, 본 개시 발명의 목적은 전처리(preprocessing) 측면에서 거의 비용을 들이지 않고 이미지 캡처에 영향을 미치면서 전체 시야(field of view)의 고-품질 이미지들을 제공하는 것이다.
이 목적은 독립 청구항들의 내용들에 의해 달성된다.
본 개시 발명의 발견은 이미지 정보, 예를 들어, 전체 시야의 해상도가 동일 정보를 동일한 전체 시야의 부분 시야들의 이미지 정보와 결합함으로써 증가될 수 있지만, 전체 시야의 이미지 정보가 이미 코오스(coarse) 정보로서 존재하고 그리고 사용될 수 있고, 엄폐 아티팩트(occultation artifact)들의 발생이 전체 이미지 정보를 이용함으로써 회피될 수 있다는 점에서 위의 목적이 달성될 수 있음을 이해하는데 있다.
일 실시예에 따르면, 디바이스는 이미지 센서 및 광학 채널들의 어레이를 포함한다. 각각의 광학 채널은 이미지 센서의 이미지 센서 영역 상으로 전체 시야의 부분 시야를 투영(이미징)하기 위한 옵틱(optic)을 포함한다. 어레이의 제1 광학 채널은 전체 시야의 제1 부분 시야를 이미징하도록 구성되고, 어레이의 제2 광학 채널은 전체 시야의 제2 부분 시야를 이미징하도록 구성된다. 디바이스는 이미징된 부분 시야들의 기초하여 제1 및 제2 부분 시야들의 이미지 정보를 획득하도록 구성되는 계산 유닛을 포함한다. 전체 시야의 결합된 이미지 정보를 생성하기 위해, 계산 유닛은 예를 들어, 추가적인 디바이스로부터, 전체 시야의 이미지 정보를 획득하고, 부분 시야들의 이미지 정보를 전체 시야의 이미지 정보와 결합하도록 추가적으로 구성된다. 전체 시야 및 부분 시야들의 이미지 정보를 결합함으로써, 대량의 이미지 정보가 있기 때문에 고-품질 결합 이미지 정보를 획득한다. 게다가, 전체 시야의 이미지 정보는 부분 이미지들이 스팅칭되어야 할 필요 없이 사용자에게 디스플레이될 수 있기 때문에 전체 시야의 이미지 정보는 소량의 전처리 비용으로 영향을 미치게 할 수 있다.
추가적인 실시예에 따르면, 보충 디바이스는 이러한 디바이스를 포함하고 전체 시야의 이미지 정보를 카메라로부터 획득하기 위해 카메라로 커플링되도록 구성될 수 있다. 이것은 부분 시야들을 추가적으로 이미징함으로써, 가능하게는 모노-카메라들일 수 있는, 기존의 카메라들을 보충하도록 할 수 있으며, 그 결과 전체 시야의 고-품질의 결합된 이미지 정보가 획득될 수 있다. 동시에, 전체 시야에 관한 정보는 이미 적어도 코오스 방식으로 존재하기 때문에 카메라의 이미지는 이미지 처리에 영향을 미치도록 이용될 수 있다.
추가적인 실시예에 따르면, 다중-개구 이미징 디바이스는 이미지 센서, 광학 채널들의 어레이를 포함하며, 각각의 광학 채널은 이미지 센서의 이미지 센서 영역 상으로 전체 시야의 적어도 하나의 부분 시야를 투영(project)하기 위한 옵틱을 포함한다. 어레이의 제1 광학 채널은 전체 시야의 제1 부분 시야를 이미징하도록 구성될 수 있고, 어레이의 제2 광학 채널은 전체 시야의 제2 부분 시야를 이미징하도록 구성될 수 있으며, 제3 광학 채널은 전체 시야를 완전하게 이미징하도록 구성될 수 있다. 이것은 전체 시야에 관한 이미징 정보를 획득하는 것과, 추가적으로 동일한 전체 시야의 부분 시야들에 관한 이미지 정보를 획득하는 것을 모두 가능하도록 함으로써, 그 결과 부분 시야들의 이미지 영역들은 여러번 스캐닝되며, 이는, 예를 들어, 입체적으로(stereoscopically) 생성된 깊이 맵 및 그리하여, 고-품질 이미지 생성을 가능하게 한다. 동시에, 부분 시야들에 관한 정보 외에 전체 시야에 관한 정보가 있으며, 수행되었던 임의의 이전 이미지 처리 없이도 사용자가 영향을 미칠 수 있게 한다.
추가적인 실시예들은 전체 시야의 다중-채널 캡처를 위한 디바이스를 제조하는 방법 및 다중-개구 이미징 디바이스를 제공하기 위한 디바이스에 관한 것이다.
언급된 실시예들은 전체 시야의 이미지 및 전체 시야의 결합된 이미지 정보의 비전의 메인 라인이 변경되지 않고 부분 시야들의 이미지들에 의해 보충되기 때문에 엄폐를 회피하거나 또는 감소시킬 수 있다.
다른 유리한 실시예들은 종속항들의 내용들이다.
본 발명의 선호되는 실시예들은 아래 첨부된 도면들을 참조하여 설명될 것이다;
도 1은 일 실시예에 따른 다중-개구 이미징 디바이스의 개략적인 사시도를 도시한다.
도 2a-c는 일 실시예에 따른 전체 시야 내에서 부분 시야들의 배치들의 개략적인 표현들을 도시한다.
도 3은 일 실시예에 따른 계산 유닛을 포함하는 다중-개구 이미징 디바이스의 개략적인 사시도를 도시한다.
도 4는 일 실시예에 따라, 예를 들어, 도 1 또는 도 3의 다중-개구 이미징 디바이스 내에 배치될 수 있는 이미지 센서 영역들의 개략적인 표현을 도시한다.
도 5는 일 실시예에 따른 계산 유닛의 가능한 구현의 개략적인 표현을 도시한다.
도 6은 일 실시예에 따른 그리고 도 3의 다중-개구 이미징 디바이스의 개략적인 평면도를 도시하며, 상기 다중-개구 이미징 디바이스는 깊이 맵을 생성하도록 구성된다.
도 7은 디스플레이 수단을 포함하는 추가적인 실시예에 따른 다중-개구 이미징 디바이스의 개략적인 사시도를 도시한다.
도 8은 광학 안정화기와 전자 이미지 안정화기를 포함하는 일 실시예에 따른 다중-개구 이미징 디바이스의 개략적인 사시도를 도시한다.
도 9는 초점 수단을 포함하는 추가적인 실시예에 따른 다중-개구 이미징 디바이스의 개략적인 사시도를 도시한다.
도 10은 추가적인 실시예에 따른 다중-개구 이미징 디바이스의 개략적인 사시도를 도시하며, 여기서 이미지 센서 영역들은 적어도 두 개의 서로 상이한 칩들 상에 배치되고 서로에 대해 배향(orientate)된다.
도 11은 옵틱들이 상이한 광학 길이들을 갖는 추가적인 실시예에 따른 다중-개구 이미징 디바이스의 개략적인 사시도를 도시한다.
도 12는 추가적인 실시예에 따른 디바이스의 개략적인 사시도를 도시한다.
도 13은 일 실시예에 따른 보충 디바이스의 개략적인 사시도를 도시한다.
도 14는 일 실시예에 따른 디바이스를 제공하는 방법의 개략적인 흐름도를 도시한다.
도 15는 일 실시예에 따른 다중-개구 이미징 디바이스를 제공하는 방법의 개략적인 흐름도를 도시한다.
본 개시 발명의 실시예들이 도면들을 참조하여 보다 상세하게 설명되기 이전에, 동작이 동일하거나, 기능이 동일하거나 또는 동일한 구조들, 물체들 및/또는 엘리먼트들은 상이한 도면들에서 동일한 참조 번호들로 제공되며, 그 결과 상이한 실시예들에서 제공되는 이러한 엘리먼트들의 설명들은 상호 교환 가능하거나 그리고/또는 상호적으로 적용가능함을 유의해야 할 것이다.
도 1은 일 실시예에 따른 다중-개구 이미징 디바이스(10)의 개략적인 사시도를 도시한다. 다중-개구 이미징 디바이스(10)는 복수의 이미지 센서 영역들(24a-c)을 포함하는 이미지 센서(12)를 포함한다. 이미지 센서(12)는 이미지 센서 영역들(24a-c)이 공유된 칩의 일부이도록 구현될 수 있지만, 대안적으로 이미지 센서(12)는 또한 여러개의 컴포넌트들을 포함할 수 있으며, 이는 이미지 센서 영역들(24a-c)이 상이한 칩들 상에 배치될 수 있다는 것을 의미한다. 대안적으로 또는 추가적으로, 이미지 센서 영역(24b) 맞은편(opposite)에 위치한 이미지 센서 영역들(24a 및 24c) 및/또는 이미지 센서 영역(24b) 맞은편에 위치한 이미지 센서 영역(24a)은 센서 표면에 있어 상이한 크기들 및/또는 픽셀들의 상이한 개수들 및/또는 크기들을 가질 수 있다.
다중-개구 이미징 디바이스(10)는 또한 광학 채널들(16a-c)의 어레이(14)를 포함한다. 광학 채널들(16a-c) 각각은 이미지 센서(12)의 이미지 센서 영역(24a-c) 상으로 물체 영역 또는 전체 시야의 적어도 부분 시야를 투영하기 위한 옵틱(64a-c)을 포함한다. 옵틱들(64a-c) 중 하나는 이미지 센서 영역(24a-c)들 중 하나와 각각 연관되어 있고, 예를 들어, 집중 또는 스캐터링(scattering)에 의해, 광학 경로(26a-c)에 영향을 미치도록 구성될 수 있으며, 그 결과 전체 시야 또는 각각의 부분 시야는 이미지 센서 영역(24a-c) 상에 투영된다. 옵틱들(64a-c)은 어레이(14)를 형성하도록 공유된 캐리어에 배치될 수 있지만, 이들은 또한 서로 상이한 방식으로 기계적으로 서로 연결될 수 있거나 또는 기계적 컨택(contact) 상태에 있지 않을 수 있다. 길이, 광학 축에 수직한 연장 등과 같은 광학 채널들의 특성들 및/또는 예를 들어, 초점 길이, f-넘버(f-number), 개구 직경, 수차 정정(aberration correction) 또는 물리적 치수와 같은 옵틱들의 특성들은 광학 채널들(16a, 16b 및/또는 16c) 사이에서 변할 수 있고 서로 상이할 수 있다.
광학 채널들(16a-c) 중 두 개는 연관된 이미지 센서 영역(24a-c) 상에 하나의 부분 시야를 투영하도록 각각 구성된다. 여기서 부분 시야의 투영(이미징)은 전체 시야가 불완전한 방식으로 이미징된다는 것을 의미한다. 광학 채널들(16a-c)의 다른 광학 채널은 전체 시야를 완전하게 이미징하도록 구성된다. 예를 들어, 광학 채널(16b)이 완전하게 전체 시야를 캡처하게 구성되도록 다중-개구 이미징 디바이스(10)가 구현된다. 광학 채널들(16a 및 16c)은 예를 들어, 많아야 불완전한 방식으로 서로 오버랩되거나 또는 상호 디스조인트(disjoint) 방식으로 배치되는 전체 시야의 이러한 부분 시야들을 캡처하도록 구성된다. 이것은 어레이(14)에서 제1 및 제2 부분 시야들을 캡처하기 위한 옵틱들(64a 및 64c)의 배치가 전체 시야의 이미징을 캡처하기 위한 옵틱(64b)과 관련하여 대칭적일 수 있거나 그리고/또는 제1 및 제2 부분 시야들을 이미징하기 위한 이미지 센서 영역들(24a 및 24c)의 배치가 전체 시야를 이미징하기 위한 이미지 센서 영역(24b)의 위치와 관련하여 대칭적일 수 있다는 것을 의미한다. 비록 시야들, 옵틱들 및 이미지 센서 영역들 사이의 임의의 다른 연관들이 또한 가능할지라도, 대칭적 배치는, 특히, 부분 시야들의 추가적인 캡처가, 즉, 전체 시야 캡처의, 중심 비전 필드(central field of vision)와 관련하여 대칭적 디스패리티(disparity)를 가능하게 하는 장점을 제공한다.
다중-개구 이미징 디바이스(10)는 선택적인 빔-편향 수단(18)을 포함할 수 있고, 빔-편향 수단(18)은 다시 빔-편향 영역들(46a-c)을 포함하며, 빔-편향 수단(18)은 각각의 빔-편향 영역(46a-c)을 이용하여 광학 경로(26a-c)를 편향시키도록 구성될 수 있다. 빔-편향 수단(18)은 빔-편향 영역들(46a-c)을 포함하는 미러 표면을 포함할 수 있다. 대안적으로, 빔-편향 영역들(46a-c) 중 적어도 두 개는 서로 기울어질 수 있고 복수의 미러 표면들을 형성할 수 있다. 대안적으로 또는 추가적으로, 빔-편향 수단(18)은 복수 또는 다수의 파셋(facet)들을 포함할 수 있다. 캡처될 시야가 이미지 센서(12) 및 어레이(14) 사이의 비전 라인과 상이한 다중-개구 이미징 디바이스(10)의 방향으로 위치하는 경우 빔-편향 수단(18)의 이용은 유리할 수 있다. 대안적으로 빔-편향 수단(18)이 존재하지 않는 경우, 전체 시야는 다중-개구 이미징 디바이스(10)의 비전 라인을 따라서 그리고/또는 이미지 센서(12) 및 어레이(14) 사이의 방향을 따라서 그리고 그 넘어로(beyond) 캡처될 수 있다. 그러나 빔-편향 수단(18)의 배치는 이러한 목적을 위해 이미지 센서(12) 및/또는 어레이(14)의 공간 배향을 변경해야 할 필요없이 병진 및/또는 회전 방식으로 빔-편향 수단(18)을 이동시킴으로써 다중-개구 이미징 디바이스(10)의 비전 라인 변경을 가능하게 할 수 있다.
도 2a는, 예를 들어, 다중-개구 이미징 디바이스(10)에 의해 캡처될 수 있는, 전체 시야(70) 내의 부분 시야들(72a 및 72b)의 배치의 개략적인 표현을 도시한다. 예를 들어, 전체 시야(70)는 광학 채널(16b)을 이용함으로써, 이미지 센서 영역(24b)으로 투영될 수 있다. 예를 들어, 광학 채널(16a)은 부분 시야(72a)를 캡처하고 이미지 센서 영역(24a) 상에 부분 시야(72a)를 투영하도록 구성될 수 있다. 광학 채널(16c)은 부분 시야(72b)를 캡처하고, 부분 시야(72b)를 이미지 센서 영역(24c) 상에 투영하도록 구성될 수 있다. 이것은 광학 채널들의 그룹이 두 개의 부분 시야들(72a 및 72b)을 정확하게 캡처하도록 구성될 수 있다는 것을 의미한다.
비록 구별능력을 향상시키기 위하여 부분 시야들(72a 및 72b)이 상이한 연장들을 갖는 것으로 도시되어 있지만, 그것들은 적어도 이미지 방향(28 또는 32)을 따라, 예를 들어, 이미지 방향(32)을 따라 동일하거나 비교 가능한 연장들을 가질 수 있다. 부분 시야들(72a 및 72b)의 연장은 이미지 방향(32)을 따른 전체 시야(70)의 연장과 동일할 수 있다. 이것은 부분 시야들(72a 및 72b)이 이미지 방향(32)을 따라 전체 시야(70)를 완전하게 캡처할 수 있고 이미지 방향(32)과 수직하게 배치된 상이한 이미지 방향(28)을 따라 부분적 방식으로만 전체 시야를 캡처할 수 있고 서로 오프셋(offset) 되도록 배치될 수 있으며, 그 결과 전체 시야(70)의 완전한 캡처는 또한 조합에 의해 제2 방향을 따라 발생한다는 것을 의미한다. 여기서, 부분 시야들(72a 및 72b)은 서로 관련하여 디스조인트될 수 있거나 또는 오버랩 영역(73)에서 많아야, 불완전한 방식으로 오버랩될 수 있다 ― 오버랩 영역(73)은 전체 시야(70)에서 이미지 방향(32)을 따라 가능하게는 완전하게 연장됨 ― 광학 채널들(16a 및 16c)을 포함하는 광학 채널들의 그룹은 결합될 때 전체 시야(70)를 완전하게 이미징하도록 구성될 수 있다. 이미지 방향(28)은, 예를 들어, 제공될 이미지와 수평일 수 있다. 단순화된 용어로, 이미지 방향들(28 및 32)은 요구되는 임의의 방식으로 공간적으로 배치된 두 개의 상이한 이미지 방향들을 나타낸다.
도 2b는 상이한 이미지 방향, 즉 이미지 방향(32)을 따라 서로 오프셋되도록 배치되고 서로 오버랩되는 부분 시야들(72a, 72b)의 배치의 개략적인 표현을 도시한다. 부분 시야들(72a 및 72b)은 각각 이미지 방향(32)을 따라 불완전한 방식으로 그리고 이미지 방향(28)을 따라 전체 시야(70)를 완전하게 캡처할 수 있다. 오버랩 영역(73)은, 예를 들어, 이미지 방향(28)을 따라 전체 시야(70) 내에서 완전하게 배치될 수 있다.
도 2c는 전체 시야(70)를 방향들(28 및 32) 모두에서 불완전한 방식으로 각각 캡처하는 4 개의 부분 시야들(72a 내지 72d)의 개략적인 표현을 도시한다. 오버랩 영역(73b)에서 2 개의 인접한 부분 시야들(72a 및 72b)이 오버랩된다. 오버랩 영역(73c)에서 2 개의 오버랩하는 부분 시야들(72b 및 72c)이 오버랩된다. 유사하게, 부분 시야들(72c 및 72d)은 오버랩 영역(73d)에서 오버랩되고, 부분 시야(72d)는 오버랩 영역(73a)에서 부분 시야(72a)와 오버랩된다. 모든 4 개의 부분 시야들(72a 내지 72d)은 전체 시야(70)의 오버랩 영역(73e)에서 오버랩될 수 있다.
전체 시야(70) 및 부분 시야들(72a-d)을 캡처하기 위해, 다중-개구 이미징 디바이스는 도 1과 관련하여 설명된 것과 유사하게 구성될 수 있으며, 어레이(14)는, 예를 들어, 5개의 옵틱들, 부분 시야들(72a-d)을 캡처하기 위한 4 개의 옵틱들 및 전체 시야(70)를 캡처하기 위한 하나의 옵틱을 포함할 수 있다.
많은 개수의 이미지 정보 아이템들이 오버랩 영역들(73a 내지 73e)에서 이용가능하다. 예를 들어, 오버랩 영역(73b)은 전체 시야(70), 부분 시야(72a) 및 부분 시야(72b)를 통해 캡처될 수 있다. 전체 시야의 이미지 포맷은 이미징된 부분 시야들, 예를 들어, 도 2c의 부분 시야들(72a-d)의 리던던시-없는 조합에 대응될 수 있으며, 이러한 문맥에서 오버랩 영역들(73a-e)은 각각의 경우에서 오직 한번 카운트된다. 도 2a 및 2b와 관련하여, 이것은 부분 시야들(72a 및 72b)의 리던던시-없는 조합에 적용된다. 오버랩 영역들(73 및/또는 73a-e)에서의 오버랩은, 예를 들어, 각각의 부분 이미지들의 많아야 50%, 많아야 35% 또는 많아야 20%를 포함할 수 있다.
도 3은 계산 유닛(33)에 의해 다중-개구 이미징 디바이스(10)를 확장시키는 추가적인 실시예에 따른 다중-개구 이미징 디바이스(30)의 개략적인 사시도 표현을 도시한다.
계산 유닛(33)은 이미지 센서(12)로부터 이미지 정보 ― 이미지 정보는 부분 시야들, 예를 들어, 이미지 센서 영역들(24a 및 24c) 상으로 투영되었던, 부분 시야들(72a 및 72b)에 관한 이미지 정보 뿐만 아니라 전체 시야, 예를 들어, 이미지 센서 영역(246) 상으로 투영될 수 있는, 전체 시야(70)의 이미지 정보를 의미함 - 를 획득하도록 구성된다. 계산 유닛(33)은 부분 시야들의 이미지 정보 및 전체 시야의 이미지 정보를 결합하도록 구성된다. 예를 들어, 전체 시야의 스캐닝 정도(degree)가 부분 시야들의 스캐닝 정도보다 낮도록 이미지 정보의 결합이 수행될 수 있다. 스캐닝 정도는 부분 또는 전체 시야의 로컬 해상도, 즉, 물체 영역의 어느 표면이 이미지 센서의 어떤 표면 영역 또는 픽셀 크기로 투영되는지를 나타내는 양을 의미하는 것으로 이해될 수 있다. 본 명세서에 설명된 구현들에서, 해상도라는 용어는 대응하는 이미지 센서 표면 상에 투영되는 부분 또는 전체 시야의 연장을 의미하는 것으로 이해된다. 따라서 비교적으로 더 큰 해상도는, 동일한 픽셀 크기가 주어질 때, 시야의 일정한 표면 영역이, 더 큰 이미지 센서 표면 상에 투영되거나 그리고/또는, 동일한 픽셀 크기가 주어질 때, 비교적으로 더 작은 물체 표면 영역이 일정한 이미지 센서 표면에 투영됨을 의미한다. 이미지 정보를 결합함으로써, 전체 시야의 캡처와 관련하여 결합된 이미지 정보(61)의 스캐닝 정도 및/또는 해상도가 증가될 수 있다.
도 4는, 예를 들어, 다중-개구 이미징 장치(10 또는 30) 내에 배치될 수 있는 이미지 센서 영역들(24a-c)의 개략도의 표현을 도시한다. 예를 들어, 부분 시야(72a)는 이미지 센서 영역(24a) 상에 투영된다. 예를 들어, 부분 시야(72b)는 이미지 센서 영역(24c) 상에 투영된다. 예를 들어 전체 시야(70)는 이미지 센서 영역(24b) 상에 투영된다. 부분 시야들(72a 및 72b)의 공간적 배치는, 예를 들어, 도 2의 구성에 대응될 수 있다.
이미지 센서 영역들(24a, 24b 및 24c)은 이미지 방향(32)을 따라 동일하거나 또는 20%, 10% 또는 5%의 허용오차 범위 내에서 동일하고, 동일한 수의 픽셀들에 대응할 수 있는 물리적 연장(b)을 가질 수 있다. 이미지 방향(28)을 따라, 이미지 센서 영역들(24a 및 24c)은 동일한 수의 픽셀들에 대응할 수 있는 물리적 연장(a)을 가질 수 있다. 연장 또는 픽셀들은 이미지 방향(28)을 따라 이미지 센서 영역(24b)의 픽셀들의 개수(c) 또는 연장보다 더 클 수 있다. 부분 시야들(72a, 72b)은 전체 시야(70)와 비교하여 이미지 방향(28)을 따라 크기가 동일하기 때문에, 스캐닝은 이미지 방향(28)을 따라 전체 시야의 더 높은 스캐닝 정도에서 또는 더 높은 해상도에서 발생하며, 즉, 물체 영역에서의 더 작은 영역이 일정한 크기의 픽셀 상에 투영되며, 그 결과 결과적인 결합 해상도, 및/또는 스캐닝 정도가 증가된다. 초-해상도 효과는, 예를 들어, 부분 시야들의 이미지들의 픽셀들이 상호 서브픽셀(subpixel) 오프셋을 나타낼 때 구현될 수 있다.
이미지 방향(32)을 따라, 예를 들어, 부분 시야들(72a 및 72b)을 통해 전체 시야(70)를 이미징하기 위해, 2 x b개의 픽셀들이 사용되며 여기서 오버랩 영역(73)이 고려되어야 한다. 그러나, 부분 시야들(72a 및 72b)의 디스조인트 또는 단지 부분적인 오버랩은 또한, 이미지 방향(32)을 따라, 이미지 센서 영역(24)에서의 전체 시야(70)의 캡처와 비교하여 증가된 해상도를 초래한다.
따라서, 이미지 센서 영역들(24a 내지 24c) 내의 이미지들을 조합함으로써, 이미징 영역(24b)에서 획득된 해상도와 비교하여 전체 시야(61)의 결합된 이미지 정보가 증가될 수 있다. 이미지 센서 영역(24b)에서의 이미지의 종횡비(aspect ratio)는 3 : 4의 값을 가질 수 있다. 이것은 동일한 종횡비를 갖는 결합 이미지의 획득을 가능하게 한다. 이미지 센서 영역들(24a 및/또는 24c)에서의 해상도는, 각각의 이미지 방향을 따라 그리고/또는 초기 이미지에서, 이미지 센서 영역(24b)에서보다 20%, 10%의 허용오차 범위 내에서, 또는 정확하게 적어도 30%, 적어도 50%, 또는 적어도 100%까지 더 클 수 있으며; 여기서, 오버랩 영역의 연장이 고려되어야 한다.
이미지 센서 영역들(24a-c)은, 라인 연장 방향(35) - 라인 연장 방향은(35) 예를 들어, 이미지 방향(28)에 평행하게 배치될 수 있거나 그리고/또는 라인 연장 방향(35)을 따라, 다중-개구 이미지 디바이스(10 또는 30)의 옵틱들(64a-c)이 배치될 수 있음 -을 따라 배치될 수 있다. 예를 들어, 라인 연장 방향(35)에 수직하고, 다중-개구 이미징 디바이스의 두께 방향일 수 있는 방향(z)을 따라, 이미지 센서 영역들(24a-c)은 허용오차 범위 내에서 동일한 연장을 가질 수 있으며, 이는 다중-개구 이미징 디바이스의 추가적인 두께를 회피하면서 전체 시야의 캡처의 해상도에서의 증가가 획득될 수 있다는 것을 의미한다.
다시 말하면, 적어도 3개의 카메라 채널들, 즉, 광학 채널들의 선형 대칭 배치가 구현될 수 있으며, 광학 채널들 중 하나, 바람직하게는 중앙 광학 채널은, 전체 시야를 커버하고, (2 개의)바깥쪽 채널들 각각은 시야의 일부, 예를 들어, 상단/하단 또는 좌측/우측만을 커버하며, 그 결과 함께 그들은 또한 전체 시야를 커버하고 동시에 시야 중심에서 약간의 오버랩을 가질 수 있다. 이것은 좌측/우측 상에서 그리고/또는 상단/하단에서 고-해상도 부분 이미지들이 획득됨을 의미한다. 중심에서, 전체 관련 시야를 커버하는, 더 낮은-해상도 이미지가 캡처된다. 중앙 이미지에서의 해상도는 동일한 이미지 높이에 대해, 상응하게 더 짧은 초점 길이에 의해, 즉, 종횡비의 임의의 고려없이, 그리고 동일한 픽셀크기에 의해 가능하게 되거나 또는 지시되는 범위로 감소될 수 있다. 다시 말하면, 이미지 센서 높이들(24a, 24b 및 24c)은 동일하다. 그러므로 임의의 오버랩 없이, 이미지 센서 영역(24b)에서의 이미지 높이는 24a 및 24c의 결합된 이미지 높이의 단지 절반이다. 동일한 시야를 이미징하기 위해, 이미지 센서 영역(24b)(광학 채널 (26b))에 대한 옵틱의 초점 길이(또는 배율)는 그러므로 24a 및 24c에 대한 크기 또는 길이의 절반일 수 있다. 동일한 픽셀 크기가 주어질 때, 이것은 결합된 24a 및 24c와 비교하여 절반의 해상도(또는 시야의 스캐닝)를 의미한다. 상응하는 이미지 폭(width)들은 간단하게 이미지들의 요구되는 종횡비들로부터 기인한다.
깊이 맵(the latter)이 계산 유닛에 의해 생성되는 경우에 중앙 카메라 채널은 깊이 맵을 생성하기 위한 기준 카메라이다. 중앙 채널과 관련하여 대칭을 포함하는, 상기 배치는 깊이 맵에서의 엄폐와 관련하여 획득된 결합된 전체 이미지의 높은 품질을 가능하게 한다. 그러므로, 중앙 이미지가 또한 더 높은-해상도의 결합된 이미지를 계산하기 위한 기준인 것은 타당하다. 적어도 두 개의 더 높은-해상도 이미지들은 블록단위로 낮은-해상도 기준으로 삽입된다. 그러므로 이들은 적합(fit)의 정확도가 보장될 때, 즉, 부분 시야들 및 전체 시야에서 매칭 피처들이 발견될 때 이용될 수 있는 재료로서 제공된다. 상기 삽입은 매우 작은 블록들에서 실행될 수 있으며, 그 결과 큰 깊이 점프(jump)들을 포함하는 정밀한(fine) 물체들을 통해서도 시차-관련(parallax-related) 문제들이 회피될 수 있다. 적합한 블록들은, 대응관계에 의해 검색되며, 예를 들어, 대응관계는 디스패리티 맵, 즉, 깊이 맵이 생성됨을 의미할 수 있다. 그러나 낮은-해상도 블록에 대하여 충분한 신뢰도로 높은-해상도 블록이 발견되지 않으면, 이는 재앙적 결과들을 가지지 않을 것이다. 간단하게 낮은-해상도 원본 이미지를 그대로 남겨 둔다. 다시 말하면: 깊이 맵에 제시된 홀(hole)들은 단지 명확하게 가시적인 아티팩트들에서 보다는 전체 이미지에서 더 많이 블러링된(blurred) 위치들을 초래할 것이다.
다시 말하면, 중앙 이미지 센서는, 더 짧은 초점길이로 인해, 전체 시야를 커버하고 고유하게 요구되는 종횡비를 나타내는 더 낮은-해상도 이미지를 캡처할 수 있다. 예를 들어, 획득된 결합된 이미지가 상기 카메라의 시각을 나타내기 때문에, 상기 카메라는 또한 기준 카메라로서 언급될 수 있다. 다음은 부분적으로 오버랩될 수 있고, 결합하여, 참조 카메라로서 동일한 종횡비를 나타내는 더 높은-해상도의 부분 이미지들의 결합이다. 참조 카메라의 이용에 의한 부분 시야들의 이미지들의 결합은 오버랩 영역에서 매우 정확한 스티칭을 가능하게 하며, 이는 이미지가 낮은 해상도를 갖고 있더라도, 거기에 존재하는 것이 고유하게 정확한 이미지이기 때문이다, 유리한 구현에 따르면, 최적의 방식으로 이용 가능한 설계 높이들을 활용하기 위해 모든 3개의 이미지 센서들의 높이들은 동일하거나 또는 거의 동일하다. 모든 카메라들은 공유된 미러(빔-편향 수단)를 통해 편향될 수 있다. 깊이 맵은 요구되는 바에 따라 다음과 같이 계산될 수 있다. 두 개의 고-해상도 부분 이미지들의 오버랩 영역(73)에서, 상기 계산은 후자 및 저-해상도 전체 이미지에 의해 수행될 수 있으며; 남아있는 영역들에서 상기 계산은 고-해상도 부분 이미지들 중 하나와 저-해상도 전체 이미지의 대응하는 부분을 결합함으로써 실행될 수 있다.
도 5는 계산 유닛(33)의 가능한 구현의 개략도의 표현을 도시한다. 계산 유닛(33)은 전체 시야(70)의 이미지 정보 및 부분 시야들(72a 및 72b)의 이미지 정보를 부분 시야(72a)의 이미지 블록들(63a), 부분 시야(72b)의 이미지 블록들(63b) 및 전체 시야(70)의 이미지 블록들(63c)로 분할하도록 구성될 수 있다. 이미지 블록은 이미지 방향들(28 및 32) 모두를 따라 특정 수의 픽셀들을 포함할 수 있다. 블록들은 이미지 방향들(28 및 32)을 따라, 예를 들어, 최소 2개 및 최대 1000개의 픽셀들의 크기, 최소 10개 및 최대 500개의 픽셀들의 크기 또는 최소 20개 및 최대 100개 픽셀들의 크기를 가질 수 있다.
계산 유닛은 블록단위로, 이미지 정보 - 이미지 정보는 전체 시야의 이미지 블록 내에서 포함됨 - 를 제1 또는 제2 부분 시야(72a 또는 72b)의 이미지 블록의 매칭 이미지 정보와 연관시켜 제1 및 제2 이미지 블록들의 결합에 의해 결합된 이미지 정보에서의 전체 시야의 이미지 정보의 해상도를 증가시키도록 구성될 수 있다. 제1 및 제2 이미지 블록들은 각각 그것의 오버랩 영역에서의 상이한 부분 시야들의 이미지의 매칭 이미지 블록일 수 있다. 대안적으로 또는 추가적으로, 제1 또는 제2 블록은 전체 이미지의 블록일 수 있고, 다른 블록은 부분 이미지의 블록일 수 있다. 계산 유닛(33)은 예를 들어, 전체 시야(70)의 블록(63c1)에서 물체 x와 매칭하는 것으로, 블록(63a3)에서 x로 도시된 물체를 식별하도록 구성된다. 전체 시야(70)의 해상도와 비교하여 더 높은 부분 시야(72a)의 해상도에 기초하여, 계산 유닛은 블록들(63a3 및 63c1) 양쪽 모두의 이미지 정보를 서로 결합할 수 있으며, 그 결과 상기 블록에서 전체 시야와 관련하여 원래의 해상도보다 더 높은 결과적인 해상도를 획득한다. 이러한 문맥에서 결과적인 결합 해상도는 부분 시야(72a)의 캡처링의 해상도의 값보다 더 높거나 또는 그에 대응될 수 있다. 전체 시야(70)의 블록(63c2)에서 #으로 도시된 물체는 계산 유닛에 의해, 예를 들어, 부분 시야(72a)의 블록(63a2) 및 부분 시야(72b)의 블록(63b1)에서 식별되며, 그 결과 이미지 품질을 개선하기 위해, 부분 시야들(72a 및 72b)의 양 이미지들로부터의 이미지 정보가 이용될 수 있다.
블록(63c3)에서 *에 의해 도시된 물체는, 예를 들어, 부분 시야(72b)의 블록(63b2)에서 계산 유닛에 의해 식별되며, 그 결과 블록(63c3)에서 이미지 정보를 증가시키기, 예를 들어, 계산 유닛에 의해 블록(63b2)의 이미지 정보가 사용될 수 있다.
예를 들어 블록(63c4)에 대해 도시된 바와 같이, 부분 시야들(72a 및 72b)의 블록이 전체 시야의 블록과 연관될 수 없는 경우, 적어도 블록(53c4)이 전체 이미지 내에 위치되도록 계산 유닛은 결합된 전체 이미지의 블록을 출력하도록 구성될 수 있음으로써, 즉, 해상도에서의 로컬 증가가 없는 경우에도 이미지 정보가 도시될 수 있다. 이것은, 많아야, 전체 이미지에서 작은 변경들을 초래할 것이며, 이는 예를 들어 블록(63c4)의 위치에서 로컬하게 감소된 해상도가 있을 것이라는 것임을 의미한다.
계산 유닛(33)은 전체 시야(70)의 이미지 정보에 기초하여 부분 시야들(72a 및 72b)의 이미지 정보의 스티칭을 수행하도록 구성될 수 있다. 이것은 전체 시야의 전체 이미징이 부분 시야들(72a 및 72b)의 부분 이미지들의 상호 정렬을 적어도 지지하거나 또는 심지어 수행하기 위해 사용될 수 있다는 것을 의미한다. 대안적으로 또는 추가적으로, 전체 시야의 전체 이미징으로부터의 정보는 전체 이미지 내에서의 부분 이미지 내에서 그리고/또는 부분 이미지들로부터의 장면(scene)의 물체들의 배치를 지지하거나 또는 심지어 수행하기 위해 이용될 수 있다. 전체 시야는 부분 시야들(72a 및 72b)에서 또한 묘사되는 많은 개수의 물체들 또는 심지어 물체들 모두를 포함하며, 그 결과 개별적인 부분 이미지들과 전체 시야의 전체 이미지 비교 및/또는 물체의 위치의 비교는 전체 이미지와 관련하여 정렬을 가능하게 하고 그러므로 부분 이미지들의 상호 스티칭을 가능하게 할 것이다.
다시 말해서, 물체들은 전체 이미지에서 이미 결합된 방식으로 존재하기 때문에, 저-해상도 이미지는 선험적으로(a priori) 항상 고-해상도 이미지들의 스티칭을 지지하기 위한 기초, 즉, 배향을 위한 기초를 제공할 것이다. 두 개의 광역 부분 이미지 영역들의 단순 결합에 더하여, 스티칭은 또한, 장면 내에서의 거리-관계된 물체 분포에 의존하여, 요구되거나 또는 희망될 수 있는, 스팅칭된 이미지 내에서의 물체들의 거리의 함수로서, 물체들이 장면으로 재-통합되거나 그리고/또는 (이미지 내에서의 물체들의 측면 위치들과 관련하여) 배경에 대하여 상이하게 재-통합될 것임을 의미할 수 있다. 정확한 스티칭을 위해 깊이 맵이 요구되어야 하는 경우에도, 여기에 설명된 개념들은 스티칭 프로세스를 상당하게 단순화시킨다. 중앙 위치에 카메라가 없기 때문에 발생하는 엄폐 문제들은 적어도 세 개의 광학 채널들이 전체 시야를 향한 적어도 세 개의 비전 라인들을 가능하게 하기 때문에 회피될 수 있다. 따라서 하나의 시야각에서의 엄폐는 하나 또는 두 개의 다른 시야각들에 의해 감소되거나 또는 방지될 수 있다.
도 6은 일 실시예에 따른 다중-개구 이미징 디바이스(30)의 개략적인 평면도를 도시한다. 계산 유닛(33)은 깊이 맵(81)을 생성하도록 구성될 수 있다. 깊이 맵(81)은 전체 시야(70)의 이미지 정보를 참조할 수 있다. 깊이 맵을 생성하기 위하여 계산 유닛(33)은, 예를 들어, 전체 시야(70 및 73b) 및 부분 시야(72a)의 이미지들의 사이의 그리고 전체 시야(70) 및 부분 시야(72b)의 이미지들 사이의 디스패리티들(83a)을 이용하도록 구성될 수 있다. 이는 옵틱들(64a, 64b 및 64c) 뿐만 아니라 이미지 센서 영역들(24a, 24b 및 24c)의 물리적 거리로 인해 계산 유닛(33)의 부분 상에서 깊이 맵(81)을 생성하기 위해 이용될 상이한 시야각들 또는 시점들이 획득됨을 의미한다. 계산 유닛(33)은 부분 시야들(72a 및 72b)의 이미지 정보를 이용하면서 오버랩 영역(73) ― 오버랩 영역(73) 내에서 부분 시야들(72a 및 72b)이 오버랩됨 ― 에서 깊이 맵(81)을 생성하도록 구성될 수 있다. 이것은 개별적인 디스패리티들(83a 및 83b)과 비교하여 더 큰 디스패리티, 단순화된 항들로, 개별 디스패리티들의 합의 이용뿐만 아니라 고-해상도 (부분)이미지들의 이용을 가능하게 한다. 일 실시예에서, 이것은 계산 유닛(33)이 이미지 센서 영역(24b) 상으로 투영되는 전체 시야(70)의 정보 없이 오버랩 영역(73)에서의 깊이 맵(81)을 생성하도록 구성될 수 있다는 것을 의미한다. 대안적으로, 예를 들어, 높은 정보 밀도를 달성하기 위해, 오버랩 영역(73)에서의 전체 시야(70)의 정보의 이용이 가능하고 유리하다.
유리한 추가적인 개발에 따라, 24b에서와 같은(예를 들어, RGB) 베이어 컬러 필터(Bayer color filter) 배치들을 이용하지 않거나 또는 적어도 균일한 컬러 필터들을 이용하면서 이미지 센서 영역들(24a 및 24c)에서의 투영들이 실행될 수 있으며, 그 결과 단일-색상 휘도 정보를 갖는 이미징된 제1 및 제2 부분 시야들이 다중-개구 이미징 디바이스에 의해 제공될 것이다. 예를 들어, 24b에서와 같은 베이어 배치와 같은 다중-컬러 필터가 존재하지 않으면서, 단일-컬러 적외선 필터, 자외선 필터, 적색 필터, 청색 필터 등이 배치될 수 있거나 또는 필터가 전혀 배치되지 않을 수 있다. 다시 말해서, 외부 채널들은 전체 시야의 이미지 품질 증가와 관련하여 디테일들에만 기여하기 때문에, 외부 채널들(16a 및 16c)이 컬러 필터를 포함하지 않는 것이 유리할 수 있다. 그 다음에 외부 채널들은 휘도 정보에만, 즉, 일반적인 선명도/디테일들의 증가에만, 기여할 것이나 향상된(improved) 컬러 정보에는 기여하지 않을 것이고; 이와 함께 획득된 장점은 증가된 선명도 및 ,그리하여, 감소된 노이즈에 있으며, 이는, 예를 들어, 픽셀들 상에 중첩된 베이어 컬러 필터 패턴이 없기 때문에 인해 이미지가 덜 평활화(smoothen)되어야 할 것이기 때문에 부분적으로는 결과적으로 향상된 해상도 및/또는 선명도를 가능하게 하지만; 디-베이어링(de-Bayering)이 필요하지 않기 때문에 휘도-전용 채널들에 존재하는 해상도는 고유하게 더 높다(이상적으로는 두배). 결과적으로, 컬러 픽셀은 흑-백 픽셀의 크기의 대략적으로 두배일 수 있다. 여기에서 흑백 픽셀들이 해상도를 위해서만 사용될 수는 없으며 흑-백 픽셀들을 전형적인 RGBG 필터 패턴과 중첩시킴으로써 컬러 구별을 위해서 또한 사용될 수 있기 때문에 컬러 필터는 물리적 관점에서 적용되지 않을 수 있다.
도 7은 디스플레이 수단(85)을 포함하는 다른 실시예에 따른 다중-개구 이미징 디바이스(71)의 개략적인 사시도를 도시한다. 다중-개구 이미징 디바이스(71)는 디스플레이 수단(85)을 이용하여 이미지 센서 영역(24b) 상으로 투영되는 전체 시야(70)의 표시를 재생하도록 구성된다. 이를 위해, 계산 유닛(33)은 예를 들어, 이미지 센서(12)로부터 디스플레이 수단(85)으로 대응하는 신호를 전달하도록 구성될 수 있다. 대안적으로, 디스플레이 수단(85)은 또한, 이미지 센서(12)와 직접적으로 커플링될 수 있고 이미지 센서(12)로부터 대응하는 신호를 획득할 수 있다.
디스플레이 수단(85)은, 많아야, 이미지 센서 영역(24b)에 의해 제공되는 해상도로 전체 시야의 이미지 정보를 출력하고 수신하도록 구성된다. 바람직하게는, 이미지 센서 영역(24b) 상으로 투영되는 전체 시야의 해상도는 디스플레이 수단(85)으로 변경없이 전달될 것이다. 이것은, 예를 들어, 사용자에 대한 미리보기로서 가능하게는 현재 캡처된 이미지 또는 비디오를 디스플레이할 수 있게 함으로써, 상기 사용자가 캡처링에 영향을 줄 수 있다. 결합된 이미지 정보(61)에 의해 제공되는 고-해상도 이미지들은 상이한 시점에 디스플레이 수단(85)으로 제공될 수 있고, 상이한 디스플레이 수단으로 제공될 수 있고, 저장되거나 또는 전송될 수 있다. 결합된 이미지 정보(61)를 가끔, 즉, 요구되는 경우에만 그리고 요구될 때, 획득하는 것이 또한 가능하고, 그렇지 않으면, 요구되는 깊이 맵 없이 또는 디테일들로의 줌잉(zooming)이 없을 때, 가능하게는 더 낮은 해상도를 갖는 전체 시야(70)의 이미지가 현재 이용, 예를 들어, 디스플레이 수단(85) 상에서의 뷰잉을 위해 충분하다면, 이러한 전체 시야(70)의 이미지를 활용하는 것 또한 가능하다. 이것은 이미지 신호들의 임의의 조합없이 이미지 캡처 상에 영향을 가할 수 있으며, 이는 계산 및 시간에 관하여 일정량의 비용을 요구할 것이며, 이는 디스플레이 수단(85)에서의 지연(delay)과 계산들을 위해 필요한 에너지에 대하여 유리한 효과를 가질 것이다. 다중-개구 이미징 디바이스(71)의 일부 상에 여러개의 이미지들을 함께 스트링잉(stringing)함으로써, 이미지 센서(12)로부터 비디오 신호를 획득하고 디스플레이 수단(85)상에 전체 시야의 비디오 신호를 출력하는 것이 또한 가능하다.
예를 들어, 본 명세서에 설명되는 다중-개구 이미징 디바이스(71) 또는 상이한 다중-개구 이미징 디바이스(71), 예를 들어, 다중-개구 이미징 디바이스(10, 30, 또는 60)는 모바일 폰, 스마트폰, 태블릿 또는 모니터로서 형성될 수 있다.
다중-개구 이미징 디바이스(71)는 실-시간 미리보기를 디스플레이 수단(85)에 제공할 수 있으며; 그러므로 두 개의 외부 카메라 채널들이 항상 활성화될 필요가 없음으로써, 전류가 절약될 수 있거나 그리고/또는 부분 이미지들을 연접(link)하기 위한 추가적인 컴퓨팅 비용이 요구되지 않으며, 이는 프로세서의 감소된 커패시터 사용 및 감소된 에너지 소비를 가능하게 하며, 이는 또한 배터리 수명을 연장시킬 수 있다. 대안적으로 또는 추가적으로, 로 데이터(raw data)가 먼저 저장될 수 있고, PC와 같은 상이한 계산 유닛으로 전송이 수행된 이후에야 그리고/또는 디테일들로 줌잉하는 동안 이미지가 디스플레이 디바이스 상에서 보여질 때 고-해상도 이미지가 생성될 수 있다. 여기에서, 관련 이미지 영역들에 대하여만 조합적인 이미지를 생성하는 것이 가능하거나 또는 관련 없는 이미지 영역들에 대하여 적어도 영역들에서, 조합적인 이미지를 생성하지 않는 것이 가능하다. 관련 영역들은, 예를 들어, 확대 묘사(줌)가 요구되는 이미지 영역들일 수 있다.
개별적인 이미지들(프레임들) 및 비디오 모두에 대해, 이미지 센서 영역(24b)의 이미지는 따라서 직접 사용될 수 있고, 가능하게는 비디오에 대하여 충분한 해상도를 갖는다. 또한, 중앙 카메라에 시작부터 공통 비디오 포맷들, 즉, 예를 들어, 1080p 또는 4K에 대하여 적합한 해상도가 제공되는 것이 착안가능하며, 그 결과, 그렇지 않은 경우에는 공통적으로 수행되는, 리샘플링(샘플링-레이트 변환), 비닝(binning)(인접한 이미지 엘리먼트들의 결합) 또는 스키핑(skipping)(픽셀들의 스키핑)이 회피될 수 있으며; 이와 관련하여, 고-해상도 정지 픽처(picture)들이 생성될 수 있도록 해상도가 충분히 높을 수 있다.
도 8은 광학 이미지 안정화기(22) 및 전자 이미지 안정화기(41)를 포함하는 다중-개구 이미징 디바이스(80)의 개략적인 사시도를 도시한다. 계산 유닛(33)의 기능들을 이용하면서, 이미지 안정화와 관련하여 아래에서 설명될 양상들은, 임의의 제한들 없이, 개별적으로 또는 결합하여 실현될 수 있다.
광학 이미지 안정화기(22)는, 예를 들어, 액추에이터들(36a, 36b 및 42)을 포함하고, 액추에이터들(36a 및 36b)은 라인 연장 방향(35)을 따라 어레이(14)를 변위시킴으로써 이미지 센서 영역들(24a 내지 24c)에서 부분 시야들의 이미지들의 광학 이미지 안정화를 달성하도록 구성된다. 또한, 광학 이미지 안정화기(22)는, 예를 들어, 빔 편향 수단(18)의 회전 이동(38)에 의해 이미지 축(32)을 따라 광학 이미지 안정화를 획득하도록 구성된다. 예를 들어, 부분 시야들을 대체로 동일한 방식으로 캡처하기 위하여 어레이(14)의 옵틱들(64a 및 64b)은 각각 유효 초점 길이들(f1 및 f3)을 포함하며, 이들은 최대 10%, 최대 5% 또는 최대 3%의 허용오차 범위 내에서 서로 상이하다. 옵틱은(64b) 적어도 10%만큼 그로부터 상이한 초점 길이(f2)를 가질 수 있다. 모든 채널들에 대해 수행된 회전 이동(38)은 초점 길이들(f2 및 f1)에서의 차이와 연동하거나 또는, f1 및f3 사이의 초점 길이의 차이들 내에서 이미지 센서 영역들(24a-c)에서 이미지들의 상이한 변위들(691 내지 693)을 발생시킨다. 이것은, 모든 채널들에 대하여 수행되는 회전 이동(38)에 의해, 광학 이미지 안정화기(22)가 이미지들에서 상이한 효과들을 달성하며, 그 결과 이미지들 중 적어도 하나, 여러개 또는 모두가 이론적인 결점-없는(defect-free) 상태에서 벗어난다는 것을 의미한다. 광학 이미지 안정화기(22)는 이미지들 모두의 편차들을 광역적으로 최소화하도록 구성될 수 있으나, 이는 이미지들 각각에서 결점들이 발생하도록 초래할 수 있다. 대안적으로, 기준 채널 또는 기준 이미지에서의 이미지가 가능한 정확하도록 ― 이는 또한 결점-없음으로 지칭될 수 있음 ―, 광학 이미지 안정화기(22)는 이미지 센서 영역들(24a-d) 중 하나에서 기준 이미지를 선택하고 액추에이터(42)를 제어하도록 구성될 수 있다. 이것은, 다른 채널들이 상이한 초점 길이들(f1 내지 f3)로 인해 상기 기준 이미지로부터 벗어나는 동안, 모든 채널들에 대하여 수행되는 광학 이미지 안정화에 의해, 채널이 영향받는 이미지 방향과 관련하여 결점-없는 상태로 유지될 수 있음을 의미한다. 다시 말해서, 채널은 구현되는 기계적 광학 이미지 안정화기에 의해 정정되며, 이는 채널들 모두에 영향을 줄 것이지만 모든 채널들 모두를 안정하게 유지하지는 않을 것이다. 상기 추가적인 채널들은 전자 이미지 안정화기에 의해 추가적으로 정정될 것이다.
예를 들어, 부분 시야들을 캡처하기 위한 광학 채널들(16a 및 16c)의 그룹에 대하여 그리고 전체 시야를 캡처하기 위한 광학 채널(16b)을 포함하는 그룹에 대하여, 광학 이미지 안정화기는 채널-특정 방식으로 광학 채널들에 대하여 그리고/또는 광학 채널들의 그룹들에 대하여 개별적으로 상대 이동들을 제공하도록 구성될 수 있다.
전자 이미지 안정화기(41)는 이미지 센서(12), 어레이(14) 및 빔-편향 수단(18) 사이의 상대 이동들에 의존하는 특정된 기능적 상관관계(functional correlation)에 따라서 각 채널에서 채널-특정 전자 이미지 안정화를 수행하도록 구성될 수 있다. 전자 이미지 안정화기(41)는 각 이미지를 개별적으로 안정화하도록 구성될 수 있다. 이를 위해, 전자 이미지 안정화기(41)는 이미지들의 광학 화질을 증가시키기 위해, 예를 들어, 카메라 이동 등과 같은, 광역 값들을 사용할 수 있다. 특히, 전자 이미지 안정화기(41)가 광학 이미지 안정화기(22)의 기준 이미지에 기초하여 전자 이미지 정정을 수행하도록 구성되는 것이 유리하다. 상이한 초점 길이들은 바람직하게는 선형 형태, 예를 들어, 수학식 1의 형태로 광학 이미지 안정화에 의해 야기되는 이미지들의 상이한 변화들 사이의 기능적 상관관계를 제공할 수 있다.
Figure pct00001
즉, 수차는 광역적으로 또는 기준 채널과 관련하여, 초점 길이 또는 초점 길이의 차이들의 함수로서 그리고 광학 이미지 안정화를 달성하거나 또는 비전 라인의 변경을 위해 수행되는 상대 이동의 함수로서 설명될 수 있다. 수행되는 전자 이미지 안정화에 대한 신뢰성있는 정보를 획득하기 위하여 그리고 기능적 상관관계를 이용하거나 및/또는 확립(establish)하기 위하여, 전자 이미지 안정화기(41)는 이미지 센서(12), 어레이(14) 및 빔-편향 수단(18) 사이의 상대 이동의 범위를 기준 채널과 관련하여 초점 길이들에서의 차이들 또는 초점 길이들(f1 내지 f3)로 연접시킬 수 있다. 광학 특성들 및/또는 기능적 상관관계의 필요한 데이터는 칼리브레이션(calibration) 중에 획득될 수 있다. 다른 이미지와 관련하여 이미지의 변위를 결정하기 위한 이미지들의 상호 정렬은 또한 부분 시야들의 이미지들에서의 매칭 피처, 예를 들어, 에지(edge) 윤곽들, 물체 크기들 등을 결정함으로써 실행될 수 있다. 이것은, 예를 들어, 전자 이미지 안정화기(41)에 의해 식별될 수 있으며, 전자 이미지 안정화기(41)는 제1 및 제2 이미지들에서 피처들의 이동들의 비교에 기초하여, 전자 이미지 안정화를 제공하도록 추가적으로 구성될 수 있다. 따라서 채널-특정 전자 이미지 안정화는 이미지 디테일들의 이동들의 채널-특정 이미지 평가에 실행될 수 있다.
상이한 이미지들과에 비교에 있어서, 대안적으로 또는 추가적으로 특히, 시간 간격을 두고 취해진 두 개의 픽처들 또는 프레임들과 관련하여, 동일한 이미지 내에서 피처의 비교를 수행하는 것 또한 가능하다. 전자 이미지 안정화기(41)는 제1 시점 및 제2 시점에서, 대응하는 부분 이미지에 있는 매칭 피처를 식별하도록 구성될 수 있고, 제1 이미지에서의 피처의 이동들의 비교에 기초하여 전자 이미지 안정화를 제공하도록 구성될 수 있다. 비교는, 예를 들어, 변위의 신장(stretch)을 나타낼 수 있으며, 피처는 상대 이동에 의해 상기 변위의 신장만큼 변위되었으며, 이미지 아티팩트를 적어도 부분적으로 정정하기 위해 이미지는 상기 변위의 신장만큼 다시 변위되어야 할 것이다.
광학 이미지 안정화기는 기준 채널의 이미징된 부분 시야의 이미지, 예를 들어, 이미지 센서 영역(24a)에서의 이미지를 안정화하기 위해 이용될 수 있다. 이것은 기준 채널이 완전하게 광학적으로 안정화될 수 있다는 것을 의미한다. 실시예들에 따르면, 복수의 광학 이미지 안정화들이 배치될 수 있으며, 상기 광학 이미지 안정화기들은 광학 채널들의 적어도 그룹들 예를 들어, 전체 시야를 이미징하기 위한 광학 채널과 같은 제1 초점 길이를 갖는 광학 채널 또는 광학 채널들 및 예컨대 부분 시야들을 이미징 하기 위한 제2 초점 길이를 갖는 광학 채널들에 대하여 광학 안정화를 제공한다. 대안적으로, 채널-특정 광학 이미지 안정화가 또한 제공될 수 있다. 전자 이미지 안정화기는, 예를 들어, 기준 채널과는 상이하고 이미지 센서 영역들(24b 및 24c)로 투영하는 광학 채널들에 대하여 채널-특정 방식으로 이미지 안정화를 수행하도록 구성된다. 다중-개구 이미징 디바이스는 배타적 광학 방식으로 기준 채널을 안정화시키도록 구성될 수 있다. 즉, 일 실시예에서, 기계적으로 달성되는 광학 이미지 안정화기만을 사용함으로써 충분한 이미지 안정화는 기준 채널에서 달성될 수 있다. 초점 길이에서의 차이들에 기인하는 불충분한 광학 이미지 안정화의 위에서 설명된 결과를 완전하게 또는 부분적으로 보상하기 위해, 다른 채널들에 대하여 추가적인 이미지 안정화가 존재할 것이며, 상기 전자 안정화는 각각의 채널에서 개별적으로 수행된다.
추가적인 실시예에 따르면, 다중-개구 이미징 디바이스의 각각의 채널에 대하여 개별적인 전자 이미지 안정화를 포함하는 것이 또한 가능하다. 개별적 채널들에서 구현될 이미지 변위들 사이에서의 특정된 기능적 상관관계가 이용되도록, 다중-개구 이미징 디바이스의 각각의 채널들에 대하여, 개별적으로, 즉, 전용 범위로, 수행되는 전자 이미지 안정화가 실행될 수 있다. 예를 들어, 채널 내에서의 방향(32)을 따른 변위는 상이한 이미지에서의 방향(32)을 따른 변위의 1.1배, 1.007배, 1.3배 또는 2 또는 5배에 이른다. 더욱이, 이 채널-특정 기능적 상관관계는 빔-편향 유닛 및/또는 어레이 및/또는 이미지 센서 사이의 상대 이동들에 의존할 수 있으며, 이러한 기능적 상관관계는 선형일 수 있거나 또는 이미지 방향을 따라 전자 이미지 안정화의 범위 상에 빔-편향 수단의 회전 각도를 이미징하는 각도 함수에 대응할 수 있다. 방향(28)에 대해 동일하거나 상이한 수치 값들을 갖는 동일한 상관관계가 획득될 수 있다.
모든 실시예들에 대해 적용되는 것은, 구현된 상대 이동들이, 예를 들어, 채널들의 하나, 여러개 또는 전부의 캡처된 이미지 데이터로부터 유도될 수 있거나 또는 자이로스코프들 등과 같은 대응하는 추가적인 센서들에 의해 캡처될 수 있다는 것이다. 상기 데이터 또는 정보는 광학 및/또는 전자 이미지 안정화기에 대하여 이용될 수 있으며, 즉, 다중-개구 이미징 디바이스는, 예를 들어, 센서로부터 센서 신호를 수신하고, 다중-개구 이미지 디바이스 및 물체 사이의 상대 이동과 상관되는 정보와 관련하여 센서 신호를 평가하고 상기 정보를 이용하면서 광학 및/또는 전자 이미지 안정화기를 제어하도록 구성된다.
광학 이미지 안정화기는 상이한 컴포넌트, 예를 들어, 방향(28)을 따른 안정화를 위한 어레이(14), 및 방향(32)을 따른 안정화를 위한 빔-편향 수단(18)의 회전(38)을 이동시킴으로써, 이미지 축들(28 및 32)을 따라 광학 이미지 안정화를 획득하도록 구성될 수 있다. 양쪽 모두의 경우들에서, 옵틱들(64a-c)에서의 차이들은 효과를 갖는다. 전자 이미지 안정화에 관한 이전 설명들은 양쪽 상대 이동들 모두에 대하여 구현될 수 있다. 특히, 서로 분리하여 방향들(28 및 32)을 고려하는 것은, 방향들(28 및 32)을 따른 옵틱들(64a-c) 사이의 상이한 편차들의 고려를 가능하게 한다.
본 명세서에 설명된 실시예들은 이미지 센서 영역들(24a-c)에서의 부분 이미지들에 대하여 이미지 축(28 및/또는 32)을 공유할 수 있다. 대안적으로, 방향들은 또한 상이할 수 있고 서로 변환될 수 있다.
도 9는 초점 수단(87)을 포함하는 추가적인 실시예에 따른 다중-개구 이미징 디바이스(90)의 개략적인 사시도를 도시한다. 이미지 센서 영역들(24a, 24b 및/또는 24c) 상으로 이미지들의 초점을 조정하기 위해, 초점 수단(87)은 하나 또는 그 이상의 액추에이터들(89a, 89b 및/또는 89c)을 포함할 수 있으며, 이들은 어레이(14) 및 이미지 센서(12) 사이 및/또는 빔-편향 수단(18) 및 어레이(14) 사이 및/또는 빔-편향 수단(18) 및 이미지 센서(12) 사이의 거리를 변경하도록 구성된다. 함께 이동가능하도록 하기 위해, 비록 옵틱들(64a, 64b 및 64c)이 공유된 캐리어 상에 배치되도록 도시되어있지만, 다른 채널들에서의 초점과 상이하도록 광학 채널(16b)에 대하여 초점을 조정하기 위해 적어도 옵틱(64b), 이미지 센서 영역(24b) 및/또는 빔-편향 영역(46b)이 개별적으로 이동될 수 있다. 즉, 초점 수단(87)이 광학 채널(16b)에 대한 상대 이동 및 제1 및 제2 광학 채널들(16a 및 16c)에 대한 상대 이동을 조정하도록 구성될 수 있으며, 그 결과 상기 상대 이동들은 서로 상이하게 된다.
초점 수단(87)은 광학 이미지 안정화기(22)와 결합될 수 있으며, 즉, 액추에이터들에 의해 초점 수단(87) 및 광학 이미지 안정화기(22) 양쪽에서 제공되는 이동은 광학 이미지 안정화의 목적 및 초점 맞추기 목적 모두를 위한 컴포넌트들 사이의 이동들을 제공하는 추가적으로 배치된 액추에이터들에 의해 그리고 또한 공유된 액추에이터에 의해 제공될 수 있다.
다시 말하면, 자동 초점(AF) 및 가능하게는 광학 이미지 안정화(OIS)를 위한 분리된 액추에이터들의 이용이 유리하다. 해상도 및 초점 길이와 관련하여 인접한 채널들의 가능하게는 상이한 아키텍처들 때문에, 채널-특정 동작이 채널-특정 조정의 획득을 가능하게 함으로써, 채널들 모두에서의 이미지 안정화 및/또는 자동 초점의 장점들이 획득될 수 있다. 예를 들어, 고 품질로 동일한 사항을 수행하기 위하여 커버된 상이한 이미지-측 거리들이 상이한 초점 길이들에서 자동 초점의 기능을 위한 초점 맞춤 목적들에 대하여 요구된다. 전체 시야를 캡처하도록 구성된 광학 채널이 임의의 빔-편향 수단 없이 구성되도록 대안적인 구조적 형태들이 구현될 수 있다.
도 10은 추가 실시예에 따른 다중-개구 이미징 디바이스(100)의 개략적인 사시도를 도시하며, 이미지 센서 영역들(24a 내지 24c)은 서로 상이하고 배향된, 즉, 서로에 대해 경사지는 적어도 두 개의 칩들 상에 배치된다. 이미지 센서 영역(24b)은 옵틱(64b)과 결합하여, 가능하게는 직접 전체 시야(70)에 대한 제1 비전 라인을 포함할 수 있다. 이미지 센서 영역들(24a 및 24c)은, 그들과 연관된 옵틱들(64a 및 64c)과 결합하여, 전자와 상이한 비전 라인을 포함할 수 있으며, 예를 들어, 방향 x를 따라 전자와 수직하며, 광학 경로들(26a 및 26c)은 빔-편향 수단(18)에 의해 부분 시야들(72a 및 72b)을 향하여 편향될 수 있다. 이것은 이전에 설명한 다중-개구 이미징 디바이스의 대안적인 구조적 형태를 나타낸다.
빔-편향 수단(18)의 이용은 특정 미러 크기 또는 편향 표면 영역 크기를 발생시킬 수 있으며, 결국 채널이(16b) 부분 시야들(72a 및 72b)보다 큰 전체 시야를 캡처해야 하기 때문에 이것은 부분 시야들을 캡처하기 위해 인접한 채널들에 대하여 보다 채널(24b)에 대해 더 클 수 있다. 상기 크기는 디바이스의 두께 방향을 따른, 예를 들어, z 방향을 따라, 크기의 증가를 초래할 수 있으며, 이는 몇몇 실시예들에서는 희망되지 않는다. 그러므로, 광학 경로(26b)가 전체 시야(70)를 향하여, 즉 임의의 편향없이, 직접 지향되면서, 빔-편향 수단(18)의 이용은 광학 경로들(26a 및 26c)만이 편향되도록 재구성될 수 있다.
다시 말해서, 중심 카메라 채널은 두 개의 편향된 높은-해상도 카메라 채널들 사이에서, 임의의 편향 미러들 없이, 즉, 전형적인 배향으로, 중심에 장착되며, 그 결과 중심 카메라 채널은 디바이스, 예를 들어, 전화기의 평면으로부터 직접적으로 외부를 향한다. 적어도 30%, 적어도 50% 또는 적어도 100%의 추가적인 채널들의 위에-기술된 더 높은 해상도에 대응하는, 예를 들어, 0.77 및/또는 1/1.3, 0.66 및/또는 1/1.5, 또는 0.5 및/또는 1/2의 값을 갖는 상대적으로 낮은 해상도에 기인하여 그리고 대응하는 더 짧은 초점 길이에 기인하여, 중앙 카메라 채널은, 이러한 스탠드-업(stand-up) 구성에서, z 방향을 따라 두 개의 바깥쪽 카메라 채널들이 누워있는(lying) 구성에서 갖는 높이와 대략적으로 동일한 설계 높이를 포함한다. 상기 솔루션은 가능하게는 중앙 채널(16b)의 비전 라인의 스위칭을 방지할 수 있지만, 이것은 또한 가능하게는 추가적인 카메라 채널들을 배치함으로써 보상될 수 있다. 자동 초점 기능 및/또는 광학 이미지 안정화의 배치는 액추에이터들을 개별적으로 배치함으로써 제공될 수 있다. 더하여 다시 말하면: 큰 시야 "1"은 짧은 초점 길이 및/또는 작은 양의 배율을 가지고 "스탠딩 업" 이미징될 수 있고, 더 작은 부분 시야 "2"는 더 긴 초점 길이 및/또는 더 큰 양의 배율을 가지고 "누워있는 위치 로 그리고 접힌 광학 경로를 통해" 이미징될 수 있고 개별적인 환경들에 가장 양호하게 적응될 수 있다. "2"가 길도록 설계되고, 더 작은 시야 때문에 더 작은 미러들을 요구하면서, "1"은 이미 짧게 디자인되었지만, 큰 시야를 가능하게 하며, 그러나 이는 또한 미러를 크게 만들 수 있다.
도 11은 추가적인 실시예에 따른 다중-개구 이미징 디바이스(110)의 개략적인 사시도를 도시하며, 이미지 센서(12)로부터의 초점 길이들(f1 및 f3)을 포함하는 옵틱들(64a 및 64c)의 거리(d1)는 옵틱(64b) 및 이미지 센서(12) 사이의 거리(d2)보다 크며, 옵틱(64b)은 초점 길이(f2)를 포함한다. 거리(d1 및/또는 d2)는 따라서 옵틱들(64a 내지 64c)의 초점 길이들로 적응될 수 있다. 빔-편향 수단(18)이 배치되면 빔-편향 수단(18)의 빔-편향 영역들(46a 내지 46c)은 개별적으로 제어될 수 있다.
도 12는 추가적인 실시예에 따른 디바이스(120)의 개략적인 사시도를 도시한다. 디바이스(120)는 이미지 센서 영역들(24a 및 24c)을 포함하는 이미지 센서(12)를 포함한다. 디바이스(120)는 추가적으로 광학 채널들(16a 및 16c)을 포함하는 어레이(14)를 포함한다. 위에-설명된 다중-개구 이미징 디바이스들과 관련하여 설명된 바와 같이, 각각의 광학 채널들(16a 및 16c) 각각은 전체 시야(70)의 부분 시야(72a 및 72b)를 각각 이미징하기 위한 옵틱(64a 및 64c)을 각각 변경없이 포함한다. 단순화된 조건으로, 이미지 센서(12) 및 어레이(14)는 전체 시야를 이미징하기 위한 광학 채널이 없이 구성될 수 있다. 디바이스(120)은 이미지 센서(12)로부터의 부분 시야들(72a 및 72b)과 관련한 이미지 정보를 획득하도록 구성되는 계산 유닛(33)을 포함한다. 계산 유닛(33)은 추가적으로 전체 시야(70)의 이미지 정보를 포함하는 신호(91)를 획득하도록 구성된다. 전체 시야(70)의 결합된 이미지 정보(61)를 획득하기 위해, 계산 유닛(33)은 부분 시야들(72a 및 72b)의 이미지 정보와 전체 시야(70)의 이미지 정보(91)를 결합하도록 구성될 수 있다.
단순화된 조건으로, 디바이스(120)는 기존 카메라 디바이스에 대하여 추가적인 모듈일 수 있고, 카메라 디바이스로부터, 캡처된 전체 시야와 관련된 이미지 신호를 획득하도록 구성될 수 있다. 상기 카메라 디바이스는 임의의 카메라일 수 있다. 따라서 품질을 향상시키기 위하여 획득된 이미지 신호(91)가 추가적으로 캡처된 부분 시야들(72a 및 72b)과 중첩된다는 점에서 디바이스(120)는 외부 디바이스의 해상도를 증가시키도록 구성될 수 있다.
계산 유닛(22)은 본 명세서에 설명된 다중-개구 이미징 디바이스들과 관련하여 설명된 바와 같이 동일한 기능을 제공하도록 구성될 수 있다. 이것은 디바이스(120)가 제1 이미지 해상도에서 이미지 정보(91)를 획득하고 더 높은 해상도에서 부분 시야들(72a 및 72b)과 관련된 이미지 정보를 획득하도록 구성될 수 있다는 것을 의미한다. 결합된 이미지 정보(61)는 더 높은 해상도 또는 이미지 신호(91)의 해상도보다 적어도 더 높은 해상도를 포함할 수 있다. 제1 및 제2 이미지 방향들을 따라, 이미지 신호(91)의 해상도는 위에-설명된 20%, 10% 또는 0%의 허용오차 범위 내에서, 0.77, 0.66, 및/또는 1/2 값이 곱해진 이미지 센서 영역들(24a 및 24c)의 해상도에 대응하거나 또는 이보다 작을 수 있다.
계산 유닛(33)은 추가적으로 도 5와 관련하여 설명된 바와 같이, 블록단위로 상기 이미지 연관을 수행하도록 구성될 수 있다. 이것은 또한 계산 유닛(33)이 연관 기준, 예를 들어, 유사성 분석, 에지 비교 등을 수행하고 연관성 기준이 충족되는 경우에만 블록들의 결합을 수행함을 의미할 수 있다. 연관 기준이 충족되지 않으면, 평가된 블록에서 블록들의 결합이 수행되지 않도록 결합된 이미지 정보는 계산 유닛(33)에 의해 제공될 수 있다.
계산 유닛(33)은 전체 시야(7)의 이미지 정보에 기초하여 부분 시야들(72a 및 72b)의 이미지 정보의 스티칭을 수행하도록 구성될 수 있다. 이미지 정보만이 평가되기 때문에, 전체 시야(70)에 관한 이미지 정보가 시스템 자체의 이미지 센서(12)로부터 또는 외부 디바이스의 이미지 센서로부터 획득되는지 여부는 계산 유닛(33)과 무관할 수 있다.
다중-개구 이미징 디바이스들에 대하여 설명된 바와 같이, 전체 시야를 캡처하기 위한 채널의 비전 라인 및 제1 부분 시야의 이미지 사이의 제1 디스패리티 및/또는 전체 시야의 이미지 및 제2 부분 시야의 이미지 사이의 제2 디스패리티를 이용하면서, 계산 유닛은 전체 시야의 이미지 정보에 대하여 깊이 맵을 생성하도록 구성될 수 있다. 비록 전체 시야가 상이한 카메라에 의해 캡처되었지만, 특히 디바이스가 이미지 신호(91)를 제공하는 디바이스와 함께 칼리브레이션되는 경우에, 디스패리티가 평가될 수 있도록 전체 시야는 전체 시야를 향하는 비전 라인을 포함한다.
위에 설명된 바와 같이, 부분 시야들의 이미지 정보를 배타적으로 이용함으로써, 계산 유닛(33)은 부분 시야들(72a 및 72b)의 부분 이미지들의 오버랩 영역에서 깊이 맵을 생성하도록 구성될 수 있다.
디바이스(120)는, 제1 및 제2 방향들, 예를 들어, 이미지 방향들(28 및 32)을 따라 이미지 센서(12) 및 어레이(14) 사이의 상대 이동을 생성함으로써 광학 이미지 안정화를 제공하도록 구성되는 광학 이미지 안정화기, 예를 들어, 광학 이미지 안정화기(22)를 포함할 수 있다. 대안적으로 또는 추가적으로, 디바이스(120)는 디바이스(120)의 초점을 조정하기 위해 초점 수단, 예를 들어, 초점 수단(87)을 포함할 수 있다. 이것은 광학 채널들(16a 및 16b)의 옵틱들(64a 및 64b) 중 적어도 하나와 이미지 센서(12) 사이의 상대 이동을 생성함으로써 수행될 수 있다.
도 13은 일 실시예에 따른 보충 디바이스(130)의 개략적인 사시도를 도시한다. 보충 디바이스(130)는 카메라 또는 이미지 캡처 디바이스(93)를 보충하도록 구성될 수 있으며, 카메라 또는 이미지 캡처 디바이스(93)는 이미지 신호(91)를 생성하고 이를 보충 디바이스(130)에 제공되도록 구성될 수 있다. 예를 들어, 보충 디바이스(130)는 디바이스(120)를 포함하고 카메라(93)와 커플링되도록 구성된다. 따라서, 보충 디바이스(130)는 카메라(93)의 이미지 프로세싱을 보충 또는 확장하도록 구성된다. 이것은 또한, 예를 들어, 기존 시스템에 대한 해상도를 부스트(boost)들로서 한 쌍의 외부 채널들을 제공하는 애드-온(add-on) 디바이스로 이해될 수 있다. 이것은 위에-설명된 중앙 채널이 기존 카메라 모듈일 수 있으며, 예를 들어, 모바일 폰의, 공급자가(supplier) 상기 카메라 모듈을 이해하며, 상기 카메라 모듈에 대하여 확립된 공급 체인이 존재함을 의미한다. 옵틱들(64a 및 64c)을 포함하는 외부 채널들은 전자(중앙 채널) 주변에 또는 옆에 설치된 추가적인 모듈들이다. 접힌 광학 경로가 남아있을 수 있으며, 그리하여 설계 높이가 기존 카메라 모듈에 맞게 조정된다. 비록, 전체 시스템의 설계 높이가 카메라 모듈(33)보다 얇지는 않을 것이라도, 추가적인 모듈에 의해 해상도를 증가시킴으로써 설계 높이의 증가는 또한 회피될 수 있다. 대신, 외부 채널들은 함께 내부 모듈보다 더 큰 센서 영역을 가진다. 만약 픽셀들의 크기가 동일하다면, 그리하여 상기 모듈은 더 높은 전체 해상도 및, 결과적으로, 더 세밀한 각 해상도를 가질 것이다. 그러므로, 이것은 카메라(93)와 비교하여 해상도를 증가시키는데 사용될 수 있다. 실시예들에서, 임의의 컬러 필터들 없이 센서들이 여기에 또한 구성될 수 있다. 이것은 단일-컬러 휘도 정보를 가지는 이미징된 제1 및 제2 부분 시야들의 이미지 정보가 제공될 수 있음을 의미한다. 추가 모듈은, 반드시 그럴 필요는 없더라도, 카메라(93)의 카메라 모듈 주위에 대칭적으로 조립될 수 있다. 예를 들어, 대각선 또는 비대칭과 같은 다른 형태의 어셈블리가 또한 착안될 수 있고 이미지 프로세싱을 통해 보상될 수 있다. 깊이 맵들은 변경없이 생성될 수 있으며, 광학 및/또는 전자 이미지 안정화뿐만 아니라 자동 초점도 제공될 수 있다.
도 14는, 예를 들어, 디바이스(120)와 같은 실시예에 따른 디바이스를 제공하기위한 방법(1400)의 개략적인 흐름도를 도시한다. 단계(1410)는 이미지 센서를 제공하는 단계를 포함한다. 단계(1420)는 광학 채널들의 어레이를 배치하는 단계를 포함하며, 그 결과 각각의 광학 채널은 이미지 센서의 이미지 센서 영역 상에 전체 시야의 적어도 하나의 부분 시야를 투영하기 위한 옵틱을 포함하고, 어레이의 제1 광학 채널은 전체 시야의 제1 부분 시야를 이미징하도록 구성되고, 그리고 어레이의 제2 광학 채널은 전체 시야의 제2 부분 시야를 이미징하도록 구성된다. 전체 시야의 결합된 이미지 정보를 생성하기 위해, 계산 유닛이 이미징된 부분 시야들에 기초하여 제1 및 제2 부분 시야들의 이미지 정보를 획득하고 전체 시야의 이미지 정보를 획득하고 부분 시야들의 이미지 정보와 전체 시야들의 이미지 정보를 결합하게 구성되도록, 단계(1430)는 계산 유닛을 배치하는 단계를 포함한다.
도 15는 일 실시예에 따른 다중-개구 이미징 디바이스, 예를 들어, 다중-개구 이미징 디바이스(10)를 제공하기 위한 방법(1500)의 개략적인 흐름도를 도시한다. 단계(1510)는 이미지 센서를 제공하는 단계를 포함한다. 단계(1520)는 광학 채널들의 어레이를 배치하는 단계를 포함하며, 그 결과 각각의 광학 채널은 이미지 센서의 이미지 센서 영역 상에 전체 시야의 적어도 하나의 부분 시야를 투영하기 위한 옵틱을 포함하고, 어레이의 제1 광학 채널은 전체 시야의 제1 부분 시야를 이미징하도록 구성되고, 어레이의 제2 광학 채널은 전체 시야의 제2 부분 시야를 이미징하도록 구성되고, 제3 광학 채널은 전체 시야를 완전하게 이미징하도록 구성된다.
본 명세서에 설명된 실시예들은 스티칭 프로세스를 단순화하기 위해 저-해상도 이미지가 여전히 고-해상도 이미지의 스티칭을 지원하기 위해 선험적으로 사용된다는 이점을 제공한다. 이것은 카메라의 중심 배치 및 중심배치 주위의 다른 채널들의 대칭 배치로 인해 깊이 맵에서 덜 드러나는 엄폐의 예들을 허용한다. 이것은 또한 최종 결합된 이미지에서의 더 적은 아티팩트들을 초래한다. 요구되는 범위로 해상도를 감소시키기 위하여, 가능하게는 픽셀들의 비닝(binning) 또는 스키핑을 이용하면서, 임의의 컴퓨팅 비용 없이, 라이브 뷰(live view)는 중앙 채널로부터 직접 획득될 수 있지만, 상기 중앙 채널이 전체 FOV를 커버하기 때문에 정확한 종횡비에서의 완전하게 시야가 중앙 채널로부터 이미 획득될 수 있다. 비디오는 임의의 컴퓨팅 비용없이 중앙 채널로부터 직접 도출될 수 있으며, 이는 이미지들의 도출에서 유추하여 수행될 수 있다. 단지 3개의 채널들, 즉, 부분 시야들을 캡처하기 위한 광학 채널들의 그룹의 이용은 2개의 부분 시야들을 정확하게 캡처하기 위한 광학 채널들을 포함하며, 더 적은 개수의 컴포넌트들, 더 적은 개수의 센서들, 작은 데이터 전송 대역폭 및 디바이스 또는 다중-개구 이미징 디바이스의 작은 볼륨을 가능하게 한다.
본 명세서에 설명된 실시예들은 알려진 솔루션들과 비교하여 본 명세서에 설명된 장점들을 제공하면서, 최소 설계 높이들 및 선형 채널 배치를 구비하는 다중-개구 이미징 시스템들에서 또는 다중-개구 이미징 시스템들로서 이용될 수 있다.
몇몇 설명들은 상/하 또는 좌/우와 같은 상대 방향과 관련된다. 만약, 공간적인 배향이 변경되면, 상기 방향들은 요구되는대로 상호 변경가능할 수 있음을 이해해야 한다. 그렇기 때문에 용어들은 제한하는 것으로 간주되어서는 안되고 단지 명확성을 향상시키기 위한 것으로 의도된다.
몇몇의 양샹들이 디바이스의 맥락에서 설명되었지만 언급된 양상들은 또한 대응하는 방법의 설명을 나타낸 것으로 이해되어야 하며, 그 결과 디바이스의 블록 또는 구조적 컴포넌트는 또한 대응하는 방법 단계 또는 방법 단계의 특징으로서 이해되어야 한다. 이와 유사하게, 방법 단계로서 또는 방법 단계의 맥락 내에서 설명된 양상들은 또한 대응하는 디바이스의 대응하는 블록 또는 상세 또는 특징의 설명을 나타낸다.
위에-설명된 실시예들은 단지 본 발명의 원리들의 예시를 나타낸다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진자는 본 명세서에 설명된 배치들 및 세부 사항들의 수정들 및 변형들을 이해할 것이다. 이것이 본 발명이 실시예들의 논의 및 설명에 의해 본 명세서에 제시된 특정 세부 사항들에 의해서보다는 다음의 청구항들의 범위에 의해서만 제한되는 것으로 의도되는 이유이다.

Claims (51)

  1. 디바이스로서,
    이미지 센서(12);
    광학 채널들(16a-b)의 어레이(14) ― 각각의 광학 채널(16a-b)은 상기 이미지 센서(12)의 이미지 센서 영역(24a-b) 상에 전체 시야(70)의 부분 시야(72a-b)를 투영(project)하기 위한 옵틱(optic)(64a-b)을 포함하고, 상기 어레이(14)의 제1 광학 채널(16a)은 상기 전체 시야(70)의 제1 부분 시야(72a)를 이미징하도록 구성되고, 상기 어레이(14)의 제2 광학 채널(16b)은 상기 전체 시야(70)의 제2 부분 시야(72b)를 이미징하도록 구성됨 ― ; 및
    상기 전체 시야의 결합된 이미지 정보(61)를 생성하기 위해, 이미징된 부분 시야들(72a-b)에 기초하여 상기 제1 및 제2 부분 시야들의 이미지 정보를 획득하고, 상기 전체 시야(70)의 이미지 정보를 획득하고, 상기 전체 시야의 이미지 정보와 상기 부분 시야들의 이미지 정보를 결합하도록 구성되는 계산 유닛(33)
    을 포함하는, 디바이스.
  2. 제1항에 있어서,
    상기 제1 및 제2 광학 채널들(16a-b)은 각각 상기 전체 시야(70)의 하나의 부분 시야를 이미징하도록 구성된 광학 채널들의 그룹의 일부이며, 상기 광학 채널들의 그룹은 상기 전체 시야(70)를 공동으로(jointly) 완전하게(fully) 이미징하도록 구성되는, 디바이스.
  3. 제2항에 있어서,
    상기 광학 채널들의 그룹은 두 개의 부분 시야들(72a-b)을 정확하게 캡처하도록 구성되는, 디바이스.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 제1 및 제2 부분 시야들의 상기 이미지 정보를 나타내는, 제1 부분 이미지 및 제2 부분 이미지는, 제1 이미지 방향(32)을 따라, 상기 전체 시야(70)의 상기 이미지 정보를 나타내는 전체 이미지와 동일한 치수(dimension)를 포함하고, 제2 이미지 방향(28)을 따라, 상기 전체 이미지와 비교하여 상이한 치수를 포함하는, 디바이스.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    단일-컬러(single-color) 휘도 정보를 갖는 상기 이미징된 제1 및 제2 부분 시야들의 상기 이미지 정보를 제공하도록 구성되는, 디바이스.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    제1 스캐닝 정도(degree)(b x c)를 갖는 상기 전체 시야(70)의 상기 이미지 정보를 획득하고, 상기 제1 스캐닝 정도(b x c)보다 더 큰 제2 스캐닝 정도(b x a)를 갖는 상기 제1 또는 제2 부분 시야(72a-b)의 상기 이미지 정보를 획득하고, 그리고 상기 제1 스캐닝 정도보다 더 큰 제3 스캐닝 정도를 갖는 상기 전체 시야(70)의 상기 결합된 이미지 정보를 제공하도록 구성되는, 디바이스.
  7. 제6항에 있어서,
    상기 제2 스캐닝 정도(b x c)는, 제1 및 제2 이미지 방향들(28, 32)을 따라, 상기 제1 스캐닝 정도보다 적어도 30% 더 큰, 디바이스.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    제1 및 제2 이미지 블록들을 결합함으로써, 상기 결합된 이미지 정보에서 상기 전체 시야(70)의 상기 이미지 정보의 스캐닝 정도를 증가시키기 위해, 상기 계산 유닛(33)은 상기 부분 시야들의 상기 이미지 정보 및 상기 전체 시야(70)의 상기 이미지 정보를 이미지 블록들(63a, 63b)로 서브-분할(subdivide)하고, 블록 단위로, 상기 전체 시야의 제1 이미지 블록(63c) 내에 포함된 이미지 정보(x, *, #)를 상기 제1 또는 제2 부분 시야들의 제2 이미지 블록(63a, 63b)의 매칭 이미지 정보와 연관시키도록 구성되는, 디바이스.
  9. 제8항에 있어서,
    상기 계산 유닛은(33), 연관 기준(association criterion)이 충족되는 경우에만 조합을 수행하도록, 상기 연관 기준을 적용하면서, 상기 제1 블록(63c)을 상기 제2 블록(63a, 63b)에 연관시키고, 상기 연관 기준이 충족되지 않는 경우에는 임의의 조합 없이 상기 제1 블록(63c4) 내에 상기 전체 시야(70)의 상기 결합된 이미지 정보(61)를 제공하도록 구성되는, 디바이스.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 계산 유닛(33)은 상기 전체 시야(70)의 상기 이미지 정보에 기초하여 상기 부분 시야들(72a-b)의 상기 이미지 정보의 스티칭(stitching)을 수행하도록 구성되는, 디바이스.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 계산 유닛(33)은 상기 제1 부분 시야(72a)의 이미지 및 상기 전체 시야(70)의 이미지 사이의 제1 디스패리티(disparity)(83a) 및 상기 제2 부분 시야(72b) 이미지 및 상기 전체 시야(70)의 이미지 사이의 제2 디스패리티(83b)를 이용하면서 상기 전체 시야(70)의 상기 이미지 정보를 위한 깊이 맵(depth map)을 생성하도록 구성되는, 디바이스.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    상기 부분 시야들(72a-b)은 상기 전체 시야(70) 내의 오버랩 영역(73; 73a-e) 내에서 오버랩되며, 상기 계산 유닛(33)은 상기 제1 및 제2 부분 시야들(72a-b)의 상기 이미지 정보를 이용하면서 상기 오버랩 영역(73; 73a-e) 내에서 상기 전체 시야(70)의 상기 이미지 정보를 위한 깊이 맵을 생성하도록 구성되는, 디바이스.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    상기 어레이(14) 및 상기 이미지 센서(12) 사이에 제1 상대 이동(34; 39a)을 생성함으로써 제1 이미지 축(28)을 따라 이미지 안정화를 위한 그리고 상기 이미지 센서(12) 및 상기 어레이(14) 사이에 제2 상대 이동(38; 39b)을 생성함으로써 제2 이미지 축(32)을 따라 이미지 안정화를 위한 광학 이미지 안정화기(22)를 포함하는, 디바이스.
  14. 제1항 내지 제13항 중 어느 한 항에 있어서,
    상기 디바이스의 초점을 조정하기 위한 적어도 하나의 액추에이터(134b)를 포함하는 초점 수단을 더 포함하며, 상기 액추에이터(134b)는 상기 이미지 센서(12) 및 광학 채널들(16a-b) 중 하나의 광학 채널의 적어도 하나의 옵틱(64a-b) 사이에 상대 이동을 제공하도록 구성되는, 디바이스.
  15. 제1항 내지 제14항 중 어느 한 항에 따른 디바이스를 포함하고, 카메라로부터 상기 전체 시야(70)의 상기 이미지 정보를 획득하기 위해 상기 카메라에 커플링도록 구성되는, 보충 디바이스.
  16. 다중-개구 이미징(multi-aperture) 디바이스(10; 30; 60; 70; 80; 90)로서,
    이미지 센서(12); 및
    광학 채널들(16a-b)의 어레이(14) ㅡ 각각의 광학 채널(16a-b)은 상기 이미지 센서(12)의 이미지 센서 영역(24a-c) 상에 전체 시야(70)의 적어도 하나의 부분 시야(72a-b)를 투영하기 위한 옵틱(64a-c)을 포함함 ㅡ 를 포함하며,
    상기 어레이(14)의 제1 광학 채널(16a)은 상기 전체 시야(70)의 제1 부분 시야(72a)를 이미징하도록 구성되며, 상기 어레이(14)의 제2 광학 채널(16b)은 상기 전체 시야(70)의 제2 부분 시야(72b)를 이미징하도록 구성되며, 그리고 제3 광학 채널(16c)은 상기 전체 시야(70)를 완전하게 이미징하도록 구성되는, 다중-개구 이미징 디바이스.
  17. 제16항에 있어서,
    상기 제1 및 제2 광학 채널들(16a-b)의 광학 경로(26a-b)를 공동으로 편향(deflect)시키기 위한 빔-편향 수단(18)을 포함하는, 다중-개구 이미징 디바이스.
  18. 제16항 또는 제17항에 있어서,
    상기 어레이(14)에서 상기 제1 및 제2 부분 시야들을 캡처하기 위한 옵틱들(64a, 64c)의 배치는 상기 전체 시야(70)를 이미징 하기 위한 상기 옵틱(64b)의 위치와 관련하여 대칭적이며, 또는
    상기 제1 및 제2 부분 시야들(72a-b)을 이미징하기 위한 이미지 센서 영역들(24a, 24c)의 배치는 상기 전체 시야(70)를 이미징하기 위한 상기 이미지 센서 영역(24b)의 위치와 관련하여 대칭적인, 다중-개구 이미징 디바이스.
  19. 제16항 내지 제18항 중 어느 한 항에 있어서,
    상기 전체 시야(70)의 이미지 포맷은 상기 이미징된 제1 부분 시야(72a) 및 이미징된 제2 부분 시야(72b)의 리던던시-없는(redundancy-free) 조합에 대응되는, 다중-개구 이미징 디바이스.
  20. 제16항 내지 제19항 중 어느 한 항에 있어서,
    상기 전체 시야(70)의 결합된 이미지 정보(61)를 생성하기 위해 상기 이미징된 부분 시야들(72a-b)에 기초하여 상기 제1 및 제2 부분 시야들의 이미지 정보를 획득하고, 상기 이미징된 전체 시야(70)의 기초하여 상기 전체 시야(70)의 이미지 정보를 획득하고, 상기 부분 시야들의 상기 이미지 정보를 상기 전체 시야(70)의 상기 이미지 정보와 결합시키도록 구성된 계산 유닛(33)을 포함하는, 다중-개구 이미징 디바이스.
  21. 제20항에 있어서,
    제1 및 제2 이미지 블록들을 결합함으로써, 상기 결합된 이미지 정보에서 상기 전체 시야(70)의 상기 이미지 정보의 스캐닝 정도를 증가시키기 위해, 상기 계산 유닛(33)은 상기 부분 시야들의 상기 이미지 정보 및 상기 전체 시야(70)의 상기 이미지 정보를 이미지 블록들로 서브-분할하고, 블록 단위로, 상기 전체 시야(70)의 제1 이미지 블록 내에 포함된 이미지 정보를 상기 제1 또는 제2 부분 시야들의 제2 이미지 블록의 매칭 이미지 정보와 연관시키도록 구성되는, 다중-개구 이미징 디바이스.
  22. 제21항에 있어서,
    상기 계산 유닛(33)은, 연관 기준이 충족되는 경우에만 조합을 수행하도록 상기 연관 기준을 적용하면서, 상기 제1 블록을 상기 제2 블록에 연관시키고, 상기 연관 기준이 충족되지 않는 경우에는 임의의 조합 없이 상기 제1 블록 내에 상기 전체 시야(70)의 상기 결합된 이미지 정보(61)를 제공하도록 구성되는, 다중-개구 이미징 디바이스.
  23. 제20항 내지 제22항 중 어느 한 항에 있어서,
    상기 계산 유닛(33)은 상기 전체 시야(70)의 상기 이미지 정보에 기초하여 상기 부분 시야들의 상기 이미지 정보의 스티칭을 수행하도록 구성되는, 디바이스.
  24. 제20항 내지 제23항 중 어느 한 항에 있어서,
    상기 제1 부분 시야의 이미지 및 상기 전체 시야(70)의 이미지 사이의 제1 디스패리티(83a) 및 상기 제2 부분 시야의 이미지 및 상기 전체 시야(70)의 이미지 사이의 제2 디스패리티(83b)를 이용하면서 상기 전체 시야(70)의 상기 이미지 정보를 위한 깊이 맵을 생성하도록 구성되는, 다중-개구 이미징 디바이스.
  25. 제20항 내지 24항 중 어느 한 항에 있어서,
    상기 부분 시야들은 상기 전체 시야(70) 내의 오버랩 영역 내에서 오버랩하며, 상기 계산 유닛(33)은 상기 제1 및 제2 부분 시야들의 상기 이미지 정보를 이용하면서 상기 오버랩 영역 내에서 상기 전체 시야(70)의 상기 이미지 정보를 위한 깊이 맵을 생성하도록 구성되는, 다중-개구 이미징 디바이스.
  26. 제20항 내지 제25항 중 어느 한 항에 있어서,
    상기 센서로부터 제1 스캐닝 정도를 갖는 상기 전체 시야(70)의 상기 이미지 정보를 획득하고, 상기 센서로부터 상기 제1 스캐닝 정도보다 더 큰 제2 스캐닝 정도를 갖는 상기 제1 또는 제2 부분 시야의 상기 이미지 정보를 획득하고, 그리고 상기 제1 스캐닝 정도보다 더 큰 제3 스캐닝 정도를 갖는 상기 전체 시야(70)의 상기 결합된 이미지 정보를 제공하도록 구성되는, 다중-개구 이미징 디바이스.
  27. 제26항에 있어서,
    상기 제2 스캐닝 정도는, 제1 및 제2 이미지 방향들을 따라, 상기 제1 스캐닝 정도보다 적어도 30% 더 큰, 디바이스.
  28. 제16항 내지 제27항 중 어느 한 항에 있어서,
    제1 이미지 해상도에서 상기 이미지 센서로부터 상기 제3 광학 채널에 의해 캡처된 상기 전체 시야(70)의 이미지 정보를 획득하도록 구성되며, 상기 다중-개구 이미징 디바이스는 디스플레이 수단을 포함하고, 상기 이미지 정보를 최대 제1 이미지 해상도에서 디스플레이하도록 구성되는, 다중-개구 이미징 디바이스.
  29. 제28항에 있어서,
    상기 전체 시야(70)의 연속적인 이미지들에 기초하여 상기 전체 시야(70)의 비디오 신호를 상기 디스플레이 수단을 통해 출력하도록 구성되는, 다중-개구 이미징 디바이스.
  30. 제16항 내지 제29항 중 어느 한 항에 있어서,
    상기 광학 채널들(16a-c)의 광학 경로(26a-c)의 공유된 편향을 위한 빔-편향 수단(18)을 포함하고, 상기 이미지 센서(12), 상기 어레이(14) 및 상기 빔-편향 수단(18) 사이에 제1 상대 이동을 생성함으로써 제1 이미지 축(28)을 따라 이미지 안정화를 위한 그리고 상기 이미지 센서(12), 상기 어레이(14) 및 상기 빔-편향 수단(18) 사이에 제2 상대 이동(38)을 생성함으로써 제2 이미지 축(32)을 따라 이미지 안정화를 위한 광학 이미지 안정화기(22)를 포함하는, 다중-개구 이미징 디바이스.
  31. 제30항에 있어서,
    상기 광학 이미지 안정화기(22)는 상기 제1 및 제2 광학 채널들에 대하여 제1 상대 이동을 제공하고 상기 제3 광학 채널에 대하여 제2 상대 이동을 제공하도록 구성되는, 다중-개구 이미징 디바이스.
  32. 제30항 또는 제31항에 있어서,
    상기 제1 상대 이동은 상기 이미지 센서(12) 및 상기 어레이(14) 사이의 병진 상대 이동, 상기 이미지 센서(12) 및 상기 빔-편향 수단(18) 사이의 병진 상대 이동 및 상기 어레이(14) 및 상기 빔-편향 수단(18) 사이의 병진 상대 운동 중 적어도 하나를 포함하고, 상기 제2 상대 이동(38)은 상기 빔-편향 수단(18)의 회전 이동, 상기 이미지 센서(12) 및 상기 어레이(14) 사이의 병진 상대 이동, 및 상기 어레이(14) 및 상기 빔-편향 수단(18) 사이의 병진 상대 이동 중 적어도 하나를 포함하는, 다중-개구 이미징 디바이스.
  33. 제30항 내지 제32항 중 어느 한 항에 있어서,
    상기 제1 및 제2 이미지 축들(28, 32)을 따라 상기 어레이(14)의 상기 제1 광학 채널(16a)의 이미지 안정화를 위한 전자 이미지 안정화기(41)를 더 포함하는, 다중-개구 이미징 디바이스.
  34. 제33항에 있어서,
    상기 전자 이미지 안정화기(41)는 상기 제1 및 제2 이미지 축들(28, 32)을 따라 제1 범위로 상기 제1 광학 채널(16a)을 안정화시키도록 구성되고, 상기 제1 및 제2 이미지 축들(28, 32)을 따라 제2 범위로 상기 제2 광학 채널(16c)의 이미지 안정화를 위해 추가적으로 구성되는, 다중-개구 이미징 디바이스.
  35. 제33항 또는 제34항에 있어서,
    상기 광학 이미지 안정화기(22)는 광학 이미지 안정화가 상기 부분 시야들(72a-b) 중 제1 부분 시야의 이미지와 관련되도록 상기 광학 이미지 안정화를 수행하도록 구성되며, 상기 전자 이미지 안정화기(41)는 상기 제1 부분 시야(72a-b)의 이미지와 관련하여 제2 부분 시야(72a-b)의 이미지를 안정화 하도록 구성되는, 다중-개구 이미징 디바이스.
  36. 제33항 내지 제35항 중 어느 한 항에 있어서,
    상기 광학 이미지 안정화기(22)는 상기 제1 광학 채널(16a) 및 상기 제2 광학 채널(16c)을 포함하는 그룹으로부터 기준 채널의 상기 이미징된 부분 시야(72a-b)의 이미지를 안정화시키도록 구성되고, 상기 전자 이미지 안정화기(41)는 상기 기준 채널과는 상이한 광학 채널들(16a-c)에 대해서 채널-특정(channel-specific) 방식으로 이미지 안정화를 실행하도록 구성되며, 상기 다중-개구 이미징 디바이스는 배타적인(exclusively) 광학 방식으로 상기 기준 채널을 안정화시키도록 구성되는, 다중-개구 이미징 디바이스.
  37. 제33항 내지 제36항 중 어느 한 항에 있어서,
    상기 전자 이미지 안정화기(41)는 각각의 광학 채널(16a-c)에 대해서 채널-특정 방식으로 이미지 안정화를 수행하도록 구성되는, 다중-개구 이미징 디바이스.
  38. 제37항에 있어서,
    상기 전자 이미지 안정화기(41)는 상기 이미지 센서(12), 상기 어레이(14) 및 상기 빔-편향 수단(18) 사이의 상대 이동들에 의존하는 특정된 기능적 상관관계(functional correlation)에 따라 각각의 채널에서 채널-특정 전자 이미지 안정화를 수행하도록 구성되는, 다중-개구 이미징 디바이스.
  39. 제38항에 있어서,
    상기 기능적 상관관계는 선형 함수인, 다중-개구 이미징 디바이스.
  40. 제33항 내지 제39항 중 어느 한 항에 있어서,
    상기 광학 이미지 안정화기(22)는 빔-편향 수단(18)의 회전 이동(38)에 기초하여 상기 이미지 방향들(28, 32) 중 하나를 따라 광학 이미지 안정화를 제공하도록 구성되며, 상기 기능적 상관관계는 상기 이미지 방향(28, 32)을 따라 상기 전자 이미지 안정화의 범위 상으로 상기 빔-편향 수단(18)의 회전 각도를 투영하는 각도 함수인, 다중-개구 이미징 디바이스.
  41. 제33항 내지 제40항에 중 어느 한 항에 있어서,
    상기 전자 이미지 안정화기(41)는 제1 시점 및 제2 시점에서 제1 부분 시야(72a-b)의 제1 부분 이미지에 있는 매칭 피처(matching feature)를 식별하고, 상기 제1 이미지에서 상기 피처의 이동들의 비교에 기초하여 전자 이미지 안정화를 제공하도록 구성되는, 다중-개구 이미징 디바이스.
  42. 제16항 내지 제41항 중 어느 한 항에 있어서,
    상기 디바이스의 초점을 조정하기 위한 적어도 하나의 액추에이터(89a-b)를 포함하는 초점 수단(87)을 더 포함하며, 상기 액추에이터는 상기 이미지 센서(12) 및 광학 채널들(16a-c) 중 하나의 광학 채널의 적어도 하나의 옵틱(64a-c) 사이에 상대 이동을 제공하도록 구성되는, 디바이스.
  43. 제42항에 있어서,
    상기 초점 수단(87)은 상기 제1 및 제2 광학 채널들(16a, 16c)에 대한 제3 상대 이동을 제공하고 상기 제3 광학 채널(16b)에 대한 제4 상대 이동을 제공하도록 구성되는, 다중-개구 이미징 디바이스.
  44. 제16항 내지 제43항 중 어느 한 항에 있어서,
    상기 이미지 센서 영역들은 라인 연장 방향(35)을 따라 상기 이미지 센서(12) 상에 배치되고, 상기 이미지 센서 영역들(24a-c)은 상기 라인 연장 방향에 대해 수직한 이미지 방향(32)을 따라 20%의 허용오차(tolerance) 범위 내에서 동일한 치수들을 나타내는, 다중-개구 이미징 디바이스.
  45. 제16항 내지 제44항 중 어느 한 항에 있어서,
    상기 제1 및 제2 광학 채널들(16a, 16c)은 각각 상기 전체 시야(7)의 부분 시야(72a-c)를 이미징 하도록 구성된 광학 채널들의 그룹의 일부이며, 상기 광학 채널들의 그룹은 상기 전체 시야(70)를 공동으로 완전하게 이미징하도록 구성되는, 다중-개구 이미징 디바이스.
  46. 제44항에 있어서,
    상기 광학 채널들의 그룹은 두 개의 부분 시야들(72a-b)을 정확하게 캡처하도록 구성되는, 다중-개구 이미징 디바이스.
  47. 제16항 내지 제46항 중 어느 한 항에 있어서,
    상기 제1 및 제2 부분 시야들(72a-b)의, 상기 이미지 센서(12)에 의해 제공되는, 상기 이미지 정보를 나타내는 제1 부분 이미지 및 제2 부분 이미지는, 제1 이미지 방향(32)을 따라, 상기 전체 시야(70)의, 상기 이미지 센서에 의해 제공되는, 이미지 정보를 나타내는 전체 이미지로서 동일한 치수를 가지고, 제2 이미지 방향(28)을 따라, 상기 전체 이미지와 비교하여 상이한 치수를 나타내는, 다중-개구 이미징 디바이스.
  48. 제16항 내지 제47항 중 어느 한 항에 있어서,
    단일-컬러 휘도 정보를 갖는 상기 이미징된 제1 및 제2 부분 시야들(72a-b)을 제공하도록 구성되는, 다중-개구 이미징 디바이스.
  49. 제16항 내지 제48항 중 어느 한 항에 있어서,
    모바일폰, 스마트폰, 태블릿, 또는 모니터로서 구성되는, 다중-개구 이미징 디바이스.
  50. 디바이스를 제공하는 방법(1400)으로서,
    이미지 센서를 제공하는 단계(1410);
    각각의 광학 채널이 상기 이미지 센서의 이미지 센서 영역 상에 전체 시야의 적어도 하나의 부분 시야를 투영하기 위한 옵틱을 포함하도록, 어레이의 제1 광학 채널이 상기 전체 시야의 제1 부분 시야를 이미징하도록 구성되도록, 그리고 상기 어레이의 제2 광학 채널이 상기 전체 시야의 제2 부분 시야를 이미징하도록 구성되도록, 광학 채널들의 어레이를 배치하는 단계(1420); 및
    상기 전체 시야의 결합된 이미지 정보를 생성하기 위해, 계산 유닛이 상기 이미징된 부분 시야들에 기초하여 상기 제1 및 제2 부분 시야들의 이미지 정보를 획득하고, 상기 전체 시야의 이미지 정보를 획득하고, 그리고 상기 전체 시야의 이미지 정보와 상기 부분 시야들의 상기 이미지 정보를 결합하도록, 계산 유닛을 배치하는 단계(1430)를 포함하는, 디바이스를 제공하는 방법.
  51. 다중-개구 이미징 디바이스를 제공하는 방법(1500)으로서,
    이미지 센서를 제공하는 단계(1510); 및
    각각의 광학 채널이 상기 이미지 센서의 이미지 센서 영역 상에 전체 시야의 적어도 하나의 부분 시야를 투영하기 위한 옵틱을 포함하도록, 어레이의 제1 광학 채널이 상기 전체 시야의 제1 부분 시야를 이미징하도록 구성되도록, 상기 어레이의 제2 광학 채널이 상기 전체 시야의 제2 부분 시야를 이미징하도록 구성되도록, 그리고 제3 광학 채널이 상기 전체 시야를 완전하게 이미징하도록 구성되도록, 광학 채널들의 어레이를 배치하는 단계(1520)를 포함하는, 다중-개구 이미징 디바이스를 제공하는 방법.
KR1020197033460A 2017-04-13 2018-04-11 부분 시야들을 이미징하기 위한 디바이스, 다중-개구 이미징 디바이스 및 이를 제공하기 위한 방법 KR102230188B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017206442.0A DE102017206442B4 (de) 2017-04-13 2017-04-13 Vorrichtung zur Abbildung von Teilgesichtsfeldern, Multiaperturabbildungsvorrichtung und Verfahren zum Bereitstellen derselben
DE102017206442.0 2017-04-13
PCT/EP2018/025110 WO2018188815A1 (de) 2017-04-13 2018-04-11 Vorrichtung zur abbildung von teilgesichtsfeldern, multiaperturabbildungsvorrichtung und verfahren zum bereitstellen derselben

Publications (2)

Publication Number Publication Date
KR20190138853A true KR20190138853A (ko) 2019-12-16
KR102230188B1 KR102230188B1 (ko) 2021-03-23

Family

ID=62167274

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197033460A KR102230188B1 (ko) 2017-04-13 2018-04-11 부분 시야들을 이미징하기 위한 디바이스, 다중-개구 이미징 디바이스 및 이를 제공하기 위한 방법

Country Status (8)

Country Link
US (1) US11457152B2 (ko)
EP (3) EP3610637B1 (ko)
JP (2) JP6860692B2 (ko)
KR (1) KR102230188B1 (ko)
CN (2) CN110754081B (ko)
DE (1) DE102017206442B4 (ko)
TW (1) TWI687099B (ko)
WO (1) WO2018188815A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018155670A1 (ja) * 2017-02-27 2018-08-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像配信方法、画像表示方法、画像配信装置及び画像表示装置
WO2018221041A1 (ja) * 2017-05-30 2018-12-06 ソニー株式会社 医療用観察システム及び医療用観察装置
DE102018222861A1 (de) 2018-12-21 2020-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung zum Akkumulieren von Bildinformation
DE102018222865A1 (de) 2018-12-21 2020-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung zur Erzeugung einer Tiefenkarte
EP3981145A1 (de) * 2019-06-06 2022-04-13 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Multikanalabbildungsvorrichtung und vorrichtung mit einer multiaperturabbildungsvorrichtung
WO2021223860A1 (en) 2020-05-05 2021-11-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Acquiring a digital image of an image content
US11606517B1 (en) * 2021-06-07 2023-03-14 Waymo Llc Enhanced depth of focus cameras using variable apertures and pixel binning
WO2024118403A1 (en) * 2022-11-30 2024-06-06 Qualcomm Incorporated Image sensor with multiple image readout

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011212206A (ja) * 2010-03-31 2011-10-27 Canon Inc 撮像装置及び撮像方法
DE102015216140A1 (de) * 2015-08-24 2017-03-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3D-Multiaperturabbildungsvorrichtung

Family Cites Families (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1671258A4 (en) * 2003-09-04 2008-03-19 Sarnoff Corp METHOD AND DEVICE FOR CARRYING OUT AN IRIS DETECTION FROM ONE IMAGE
US20070182812A1 (en) * 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
JP4297111B2 (ja) * 2005-12-14 2009-07-15 ソニー株式会社 撮像装置、画像処理方法及びそのプログラム
US8599301B2 (en) 2006-04-17 2013-12-03 Omnivision Technologies, Inc. Arrayed imaging systems having improved alignment and associated methods
US20080030592A1 (en) * 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
KR100871566B1 (ko) 2006-12-04 2008-12-02 삼성전자주식회사 이미지 촬상 장치의 손떨림 보상을 위한 장치 및 방법
US7643063B2 (en) 2006-12-29 2010-01-05 The Boeing Company Dual loop stabilization of video camera images
US20090122195A1 (en) * 2007-11-09 2009-05-14 Van Baar Jeroen System and Method for Combining Image Sequences
JP2012521673A (ja) * 2009-03-19 2012-09-13 フレクストロニクス エイピー エルエルシー デュアルセンサカメラ
AU2009201637B2 (en) * 2009-04-24 2011-08-11 Canon Kabushiki Kaisha Processing multi-view digital images
US9144714B2 (en) 2009-05-02 2015-09-29 Steven J. Hollinger Ball with camera for reconnaissance or recreation and network for operating the same
US20100328471A1 (en) 2009-06-24 2010-12-30 Justin Boland Wearable Multi-Channel Camera
JP5553597B2 (ja) 2009-12-25 2014-07-16 キヤノン株式会社 撮像装置及びその制御方法
US9213895B2 (en) * 2010-01-27 2015-12-15 Iris Id Iris scanning apparatus employing wide-angle camera, for identifying subject, and method thereof
US20120098971A1 (en) 2010-10-22 2012-04-26 Flir Systems, Inc. Infrared binocular system with dual diopter adjustment
JP5830662B2 (ja) 2010-12-09 2015-12-09 パナソニックＩｐマネジメント株式会社 撮像装置
US9007432B2 (en) * 2010-12-16 2015-04-14 The Massachusetts Institute Of Technology Imaging systems and methods for immersive surveillance
US10412367B2 (en) 2011-08-05 2019-09-10 3D Media Ltd Multi-lens camera with a single image sensor
JP2013045032A (ja) * 2011-08-26 2013-03-04 Fujifilm Corp 多眼撮像装置
EP2592823A3 (en) 2011-10-12 2013-06-19 Canon Kabushiki Kaisha Image-capturing device
JP6004785B2 (ja) 2012-06-29 2016-10-12 キヤノン株式会社 撮像装置、光学機器、撮像システムおよび制御方法
US9398264B2 (en) * 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US20140114534A1 (en) * 2012-10-19 2014-04-24 GM Global Technology Operations LLC Dynamic rearview mirror display features
CN113259565B (zh) * 2012-11-28 2023-05-19 核心光电有限公司 多孔径成像系统
JPWO2014091986A1 (ja) 2012-12-11 2017-01-12 コニカミノルタ株式会社 複眼光学系とそれを用いた撮像装置
WO2014091985A1 (ja) * 2012-12-11 2014-06-19 コニカミノルタ株式会社 複眼光学系とそれを用いた撮像装置
US20140160231A1 (en) * 2012-12-12 2014-06-12 Daniel C. Middleton Multi-focal image capture and display
JP6100089B2 (ja) 2013-05-17 2017-03-22 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US9232138B1 (en) 2013-06-03 2016-01-05 Amazon Technologies, Inc. Image stabilization techniques
JP6429440B2 (ja) 2013-09-18 2018-11-28 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
US9423588B2 (en) 2013-10-18 2016-08-23 The Lightco Inc. Methods and apparatus for supporting zoom operations
DE102013222780B3 (de) 2013-11-08 2015-04-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturvorrichtung und verfahren zur erfassung eines objektbereichs
KR20150067608A (ko) * 2013-12-10 2015-06-18 한국전자통신연구원 시력 보조 기구 착용 여부 및 사용자 움직임에 무관한 시선 정보 획득 방법
KR102163045B1 (ko) 2014-02-17 2020-10-08 삼성전기주식회사 이미지 보정 장치 및 그 방법
JP2015185947A (ja) * 2014-03-20 2015-10-22 株式会社東芝 撮像システム
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
DE102014213371B3 (de) 2014-07-09 2015-08-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur erfassung eines objektbereichs
US20160044247A1 (en) * 2014-08-10 2016-02-11 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
US9596411B2 (en) 2014-08-25 2017-03-14 Apple Inc. Combined optical and electronic image stabilization
US9992483B2 (en) * 2014-09-03 2018-06-05 Intel Corporation Imaging architecture for depth camera mode with mode switching
US20160173869A1 (en) * 2014-12-15 2016-06-16 Nokia Corporation Multi-Camera System Consisting Of Variably Calibrated Cameras
JP6436783B2 (ja) * 2015-01-09 2018-12-12 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP6659086B2 (ja) 2015-03-16 2020-03-04 キヤノン株式会社 像ブレ補正装置、光学機器、撮像装置および制御方法
KR102143309B1 (ko) * 2015-08-13 2020-08-11 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
DE102015215840B4 (de) 2015-08-19 2017-03-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
DE102015215837A1 (de) 2015-08-19 2017-02-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Verfahren zum Herstellen derselben und Abbildungssystem
DE102015215841B4 (de) * 2015-08-19 2017-06-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multikanalabbildungsvorrichtung und Verfahren zum Herstellen derselben
DE102015215845B4 (de) 2015-08-19 2017-06-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit kanalindividueller Einstellbarkeit
DE102015215833A1 (de) 2015-08-19 2017-02-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit Optiksubstrat
DE102015215844B4 (de) 2015-08-19 2017-05-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, tragbare Vorrichtung und Verfahren zum Herstellen einer Multiaperturabbildungsvorrichtung
DE102015215836B4 (de) 2015-08-19 2017-05-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit einer reflektierende Facetten aufweisenden Strahlumlenkvorrichtung
WO2017053874A1 (en) * 2015-09-23 2017-03-30 Datalogic ADC, Inc. Imaging systems and methods for tracking objects
ITUB20154043A1 (it) 2015-09-30 2017-03-30 Datalogic IP Tech Srl Sistema e metodo di lettura di informazioni codificate
DE102015220566B4 (de) 2015-10-21 2021-03-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung, Verfahren zum Bereitstellen derselben und Verfahren zum Erfassen eines Gesamtgesichtsfeldes
DE102016200287A1 (de) 2016-01-13 2017-07-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtungen, Verfahren zum Herstellen derselben und Abbildungssystem
DE102016200285A1 (de) 2016-01-13 2017-07-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Erfassen eines Objektbereichs
US11703326B2 (en) * 2016-02-25 2023-07-18 Kyocera Corporation Stereo camera apparatus, vehicle, and parallax calculation method
DE102016204148A1 (de) 2016-03-14 2017-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Erfassen eines Objektbereichs
JP2017204674A (ja) * 2016-05-09 2017-11-16 株式会社ソニー・インタラクティブエンタテインメント 撮像装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法
DE102016208210A1 (de) 2016-05-12 2017-11-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3d-multiaperturabbildungsvorrichtungen, multiaperturabbildungsvorrichtung, verfahren zum bereitstellen eines ausgangssignals einer 3d-multiaperturabbildungsvorrichtung und verfahren zum erfassen eines gesamtgesichtsfeldes
US10007854B2 (en) * 2016-07-07 2018-06-26 Ants Technology (Hk) Limited Computer vision based driver assistance devices, systems, methods and associated computer executable code
US9940695B2 (en) * 2016-08-26 2018-04-10 Multimedia Image Solution Limited Method for ensuring perfect stitching of a subject's images in a real-site image stitching operation
US10165194B1 (en) * 2016-12-16 2018-12-25 Amazon Technologies, Inc. Multi-sensor camera system
DE102017204035B3 (de) 2017-03-10 2018-09-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011212206A (ja) * 2010-03-31 2011-10-27 Canon Inc 撮像装置及び撮像方法
DE102015216140A1 (de) * 2015-08-24 2017-03-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3D-Multiaperturabbildungsvorrichtung

Also Published As

Publication number Publication date
EP3610637B1 (de) 2024-05-01
CN110754081B (zh) 2022-02-25
EP3610637A1 (de) 2020-02-19
DE102017206442B4 (de) 2021-01-28
JP7189992B2 (ja) 2022-12-14
EP4376404A2 (de) 2024-05-29
DE102017206442A1 (de) 2018-10-18
JP6860692B2 (ja) 2021-04-21
CN110754081A (zh) 2020-02-04
KR102230188B1 (ko) 2021-03-23
US11457152B2 (en) 2022-09-27
TWI687099B (zh) 2020-03-01
TW201904266A (zh) 2019-01-16
CN114727009A (zh) 2022-07-08
JP2021103181A (ja) 2021-07-15
JP2020517183A (ja) 2020-06-11
EP4369708A2 (de) 2024-05-15
WO2018188815A1 (de) 2018-10-18
US20200029023A1 (en) 2020-01-23

Similar Documents

Publication Publication Date Title
KR102230188B1 (ko) 부분 시야들을 이미징하기 위한 디바이스, 다중-개구 이미징 디바이스 및 이를 제공하기 위한 방법
US8456565B2 (en) Imaging device
US8810713B2 (en) Image pickup apparatus and image pickup device for performing auto-focusing
JP2010078768A (ja) 立体映像撮影装置および立体映像撮影システム
CN103597811A (zh) 拍摄立体移动图像和平面移动图像的图像拍摄元件以及装配有其的图像拍摄装置
JP4693727B2 (ja) 三次元光線入力装置
US11924395B2 (en) Device comprising a multi-aperture imaging device for generating a depth map
JP5866760B2 (ja) 撮像装置
TWI794571B (zh) 包含用於累積圖像資訊的多孔徑成像裝置的裝置
JPH1198532A (ja) 立体撮像装置および立体表示装置
US12007680B2 (en) Device comprising a multi-aperture imaging device for generating a depth map
US20100103276A1 (en) Split aperture capture of rangemap for 3d imaging
JP5948059B2 (ja) 立体画像撮影装置および立体画像表示装置
JP6022428B2 (ja) 画像撮影装置及び画像撮影方法
JP5907668B2 (ja) 撮像装置及び撮像素子
JP5949893B2 (ja) 撮像装置
JP5978570B2 (ja) 撮像装置
JP2013117684A (ja) 立体画像撮影装置および立体画像表示装置
JP5691440B2 (ja) 撮像装置
JP6041062B2 (ja) 撮像装置
US20080055414A1 (en) Modified Baird sequential detail scanning system
JP2019219594A (ja) 処理装置、撮像装置、交換レンズ、処理方法およびプログラム
JP6055595B2 (ja) 立体画像撮影装置および立体画像表示装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant