KR20210103555A - 영상 정보를 축적하기 위한 멀티 애퍼처 이미징 디바이스를 포함하는 디바이스 - Google Patents

영상 정보를 축적하기 위한 멀티 애퍼처 이미징 디바이스를 포함하는 디바이스 Download PDF

Info

Publication number
KR20210103555A
KR20210103555A KR1020217023161A KR20217023161A KR20210103555A KR 20210103555 A KR20210103555 A KR 20210103555A KR 1020217023161 A KR1020217023161 A KR 1020217023161A KR 20217023161 A KR20217023161 A KR 20217023161A KR 20210103555 A KR20210103555 A KR 20210103555A
Authority
KR
South Korea
Prior art keywords
view
image
full field
imaging information
information
Prior art date
Application number
KR1020217023161A
Other languages
English (en)
Inventor
프랭크 위퍼만
안드레아스 브뤼크너
자크 두파레
Original Assignee
프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. filed Critical 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Publication of KR20210103555A publication Critical patent/KR20210103555A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H04N5/23212—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H04N5/2254—
    • H04N5/2257—
    • H04N5/2258—
    • H04N5/2259—
    • H04N5/23219—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Abstract

창의적인 디바이스는, 이미지 센서(12); 인접하게 배열된 광학 채널(16a-d)의 어레이(14) - 각각의 광학 채널(16a-d)은 이미지 센서(12)의 이미지 센서 영역(28a-d) 상에 전체 시야(261, 262)의 적어도 부분 시야(24a-d)를 투사하기 위한 광학계(22a-d)를 포함함 -; 및 광학 채널(16a-d)의 빔 경로(104)를 편향시키기 위한 빔 편향기(18) - 빔 편향기(18)의 상대적 위치는 제1 위치와 제2 위치 사이에서 전환 가능하여, 제1 위치에서 빔 경로(104)는 제1 전체 시야(261)를 향해 편향되고, 제2 위치에서 빔 경로(104)는 제2 전체 시야(262)를 향해 편향됨 -;를 갖는 멀티 애퍼처 이미징 디바이스(multi-aperture imaging device)를 포함한다. 디바이스는, 이미지 센서(12)로부터 제1 전체 시야(261)의 이미징 정보(461)를 획득하기 위해 제1 위치로 이동되게끔 빔 편향기(18)를 제어하도록; 이미지 센서(12)로부터 제2 전체 시야(262)의 제1 이미징 정보(462)를 획득하기 위해 제2 위치로 이동되게끔 빔 편향기(18)를 제어하도록; 그리고 부분적으로 제1 전체 시야(261)를 나타내고 부분적으로 제2 전체 시야(262)를 나타내는 축적된 이미지 정보(48)를 획득하기 위해 제1 이미징 정보(461)의 일 부분(92)을 제2 이미징 정보(462) 안으로 삽입하도록 구성된 제어 수단(44; 54)를 더 포함한다.

Description

영상 정보를 축적하기 위한 멀티 애퍼처 이미징 디바이스를 포함하는 디바이스
본 발명은 멀티 애퍼처 이미징 디바이스(multi-aperture imaging device), 특히 멀티 애퍼처 이미징 디바이스를 포함하는 디바이스에 관한 것이다. 디바이스는, 깊이 맵을 생성하기 위해서, 그리고/또는 이미지 정보를 축적하기 위해서 멀티 애퍼처 이미징 디바이스 내에 포함된 정보를 사용하도록 구성된다. 본 발명은 또한, 어레이 카메라로 초점 스택으로부터 깊이 정보 및/또는 어레이 카메라로 수정된 배경에 대한 자화상을 추출하는 것에 관한 것이다.
멀티 애퍼처 이미징 디바이스는 다수의 부분 시야를 사용함으로써 오브젝트 필드를 이미징할 수 있다. 디바이스 평면으로부터, 예를 들어 이것에 대략 수직인 전체 시스템의 다른 방향으로 카메라 채널의 뷰잉 방향(viewing direction)의 편향을 가능하기 위해서 미러와 같은 빔 편향 시스템을 사용하는 개념이 있다. 예를 들어, 모바일 폰을 적용하는 경우, 이 수직 방향은 사용자의 얼굴의 일 방향, 또는 그/그녀 앞의 환경의 방향일 수 있고, 본질적으로 전환 가능한 힌지 미러를 사용함으로써 달성될 수 있다.
효율적인 이미지 생성을 위한 디바이스 및/또는 쉬운 취급을 위한 디바이스가 바람직할 것이다.
따라서, 본 발명의 목적은 효율적인 이미지 생성 및/또는 쉬운 취급을 허용하는 멀티 애퍼처 이미징 디바이스를 포함하는 디바이스를 제공하는 것이다.
이 목적은 독립 청구항의 대상에 의해서 달성된다.
본 발명의 한 가지 발견은 일 시퀀스의 초점 위치에서 일 시퀀스의 이미지를 캡처함으로써, 자신의 이미지 정보로부터 깊이 맵이 생성될 수 있어, 시차 정보(disparity information)가 중요하지 않고, 이러한 정보의 사용이 가능하게는 생략될 수 있다.
제1 양태의 실시형태에 따르면, 디바이스는 멀티 애퍼처 이미징 디바이스를 포함한다. 멀티 애퍼처 이미징 디바이스는 이미지 센서, 상이한 광학 채널은, 이미지 센서, 및 인접하게 배열된 광학 채널의 어레이를 포함하며, 각각의 광학 채널은 이미지 센서의 이미지 센서 영역 상에 전체 시야의 적어도 부분 시야를 투사하기 위한 광학계를 포함한다. 멀티 애퍼처 이미징 디바이스는 광학 채널의 빔 경로를 편향시키기 위한 빔 편향 수단 및 멀티 애퍼처 이미징 디바이스의 초점 위치를 설정하기 위한 포커싱 수단을 포함한다. 디바이스의 제어 수단은 포커싱 수단을 제어하도록, 그리고 이미지 센서로부터 이미지 정보를 수신하도록 구성된다. 제어 수단은 멀티 애퍼처 이미징 디바이스에서 일 시퀀스의 초점 위치를 대응되는 일 시퀀스의 전체 시야의 이미지 정보를 검출하기 위해 설정하도록, 그리고 일 시퀀스의 이미지 정보로부터 검출된 전체 시야에 대한 깊이 맵을 생성하도록 구성된다. 이것의 장점은, 일 시퀀스의 초점 위치로부터 깊이 맵이 생성될 수 있어, 일 뷰잉 방향으로부터의 전체 시야의 단일 숏(shot)이 깊이 맵을 생성하기 위해서 충분한 양의 정보를 제공할 수 있다는 점이다.
제1 양태의 실시형태에 따르면, 제어 수단은 일 시퀀스의 초점 위치들의 대응되는 수의 부분 이미지의 그룹을 캡처하도록 구성된다. 각각의 부분 이미지는 부분 이미지의 그룹의 각각이 공통 초점 위치를 갖도록 이미징된 부분 시야와 연관된다. 제어 수단은 부분 이미지에서 로컬 이미지 선명도 정보의 비교를 수행하도록, 그리고 이로부터 깊이 맵을 생성하도록 구성된다. 이것은, 예를 들어, 부분 이미지 그룹을 검출하기 위한 제어 수단에 의해서 설정된 알려진 초점 위치를 이용하여, 선명하게 이미징된 오브젝트, 즉 각각 설정된 초점 위치에 있는 오브젝트를 결정함으로써, 각각의 선명하게 이미징된 이미지 영역이 설정된 초점 위치에 대응되는 멀티 애퍼처 이미징 디바이스로부터의 일정 거리에서 캡처되었다는 사실에 대한 정보를 얻을 수 있다는 점에서 가능하게 된다. 여러 그룹의 부분 이미지 및 따라서 여러 초점 위치를 사용함으로써, 깊이 맵을 달성하기 위해 서로 다른 오브젝트에 대해, 따라서 전체 시야에 대해 대응되는 정보가 생성될 수 있다. 이것은 깊이 정보와 관련하여 전체 시야의 넓은 영역 또는 심지어 완전한 맵핑을 허용한다.
제1 양태의 일 실시형태에 따르면, 디바이스는, 일 시퀀스의 초점 위치들이 이미지 공간 내에서 실질적으로 등거리로 분포되도록 포커싱 수단을 제어하도록 구성된다. 이것은 가능한 정확한 등거리 배열에 의해서, 그러나 또한 최대 ± 25%, ± 15%, 또는 ± 5%의 허용오차 범위를 고려함으로써 수행될 수 있으며, 여기서 일 시퀀스의 초점 위치는 시퀀스의 최소 초점 위치와 최대 초점 위치 사이에 분포된다. 이미지 영역의 등거리로 인해, 다양한 거리에 걸쳐 깊이 맵의 균일한 정밀도가 얻어질 수 있다.
제1 양태의 실시예에 따르면, 디바이스는 일 시퀀스의 이미지 정보에 기반하여 전체 시야를 재생하는 일 시퀀스의 전체 이미지를 생성하도록 구성되며, 각각의 전체 이미지는 동일한 초점 위치의 부분 이미지의 조합에 기반된다. 이러한 부분 이미지의 결합은, 결합된 전체 이미지에서 높은 이미지 품질을 얻기 위해 깊이 맵을 사용하는 동안 행해질 수 있다.
제1 양태의 실시형태에 따르면, 디바이스는 깊이 맵에 기반하여, 전체 시야를 렌더링하는 전체 이미지를 변경하도록 구성된다. 깊이 맵이 알려진 경우, 상이한 이미지 조작, 예를 들어 하나 이상의 이미지 영역의 후속 포커싱 및/또는 디포커싱(defocusing)이 수행될 수 있다.
제1 양태의 실시형태에 따르면, 어레이의 제1 광학 채널은 전체 시야의 제1 부분 시야를 이미징하도록 형성되고, 어레이의 제2 광학 채널은 전체 시야의 제2 부분 시야를 이미징하도록 형성된다. 제3 광학 채널은 전체 시야를 완전히 이미징하도록 구성된다. 이것은, 예를 들어, 줌 범위 및/또는 해상도 증가와 관련하여 추가 이미징 기능을 사용하는 것을 가능하게 한다.
제1 양태의 실시형태에 따르면, 포커싱 수단은 초점 위치를 설정하기 위한 적어도 하나의 액추에이터를 갖는다. 포커싱 수단은 직육면체의 측부들이 이어지는 두 평면 사이에 적어도 부분적으로 배치되도록 구성되며, 직육면체의 측부들은 이미지 센서와 빔 편향기 사이의 광학 채널의 빔 경로의 부분의 그리고 어레이의 라인 연장 방향과 평행하고 서로 평행하게 정렬된다. 직육면체의 부피는 최소이나, 이미지 센서, 어레이 및 빔 디플렉터를 포함하도록 구성된다. 이것은 멀티 애퍼처 이미징 디바이스가 평면에 수직인 깊이 방향을 따라 작은 치수로 구성되는 것을 허용한다.
제1 측면의 실시형태에 따르면, 멀티 애퍼처 촬상 디바이스는 2개의 평면에 수직하도록 배열된 두께 방향을 갖는다. 액추에이터는 두께 방향과 평행한 치수를 갖는다. 액추에이터 치수의 최대 50%의 비율은 두 개의 평면 사이의 영역으로부터 시작하여, 두 개의 평면을 너머 확장되는 방식으로 배열된다. 액추에이터를 평면들 사이에 적어도 50%의 원주로 배열하는 것은 멀티 애퍼처 이미징 디바이스의 얇은 구성으로 귀결되며, 이것은 또한 디바이스의 얇은 구성을 허용한다.
제1 양태의 실시형태에 따르면, 포커싱 수단은 광학 채널들 중 적어도 하나의 광학계와 이미지 센서 사이의 상대적 이동을 제공하기 위한 액추에이터를 포함한다. 이것은 초점 위치의 용이한 설정을 허용한다.
제1 양태의 실시형태에 따르면, 포커싱 수단은 광학 채널 중 하나의 광학계와 이미지 센서 사이의 상대적 이동을 수행하면서, 상대적 이동과 동시에 빔 편향기의 이동을 수행하도록 구성된다. 이것은, 예를 들어, 빔 편향기의 빔 편향 표면과 관련하여 빔 편향기에 의해 설정된 광학적 영향을 유지하는 것을 가능하게 하며, 이 빔 편향기는 빔 경로를 편향시키기 위해 변경되지 않은 사이즈로 사용되며, 이는, 증가된 거리에서 상대적으로 큰 표면의 제공을 생략할 수 있기 때문에 빔 편향기의 작은 사이즈를 가능하게 한다.
제1 양태의 실시형태에 따르면, 포커싱 수단은 직육면체의 면들 사이의 영역으로부터 최대 50% 돌출되는 방식으로 배열된다. 임의의 기계적 구성요소 등을 포함하여, 평면들 사이의 영역에 전체 포커싱 수단을 배열함으로써, 멀티 애퍼처 이미징 디바이스의 매우 얇은 구성이 가능하게 된다.
제1 양태의 실시형태에 따르면, 포커싱 수단의 적어도 하나의 액추에이터는 압전 벤딩 액추에이터이다. 이것은 짧은 시간 간격을 갖는 일 시퀀스의 초점 위치를 보존하는 것을 가능하게 한다.
제1 양태의 실시형태에 따르면, 포커싱 수단은 움직임을 제공하도록 구성된 적어도 하나의 액추에이터를 포함한다. 포커싱 수단은 초점 위치를 설정하기 위해 어레이에 이동을 전송하기 위한 기계적 수단을 더 포함한다. 액추에이터는 어레이로부터 멀어지게 향하는 이미지 센서의 일 측부 상에 배열되고, 기계적 수단은 힘의 플럭스가 이미지 센서를 측방향으로 통과하는 방식으로 배열된다. 대안적으로, 액추에이터는 어레이로부터 멀어지게 향하는 빔 편향기의 일 측부 상에 배열되고, 기계적 수단은 힘의 플럭스가 빔 편향기를 측방향으로 통과하는 방식으로 배열된다. 이것은, 멀티 애퍼처 이미징 디바이스가 검출되는 것의 회피를 가능하게 하면서 광학 채널의 빔 경로를 차단함 없이, 액추에이터가, 측방향으로, 두께 방향에 수직으로 위치되는 방식으로, 멀티 애퍼처 이미징 디바이스가 구성되는 것을 허용한다. 여러 액추에이터가 사용하는 경우, 실시형태는 어레이로부터 멀어지게 향하는 이미지 센서의 그 측부 상에 액추에이터의 전부를 배열하는 것을, 어레이로부터 멀어지게 향하는 빔 편향기의 그 측부 상에 액추에이터의 전부를 배열하는 것을, 또는 어레이로부터 멀어지게 향하는 이미지 센서의 그 측부 상에 액추에이터의 서브세트를 배열하는 것을, 그리고 어레이로부터 멀어지게 향하는 빔 편향기의 그 측부 상에, 디스조인트된 서브세트를 배열하는 것을 가능하게 한다.
제1 양태의 일 실시형태에 따르면, 빔 편향기의 상대적 위치는 제1 위치와 제2 위치 사이에서 전환 가능하여, 제1 위치에서 빔 경로가 제1 전체 시야를 향해 편향되고, 제2 위치에서 빔 경로는 제2 전체 시야를 향해 편향된다. 제어 수단은 이미지 센서로부터 제1 전체 시야의 이미징 정보를 얻기 위해 빔 편향기를 제1 위치로 지향시키도록 구성되며, 제어 수단은 이미지 센서로부터 제2 전체 시야의 이미징 정보를 획득하기 위해 빔 편향기를 제2 위치로 지향시키도록 추가로 구성된다. 제어 수단은, 부분적으로는 상기 제1 전체 시야를 나타내고 부분적으로는 상기 제2 전체 시야를 나타내는 축적된 이미지 정보를 획득하기 위해 상기 제1 이미징 정보의 일 부분을 상기 제2 이미징 정보 안으로 삽입하도록 추가로 구성된다. 이것은, 예를 들어 배경에 대해 자신의 사진을 찍기 위해 멀티 애퍼처 이미징 디바이스의 복잡한 재배치가 생략될 수 있기 때문에 디바이스의 용이한 취급을 허용한다. 이것은, 자체 생성 깊이 맵으로 인해, 특히 유리한 방식으로, 가능하다.
본 발명의 또 다른 발견은, 축적된 이미지 정보에서 제1 전체 시야 및 제2 전체 시야가 각각 부분적으로 재생되도록 상이한 전체 시야의 이미지 정보를 결합함으로써, 예를 들어, 사용자의 그리고/또는 디바이스의 정교한 위치결정이 생략될 수 있기 때문에, 디바이스의 쉬운 취급이 얻어질 수 있다는 점이 인식되었다는 점이다.
제2 양태의 일 실시형태에 따르면, 디바이스는, 이미지 센서, 인접하게 배열된 광학 채널의 어레이, 및 빔 편향기를 갖는 멀티 애퍼처 이미징 디바이스를 포함한다. 어레이의 각각의 광학 채널은, 이미지 센서의 이미지 센서 영역에 전체 시야의 적어도 부분적인 시야를 투사하기 위한 광학계를 포함한다. 빔 편향기는 광학 채널의 빔 경로를 편향시키도록 구성되며, 빔 편향기의 상대적 위치는 제1 위치와 제2 위치 사이에서 전환 가능하여, 제1 위치에서 빔 경로가 제1 전체 시야를 향해 편향되고, 제2 위치에서 빔 경로는 제2 전체 시야를 향해 편향된다. 상기 디바이스는 빔 편향기를 제1 위치로 지향시키도록 구성된 제어 수단을 더 포함한다. 따라서, 제어된 이미지 정보는, 이미지 센서 상에 투사된 제1 전체 시야와 관련된 제어 수단으로부터 획득될 수 있다. 제어 수단은 이미지 센서로부터 제2 전체 시야의 이미지 정보를 얻기 위해서 빔 편향기를 제2 위치로 지향시키도록 구성된다. 제1 전체 시야의 이미징 정보를 획득하는 것의 그리고 제2 전체 시야의 이미징 정보를 획득하는 것의 순서는 임의적일 수 있다. 상기 제어 수단은, 부분적으로는 상기 제1 전체 시야를 나타내고 부분적으로는 상기 제2 전체 시야를 나타내는 축적된 이미지 정보를 획득하기 위해 상기 제1 이미징 정보의 일 부분을 상기 제2 이미징 정보 안으로 삽입하도록 구성된다. 이것은, 상이한 전체 시야들의 이미지 콘텐츠를 결합하는 것을 허용하여, 시간 소모적인 디바이스 및/또는 이미지 오브젝트의 위치결정이 생략될 수 있다.
제2 양태의 일 실시형태에 따르면, 제1 전체 시야는 디바이스의 사용자 방향에 대응되는 방향 또는 디바이스의 반대로 배열된 세계 방향에 대응되는 방향을 따라 배열된다. 이것은 제1 전체 시야와 이와 다른 전체 시야의 이미지 콘텐츠를 결합하는 것을 허용한다.
또한, 제2 양태의 바람직한 실시형태에 따르면, 제2 전체 시야는 사용자 방향 및 세계 방향 중 다른 하나에 대응되는 방향을 따라 배열되어, 두 개의 전체 시야가 함께 세계 방향 및 사용자 방향을 캡처한다. 따라서, 축적된 영상 정보에는, 세계 방향으로부터의 컨텐츠 및 사용자 방향으로부터의 컨텐츠가 서로 결합될 수 있다.
제2 양태의 실시형태에 따르면, 제어 수단은 제1 이미지 정보에서 사람을 식별하고 세그먼트화, 즉 분리하도록, 또는 적어도 그 사람과 관련된 이미지 정보를 복사하도록, 그리고 축적된 이미지 정보를 얻기 위해 그 사람의 이미지를 제2 이미지 정보 안으로 삽입하도록 구성된다. 이것은 실제로 디바이스의 상이한 방향을 따라 배열된 이미지 환경에 사람의 이미지를 삽입하는 것을 허용한다.
이의 바람직한 구성에 따르면, 디바이스는 자동으로 사람을 식별하도록, 그리고 사람의 이미지를 제2 이미지 정보 안으로 자동적으로 삽입하도록 구성된다. 이것은 실제로 상이한 배경에 대해서 자신의 사진(셀카픽처)을 얻는 것을 가능하게 한다. 이것은 디바이스, 사람 및/또는 배경의 복잡한 위치결정을 회피한다. 이것은 또한, 배경이 거울 반전된 사실을 보정할 수 있다.
제2 양태의 일 실시형태에 따르면, 디바이스는 제1 이미징 정보로부터 디바이스에 의해 생성된 깊이 맵을 사용하면서 사람 또는 이의 적어도 일부와 같은 부분을 식별하고/하거나 세그먼트화하도록 구성된다. 예를 들어, 깊이 맵은 제1 양태를 사용하는 동안 또는 다른 수단에 의해서 생성될 수 있다. 이것은 실시형태의 용이한 구현을 가능하게 한다.
제2 양태의 일 실시형태에 따르면, 디바이스는, 복수의 깊이 평면을 갖는 깊이 맵을 제2 이미징 정보에 대해 생성하도록, 그리고 축적된 이미지 정보를 획득하기 위해서 제2 이미징 정보의 미리 결정된 깊이 평면에 제1 이미지 정보를 삽입하도록 구성된다. 이것은, 미리 정의된 또는 미리 결정된 깊이 평면과 관련하여 깊이 관점에서 올바른 방식으로 제1 이미지 정보를 제2 이미지 정보 안으로 통합하는 것을 가능하게 한다.
이것의 바람직한 실시형태에 따르면, 10%의 허용오차 범위 내의 미리 정의된 깊이 평면은 디바이스로부터 제1 전체 시야의 거리와 동일하다. 이것은, 제1 이미지 정보 또는 이의 부분이 디바이스의 다른 방향을 따라 배열된 것처럼 제2 전체 시야가 표현되는 방식으로 축적된 이미지 정보가 획득되는 것을 가능하게 한다.
이것의 다른 바람직한 실시형태에 따르면, 미리 정의된 깊이 평면은 제1 이미지 정보의 배치와 연관된 사용자 입력에 기반된다. 이것은, 고려되어야 하는 깊이 평면이 촬영된 상이한 픽처들 사이에서 변할 수 있고/있거나 사용자의 입력에 의해서 사용자의 선택에 적응될 수 있는 점을 가능하게 한다.
제2 양태의 일 실시형태에 따르면, 디바이스는, 스케일링된 제1 이미징 정보를 획득하기 위해 제1 이미징 정보를 스케일링하도록, 그리고 축적된 이미지 정보를 얻기 위해 스케일링된 제1 이미징 정보를 제2 이미징 정보 안으로 삽입하도록 구성된다. 이것은 축적된 이미지 정보에서, 특히 제1 이미지 정보의 사이즈와 관련하여 미리 정의된 지각(perception)이 획득되는 방식으로 제1 이미지 정보를 제2 이미지 정보에 삽입하는 것을 가능하게 하며, 이는 특히 제1 이미지 정보가 삽입되는 조정 가능한 깊이 평면과 결합하여 유리하므로, 깊이 관점에서 올바른 삽입 외에도, 사이즈 관점에서 올바른 표현이 또한 가능하다.
제2 양태의 일 실시형태에 따르면, 디바이스는, 디바이스에 대한 제1 이미징 정보에서 이미징된 오브젝트의 거리를 결정하도록, 그리고 제2 이미징 정보에서 미리 결정된 깊이 평면과 결정된 거리의 비교에 기반하여 제1 이미징 정보를 스케일링하도록 구성된다. 이것은, 스케일링함으로써, 즉 사이즈를 조정함으로써, 제2 이미지 정보에 삽입할 때 깊이 평면에 의해 변경되는 제1 이미지 정보의 거리를 자동으로 고려하는 것을 가능하게 한다.
제2 양태에 따른 일 실시형태에 따르면, 디바이스는, 적어도 0.1 ms 내지 최대 30 ms의 시간 간격 내에서 제1 전체 시야 및 제2 전체 시야를 검출하도록 구성된다. 하측 한계는 선택적이다. 두 전체 시야의 이러한 빠른 캡처는 시간에 의해서 유발되는 전체 시야의 변화를 줄이거나 심지어 회피하는 것을 가능하게 한다.
제2 양태에 따른 일 실시형태에 따르면, 디바이스는 축적된 이미지 정보를 비디오 데이터 스트림으로서 수신하도록 구성된다. 이러한 목적을 위해서, 디바이스는 제1 전체 시야 및/또는 제2 전체 시야의 복수의 순차적 이미지에 대한 복수의 축적된 이미지 정보 데이터를 획득할 수 있고, 이들을 비디오 데이터 스트림으로서 이미지 시퀀스 안으로 결합시킬 수 있다.
대안적으로 또는 추가적으로, 제2 양태에 따르면, 실시형태는 축적된 이미지 정보를 정지 이미지(still image)로서 제공하는 것을 가능하게 한다.
제2 양태에 따른 일 실시형태에 따르면, 제1 이미지 정보는 사용자의 이미지를 포함하고, 제2 이미지 정보는 디바이스의 세계 뷰(world view)를 포함한다. 제어 수단은, 가능하게는 디바이스로 생성된 깊이 맵 정보에 기초하여 제1 이미지 정보로부터 사용자의 이미지를 세그먼트화하도록, 그리고 사용자의 이미지를 세계 뷰에 삽입하도록 구성된다. 이것은 디바이스를 사용함으로써 셀카픽처를 얻는 것을 용이하게 한다.
제2 양태에 따른 일 실시형태에 따르면, 디바이스는 깊이 관점에서 올바른 방식으로 사용자의 이미지를 세계 뷰에 삽입하도록 구성된다. 이것은 시간 소모적인 위치 지정결정에 대한 필요성 없이, 사용자가 세계 뷰 앞에 서 있는 임프레션(impression)을 가능하게 한다.
제2 양태에 따른 일 실시형태에 따르면, 디바이스는, 상이한 초점 위치로, 일 시퀀스의 제1 전체 시야 및/또는 제2 전체 시야의 이미지를 캡처하도록, 그리고 일 시퀀스의 이미지로부터 제1 전체 시야 및/또는 제2 전체 시야에 대한 깊이 맵을 생성하도록 구성된다. 이것은, 특히 사전 정의된 깊이 평면 내에서 제1 이미지 정보와 제2 이미지 정보를 결합시키는 것 및/또는 깊이 관점에서 정확한 이미징을 가능하게 하며; 이러한 목적을 위해, 본 발명의 제1 양태의 장점이 이용될 수 있다. 이것은, 제1 양태가 제2 양태의 구현예와 결합될 수 있고/있거나 제2 양태가 제1 양태의 구현예와 결합될 수 있다는 점을 의미한다. 특히, 두 양태는 결합되어, 후술되는 유리한 구성으로 귀결된다.
본 발명의 다른 유리한 실시형태는 종속 청구항에서 정의될 것이다.
포함된 도면을 참조하여, 본 발명의 바람직한 실시형태가 아래에 설명될 것이다.
도 1a는 제1 양태에 따른 디바이스의 개략적인 사시도를 도시한다.
도 1b는 제2 양태의 일 실시형태에 따른 디바이스의 개략적인 사시도를 도시한다.
도 1c는 제1 양태 및 제2 양태를 결합시키는 일 실시형태에 따른 디바이스의 개략적인 사시도를 도시한다.
도 2a는 장치가 제1 양태에 따라 제어될 수 있는 일 실시형태에 따른 상이한 초점 위치의 개략도를 도시한다.
도 2b는 일 실시형태에 따른 상이한 초점 위치들로부터 생성된 깊이 맵의 활용 및 이의 생성의 개략도를 도시한다.
도 3a는 이미지 센서가 광학 채널의 어레이에 걸쳐 이어지고 빔 편향기가 공간에서 직육면체에 걸쳐 이어지는 일 실시형태에 따른 디바이스의 개략적인 사시도를 도시한다.
도 3b는 일 실시형태에 따른 도 3a의 디바이스의 개략적인 측단면도를 도시하며, 여기서 멀티 애퍼처 이미징 디바이스는 복수의 액추에이터를 포함한다.
도 3c는 도 3a 및/또는 3b의 멀티 애퍼처 이미징 디바이스의 개략적인 측단면도를 도시하며, 여기서 상이한 전체 시야가 빔 편향기의 상이한 위치에 기반하여 검출될 수 있다.
도 4a는 액추에이터가 압전 벤딩 액추에이터로서 형성되는 일 실시형태에 따른 디바이스의 개략적인 평면도를 도시한다.
도 4b는 도 3a와 관련하여 설명된 직육면체의 평면들 사이의 액추에이터의 배열을 예시하기 위해 도 4a의 디바이스의 개략적인 측단면도를 도시한다.
도 5a 내지 도 5c는 일 실시형태에 따른, 전체 시야에서 부분 시야의 배열의 개략도를 도시한다.
도 6은 제2 양태의 일 실시형태에 따른 디바이스의 개략적인 사시도를 도시한다.
도 7a는 일 실시형태에 따라 전체 시야를 이미징함으로써 얻어질 수 있는 이미지 정보의 처리를 예시하는 개략도를 도시한다.
도 7b는 일 실시형태에 따른 축적된 이미지 정보에서 이미지 정보의 일 부분의 스케일링의 개략도를 도시한다.
도 8은 제1 및/또는 제2 양태(들)의 창의적인 디바이스에 사용될 수 있는, 일 실시형태에 따른 멀티 애퍼처 이미징 디바이스의 부분을 도시한다.
이하, 도면을 참조하여 본 발명의 실시형태가 상세히 설명되기 전에, 동일한, 기능 또는 효과가 동일한 상이한 도면에서의 요소, 대상 및/또는 구조체에는 동일한 참조 번호가 제공되어, 상이한 실시형태에서 제시된 이러한 요소의 설명은 서로 교환 가능하거나 서로 적용될 수 있다는 점이 주의되어야 한다.
도 1a는 제1 양태에 따른 디바이스(101)의 개략적인 사시도를 도시한다. 디바이스(101)는 이미지 센서(12) 및 인접하게 배열된 광학 채널(16a-e)의 어레이(14)를 포함하는 멀티 애퍼처 이미징 디바이스를 포함한다. 멀티 애퍼처 이미징 디바이스는 광학 채널(16a-d)의 빔 경로를 편향시키기 위한 빔 편향기(18)를 더 포함한다. 이것은 광학 채널(16a-d)의 빔 경로가 어레이(14)의 광학계(22a-d)를 통해 이미지 센서(12)와 빔 편향기(18) 사이의 측방향 코스 사이에서 비측방향 코스를 향해 편향되는 것을 허용한다. 상이한 광학 채널(16a-d)은, 각각의 광학 채널(16a-d)이 이미지 센서(12)의 이미지 센서 영역(28a-d) 상에 전체 시야(26)의 부분 시야(24a-d)를 투사하는 방식으로 편향된다. 부분 시야(24a-d)는 1차원 또는 2차원 방식으로, 또는 광학계(22a-d)의 상이한 초점 거리에 기반하여 3차원 방식으로 공간에 분포될 수 있다. 더 양호한 이해를 위해, 전체 시야(26)는 부분 시야(24a-d)가 2차원 분포를 갖는 방식으로 아래에서 설명될 것이며, 여기서 인접한 부분 시야들(24a-d)은 서로 오버랩될 수 있다. 부분 시야의 전체 영역은 전체 시야(26)로 귀결된다.
멀티 애퍼처 이미징 디바이스는 멀티 애퍼처 이미징 디바이스의 초점 위치를 설정하기 위한 포커싱 수단(32)을 포함한다. 이것은 이미지 센서(12)와 어레이(14) 사이의 상대적 위치 또는 배치를 변경함으로써 행해질 수 있으며, 포커싱 수단(32)은 멀티 애퍼처 이미징 디바이스의 초점 위치를 설정하도록 이미지 센서(12)와 어레이(14) 사이의 가변 상대적 위치를 얻기 위해서, 이미지 센서(12)의 위치 및/또는 어레이(14)의 위치를 변경하도록 구성될 수 있다.
상대적 위치 설정은 채널 특이적일 수 있거나, 광학 채널의 그룹 또는 모든 채널에 적용될 수 있다. 예를 들어, 단일 광학계(22a-d)가 이동될 수 있거나, 광학계(22a-d)의 그룹 또는 모든 광학계(22a-d)가 함께 이동될 수 있다. 동일한 사항이 이미지 센서(12)에도 적용된다.
디바이스는 포커싱 수단(32)을 제어하도록 구성된 제어 수단(34)을 포함한다. 또한, 제어 수단(34)은 이미지 센서(12)로부터 이미지 정보(36)를 수신하도록 구성된다. 이것은, 예를 들어, 이미지 센서 영역(28a-d) 상에 투사되는 부분 시야(24a-d), 또는 투사된 영상에 대응되는 정보 또는 데이터일 수 있다. 이것은, 예를 들어, 필터링, 평활화 등에 관한 이미지 정보(36)의 중간 처리를 배제하지 않는다.
제어 수단(34)은 멀티 애퍼처 이미징 디바이스에서 초점 위치의 시퀀스를 전체 시야(26)의 이미지 정보의 대응되는 시퀀스를 검출하기 위해 설정하도록 구성된다. 제어 수단(34)은 이미지 정보의 시퀀스로부터 전체 시야(26)에 대한 깊이 맵(38)을 생성하도록 구성된다. 깊이 맵(38)은 대응되는 신호를 통해 제공될 수 있다. 제어 수단(34)은, 이미지 센서(12)와 어레이(14) 사이의 상이한 상대적 위치에 의해 획득된 상이한 초점 위치에 기반하여 동일한 시야(26)의 상이한 이미지를 캡처할 수 있고/있거나, 부분 시야(24a-d)에 의한 세그멘테이션에 따라 상이하게 포커싱된 동일한 시야의 부분 이미지를 캡처할 수 있다.
깊이 맵은 다양한 목적을 위해서, 예를 들어, 이미지 처리를 위해서 뿐만 아니라 이미지 병합을 위해서 사용될 수 있다. 따라서, 제어 수단(34)은 전체 시야(26)의 이미지, 즉 전체 이미지를 나타내는 이미지 정보(42)를 획득하기 위해 깊이 맵(38)을 사용하면서, 이미지 센서 영역(28a 내지 28d)으로부터 획득된 개별 이미지(단일 프레임)를 연결하도록 구성될 수 있다. 깊이 맵을 사용하는 것은, 또한 스티칭(stitching)으로서 알려진 부분 이미지를 병합하는 이러한 방법에 특히 유리하다.
깊이 맵을 사용하면서, 제어 수단은 전체 이미지를 형성하기 위해 부분 이미지 그룹의 부분 이미지들을 조립하도록 구성될 수 있다. 이것은, 스티칭을 위해서 사용되는 깊이 맵이 스티칭될 바로 이 부분적인 이미지로부터 생성될 수 있다는 점을 의미한다. 예를 들어, 일 시퀀스의 이미지 정보에 기반하여 전체 시야를 나타내는 일 시퀀스의 전체 이미지가 생성될 수 있다. 각각의 전체 이미지는 동일한 초점 위치를 갖는 부분 이미지들의 조합에 기반될 수 있다. 대안적으로 또는 추가적으로, 시퀀스로부터의 적어도 2개, 여러 개 또는 모든 전체 이미지는 확장된 정보를 갖는 전체 이미지를 얻기 위해서, 예를 들어, 보케 효과(Bokeh effect)를 생성하기 위해서 결합될 수 있다. 대안적으로 또는 추가적으로, 이미지는 또한, 전체 이미지가 인위적으로 선명하도록, 즉 단일 프레임, 예를 들어 전체 이미지의 경우보다 더 많은 수의 부분 영역이 초점이 맞춰지는 방식으로 표현될 수 있다.
장치(101)는 모노 이미지로서 전체 시야의 이미지를 생성하도록, 그리고 모노 이미지의 시퀀스로부터 깊이 맵(38)을 생성하도록 구성된다. 전체 시야(26)의 다중 스캐닝이 또한 가능하지만, 디바이스(10)는 하나의 단순한 모노 이미지로부터 깊이 맵을 생성할 수 있으며, 이는, 예를 들어, 동일한 디바이스로 촬영된 다수의 픽처를 사용함으로써, 또는 추가 광 채널의 리던던트 배열에 의해서 다른 뷰잉 방향으로부터 촬영된 추가의 픽처에 대한 필요성을 면제시킬 수 있다.
도 1b는 제2 양태의 일 실시형태에 따른 디바이스(102)의 개략적인 사시도를 도시한다. 디바이스(101)와 비교하여, 디바이스(102)는, 제어 수단(34) 대신에, 빔 편향기를 상이한 위치들(181, 182)로 지향시키도록 구성된 제어 수단(44)을 갖는다. 상이한 위치(181 및 182)에서, 빔 편향기(18)는 상이한 상대적 위치를 가져, 광학 채널(16a-d)의 빔 경로가 상이한 위치(181 및 182)에 의해 영향을 받는 상이한 방향으로 편향되기 때문에, 상이한 위치 또는 배치에서, 상이한 총 시야들(261 및 262)의 이미지 정보가 획득된다. 제어 수단(34)에 대안적으로 또는 이에 추가적으로, 디바이스(102)는 이미지 센서(12)로부터 제1 전체 시야(261)의 이미징 정보를 획득하기 위해 빔 편향기를 제1 위치(181)로 지향시키도록 구성된 제어 수단(44)을 포함한다. 이의 전후에, 제어 수단(44)은 이미지 센서(12)로부터 제2 전체 시야(262)의 이미지 정보를 얻기 위해서 빔 편향기(18)를 제2 위치(182)로 지향시키도록 구성된다. 전체 시야(261, 262)는 디스조인트될 수 있다. 제어 수단(44)은, 공통 또는 누적된 이미지 정보(48)를 획득하기 위해 제1 이미지 정보(461)의 일 부분을 제2 이미지 정보(462)에 삽입하도록 구성된다. 축적된 영상 정보(48)는 제1 전체 시야(261)의 부분 및 제2 전체 시야(262)의 부분을 재생할 수 있으며, 이는 이미지 조작 또는 처리 단계를 포함한다. 이것은, 축적된 이미지 정보(48)가, 어떤 곳에서는, 전체 시야(261)의 이미지에 기반되고, 다른 곳에서는, 전체 시야(262)의 이미지에 기반된다는 점을 의미한다.
제어 수단(44)은 축적된 이미지 정보(48)를 포함하거나 재생하는 신호(52)를 제공하도록 구성될 수 있다. 선택적으로, 이미지 정보(461 및 / 또는 462)는 또한, 신호(52)에 의해 출력될 수 있다.
도 1c는, 도 1a의 제어 수단(34) 및 도 1b의 제어 수단(44) 대신에 제어 수단(54)을 포함하는 일 실시형태에 따른 디바이스(103)의 개략도를 도시하며, 이 제어 수단(54)은 제어 수단(34)과 제어 수단(44)의 기능을 결합하고, 디바이스(103)의 가변 초점 위치에 기반하여 깊이 맵(38)을 생성하도록, 그리고 도 1b의 축적된 이미지 정보(48)를 제공하도록 구성된다.
도 2a는 제1 양태에 따른 디바이스, 예를 들어 디바이스(101) 및 디바이스(102)에서 설정될 수 있는 상이한 초점 위치(561 내지 565)의 개략도를 도시한다. 상이한 초점 위치(561 내지 565)는, 캡처된 시야 내의 오브젝트가 포커싱된 방식으로 이미지 센서(12) 상에 투사되는 위치 또는 거리(581 내지 585)로서 이해될 수 있다. 초점 위치(56)의 수는 임의적일 수 있고, 1보다 클 수 있다.
인접된 초점 위치들 사이의 거리(621 내지 624)는 이미지 공간에서의 거리를 의미할 수 있으며, 여기서 오브젝트 공간에서의 거리로의 설명의 구현 또는 전달이 또한 가능하다. 그러나 이미지 공간을 관찰하는 것의 장점은, 특히 최소 또는 최대 오브젝트 거리와 관련하여 멀티 애퍼처 이미징 디바이스의 속성이 고려된다는 점이다. 제어 수단(34 및/또는 54)은 2개 이상의 초점 위치(561 내지 565)를 갖게끔 멀티 애퍼처 이미징 디바이스를 제어하도록 구성될 수 있다. 각각의 초점 위치에서, 단일 프레임(641 및 642)은 캡처된 부분 시야(24)의 수에 따라 캡처될 수 있다. 초점 위치(561 내지 565) 중 어느 것이 각각의 부분 이미지(461 및 462)를 획득하기 위해 설정되었는지에 대한 지식에 기반하여, 제어 수단은, 이미지 부분들 중 어떤 부분이 선명하게 이미징되었는지에 관한 이미지 정보를 분석함으로써, 이러한 선명하게 이미징된 오브젝트가 디바이스에 대해 배열된 거리를 결정할 수 있다. 이러한 거리에 관한 정보는 깊이 맵(38)을 위해서 사용될 수 있다. 이것은, 제어 수단이 일 시퀀스의 초점 위치(561 내지 565)에서 부분 이미지의 대응되는 수의 그룹을 캡처하도록 구성될 수 있음을 의미하며, 각각의 부분 이미지는 이미징된 부분 시야와 연관된다. 따라서 부분 이미지의 그룹은 설정된 초점 위치에서 전체 시야를 나타내는 이러한 부분 이미지에 대응될 수 있다.
제어 수단은 부분 이미지에서 로컬 이미지 선명도 정보의 비교로부터 깊이 맵을 생성하도록 구성될 수 있다. 로컬 선명도 정보는, 이미지 오브젝트의 어느 영역이 초점에 맞춰져 있는지, 또는 이전에 정의된 허용오차 범위 내에서 선명하게 이미징되었는지를 나타낼 수 있다. 예를 들어, 에지가 연장되는 거리의 검출 및 에지 블러링 기능의 결정은, 대응되는 이미지 영역, 대응되는 오브젝트, 또는 이의 부분이 이미지 센서 상에서 선명하게 이미징되었는지 또는 블러링되었는지를 판단하기 위해서 사용될 수 있다. 또한, 이미지 콘텐츠의 선명도에 대한 품질 기준으로서 시퀀셜 이미지 또는 라인 블러링 기능이 사용될 수 있다. 대안적으로 또는 추가적으로, 알려진 임의의 광학 선명도 메트릭(metric) 및 알려진 변조 전달 함수(MTF: Modulation Transfer Function)가 사용될 수 있다. 대안으로 또는 추가적으로, 스택의 인접한 이미지에서 동일한 오브젝트의 선명도, 캘리브레이션된 룩업 테이블을 통해 초점 액추에이터 위치와 오브젝트 거리의 연관성, 및/또는 초점을 통한 스캔의 방향은 부분적으로 재귀적인 방식으로 스택의 인접한 이미지로부터 깊이 정보를 획득하기 위해서 그리고 모호성을 회피하기 위해서 사용될 수 있다. 초점에서 이미징된 오브젝트 거리와 고유하게 상관되는 설정 초점 위치를 알면, 따라서, 깊이 맵(38)을 위한 기초가 될 수 있는 이미지의, 오브젝트의 또는 이의 일부의 영역으로부터의 거리로부터, 적어도 미리 결정된 허용오차 범위 내에서 오브젝트가 초점에서 이미징된다는 지식을 추론하는 것이 가능하다.
깊이 맵을 사용하는 경우, 제어 수단은 부분 이미지 그룹의 부분 이미지들을 전체 이미지로 조립하도록 구성될 수 있다. 이것은, 스티칭을 위해서 사용되는 깊이 맵이 스티칭될 부분적인 이미지 자체로부터 생성될 수 있다는 점을 의미한다.
장치는, 일 시퀀스의 초점 위치(561 내지 565)가 ±25%, ±15%, 또는 ±5% 의, 바람직하게는 가능한 0%에 가까운 허용 오차 범위 내에서, 최소 초점 위치와 최대 초점 위치 사이의 이미지 공간에서 등거리로 분포되게끔 포커싱 수단(32)을 제어하도록 구성될 수 있다. 초점 위치를 설정할 때 시간을 절약하기 위해서, 초점 위치(561 내지 565)를 증가되는 또는 감소되는 거리에서 순차적으로 설정하는 것이 합리적이지만, 반드시 필요한 것은 아니다. 오히려, 설정된 초점 위치(561 내지 565)의 순서는 임의적이다.
도 2b는 깊이 맵(38)의 사용 및 이의 생성의 개략도를 도시한다. 단일 프레임(641, 642)에서 선명하게 표현된 오브젝트는 이의 거리에 대해 정확하게 결정될 수 있기 때문에, 부분 이미지(641 및 642)는 각각의 초점 위치(561 내지 565)로부터 깊이 맵(38)의 부분 정보(381 내지 385)를 획득하기 위해서 각각 사용될 수 있다. 그러나 초점 위치들(561 및 565) 사이에서, 보간 방법이 또한 사용될 수 있어, 약간 블러링된 오브젝트를 이용하는 경우에도 깊이 맵(38)에 대한 충분히 정확한 정보가 여전히 얻어질 수 있다. 부분 정보(381 내지 385)에 포함된 거리 정보는 깊이 맵(38)을 형성하기 위해서 제어 수단에 의해 결합될 수 있다. 깊이 맵(38)은 대응되는 수의 총 이미지(421 내지 425)를 형성하도록 상이한 초점 위치(561 내지 565)로부터의 단일 프레임들(641 및 642)을 결합시키기 위해서 사용될 수 있다.
도 3a는 일 실시형태에 따른 디바이스(30)의 개략적인 사시도를 도시한다. 이미지 센서(12), 어레이(14) 및 빔 편향기(18)는 룸 내에서 직육면체에 걸쳐 이어질 수 있다. 직육면체는 또한, 가상 직육면체로 이해될 수 있고, 예를 들어, 최소 체적, 특히 라인 연장 방향(66)에 평행한 두께 방향 y에 평행한 방향을 따른 최소 수직 확장부를 가질 수 있다. 예를 들어, 라인 연장 방향(66)은, 이미지 센서(12)와 어레이(14) 사이의 빔 경로의 코스에 평행하게 배열되는 z 방향을 따라 그리고 x 방향에 수직으로 이어진다. 방향 x, y 및 z는 데카르트 좌표계에 걸쳐 이어질 수 있다. 가상 직육면체의 최소 체적 또는 이의 최소 수직 연장부는, 그럼에도 불구하고 가상 직육면체가 이미지 센서(12), 어레이(14) 및 빔 편향기(18)를 포함하도록 될 수 있다. 최소 체적은 또한, 이미지 센서(12), 어레이(14) 및/또는 빔 편향기(18)의 배열 및/또는 작동 이동에 의해 확장되는 직육면체를 설명하는 것으로 이해될 수 있다. 라인 연장 방향(66)은, 광학 채널(16a 및 16b)이 라인 연장 방향(66)을 따라 서로 옆에, 가능하면 서로 평행하게 배열되는 방식으로 배열될 수 있다. 라인 연장 방향(66)은 룸 내에 고정적으로 배열될 수 있다.
가상 직육면체는, 이미지 센서(12)와 빔 편향기(18) 사이의 광학 채널(16a, 16b)의 빔 경로의 일 부분에 평행하게, 어레이(14)의 라인 연장 방향(66)에 평행하게, 그리고 서로 대향하여 평행하게 배열된 2개의 측부를 가질 수 있다. 단순화된 방식으로, 그러나 제한적인 효과 없이, 이들은, 예를 들어, 가상 직육면체의 상부 측부 및 하부 측부일 수 있다. 2개의 측부는 제1 평면(68a) 및 제2 평면(68b)에 걸쳐 이어질 수 있다. 이것은 직육면체의 양 측부가 각각 평면(68a 또는 68b)의 부분일 수 있다는 점을 의미한다. 멀티 애퍼처 이미징 디바이스의 추가 구성요소는 평면들(68a 및 68b) 사이의 영역 내에 전체적으로, 그러나 적어도 부분적으로 배열될 수 있어, 평면(68a 및/또는 68b)의 표면 법선에 평행한 y 방향을 따른 멀티 애퍼처 이미징 디바이스의 설치 공간 요구사항이 작을 수 있으며, 이는 유리하다. 멀티 애퍼처 이미징 디바이스의 체적은 평면들(68a, 68b) 사이의 작은 또는 최소 설치 공간을 가질 수 있다. 평면(68a 및/또는 68b)의 측방향 측부 또는 연장 방향을 따라, 멀티 애퍼처 이미징 디바이스의 설치 공간은 크거나 임의로 클 수 있다. 가상 직육면체의 체적은, 예를 들어, 이미지 센서(12), 어레이(14) 및 빔 편향기(18)의 배열에 의해 영향을 받으며, 이러한 구성요소의 배열은, 본원에 설명된 실시형태에 따르면, 평면에 수직인 방향을 따른 이러한 구성요소의 설치 공간, 따라서 서로로부터 평면들(68a 및 68b)의 거리가 작아지거나 최소가 되도록 된다. 구성요소의 다른 배열과 비교하여, 가상 직육면체의 다른 측부들의 거리 및/또는 체적은 증가될 수 있다.
장치(30)는 이미지 센서(12)와 단일 라인 어레이(14)와 빔 편향기(18) 사이의 상대적 이동을 생성하기 위한 액추에이터(72)를 포함한다. 이것은, 예를 들어, 도 1b와 관련하여 설명된 위치들 사이에서 전환되는 빔 편향기(18)의 위치 이동을 포함할 수 있다. 대안적으로 또는 추가적으로, 액추에이터(72)는 이미지 센서(12)와 어레이(14) 사이의 상대적 위치를 변경하기 위해 도 1a와 관련하여 설명된 상대적 이동을 실행하도록 구성될 수 있다. 액추에이터(72)는 평면들(68a, 68b) 사이에 적어도 부분적으로 배열된다. 액추에이터(72)는, 이미지 센서(12), 단일 라인 어레이(14) 및 빔 편향기(18) 중 적어도 하나를 이동시키도록 구성될 수 있으며, 이는 하나 이상의 방향을 따른 회전 및/또는 병진 이동을 포함할 수 있다. 이것의 예는, 각각의 광학 채널(16)의 이미지 센서 영역(28), 각각의 광학 채널(16)의 광학계(22)와 빔 편향기(18) 및/또는 대응되는 세그먼트 또는 파세트(facet) 각각의 사이의 상대적 위치의 채널 특이적 변경이고/이거나, 각각의 광 채널의 빔 경로의 편향과 관련된 세그먼트/파세트의 광학 특성의 채널 특이적 변경이다. 대안적으로 또는 추가적으로, 액추에이터(72)는 자동 초점 및/또는 광학 이미지 안정화를 적어도 부분적으로 구현할 수 있다.
액추에이터(72)는 포커싱 수단(32)의 일부일 수 있고, 광학 채널들(16a, 16b) 중 적어도 하나의 적어도 하나의 광학계와 이미지 센서(12) 사이에 상대적 이동을 제공하도록 구성될 수 있다. 광학계(22a 및/또는 22b)와 이미지 센서(12) 사이의 상대적 이동은 빔 편향기(18)가 동시 이동을 수행하는 방식으로 포커싱 수단(32)에 의해 제어될 수 있다. 광학계(22a 및/또는 22b)와 이미지 센서 사이의 거리를 감소시킬 때, 빔 편향기(18)와 이미지 센서(12) 사이의 거리는 이에 따라 감소될 수 있어, 어레이(14)와 광학계(22a 및/또는 22b) 각각과 빔 편향기(18) 사이의 상대 거리는 실질적으로 일정하다. 이것은, 어레이(14)와 빔 편향기(18) 사이의 거리 증가로 인해 성장하는 빔 콘이 빔 편향기(18)로부터의 거리를 유지함으로써 보상될 수 있기 때문에, 빔 편향기(18)로 하여금 작은 빔 편향 표면을 구비할 수 있게 한다.
포커싱 수단(32) 및/또는 액추에이터(72)는, 이들이 평면들(68a, 68b) 사이의 영역으로부터 50% 이하로 돌출되는 방식으로 배열된다. 액추에이터(72)는 두께 방향(y)에 평행한 치수 또는 연장부(74)를 가질 수 있다. 치수(74)의 최대 50%, 최대 30%, 또는 최대 10%의 비율은 평면들(68a 및 68b) 사이의 영역으로부터 시작하여 평면(68a 및/또는 68b) 너머로 돌출될 수 있고, 따라서 가상 직육면체 밖으로 돌출될 수 있다. 이것은, 최대한으로 잡아도, 액추에이터(72)가 평면(68a 및/또는 68b)으로부터 단지 미미하게 돌출된다는 점을 의미한다. 실시형태에 따르면, 액추에이터(72)는 평면(68a, 68b) 너머로 돌출되지 않는다. 이것의 장점은 두께 방향(y)을 따른 멀티 애퍼처 이미징 디바이스의 확장이 액추에이터(72)에 의해 증가되지 않는다는 점이다.
빔 편향기(18)가 회전 축선(76)을 중심으로 회전 가능하게 장착되는 것으로 도시되지만, 액추에이터(72)는 대안적으로 또는 추가적으로 또한 하나 이상의 공간 방향을 따라 병진 이동을 생성할 수 있다. 액추에이터(72)는, 가능하게는 개별적으로 제어 가능한 방식으로 상이한 단일 움직임을 생성하기 위해서 하나 이상의 단일 액추에이터를 포함할 수 있다. 액추에이터(72) 또는 이의 적어도 단일 액추에이터는, 예를 들어, 도 4와 관련하여 더 상세히 설명된 압전 액추에이터, 특히 압전 벤딩 액추에이터로서 구현되거나 이를 포함할 수 있다. 압전 벤더(bender)는 빠르고 재현 가능한 위치의 변경을 허용한다. 이러한 특징은 짧은 시간 내에 여러 이미지 또는 많은 이미지의 의미에서 초점 스택의 캡처를 위해서 유리한다. 하나의 차원 또는 방향을 따라 구성된 액추에이터로서의 피에조 벤더들은, 이들이 이것을 위해 유리한 폼 팩터, 즉 특히 하나의 방향으로의 확장을 갖기 때문에, 특히 설명된 아키텍처에서 유리하게 사용될 수 있다.
어레이(14)는, 광학계(22a, 22b)가 부착되거나 배열되는 기판(78)을 포함할 수 있다. 기판(78)은 리세스 또는 적절하게 선택된 재료에 의해 광학 채널(16a 및 16b)의 광학 경로에 대해 적어도 부분적으로 투명할 수 있고; 이것은, 예를 들어, 필터 구조체 등을 배열함으로써 광학 채널의 조작이 수행되는 것을 배제하지 않는다.
상이한 초점 위치(56)의 빠른 설정을 위한 빠른 조정 가능성 및 큰 힘을 포함하여 액추에이터(72)에 대한 여러 요건은 설치 공간이 작은 압전 액추에이터 등을 사용하여 달성될 수 있다.
도 3b는 일 실시형태에 따른 디바이스(30)의 개략적인 측단면도를 도시한다. 디바이스(30)의 멀티 애퍼처 이미징 디바이스는, 예를 들어, 복수의 액추에이터, 예를 들어, 둘 이상, 셋 이상, 또는 0보다 큰 다른 숫자의 액추에이터를 포함할 수 있다. 예를 들어, 상이한 목적을 위해서, 예를 들어, 초점 위치를 조정하고/하거나 멀티 애퍼처 이미징 디바이스의 시야 방향 설정을 위해 빔 편향기(18)의 위치 또는 배치를 변경하기 위해서, 그리고/또는 빔 편향기(18)의 회전 이동 및/또는 어레이(14)의 병진 이동에 의한 광학 이미지 안정화를 제공하기 위해서 사용될 수 있는 액추에이터(721 내지 725)가 배열될 수 있다.
액추에이터(721 내지 725)는, 이들이 두 개의 평면(68a, 68b) 사이에 적어도 부분적으로 배열되는 방식으로 배열될 수 있으며, 이 두 개의 평면에 걸쳐 가상 직육면체(69)의 측부(69a 및 69b)가 이어진다. 직육면체(69)의 측부(69a, 69b)는 이미지 센서(12)와 빔 편향기(18) 사이의 광학 채널의 빔 경로의 부분 및 어레이의 라인 연장 방향과 평행하고 서로 평행하게 정렬될 수 있다. 직육면체(69)의 체적은 최소이지만, 여전히 이미지 센서(12), 어레이(14) 및 빔 편향기(18)뿐만 아니라 이들의 작동 이동을 포함한다. 어레이(14)의 광학 채널은 각각의 광학 채널에 대해 동일하거나 상이할 수 있는 광학계(22)를 갖는다.
멀티 애퍼처 이미징 디바이스의 체적은 평면들(68a, 68b) 사이의 작은 또는 최소 설치 공간을 가질 수 있다. 평면(68a 및/또는 68b)의 측방향 측부 또는 연장 방향을 따라, 멀티 애퍼처 이미징 디바이스의 설치 공간은 크거나 임의로 클 수 있다. 가상 직육면체의 체적은, 예를 들어, 이미지 센서(12), 단일 라인 어레이(14) 및 빔 편향기의 배열에 의해 영향을 받으며, 이러한 구성요소의 배열은, 본원에 설명된 실시형태에 따르면, 평면에 수직인 방향을 따른 이러한 구성요소의 설치 공간, 따라서 서로로부터 평면들(68a 및 68b)의 거리가 작아지거나 최소가 되도록 된다. 구성요소의 다른 배열과 비교하여, 가상 직육면체의 다른 측부들의 거리 및/또는 체적은 증가될 수 있다.
가상 직육면체(69)는 점선에 의해서 표현된다. 평면(68a, 68b)은 가상 직육면체(69)의 두 개의 측부를 포함하거나 이에 의해서 이어질 수 있다. 멀티 애퍼처 이미징 디바이스의 두께 방향 y는 평면(68a 및/또는 68b)에 수직일 수 있고/있거나 y 방향에 평행할 수 있다.
이미지 센서(12), 어레이(14) 및 빔 편향기(18)는 두께 방향(y)(간단한 방식으로, 그러한 제한적인 효과 없이, 직육면체의 높이로서 지칭될 수 있음)을 따른 평면들(68a, 68b) 사이의 수직 거리가 최소가 되도록 배열될 수 있고, 체적의 최소화, 즉 직육면체의 다른 치수의 최소화는 생략될 수 있다. 방향 y를 따른 직육면체(69)의 확장은 최소일 수 있고, y 방향을 따른 이미징 채널, 즉 어레이(14), 이미지 센서(12) 및 빔 편향기(18)의 광학 구성요소의 확장에 의해 실질적으로 미리 결정될 수 있다.
멀티 애퍼처 이미징 디바이스의 체적은 평면들(68a, 68b) 사이의 작은 또는 최소 설치 공간을 가질 수 있다. 평면(68a 및/또는 68b)의 측방향 측부 또는 연장 방향을 따라, 멀티 애퍼처 이미징 디바이스의 설치 공간은 크거나 임의로 클 수 있다. 가상 직육면체의 체적은, 예를 들어, 이미지 센서(12), 단일 라인 어레이(14) 및 빔 편향기의 배열에 의해 영향을 받으며, 이러한 구성요소의 배열은, 본원에 설명된 실시형태에 따르면, 평면에 수직인 방향을 따른 이러한 구성요소의 설치 공간, 따라서 서로로부터 평면들(68a 및 68b)의 거리가 작아지거나 최소가 되도록 된다. 구성요소의 다른 배열과 비교하여, 가상 직육면체의 다른 측부들의 거리 및/또는 체적은 증가될 수 있다.
액추에이터(721 내지 725)는 각각 방향 y에 평행한 치수 또는 연장부를 가질 수 있다. 각각의 액추에이터(721 내지 725)의 치수의 50%, 30% 또는 10%를 초과하지 않는 비율은 두 평면(68a 및 68b) 사이의 영역으로부터 시작하여 평면(68a 및/또는 68b) 너머로 돌출되거나 상기 영역으로부터 돌출될 수 있다. 이것은, 액추에이터(721 내지 725)가 평면(68a 및/또는 68b) 너머로, 최대한으로 잡아도, 미미하게 돌출된다는 점을 의미한다. 실시형태에 따르면, 액추에이터는 평면(68a, 68b) 너머로 돌출되지 않는다. 이것의 장점은 두께 방향 또는 방향 y를 따른 멀티 애퍼처 이미징 디바이스의 확장이 액추에이터에 의해 증가되지 않는다는 점이다.
여기에서 사용된 위, 아래, 왼쪽, 오른쪽, 앞 또는 뒤와 같은 용어는 향상된 명확성을 위해서 사용되지만, 이들이 어떠한 제한적인 효과를 갖도록 의도되지 않는다. 이러한 용어가 공간 내에서 회전 또는 틸팅에 기반하여 상호 교환될 수 있다는 점이 분명하다. 예를 들어, 이미지 센서(12)로부터 빔 편향기(18)까지의 x 방향은 앞 또는 전방에 있는 것으로 이해될 수 있다. 예를 들어, 양의 y 방향은 위와 같이 이해될 수 있다. 이미지 센서(12), 어레이(14) 및/또는 빔 편향기(18)로부터 멀어지거나 일정 거리에 있는 양의 또는 음의 z 방향을 따른 영역은 각각의 구성요소에 인접한 것으로 이해될 수 있다. 간단히 말하면, 이미지 안정 디바이스는 액추에이터(721~725) 중 적어도 하나를 포함할 수 있다. 상기 적어도 하나의 액추에이터는 평면(71) 내에 또는 평면들(68a 및 68b) 사이에 위치될 수 있다.
다시 말해서, 액추에이터(721 내지 725)는 이미지 센서(12), 어레이(14) 및/또는 빔 편향기(18)의 앞, 뒤 또는 옆에 위치될 수 있다. 실시형태에 따르면, 액추에이터(36, 42)는 50%, 30% 또는 10%의 최대 원주로 평면들(68a, 68b) 사이의 영역 외부에 배열된다.
도 3c는 멀티 애퍼처 이미징 디바이스의 개략적인 측단면도를 도시하며, 여기서 멀티 애퍼처 이미징 디바이스는 상이한 뷰잉 방향들을 갖기 때문에, 상이한 전체 시야(261, 262)는 빔 편향기(18)의 상이한 위치들에 기반하여 검출 가능하다. 멀티 애퍼처 이미징 디바이스는, 빔 편향기(18)의 상이한 메인 측부들이 어레이(14)를 향해서 배열되도록 각도 α만큼 빔 편향기의 틸트를 변경하도록 구성될 수 있다. 멀티 애퍼처 이미징 디바이스는 회전 축선(76)을 중심으로 빔 편향기(18)를 틸팅시키도록 구성된 액추에이터를 포함할 수 있다. 예를 들어, 액추에이터는, 빔 편향기(18)가 어레이(14)의 광학 채널의 빔 경로(26)를 양의 y 방향으로 편향시키는 제1 위치로 빔 편향기(18)를 이동시키도록 구성될 수 있다. 이 목적을 위해서, 빔 편향기(18)는 제1 위치에서, 예를 들어, > 0° 및 < 90°의, 최소 10° 및 최대 80°의, 또는 최소 30° 및 최대 50°의 각도 α, 예를 들어, 45°를 가질 수 있다. 액추에이터는, 제2 위치에서, 빔 편향기(18)가 전체 시야(262)를 향한 뷰잉 방향에 의해서, 그리고 빔 편향기(18)의 파선 표현에 의해서 표시되는 바와 같이 어레이(14)의 광학 채널의 빔 경로를 음의 y 방향으로 편향시키도록, 회전 축선(76)을 중심으로 빔 편향기를 편향시키도록 구성될 수 있다. 예를 들어, 빔 편향기(18)는, 제1 위치에서 뷰잉 방향이 전체 시야(261)를 향하게끔 양 측부 상에서 반사하도록 구성될 수 있다.
도 4a는, 액추에이터(72)가 압전 벤딩 액추에이터로서 형성되는 실시형태에 따른 디바이스(40)의 개략적인 평면도를 도시한다. 액추에이터(72)는 점선으로 도시된 바와 같이 x/z 평면 내에서 벤딩을 수행하도록 구성된다. 액추에이터(72)는 기계적 편향기(82)를 통해 어레이(14)에 연결되어, 액추에이터(72)가 벤딩될 때 x 방향을 따른 어레이(14)의 측방향 변위는 초점 위치가 변경될 수 있도록 발생될 수 있다. 예를 들어, 액추에이터(72)는 기판(78)에 연결될 수 있다. 대안적으로, 액추에이터(72)는 또한, 하우징을 이동시키기 위해 광학계(22a 내지 22d)의 적어도 일부를 하우징하는 하우징 상에 장착될 수 있다. 다른 변형예도 가능하다.
선택적으로, 디바이스는, 예를 들어 빔 편향기(18)를 다른 배치 또는 위치에 배치하기 위해서, 그리고/또는 z 방향을 따른 어레이(14)의 병진 변위에 의한 광학 이미지 안정화를 위해서, 그리고/또는 회전 축선(76)을 중심으로 빔 편향기(18)의 회전 운동을 발생시킴으로써, 어레이(14) 및/또는 빔 편향기(18)에서 움직임을 생성하도록 구성된 40개의 추가 액추에이터(841 및 842)를 포함하여 수 있다.
앞의 도면에서 설명된 것과 달리, 빔 편향기(18)는 여러 개의 이격되어 있지만 공통의 이동 가능한 파세트(86a 내지 86d)를 가질 수 있으며, 각각의 광학 채널은 하나의 파세트(86a 내지 86d)와 연관된다. 파세트(86a 내지 86d)는 또한, 직접적으로 인접하도록, 즉 이들 사이의 거리가 거의 또는 전혀 없이 배열될 수 있다. 또는, 평면 거울이 또한 배치될 수 있다.
액추에이터(72)를 작동시킴으로써, 광학계(22a-d) 중 적어도 하나와 이미지 센서(12) 사이의 거리(881)는 제1 값(881)으로부터 제2 값(882)으로 변경될 수 있으며, 예를 들어, 증가되거나 또는 감소될 수 있다.
도 4b는 도 3a와 관련하여 설명된 평면들(68a 및 68b) 사이의 액추에이터(72)의 배열을 예시하기 위한 디바이스(40)의 개략적인 측단면도를 도시한다. 예를 들어, 액추에이터(72)는, 연결 웹 및 와이어, 로프 등과 같은 여러 힘 전달 요소 및 기계적 베어링 또는 편향 요소를 사용하는 기계적 편향 디바이스(82)와 같이 평면들(68a 및 68b) 사이에 완전히 배열된다.
어레이(14)로 움직임을 전달하기 위한 기계적 편향기 또는 기계적 수단은, 이미지 센서(12) 뒤의 어레이(14)로부터, 즉 어레이(14)로부터 시작하여 멀어지게 향하는 이미지 센서(12)의 일 측부 상에 배열될 수 있다. 기계적 수단(82)은 힘의 플럭스가 이미지 센서(12)를 측방향으로 통과하는 방식으로 배열될 수 있다. 대안적으로 또는 추가적으로, 액추에이터(72) 또는 다른 액추에이터는, 빔 편향기(18) 뒤의 어레이(14)로부터, 즉 어레이(14)로부터 시작하여 멀어지게 향하는 빔 편향기(18)의 일 측부 상에 위치될 수 있다. 기계적 수단(82)은 힘의 플럭스가 빔 편향기(18)를 측방향으로 통과하도록 배열될 수 있다.
하나의 액추에이터(72)만이 도시되지만, 더 많은 수의 액추에이터가 또한 배열될 수 있고/있거나, 액추에이터(72)의 하나 이상의 측부가 기계적 편향기(82)에 연결될 수 있다. 예를 들어, 중앙에 장착되거나 지지된 액추에이터(72)는 기계적 편향기(82)에 2개의 측부 상에서 연결될 수 있고, 예를 들어 균일한 이동을 가능하게 하기 위해 어레이(14)의 양 측부 상에서 작용할 수 있다.
도 5a는 전체 시야(26)에서 부분 시야(24a, 24b)의 어레이의 개략도를 도시하며, 이 전체 시야는, 예를 들어, 멀티 애퍼처 이미징 디바이스(101, 102, 103, 30 및/또는 40)와 같은 본원에 설명된 멀티 애퍼처 이미징 디바이스에 의해 검출 가능하고, 예를 들어, 전체 시야(261 및/또는 262)에 대응될 수 있다. 예를 들어, 전체 시야(26)는 광학 채널(16b)을 사용하여 이미지 센서 영역(28b) 상에 투사될 수 있다. 예를 들어, 광학 채널(16a)은 부분 시야(24a)를 캡처하도록, 그리고 이를 이미지 센서 영역(28a) 상에 투사하도록 구성될 수 있다. 다른 광학 채널, 예를 들어, 광학 채널(16c)은 부분 시야(24b)를 검출하도록, 그리고 이를 이미지 센서 영역(28c) 상에 투사하도록 구성될 수 있다. 이것은, 광학 채널의 일 그룹이 정확히 2개의 부분 시야(24a 및 24b)를 캡처하도록 형성될 수 있다는 점을 의미한다. 따라서, 전체 시야, 및 결과적으로 전체 시야(26)를 함께 나타내는 부분 시야의 동시 캡처가 발생될 수 있다.
향상된 식별성을 위해 상이한 확장부로 표시되지만, 부분 시야(24a 및 24b)는 이미지 방향(B2)과 같은 적어도 하나의 이미지 방향(B1 또는 B2)을 따라 동일한 확장부 또는 비교 가능한 확장부를 가질 수 있다. 부분 시야(24a, 24b)의 확장부는 이미지 방향(B2)을 따른 전체 시야(26)의 확장부와 동일할 수 있다. 이는 부분 시야(24a, 24b)가 이미지 방향(B2)을 따라 전체 시야(26)를 완전히 캡처하거나 픽업할 수 있고, 전자에 수직으로 배열된 다른 이미지 방향(B1)을 따라 전체 시야를 단지 부분적으로 캡처하거나 픽업할 수 있고, 상호 오프셋 방식으로 배열될 수 있어, 전체 시야(26)의 완전한 캡처가 조합적으로 또한 제2 방향을 따라 발생된다는 점을 의미한다. 부분 시야(24a, 24b)는 서로 디스조인트되거나, 오버랩 영역(25)에서, 최대한으로 잡아서, 서로 불완전하게 오버랩될 수 있으며, 이 오버랩 영역은 전체 시야(26)에서 이미지 방향(B2)을 따라 완전히 확장될 수 있다. 광학 채널(16a 및 16c)을 포함하는 일 그룹의 광학 채널은, 예를 들어, 함께 취해질 때 전체 시야를 이미징하는 취해진 부분 픽처와 조합하여 취해진 전체 픽처에 의해서 함께 취해질 때 전체 시야(26)를 완전히 이미징하도록 구성될 수 있다. 예를 들어, 이미지 방향(B1)은 제공될 이미지의 수평선일 수 있다. 간단히 말해서, 이미지 방향(B1과 B2)은 룸의 어느 곳에 배치될 수 있는 두 개의 상이한 이미지 방향을 나타낸다.
도 5b는 부분 시야(24a, 24b)의 배열의 개략도를 도시하며, 이 부분 시야는 서로 다른 이미지 방향, 이미지 방향(B2)을 따라 서로 오프셋 방식으로 배열되고 서로 오버랩된다. 부분 시야(24a, 24b)는 각각 전체 시야(26)를 완전히 이미지 방향(B1)을 따라 그리고 불완전하게 이미지 방향(B2)을 따라 캡처할 수 있다. 예를 들어, 오버랩 영역(25)은 이미지 방향(B1)을 따라 전체 시야(26) 내에 완전히 배열된다.
도 5c는 4개의 부분 시야(24a 내지 24b)의 개략도를 도시하며, 이 부분 시야는 각각 양방향(B1 및 B2)으로 전체 시야(26)를 불완전하게 캡처한다. 2개의 인접한 부분 시야(24a, 24b)는 오버랩 영역(25b)에서 오버랩된다. 2개의 오버랩된 부분 시야(24b 및 24c)는 오버랩 영역(25c)에서 오버랩된다. 유사하게, 부분 시야(24c, 24d)는 오버랩 영역(25d)에서 오버랩되고, 부분 시야(24d)는 오버랩 영역(25a)에서 부분 시야(24a)와 오버랩된다. 4개의 부분 시야(24a 내지 24d) 모두는 전체 시야(26)의 오버랩 영역(25e)에서 오버랩될 수 있다.
예를 들어, 도 1a 내지 도 1c와 관련하여 설명된 것과 유사한 멀티 애퍼처 이미징 디바이스는 전체 시야(26) 및 부분 시야(24a-d)를 캡처하기 위해서 사용될 수 있으며, 어레이(14)는 5개의 광학계, 즉 부분적인 시야(24a-d)를 포착하기 위한 4개, 전체 시야(26)를 포착하기 위한 하나의 광학계를 가질 수 있다. 따라서, 어레이는 도 5a 내지 도 5b와 관련하여 3개의 광학 채널로 구성될 수 있다.
오버랩 영역(25a 내지 25e)에서, 다수의 이미지 정보가 사용 가능하다. 예를 들어, 오버랩 영역(25b)은 전체 시야(26), 부분 시야(24a) 및 부분 시야(24b)를 통해 캡처된다. 전체 시야의 이미지 포맷은, 이미징된 부분 시야의, 예를 들어, 도 5c의 부분 시야(24a-d)의 리던던시 없는 조합에 대응될 수 있으며, 여기서 오버랩 영역(25a-e)은 각각의 경우에 한 번만 카운트된다. 도 5a 및 도 5b와 관련하여, 이것은 부분 시야(24a 및 24b)의 리던던시 없는 조합에 적용된다.
오버랩 영역(25 및/또는 25a-e)에서의 오버랩은, 예를 들어, 각각의 부분 이미지의 최대 50%, 35% 또는 20%를 포함할 수 있다.
즉, 제1 형태에 따르면, 광학 채널의 수의 감소가 얻어질 수 있고, 이는 비용 절감 및 측면 설치 공간 요건의 감소를 허용한 한다. 제1 양태에 따르면, 전파 시간(Time of Flight), 스트럭쳐드 또는 코딩된 라이트(Structured or Coded Light) 등과 같은 추가 센서에 대한 필요성 없이, 입체적 획득의 대안인 일종의 깊이 정보 획득이 가능하다. 따라서 저해상도를 가능하게 하는 전파 시간 센서뿐만 아니라, 높은 에너지 요구 사항을 갖는 스트럭쳐드 라이트 센서가 회피될 수 있다. 두 접근법은 모두 강렬한 주변 조명, 특히 햇빛에 여전히 문제가 있다. 실시형태는 대응되는 디바이스가 이러한 센서 없이 설계된다는 점을 제공한다. 일 실시예에 따르면, 압전 벤더는 낮은 전력 소비로 매우 빠른 초점 팩터(focus factor)의 역할을 한다. 그렇지 않으면 카메라 모듈의 입방체 폼 팩터가 긴 압전 벤더의 활용을 더 어렵게 하거나 심지어 불가능하게 만들기 때문에, 멀티 애퍼처 이미징 디바이스의 설명된 아키텍처는 이러한 압전 벤더의 사용을 허용한다. 짧은 노출 시간으로, 초점 스택을 촬영할 수 있다. 즉, 장면의 초점을 약간 다르게 하여 여러 장의 픽처를 차례로 빠르게 촬영할 수 있다. 실시형태는, 장면의 전체 깊이가 유용한 방식으로, 예를 들어 가장 가까운 가능한 숏인 매크로로부터 무한대까지, 즉 가능한 가장 큰 거리에서 샘플링되는 것을 제공한다. 거리는 오브젝트 공간에서 등거리로 배열될 수 있지만, 바람직하게는 이미지 공간에서 배열될 수 있다. 또는, 상이한 합리적인 거리가 선택될 수 있다. 예를 들어, 초점 위치의 수는 적어도 2개, 적어도 3개, 적어도 5개, 적어도 10개, 적어도 20개, 또는 기타 임의의 수이다.
여러 이미지(42)가 사용자에게 제시될 수 있다. 대안적으로 또는 추가적으로, 실시형태는 결합된 이미지 정보를 갖는 이미지가 사용자에게 제공될 수 있도록 개별 이미지 정보를 결합하는 것을 가능하게 한다. 예를 들어, 디지털 리포커싱(refocusing)의 가능성을 제공하는 깊이 정보를 갖는 이미지. 제시된 이미지는 소위 보케 효과, 즉 디포커싱(defocusing)을 제공할 수 있다. 대안적으로, 이미지는 또한, 전체 이미지가 인위적으로 선명하도록 표시될 수 있으며, 이것은, 부분 영역의 단일 프레임보다 더 큰 거리 범위, 예를 들어, 전체 이미지가 포커싱되는 점을 의미한다. 사용되는 렌즈의 낮은 애퍼처 값으로, 단일 프레임에서 측정된 선명도 또는 블러링 및 추가 정보, 예를 들어, 스택의 인접한 이미지에서 동일한 오브젝트의 선명도, 예를 들어 캘리브레이션된 룩업 테이블을 사용하는 동안의 초점 액추에이터 위치와 오브젝트 거리의 연관성, 초점을 통한 스캔의 방향은, 장면의 개별 요소의 오브젝트 거리를 재구성하고 이로부터 이미지 해상도의 깊이 맵을 생성하기 위해서(상기 프레임 자체와 관련하여 뿐만 아니라, 재귀적 방식으로 모호성을 피하기 위해 다른 이미지로부터) 사용될 수 있다.
제1 양태에 따르면, 깊이 맵이 여전히 생성될 수 있는 동안 스테레오 이미지에 대한 채널의 복제가 생략될 수 있다는 점이 달성된다. 이러한 깊이 맵은 멀티 애퍼처 이미징 디바이스의 상이한 부분 이미지의 스티칭을 가능하게 한다. 예를 들어, 광학 채널의 수를 절반으로 함으로써, 예를 들어, 라인 연장 방향을 따라서, 측면 치수의 유의한 감소, 및 따라서 또한, 비용 감소가 달성될 수 있다. 이미지 처리는 다른 단계를 통해 최소한 좋은 이미지를 제공할 수 있다.
도 6은 제2 양태에 관한 일 실시형태에 따른 디바이스(60)의 개략적인 사시도를 도시한다. 위에서 설명된 구현은 디바이스(101, 103, 30 및/또는 40)에 또한 쉽게 적용된다. 빔 편향기를 상이한 위치로 향하게 함으로써, 디바이스(60) 또는 디바이스(60)의 멀티 애퍼처 이미징 디바이스는 2개의 상호 이격된 전체 시야(261 및 262)를 캡처할 수 있다.
장치(60)는, 예를 들어, 휴대용 또는 모바일 디바이스, 특히 태블릿 컴퓨터 또는 모바일 전화, 특히 스마트폰(지능형 전화)으로서 구성된다.
시야(261 및 262) 중 하나는, 예를 들어, 포토(photo) 및/또는 비디오용 셀카픽처(selfies)의 경우에, 일반적인 관행과 같이, 디바이스(60)의 사용자 방향을 따라 배열될 수 있다.
다른 전체 시야는, 예를 들어, 디바이스(60)의 반대 방향 및/또는 세계 방향(world direction)을 따라 배열될 수 있고, 예를 들어, 전체 시야로부터 사용자 방향을 따라 그/그녀가 디바이스(60)를 바라볼 때, 사용자가 바라보는 방향을 따라 배열될 수 있다. 예를 들어, 도 1b의 빔 편향기(18)는 양측 측부 상에서 반사되도록 형성될 수 있고, 상이한 메인 측부로 상이한 위치에서 광학 채널(16a-d)의 빔 경로를 편향시킬 수 있어, 예를 들어, 디바이스(60)로부터 시작하여, 전체 시야(261 및 262)는 서로 대향하게 그리고/또는 180°의 각도로 배열된다.
도 7a는, 전체 시야(261 및 262)를 이미징함으로써 얻어질 수 있는 이미지 정보(461, 462)의 처리를 예시하는 개략도를 도시한다. 제어 수단은, 예를 들어, 시야(261)의 이미징 정보(461)의 일부(92)를 분리하도록, 예를 들어, 컷 아웃하도록, 또는 격리하도록, 또는 상기 부분(92)을 배타적으로 복사하도록 구성된다. 제어 수단은 또한, 분리된 또는 세그먼트화된 부분(92)을 이미징 정보(462)와 결합하도록, 즉 축적된 이미지 정보(48)를 얻기 위해서 부분(92)을 이미징 정보(462)에 삽입하도록 추가적으로 구성된다. 어떤 곳에서는, 후자가 전체 시야(262)를 나타내고, 어떤 곳에서는, 즉 부분(92)이 삽입된 곳에서는, 이것이 이미지 정보(461)를 나타낸다. 축적된 이미지 정보(48)의 획득이 단일 부분(92)의 삽입에 한정되지 않는다는 점, 및 임의의 수의 부분(92)이 이미지 정보(461)로부터 세그먼트화될 수 있고 이들 부분 중 하나, 여러 개 또는 모두가 이미지 정보(462)에 삽입될 수 있다는 점이 주의 되어야 한다.
부분(92)이 제2 이미징 정보(462) 안으로 삽입되는 위치 또는 배치는, 예를 들어, 디바이스(60)를 통해 부분(92)을 제2 시야(262)로 투사함으로써 제어 수단에 의해 자동으로 결정될 수 있으나, 대안적으로 또는 추가적으로, 또한 사용자에 의해서 선택될 수 있다.
일 실시형태에 따르면, 제어 수단은, 예를 들어, 패턴 매칭 및/또는 에지 검출을 통해, 그러나, 특히 디바이스 자체에 의해서 생성된 깊이 맵에 기반하여, 제1 이미징 정보(461)에서 사람을 식별하고 세그먼트화하도록 구성된다. 상기 제어 수단은 축적된 이미지 정보(48)를 획득하기 위해 사람의 이미지를 제2 이미징 정보(462) 안으로 삽입하도록 구성될 수 있다. 이것은 부분(92)이 디바이스(60)의 사용자와 같은 사람일 수 있다는 점을 의미한다. 실시형태는 디바이스가 사람을 자동으로 식별하도록, 그리고 제2 이미징 정보(462) 안으로 사람의 이미지, 즉 부분(92)을 자동으로 삽입하도록 구성되어 있다는 점을 제공한다. 이것은, 시간 소모적인 방식으로 디바이스(60)를 배치할 필요 없이, 그리고/또는 시간 소모적 방식으로 사용자를 배치할 필요 없이, 자화상을, 또는 제2 전체 시야(262) 앞에서 또는 이 안에 자화상을 자동으로 생성하는 것을 가능하게 한다.
실시형태는, 제어 수단이 제2 이미징 정보(462)에 부분(92)을 위치시키기 위해서 깊이 맵(38)과 같은 깊이 맵을 사용하는 점을 제공한다. 깊이 맵(38)은, 예를 들어, 고려되는 초점 위치의 수 또는 이로부터 얻어진 감소된 수 또는 이로부터 보간된 더 큰 수에 따라 복수 또는 다수의 깊이 평면을 가질 수 있다. 제어 수단은 축적된 이미지 정보(48)를 획득하기 위해 부분(92)을 제2 이미징 정보(462)의 미리 결정된 깊이 평면 안으로 삽입하도록 구성될 수 있다. 미리 결정된 깊이 평면은 실질적으로, 즉 ± 10%, ± 5% 또는 ± 2%의 허용오차 범위 내에서, 각각 디바이스(60)로부터 제1 전체 시야(262)의 거리에, 또는 디바이스(60)로부터 세그먼트화된 부분(92)의 거리에 대응될 수 있다. 이는 또한, 부분(92)을 깊이 측면에서 올바른 방식으로 제2 이미징 정보(462) 안으로 삽입하는 것으로 지칭될 수 있다.
도 7b는 축적된 이미지 정보(48)에서 부분(92)의 스케일링의 개략도를 도시한다. 대안적으로, 상이한 깊이 평면이 선택될 수 있으며, 이를 위해 실시형태의 다양한 가능성이 제공된다. 예를 들어, 미리 결정된 깊이 평면은 제2 이미징 정보(462)에서 부분(92)의 배치에 의해 영향을 받거나 이에 의해 결정될 수 있다. 배치는 자동으로 또는 사용자 입력에 의해 영향을 받을 수 있다. 예를 들어, 사용자가 부분(92)을 삽입하기 위한 제2 이미징 정보(462) 내 특정 위치 또는 장소를 선택하면, 제어 수단은 제2 이미징 정보(462)에 부분(92)이 삽입될 영역의 거리를 결정하도록 구성될 수 있다. 제2 이미징 정보(462)에 있는 디바이스 및 오브젝트로부터 부분(92)의 거리를 알면, 예를 들어 깊이 맵을 사용하는 동안, 사용자 입력에 의해서 유발된 부분(92)의 가상 거리 변화는 부분(92)을 스케일링함으로써 보상될 수 있다.
따라서, 부분(92)의 1차원, 2차원 또는 3차원 사이즈(94)는 변경될 수 있으며, 예를 들어, 제1 이미징 정보(461)로부터 제2 이미징 정보(462)까지의 부분(92)의 거리가 증가되면 사이즈(96)로 감소될 수 있거나, 또는 제1 이미징 정보(461)로부터 제2 이미징 정보(462)까지의 거리가 감소되면 사이즈(96)로 증가될 수 있다. 연관된 사용자 입력에 기반하여 제1 이미징 정보(461)에 부분(92)을 배치하는 것과 별개로, 뿐만 아니라, 조합하여, 디바이스는 스케일링된 이미징 정보를 획득하기 위해 이미징 정보(461)를 스케일링하도록 구성될 수 있다. 스케일링된 이미징 정보는 축적된 이미지 정보(48)를 획득하기 위해 제어 수단에 의해 이미징 정보(462) 안으로 삽입될 수 있다. 디바이스는 디바이스(60)에 대한, 부분(92)을 나타내고 제1 이미징 정보(461)에 이미징된 오브젝트의 거리를 결정하도록 구성될 수 있다. 디바이스는 제2 이미징 정보(462)의 미리 결정된 깊이 평면과 결정된 거리의 비교에 기반하여, 이미징 정보(461) 또는 이의 부분(92)을 스케일링할 수 있다. 이미징 정보(461, 462)의 두 개의 아이템이 짧은 시간의 거리 내에 캡처된다면, 유리하다. 30 ms 이하, 10 ms 이하, 5 ms 이하 또는 1 ms 이하의 시간 간격 내의 이 시간 거리가 대략 0.1 ms이면, 유리하다. 이 시간은, 예를 들어, 빔 편향기의 전환 또는 재배치를 위해 사용될 수 있고, 이 프로세스의 지속 시간에 의해 적어도 부분적으로 결정될 수 있다.
축적된 이미지 정보(48)는 단일 프레임으로서, 대안적으로 또는 추가적으로 비디오 데이터 스트림으로서, 예를 들어 다수의 단일 프레임으로서 획득될 수 있다.
일 실시형태에 따르면, 디바이스는 제1 이미징 정보(461)가 사용자의 이미지를 포함하도록, 그리고 제2 이미징 정보(462)가 디바이스의 세계 뷰를 포함하도록 제2 양태에 따라 형성된다. 제어 수단은 제1 이미징 정보(461)로부터 사용자의 이미지를 세그먼트화하도록, 그리고 이를 세계 뷰 안으로 삽입하도록 구성된다. 예를 들어, 디바이스는 사용자의 이미지를 정확한 깊이의 세계 뷰 안으로 삽입하도록 구성될 수 있다.
즉, 제2 양태의 맥락에서, 셀카 이미지를 찍거나 비디오를 촬영하는 것은 전면 카메라/뷰와 디바이스, 특히 모바일 폰의 메인 카메라/뷰를 사용한 준동시 사진 촬영의 깊이 기반 조합을 포함할 수 있다. 셀카의 전경, 즉 자화상은 메인 카메라로 촬영된 픽처의 전경으로 전달될 수 있다. 빔 디플렉터의 위치를 변경함으로써 전방과 후방 사진 촬영 간의 매우 빠른 전환은 동일한 이미지 센서로 위에서 언급된 세계 측 카메라 이미지와 사용자 측 카메라 이미지의 준동시 캡처를 허용한다. 단일 채널 이미징 디바이스가 제2 양태에 따라 사용될 수 있지만, 제2 양태는, 멀티 애퍼처 이미징 디바이스들이 프레임을 병합하기 위해서 이미 깊이 맵을 생성하거나 사용할 수 있기 때문에, 이 디바이스와 관련하여 장점을 제공한다. 이 깊이 맵은 또한, 축적된 이미지 정보(48)를 합성하기 위한 깊이 정보를 결정하기 위해서 사용될 수 있다. 다음과 같이 설명될 수 있는 절차가 가능하다.
1. 배경으로부터 전경, 즉, 자신의 사진(들)을 찍는 사람(들)을 세그먼트화하도록 셀카픽처의 깊이 맵을 사용하고;
2. 전경과 이로부터의 배경을 식별하기 위해서, 즉 깊이 정보를 분리하기 위해서, 세계 측 픽처의 깊이 맵을 사용하고;
3. 셀카픽처로부터 전경, 즉 자신의 사진(들)을 찍는 사람(들)을 세계 측 숏의 픽처 안으로, 특히 이의 전경 안으로 삽입한다.
이것의 장점은, 세계 측 장면 앞에서 자신의 사진을 찍기 위해서, 다른 경우에 필수적인 바와 같이, 폰을 180° 돌려야 할 필요 없이, 셀카 숏이 배경인 세계 측 픽처와 결합될 수 있다는 점이다. 대안적으로 또는 추가적으로, 당신이 뒤쪽 방향으로 자신을 지나쳐 사진을 찍는 점(이것은 전화기의 배향이 장면과 관련하여 항상 거울 반전(mirror-inverted)이어야 한다는 점을 기억할 것을 요구함)이 회피된다. 깊이 맵 자체는 또한, 제1 양태와 관련하여 설명된 바와 같이 제2 양태에 따라 생성될 수 있어, 전파 시간 센서 또는 스트럭쳐드 라이트 센서의 추가적 배열이 생략될 수 있다.
다음에서, 본 발명의 장점을 설명하기 위해 멀티 애퍼처 이미징 디바이스의 몇몇 유리한 구현이 참조될 것이다.
도 8은 제1 및/또는 제2 양태(들)의 창의적인 디바이스에 사용될 수 있는 멀티 애퍼처 이미징 디바이스(80)의 부분을 도시하며, 광학 이미지 안정화를 구현하기 위한 가능한 포커싱 수단 및/또는 액추에이터는 표시되지 않았지만, 쉽게 구현될 수 있다.
도 8의 멀티 애퍼처 이미징 디바이스(80)는, 여러 라인으로 또는 바람직하게는 하나의 라인으로 형성되는 인접하게 배열된 광학 채널(16a-d)의 어레이(14)를 포함한다. 각각의 광학 채널(16a-d)은, 도 5와 관련하여 설명된 바와 같이, 전체 시야의 각각의 부분 시야(24a-d), 또는 가능하게는 전체 시야(26)를 이미징하기 위한 광학계(22a-d)를 포함한다. 멀티 애퍼처 이미징 디바이스(80) 상에 보여지는 시야는 이미지 센서(12)의 각각의 연관된 이미지 센서 영역(28a-d) 상에 투사된다.
예를 들어, 이미지 센서 영역(28a-d)은 각각 대응되는 픽셀 어레이를 포함하는 칩으로 형성될 수 있으며; 칩은 도 8에 도시된 바와 같이, 공통 기판 또는 보드(98) 상에 실장될 수 있다. 대안적으로, 물론 이미지 센서 영역(28a-d) 각각이 이미지 센서 영역(28a-d)에 걸쳐 연속적으로 또는 중단되어 연장되는 공통 픽셀 어레이의 부분으로 형성되는 것이 가능할 것이며, 공통 픽셀 어레이는, 예를 들어, 단일 칩 상에 형성되는 것이 가능할 것이다. 예를 들어, 그러면, 이미지 센서 영역(28a-d)에서 공통 픽셀 어레이의 픽셀 값만이 판독될 것이다. 2개 이상의 채널을 위한 칩과 또 다른 채널을 위한 추가 칩의 존재 등과 같이, 이러한 대안들의 상이한 혼합예가 또한, 물론 가능하다. 이미지 센서(12)의 칩이 여러 개 있는 경우, 이들은 하나 이상의 기판 상에, 예를 들어, 모두 또는 그룹 등으로 실장될 수 있다.
도 8의 실시예에서, 네 개의 광학 채널(16a-d)은 어레이(14)의 라인 연장 방향으로 서로 나란히 하나의 라인으로 배열되나, 숫자 4는 예시일 뿐이고, 1보다 큰 임의의 다른 숫자일 수 있다. 즉, N>1인 N개의 광학 채널이 배열될 수 있다. 또한, 어레이(14)는 또한, 라인 연장 방향을 따라 연장되는 추가 라인을 가질 수 있다. 광학 채널(16a-d)의 어레이(14)는 광학 채널 또는 이들의 공간적 그룹의 조합으로 이해된다. 광학계(22a-d)는 각각 렌즈를 가질 수 있지만, 렌즈 화합물 또는 렌즈 스택, 뿐만 아니라 이미징 광학계 및 기타 광학 요소(필터, 애퍼처, 반사 또는 회절 요소 등을 포함함)의 조합을 또한 가질 수 있다. 어레이(14)는, 광학계(22a-d)가 함께 취해지는 그룹 또는 모든 채널에서, 채널 특이적 방식으로 기판(78) 상에 배열되는, 고정되는, 또는 실장되는 방식으로 구성될 수 있다. 이것은, 단일 기판(78), 이의 여러 부분이 배열되거나, 또는, 예를 들어 광학계(22a-d)가 다른 곳에 실장되는 경우, 기판(78)이 배열되지 않을 수 있다는 점을 의미한다.
광학 채널(16a-d)의 광학 축선 또는 빔 경로(102a-d)는, 일 실시예에 따르면, 이미지 센서 영역(28a-d)과 광학계(22a-d) 사이에서 서로 평행하게 연장될 수 있다. 이를 위해, 이미지 센서 영역(28a-d)은, 예를 들어, 광학계(22a-d)의 광학 중심과 같이, 공통 평면에 배열된다. 두 평면은 서로 평행하며, 즉, 이미지 센서 영역(28a-d)의 공통 평면에 평행하다. 또한, 이미지 센서 영역(28a-d)의 평면에 수직인 투사에서, 광학계(22a-d)의 광학 중심은 이미지 센서 영역(28a-d)의 중심과 일치한다. 다시 말해서, 이러한 평행한 평면들에서, 한편으로, 광학계(22a-d) 및 이미지 센서 영역(28a-d)은 동일한 피치로 라인 연장 방향으로 배열된다.
이미지 센서 영역(28a-d)과 연관된 광학계(22a-d) 사이의 이미지 측 거리는, 이미지 센서 영역(28a-d) 상의 이미지가 원하는 오브젝트 거리로 설정되도록, 설정된다. 예를 들어, 거리는 광학계(22a-d)의 초점 길이 이상의 범위 내에 있거나, 또는 광학계(22a-d)의 초점 길이와 초점 길이의 두 배 사이의 범위 내에 있다. 이미지 센서 영역(28a-d)과 광학계(22a-d) 사이의 광학 축선(102a-d)을 따른 이미지 측 거리는 또한, 예를 들어 사용자에 의해 수동으로, 그리고/또는 포커싱 수단 또는 자동 초점 제어를 통해 자동으로 설정 가능할 수 있다.
임의의 추가 조치 없이, 광학 채널(16a-d)의 부분 시야(24a-d)는 본질적으로 빔 경로 또는 광학 축선(102a-d)의 평행도(parallelism)로 인해 완전히 오버랩된다. 빔 편향기(18)는 더 큰 전체 시야(26)를 커버하기 위해서, 그리고 부분 시야(24a-d)가 공간에서 단지 부분적으로만 오버랩되도록 제공된다. 빔 편향기(18)는 빔 경로(102a-d), 또는 광학 축선을, 예를 들어 채널 특이적 편차로 전체 시야 방향(104)으로 편향시킨다. 예를 들어, 전체 시야 방향(104)은, 어레이(14)의 라인 연장 방향에 수직이고 빔 편향 이전 또는 없는 광학 축선(102a-d)의 경로에 평행한 평면과 평행하게 연장된다. 예를 들어, 광학 축선(102a-d)의 전체 시야 방향(104)은 라인 연장 방향을, 대략 > 0° 및 < 180°이고, 예를 들어 80°와 100° 사이에 있고, 예를 들어 90°일 수 있는 각도로 회전시킴으로써 얻어진다. 따라서, 부분 시야(24a-d)의 전체 범위에 대응되는 멀티 애퍼처 이미징 디바이스(80)의 전체 시야(26)는 광학 축선(102a-d)의 방향으로 어레이(14)와 이미지 센서(12)의 시리즈 연결의 확장 방향에 위치되지 않으나, 빔 편향으로 인해, 전체 시야는 멀티 애퍼처 이미징 디바이스(80)의 설치 높이가 측정되는 방향으로, 즉 라인 연장 방향에 수직인 측면 방향으로 이미지 센서(12) 및 어레이(14)에 대해 측방향으로 위치된다.
부가적으로, 그러나, 빔 편향기(18)는, 예를 들어, 각각의 광학 채널(16a-d)의 빔 경로 또는 각각의 빔 경로를, 방금 언급된 방향으로부터 방향(104)으로 이어지는 방향으로 채널 특이적 편차로 편향시킨다. 각각의 채널(16a-d)에 대한 빔 편향기(18)는, 예를 들어, 반사 파세트(86-d) 및/또는 반사 표면과 같은 개별적으로 설치된 요소를 포함한다. 이들은 서로 약간 기울어져 있다. 파세트(86a-d)의 상호 틸팅은, 빔이 빔 편향기(18)에 의해 편향될 때, 부분 시야(24a-d)가 부분적으로만 오버랩되도록 부분 시야(24a-d)가 약간의 발산으로 제공되는 방식으로 선택된다. 도 8에 예시적으로 도시된 바와 같이, 부분 시야들(24a-d)이 2차원 방식으로 전체 시야(26)를 덮는 방식으로, 즉, 이들이 전체 시야(26)에서 2차원 방식으로 분포되는 방식으로 개별 편향이 구현될 수 있다.
다른 실시예에 따르면, 광학 채널의 광학계(22a-d)는 빔 경로(102a-d)에서 발산을 완전히 또는 부분적으로 생성하도록 설정될 수 있으며, 이는 개별 파세트들(86a-d) 사이의 기울어짐을 완전히 또는 부분적으로 생략하는 것을 가능하게 한다. 예를 들어, 발산이 광학계(22a-d)에 의해 완전히 제공되는 경우, 빔 편향기는 또한 평면 미러로서 형성될 수 있다.
지금까지 설명된 멀티 애퍼처 이미징 디바이스(80)에 관한 많은 세부사항은 단지 예로서 선택되었다는 점이 주의되어야 한다. 이것은, 예를 들어, 위에서 언급된 다수의 광학 채널과 관련된 경우였다. 빔 편향기(18)는 또한, 이전에 설명된 것과 다르게 형성될 수 있다. 예를 들어, 빔 편향기(18)는 반드시 반사하도록 될 필요는 없다. 따라서, 이것은 또한, 파세트된(facetted) 거울의 형태와 다르게, 예를 들어, 투명한 프리즘 쐐기 형태로 구성될 수 있다. 이 경우, 예를 들어, 평균 빔 편향은 0°일 수 있으며, 즉 방향(104)은, 예를 들어, 빔 편향 전 또는 없는 빔 경로(102a-d)에 평행할 수 있거나, 또는 바꾸어 말하면, 멀티 애퍼처 이미징 디바이스(80)는 빔 편향기(18)에도 불구하고 여전히 "앞을 똑바로 바라볼(look straight ahead)" 수 있다. 빔 편향기(18)에 의한 채널 특이적 편향은 다시 부분 시야(24a-d)가 서로 단지 약간 오버랩되는 것으로, 예를 들어, 쌍에서 부분 시야(24a-d)의 입체각 범위와 관련하여 < 10%의 오버랩으로 귀결될 수 있다.
또한, 빔 경로(102a-d), 또는 광학 축선은 설명된 평행도로부터 벗어날 수 있으며, 그럼에도 불구하고 광학 채널의 빔 경로의 평행도는 부분적인 시야에 대해 여전히 충분히 뚜렷할 수 있으며, 이 부분 시야는 개별 채널(16a-N)에 의해서 커버되고/되거나 각각의 이미지 센서 영역(28a-d) 상에 투사되며, 빔 편향과 같은 임의의 추가 조치가 취해지지 않으면 크게 오버랩될 것이므로, 멀티 애퍼처 이미징 디바이스(80)가 더 큰 전체 시야를 커버하기 위해서, 빔 편향기(18)는, N개의 광학 채널(16a-N)의 부분 시야가 서로 덜 오버랩되도록 추가적인 발산을 갖는 빔 경로를 제공한다. 예를 들어, 빔 편향기(18)는, 전체 시야가 광학 채널(16a-N)의 개별 부분 시야의 개구각의 1.5배보다 더 큰 개구각을 갖는다는 점을 보장한다. 빔 경로(102a-d)의 일종의 사전 발산으로, 모든 파세트 경사가 다른 것은 아니고, 예를 들어, 채널의 일부 그룹은 동일한 경사를 가진 파세트를 가질 수 있는 점이 또한 가능하다. 그러면, 후자는 원피스(one piece)로 형성되거나, 또는 이들이 하나의 파세트로서 유사하게 서로 연속적으로 병합되도록 형성될 수 있으며, 이 파세트는 라인 연장 방향으로 인접한 채널 그룹과 연관된다.
이러한 채널(16a-d)의 광학 축선(102a-d)의 발산은 광학계(22a-d)의 광학 중심과 채널(16a-d) 또는 프리즘 구조체 또는 편심 렌즈 섹션의 이미지 센서 영역(28a-d) 사이의 측방향 오프셋에 의해 달성되는 바와 같이, 이러한 광학 축선(102a-d)의 발산으로부터 비롯될 수 있다. 예를 들어, 사전 발산은 하나의 평면에 한정될 수 있다. 예를 들어, 광학 축선(102a-d)은 빔 편향기(18) 이전 또는 없는 공통 평면 내에서 연장될 수 있으나, 발산 방식으로 상기 평면 내에서 연장될 수 있고, 파세트(86a-d)는 단지 다른 횡단 평면 내에서 추가 발산을 유발하며, 즉 이들은 모두 라인 연장 방향과 평행하게 기울어지고 광학 축선(102a-d)의 전술된 공통 평면에 대해서만 다른 방식으로 서로 기울어지며; 다음으로, 여러 파세트(86a-d)는 동일한 경사를 나타내거나, 또는 광학 축선이 상이한, 예를 들어, 빔 편향 전 또는 없이 쌍으로 이미 전술된 광학 축선의 공통 평면에 있는 일 그룹의 채널과 공통적으로 연관될 수 있다.
빔 편향기(18)가 생략되거나, 또는 빔 편향기(18)가 평면 거울 등으로 구성된 경우, 전체 발산은 또한, 한편으로는 광학계(22a-d)의 광학 중심과 다른 한편으로는 이미지 센서 영역(28a-d)의 중심 사이의 측방향 오프셋에 의해서, 또는 프리즘 구조체 또는 편심 렌즈 섹션에 의해 달성될 수 있다.
아마 존재할 수 있는 전술된 사전 발산은, 예를 들어, 이미지 센서 영역(28a-d)의 중심이 이미지 센서 평면 내의 직선 상의 지점(예를 들어, 라인 연장 방향을 따라서 그리고/또는 라인 연장 방향과 이미지 센서 법선 모두에 수직인 방향을 따라서 채널 특이적 방식으로 이미지 센서 평면 내에서 앞서 언급된 직선 상의 지점으로부터 벗어나는 지점)에서 이미지 센서 영역(28a-d)의 평면의 법선을 따라 광학 중심의 투사로부터 벗어나도록 배열된 상태에서, 라인 연장 방향을 따라 직선 상에 광학계(22a-d)의 광학 중심을 배치함으로써 달성될 수 있다. 대안적으로, 사전 발산은, 광학계(22a-d)의 중심이 광학 중심 평면 내의 직선 상의 지점(예를 들어, 라인 연장 방향을 따라서 그리고/또는 라인 연장 방향과 광학 중심 평면의 법선 모두에 수직인 방향을 따라서 채널 특이적 방식으로 광학 중심 평면에서 위에서 언급된 직선 상의 지점으로부터 벗어난 지점)에서 광학계(22a-d)의 광학 중심의 평면의 법선을 따라 이미지 센서의 광학 중심의 투사로부터 벗어나도록 배열된 상태에서, 라인 연장 방향을 따라 직선 상에 이미지 센서(28a-d)의 중심을 배치함으로써 달성될 수 있다.
각각의 투사로부터 전술된 채널 특이적 편차가 라인 연장 방향에서만 발생되는 경우, 즉 광학 축선(102a-d)이 하나의 공통 평면 내에만 위치되고, 사전 발산을 구비하는 경우가 바람직하다. 그러면 광학 중심 및 이미지 센서 영역 중심은 모두, 라인 연장 방향에 평행하지만 상이한 중간 거리를 갖는 직선 상에 놓인다. 반면에, 라인 연장 방향에 대해 측방향이고 수직인 방향으로 렌즈와 이미지 센서 사이의 측방향 오프셋은 설치 높이의 증가로 이어졌다. 라인 연장 방향의 순수한 평면 내 오프셋은 설치 높이를 변경하지 않지만, 이것은 아마 더 적은 파세트로 귀결될 수 있고/있거나, 파세트는 각도 배향으로만 틸팅을 가질 수 있으며, 이는 아키텍처를 단순화시킨다.
일부 양태는 디바이스와 관련하여 설명되었지만, 이러한 양태는 또한 대응되는 방법의 설명을 나타내므로 디바이스의 블록 또는 구성요소가 또한, 대응되는 방법 단계로서 또는 방법 단계의 특징부로서 이해될 것이라는 점이 이해된다. 유사하게, 방법 단계와 관련하여 또는 방법 단계로서 설명된 양태는 또한, 대응되는 디바이스의 대응되는 블록 또는 항목 또는 특징부의 설명을 나타낸다.
상술된 실시 예는 단지 본 발명의 원리의 예시이다. 본원에 설명된 배열 및 세부 사항의 수정 및 변경이 당업자에게 명백할 것이라는 점은 말할 필요도 없다. 따라서, 본 발명이 본원의 실시형태의 설명 및 해설을 통해 제시된 특정 세부사항에 의해서 보다는 오히려 아래의 특허 청구항의 범위에 의해서만 한정되는 점이 의도된다.

Claims (18)

  1. 디바이스에 있어서,
    멀티 애퍼처 이미징 디바이스(multi-aperture imaging device)로서,
    이미지 센서(12);
    인접하게 배열된 광학 채널(16a-d)의 어레이(14) - 각각의 광학 채널(16a-d)은 상기 이미지 센서(12)의 이미지 센서 영역(28a-d) 상에 전체 시야(261, 262)의 적어도 부분 시야(24a-d)를 투사하기 위한 광학계(22a-d)를 포함함 -; 및
    상기 광학 채널(16a-d)의 빔 경로(104)를 편향시키기 위한 빔 편향기(18) - 상기 빔 편향기(18)의 상대적 위치는 제1 위치와 제2 위치 사이에서 전환 가능하여, 상기 제1 위치에서 상기 빔 경로(104)는 제1 전체 시야(261)를 향해 편향되고, 상기 제2 위치에서 상기 빔 경로(104)는 제2 전체 시야(262)를 향해 편향됨 -;를 포함하는, 상기 멀티 애퍼처 이미징 디바이스를 포함하되,
    상기 디바이스는,
    상기 이미지 센서(12)로부터 상기 제1 전체 시야(261)의 제1 이미징 정보(461)를 획득하기 위해 상기 제1 위치로 이동되게끔 상기 빔 편향기(18)를 제어하도록; 상기 이미지 센서(12)로부터 상기 제2 전체 시야(262)의 제2 이미징 정보(462)를 획득하기 위해 상기 제2 위치로 이동되게끔 상기 빔 편향기(18)를 제어하도록; 그리고 부분적으로 상기 제1 전체 시야(261)를 나타내고 부분적으로 상기 제2 전체 시야(262)를 나타내는 축적된 이미지 정보(48)를 획득하기 위해 상기 제1 이미징 정보(461)의 일 부분(92)을 상기 제2 이미징 정보(462) 안으로 삽입하도록 구성된 제어 수단(44; 54)를 더 포함하는, 디바이스.
  2. 제1항에 있어서,
    상기 제1 전체 시야(261)는 상기 디바이스의 사용자 디바이스를 따라 또는 상기 디바이스의 반대로 배열된 세계(world) 방향을 따라 배열되는, 디바이스.
  3. 제2항에 있어서,
    상기 제2 전체 시야(262)는 상기 제1 전체 시야(261)의 반대 방향을 따라 배열되는, 디바이스.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 제어 수단(44; 54)은 상기 축적된 이미지 정보를 얻기 위해(48) 상기 제1 이미징 정보(261)에서 사람을 식별하고 세그먼트화하도록, 그리고 상기 제2 이미징 정보(462) 안으로 상기 사람의 이미지를 삽입하도록 구성된, 디바이스.
  5. 제4항에 있어서,
    상기 사람을 자동으로 식별하도록, 그리고 상기 사람의 이미지를 상기 제2 이미징 정보(462)에 자동으로 삽입하도록 구성된 디바이스.
  6. 제4항 또는 제5항에 있어서,
    상기 제1 이미징 정보(461)로부터 상기 디바이스에 의해 생성된 깊이 맵(38)을 사용하면서 상기 부분(92)을 식별하고/하거나 세그먼트화하도록 구성된 디바이스.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    복수의 깊이 평면을 갖는 깊이 맵(38)을 상기 제2 이미징 정보(462)에 대해 생성하도록, 그리고 상기 축적된 이미지 정보를 획득하기 위해서 상기 제2 이미징 정보(462)의 미리 결정된 깊이 평면에 상기 제1 이미지 정보(461)를 삽입하도록 구성된 디바이스.
  8. 제7항에 있어서,
    상기 미리 정의된 깊이 평면은, 10%의 허용오차 범위 내에서, 상기 디바이스로부터 상기 제1 전체 시야(261)의 거리에 대응되는, 디바이스.
  9. 제7항 또는 제8항에 있어서,
    상기 미리 정의된 깊이 평면은 상기 제2 이미징 정보(462)에서 상기 제1 이미징 정보(461)의 배치와 연관된 사용자 입력에 기반하는, 디바이스.
  10. 제7항 내지 제9항 중 어느 한 항에 있어서,
    스케일링된 제1 이미징 정보를 획득하기 위해 상기 제1 이미징 정보(461)를 스케일링하도록, 그리고 상기 축적된 이미지 정보를 얻기 위해(48) 상기 스케일링된 제1 이미징 정보를 상기 제2 이미징 정보(462) 안으로 삽입하도록 구성된 디바이스.
  11. 제10항에 있어서,
    상기 디바이스에 대한 상기 제1 이미징 정보(461)에서 이미징된 오브젝트의 거리를 결정하도록, 그리고 상기 제2 이미징 정보(462)에서 상기 미리 결정된 깊이 평면과 상기 결정된 거리의 비교에 기반하여 상기 제1 이미징 정보(461)를 스케일링하도록 구성된 디바이스.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    최대 30 ms의 시간 간격 내에서 상기 제1 전체 시야(261) 및 상기 제2 전체 시야(262)를 검출하도록 구성된 디바이스.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    비디오 데이터 스트림으로서 상기 축적된 이미지 정보(48)를 획득하도록 구성된 디바이스.
  14. 제1항 내지 제13항 중 어느 한 항에 있어서,
    단일 프레임으로서 상기 축적된 이미지 정보(48)를 획득하도록 구성된 디바이스.
  15. 제1항 내지 제14항 중 어느 한 항에 있어서,
    상기 제1 이미징 정보(461)는 사용자의 이미지를 포함하고, 상기 제2 이미징 정보(462)는 상기 디바이스의 세계 뷰(world view)를 포함하며, 상기 제어 수단(44; 54)은 상기 제1 이미징 정보(461)로부터 상기 사용자의 이미지를 세그먼트화하도록, 그리고 이를 상기 세계 뷰에 삽입하도록 구성된, 디바이스.
  16. 제15항에 있어서,
    깊이의 관점에서 정확한 방식으로 상기 사용자의 이미지를 상기 세계 뷰 안으로 삽입하도록 구성된 디바이스.
  17. 제1항 내지 제16항 중 어느 한 항에 있어서,
    상이한 초점 위치를 갖는 상기 제1 전체 시야(261)의 이미지의 그리고/또는 상기 제2 전체 시야(262)의 이미지의 일 시퀀스를 검출하도록, 그리고 상기 이미지의 시퀀스로부터 상기 제1 전체 시야(261) 및/또는 상기 제2 전체 시야(262)에 대한 깊이 맵(38)을 생성하도록 구성된 디바이스.
  18. 멀티 애퍼처 이미징 디바이스를 포함하는 디바이스에 있어서,
    상기 멀티 애퍼처 이미징 디바이스는,
    이미지 센서(12);
    인접하게 배열된 광학 채널(16a-d)의 어레이(14) - 각각의 광학 채널(16a-d)은 상기 이미지 센서(12)의 이미지 센서 영역(28a-d) 상에 전체 시야(261, 262)의 적어도 부분 시야(24a-d)를 투사하기 위한 광학계(22a-d)를 포함함 -.
    상기 멀티 애퍼처 이미징 디바이스는 상기 광학 채널(16a-d)의 빔 경로(104)를 편향시키기 위한 빔 편향기(18)를 더 포함한다. 상기 빔 편향기(18)의 상대적 위치는 제1 위치와 제2 위치 사이에서 전환 가능하여, 상기 제1 위치에서 상기 빔 경로(104)는 제1 전체 시야(261)를 향해 편향되고, 상기 제2 위치에서 상기 빔 경로(104)는 제2 전체 시야(262)를 향해 편향된다.
    상기 제어 수단(44; 54)은 상기 이미지 센서(12)로부터 상기 제1 전체 시야(261)의 제1 이미징 정보(461)를 획득하기 위해 상기 제1 위치로 이동되게끔 상기 빔 편향기(18)를 제어하도록 구성된다. 상기 제어 수단은 상기 이미지 센서(12)로부터 상기 제2 전체 시야(262)의 제2 이미징 정보(462)를 획득하기 위해 상기 제2 위치로 이동되게끔 상기 빔 편향기(18)를 제어하도록 구성된다. 상기 제어 수단은, 부분적으로 상기 제1 전체 시야(261)를 나타내고 부분적으로 상기 제2 전체 시야(262)를 나타내는 축적된 이미지 정보(48)를 획득하기 위해 상기 제1 이미징 정보(461)의 일 부분(92)을 상기 제2 이미징 정보(462) 안으로 삽입하도록 구성된다.
KR1020217023161A 2018-12-21 2019-12-19 영상 정보를 축적하기 위한 멀티 애퍼처 이미징 디바이스를 포함하는 디바이스 KR20210103555A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102018222861.2 2018-12-21
DE102018222861.2A DE102018222861A1 (de) 2018-12-21 2018-12-21 Vorrichtung mit einer Multiaperturabbildungsvorrichtung zum Akkumulieren von Bildinformation
PCT/EP2019/086328 WO2020127748A1 (de) 2018-12-21 2019-12-19 Vorrichtung mit einer multiaperturabbildungsvorrichtung zum akkumulieren von bildinformation

Publications (1)

Publication Number Publication Date
KR20210103555A true KR20210103555A (ko) 2021-08-23

Family

ID=69024266

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217023161A KR20210103555A (ko) 2018-12-21 2019-12-19 영상 정보를 축적하기 위한 멀티 애퍼처 이미징 디바이스를 포함하는 디바이스

Country Status (8)

Country Link
US (1) US11330161B2 (ko)
EP (1) EP3900318B1 (ko)
JP (1) JP2022514766A (ko)
KR (1) KR20210103555A (ko)
CN (1) CN113330730B (ko)
DE (1) DE102018222861A1 (ko)
TW (1) TWI794571B (ko)
WO (1) WO2020127748A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11343424B1 (en) * 2021-07-09 2022-05-24 Viewsonic International Corporation Image capturing method and electronic device

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8072470B2 (en) * 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
JP2005094741A (ja) * 2003-08-14 2005-04-07 Fuji Photo Film Co Ltd 撮像装置及び画像合成方法
KR100836616B1 (ko) * 2006-11-14 2008-06-10 (주)케이티에프테크놀로지스 영상 합성 기능을 가지는 휴대용 단말기 및 휴대용단말기의 영상 합성 방법
JP2011087183A (ja) * 2009-10-16 2011-04-28 Olympus Imaging Corp 撮影装置、画像処理装置、およびプログラム
JP6128928B2 (ja) * 2013-04-17 2017-05-17 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
KR102127351B1 (ko) * 2013-07-23 2020-06-26 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
CN108718376B (zh) * 2013-08-01 2020-08-14 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
US9557519B2 (en) * 2013-10-18 2017-01-31 Light Labs Inc. Methods and apparatus for implementing a camera device supporting a number of different focal lengths
DE102013222780B3 (de) 2013-11-08 2015-04-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturvorrichtung und verfahren zur erfassung eines objektbereichs
US20150134651A1 (en) 2013-11-12 2015-05-14 Fyusion, Inc. Multi-dimensional surround view based search
DE102013226789B4 (de) * 2013-12-19 2017-02-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Mehrkanaloptik-Bildaufnahmevorrichtung und Mehrkanaloptik-Bildaufnahmeverfahren
GB2523740B (en) * 2014-02-26 2020-10-14 Sony Interactive Entertainment Inc Image encoding and display
CN112203067A (zh) * 2014-03-03 2021-01-08 埃韦视觉有限公司 眼睛投影系统和眼睛投影方法
DE102014212104A1 (de) * 2014-06-24 2015-12-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur relativen positionierung einer multiaperturoptik mit mehreren optischen kanälen relativ zu einem bildsensor
DE102014213371B3 (de) 2014-07-09 2015-08-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur erfassung eines objektbereichs
US9350924B2 (en) * 2014-08-25 2016-05-24 John G. Posa Portable electronic devices with integrated image/video compositing
US20160198097A1 (en) * 2015-01-05 2016-07-07 GenMe, Inc. System and method for inserting objects into an image or sequence of images
WO2016152633A1 (ja) * 2015-03-26 2016-09-29 ソニー株式会社 画像処理システムおよび画像処理方法、並びにプログラム
DE102015215833A1 (de) 2015-08-19 2017-02-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit Optiksubstrat
DE102015215845B4 (de) 2015-08-19 2017-06-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit kanalindividueller Einstellbarkeit
DE102015215840B4 (de) * 2015-08-19 2017-03-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
DE102015215837A1 (de) 2015-08-19 2017-02-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Verfahren zum Herstellen derselben und Abbildungssystem
DE102015215844B4 (de) 2015-08-19 2017-05-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, tragbare Vorrichtung und Verfahren zum Herstellen einer Multiaperturabbildungsvorrichtung
DE102015215836B4 (de) 2015-08-19 2017-05-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit einer reflektierende Facetten aufweisenden Strahlumlenkvorrichtung
DE102015215841B4 (de) 2015-08-19 2017-06-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multikanalabbildungsvorrichtung und Verfahren zum Herstellen derselben
DE102015216140A1 (de) 2015-08-24 2017-03-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3D-Multiaperturabbildungsvorrichtung
DE102015220566B4 (de) 2015-10-21 2021-03-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung, Verfahren zum Bereitstellen derselben und Verfahren zum Erfassen eines Gesamtgesichtsfeldes
DE102016200287A1 (de) * 2016-01-13 2017-07-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtungen, Verfahren zum Herstellen derselben und Abbildungssystem
DE102016204148A1 (de) * 2016-03-14 2017-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Erfassen eines Objektbereichs
DE102016208210A1 (de) * 2016-05-12 2017-11-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3d-multiaperturabbildungsvorrichtungen, multiaperturabbildungsvorrichtung, verfahren zum bereitstellen eines ausgangssignals einer 3d-multiaperturabbildungsvorrichtung und verfahren zum erfassen eines gesamtgesichtsfeldes
US20180035031A1 (en) * 2016-07-27 2018-02-01 Samsung Electro-Mechanics Co., Ltd. Camera module and portable electronic device including the same
DE102017206442B4 (de) 2017-04-13 2021-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur Abbildung von Teilgesichtsfeldern, Multiaperturabbildungsvorrichtung und Verfahren zum Bereitstellen derselben

Also Published As

Publication number Publication date
JP2022514766A (ja) 2022-02-15
TW202043842A (zh) 2020-12-01
EP3900318A1 (de) 2021-10-27
WO2020127748A1 (de) 2020-06-25
US20210314471A1 (en) 2021-10-07
DE102018222861A1 (de) 2020-06-25
CN113330730B (zh) 2023-05-12
US11330161B2 (en) 2022-05-10
TWI794571B (zh) 2023-03-01
CN113330730A (zh) 2021-08-31
EP3900318B1 (de) 2024-01-17

Similar Documents

Publication Publication Date Title
US8305425B2 (en) Solid-state panoramic image capture apparatus
US5973700A (en) Method and apparatus for optimizing the resolution of images which have an apparent depth
US10708570B2 (en) 3D multi-aperture imaging devices, multi-aperture imaging device, method for providing an output signal of a 3D multi-aperture imaging device and method for capturing a total field of view
US7061532B2 (en) Single sensor chip digital stereo camera
EP2618585B1 (en) Monocular 3d-imaging device, shading correction method for monocular 3d-imaging device, and program for monocular 3d-imaging device
CN115335768B (zh) 具有可旋转反射器的成像系统
TWI687099B (zh) 用於成像局部視場的裝置、多孔徑成像裝置及其提供方法
JPH05210181A (ja) 電子補間によるインテグラル写真記録再生方法及び装置
US9648305B2 (en) Stereoscopic imaging apparatus and stereoscopic imaging method
US11330161B2 (en) Device comprising a multi-aperture imaging device for accumulating image information
US11924395B2 (en) Device comprising a multi-aperture imaging device for generating a depth map
JPH0937302A (ja) 立体撮像装置
US20220011661A1 (en) Device comprising a multi-aperture imaging device for generating a depth map
JPH1198532A (ja) 立体撮像装置および立体表示装置
JP4740477B2 (ja) 立体画像撮影用アダプタレンズ及び立体画像撮影システム
JP3564383B2 (ja) ３次元動画入力装置
JPH10164413A (ja) 撮像装置
JPH0937299A (ja) 立体撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal