KR20180043334A - 3d 멀티-애퍼처 이미징 디바이스 - Google Patents

3d 멀티-애퍼처 이미징 디바이스 Download PDF

Info

Publication number
KR20180043334A
KR20180043334A KR1020187008163A KR20187008163A KR20180043334A KR 20180043334 A KR20180043334 A KR 20180043334A KR 1020187008163 A KR1020187008163 A KR 1020187008163A KR 20187008163 A KR20187008163 A KR 20187008163A KR 20180043334 A KR20180043334 A KR 20180043334A
Authority
KR
South Korea
Prior art keywords
optical channels
view
channels
images
optical
Prior art date
Application number
KR1020187008163A
Other languages
English (en)
Other versions
KR102060585B1 (ko
Inventor
프랭크 위퍼만
안드레아스 브루크너
안드레아스 브라우어
알렉산더 오베르도스터
Original Assignee
프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. filed Critical 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Publication of KR20180043334A publication Critical patent/KR20180043334A/ko
Application granted granted Critical
Publication of KR102060585B1 publication Critical patent/KR102060585B1/ko

Links

Images

Classifications

    • H04N13/0242—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H04N5/2258—
    • H04N5/23232—
    • H04N5/23238—
    • H04N5/247—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

한편으로는 장면 상에 3D 정보를 제공할 수 있고, 다른 한편으로는 높은 측방 해상도 및/또는 넓은 총 시야를 획득하는 것을 허용하는 3D 멀티-애퍼처 이미징 디바이스가 설명된다. 3D 멀티-애퍼처 이미징 디바이스에는, 3D 멀티-애퍼처 이미징 디바이스의 이미지 센서의 제1 이미지 센서 영역들 상에 총 시야의 중첩된 제1 부분 시야들을 투영하기 위한 제1 복수의 광학 채널들, 뿐만 아니라 이미지 센서의 제2 이미지 센서 영역들 상에 총 시야의 중첩된 제2 부분 시야들을 투영하기 위한 제2 복수의 광학 채널들이 제공되며, 여기서, 제1 및 제2 복수들의 광학 채널들은 기본 거리만큼 서로 측방으로 오프셋되게 배열되고, 복수의 광학 채널들에 의해 캡쳐된 이미지들을 제1 복수의 광학 채널들 중 한 쌍의 광학 채널들의 제1 부분 시야들의 중첩 영역의 제1의 총 이미지에 융합하는 경우, 한 쌍의 이미지들의 불일치들이 사용되고, 그들 중 하나는 제2 복수의 광학 채널들 중 하나에 의해 켭쳐된다.

Description

3D 멀티-애퍼처 이미징 디바이스
본 출원은 3D 멀티-애퍼처 이미징 디바이스에 관한 것이다.
선형 채널 어레인지먼트(arrangement)를 갖는 멀티-애퍼처 이미징 시스템은 수개의 병치된 이미징 채널들로 이루어지며, 각각은 오브젝트의 일부만을 캡쳐한다. 총 이미지는 개별 부분 이미지들을 병합 또는 융합하는 것으로부터 초래된다. 이미징 채널들의 서로에 대한 유한한 거리로 인해, 시차가 발생하며, 이는, 짧은 오브젝트 거리들에서 특히 뚜렷하고, 합성의 총 이미지들에서 아티팩트들을 초래한다. 그외에도, 개별 채널들 각각이 하나의 동일한 장면을 완전하게 캡쳐하는 멀티-애퍼처 이미징 시스템들이 존재하며, 여기서, 오브젝트 또는 장면의 깊이에 대한 정보는 채널들 사이의 시차로부터 계산된다.
한편으로는 상대적으로 넓은 시야를 갖는 장면의 높은 공간적 또는 측방 해상도(lateral resolution) 및 다른 한편으로는 깊이 정보의 생성이 하나의 동일한 이미징 시스템으로 소망되는 경우 문제들이 발생한다.
본 발명은 높은 측방 해상도 및/또는 넓은 시야를 획득하는 것을 허용하는 3D 멀티-애퍼처 이미징 디바이스를 제공하며, 여기서, 부가적으로, 깊이 정보가 도출될 수 있다.
이러한 목적은 독립 청구항들의 요지에 의해 해결된다.
본 출원은, 3D 멀티-애퍼처 이미징 디바이스에는, 3D 멀티-애퍼처 이미징 디바이스의 이미지 센서의 제1 이미지 센서 영역들 상에 총 시야의 중첩된 제1 부분 시야들을 투영하기 위한 제1 복수의 광학 채널들, 및 이미지 센서의 제2 이미지 센서 영역들 상에 총 시야의 중첩된 제2 부분 시야들을 투영하기 위한 제2 복수의 광학 채널들이 제공되며, 여기서, 제1 및 제2 복수들의 광학 채널들은 기본 거리만큼 서로 측방으로 오프셋되게 배열되고, 제1 복수의 광학 채널들에 의해 캡쳐된 이미지들을 제1 복수의 광학 채널들 중 한 쌍의 광학 채널들의 제1 부분 시야들의 중첩 영역의 제1의 총 이미지에 융합하는 경우, 한 쌍의 이미지들의 불일치들이 사용되고, 그들 중 하나는 제2 복수의 광학 채널들 중 하나에 의해 켭쳐된다는 점에서, 한편으로는 장면에 대한 3D 정보를 제공할 수 있고, 다른 한편으로는, 높은 측방 해상도 및/또는 넓은 시야를 획득하는 것을 허용하는 3D 멀티-애퍼처 이미징 디바이스가 제공될 수 있다는 발견에 기초한다. 따라서, 총 시야는, 단지 부분적으로 중첩된 부분 시야들로, 즉 제1 복수의 광학 채널들의 형태로 2회 그리고 제2 복수의 광학 채널들의 형태로는 다른 횟수로 분할되어, 그에 의해, 원하는 측방 해상도 및/또는 총 시야의 원하는 폭을 획득하고 총 시야에 걸친 시차 정보를 획득하는 것이 가능하다. 제1 복수의 광학 채널들에 의해 획득된 이미지들을 총 이미지로 융합시키는 것은, 제1 복수의 광학 채널들에 의해 캡쳐된 이미지들을 제1의 총 이미지로 융합시키는 것이 제2 복수의 광학 채널들의 채널들 중 하나의 채널에 의해 캡쳐된 이미지를 평가함으로써 획득된 불일치 정보에 의해 지원되므로, 제1 복수의 광학 채널들의 채널들 사이에서 발생하는 시차를 덜 겪는다. 특히, 제1 복수의 광학 채널들의 채널들 사이의 측방 거리들을 작게 유지하는 것이 가능하다. 필연적으로 여전히 발생하는 측방 거리들은 제1 복수의 채널들의 채널들 사이에서 시차를 초래한다. 한 쌍의 이미지들의 이미지들 사이의 불일치들이 사용되는데, 여기서, 그 이미지들 중 하나가 제2 복수의 광학 채널들 중 하나에 의해 캡쳐되었다는 점에서, 제1 복수의 광학 채널들의 이미지들을 융합시킬 경우, 중첩 영역에서의 이미지들의 융합의 오브젝트 거리 의존성은 제1 복수의 광학 채널들의 이미지들 사이의 불일치들만을 평가하는 절차에 대해 개선된 방식으로 실현될 수 있다. 이것은, 그들 중 하나는 제1 복수의 채널들에 의해 캡쳐되고, 다른 이미지는 제2 복수의 채널들에 의해 캡쳐되는 한 쌍의 이미지들 또는 제1 또는 제2 복수의 채널들로부터의 상이한 채널들에 의해 둘 모두가 캡쳐되는 한 쌍의 이미지들일 수 있다. 그러나, 하나 초과의 쌍의 이미지들로부터의 불일치들이 중첩 영역에 대해 사용될 수 있다. 그 중에는 명백히, 그들 둘 모두가 제2 복수의 채널들로부터의 상이한 채널들에 의해 캡쳐되는 한 쌍의 이미지들, 즉 융합될 한 쌍의 이미지들일 수 있다.
본 출원의 유리한 구현들은 종속 청구항들의 요지들이다. 본 출원의 바람직한 실시예들은 도면들을 참조하여 아래에서 더 상세히 논의될 것이다. 도면들은 다음을 나타낸다;
도 1은 일 실시예에 따른 3D 멀티-애퍼처 이미징 디바이스의 부분적인 개략의 3차원 부분도이다.
도 2는, 자신의 이미지들이 멜팅(melt)되는 채널들의 부분 시야들의 중첩 부분에 대한 채널들 및 불일치 소스들의 그 채널들의 형성의 개략도이다.
도 3은 3D 멀티-애퍼처 이미징 디바이스의 설치를 예시하기 위한 모바일 디바이스의 사시도이다.
도 4는 일 실시예에 따른 3D 멀티-애퍼처 이미징 디바이스의 모듈의 3차원 도면이며, 여기서, 광학부들은 광학 경로들에 의해 관통되는 투명 기판에 의해 예시적으로 지지된다.
도 5a 및 도 5b는 일 실시예에 따른 3D 멀티-애퍼처 이미징 디바이스의 모듈의 측면도 및 평면도이며, 여기서, 광학 축들은 광학 축들의 평면에서 사전-발산(pre-divergence)을 갖고 빔-편향 디바이스는 다른 방향의 발산을 취하여, 그에 의해, 편향 디바이스의 패시트들의 수가 감소될 수 있고, 경사들이 하나의 방향으로 제한될 수 있다.
도 1은 일 실시예에 따른 3D 멀티-애퍼처 이미징 디바이스(10)를 도시한다. 그 디바이스는 도 1에 표시된 바와 같이, 2개의 컴포넌트들(121 및 122)로 각각 분할될 수 있는 이미지 센서를 가지며, 하나의 컴포넌트(121)는 "우측" 광학 채널들(141)에 대한 것이고, 다른 컴포넌트(122)는 "좌측 채널들(142)에 대한 것이다. 도 1의 예에서, 우측 및 좌측 광학 채널들(141 및 142)은 동일하게 구조화되지만, 디바이스(10)의 시야 내의 장면에 대해 가능한 많은 깊이 정보를 획득하기 위해 기본 거리(15)만큼 서로 측방으로 오프셋된다. 따라서, 좌측으로부터 제1 포지션에 인덱스 1을 갖는 참조 번호가 제공되는 엘리먼트들은 우측 채널들에 대한 장치(10)의 제1 컴포넌트 1 또는 제1 모듈, 즉 모듈 1에 속하고, 좌측으로부터 제1 포지션에 인덱스 2를 갖는 참조 번호가 제공되는 엘리먼트들은 좌측 채널들에 대한 디바이스(10)의 제2 컴포넌트 2 또는 제2 모듈, 즉 모듈 2에 속한다. 도 1에서 모듈들의 수가 2이지만, 디바이스는 또한, 서로로부터의 각각의 기본 거리에 배열되는 더 많은 모듈들을 가질 수 있다.
도 1의 예시적인 경우에서, 복수의 광학 채널들(141 및 142) 각각은 4개의 병치된 광학 채널들을 포함한다. 개별적인 "우측" 채널들은 제2의 아랫첨자 인덱스에 의해 구별된다. 채널들은 우측으로부터 좌측으로 인덱싱되며, 즉, 명확성의 목적을 위한 부분적인 생략으로 인해 도 1에 예시되지 않은 광학 채널들(1411)은, 예를 들어, 기본 거리 방향(17)을 따라 최외곽 우측 에지에 배열되고, 그 방향을 따라 좌측 및 우측 채널들은 기본 거리(15)만큼 서로 오프셋되게, 즉 복수의 좌측 채널들(142)로부터 가장 멀리 떨어져서 배열되며, 여기서, 다른 우측 채널들(1412 내지 1414)은 기본 거리 방향(17)을 따른다. 따라서, 채널들(1411 내지 1414)은 광학 채널들의 단일-라인 어레이를 형성하며, 그 어레이의 라인 연장 방향은 기본 거리 방향(17)에 대응한다. 좌측 채널들(142)이 동일한 방식으로 구조화된다. 또한, 그들은 제2 아랫첨자인덱스에 의해 구별될 수 있다. 좌측 채널들(1421 내지 1424)은 우측 채널들(1411 내지 1414)과 동일한 방향으로, 즉 채널(1421)이 우측 채널들에 가장 가깝고 채널(1424)이 우측 채널들로부터 가장 멀리 떨어지도록 서로 나란히 연속적으로 배열된다.
우측 채널들(1411 내지 1414) 각각은 도 1에 표시된 바와 같이 렌즈 시스템으로 이루어질 수 있는 각각의 광학부들을 포함한다. 대안적으로, 각각의 채널은 렌즈를 포함할 수 있다. 각각의 광학 채널(1411 내지 1414)은, 서로 중첩하고 총 시야(28)를 함께 커버하는 총 시야(28)의 중첩 부분 시야들 중 하나를 캡쳐한다. 채널(1411)은, 예를 들어, 이미지 센서 영역(1211) 상에 부분 시야(3011)를 투영하고, 광학 채널(1412)은 이미지 센서 영역(1212) 상에 부분 시야(3012)를 투영하고, 광학 채널(1413)은 도 1에서 가시적이지 않은 이미지 센서(12)의 각각의 이미지 센서 영역(1213) 상에 할당된 부분 시야(3013)를 투영하며, 광학 채널(1414)은, 은폐로 인해 도 1에 또한 도시되지 않은 각각의 이미지 센서 영역(1214) 상에 할당된 부분 시야(3014)를 투영한다.
도 1에서, 이미지 센서(12)의 이미지 센서 영역들(1211 내지 1214) 또는 이미지 센서(12)의 컴포넌트(121)는, 기본 거리 방향(15)에 평행하거나 라인 연장 방향(17)에 평행한 평면에 배열되고, 광학 채널들(1411 내지 1414)의 광학부들의 렌즈 평면들은 또한, 이러한 평면에 평행하다. 부가적으로, 이미지 센서 영역들(1211 내지 1214)은 서로에 대해 측방 채널간 거리(19)로 배열되고, 광학 채널들(1411 내지 1414)의 광학부들은 또한 그 방향으로 그 거리만큼 배열되어, 광학 채널들(1411 내지 1414)의 광학 축들 및 광학 경로들은 이미지 센서 영역들(1211 내지 1214)과 광학부들(1411 내지 1414) 사이에서 서로에 대해 평행하게 진행된다. 이미지 센서 영역들(1211 내지 1214)의 중심들 및 광학 채널들(1411 내지 1414)의 광학부들의 광학 중심들은, 예를 들어, 이미지 센서 영역들(1211 내지 1214)의 위에서-언급된 공통 평면에 수직하게 진행되는 각각의 광학 축 상에 배열된다.
광학 채널들(1411 내지 1414)의 광학 축들 또는 광학 경로들은 빔-편향 디바이스(241)에 의해 편향되고 그에 따라 발산이 제공되며, 이는, 광학 채널들(1411 내지 1414)의 부분 시야들(3011 내지 3014)이 부분적으로만 중첩된다는 효과를 가지므로, 예를 들어, 부분 시야들(3011 내지 3014)은 입체각에 관해 최대 50%만큼 쌍들로 중첩된다. 도 1에 표시된 바와 같이, 빔-편향 디바이스(241)는, 예를 들어, 채널들(1411 내지 1414) 사이에서 서로에 대해 상이하게 틸팅된 각각의 광학 채널(1411 내지 1414)에 대한 반사 패시트를 가질 수 있다. 이미지 센서 평면에 대한 반사 패시트들의 평균 경사는, 예를 들어, 디바이스(241)에 의한 빔 편향 전에 또는 그 편향 없이, 광학 채널들(1411 내지 1414)의 광학부들의 광학 축들이 각각 진행되는 평면에 수직한 방향으로 우측 채널들(1411 내지 1414)의 총 시야를 편향시키거나, 또는 10° 미만만큼이 이러한 수직 방향으로부터 벗어난다. 대안적으로, 빔-편향 디바이스(241)는 또한, 광학 채널들(1411 내지 1414)의 개별 광학 축들 또는 광학 경로들의 빔 편향을 위해 프리즘을 사용할 수 있다.
빔-편향 디바이스(241)는, 방향(17)으로 실제로 선형으로 병치되는 채널들(1411 내지 1414)이 2차원 방식으로 총 시야(28)를 커버하도록 광학 채널들(1411 내지 1414)의 광학 경로들에 발산을 제공한다.
광학 경로들 또는 광학 축들은 설명된 평행성으로부터 또한 벗어날 수 있지만, 광학 채널들의 광학 경로들의 평행성은 여전히 별개일 수 있어서, 개별 채널들(1411 내지 1414)에 의해 커버되고 각각의 이미지 센서 영역들(1211 내지 1214) 상에 투영되는 부분 시야는 빔 편향과 같은 임의의 추가적인 방책들 없이 크게 중첩할 것이므로, 멀티-애퍼처 이미징 디바이스(10)에 의해 더 큰 총 시야를 커버하기 위해, 빔-편향 디바이스(24)는, 채널들(1411 내지 1414)의 부분 시야들이 서로 덜 중첩하도록 부가적인 발산을 광학 경로들에 제공한다는 것을 유의해야 한다. 예를 들어, 빔-편향 디바이스(241)는, 모든 방위각 또는 모든 횡단 방향에 걸쳐 평균되고, 광학 채널들(1411 내지 1414)의 부분 시야들의 각각의 평균 애퍼처 각도의 1.5 배보다 큰 애퍼처 각도를 총 시야가 갖는다는 효과를 갖는다.
좌측 채널들(1421 내지 1424)은, 우측 채널들(1411 내지 1414)과 동일한 방식으로 구조화되고, 각각의 할당된 이미지 센서 영역들(1221 내지 1224)과 관련하여 포지셔닝되며, 여기서 채널들(1411 내지 1414)의 광학 축들과 동일한 평면에서 서로 평행하게 진행되는 광학 채널들(1421 내지 1424)의 광학 축들은 대응하는 빔-편향 디바이스(242)에 의해 편향되어, 광학 채널들(1421 내지 1424)은 거의 합동(congruent) 방식으로, 즉 부분 시야들(3021 내지 3024)에서 동일한 총 시야(28)를 캡쳐하고, 총 시야(28)는 2차원적으로 그 부분 시야들로 분할되고, 그 부분들 시야는 서로 중첩하며, 그 부분 시야들 각각은 우측 채널들(1411 내지 1414)의 각각의 채널의 각각의 부분 시야(3011 내지 3014)와 거의 완전히 중첩한다. 예를 들어, 부분 시야(3011) 및 부분 시야(3021), 부분 시야들(3012 및 3022) 등은 거의 완전히 중첩된다.
이미지 센서 영역들(1211 내지 1224)은, 예를 들어, 각각이 각각의 픽셀 어레이를 포함하는 칩으로 형성될 수 있으며, 여기서, 칩들은 도 1에 표시된 바와 같이, 컴포넌트(121)의 이미지 센서 영역들(1211 내지 1214)의 칩들을 보드 상에, 그리고 컴포넌트(122)의 이미지 센서 영역들(1221 내지 1224)의 칩들을 추가적인 보드 상에 별개로 배치시키는 경우에 대해 공통 기판 또는 공통 보드 상에 또는 수개의 보드들 상에 그룹으로 장착될 수 있다. 대안적으로, 이미지 센서 영역들(1211 내지 1224)은 각각의 이미지 센서 영역들에 걸쳐 연속적으로 연장되는 공통 픽셀 어레이의 일부로부터의 컴포넌트(121 및 122)로의 할당에 따라 분리된 것과 같이 함께 또는 그룹들로 형성될 수 있으며, 여기서 공통 픽셀 어레이는, 예를 들어 단일 칩 상에 형성되는 것이 또한 가능할 것이다. 그 후, 예를 들어, 공통 픽셀 어레이의 픽셀 값들만이 각각의 이미지 센서 영역들에서 판독된다. 2개 또는 그 초과의 채널들에 대한 칩 및 컴포넌트(121 및 122) 내의 상이한 채널들 등에 대한 추가적인 칩의 존재와 같은 이들 대안들의 상이한 조합들이 또한 가능하다.
위에서-언급된 컴포넌트들에 부가하여, 3D 멀티-애퍼처 이미징 디바이스는, 3D 멀티-애퍼처 이미징 디바이스(10)에 의한 캡쳐 동안 우측 광학 채널들(1411 내지 1414)에 의해 캡쳐된 이미지들을 제1의 총 이미지로 융합시키는 태스크를 수행하는 프로세서(85)를 포함한다. 극복할 문제점은 다음과 같다: 우측 채널들(1411 내지 1414)의 인접한 채널들 사이의 채널간 거리들(19)로 인해, 이미지 영역들(1211 내지 1214)의 채널들(1411 내지 1414)에 의한 캡쳐 동안 캡쳐된 이미지들은 하나의 이미지에 대해 간단히 또는 병진적으로 시프팅될 수 없고, 서로의 상에 배치될 수 없다. 즉, 그 이미지들은 용이하게 융합될 수 없다. 서로 대응하지만 상이한 이미지들 내에 상주하는 동일한 장면을 캡쳐할 경우, 이미지 센서 영역들(1211 내지 1214)의 이미지들에서의 방향(15, 17 또는 19)을 따른 측방 오프셋은 불일치로 지칭된다. 대응하는 이미지 콘텐츠들의 불일치는 장면 내의 이러한 이미지 콘텐츠의 거리, 즉 디바이스(10)로부터의 각각의 오브젝트의 거리에 다시 의존한다. 프로세서(85)는 이제, 이들 이미지를 제1의 총 이미지, 즉 "우측 총 이미지"에 융합시키기 위해, 이미지 센서 영역들(1211-1214)의 이미지들 사이의 불일치들을 평가하려고 시도할 수 있다. 그러나, 채널간 거리(19)가 존재하고, 그에 따라, 문제를 야기하지만, 다른 한편으로는 채널간 거리(19)가 상대적으로 작아서 깊이 해상도 또는 추정치가 단지 부정확하다는 것이 단점이다. 따라서, 2개의 이미지들 사이의 중첩 영역에서, 이를테면 이미지 센서 영역들(1211 및 1212)의 이미지들 사이의 중첩 영역(86)에서 대응하는 이미지 콘텐츠들을, 예를 들어, 상관에 의해, 결정하려는 시도는 어렵다.
따라서, 융합하기 위해, 도 1의 프로세서는 부분 시야들(3011 및 3012) 사이의 중첩 영역(86)에서, 한 쌍의 이미지들의 불일치들을 사용하며, 그 이미지들 중 하나는 좌측 채널들(1421 또는 1422) 중 하나에 의해 캡쳐되고, 그 채널들의 투영된 제2 부분 시야, 즉 3021 또는 3022는 중첩 영역(86)과 중첩한다. 예를 들어, 이미지 센서 영역들(1211 및 1212)의 이미지들을 융합시키기 위해, 프로세서(85)는 이미지들의 불일치들을 평가하며, 여기서, 그 이미지들 중 하나는 이미지 센서 영역들(1221 또는 1222) 중 하나에 의해 캡쳐되고, 다른 하나, 즉 이미지 센서 영역들(1211 또는 1212) 중 하나에 의해 캡쳐된 이미지는 중첩 영역(86)에서 수반된 채널에 의해 캡쳐된다. 그 후, 그러한 쌍은 기초적인 기본 거리 더하기/빼기 1의 기본 거리(15)를 갖거나, 또는 어떠한 채널 기본 거리(19)도 갖지 않는다. 후자의 기본 거리는 단일 채널 기본 거리(19) 보다 상당히 더 크며, 이는, 중첩 영역(86)의 불일치들이 프로세서(85)에 대해 결정하기에 더 용이하기 때문이다. 따라서, 우측 채널들의 이미지들을 융합시키기 위해, 프로세서(85)는 좌측 채널들의 이미지로 및 배타적이 아니라 바람직하게, 우측 채널들 중 하나 및 좌측 채널들 중 하나로부터의 이미지들 사이에서 초래되는 불일치들을 평가한다.
더 구체적으로, 프로세서(85)는, 이미지(1211)로부터 직접적으로 더 많이 또는 더 적게 우측 채널들의 다른 부분 시야들 중 하나와 중첩하지 않는 부분 시야(3011)의 일부를 채용하고, 이미지 센서 영역들(1212 내지 1214)의 이미지들에 기초하여 부분 시야들(3012, 3013 및 3014)의 비-중첩 영역들에 대해 동일하게 수행하는 것이 가능하며, 여기서, 이미지 센서 영역들(1211 내지 1214)의 이미지들은, 예를 들어, 동시에 캡쳐된다. 부분 시야들(3011 및 3012)과 같은 인접한 부분 시야들의 중첩 영역들에서만, 프로세서(85)는 이미지 쌍들의 불일치들을 사용하며, 총 시야(28)에서의 그 이미지 쌍들의 중첩은 중첩 영역에서 중첩하지만, 그로부터, 하나 뿐만 아니라 복수의 이미지들은 우측 채널들 중 하나에 의해 캡쳐되고, 다른 이미지는 다시, 예를 들어 동시에 좌측 채널들 중 하나에 의해 캡쳐된다.
대안적인 절차에 따르면, 프로세서(85)는 이미지들의 쌍들 사이의 불일치들의 평가에 따라 우측 채널의 모든 이미지들을 워핑(warp)시키는 것이 또한 가능할 것이며, 여기서, 그 이미지들 중 하나는 우측 채널들에 의해 캡쳐되고, 다른 이미지는 좌측 채널들에 의해 캡쳐된다. 이러한 방식으로, 중첩되지 않는 부분 시야들(3011 내지 3014)의 그 영역들에 대해서도, 이미지 쌍들의 불일치들이 프로세서(85)에 의해 평가된다는 점에서, 우측 채널들의 이미지들에 대하여 프로세서(85)에 의해 계산된 총 이미지는, 우측 채널들(1411 내지 1414) 사이의 중심에서 측방향으로 존재하는 포커스 상에서, 우측 채널들의 부분 시야들(3011 내지 3014)의 중첩 영역에서 가상적으로 워핑될 뿐만 아니라 비-중첩 영역에서도 가상적으로 워핑될 수 있으며, 여기서, 하나의 이미지는 우측 채널들 중 하나에 의해 캡쳐되고 다른 이미지는 좌측 채널들 중 하나에 의해 캡쳐된다.
도 1의 3D 멀티-애퍼처 이미징 디바이스(10)는 우측 채널들의 이미지들로부터 총 이미지를 생성할 수 있을 뿐만 아니라, 도 1의 3D 멀티-애퍼처 이미징 디바이스(10)는 또한, 하나의 동작 모드에서 적어도, 제1 채널들의 총 이미지에 부가하여, 캡쳐된 이미지로부터 좌측 채널들의 이미지들의 총 이미지를 또한 생성할 수 있고 그리고/또는 우측 채널들의 총 이미지에 부가하여 깊이 맵을 생성할 수 있다.
제1 대안에 따르면, 프로세서(85)는, 예를 들어, 좌측 광학 채널들(1421 내지 1424) 및 이미지 센서 영역들(1221 내지 1224)에 의해 각각 캡쳐된 이미지들을 제2의 총 이미지, 좌측 채널의 총 이미지로 융합시키고, 그리고 좌측 광학 채널들의 측방으로 인접한 부분 시야(3021 내지 3024)의 중첩 영역에서, 이미지들의 쌍에서의 불일치들을 사용하도록 구성되며, 그 이미지들의 쌍 중 하나 뿐만 아니라 복수의 이미지들은 우측 광학 채널들(1411 내지 1414)에 의해 캡쳐되고, 그 채널들의 시야는 한 쌍의 부분 시야들(3021 내지 3024)의 각각의 중첩 영역과 중첩하며, 다른 이미지는 좌측 광학 채널들 중 하나에 의해 바람직하게 캡쳐되고, 그 좌측 광학 채널들의 부분 시야는 각각의 중첩 영역과 중첩한다.
제1 대안에 따르면, 프로세서(85)는 하나의 캡쳐를 위한 2개의 총 이미지들, 즉 우측 광학 채널들에 대한 하나의 이미지 및 좌측 광학 채널들에 대한 다른 이미지를 출력한다. 이들 2개의 총 이미지들은 사용자, 예를 들어, 사용자의 두 눈들에 별개로 공급되며, 따라서, 캡쳐된 장면의 3차원적 인상을 초래할 수 있다.
다른 위에서-언급된 대안에 따르면, 프로세서(85)는, 우측 채널들의 총 이미지에 부가하여, 각각의 우측 채널에 의해 캡쳐된 하나의 이미지 및 좌측 채널들 중 하나에 의해 캡쳐된 다른 이미지를 포함하는 우측 채널들(1411 내지 1414) 각각에 대한 적어도 하나의 쌍을 포함하는 이미지들의 쌍들의 불일치들을 사용함으로써 깊이 맵을 생성한다.
깊이 맵이 프로세서(85)에 의해 생성되는 실시예에서, 깊이 맵에 기초하여 우측 채널들에 의해 캡쳐된 이미지들 모두에 대해 위에서-언급된 워핑을 수행하는 것이 또한 가능하다. 깊이 맵이 총 시야(28)에 걸친 깊이 정보를 포함하므로, 즉 동일한 중첩 영역들 뿐만 아니라 비-중첩 영역들에서 우측 채널들에 의해 캡쳐된 이미지들 모두를 가상 공통 애퍼처 포인트 및 가상 광학 중심 상으로 각각 워핑시키는 것이 가능하다.
2개의 대안들 둘 모두는 또한, 프로세서(85)에 의해 프로세싱될 수 있다: 그 프로세서(85)는 위에서 설명한 바와 같이, 우측 채널들의 이미지들 사이의 중첩 영역들에서 우측 채널들의 이미지들을 융합시킬 경우, 한 쌍의 이미지들 중 하나가 좌측 채널들의 이미지들에 속하는 그 한 쌍의 이미지들로부터의 불일치들을 또한 사용하고, 그리고 좌측 채널들의 이미지들 사이의 중첩 영역들에서 촤측 채널들의 이미지들을 융합시킬 경우, 한 쌍의 이미지들 중 하나가 우측 채널들의 이미지들에 속하는 그 한 쌍의 이미지들로부터의 불일치들을 또한 사용함으로써, 2개의 총 이미지들, 즉 우측 광학 채널들에 대한 하나의 이미지 및 좌측 광학 채널들에 대한 다른 이미지를 먼저 생성할 수 있고, 그 후, 상이한 관점들로부터 총 시야 내의 장면을 표현하는 그 방식으로 획득된 총 이미지들로부터, 할당된 깊이 맵을 갖는 총 이미지, 이를테면, 가상 뷰 또는 가상 광학 중심에 대해 우측 및 좌측 광학 채널들의 광학부들의 광학 중심들 사이에 놓여있을 뿐만 아니라 가급적 그 중심들 사이에 중심이 있는 총 이미지를 생성한다. 깊이 맵을 계산하고 2개의 총 이미지들 중 하나를 워핑하거나 또는 총 이미지들 둘 모두를 가상 뷰로 워핑 및 융합시키기 위해, 프로세서(85)는 좌측 및 우측 개별 이미지의 이전의 융합의 중간 결과로서 가상적으로 우측 및 좌측 총 이미지를 각각 사용했다. 여기서, 프로세서는, 깊이 맵을 획득하고 중간 결과 총 이미지들 둘 모두의 워핑 또는 워핑/융합을 수행하기 위해 그 중간 결과 총 이미지들 둘 모두의 불일치들을 평가했다.
프로세서는, 예를 들어, 이미지 영역들의 교차-상관(cross-correlation)에 의해 한 쌍의 이미지들의 불일치들의 평가를 수행함을 유의해야 한다.
도 2는 또한, 이러한 한 쌍의 이미지들 이외에도, 부분 시야들(3011 및 3012)에 대한 예시적인 경우와 마찬가지로, 좌측 채널들의 광학부들의 쌍이 바로 인접한 부분 시야의 쌍을 투영하는 이미지 센서들의 쌍에 의해 캡쳐된 이미지들을 융합시키기 위한 기반으로서, 모든
Figure pct00001
중 하나 또는 수 개의 부가적인 이미지들의 불일치들, 즉 불일치의 "4개의 소스들 중 2개", 즉 바로 인접한 부분 시야들의 이러한 쌍 사이의 중첩 영역 내의 장면 오브젝트들의 불일치들에 관련된 이미지 센서 영역들의 이미지들의 쌍들을 프로세서(85)가 사용할 수 있다는 것을 도시한다. 도 2에서, 이것은 부분 시야들(3011 및 3012) 사이의 교차-음영 중첩 영역에 대해 예시적으로 표시된다: 우측 채널들(1411 및 1412)(불일치 소스 1) 그 자체의 융합될 이미지들의 쌍 이외에, 4개의 쌍들의 이미지들이 존재하며, 각각의 이미지 센서 영역 상에서, 그 이미지들 중 하나의 이미지는 우측 채널에 의해 투영되고, 하나의 이미지는 좌측 채널에 의해 투영되어 좌측 채널(불일치 소스 2, 3, 4, 5)에 의해 캡쳐되고, 즉 채널들(1411 및 1421)(불일치 소스 2)에 의해 캡쳐된 이미지들, 채널들(1411 및 1422)(불일치 소스 3)에 의해 캡쳐된 이미지들, 채널들(1412 및 1422)(불일치 소스 4)에 의해 캡쳐된 이미지들 및 채널들(1412 및 1421)(불일치 소스 5)에 의해 캡쳐된 이미지들이 존재한다. 추가로, 이미지들의 쌍이 존재하며, 그 이미지들 둘 모두는 각각의 이미지 센서 영역 상에서 좌측 채널에 의해 투영되고, 좌측 채널(불일치 소스 6, 1421 및 1422의 페어링)에 의해 캡쳐된다. 프로세서는 융합 지지를 위해 부가적인 소스들 3 내지 5 중 하나 또는 수개를 사용할 수 있다. 위에서 언급된 대안에 따르면, 프로세서(85)가 총 시야(28)에 대한 깊이 맵을 또한 계산하면, 프로세서는, 이미지 융합을 위한 절차에 따라, 1개 초과의 쌍의 이미지들(각각의 이미지 센서 영역 상에서, 그 이미지들 중 하나의 이미지는 우측 채널에 의해 투영되고, 하나의 이미지는 좌측 채널에 의해 투영되어 좌측 채널에 의해 캡쳐됨)의 불일치들의 평가로부터 시야(28)의 각각의 포인트, 즉 우측 채널의 부분 시야 및 좌측 채널의 부분 시야 이외에 다른 쌍이 또한 중첩되는 포인트들의 깊이 맵을 결정할 수 있다. 도 2에서, 이것은 단지, 좌측 채널들의 부분 시야와의 합동으로 인해 좌측 채널들의 부분 시야들의 중첩 영역들과 동일한 우측 채널들의 부분 시야들의 중첩 영역들에서의 경우일 뿐이지만, 다른 실시예들에서, 이러한 합동은 존재하지 않을 수 있다.
한편으로는 좌측 채널의 부분 시야들 및 다른 한편으로는 우측 채널들의 부분 시야들에 의한 총 시야(28)의 상이한 커버리지에서, 가급적 4개 초과의 채널들(좌측 또는 우측 채널들로의 그들의 할당을 고려하지 않음)은, 또한 이전의 경우처럼, 예를 들어, 라인 방향 또는 열(column) 방향의 이전의 예들의 부분 시야들의 중첩 영역들 사이의 상호 중첩에서 서로 중첩된다는 것이 또한 언급되어야 하며, 여기서, 우측 채널들의 부분 시야들 뿐만 아니라 좌측 채널들의 부분 시야들 각각은 열들 및 행들에서 배열된다. 그 후, 그것은
Figure pct00002
와 동일한 수의 불일치 소스들에 대해 일반적으로 적용되며, 여기서 N은 중첩한 부분 시야들을 갖는 채널들의 수를 지칭한다.
위의 설명에 부가하여, 프로세서(85)는 선택적으로, 다른 것들 중에서도, 각각의 채널의 원근 투영 결함들의 채널-단위(channel-wise) 보정을 또한 수행한다는 것이 언급되어야 한다.
도 1의 실시예는 단지 예시적으로 많은 방식들로 이루어짐을 유의해야 한다. 이것은, 예를 들어, 광학 채널의 수에 관련된다. 우측 광학 채널들의 수는, 예를 들어, 4가 아니지만, 임의의 방식으로 2보다 크거나/그와 같거나 또는 2와 10(이 둘도 포함함) 사이에 놓여 있으며, 각각의 부분 시야 또는 각각의 채널에 대해, 각각의 부분 시야에 대한 가장 큰 중첩을 갖는 쌍이 고려되는 한, 우측 광학 채널들의 부분 시야들의 중첩 영역은 이들 모든 쌍들에 대하여, 그 영역에 대해, 예를 들어, 이미지 평면, 즉 이미지 센서 영역들의 평면에서 측정된 이미지 영역들(1211 내지 1214)에 의해 캡쳐된 이미지들의 평균 이미지 사이즈의 1/2와 1/1000 사이에 놓여 있을 수 있다. 예를 들어, 동일한 것이 좌측 채널들에 대해 적용된다. 그러나, 수가 우측 채널들과 좌측 채널들 사이에서 상이할 수 있다. 이것은, 좌측 광학 채널들의 수(NL) 및 우측 광학 채널들의 수(NR)가 반드시 동일할 필요는 없으며, 총 시야(28)의 좌측 채널들의 부분 시야들 및 우측 채널들의 부분 시야들로의 분할이 도 1의 경우처럼 대략적으로 동일할 필요는 없다는 것을 의미한다. 부분 시야들 및 그들의 중첩에 관해, 부분 시야들은 가장 큰 중첩을 갖는 모든 쌍들에 대해 적어도, 예를 들어, 10m의 이미지 거리 또는 오브젝트 거리가 고려되는 한 적어도 20개의 픽셀들만큼 서로에게 투영된다는 것이 이루어질 수 있으며, 여기서, 이것은 우측 채널들 및 좌측 채널들 둘 모두에 대해 적용될 수 있다.
위의 진술들과는 반대로, 좌측 광학 채널들 및 우측 광학 채널들 각각이 단일 라인으로 형성되는 것은 또한 필수적이지 않다. 좌측 및/또는 우측 채널들은 또한, 광학 채널들의 2차원 어레이를 형성할 수 있다. 부가적으로, 단일-라인 어레이들이 동일선상의 연장 방향을 갖는 것은 필수적이지 않다. 그러나, 도 1의 어레인지먼트는, 광학 채널들, 즉 우측 및 좌측 채널들 둘 모두의 광학 축들이 빔-편향 전에 그리고 그 편향 없이 각각 진행되는 평면에 수직한 최소 설치 높이를 그 어레인지먼트가 초래하므로 유리하다. 이미지 센서(12)에 관해, 그것이 하나, 2개 또는 수개의 칩들로 형성될 수 있다는 것은 이미 언급되었다. 예를 들어, 이미지 센서 영역(1211 내지 1214 및 1221 내지 1224) 당 하나의 칩이 제공될 수 있으며, 여기서, 수개의 칩들의 경우, 그 칩들은 하나 또는 수개의 보드들 상에 장착될 수 있고, 이를테면, 하나의 보드는 좌측 채널들 또는 좌측 채널들의 이미지 센서들에 대한 것이고, 하나의 보드는 우측 채널의 이미지 센서들에 대한 것이다.
따라서, 도 1의 실시예에서, 인접한 채널들을 우측 또는 좌측 채널들의 채널들 내에 가능한 조밀하게 배치하는 것이 가능하며, 여기서, 최적의 경우, 채널 거리(19)는 렌즈 직경에 대응한다. 이것은 낮은 채널 거리, 및 그에 따른 낮은 불일치를 초래한다. 한편으로는 우측 채널들 및 다른 한편으로는 좌측 채널들은 또한, 큰 불일치들이 실현될 수 있도록 서로에 대해 임의의 거리(15)에 배열될 수 있다. 결론적으로, 인공물-감소 또는 심지어 인공물-없는 이미지 융합 및 수동 광학 이미징 시스템을 이용한 깊이 맵들의 생성의 옵션이 초래된다.
위의 예들과는 반대로, 채널들(141 및 142)의 2개 초과의 그룹들을 사용하는 것이 가능할 것이다. 그룹들의 수는 N에 의해 지칭될 수 있다. 이러한 경우, 그룹당 채널들의 수가 동일할 뿐만 아니라 모든 그룹들에 대한 부분 시야들로의 총 시야 분할이 동일하다면,
Figure pct00003
의 다수의 불일치 소스들이, 예를 들어, 그룹(141)의 부분 시야들의 중첩 영역마다 초래될 것이다. 그러나, 채널들의 그룹들에 대한 상이한 총 시야 분할은 가능한 위에서 언급된 바와 같이 또한 가능하다.
마지막으로, 위의 설명에서, 프로세서(85)가 우측 채널들의 이미지들을 융합시키는 예시적인 경우만이 언급되었음을 유의해야 한다. 채널 그룹들 둘 모두 및 모든 채널 그룹들에 대해 또는 또한 좌측 등에 대해, 동일한 절차가 위에서 언급된 바와 같이 프로세서(85)에 의해 또한 각각 수행될 수 있다.
도 1의 3D 멀티-애퍼처 이미징 디바이스는, 예를 들어, 모바일 폰과 같은 모바일 디바이스의 평평한 하우징에 설치될 수 있다. 여기서, 이미지 센서 영역들(1211 내지 1214 및 1221 내지 1224)의 평면 뿐만 아니라 좌측 및 우측 채널들의 광학부들의 임의의 렌즈 평면은 편평한 하우징의 두께 방향과 평행하게 진행될 수 있다. 각각의 빔-편향 디바이스(241 및 242)에 의한 빔-편향으로 인해, 예를 들어, 3D 멀티-애퍼처 이미징 디바이스의 총 시야는, 예를 들어, 모바일 디바이스의 스크린이 포지셔닝되는 전방측의 전방에 또는 모바일 디바이스의 후방측 전방에 있을 것이다.
예를 들어, 도 3은, 예를 들어, 모바일 폰, 스마트폰 또는 미디어 플레이어 등 중 하나일 수 있는 휴대용 디바이스(200)의 평평한 하우징에 위에서-설명된 대안들의 디바이스(10)가 어떻게 설치되는지를 예시한다. 부분들(121 및 122)의 이미지 센서 영역들의 평면 및 채널들(141 및 142)의 광학부들의 렌즈 평면들은 편평한 하우징의 편평한 연장 방향에 수직하고 두께 방향에 평행하게 각각 배향된다. 이러한 방식으로, 예를 들어, 빔-편향 디바이스(241 및 242) 각각은, 예를 들어, 스크린을 또한 포함하는 편평한 하우징의 전방측(202)의 전방에 멀티-애퍼처 이미징 디바이스(10)의 총 시야가 놓이는 효과를 가질 것이다, 대안적으로, 시야가 전방측(202)에 대향하는 편평한 하우징의 후방측의 전방에 있는 그 방식으로 편향이 또한 가능할 것이다. 하우징은, 광학 채널들(141 및 142)의 그룹의 광학 경로들이 통과하게 하기 위해, 관통된 측면(202)에 투명한 윈도우(206)를 가질 수 있다. 하우징 내의 디바이스(10)의 예시된 위치로 인해, 하우징의 두께와 평행한 디바이스(10)의 설치 높이가 낮게 유지될 수 있으므로, 디바이스(200)의 하우징 또는 디바이스 자체는 편평할 수 있다. 자동차와 같은 다른 가능한 비-휴대용 디바이스로의 디바이스(10)의 설치가 또한 가능할 것이다.
빔-편향 디바이스(241, 242) 각각에 관해, 그 디바이스가 선택적인 엘리먼트를 제시함을 유의해야 한다. 광학 채널들, 즉 한편으로는 그들 사이의 우측 채널들 및 다른 한편으로는 그들 사이의 좌측 채널들의 광학 경로들의 발산은, 각각의 빔-편향 디바이스(241 내지 242)를 사용하는 것과는 상이한 방식으로 또한 생성될 수 있다. 예를 들어, 광학 채널들의 광학부들의 광학 중심들은, 한편으로는 좌측 채널들 사이 그리고 다른 한편으로는 우측 채널들 사이에서 부분 시야들의 단지 부분적인, 즉, 불완전한 중첩을 생성하기 위해, 할당된 이미지 센서 영역에 측방으로 오프셋될 수 있다.
이것을 추가로 예시하기 위해, 도 4는 도 1에 따른 구성에 대한 특정 예를 다시 도시하며, 여기서, 각각의 모듈 1 및 2에서, 각각의 편향 수단(241 및 242)은, 처음에는 서로 평행한 광학 채널들(141# 및 142#) 각각의 광학 축들(211 및 222) 각각으로부터의 발산을 각각 생성한다. 간략화를 위해, 도 4는 우측 채널들을 갖는 모듈 1만을 예시하지만, 도면 및 설명은 그에 따라 모듈 2에 적용된다.
도 4는, 할당된 광학부들(1611 내지 1614)에 의해, 각각의 광학 채널(1411, 1412, 1413, 1414)이 총 시야(28)의 각각의 채널-개별 섹션(3011 내지 3014)을 이미지 센서(121)의 각각의 이미지 센서 영역(1211, 1212, 1213 및 1214) 상으로 투영하는 것을 도시한다. 광학부들(1611 내지 1614)은, 예를 들어, 도 4에 도시된 바와 같이 공통 홀더(181)에 의해 홀딩될 수 있는 렌즈 또는 렌즈들의 그룹 각각으로 이루어진다. 홀더(181)는 투명한 재료로 예시적으로 형성되고, 광학 채널들의 광학 경로들에 의해 관통되지만, 홀더들에 대한 다른 대안들이 또한 존재한다. 이미지 센서 영역들(1211 내지 1214)은 공통 평면, 즉 광학 채널들(141)의 이미지 평면에 배열된다. 도 4에서, 이러한 평면은, 다음의 설명을 간략화하기 위해 도 1에 도시되고 참조 번호(20)가 제공된 직교 좌표 시스템의 x-축 및 y-축에 의해 퍼져있는 평면에 예시적으로 평행하다. 일 실시예에서, 이것은, 이미지 센서 영역들(1221 내지 1224)이 놓여있는 동일한 평면일 것이다. 광학부들(1611 내지 1614)은 또한, 예를 들어, 이미지 센서(12)에 평행한, 즉 xy-평면에 평행한 평면에서 병치된다. 도 4의 예에서, 이미지 센서 평면 내의 이미지 센서 영역들(1211 내지 1214)의 상대적인 포지션들은 부가적으로, x 및 y 축을 따라 광학부들(1611 내지 1614) 및 광학부들(1611 내지 1614)의 상대적인 포지션에 합동으로 즉, 이미지 센서(121)와 관련하여 측방으로 포지셔닝되어, 광학부들의 광학 중심들(161 내지 164)이 이미지 센서 영역들(1211 내지 1214)의 중심들에 대해 중심 방식(centered manner)으로 배열되게 한다. 이것은, 도 4의 예에서, 광학 채널들(1411 내지 1414)의 광학 축들(2211 내지 2214)이 처음에는 서로 평행하고 좌표 시스템(20)의 z 축에 평행하게 진행된다는 것을 의미하며, 그 시스템의 광학 축들에 대해, 이미지 센서 영역들(1211 내지 1214) 및 광학부들(1611 내지 1614)이 중심 방식으로 포지셔닝된다. 일 실시예에 따르면, 광학 중심들의 평면은 모듈들 1 및 2 사이에서 다시 동일할 것이다. 선택적으로 존재하는 기판(181)은 각각의 모듈에 대해 별개로 제공될 수 있거나, 둘 모두의 모듈들의 광학부들을 지지할 수 있다. 디바이스가, 예를 들어, 이미지 안정화를 위해 측방 방향, 즉, x 및/또는 y 방향으로 이미지 센서 영역들(1211 내지 1214)에 대해 광학부들(1611 내지 1614)의 상대적인 위치를 변경시킬 수 있는 하나 또는 수개의 수단을 포함하는 것이 가능하다. 광학부들(1611 내지 1614)은 할당된 이미지 센서 영역들(1211 내지 1214) 상에 총 시야(28) 내의 장면의 오브젝트들을 투영하며, 그 목적을 위해 그 광학부들은 이미지 센서(121)로부터 각각의 거리에 포지셔닝된다. 이 거리가 또한 고정될 수 있지만, 대안적으로, 수동 또는 자동 포커스 변경과 같이 이미지 센서/광학부 거리를 변경시키기기 위한 수단이 제공될 수 있다. 빔-편향 디바이스(241)는, 총 시야(28)가 z-축의 방향이 아니라 다른 곳에 있도록 복수의 광학 채널들(14)의 광학 경로들 및 광학 축들(2211 내지 2214)을 각각 편향시킨다. 도 4는, 총 시야(28)가 편향 이후에 본질적으로 y-축을 따르는, 즉 편향이 zy-평면에서 본질적으로 수행되는 예시적인 경우를 표현한다. 이제, 위에서 설명된 바와 같이, 도 4의 실시예에서, 광학 축들(2211 내지 2214)은 각각, 빔-편향 디바이스(241)에 의한 편향 이전 및 그 편향 없이, 그리고, 예를 들어 각각의 광학부들(1611 내지 1614)에서 서로 평행하다. 광학부들(1611 내지 1614) 뿐만 아니라 이미지 센서 영역들(1211 내지 1214)의 대응하는 중심 포지셔닝은 제조하기에 용이하고, 설치 공간을 최소화하는 것과 관련하여 바람직하다. 그러나, 광학 채널의 광학 경로들의 평행성은 또한, 개별 채널들(1411 내지 1414)에 의해 커버되고 각각의 이미지 센서 영역들(1211 내지 1214) 상에 각각 투영되는 부분 시야들이 빔 편향과 같은 임의의 추가적인 방책들 없이 거의 완전히 중첩되는 효과를 갖는다. 더 큰 총 시야(28)를 커버하기 위해, 도 4의 빔-편향 디바이스(241)의 다른 기능은, 광학 경로의 광학 축들에 발산을 제공하는 것, 즉 채널들(1411 내지 1414)의 부분 시야들(3011 내지 3014)이 서로 덜 중첩하도록 광학 경로들을 편향시키는 것이다. 도 4의 예에서, 이를 위해, 개별 광학 채널들에 할당된 빔-편향 디바이스(241)의 패시트들(2611 내지 2614)은 서로에 대해 또는 이미지 센서(121)에 대해 상이한 경사들, 즉 x-축 주변 및 그에 수직한 경사들을 갖는다.
위로부터, 광학 경로들 및 광학 축들은 각각 빔 편향 전에 그리고 빔 편향 없이 평행성으로부터 각각 벗어날 수 있다는 것을 유의한다. 이러한 상황은, 채널들이 광학 축들의 일부 종류의 사전-발산을 제공받을 수 있다는 점에서 아래에서 설명될 것이다. 광학 축들(2211 내지 2214)의 사전-발산으로, 예를 들어, 모든 패시트 경사가 상이한 것이 아니라, 채널들의 일부 그룹들이, 예를 들어, 동일한 경사를 갖는 패시트를 갖는 것이 가능할 것이다. 이어서, 후자는 말하자면, 라인 연장 방향으로 인접한 채널들의 이러한 그룹에 할당되는 하나의 패시트로서 서로 통합하여 형성되거나 또는 연속적으로 병합할 수 있다. 그 후, 이들 채널들의 광학 축들의 발산은, 그것이 광학부들의 광학 중심들과 채널들의 이미지 센서 영역들 사이의 측방 오프셋에 의해 획득되므로, 이들 광학 축들의 발산으로부터 기원할 수 있다. 사전-발산은, 예를 들어, 하나의 평면으로 제한될 수 있다. 예를 들어, 광학 축들은 빔 편향 전에 그리고 빔 편향 없이 공통 평면에서 각각 진행할 수 있지만, 공통 평면 내에서 발산하며, 패시트들은 단지 부가적인 발산, 즉 다른 횡단 평면에서의 편향 또는 방향 변화를 달성하고, 즉 그들 모두는 라인 연장 방향에 대해 평행하게 경사지고, 광학 축들의 위에서-언급된 공통 평면과는 상이하게 단지 서로에 대해 경사지며, 여기서, 다시 몇몇 패시트들은 동일한 경사를 가질 수 있거나 또는 채널들의 그룹에 함께 할당될 수 있고, 그 그룹의 광학 축들은 각각, 예를 들어, 빔 편향 전에 그리고 빔 편향 없이 쌍들의 광학 축들의 위에서-언급된 공통 평면에서 이미 상이하다.
언급된 가급적 기존의 사전-발산은, 예를 들어, 광학부들의 광학 중심들이 라인 연장 방향을 따라 직선 상에 놓이는 반면, 이미지 센서 영역의 중심들은 이미지 센서 평면 내의 직선의 포인트들 상에서, 이를테면 라인 연장 방향을 따라 그리고/또는 라인 연장 방향 및 이미지 센서 법선 둘 모두에 수직한 방향을 따라 채널-개별 방식으로 이미지 센서 평면 내의 위에서-언급된 직선 상의 포인트들로부터 벗어난 포인트들에서 이미지 센서 영역들의 평면의 법선을 따라 광학 중심들의 투영으로부터 벗어나 배열된다는 점에서 획득될 수 있다. 대안적으로, 사전-발산은, 이미지 센서들의 중심들이 라인 연장 방향을 따라 직선 상에 놓이는 반면, 광학부들의 중심들은 광학부 중심 평면 내의 직선 상의 포인트들 상에서, 이를테면 라인 연장 방향을 따라 그리고/또는 라인 연장 방향 및 광학부 중심 평면 둘 모두에 수직한 방향을 따라 채널-개별 방식으로 광학부 중심 평면 내의 위에서-언급된 직선 상의 포인트들로부터 벗어난 포인트들에서 광학부들의 광학 중심들의 평면들의 법선을 따라 이미지 센서들의 광학 중심들의 투영으로부터 벗어나 배열된다는 점에서 획득될 수 있다. 이는, 각각의 투영으로부터의 위에서-언급된 채널-개별 편차가 단지 라인 연장 방향으로 진행할 경우, 즉 공통 평면에 있는 광학 축들만이 사전-발산을 제공받을 경우에 바람직하다. 그 후, 광학 중심들 및 이미지 센서 영역 중심들은 라인 연장 방향과 평행한 직선 상에 있지만 상이한 중간 거리들을 갖는다. 반대로, 라인 연장 방향에 수직한 측방 방향의 렌즈들과 이미지 센서들 사이의 측방 오프셋은 설치 높이의 증가를 초래한다. 라인 연장 방향의 순수한 평면-내 오프셋은 설치 높이를 변경하지 않지만, 가능한 더 적은 패시트들을 초래하고 그리고/또는 패시트들은 단지, 구조를 간략화하는 각도 배향으로 틸팅을 갖는다. 이것은 도 5a 및 도 5b에 예시되며, 여기서, 한편으로는 인접한 채널들(1411 및 142) 및 인접한 채널들(1413 및 1414)은 각각, 공통 평면에서 진행되는 광학 축들(2211 및 2212 및 2213 및 2214)을 포함하며, 그 각각은 서로에 대해 스퀀트(squint)하고, 즉 사전-발산을 제공받는다. 패시트들(2611 및 2612)은 하나의 패시트에 의해 형성될 수 있고, 패시트들(2613 및 2614)은 패시트들의 각각의 쌍들 사이의 점선들에 의해 표시된 바와 같이 상이한 패시트에 의해 형성될 수 있으며, 2개의 패시트들만이 단지 하나의 방향으로 경사지고, 둘 모두는 라인 연장 방향에 평행한다.
도 5a 및 도 5b에 대한 대안으로서, 또한 광학 채널들(1 및 2) 뿐만 아니라 채널들(3 및 4)은 서로 수렴하여 진행될 수 있고, 2개의 쌍들은 다시 서로 발산하며, 여기서, 다시 모든 광학 축들은 하나의 평면 내에서 진행됨을 유의해야 한다. 이러한 방식으로, 패시트들은 라인 연장 방향으로 더 작게 만들어질 수 있다.
다시, 도 4 및 도 5a, 도 5b는 명확화의 이유를 위해 단지 하나의 모듈만을 도시하지만, 각각의 다른 모듈이 동일한 방식으로 구조화될 수 있음을 유의해야 한다. 추가로, 모듈 당 채널들의 수가 4로 제한되지 않는다는 것을 다시 언급해야 한다.
추가로, 하나의 모듈에서, 일부 광학 채널들은 이를테면, 초고-해상도의 목적을 위해 그리고 해상도를 증가시키기 위해 동일한 부분 시야에 각각 할당되며, 그에 의해, 각각의 부분 시야는 이들 채널들에 의해 샘플링된다는 것이 제공될 수 있다. 그 후, 그러한 그룹 내의 광학 채널들은, 예를 들어, 빔 편향 전에 평행하게 진행될 것이고, 패시트에 의해 부분 시야 상으로 편향될 것이다. 유리하게, 그룹의 채널의 이미지 센서의 픽셀 이미지들은 이러한 그룹의 다른 채널의 이미지 센서의 픽셀들의 이미지들 사이의 중간 포지션들에 놓일 것이다. 추가로, 빔-편향 디바이스 및 이미지 센서에 대해, 광학 기판에 대하여 동일한 것이 위에서 언급된 바와 같이 적용되며, 즉 모듈들 1 및 2는 또한 각각의 엘리먼트를 공유할 수 있다. 이미지 안정화 목적들을 위해, 빔-편향 디바이스는 x 축에 평행한 축 주변에서 회전가능할 수 있다. x-축을 따른 광학부들의 병진 움직임과 함께, 이것은 2개의 방향들에서 총 시야의 이미지 안정화를 초래하고, 포커스 제어는 z-축을 따른 광학부들의 병진 움직임을 통해 실현될 수 있다.

Claims (12)

  1. 3D 멀티-애퍼처 이미징 디바이스로서,
    이미지 센서(12);
    상기 이미지 센서의 제1 이미지 센서 영역들(1211, 1212, 1213, 1214) 상에 총 시야(field of view)(28) 중 중첩된 제1 부분 시야들(3011, 3012, 3013, 3014)을 투영하기 위한 제1 복수(141)의 광학 채널들(1411, 1412, 1413, 1414);
    상기 이미지 센서의 제2 이미지 센서 영역들(1221, 1222, 1223, 1224) 상에, 서로 그리고 상기 제1 부분 시야들과 중첩하는 상기 총 시야(28)의 제2 부분 시야들(3021, 3022, 3023, 3024)을 투영하기 위한 제2 복수(142)의 광학 채널들(1421, 1422, 1423, 1424) ― 상기 제1 복수의 광학 채널들 및 상기 제2 복수의 광학 채널들은 기본 거리(15)만큼 서로로부터 측방으로 오프셋되게 배열됨 ―;
    상기 제1 복수의 광학 채널들에 의해 캡쳐된 이미지들을 제1의 총 이미지로 융합시키기 위한 프로세서(85)를 포함하며,
    상기 프로세서(85)는, 한 쌍의 이미지들의 불일치들을 사용함으로써 상기 제1 복수의 광학 채널들 중 한 쌍의 광학 채널들의 제1 부분 시야들의 중첩 영역(86)에서 융합을 수행하도록 구성되고,
    상기 한 쌍의 이미지들 중 적어도 하나는 상기 제2 복수의 광학 채널들 중 하나에 의해 캡쳐되고, 상기 제2 복수의 광학 채널들 중 하나의 투영된 제2 부분 시야는 상기 중첩 영역과 중첩하는, 3D 멀티-애퍼처 이미징 디바이스.
  2. 제1항에 있어서,
    상기 프로세서(85)는, 상기 제2 복수의 광학 채널들에 의해 캡쳐된 이미지들을 제2의 총 이미지로 융합시키며, 그리고 상기 제2 복수의 광학 채널들 중 한 쌍의 광학 채널들의 제2 부분 시야들의 중첩 영역에서, 추가의 쌍의 이미지들의 불일치들을 사용하도록 구성되고,
    상기 추가의 쌍의 이미지들 중 적어도 하나는 상기 제1 복수의 광학 채널들 중 하나에 의해 캡쳐되고, 상기 제1 복수의 광학 채널들 중 하나의 투영된 제1 부분 시야는 상기 제2 부분 시야들의 중첩 영역과 중첩하는, 3D 멀티-애퍼처 이미징 디바이스.
  3. 제2항에 있어서,
    상기 프로세서(85)는, 상기 제1의 총 이미지와 상기 제2의 총 이미지 사이의 불일치들을 사용함으로써 깊이 맵을 생성하도록 구성되는, 3D 멀티-애퍼처 이미징 디바이스.
  4. 제3항에 있어서,
    상기 프로세서(85)는, 상기 깊이 맵이 속하는 최종의 총 이미지를 획득하기 위해, 상기 제1의 총 이미지 또는 상기 제2의 총 이미지를 가상 뷰로 워핑(warp)하거나 또는 상기 제1의 총 이미지 또는 상기 제2의 총 이미지를 상기 가상 뷰로 워핑하여 융합시키도록 구성되는, 3D 멀티-애퍼처 이미징 디바이스.
  5. 제1항 또는 제2항에 있어서,
    상기 프로세서(85)는, 상기 제1 복수의 광학 채널들 각각에 대해 적어도, 상기 제1 복수의 광학 채널들의 각각의 광학 채널에 의해 캡쳐된 이미지 및 상기 제2 복수의 광학 채널들 중 하나에 의해 캡쳐된 추가의 이미지를 포함하는 적어도 하나의 쌍을 포함하는 이미지들의 쌍들의 불일치들을 사용함으로써 상기 제1의 총 이미지에 대한 깊이 맵을 생성하도록 구성되는, 3D 멀티-애퍼처 이미징 디바이스.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 제1 복수의 광학 채널들의 수는 2 및 100 둘 모두를 포함하여 2와 100 사이에 있고,
    상기 제1 복수의 광학 채널들 중 한 쌍의 광학 채널들의 제1 부분 시야들의 중첩 영역은 상기 영역에 관해, 상기 제1 복수의 광학 채널들에 의해 캡쳐된 이미지들의 평균 이미지 사이즈의 1/2와 1/1000 사이에 있는, 3D 멀티-애퍼처 이미징 디바이스.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 제2 복수의 광학 채널들의 수는 2 및 100 둘 모두를 포함하여 2와 100 사이에 있고,
    상기 제2 복수의 광학 채널들 중 한 쌍의 광학 채널들의 제2의 부분 시야들의 중첩 영역은 상기 영역에 관해, 상기 제1 복수의 광학 채널들에 의해 캡쳐된 이미지들의 평균 이미지 사이즈의 1/2와 1/1000 사이에 있는, 3D 멀티-애퍼처 이미징 디바이스.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 제1 복수의 광학 채널들 및 상기 제2 복수의 광학 채널들의 수는 동일하고,
    상기 총 시야의 상기 제1 부분 시야들로의 분할은, 상기 총 시야의 상기 제2 부분 시야들로의 분할과 대략적으로 합동(congruent)인, 3D 멀티-애퍼처 이미징 디바이스.
  9. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 제1 복수의 광학 채널들 중 한 쌍의 광학 채널들의 부분 시야들은, 제1 복수의 광학 채널들 중 한 쌍의 광학 채널들에 의해 캡쳐된 이미지들의 적어도 20개의 픽셀들의 중첩 영역의 폭만큼 10m의 이미지 거리로 서로 투영되는, 3D 멀티-애퍼처 이미징 디바이스.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 제1 복수의 광학 채널들 및 상기 제2 복수의 광학 채널들 각각은, 단일 라인 어레이로서 형성되며, 라인 상에서 상기 라인의 라인 연장 방향을 따라 병치되어, 상기 기본 거리만큼 서로 오프셋되는, 3D 멀티-애퍼처 이미징 디바이스.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 프로세서(85)는 상기 한 쌍의 이미지들의 로컬 섹션들의 교차-상관(cross-correlation)을 사용함으로써 상기 불일치들을 결정하도록 구성되는, 3D 멀티-애퍼처 이미징 디바이스.
  12. 3D 멀티-애퍼처 이미징 디바이스에 의해 캡쳐된 이미지들을 융합시키기 위한 방법으로서,
    상기 3D 멀티-애퍼처 이미징 디바이스는, 이미지 센서(12), 상기 이미지 센서의 제1 이미지 센서 영역들(1211, 1212, 1213, 1214) 상에 총 시야(28) 중 중첩된 제1 부분 시야들(3011, 3012, 3013, 3014)을 투영하기 위한 제1 복수(141)의 광학 채널들(1411, 1412, 1413, 1414), 및 상기 이미지 센서의 제2 이미지 센서 영역들(1221, 1222, 1223, 1224) 상에, 서로 그리고 상기 제1 부분 시야들과 중첩하는 상기 총 시야(28)의 제2 부분 시야들(3021, 3022, 3023, 3024)을 투영하기 위한 제2 복수(142)의 광학 채널들(1421, 1422, 1423, 1424)을 포함하고, 상기 제1 복수의 광학 채널들 및 상기 제2 복수의 광학 채널들은 기본 거리(15)만큼 서로로부터 측방으로 오프셋되게 배열되며,
    상기 방법은,
    한 쌍의 이미지들의 불일치들을 사용함으로써 상기 제1 복수의 광학 채널들 중 한 쌍의 광학 채널들의 제1 부분 시야들의 중첩 영역(86)에서 융합을 수행함으로써 상기 제1 복수의 광학 채널들에 의해 캡쳐된 이미지들을 제1의 총 이미지로 융합시키는 단계를 포함하고,
    상기 한 쌍의 이미지들 중 적어도 하나는 상기 제2 복수의 광학 채널들 중 하나에 의해 캡쳐되고, 상기 제2 복수의 광학 채널들 중 하나의 투영된 제2 부분 시야는 상기 중첩 영역과 중첩하는, 3D 멀티-애퍼처 이미징 디바이스에 의해 캡쳐된 이미지들을 융합시키기 위한 방법.
KR1020187008163A 2015-08-24 2016-08-22 3d 멀티-애퍼처 이미징 디바이스 KR102060585B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102015216140.4 2015-08-24
DE102015216140.4A DE102015216140A1 (de) 2015-08-24 2015-08-24 3D-Multiaperturabbildungsvorrichtung
PCT/EP2016/069821 WO2017032749A1 (de) 2015-08-24 2016-08-22 3d-multiaperturabbildungsvorrichtung

Publications (2)

Publication Number Publication Date
KR20180043334A true KR20180043334A (ko) 2018-04-27
KR102060585B1 KR102060585B1 (ko) 2019-12-30

Family

ID=56801537

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187008163A KR102060585B1 (ko) 2015-08-24 2016-08-22 3d 멀티-애퍼처 이미징 디바이스

Country Status (9)

Country Link
US (1) US10701340B2 (ko)
EP (1) EP3342148B1 (ko)
JP (1) JP6530135B2 (ko)
KR (1) KR102060585B1 (ko)
CN (1) CN108353117B (ko)
DE (1) DE102015216140A1 (ko)
ES (1) ES2770333T3 (ko)
TW (2) TWI668989B (ko)
WO (1) WO2017032749A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016200287A1 (de) 2016-01-13 2017-07-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtungen, Verfahren zum Herstellen derselben und Abbildungssystem
TWI638221B (zh) * 2017-01-05 2018-10-11 旺玖科技股份有限公司 具有至少兩個鏡頭的全景影像擷取裝置及其全景影像擷取模組
DE102017204035B3 (de) 2017-03-10 2018-09-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
DE102017206442B4 (de) 2017-04-13 2021-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur Abbildung von Teilgesichtsfeldern, Multiaperturabbildungsvorrichtung und Verfahren zum Bereitstellen derselben
DE102017206429A1 (de) 2017-04-13 2018-10-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
DE102017208709B3 (de) 2017-05-23 2018-10-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrrichtung und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
DE102017211586A1 (de) 2017-07-06 2019-01-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit geringer falschlichtempfindlichkeit, abbildungssystem und verfahren zum bereitstellen einer multiaperturabbildungsvorrichtung
CN109429055B (zh) * 2017-08-24 2021-02-23 阿里巴巴集团控股有限公司 图像展示、视频文件处理方法及装置
DE102017216172A1 (de) 2017-09-13 2019-03-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit geringer bauhöhe und umschaltbarer blickrichtung, abbildungssystem und verfahren zum bereitstellen einer multiaperturabbildungsvorrichtung
US10900776B2 (en) * 2018-02-06 2021-01-26 Saudi Arabian Oil Company Sensor device for distance offset measurements
CN109151281A (zh) * 2018-09-26 2019-01-04 中国计量大学 一种获得深度信息的像素孔径偏移相机
DE102018222861A1 (de) 2018-12-21 2020-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung zum Akkumulieren von Bildinformation
DE102018222865A1 (de) 2018-12-21 2020-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung zur Erzeugung einer Tiefenkarte
DE102019204075B4 (de) 2019-03-25 2022-03-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung zur Erzeugung einer Tiefenkarte
WO2020245356A1 (de) * 2019-06-06 2020-12-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multikanalabbildungsvorrichtung und vorrichtung mit einer multiaperturabbildungsvorrichtung
CN110568715A (zh) * 2019-09-30 2019-12-13 宁波元年文化传媒有限公司 立体球体表面全覆盖投影装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10155109A (ja) * 1996-11-22 1998-06-09 Canon Inc 撮像方法及び装置並びに記憶媒体
US8023117B2 (en) * 2002-01-09 2011-09-20 Venture Ad Astra, Llc Establishing and maintaining focus in segmented-optic telescopes
US7132664B1 (en) * 2002-11-09 2006-11-07 Crosetto Dario B Method and apparatus for improving PET detectors
JP2006033570A (ja) * 2004-07-20 2006-02-02 Olympus Corp 画像生成装置
KR101733443B1 (ko) * 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
DE102009049387B4 (de) * 2009-10-14 2016-05-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Bildverarbeitungsvorrichtung und Verfahren zur optischen Abbildung
EP2502115A4 (en) * 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
EP2537332A1 (en) * 2010-02-19 2012-12-26 Dual Aperture, Inc. Processing multi-aperture image data
US20120098971A1 (en) * 2010-10-22 2012-04-26 Flir Systems, Inc. Infrared binocular system with dual diopter adjustment
JP2012227679A (ja) * 2011-04-19 2012-11-15 Mathematec Corp ２眼カメラ
WO2013006649A2 (en) 2011-07-05 2013-01-10 Omron Corporation A method and apparatus for projective volume monitoring
US20130070060A1 (en) 2011-09-19 2013-03-21 Pelican Imaging Corporation Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion
US9378542B2 (en) * 2011-09-28 2016-06-28 The United States Of America As Represented By The Secretary Of The Army System and processor implemented method for improved image quality and generating an image of a target illuminated by quantum particles
JP6102930B2 (ja) * 2011-10-14 2017-03-29 オムロン株式会社 射影空間監視のための方法および装置
JP6112419B2 (ja) * 2012-02-03 2017-04-12 パナソニックＩｐマネジメント株式会社 撮像装置および測距装置
US20140085431A1 (en) * 2012-09-21 2014-03-27 Sony Corporation Optical element, optical system and image processing method
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US9013543B1 (en) * 2012-11-14 2015-04-21 Google Inc. Depth map generation using multiple scanners to minimize parallax from panoramic stitched images
JP2015037282A (ja) * 2013-08-15 2015-02-23 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
DE102013222780B3 (de) 2013-11-08 2015-04-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturvorrichtung und verfahren zur erfassung eines objektbereichs
DE102014213371B3 (de) 2014-07-09 2015-08-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur erfassung eines objektbereichs
US11205305B2 (en) * 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
US10750153B2 (en) * 2014-09-22 2020-08-18 Samsung Electronics Company, Ltd. Camera system for three-dimensional video
US10469873B2 (en) * 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
WO2016168869A1 (en) * 2015-04-16 2016-10-20 California Institute Of Technology Systems and methods for behavior detection using 3d tracking and machine learning
CN204575985U (zh) * 2015-05-14 2015-08-19 中国船舶重工集团公司第七一七研究所 一种具有四孔径的稀疏合成孔径光学成像装置
US10699476B2 (en) * 2015-08-06 2020-06-30 Ams Sensors Singapore Pte. Ltd. Generating a merged, fused three-dimensional point cloud based on captured images of a scene

Also Published As

Publication number Publication date
US10701340B2 (en) 2020-06-30
ES2770333T3 (es) 2020-07-01
WO2017032749A1 (de) 2017-03-02
CN108353117A (zh) 2018-07-31
JP6530135B2 (ja) 2019-06-12
KR102060585B1 (ko) 2019-12-30
EP3342148B1 (de) 2020-01-08
TWI617177B (zh) 2018-03-01
TW201711457A (zh) 2017-03-16
TW201806383A (zh) 2018-02-16
EP3342148A1 (de) 2018-07-04
DE102015216140A1 (de) 2017-03-02
TWI668989B (zh) 2019-08-11
JP2018533248A (ja) 2018-11-08
CN108353117B (zh) 2021-08-24
US20180184068A1 (en) 2018-06-28

Similar Documents

Publication Publication Date Title
KR102060585B1 (ko) 3d 멀티-애퍼처 이미징 디바이스
US11244434B2 (en) Multi-aperture imaging device
JP6580666B2 (ja) 対象領域を検出するための装置および方法
US10348945B2 (en) Light field image capturing apparatus including shifted microlens array
JP5306275B2 (ja) 表示装置及び立体画像の表示方法
TWI452340B (zh) Dimensional image display device, image display method
TW201713988A (zh) 具有包含反射小平面之光束偏轉裝置的多孔徑成像裝置
US10225541B2 (en) Stereoscopic display apparatus and control method
TWI388881B (zh) 用於自動立體顯示器的指向性發光單元
KR20180043302A (ko) 다중 채널 이미징 디바이스를 갖는 디바이스 및 그 제조 방법
CN113366821B (zh) 具有用于产生深度图的多孔径成像设备的设备
TW201430392A (zh) 影像顯示設備
TW201901246A (zh) 多孔徑成像裝置、成像系統和提供多孔徑成像裝置的方法
ES2733651T3 (es) Medición de la posición angular de una lámina de lente lenticular
CN110036256B (zh) 标记器和标记器的制造方法
DE102014019669A1 (de) Verfahren zum optischen Abtasten und Vermessen einer Umgebung mit einer 3D-Messvorrichtung und Autokalibrierung mit vorgegebenen Bedingungen
CN113853543A (zh) 包括用于产生深度图的多孔径成像设备的设备
JP2013068682A (ja) 立体表示装置
JP4716210B2 (ja) 三次元画像データの取得方法および三次元画像用撮像システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant