KR20160079111A - 오브젝트 영역의 검출을 위한 다중-조리개 장치 및 방법 - Google Patents

오브젝트 영역의 검출을 위한 다중-조리개 장치 및 방법 Download PDF

Info

Publication number
KR20160079111A
KR20160079111A KR1020167015085A KR20167015085A KR20160079111A KR 20160079111 A KR20160079111 A KR 20160079111A KR 1020167015085 A KR1020167015085 A KR 1020167015085A KR 20167015085 A KR20167015085 A KR 20167015085A KR 20160079111 A KR20160079111 A KR 20160079111A
Authority
KR
South Korea
Prior art keywords
sub
optical channels
region
optical
detecting
Prior art date
Application number
KR1020167015085A
Other languages
English (en)
Other versions
KR101821336B1 (ko
Inventor
프랑크 비퍼만
안드레아스 브뤼크너
안드레아스 브로이어
Original Assignee
프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. filed Critical 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Publication of KR20160079111A publication Critical patent/KR20160079111A/ko
Application granted granted Critical
Publication of KR101821336B1 publication Critical patent/KR101821336B1/ko

Links

Images

Classifications

    • H04N13/0217—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H04N13/0232—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/229—Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H04N5/2258—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Image Input (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 오브젝트 영역의 제 1 서브-영역을 검출하기 위한 적어도 두 개의 광학 채널(12-1 - 12-9) 및 오브젝트 영역의 제 2 서브-영역을 검출하기 위한 적어도 두 개의 광학 채널을 포함하는, 오브젝트 영역을 검출하기 위한 다중-조리개 장치(10)를 설명한다. 제 1 및 제 2 서브-영역을 검출하기 위한 상기 광학 채널들(12-1 - 12-9)은 하나의 열 내에 교차 방식으로 배치되며, 제 1 및 제 2 서브-영역은 적어도 부분적으로 오버래핑한다.

Description

오브젝트 영역의 검출을 위한 다중-조리개 장치 및 방법{MULTI-APERTURE DEVICE AND METHOD FOR DETECTING AN OBJECT REGION}
본 발명은 다중-조리개 장치 및 오브젝트 영역을 검출하기 위한 방법에 관한 것이다.
종래의 카메라들은 단일 조리개 원리를 기초로 한다. 오브젝트의 연속적인 이미지가 여기에 주어지고, 오브젝트 내의 이웃하는 영역들이 또한 이미지 내에 이웃한다. 깊이 정보를 기록하기 위하여, 대부분의 경우에 서로에 대한 측면 거리를 나타내는 두 개의 카메라가 사용된다(입체영상(stereoscopy)). 카메라들은 카메라들의 거리(기본 길이) 및 오브젝트 거리와 상응하는, 상이한 각들(시차(parallax))로부터 오브젝트를 본다. 그 결과, 두 개의 카메라의 이미지들은 오브젝트 거리에 의존하여, 서로에 대하여 다른 정도(차이(disparity))로 시프트된다(shifted). 오브젝트 거리는 카메라들의 기본 거리 및 차이를 알 때 결론을 낼 수 있다. 기본 거리의 증가는 바람직하게는 향상된 깊이 해상도 또는 더 큰 오브젝트 거리들에서의 깊이들의 구별 방법을 야기한다. 그러나, 전체 카메라 설정의 원하는 소형화는 저지된다. 게다가, 실제 실현들에서, 깊이 정보의 정밀도는 서로에 대한 두 개의 카메라의 위치선정의 정밀도(기본 길이의 정밀도)에 의해 제한된다.
대안으로서, 예를 들면, [1]에서 용어 펠리칸 이미징 카메라-어레이(Pelican Imaging camera-array, PiCam) 하에서 설명되는, 초-해상도(super-resolution) 원리에 의한 어레이 시스템들이 존재한다. 그러한 카메라들은 각각 전체 오브젝트의 이미지를 발생시키는 복수의 개별 이미징 채널(2x2, 3x3, 4x4, 5x5 등)로 구성된다. 일반적으로, 그러한 다-채널 설정들은 NxN 또는 NxM의 배치들로 설정될 수 있고, N 및 M은 2보다 크거나 또는 동일하다. 어레이의 개별 카메라들이 서로에 대한 측면 거리를 나타내기 때문에, 오브젝트 거리들에 대한 동일한 시차 효과 결과들 및 정보가 이미지 처리에 의해 획득될 수 있다. 예를 들면 휴대 전화(mobile phone), 스마트폰, 노트북 등 같은, 모바일 장치들 내로의 통합에 기인하여, 전체로서 이미지 카메라가 너무 작기 때문에, 어레이 카메라의 개별 채널들 사이의 거리는 작고, 그 결과, 깊이 해상도는 강력하게 제한된다. 다-채널 설정의 목적은 카메라의 구조적 높이의 감소이다. 더 작은 구조적 높이는 예를 들면, 이미징 채널들의 초점 거리(focal length, f)를 감소시킴으로써 달성될 수 있다.
카메라의 폭(dp)의 감광(light-sensitive) 픽셀은 각진 영역(angular region)으로부터 광을 받으며(a=arctan(dp/f)), 각진 영역(a)은 또한 수용 각으로서 언급된다. 초점 거리(f)를 감소시킬 때, 결과는 더 큰 수용 각(a)이다. 수용 각(a)의 증가는 해상도의 감소와 동등한데, 그 이유는 소수의 오브젝트 영역만이 서로들 중에서 구별될 수 있기 때문이다. 초점 거리를 감소시킬 때 해상도의 손실로부터 곤란을 겪지 않기 위하여, 초-해상도의 원리들이 적용된다. 여기서 전제조건은 존재하기 위한 엘리어싱인데, 즉 광학체가 픽셀 피치, 즉 두 픽셀 사이의 거리보다 작은 지점 이미지들을 발생한다는 것이다. 여기서 개별 카메라들의 시야는 픽셀 피치의 분수(fraction)들에 의해 시프트된다. 지점 이미지의 폭이 인자(N)에 의한 픽셀 피치보다 작을 때, 카메라들의 시야들은 각각 픽셀과 관련된 각의 N-번째에 의해 시프트된다. 이는 개별 카메라들의 광학 축들이 각각 픽셀 피치의 N-번째에 의해 시프트되는 것을 의미한다. 여기서 시프트는 X- 및 Y-방향 내에서 실행될 수 있는데, 즉 여기서 각각의 서브-픽셀 시프트들을 갖는 N2 카메라들이 존재할 수 있다. 고-해상도 전체 이미지는 그리고 나서 소프트웨어 내의 이미지 처리를 사용하여 서브-픽셀 오프셋(offset)을 갖는 서브-스캐닝된 서브-이미지들로부터 계산될 수 있다.
또 다른 대안은 바람직하게는 도 9 및 10에서 설명되는 것과 같은, 클러스터 아이 카메라들(cluster eye cameras, 독일특허 제 DE 102009049387 참조)이다. 클러스터 아이 카메라들은 어레이 카메라들과 유사하게, 복수의 개별 채널로 구성된다. 그러나, 어레이의 채널들은 전체 오브젝트 필드(object field)를 전송하지 않으며, 개별 채널들은 각각 단지 그것의 서브-영역들을 본다. 각각의 오브젝트 서브-영역들의 서브-이미지들은 차례로 이미지 후-처리에 의해 전체 이미지를 형성하도록 합쳐진다. 이미지 컨버터(image converter) 상의 각각의 관련 시계(visual field) 서브-영역을 갖는 이미징 채널들의 측면 배치가 바람직하다. 고전적인 단일-조리개 카메라들 및 심지어 실제로 종래의 단일-조리개 카메라들의 어레이 배치들인 것으로 이해되는 어레이 카메라들과 대조적으로, 이러한 설정들에서 전자 이미지 컨버터 상의 이미지의 시계 및 측면 위치는 서로 분리된다. 구조적 높이를 감소시키기 위하여, 다시 작은 초점 거리들이 사용된다. 각 해상도(angular resolution)에서의 손실로 곤란을 겪지 않도록 하기 위하여 서브-픽셀들에 의해 시프트된 서브-이미지들을 포함하는 초-해상도 방법이 여기서 사용된다.
본 해결책에서, 이미징 채널들은 측면으로 이웃하는 채널들이 또한 시야각 내에서 이웃하도록 배치된다. 이의 결과는 채널들의 작은 거리에 기인하여, 적은 시차만이 발생하고 따라서 또한 제한된 깊이 해상도를 야기하는 서브-이미지들의 작은 시프트만이 관찰될 수 있다는 것이다. 서브-이미지들의 시프트를 평가할 수 있도록 하기 위하여, 이것들은 부분적으로 오버래핑하는데, 즉 개별 영역들 내의 동일한 이미지 콘텐츠들을 포함한다. 오브젝트 및 카메라 사이의 거리는 기본 길이를 알 때, 상응하는 이미징 채널들 내의 동일한 콘텐츠들의 서브-영역들의 측면 위치의 비교로부터 결론을 낼 수 있다. 이것이 각각의 이미지 지점을 위하여 실행될 수 있기 때문에, 오브젝트 공간의 깊이 차트가 설정될 수 있다.
그 결과, 본 발명의 기본이 되는 목적은 오브젝트 영역이 향상된 깊이 정보로 검출되도록 허용하는 장치 및 방법을 제공하는 것이다.
본 발명의 목적은 독립항들의 주제에 의해 달성된다.
본 발명의 중심 개념은 기록되는 오브젝트 영역의 향상된 깊이 정보가 달성되도록 이미지 컨버터 상의 바람직하게는 광학 채널들의 배치에 의해 차이가 증가될 수 있다는 사실에 의해 위의 목적이 달성될 수 있다는 것을 인식하는 것이다.
일 실시 예에 따르면, 다중-조리개 장치는 오브젝트 영역의 제 1 서브-영역을 검출하기 위한 적어도 두 개의 광학 채널, 및 오브젝트 영역의 제 2 서브-영역을 검출하기 위한 적어도 두 개의 광학 채널을 포함한다. 제 1 및 제 2 서브-영역들을 검출하기 위한 광학 채널들은 제 2 서브-영역을 검출하기 위한 광학 채널이 제 1 서브-영역을 검출하기 위한 두 개의 광학 채널 사이에 배치되도록 하나의 열(row) 내에 그리고 교차(interlaced), 즉 교번(alternating) 방식으로 배치된다.
본 발명의 실시 예에서 서브-영역을 검출하기 위한 광학 채널들 사이의 큰 측면 거리는 오브젝트 필드의 향상된 깊이 정보를 허용하는 것이 바람직하다. 이는 예를 들면, 이미지 검출 장치들의 최소화 및/또는 감소된 초점 거리에 의해 유도되는 깊이 해상도의 감소의 보상을 허용한다.
또 다른 바람직한 실시 예들이 종속항들의 주제이다.
첨부된 도면들을 참조하여 본 발명의 바람직한 실시 예들이 그 뒤에 설명될 것이다.
도 1a는 열(row) 형태의 구조에서 복수의 광학 채널 및 이미지 센서 영역을 포함하는 다중-조리개 장치의 개략적인 평면도이다.
도 1b는 이미지 센서 영역들의 배치가 오브젝트 영역 내의 서브-영역의 위치와 상응하는 오브젝트 영역의 검출을 위한 이미지 센서 상의 광학 채널의 2차원 배치의 개략적인 도면이다.
도 1c는 예를 들면, 도 1a로부터의 광학 채널들을 위하여, 본질적으로 오브젝트 영역의 동일한 서브-영역을 검출하는 그것과 관련된 광학체의 중심들에 대한 광학 채널들의 시프팅의 결과로서, 개별 채널들에 의해 스캐닝되는 오브젝트 영역들의 분포의 개략적인 도면이다.
도 2a는 도 1a의 다중-조리개 장치의 섹션 또는 일부분의 개략적인 평면도이다.
도 2b는 개별 이미징 채널들의 이미지 영역들이 열 방향에 직각으로 동일한 위치에 배치되도록 광학 채널들이 열 방향에 직각으로 측면 오프셋을 나타내는 도 2a의 일부분의 개략적인 평면도이다.
도 3a는 도 2a에 따른 이미지 센서 영역들의 잠재적인 결과 배치를 갖는 이미지 센서의 기판의 개략적인 평면도이다.
도 3b는 도 2b에 따른 광학 채널들의 배치로부터 야기할 수 있는 것과 같은, 이미지 센서 영역들의 개략적인 배치를 도시한다.
도 4a는 균일한 설정 표준에 따른 광학 채널들의 배치를 갖는 일부분의 형태의 다중-조리개 장치의 섹션의 개략적인 평면도이다.
도 4b는 도 4a와 유사한 광학 채널들의 분류를 갖는 다중-조리개 장치의 부분으로서 일부분의 개략적인 평면도이며, 광학 채널들은 개별 이미징 채널들의 이미지 영역들이 열 방향에 직각으로 동일한 위치에 배치되도록 열 방향에 직각으로 측면 오프셋을 나타낸다.
도 5a는 광학 채널들의 대안의 분류 순서를 갖는 일부분의 형태의 다중-조리개 장치의 섹션의 개략적인 평면도이다.
도 5b는 도 5a와 유사한 광학 채널들의 분류를 갖는 다중-조리개 장치의 부분으로서 개략적인 평면도이며, 광학 채널들은 개별 이미징 채널들의 이미지 영역들이 열 방향에 직각으로 동일한 위치에 배치되도록 열 방향에 직각으로 측면 오프셋을 나타낸다.
도 6a는 열 구조를 따라 서로에 대하여 그 다음에 배치되는 도 2a에 따른 4개의 부분을 갖는 다중-조리개 장치의 개략적인 평면도이며, 4개의 부분은 대략 동일한 가시 방향으로 지향되는 채널들이 부가적으로 X 및/또는 Y-방향으로의 반(half) 픽셀 피치에 의한 각각의 광학체들 및 각각의 서브-이미지 사이의 시프트를 나타낸다는 점에서 서로 다르다.
도 6b는 열 구조를 따라 서로에 대하여 그 다음에 배치되는 도 2b에 따른 4개의 부분을 갖는 다중-조리개 장치의 개략적인 평면도이다.
도 6c는 열 구조를 따라 서로에 대하여 그 다음에 배치되는 도 3b에 따라 4개의 부분을 갖는 다중-조리개 장치의 개략적인 평면도이며, 4개의 부분은 대략 동일한 가시 방향으로 기원되는 채널들이 부가적으로 X 및/또는 Y-방향으로의 반 픽셀 피치에 의한 각각의 광학체들 및 각각의 서브-이미지 사이의 시프트를 나타낸다는 점에서 서로 다르다.
도 6d는 열 구조를 따라 서로에 대하여 그 다음에 배치되는 도 4b에 따른 4개의 부분을 갖는 다중-조리개 장치의 개략적인 평면도이다.
도 6e는 열 구조를 따라 서로에 대하여 그 다음에 배치되는 도 5a에 따라 4개의 부분을 갖는 다중-조리개 장치의 개략적인 평면도이며, 4개의 부분은 대략 동일한 가시 방향으로 기원되는 채널들이 부가적으로 X 및/또는 Y-방향으로의 반 픽셀 피치에 의한 각각의 광학체들 및 각각의 서브-이미지 사이의 시프트를 나타낸다는 점에서 서로 다르다.
도 6f는 열 구조를 따라 서로에 대하여 그 다음에 배치되는 도 5b에 따른 4개의 부분을 갖는 다중-조리개 장치의 개략적인 평면도이다.
도 7은 도 6a의 변경의 부분들의 대안의 배치의 4개의 개략적인 모면을 도시하며, 4개의 부분은 대략 동일한 가시 방향으로 기원되는 채널들이 부가적으로 X 및/또는 Y-방향으로의 반 픽셀 피치에 의한 각각의 광학체들 및 각각의 서브-이미지 사이의 시프트를 나타낸다는 점에서 서로 다르다.
도 8a는 도 1a에 도시된 것과 같이, 분류 순서에 따른 이미징 채널들의 배치의 개략적인 도면이며, 4개의 부분은 대략 동일한 가시 방향으로 기원되는 채널들이 부가적으로 X 및/또는 Y-방향으로의 반 픽셀 피치에 의한 각각의 광학체들 및 각각의 서브-이미지 사이의 시프트를 나타낸다는 점에서 서로 다르다.
도 8b는 광학 채널들의 대안의 분류 순서를 갖는 4개의 부분의 배치를 도시한다.
도 8c는 도 8b에 도시된 것과 같이, 다중-조리개 장치의 개략적인 평면도이며, 부분들은 개별 부분들 사이에 X- 및 Y-방향으로의 에지들의 오버래핑이 방지되도록 배치된다.
도 8d는 예를 들면 도 7의 변경을 위하여 설명되는 것과 같이, 부분들이 서로로부터 떨어져 간격을 두고 배치되는 도 8c의 구현을 갖는 다중-조리개 장치를 도시한다.
도 9는 바람직하게는 종래 기술에 따른 다-채널 이미징 시스템의 개략적인 도면이다.
도 10은 종래 기술에 따른 2차원 클러스터 아이 카메라에 의해 상이한 오브젝트 서브-영역들을 스캐닝하는 개략적인 도면이다.
도면들을 참조하여 아래에 본 발명의 실시 예들을 더 상세히 설명하기 전에, 상이한 도면들에서, 동일한 소자들, 오브젝트들 및/또는 구조들 또는 그것들의 동일한 기능 또는 동일한 효과는 상이한 실시 예들에서 설명되는 이러한 소자들의 설명이 상호 교환 가능하거나 또는 상호 적용 가능하도록 동일한 도면부호로 제공된다는 것에 유의하여야 한다.
아래의 설명에서, 다중-조리개 장치는 이미지 같은, 오브젝트 영역을 광학적으로 검출하기 위한 장치인 것으로 이해되어야 한다. 다중-조리개 장치는 예를 들면, 일부 픽셀들을 갖는 이미지를 검출하도록 구성되는 카메라일 수 있다. 다중-조리개 접근법은 장치의 간결한 설정을 허용한다. 픽셀은 예를 들면, 전하-결합 장치(charge-coupled device, CCD) 또는 상보성 금속산화물 반도체(complementary metal oxide smiconductor, CMOS) 이미지 센서에 의해 검출될 수 있다. 이미지 센서는 하나 또는 몇몇의 이미지 컨버터 소자들 내에 배치될 수 있는 하나 또는 몇몇의 이미지 센서 영역을 포함할 수 있다. 다중-조리개 장치의 광학 채널은 오브젝트 필드의 서브-영역을 이미지 컨버터의 적어도 하나의 픽셀, 즉 이미지 센서 영역 상으로 이미징하도록 구성되고, 광학 중심(optical center)을 갖는, 렌즈, 분산된(decentered) 렌즈 또는 자유-형태 영역의 일부분 같은, 광학 소자 또는 이미지 광학체를 포함할 수 있다. 선택적으로, 광학체는 산란 광을 차단하기 위하여 셔터(shutter)를 포함할 수 있다. 셔터는 여기서 검출되는 오브젝트 및/또는 이미지 컨버터 사이에 배치될 수 있다. 전자 광학(electro-optical) 센서는 오브젝트 영역 또는 오브젝트 영역으로부터 받는 전자기 방사선을 검출하도록 구성된다. 전자기 방사선은 가시 및/또는 비-가시 파장 범위를 나타낼 수 있다. 따라서, 파장 범위는 예를 들면, 또한 자외선 또는 적외선 범위일 수 있다. 광학체는 또한 몇몇 렌즈들, 분산된 렌즈들의 몇몇 부분들 및/또는 몇몇 자유-형태 영역들의 조합일 수 있다. 광학 채널의 광학 소자는 여기서 예를 들면 공통 렌즈에 의한 서브-영역의 적어도 두 개의 이미지 센서 영역 상으로의 이미징이 가능하도록, 적어도 하나의 또 다른 광학 채널에 대하여 배치될 수 있다. 대안으로서, 광학 소자는 광학 채널에 대해서만 배치될 수 있다.
도 1a는 정사각형 연속 선들에 의해 표시된 것과 같은, 복수의 광학 채널(12-1 내지 12-9)을 포함하는 다중-조리개 장치(10)의 개략적인 평면도를 도시한다. 광학 채널은 각각 오브젝트 영역의 서브-영역을 검출하도록 구성되고 광학 채널들 내의 파선들에 의해 표시된 것과 같이, 각각 이미지 컨버터 상에 이미지 센서 영역(14-1 내지 14-9)을 포함한다. 광학 채널(12-1 내지 12-9)의 각각의 이미지 센서 영역(14-1 내지 14-9)은 서브-영역으로부터 받는 광 또는 방사선의 초점을 위한 렌즈의 영역보다 더 작은 영역을 포함할 수 있으며, 이는 이미지 센서 영역 영역(14-1 내지 14-9)이 광학 채널(12-1 내지 12-9)의 영역보다 더 작을 수 있는 이유이다. 몇몇 서브-이미지 컨버터들(14-1 내지 14-9)은 공통 기판(단일 칩) 상에 배치될 수 있다. 광학 채널(12-1 내지 12-9) 내의 이미지 센서 영역들(14-1 내지 14-9)의 상이한 지향들에 의해 표시된 것과 같이, 광학 채널들(12-1 내지 12-9)은 서로 다른 시야각(viewing angle)을 포함하는데, 즉 광학 채널들(12-1 내지 12-9)은 오브젝트 영역의 서로 다른 서브-영역을 검출하도록 구성된다. 또한 파선의 정사각형 및 광학 채널들의 번호에 의해 표시된 것과 같이, 광학 채널들(12-1 내지 12-9)은 예를 들면 오브젝트 영역의 이웃하는 서브-영역들이 오버래핑하도록 배치된다. 서브-영역들의 오버래핑은 연결들이 평가되도록 허용하는데, 즉 깊이 정보의 판단을 내리고 서브-이미지들로부터 이미지 정보를 추출하고, 따라서 전체 오브젝트의 전체 이미지를 맞추기 위하여 상이한 서브-영역들 내의 동일한 이미지 콘텐츠들이 평가되도록 허용한다. 단순화된 방식에서, 이미지 센서 영역들(14-1 내지 14-9)이 50%의 광학 채널들(12-1 내지 12-9)의 X- 및 Y-방향 내의 치수로 도시된다. 대안으로서, X- 및/또는 Y-방향 내의 이미지 센서 영역들(14-1 내지 14-9)의 치수들은 광학 채널들(12-1 내지 12-9)의 치수들에 대한 어떠한 비율을 나타낼 수 있다. 이미지 센서 영역들의 위치들은 각각의 광학 채널의 기본 영역 내의 광학 소자의 광학 중심들의 중심의 위치에 의존하여 위치될 수 있다.
대안으로서, 또한 전체 시계, 즉 오브젝트 영역이 3, 즉 어떤 수와 다른 X- 및 Y-방향 내의 다수의 서브-영역들을 포함하는 것을 상상할 수 있다. 게다가, 오브젝트 영역이 다른 수의 서브-영역들, 예를 들면 5x3, 15x10 또는 1920x1028로 X- 및 Y-방향 내에 세분되는 것을 상상할 수 있다.
부분(16a)의 상세 도면은 각각 이미지 센서 영역(14-1 내지 14-9)을 포함하는 9개의 광학 채널(12-1 내지 12-9)을 도시한다. 각각의 광학 채널의 시야 방향을 기초로 하여, 이미지 센서 영역(14-1 내지 14-9)은 파선들에 의해 표시된 것과 같이, 광학 채널들(12-1 내지 12-9)의 기본 영역 내에 시프프된다. 광학 채널들 내의 번호화(numbering)만이 서브-영역들의 배치 및 광학 채널들 사이의 단순화된 구별을 나타내는 역할을 한다. 지향, 즉 번호화에 의해 표시된 것과 같이, 각각의 광학 채널(12-1 내지 12-9)의 시야 방향에 의존하여, 광학 채널들(12-1 내지 12-9)은 9개의 서브-영역을 검출하도록 구성된다. 대안으로서, 오브젝트 영역은 또한 2, 3, 10 이상, 1,000 이상 또는 1,000,000 이상의 서브-영역을 포함할 수 있다. 각각의 서브-영역은 도시된 예에서 4개와 같은, 부분들(16a-d)의 수와 상응하는 수에 의해 검출된다.
다중-조리개 장치(10)는 바람직하게는 그중에서도, 광학 채널들의 수가 동일하도록 각각 서브-영역을 검출하기 위한 광학 채널(12-1 내지 12-9)을 포함하는 광학 채널들(12-1 내지 12-9)의 동일한 분류 순서를 갖는 4개의 부분(16a-d)을 포함한다. 바꾸어 말하면, 각각의 서브-영역(16a-d)은 각각 광학 채널(12-1 내지 12-9)을 포함하고, 광학 채널들(12-1 내지 12-9)은 단일-열 구조에서 측면으로 이웃하도록 배치된다. 바꾸어 말하면, 장치(10)는 복수의 카메라 어레이, 광학 채널 또는 부분(16a-d)을 포함한다. 4개의 서브-영역(16a-d)은 전체 수의 광학 채널들이 또한 열 내에서 서로 측면으로 이웃하게 배치되도록 각각 측면으로 이웃하도록 배치된다. 광학 채널들(12-1 내지 12-9)의 배치는 단일 열 내에서 존재하며, 이는 또한 1xN 형태로 설명될 수 있다.
부분들(16a-d)의 수는 달성되는 초-해상도 인자로부터 야기할 수 있다. 도시된 실시 예에서, 이는 예를 들면 도 9에서 더 상세히 설명되는 것과 같이, 오브젝트 영역의 X- 및 Y-방향 모두에서, 각각 2이다. 바람직한 초-해상도 인자에 의한 해상도의 증가를 달성하기 위하여, 상응하는 수의 광학 채널들이 X- 및 Y-방향 내에 구현될 수 있고, 각각의 채널들(12-7a, 12-7b, 12-7c 및 12-7d)은 기본적으로 동일한 오브젝트 영역을 본다. 이미지 센서 영역들(14-1)은 각각의 서브-영역들, 즉 반 픽셀에 의해, 즉 열 방향에 측면 방향으로의 픽셀의 확장의 반과 상응하는 픽셀 피치로, X- 및/또는 Y-방향 내의 그것들과 관련된 광학 채널들(12-7a-d)에 대한 부분들(16a-d) 내로 시프프될 수 있다. 따라서, 부분들(16a 및 16b)의 이미지 센서 영역들(14-1)은 그것들과 관련된 채널(12-7)에 대하여 X-방향 및/또는 Y-방향 내에서 반 픽셀 다를 수 있고 Y-방향으로는 다르지 않으며, 부분(16c)의 이미지 영역(14-1)은 부분(16a)의 이미지 센서 영역(14-1)과 X-방향 및/또는 Y-방향 내에서 반 픽셀 다를 수 있으며, 부분(16d)의 이미지 영역(14-1)은 예를 들면, 부분(16a)의 이미지 센서 영역(14-1)에 대하여 X- 및 Y-방향 내에서 반 픽셀 다를 수 있다. 부분들(16)의 수는 따라서 또한 X- 및 Y-방향 내의 초-해상도 인자들의 산물로서 언급될 수 있고, 정수들 내의, 인자들은 다를 수 있다.
본질적으로 동일한 오브젝트 영역의 서브-영역을 검출하기 위한 광학 채널들(12-7a, 12-7b, 127c 및/또는 12-7d)은 열 방향에 직각 방향으로 또는 거리(X1)의 방향에 직각으로 서로에 대하여 어떠한 측면 오프셋을 나타낼 수 있다. 이러한 거리가 예를 들면 두 픽셀, 즉 서브-이미지 영역들(서브-픽셀 피치) 사이의 거리의 1/4, 1/3 또는 1/2과 같은, 분수일 때, 이러한 오프셋은 또한 서브-픽셀 오프셋 또는 서브-픽셀 피치로서 언급될 수 있다. 서브-픽셀 피치는 바람직하게는 초-해상도 인자를 기초로 할 수 있다. 예를 들면 2의 초-해상도 인자가 실현되고 X- 및 Y-방향 내의 오브젝트 영역의 서브-영역이 두 번 검출될 때, 서브-픽셀 피치는 예를 들면, 픽셀 폭의 1/2과 상응할 수 있다. 오프셋은 예를 들면, 서브-픽셀 영역 내의 오브젝트 영역의 해상도를 증가시키도록 사용될 수 있다. 바꾸어 말하면, 광학 채널들의 상호작용에 기인하여, 광학 채널의 스캔 갭(scan gap)이 이웃하는 광학 채널에 의해 검출되는 것이 가능하다. 대안으로서, 본질적으로 동일한 서브-영역(12-7a, 12-7b, 12-7c 및/또는 12-7d)을 검출하기 위한 광학 채널들이 또한 그것들 사이에 어떠한 오프셋도 없이 배치될 수 있다.
동일한 오브젝트 지점, 즉 동일한 서브-영역 상으로의 광학 채널들(12-7a, 12-7b, 12-7c 및/또는 12-7d)의 시야각(시차) 내의 오프셋에 기인하여, 광학 채널(12-7a, 12-7b, 12-7c 및/또는 12-7d) 당 복수의 저-해상도 마이크로-이미지로부터 초-해상도 알고리즘에 의해 고-해상도 전체 이미지를 계산할 수 있는, 이미지 센서 영역에 대한 서브-픽셀 시프팅이 획득될 수 있다. 바꾸어 말하면, 광학 채널들(12-7a, 12-7b, 12-7c 및/또는 12-7d)의 이미지 센서 영역들(14-7)의 중심 지점들은 픽셀 피치 또는 픽셀 피치의 분수를 갖는 적어도 두 개의 광학 채널들(12-7a, 12-7b, 12-c 및/또는 12-7d)이 상이한, 부분적으로 오버래핑하는 검출 영역들을 나타내는 것과 같이 시프트되도록 배치될 수 있다. 두 개의 광학 채널(12-7a, 12-7b, 12-7c 및/또는 12-7d)의 검출 영역들의 오버랩 영역은 따라서 오프셋 방식으로 이미지 검출 센서 상으로 이미지화될 수 있다.
장치(10)는 2의 초-해상도 인자, 즉 22=4 부분들(16a-d)을 포함하는 것으로 언급될 수 있으며, 이는 오브젝트 영역 또는 오브젝트 영역의 각각의 서브-영역의 X- 및 Y-방향 모두가 4번 검출되는 것을 의미한다. 예를 들면 12-7a, 12-7b, 12-7c 및/또는 12-7d와 같은, 서브-영역을 검출하기 위한 광학 채널들의 측면 공간에 의해, 이러한 광학 채널들은 검출되는 서브-영역 내의 시프트를 나타낼 수 있고, 광학 채널들(12-7a, 12-7b, 12-7c 및/또는 12-7d)은 적어도 기본적으로 동일한 서브-영역을 검출하도록 구성된다. 바꾸어 말하면, 오브젝트 영역의 각각의 서브-영역은 4번 검출되며, 이는 오브젝트 영역의 X-방향 내의 이중 스캐닝 및 Y-방향 내의 이중 스캐닝과 상응할 수 있다.
서브-영역들(16a-d) 및 따라서 적어도 대략 광학 채널들(12-7a, 12-7b, 12-7c 및/또는 12-7d) 같은, 오브젝트 필드의 동일한 서브-영역을 검출하는 광학 채널들의 동일한 분류 순서는 열 구조의 구현을 따라 가능한 가장 큰 측면 거리를 허용한다. 열 구조의 구현을 따라 이미지 센서 영역들(14-1 내지 14-9)의 거리에 의해 표시된 것과 같이, 광학 보이드(optical void)들, 즉 간격들(clearance)이 광학 채널들(12-1 내지 12-9)의 이미지 센서 영역들(14-1 내지 14-9) 사이에 형성될 수 있다. 판독 회로(readout circuit), 아날로그-대-디지털 컨버터(ADC)들, 증폭기 등과 같은, 비-광-민감성 전자 부품들은 이러한 간격들 내에, 즉 예를 들면, 서브-이미지 컨버터들 사이의 영역들 내에 배치될 수 있다.
부분(16a-d)의 각각의 광학 채널은 오브젝트 영역의 서브-영역을 검출하도록 구성되고, 오브젝트 영역 내의 이웃하는 서브-영역들은 부분적으로 오버래핑한다. 부분들(16a-d) 내의 광학 채널들의 배치는 동일하거나 또는 본질적으로 동일하거나 또는 동등한 서브-영역을 검출하는 광학 채널들을 위한 거리(X1)가 예를 들면 광학 채널들(12-7a 내지 12-7d, 또는 12-6a 및 12-6b) 같이, 일정하도록, 교차되고 균일하다.
거리(X1)는 최대 및 등거리 거리 모두로서 언급될 수 있는데, 그 이유는 그것이 각각의 서브-영역 및 각각의 서브-영역의 각각의 광학 채널을 위하여 적용되기 때문이다.
게다가, 하나 또는 몇몇 광학 채널들은 예를 들면, 전송 영역의 하나 또는 몇몇 파장 범위들을 필터링하도록, 즉 감소시키거나 또는 최소화하도록 구성되는 색 필터와 같은, 전송 필터(transmission filter)를 포함할 수 있다. 따라서, 오브젝트 영역의 서브-영역은 예를 들면, 두 개 또는 몇몇 상이한 파장 범위들에 대하여 검출될 수 있다. 전송 필터는 예를 들면, 픽셀 당, 즉 예를 들면, 서브-영역을 검출하기 위한 광학 채널(12-7a, 12-7b, 12-7c 또는 12-7d) 또는 두 개 이상의 광학 채널(12-7a, 12-7b, 12-7c 또는 12-7d)을 위하여 잘 알려진 "베이어 모자이크(Bayer mosaic)"로 배치됨으로써 단일 광학 채널(12-1 내지 12-9)에 배치될 수 있다. 전송 필터는 예를 들면, 각각의 광학 채널의 마이크로-렌즈 대물렌즈 내에 또는 그것과 관련된 이미지 센서 영역 상에 통합될 수 있다. 그러한 전송 필터는 스펙트럼 색의 광학 채널(12-1 내지 12-9 혹은 12-7a, 12-7b, 12-7c 또는 12-7d)과의 연관을 허용한다.
바꾸어 말하면, 스트립(strip) 형태의 배치에서, 픽셀의 시계의 일부분에 의해 대략 동일한 오브젝트 영역들 또는 그러한 오프셋만을 전송하는 이미징 채널들은 서로에 대하여 X1의 최대 거리 내에 존재한다. 이는 커다란 최대 차이 및 따라서 이와 관련한 최적 가능한 깊이 해상도의 달성을 허용한다.
바꾸어 말하면, 동일한 번호화에 의해 도 1a에 도시된 것과 같이, 대략 동일한 시야 방향 및, 따라서 대략 동일한 이미지 콘텐츠들을 갖는 광학 채널들은 가능한 한 가장 큰 측면 거리로 배치된다. 이는 예를 들면, 도시된 선형 배치들을 야기한다. 깊이 차트를 설정하도록 하기 위하여, 각각의 오브젝트 지점은 적어도 두 개의 채널, 예를 들면 4개의 채널에 의해 이미지화된다. 오브젝트 거리에 의존하는 서브-이미지들의 시프트는 최적 깊이 해상도가 달성되도록 최대 측면 거리의 결과로서 최대이다. 다중-조리개 장치(10)는 종래 기술과 대조적으로, 가능한 한 최적 깊이 해상도를 달성하기 위하여 이미지 컨버터의 이미지 위치 및 각각의 광학 채널의 시야 방향 사이의 상관으로부터 자유롭다. 이미지 영역 센서들은 웨이퍼 레벨 상에서 제조될 수 있고, 이에 의해 장치의 저비용 실현을 달성한다. 이미지 영역 센서들의 선형 배치는 적어도 부분적으로 동일한 이미지 정보를 포함하는 이미징 채널들 사이의 거리들의 최대화를 허용한다. 여기서, 최대 기본 폭 및, 따라서 최적 깊이 해상도는 매트릭스 센서들과 비교하여, 대략 동일한 칩 영역으로 달성될 수 있다.
열 부분 내의 광학 채널들(12-1 내지 12-9)의 분류는 원하는 대로, 혹은 예를 들면 도 2, 4 및 5에 설명되는 것과 같이, 상이한 기준들에 따라 발생할 수 있다.
각각의 광학 채널(12-1 내지 12-9)은 이웃하는 광학 채널들(12-1 내지 12-9)의 서로 상이한 시야 방향들에 기인하여, 개별 광학 소자를 포함할 수 있다.
대안의 실시 예는 많은 수의 광학 채널을 포함하는 다중-조리개 장치를 나타낸다. 따라서, 다중-조리개 장치들은 1,000 이상, 100,000 이상, 1,000,000 이상 또는 10,000,000 이상의 다수의 픽셀을 갖는 오브젝트 영역을 검출할 수 있고, 따라서 상응하는 수의 광학 채널을 포함한다. 광학 채널들이 부분적으로 배치될 수 있는 다수의 부분(16a-d)은 초-해상도 원리에 따라, 예를 들면 22, 32 또는 42과 같은, 자연수의 제곱일 수 있다. 대안으로서, 또는 2, 3, 5, 7, 또는 11 같이, 다중-조리개 장치 내에 배치되는 상이한 수의 부분들이 고려될 수 있다.
장치의 가능한 형태의 적용은 예를 들면, 이미지 검출을 포함하는 장치들 또는 시스템들 혹은 카메라 내의, 제스처 인식(gesture recognition), 3차원 이미징, 인간-기계 인터페이스에서 가능해진다. 잠재적인 장치들 또는 시스템들은 예를 들면, 휴대폰, 스마트폰, 랩톱 컴퓨터, 태블릿 컴퓨터, 게임 콘솔, 모바일 장치들, 자동차 애플리케이션, 데이터 글라스(data glass)들 같은, 모바일 장치들일 수 있다. 고정식 장치들은 예를 들면, 기계들 또는 자동화 기계들에서의 고객 인식일 수 있다.
바꾸어 말하면, 도 1a는 가능한 한 가장 큰 기본 길이로부터 야기하는 깊이 정보의 최적화된 이득을 갖는, 작은 설정의 이미징 시스템을 도시한다. 다중-조리개 설정의 광학 채널들은 따라서 적어도 부분들에서, 열로 배치되는, 선형 배치를 포함할 수 있다.
이러한 실시 예에서 다중-조리개 시스템/장치가 수동으로 작동하고 오브젝트 필드의 조도가 생략되는 것이 바람직하다. 바꾸어 말하면, 오브젝트 필드는 오브젝트 영역의 깊이 차트의 설정을 위한 구조화된 조도 또는 통상의 측정이 생략되도록 오브젝트 영역을 검출하기 위하여, 예를 들면 섬광에 의한 것과 같이, 자연적으로 또는 인공적으로 비춰질 수 있다.
다중-조리개 장치(10)의 개별 부분들은 위의 설명에 대한 대안으로서, 또한 서로에 대하여 비스듬히 배치될 수 있고, 선택적으로, 예를 들면 도 7 및 8에 도시된 것과 같이, 서로 떨어져 간격을 둘 수 있다. 이는 예를 들면, 모바일 장치 내의 열 구조를 따른 측면 크기가 제한될 때 바람직할 수 있다.
도 1b는 오브젝트 영역의 검출을 위한 이미지 센서 상의 광학 채널들(12-1 내지 12-9)의 2차원 배치의 개략적인 도면을 도시하며, 이미지 센서 영역들(14-1 내지 14-9)의 배치는 오브젝트 영역 내의 서브-영역의 위치와 상응한다. 그러한 배치가 예를 들면, 독일특허 제 DE 10 2009 049387에서 설명된다. 각각의 광학 채널(12-1 내지 12-9)은 각각의 시프트된 이미지 센서 영역들(14-1 내지 14-9)에 의해 표시된 것과 같이, 오브젝트 영역의 상이한 서브-영역을 검출하도록 구성된다. 바꾸어 말하면, 각각의 광학 채널들(12-1 내지 12-9)은 오브젝트 영역 상으로의 상이한 시야 방향을 나타낸다. 12-1 및 12-2 또는 12-5 및 12-6 또는 12-4 및 12-7 같은, 이웃하는 광학 채널들의 서브-영역들은 부분적으로 오버래핑하며, 이는 오브젝트 거리들에 대하여 결론을 내릴 수 있도록 하기 위하여 이웃하는 광학 채널들이 부분적으로 동일한 이미지 콘텐츠들을 검출한다는 것을 의미한다. 도 1b는 광학 채널들의 상이한 시야 방향들의 영향들을 나타내기 위하여 광학 채널들의 배치만을 도시한다. 오브젝트 영역이 도 1b에 따른 세분 및 각각 X- 및 Y-방향 내의 2의 초-해상도 인자로 검출될 때, 광학 채널들은 예를 들면 도 9에 도시된 것과 유사하게 배치될 수 있다. 도 1b 및 9는 종래 기술을 나타내고 채널 세분을 제공한다. 광학 채널들(12-1 내지 12-9)은 대략 동일한 오브젝트 영역과 관련된 광학 채널들(12-7a, 12-7b, 12-7c 및 12-d)이 열, 즉 열 구조 내의 최대 거리(X1)에 의해 서로 분리되도록 분류된다.
도 1c는 예를 들면, 광학 채널들(도 1a의 12-7a 내지 12-7d)을 위하여, 오브젝트 영역(17)의 서브-영역들(12-7a 내지 12-7d)의 본질적으로 동일한 서브-영역(15-7)을 검출하는 그것과 관련된 광학체의 중심들에 대한 광학 채널들의 시프팅의 결과로서, 개별 채널들에 의해 스캐닝되는 오브젝트 영역들의 분포의 개략적인 도면을 도시한다. 서브-영역들(15-1 내지 15-9)은 서브-영역들(15-1 내지 15-9)이 부분적으로 오버래핑하도록 오브젝트 영역(17) 내에 배치된다. 예를 들면, 광학 채널들(12-7a 내지 12-7d)의 이미지 센서 영역들은 각각 4x4 픽셀들, 즉 오브젝트 영역(17)의 X-방향 내의 4 픽셀 및 오브젝트 영역(17)의 Y-방향 내의 4 픽셀의 수를 검출하도록 구성된다. 광학 채널(12-7a)의 4x4 픽셀은 부호 x를 특징으로 하고, 광학 채널(12-7b)의 4x4 픽셀은 부호 o를 특징으로 하며, 광학 채널(12-7c)의 4x4 픽셀은 부호 Δ를 특징으로 하며, 광학 채널(12-7d)의 4x4 픽셀은 뒤에 반전된 Δ로서 언급될, 180도 반전된 부호 Δ를 특징으로 한다.
광학 채널들(12-7a 내지 12-7d)은 기본적으로 동일한 서브-영역(15-7)을 검출하도록 구성된다. 개별 픽셀들(x, o, Δ 또는 반전된 Δ)은 서로에 대한, 즉 각각각의 광학 채널 내의, 픽셀 피치(dp)를 나타낸다. 광학 채널들(12-7a 내지 12-7d)은 예를 들면 부호 x를 갖는 픽셀이 부호 o 또는 Δ를 갖는 이웃하는 픽셀에 대하여 분수(dp/2)의 거리를 나타내도록 측면으로, 즉 픽셀 피치(dp)의 분수(dp/2)에 의해, 즉 서브-픽셀 시프트에 의하거나 또는 서브-픽셀 오프셋에 의해 서로에 대하여, X- 및/또는 Y-방향 중 어느 하나의 방향 내에 시프트된다.
바꾸어 말하면, 예를 들면 광학 채널들(12-7a 내지 12-7d)이 유사하거나 또는 동일한 설정을 나타낼 때, 각각의 광학 채널들(12-7a 내지 12-7d) 및/또는 그것의 이미지 광학체의 상이한 이미지 센서 영역들의 중심 지점들은 분수만큼 서로 시프트될 수 있다. 이러한 방식으로 시프트된 검출 영역들, 즉 광학 채널들(12-7a 내지 12-7d)에 의해 검출된 영역들은 오버랩 영역(19)을 포함한다. 오버랩 영역(19)은 예를 들면 도 3a 및 3b에서 설명되는 것과 같이, 오프셋 방식으로 이미지 센서 상으로 이미지화될 수 있다.
여기서 분수는 실현되는 초-해상도 인자에 의존할 수 있다. 대안으로서, 분수, 또는 서브-픽셀 시프트는 상이한 픽셀 피치(dp)의 분수일 수 있다.
위에 설명에 대한 대안으로서, 하나 또는 몇몇의 광학 채널(12-7a 내지 12-7d)은 또한 픽셀 피치의 분수가 (1/10, 1/20 또는 1/200) 같이 작게 되거나 또는 심지어 0이 되도록 서로에 대하여 어떠한 시프트도 나타내지 않을 수 있다. 이러한 경우에, 이는 예를 들면, 상이한 광학 채널들이 상이한 전송 필터들을 포함하고 예를 들면, 각각의 서브-영역(15-7)의 상이한 색들을 검출할 때 바람직할 수 있다.
도 2a는 도 1a에 도시된 것과 같이 광학 채널들(12-1 내지 12-9)의 분류를 갖는, 다중-조리개 장치(10)의 섹션, 예를 들면 부분(16)의 개략적인 평면도를 도시한다. 12-7 및 12-4, 12-8 및 12-2, 12-9 및 12-1 또는 12-4 및 12-6 같은, 두 개의 이웃하는 광학 채널들은 광학 채널의 이미지 센서 영역의 각각의 위치에 대하여 최대 각 거리, 예를 들면 광학 채널들(12-7 및 12-3)에 대하여 180o를 나타낼 수 있다. 바꾸어 말하면, 두 개의 이웃하는 광학 채널들의 시야 방향들은 180o까지 회전되거나 또는 미러링된다(mirrored). 예를 들면, 12-3 및 12-8 또는 12-2 및 12-9 같은 이웃하는 광학 채널들은 서로에 대하여 90o 및 180o 사이의 각 거리 및 따라서 예를 들면 도 9에 도시된 것과 같은 배치에 대하여 증가된 각 거리를 나타낸다.
바꾸어 말하면, 부분(16a)의 이웃하는 광학 채널들(12-1 내지 12-9)은 그것들이 그것들의 가시 방향들에서 최대 거리를 나타내도록 배치된다.
광학 채널들(12-1 내지 12-9)은 도 2a에 도시된 것과 같이, 각각의 광학 채널들(12-1 내지 12-9)의 중심 지점들, 즉 광학 중심 지점들이 직선(18)을 따라 또는 직선(18) 상에 배치되도록 배치될 수 있다. 이는 이미지 센서 영역들(14-1 내지 14-9)의 중심 지점들의 거리들이 라인(18)에 대하여 변경될 수 있다는 것을 의미한다. 바꾸어 말하면, 광학 채널들(12-1 내지 12-9)의 중심 지점들은 동일 선상이다.
도 2b는 다중-조리개 장치(10')의 하나의 부분(16'a)의 개략적인 평면도를 도시한다. 라인(18)을 따른 광학 채널들의 분류 순서는 도 2a의 분류 순서와 동일하다. 도 2a와 대조적으로, 광학 채널들(12-1 내지 12-9)은 이미지 센서 영역들의 중심 지점들 또는 중심들이 라인(18)에 동일 선상으로 배치되도록 열 구조의 선형 배치를 따라 X-방향 내에 오프셋된다.
대안으로서, 광학 채널들(12-1 내지 12-9) 및 이미지 센서 영역들(14-1 내지 14-9)의 중심들 모두가 라인(18)으로부터 부분적으로 또는 완전하게 떨어져 간격을 둘 수 있다. 광학 채널들(12-1 내지 12-9) 또는 이미지 센서 영역들(14-1 내지 14-9)의 정사각형 횡단들의 경우에, 중심 지점들 또는 중심들은 각각 정사각형의 두 개의 반대편 모서리를 연결하는 두 개의 대각선의 연결 라인들의 교차 지점을 사용하여 결정될 수 있다. 대안으로서 또는 대안으로서 형성되는 광학 채널(12-1 내지 12-9) 또는 이미지 센서 영역들(14-1 내지 14-9)과 함께, 중심들은 예를 들면 기하학적 무게중심 또는 중심 지점을 사용하여, 결정될 수 있다. 대안으로서, 광학 채널(12-1 내지 12-9) 또는 이미지 센서 영역(14-1 내지 14-9)의 동일선상의 설명 또는 라인(18)으로 떨어져 간격을 두는 배치를 위하여 세로 중심 라인이 사용될 수 있다.
이미지 컨버터 영역, 즉 이미지 컨버터 또는 센서 영역과 관련하여, 도 2b에 도시된 것과 같은, 광학 채널들(12-1 내지 12-9)의 배치가 바람직할 수 있는데 그 이유는 CCD 또는 CMOS 센서의 영역 같은, 필요한 센서 영역이 도 3에 도시된 것과 같이 감소될 수 있기 때문이다.
바꾸어 말하면, 도 2b에서, 광학 채널들은 도 2a 같은 동일한 순서로 배치되나, 서브-이미지들, 즉 이미지 센서 영역들(14-1 내지 14-9)의 중심 지점들이 라인(18) 상에 위치되도록 Y-방향으로, 즉 열 방향에 대하여 측면으로 시프트되며 활성 서브-이미저 영역의 엔벨로프는 이에 따라 Y-방향 내의 최소 확장을 나타낼 수 있다. 이는 가장 작은 높이, 즉 스트립 형태의 이미지 센서의 최소 영역 소비를 달성할 수 있다.
도 2a 및 2b는 전체 장치(10 및 10')의 부분 도면만을 도시한다. 대체로, 초-해상도 인자에 의존하여, 열은 교대로 또는 서로에 대하여 비스듬히 배치될 수 있는 몇몇, 예를 들면 4 셀, 즉 부분(16 또는 16')으로 구성될 수 있다. 서브-이미저들, 즉 이미지 센서 영역들(14-1 내지 14-9)은 예를 들면 dp/2 같은, 초-해상도 인자에 의해 세분되는 각각의 픽셀의 폭에 의해 오브젝트 영역의 X/Y-방향으로 시프트된다.
도 3a는 기판(22) 상의 이미지 센서 영역들(13-1 내지 14-9)의 잠재적인 결과로서 생긴 배치를 갖는 이미지 센서의 기판(22)의 개략적인 평면도를 도시한다. 배치는 예를 들면, 도 2a에 따른 광학 채널들(12-1 내지 12-9)의 배치로부터 야기할 수 있다. 바꾸어 말하면, 이미지 센서 영역들(14-1 내지 14-9)은 도 2a와 동일하게 배치된다. 기판(22)의 결과로서 생긴 영역 소비를 설명하기 위하여 광학 채널들(12-1 내지 12-9)은 이미지 센서 영역(14-1 내지 14-9)에 의해서만 표현된다.
라인(18)으로부터 이미지 센서 영역들(14-1 내지 14-9) 사이의 거리를 변경함으로써, 기판(22)의 폭(X2)은 최소 및/또는 최대 거리에 의존하여 발생한다. 이미지 센서 영영들(14-1 내지 14-9)의 중심 지점들의 거리들에 대한 폭(X2)의 확장의 의존성이 바람직하게는 중심 라인(18)으로부터 이미지 센서 영역(14-3)의 거리들(24-3)을 사용하고 중심 라인(18)으로부터 이미지 센서 영역(14-7)의 중심 지점의 거리(24-7)를 사용하여 설명된다. 거리(24-2) 또는 거리(24-7)의 중가는 폭(X2)의 증가를 야기할 수 있다. 이미지 센서 영역들(14-4, 14-5 및 14-6)은 나머지 이미지 센서 영역들의 거리들의 각각의 최대 값들이 폭(X2)에 영향을 미치도록 이미지 센서 영역들(14-4, 14-5 및 14-6)의 중심 지점들 및 거의 제로의 중심 라인(18) 사이의 거리를 나타낼 수 있다.
바꾸어 말하면, 서브-이미저들의 중심들은 도 3a의 라인 상에 위치되지 않을 수 있다.
도 3b는 도 2b에 따른 광학 채널들의 배치로부터 야기할 수 있는 이미지 센서 영역들(14-1 내지 14-9)의 배치를 도시한다. 라인(18)을 따른 이미지 센서 영역들(14-1 내지 14-9)의 중심 지점들의 배치는 도 3a의 폭(X2)과 비교하여 감소된, 기판(22')의 폭(X2')을 야기할 수 있다. 이는 도 3a의 기판(22)의 표면 영역과 비교하여 감소된 표면 영역 및, 따라서 이미지 컨버터의 더 작은 센서 표면 영역을 야기할 수 있다.
기판(22 또는 22')의 영역 소비의 감소 또는 최소화는 재료의 절약 및, 그 결과 경비 및/또는 설정 크기의 감소를 야기할 수 있는, 이미지 센서 영역들(14-1 내지 14-9)의 중심 지점들의 배치에 의해 달성될 수 있다. 이미지 센서의 높은 충전률(fill factor)은 예를 들면, 이미지 센서의 전체 영역에 대하여 이미지 센서 상에 배치되는 모든 픽셀의 전체 영역의 비율에 의해 설명될 수 있다.
바꾸어 말하면, 서브-이미저들의 중심 지점들은 Y-방향 내의 라인(18)에 직각으로 작거나 또는 최소 확장(X2)으로, 엔벨로프를 야기하는 라인 상에, 즉 기판(22')의 외부 모서리에 위치된다. 이의 결과는 서브-이미저들, 즉 이미지 센서 영역들(14-1 내지 14-9)이 배치되는 기판(22')의 더 작은 영역 소비 및, 따라서 최적 충전률, 즉 기판의 영역 효율성이다.
도 4a는 균일한 설정 기준에 따라 광학 채널들(12-1 내지 12-9) 및 이미지 센서 영역들(14-1 내지 14-9)의 배치를 갖는 하나의 부분(24)의 형태의 다중-조리개 장치(20)의 개략적인 정면도를 도시한다. 도 1b에 설명된 것과 같은, 광학 채널들(12-1 내지 12-9)의 배치를 고려하면, 도 1b의 시계의 라인의 이미지 센서 영역들(14-1 내지 14-9), 즉 이미지 센서 영역들(14-1 내지 14-3, 14-4 내지 14-6 및 14-7 내지 14-9)은 각각 라인(18)에 대한 각각의 이미지 센서 영역들(14-1 내지 14-3, 14-4 내지 14-6 및 14-7 내지 14-9)의 중심 지점들의 거리의 동일한 Y-성분을 포함한다. 바꾸어 말하면, 도 1b의 시야의 열의 Y-성분 및, 따라서 시야의 각, 즉 오브젝트 필드 내의 각각의 광학 채널의 지향은 동일하다.
시계 또는 오브젝트 필드 내에 이웃하는 광학 채널들(12-1 내지 12-3, 12-4 내지 12-6 및 12-7 내지 12-9)의 이웃하는 배치는 바람직하게는, 광학 채널들(12-1 내지 12-9) 또는 이미지 센서의 이미지 센서 영역들(14-1 내지 14-9)을 배선할 때, 단순화된 회로 레이아웃을 야기할 수 있다. 바꾸어 말하면, 열의 이웃하는 광학 채널들(12-1 내지 12-9)은 Y-방향 내의 동일한 시야 각을 나타낼 수 있다.
도 4b는 도 4a와 유사한 광학 채널들(12-1 내지 12-9)의 분류를 갖는 다중-조리개 장치(20')의 일부분으로서 일부분(24')의 개략적인 평면도를 도시하며, 광학 채널들은 이미지 센서 영역들(14-1 내지 14-9)의 중심 지점들이 라인(18) 상에 배치되도록 Y-방향 내에 배치되며, 이미지 센서 영역들(14-1 내지 14-9)이 배치되는 기판은 도 2a 및 4a와 비교하여 감소되거나 또는 최소화된 영역 소비를 나타낼 수 있다. 바꾸어 말하면, 도 4b는 광학 채널들(12-1 내지 12-9)의 균일한 설정 또는 분류 순서를 도시하며, 즉 이웃하는 광학 채널들(12-1 내지 12-9)의 시야각의 Y-성분은 동일하다. 부가적으로, 열 내의 픽셀 매트릭스들은 결과가 가능한 한 이미지 센서 기판의 가장 작은 영역 소비가 되도록 배치될 수 있다. 광학 채널들(12-1 내지 12-9)은 서브-이미저들, 즉 이미지 센서 영역들(14-1 내지 14-9)의 중심 지점들이 라인(18) 상에 베치되고 서브-이미저들의 엔벨로프가 그 결과 Y-방향으로의 최소 확장을 나타내도록 도 1a와 비교하여 Y-방향 내에 시프트된다.
도 5a는 광학 채널들(12-1 내지 12-9)의 대안의 분류 순서를 갖는 일부분(26)의 형태의 다중-조리개 장치(30)의 섹션의 개략적인 평면도를 도시한다. 광학 채널들(12-1 내지 12-9)은 글로벌하게(globally) 고려되는, 이미지 센서 영역들(14-1 내지 14-9)이 서로에 대하여 최대 거리들(D93, D63, D86, D82, D52, D75, D71 및 D41)을 나타내도록, 즉 광학 채널들(12-1 내지 12-0) 사이의 사각지대(dead zone)가 증가되거나 또는 최대화되도록 배치될 수 있다. 이는 이미지 센서 영역들(14-1 내지 14-9) 사이의 혼선(crosstalk) 구조들이 최대 폭, 즉 라인(18)을 따른 최대 확장을 나타낼 수 있는 것과 같이 이것이 이미지 센서 영역들(14-1 내지 14-9) 사이의 최적 공간 이용을 허용하도록 이미지 센서 영역들(14-1 내지 14-9) 사이의 공간들이 분포되는 것을 의미한다. 실시 예들은 각각 두 개의 이미지 센서 영역(14-1 내지 14-9) 사이의 최대 가능한 동일한 폭이 바람직하게는 두 개의 이미지 센서 영역(14-1 내지 14-9) 사이의 최소 거리에 의해 영향을 받을 수 있도록 두 개의 이미지 센서 영역(14-1 내지 14-9) 사이의 동일한 폭을 포함하는 혼선 구조들을 도시한다. 예를 들면 이미지 센서 영역들(14-4 및 14-6)에서 도 2a에 도시된 것과 같이, 최대 각 거리 같은, 다른 최적 기준은 거의 제로의 거리까지, 두 개의 이미지 센서 영역(14-1 내지 14-9) 사이의 감소되거나 또는 최소 거리를 야기할 수 있다.
예를 들면 도 4a에 설명되는 것과 같은, 다른 실시 예들은 바람직하게는 X-방향 내의 라인(18)을 따른 광학 채널들(12-1 내지 12-9)의 크기의 단지 1/4과 상응하는, 도 4a의 14-1 및 14-2 같은, 이미지 센서 영역들(14-1 내지 14-9) 사이의 최소 거리를 포함한다.
그러나, 거리들(D93, D63, D86, D82, D52, D75, D71 및 D41)은 X-방향 내의 광학 채널들(12-1 내지 12-9)의 크기와 비교하여 큰 폭을 포함할 수 있고 2㎜ 이상, 5㎜ 이상 또는 7㎜ 이상 같은, 수 밀리미터까지, 200㎛ 이상, 400㎛ 이상, 700㎛ 이상 같은, 수백 마이크로미터일 수 있다. 혼선 구조는 예를 들면, 광-흡수하는, 부분적으로 투명하거나 또는 불투명한 재료를 포함할 수 있고 혼선, 즉 하나의 광학 채널(12-1 내지 12-9)로부터 또 다른 광학 채널(12-1 내지 12-9)로의 광 또는 전자기 방사의 전이를 감소시키거나 또는 방지하도록 구성될 수 있다. 혼선 구조의 최대 폭은 광학 채널들(12-1 내지 12-9) 사이의 스퓨리어스(spurious) 광 혼선의 최대 억제를 야기할 수 있다. 이미지 센서 영역들(14-1 내지 14-9) 사이의 글로벌하게 최대화되는 거리는 기판 표면에 걸쳐 이미지 센서 영역들 사이의 간격/공간들의 균일한 분포를 야기할 수 있다. 이러한 균일한 거리들은 예를 들면 비-광-민감성 전자 부품들을 간격들 내에 통합할 때 바람직할 수 있는데, 그 이유는 각각의 광학 채널을 위하여 균일한 공간이 이용 가능할 수 있기 때문이다.
바꾸어 말하면, 열의 이웃하는 채널들의 서브-이미저들은 이미지 평면 내의 최대 측면 거리를 포함한다.
도 5b는 이미지 센서 영역들(14-1 내지 14-9)의 중심 지점들이 라인(18)을 따라 배치되는, 도 5a에 따른 분류 순서로 광학 채널들(12-1 내지 12-9)을 갖는 다중-조리개 장치(30')의 일부분으로서 하나의 부분(26')의 개략적인 평면도를 도시한다.
바꾸어 말하면, 도 5b는 서브-이미저들의 중심 지점들이 라인(18) 상에 위치되고 서브-이미저들의 엔벨로프가 그 결과 Y-방향 내의 최소 확장을 포함하도록 광학 채널들(12-1 내지 12-9)이 Y-방향 내에 시프트되는 도 5a의 분류 순서를 도시한다.
도 6a-f는 X- 및 Y-방향 내의 2의 초-해상도 인자, 즉 서로에 대하여 그 다음에 배치되는 4개의 광학 열의 수를 갖는 광학 다중-조리개 장치들의 개략적인 평면도를 도시한다. 바꾸어 말하면, 도 6a-f는 위에 설명되고 섹션들에서 도시된 다중-조리개 장치들(10, 10', 20, 20', 30 및 30')의 전체 도면을 도시한다.
도 6a는 열 구조를 따라 서로에 대하여 그 다음에 배치되는 4개의 부분(16a-d)을 갖는 다중-조리개 장치(10)의 개략적인 평면도를 도시한다. 다중-조리개 장치(10)는 또한 변이(variation) A라고 언급될 수 있다. 대략 동일한 시야 방향으로 지향되는, 4개의 부분(16a-d)의 광학 채널들은 부가적으로 X- 및/또는 Y-방향 내의 픽셀 피치의 반(half) 같은, 분수만큼 각각의 광학체 및 각각의 서브-이미지 영역 사이의 시프트를 포함할 수 있다.
도 6b는 열 구조를 따라 서로에 대하여 그 다음에 배치되는 4개의 부분(16'a-d)을 갖는 다중-조리개 장치(10')의 개략적인 평면도를 도시한다. 다중-조리개 장치(10')는 또한 변이 B라고 언급될 수 있다.
도 6c는 열 구조를 따라 서로에 대하여 그 다음에 배치되는 4개의 부분(24a-d)의 다중-조리개 장치(20)의 개략적인 평면도를 도시한다. 다중-조리개 장치(20)는 또한 변이 C라고 언급될 수 있다. 대략 동일한 시야 방향으로 지향되는, 4개의 부분(16a-d)의 광학 채널들은 부가적으로 X- 및/또는 Y-방향 내의 픽셀 피치의 반 같은, 분수만큼 각각의 광학체 및 각각의 서브-이미지 영역 사이의 시프트를 포함할 수 있다.
도 6d는 열 구조를 따라 서로에 대하여 그 다음에 배치되는 4개의 부분(24'a-d)을 갖는 다중-조리개 장치(20')의 개략적인 평면도를 도시한다. 다중-조리개 장치(10')는 또한 변이 D라고 언급될 수 있다.
도 6e는 열 구조를 따라 서로에 대하여 그 다음에 배치되는 4개의 부분(26a-d)의 다중-조리개 장치(30)의 개략적인 평면도를 도시한다. 다중-조리개 장치(30)는 또한 변이 E라고 언급될 수 있다. 대략 동일한 시야 방향으로 지향되는, 4개의 부분(16a-d)의 광학 채널들은 부가적으로 X- 및/또는 Y-방향 내의 픽셀 피치의 반 같은, 분수만큼 각각의 광학체 및 각각의 서브-이미지 영역 사이의 시프트를 포함할 수 있다.
도 6f는 열 구조를 따라 서로에 대하여 그 다음에 배치되는 4개의 부분(26'a-d)을 갖는 다중-조리개 장치(30')의 개략적인 평면도를 도시한다. 다중-조리개 장치(30')는 또한 변이 F라고 언급될 수 있다.
도 2, 4 및 5와 대조적으로, 도 6a-f는 상응하게는 22=4의 거의 동일한 소자들을 허용할 수 있는, X- 및 Y-방향 모두 내의 2의 초-해상도 인자를 위한 각각의 광학 장치들(20, 10', 20, 20', 30, 30')의 열들의 완전한 도면을 도시한다.
도 7은 도 6a의 변이 A의 부분들(16a-d)의 대안의 배치들의 4개의 개략적인 도면을 도시한다. 변형된 변이(A', A", A'", A"")는 각각 두 개의 부분 또는 서브-영역(A'-1 및 A'-2)을 포함한다. 서브-영역들(A'-1 및 A'-2)은 각각 도 1a에 도시된 것과 같은 두 개의 부분(16a와 16b 및 16c와 16d)을 포함한다. 변이 A'에서, 두 개의 서브-영역(A'-1 및 A'-2)은 직각으로 배치되고 서로 떨어져 간격을 둔다. 변이 A"에서, 두 개의 서브-영역(A'-1 및 A'-2)은 직각으로 배치되고 부분(16c) 및 따라서 서브 영역(A'-2)이 서브 영역(A'-1)에서 X-방향 내에 배치되도록 서로에 대하여 바로 이웃한다.
변이 A"에서, 서브-영역들(A'-1 및 A'-2)은 부분들(16b 및 16c) 사이의 거리가 최소가 되고 변이 A"의 확장이 X-방향 및 Y-방향으로 동일하도록 서로에 대하여 이웃한다.
변이 A'"는 변이 A"와 유사한 두 개의 서브-영역(A'-1 및 A'-2)의 배치를 도시하며, 서브 영역(A'-2)은 Y-방향 내의 서브 영역(A'-1)과 이웃하도록 배치된다.
대략 동일한 시야 방향으로 지향되는, 4개의 부분(16a-d)의 광학 채널들은 각각 부가적으로 X- 및/또는 Y-방향 내의 픽셀 피치의 반 같은, 분수만큼 각각의 광학체 및 각각의 서브-이미지 영역 사이의 시프트를 나타낸다.
바꾸어 말하면, 도 7은 X- 및 Y-방향 모두 내의 2의 초-해상도 인자, 즉 시야 방향 당 4개의 이미징 채널을 야기할 수 있는 것과 같이, 서로에 대하여 직각으로 배치되는 두 개의 서브-열 내의 도 2의 이미징 채널들의 재분류를 갖는 배치의 완전한 도면을 도시한다. 배치는 하나 위의 다른 하나로 겹쳐서 배치되는 다시 두 개의 거의 동일한 서브-영역들의 두 개의 서브-영역, 즉 부분으로 구성되고, X/Y 내의 열의 4개의 서브-영역 내의 동일한 시야 방향, 즉 동일한 번호화의 서브-이미저들은 X- 및 Y-방향 내의 각각의 초-해상도 인자에 의해 세분되는 픽셀의 폭에 의해 시프트된다. 4가지 변이들(A' 내지 A"")은 각각 두 개의 상호 직각인 바-열들의 배치에 대하여 다른 배치들을 나타낸다.
원칙적으로, 전체 열은 도 6a 내지 6f에 도시된 것과 같이, 어떠한 수의 부분들을 포함할 수 있다. 그러한 전체 열은 상호 동일한 설정들일 수 있는 서브-열들로 세분될 수 있다. 서브-열들은 서로에 대하여 45o, 60o, 90o 또는 180o 같은, 어떠한 각으로 배치될 수 있다.
도 8a는 도 1a에 도시된 것과 같이, 분류 순서에 따른 이미징 채널들의 배치의 개략적인 도면을 도시한다. 2의 초-해상도 인자를 기초로 하여, 장치는 바람직하게는 직각으로 서로에 대하여 바로 이웃하게 배치되는 다수의 4개의 부분(16a-d)을 포함할 수 있다.
도 8b는 4개의 부분(28a-d)의 배치를 도시한다. 부분(28a-d)의 광학 채널들의 분류 순서는 부분(16)의 미러링되는 분류 순서와 상응할 수 있다. 본 빌시 예에서 개별 이미지 센서 영역들 사이의 최대 각 거리 같은 원하는 분류 효과를 유지하는 동안에, 분류 순서는 예를 들면 비-광-민감성 부품들의 최적화된 위치선정 또는 기판의 배선 또는 각각의 이미지 영역 센서들을 접촉하도록 구성되는 보드(board)에 기인하여, 조정될 수 있는 것이 바람직하다.
도 8c는 예를 들면 변이 A'"에 대하여 도 7에서 설명된 것과 같이, 개별 부분들(28a-d) 사이의 X- 및 Y-방향 내의 모서리들의 오버래핑이 방지되도록 부분들(16a-d)이 배치되는 도 8b에 도시된 것과 같은, 다중-조리개 장치의 개략적인 평면도를 도시한다. 그러한 배치는 X- 및 Y-방향 내의 동일한 규모의 크기를 포함할 수 있는 광학 채널들을 갖는 다중-조리개 장치를 허용한다.
도 8d는 예를 들면 도 7의 변이 A'에 대하여 설명된 것과 같이, 부분들(28a-d)이 서로 떨어져 간격을 두도록 배치되는, 도 8c의 설명에 따른 다중-조리개 장치를 도시한다.
대략 동일한 시야 방향으로 지향되는 4개의 섹션(16a-d 또는 28a-d)의 광학 채널들은 부가적으로 X- 및/또는 Y-방향 내의 픽셀 피치의 반 같은, 분수만큼 각각의 광학체 및 각각의 서브-이미지 영역 사이의 시프트를 나타낼 수 있다.
바꾸어 말하면, 도 8a-d는 X- 및 Y-방향 모두 내의 2의 초-해상도 인자에 대하여, 4개의 상호 직각의 열들, 즉 부분들 내의 도 7의 이미징 채널들, 즉 시야 방향 당 4개의 이미징 채널의 재분류를 도시한다. 도 8a-d는 각각 바람직한 배치의 완전한 도면을 도시한다. 각각의 배치는 서로에 대하여 직각으로 배치되는 4개의 대략 동일한 서브-영역으로 구성되며, 동일한 시야 방향의 서브-이미저들, 즉 X/Y-방향 내의 4개의 서브-영역 또는 전체 열의 서브-열들 내의 동일한 번호화의 이미지 센서 영역들은 X- 및 Y-방향 내의 각각의 초-해상도 인자에 의해 세분되는 픽셀의 폭에 의해 시프트될 수 있다. 도 8a-d는 각각 4개의 직각의 서브-열의 배치가 다른 4가지 변이를 도시한다.
서브-열들은 90o와 다른 각 및/또는 4와 다른 수를 나타낼 수 있다. 바람직하게는 도 8에 도시된 것과 같은, 사각형(quadrangle) 대신에, 예를 들면 삼각형 구조, 5각형 구조 또는 다른 다각형 구조가 획득될 수 있다. 또한 열 또는 서브-열을 위하여 광학 채널들이 바람직하게는 타원 또는 원 형태를 취하도록 열 지향을 따라 곡선을 나타내는 것이 고려된다. 예를 들면 서브-열들이 시계 방향 또는 반시계 방향으로 통과할 때, 도 6a-f에 따른 것과 같은, 광학 채널들의 순서가 획득될 수 있다.
도 9는 종래 기술에 따른 바람직한 다-채널 이미징 시스템의 개략적인 도면을 도시한다. 다-채널 이미징 시스템은 각각 X- 및 Y-방향 내의 2의 초-해상도 인자를 기초로 하여 다른 시야 방향들 내에 배치되는 광학 채널들로 구성된다. 도 1b에 도시된 것과 같은, 오브젝트 필드는 장치(50)에 의해 4번 검출되며, 즉 각각의 서브-영역이 4번 검출된다. 동일한 번호화에 의해 도시된 것과 같은, 동일하거나 또는 부분적으로 동일한 시야 방향을 포함하는 광학 채널들은 서로 이웃하도록 배치되고, 가시 방향 내의 이웃하는 이미징 채널들이 또한 측면으로 이웃하도록 배치된다. 이는 바람직하게는 시야 방향을 갖는 광학 채널들이 서로 이웃하도록 배치되는 것을 의미한다. 상이한 시야 방향들은 그 중에서도 작은 파선 영역들에 의해 표시된 것과 같이, 서브-이미지 매트릭스들, 즉 이미지 센서 영역들의 중심 지점들의 측면 오프셋에 의해 발생된다. 이미징 채널들의 구조적 높이의 감소를 달성하기 위하여, 초-해상도 방법이 적용된다. 장치(50)는 거의 동일한 이미지 콘텐츠들의, 즉 동일한 번호화 및 X- 및 Y-방향 내의 거의 동일한 시야 방향을 갖는 광학 채널들이 초-해상도 인자, 즉 2에 의해 세분되는 픽셀 폭의 크기에 의해 시프트되도록 각각 X- 및 Y-방향 내의 N=2의 초-해상도 인자를 포함하며, 그 결과 시야 방향 당 4개의 채널이 필요할 수 있다.
도 10은 종래 기술의 2차원 클러스터 아이 카메라에 의한 상이한 오브젝트 서브-영역들(32-1 내지 32-9)의 스캐닝의 개략적인 도면을 도시한다. 상이한 오브젝트 서브-영역들(32-1 내지 32-9) 내의 이미지 지점들은 상이한 그레이스케일들에 의해 표시된 것과 같이, 각각 클러스터 내에 이웃하도록 배치된다. 바꾸어 말하면, 서브-영역들(32-1 내지 32-9)은 마이크로-렌즈 어레이(33)를 사용하여 오브젝트 영역의 개별 광학 채널들과의 연관을 갖는 오브젝트를 나타낸다. 상이한 오브젝트 서브-영역들(32-1 내지 32-9)은 스캐닝된 지점들의 상이한 그레이스케일에 의해 표시된 것과 같이, 서로 교차된다. 마이크로 렌즈 어레이(33)는 세그먼트화들(segmentations, 34-1 내지 34-9)을 포함하고, 스캐닝된 영역들(32-1 내지 32-9)은 각각 세그먼트(34-1 내지 34-9)와 관련된다. 세그먼트들(34-1 내지 34-9)의 이웃하는 중심 지점들은 서브-영역들(32-1 내지 32-9)의 측면 확장에 의존할 수 있는, pL의 거리 및/또는 기판(22) 상의 서브-영역 센서들의 거리(dP)를 나타낸다. 기판(22)은 서브-이미지들을 생산하도록 이미지의 영역들(36-1 내지 36-9)을 포함한다. 각각의 서브 영역(36-1 내지 36-9)은 각각 오브젝트 평면의 세그먼트(32-1 내지 32-9)와 관련될 수 있는 다수(Ng)의 서브-영역 센서를 포함한다. 마이크로 렌즈 어레이(33)의 세그먼트(34-1 내지 34-9)의 오브젝트 영역의 측면 확장 또는 초점 거리 같은, 광학 특징에 의해 영향을 받을 수 있는 pk의 중심 지점들의 이웃하는 서브-영역들(36-1 내지 36-9)은 측면 거리를 나타낸다.
광학 채널들은 오브젝트 영역 및 마이크로 렌즈 어레이(33)의 세그먼트(34-1 내지 34-9)와 관련된 Ng 서브-영역 센서들 중 하나 사이에서 형성할 수 있다. 이웃하는 광학 채널들에 의해 검출되는 오브젝트 서브-영역들(32-1 내지 32-9)은 각각 대략 각각의 스캔 영역의 크기의 반에 의해 오버래핑하며, 이웃하는 채널들의 픽셀 그리드들은 서브-이미지 크기의 반에 의해, 그리고 부가적으로, 서로에 대하여 픽셀 거리의 분수, 즉 1/2 dp에 의해 오프셋된다. 따라서, 각각의 오브젝트 지점들의 주변들은 일반적으로 각각 4개의 광학 채널에 의해 검출될 수 있다. 예를 들면 독일특허 제 DE 102009049387에서 설명된 것과 같은, 광학 채널은 5x5 픽셀들 같은, 어떠한 수를 전송할 수 있다. 바꾸어 말하면, 도 10은 각각 5x5 픽셀들을 갖는 3x3 광학 채널들을 도시한다.
열 구조 내의 선형 배치는 광학 채널들이 적어도 두 개의 광학 채널에 의해 검출되도록 각각 수신기 측 상에서 전기광학 이미지 컨버터 같은, 이미지 컨버터의 픽셀의 크기와 관련된, 전체 오브젝트 필드 및 각각의 오브젝트 영역의 서브-영역들만을 전송, 즉 검출하도록 허용한다.
장치와 함께 일부 양상들이 설명되었으나, 이러한 양상들은 또한 장치의 블록 또는 소자가 방법 단계 또는 방법 단계의 특징과 상응한 것으로 이해되도록 이러한 양상들이 또한 상응하는 방법의 설명을 나타낸다는 것을 이해하여야 한다. 유사하게, 방법 단계와 함께 또는 방법 단계로서 설명된 양상들은 또한 상응하는 장치의 상응하는 블록 또는 상세내용 또는 특징을 나타낸다.
특정 구현 요구사항들에 따라, 본 발명의 실시 예는 하드웨어 또는 소프트웨어에서 구현될 수 있다. 구현은 디지털 저장 매체, 예를 들면, 그 안에 저장되는 전자적으로 판독 가능한 제어 신호들을 갖는, 플로피 디스크, DVD, 블루-레이 디스크, CD, ROM, PROM, EPROM, EEPROM 또는 플래시 메모리, 하드 디스크 드라이브 또는 또 다른 자기 또는 광학 저장장치를 사용하여 실행될 수 있으며, 이는 각각의 방법이 실행되도록 프로그램가능 컴퓨터 시스템과 협력할 수 있거나 또는 협력한다. 이는 디지털 저장 매체가 컴퓨터로 판독 가능할 수 있다는 것을 의미한다. 본 발명에 따른 일부 실시 예들은 따라서 여기에 설명되는 방법들 중 어느 하나가 실행되도록 프로그램 가능 컴퓨터 시스템과 협력할 수 있는 전자적으로 판독 가능한 제어 신호들을 포함하는 데이터 캐리어를 포함한다.
일반적으로, 본 발명의 실시 예들은 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있으며, 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터 상에서 구동할 때 방법들 중 어느 하나를 실행하도록 운영될 수 있다. 프로그램 코드는 예를 들면, 기계 판독가능 캐리어 상에 저장될 수 있다.
다른 실시 예들은 기계 판독가능 캐리어 상에 저장되는, 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 포함한다.
바꾸어 말하면, 본 발명의 방법의 일 실시 예는 따라서 컴퓨터 프로그램이 컴퓨터 상에 구동할 때, 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다. 본 발명의 방법의 또 다른 실시 예는 따라서 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 포함하는, 그 안에 기록되는 데이터 캐리어(혹은 데이터 저장 매체, 또는 컴퓨터 판독가능 매체)이다.
본 발명의 방법의 또 다른 실시 예는 따라서 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 나타내는 데이터 스트림 또는 신호들의 시퀀스이다. 데이터 스트림 또는 신호들의 시퀀스는 예를 들면 데이터 통신 연결, 예를 들면 인터넷을 거쳐 전송되도록 구성될 수 있다.
또 다른 실시 예는 여기에 설명된 방법들 중 어느 하나를 실행하도록 구성되거나 혹은 적용되는, 처리 수단, 예를 들면 컴퓨터, 또는 프로그램가능 논리 장치를 포함한다.
또 다른 실시 예는 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
일부 실시 예들에서, 여기에 설명된 방법들 중 일부 또는 모두를 실행하기 위하여 프로그램가능 논리 장치(예를 들면, 필드 프로그램가능 게이트 어레이(FPGA))가 사용될 수 있다. 일부 실시 예들에서, 필드 프로그램가능 게이트 어레이는 여기에 설명된 방법들 중 어느 하나를 실행하기 위하여 마이크로프로세서와 협력할 수 있다. 일반적으로, 일부 실시 예들에서, 방법들은 어떠한 하드웨어 장치에 의해 실행된다. 이는 컴퓨터 프로세서(CPU) 같은, 어떠한 일반적으로 사용 가능한 하드웨어, 혹은 방법에 특정한, 예를 들면, 주문형 반도체(ASIC)일 수 있다.
위에 설명된 실시 예들은 단지 본 발명의 원리들이 설명을 표현한다. 여기에 설명된 배치들과 상세내용들의 변형과 변경은 통상의 지식을 가진 자들에 자명할 것이라는 것을 이해할 것이다. 따라서, 본 발명은 실시 예들의 설명과 논의를 사용하여 제시된 특정 상세내용이 아닌 아래의 청구항들의 범위에 의해서만 한정되는 것으로 의도된다.
참고문헌
[1] Kartik Venkataraman, Dan Lelescu, Jacques Duparre, Andre McMahon, Gabriel Molina, Prizam Chaterjee, Robert Mullis - Pelican Imaging Corporation; Shree Nayar - Columbia University: PiCam: An Ultra-Thin High Performance Monolithic Camera Array; http://www.pelicanimaging.com/ technology/PiCam_sa13.pdf (6.11.2013)
10, 10' : 다중-조리개 장치
12-1 - 12-9 : 광학 채널
14-1 - 14-9 : 이미지 센서 영역
16a-d : 부분
15-1 - 15-9 : 서브-영역
17 : 오브젝트 영역
18 : 라인
19 : 오버랩 영역
20, 20' : 다중-조리개 장치
22, 22' : 기판
28a-d : 부분
30, 30' : 다중-조리개 장치
32-1 - 32-9 : 오브젝트 서브-영역
33 : 마이크로 렌즈 어레이
34-1 - 34-9 : 세그먼트
36-1 - 36-9 : 서브-영역
50 : 장치

Claims (16)

  1. 오브젝트 영역(17)을 검출하기 위한 다중-조리개 장치(10; 10'; 20; 20'; 30; 30')에 있어서,
    상기 오브젝트 영역(17)의 제 1 서브-영역(15-1 - 15-9)을 검출하기 위한 적어도 두 개의 광학 채널(12-1 - 12-9); 및
    상기 오브젝트 영역(17)의 제 2 서브-영역(15-1 - 15-9)을 검출하기 위한 적어도 두 개의 광학 채널(12-1 - 12-9);을 포함하고,
    상기 제 1 서브-영역(15-1 - 15-9) 및 상기 제 2 서브-영역(15-1 - 15-9)을 검출하기 위한 상기 광학 채널들(12-1 - 12-9)은 하나의 열(one-row) 구조 내에 교차(interlaced) 방식으로 배치되며,
    상기 제 1 서브-영역(15-1 - 15-9) 및 상기 제 2 서브-영역(15-1 - 15-9)은 적어도 부분적으로 오버래핑하는, 다중-조리개 장치.
  2. 제 1항에 있어서, 상기 제 1 서브-영역(15-7)을 검출하기 위한 상기 광학 채널들(12-7a; 12-7b; 12-7c; 12-7d)에서, 상기 각각의 광학 채널들(12-7a; 12-7b; 12-7c; 12-7d)의 이미지 센서 영역들(14-7)의 픽셀 어레이들의 중심 지점들은, 상기 제 1 서브-영역이 서브-픽셀 오프셋에 의해 측면으로 시프트되는 방식으로 상기 광학 채널들(12-7a; 12-7b; 12-7c; 12-7d) 중 적어도 두 개에 의해 스캐닝되도록, 서로 측면으로 상기 각각의 광학 채널의 각각의 이미징 광학체들의 중심 지점들과 관련하여 픽셀 피치의 분수(fraction)만큼 시프트되는, 다중-조리개 장치.
  3. 제 1항 또는 2항에 있어서, 상기 제 1 및 상기 제 2 서브-영역의 광학 채널들(12-1 - 12-9)의 수는 동일한, 다중-조리개 장치.
  4. 제 1항 내지 3항 중 어느 한 항에 있어서, 상기 광학 채널들 중 적어도 하나가 스펙트럼 색이 상기 적어도 하나의 광학 채널과 관련되도록 하는 광학 전송 필터를 포함하는, 다중-조리개 장치.
  5. 제 1항 내지 4항 중 어느 한 항에 있어서, 상기 단일-열(single-row) 구조는 서로에 대하여 비스듬히 배치되는 적어도 두 개의 기본적으로 직선인 부분(16a-d,; 16'a-d; 24a-d; 24'a-d; 26a-d; 26'a-d)을 포함하는, 다중-조리개 장치.
  6. 제 5항에 있어서, 상기 적어도 두 개의 부분(16a-d,; 16'a-d; 24a-d; 24'a-d; 26a-d; 26'a-d)은 동일한 수의 광학 채널들(12-1 - 12-9)을 포함하는, 다중-조리개 장치.
  7. 제 5항 또는 6항에 있어서, 상기 적어도 두 개의 부분(16a-d,; 16'a-d; 24a-d; 24'a-d; 26a-d; 26'a-d)이 교대로 뒤따르도록 배치되는, 다중-조리개 장치.
  8. 제 1항 내지 7항 중 어느 한 항에 있어서, 각각의 상기 광학 채널(12-1 - 12-9)은 이미지 컨버터 상의 위치가 상기 오브젝트 영역 내에 검출되는 상기 서브-영역의 위치에 의존하는 이미지 센서 영역(14-1 - 14-9)을 포함하고, 상기 광학 채널들(12-1 - 12-9)의 광학체의 광학 중심들은 개별 광학 채널들(12-1 - 12-9)을 따라 라인(18) 상에 위치되며 상기 광학 채널들(12-1 - 12-9)의 상기 이미지 센서 영역들(14-1 - 14-9)의 중심들은 상기 라인(18)에 대한 등거리 및 동일선상 분포와 비교하여 변경되는, 다중-조리개 장치.
  9. 제 1항 내지 6항 중 어느 한 항에 있어서, 각각의 상기 광학 채널(12-1 - 12-9)은 이미지 컨버터 상의 위치가 상기 오브젝트 영역 내에 검출되는 상기 서브-영역의 위치에 의존하는 이미지 센서 영역(14-1 - 14-9)을 포함하고, 상기 광학 채널들(12-1 - 12-9)의 상기 이미지 센서 영역들(14-1 - 14-9)의 중심들 및 상기 광학 채널들(12-1 - 12-9)의 광학체의 광학 중심들은 상기 라인에 대한 등거리 및 동일선상 분포와 비교하여 변경되는, 다중-조리개 장치.
  10. 제 1항 내지 9항 중 어느 한 항에 있어서, 상기 광학 영역의 제 3 서브-영역을 검출하기 위한 적어도 두 개의 광학 채널(12-1 - 12-9)을 포함하고, 상기 제 3 광학 서브-영역은 적어도 부분적으로 상기 제 1 또는 상기 제 2 광학 서브-영역을 오버래핑하며, 상기 광학 채널들(12-1 - 12-9)은 이미지 컨버터 상의 상기 서브-영역들 중 하나를 검출하기 위한 광학 채널들이 서로에 대한 최대 거리를 포함하기 위하여 교차되도록 배치되는, 디-조리개 장치.
  11. 제 1항 내지 10항 중 어느 한 항에 있어서, 적어도 부분적으로 상기 제 1 또는 상기 제 2 서브-영역을 오버래핑하는 상기 오브젝트 영역의 제 3 서브-영역을 검출하기 위한 적어도 두 개의 광학 채널(12-1 - 12-9)을 포함하고, 상기 광학 채널들(12-1 - 12-9)은 이미지 컨버터 상의 상기 광학 채널들(12-1 - 12-9)의 배치가 상기 서브-영역들의 최대 각 거리를 갖는 배치와 상응하도록 이미지 컨버터 상에 배치되는, 다중-조리개 장치.
  12. 제 1항 내지 11항 중 어느 한 항에 있어서, 적어도 부분적으로 상기 제 1 또는 상기 제 2 서브-영역을 오버래핑하는 상기 오브젝트 영역의 제 3 서브-영역을 검출하기 위한 적어도 두 개의 광학 채널(12-1 - 12-9)을 포함하고, 상기 광학 채널들(12-1 - 12-9)은 이미지 컨버터 상의 상기 광학 채널들(12-1 - 12-9)의 배치가 상기 서브-영역들의 두 개의 측면 방향에 대한 균일한 배치와 상응하도록 이미지 컨버터 상에 배치되는, 다중-조리개 장치.
  13. 제 1항 내지 12항 중 어느 한 항에 있어서, 적어도 부분적으로 상기 제 1 또는 상기 제 2 서브-영역(12-1 - 12-9)을 오버래핑하는 상기 오브젝트 영역의 제 3 서브-영역을 검출하기 위한 적어도 두 개의 광학 채널(12-1 - 12-9)을 포함하고, 상기 광학 채널들(12-1 - 12-9)은 이미지 컨버터 상의 상기 광학 채널들(12-1 - 12-9)의 배치가 상기 서브-영역들 사이의 최대 사각지대와 상응하도록 이미지 컨버터 상에 배치되는, 다중-조리개 장치.
  14. 제 1항 내지 13항 중 어느 한 항에 따른 다중-조리개 장치(10; 10'; 20; 20'; 30; 30')를 포함하는 시스템.
  15. 제 14항에 있어서, 상기 시스템은 휴대 전화인, 시스템.
  16. 오브젝트 영역을 검출하기 위한 방법에 있어서,
    상기 오브젝트 영역의 제 1 서브-영역을 검출하기 위한 적어도 두 개의 광학 채널을 배치하는 단계; 및
    상기 오브젝트 영역의 제 2 서브-영역을 검출하기 위한 적어도 두 개의 광학 채널을 배치하는 단계;을 포함하고,
    상기 제 1 및 상기 제 2 서브-영역을 검출하기 위한 상기 광학 채널들은 하나의 열 구조 내에 교차 방식으로 배치되며,
    상기 제 1 및 상기 제 2 서브-영역은 적어도 부분적으로 오버래핑하는, 오브젝트 영역을 검출하기 위한 방법.
KR1020167015085A 2013-11-08 2014-10-31 오브젝트 영역의 검출을 위한 다중-조리개 장치 및 방법 KR101821336B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE201310222780 DE102013222780B3 (de) 2013-11-08 2013-11-08 Multiaperturvorrichtung und verfahren zur erfassung eines objektbereichs
DE102013222780.9 2013-11-08
PCT/EP2014/073457 WO2015067535A1 (de) 2013-11-08 2014-10-31 Multiaperturvorrichtung und verfahren zur erfassung eines objektbereichs

Publications (2)

Publication Number Publication Date
KR20160079111A true KR20160079111A (ko) 2016-07-05
KR101821336B1 KR101821336B1 (ko) 2018-03-08

Family

ID=51871004

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167015085A KR101821336B1 (ko) 2013-11-08 2014-10-31 오브젝트 영역의 검출을 위한 다중-조리개 장치 및 방법

Country Status (7)

Country Link
US (1) US9769458B2 (ko)
EP (1) EP3066830B1 (ko)
JP (1) JP6228306B2 (ko)
KR (1) KR101821336B1 (ko)
CN (1) CN105814888B (ko)
DE (1) DE102013222780B3 (ko)
WO (1) WO2015067535A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014213371B3 (de) 2014-07-09 2015-08-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur erfassung eines objektbereichs
US11244434B2 (en) 2015-08-24 2022-02-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-aperture imaging device
DE102015216140A1 (de) * 2015-08-24 2017-03-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3D-Multiaperturabbildungsvorrichtung
DE102016200285A1 (de) * 2016-01-13 2017-07-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Erfassen eines Objektbereichs
DE102016200287A1 (de) 2016-01-13 2017-07-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtungen, Verfahren zum Herstellen derselben und Abbildungssystem
DE102017204035B3 (de) * 2017-03-10 2018-09-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
DE102017106831A1 (de) * 2017-03-30 2018-10-04 Sick Ag Kamera und Verfahren zur Erfassung von relativ zu der Kamera in einer Förderrichtung bewegten Objekten
DE102017206429A1 (de) * 2017-04-13 2018-10-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
DE102017206442B4 (de) 2017-04-13 2021-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur Abbildung von Teilgesichtsfeldern, Multiaperturabbildungsvorrichtung und Verfahren zum Bereitstellen derselben
DE102017208709B3 (de) 2017-05-23 2018-10-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrrichtung und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
DE102017211586A1 (de) 2017-07-06 2019-01-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit geringer falschlichtempfindlichkeit, abbildungssystem und verfahren zum bereitstellen einer multiaperturabbildungsvorrichtung
DE102017216172A1 (de) 2017-09-13 2019-03-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit geringer bauhöhe und umschaltbarer blickrichtung, abbildungssystem und verfahren zum bereitstellen einer multiaperturabbildungsvorrichtung
CN108197596B (zh) * 2018-01-24 2021-04-06 京东方科技集团股份有限公司 一种手势识别方法和装置
WO2020118640A1 (zh) * 2018-12-13 2020-06-18 深圳市汇顶科技股份有限公司 光学采集装置和电子设备
DE102018222861A1 (de) 2018-12-21 2020-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung zum Akkumulieren von Bildinformation
DE102018222865A1 (de) 2018-12-21 2020-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung zur Erzeugung einer Tiefenkarte
DE102019204075B4 (de) 2019-03-25 2022-03-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung zur Erzeugung einer Tiefenkarte
KR102648091B1 (ko) * 2019-06-06 2024-03-18 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 다중 채널 이미징 장치 및 다중 조리개 이미징 장치를 갖는 장치
CN112631333B (zh) * 2020-12-25 2024-04-12 南方电网数字电网研究院有限公司 无人机的目标跟踪方法、装置及图像处理芯片

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10170256A (ja) * 1996-12-12 1998-06-26 Minolta Co Ltd 測距モジュール及び測距モジュールを備えた機器
JP4053858B2 (ja) * 2002-09-30 2008-02-27 富士フイルム株式会社 固体撮像装置の信号読出し方法
US20090122148A1 (en) * 2007-09-14 2009-05-14 Fife Keith G Disjoint light sensing arrangements and methods therefor
JP2010096723A (ja) * 2008-10-20 2010-04-30 Funai Electric Co Ltd 物体の距離導出装置
DE102009049387B4 (de) * 2009-10-14 2016-05-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Bildverarbeitungsvorrichtung und Verfahren zur optischen Abbildung
WO2011132404A1 (ja) * 2010-04-20 2011-10-27 パナソニック株式会社 ３ｄ映像記録装置及び３ｄ映像信号処理装置
EP2571246A1 (en) * 2010-05-14 2013-03-20 Panasonic Corporation Camera body, interchangeable lens unit, image capturing device, method for controlling camera body, method for controlling interchangeable lens unit, program, and recording medium on which program is recorded
JP2012065161A (ja) * 2010-09-16 2012-03-29 Ricoh Co Ltd 画像読み取り装置、画像形成装置、画像読み取り方法、画像形成方法、画像読み取りプログラム、画像形成プログラム及び記録媒体
JP5797016B2 (ja) * 2011-05-30 2015-10-21 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN103842880B (zh) * 2011-09-28 2015-11-25 富士胶片株式会社 成像设备和聚焦控制方法
CN104012082A (zh) * 2012-01-16 2014-08-27 索尼公司 固态图像拾取装置和相机系统
US20140071247A1 (en) 2012-02-03 2014-03-13 Panasonic Corporation Image pick-up device and distance measuring device

Also Published As

Publication number Publication date
EP3066830A1 (de) 2016-09-14
US9769458B2 (en) 2017-09-19
US20160255330A1 (en) 2016-09-01
WO2015067535A1 (de) 2015-05-14
CN105814888A (zh) 2016-07-27
JP6228306B2 (ja) 2017-11-08
JP2017503369A (ja) 2017-01-26
DE102013222780B3 (de) 2015-04-16
KR101821336B1 (ko) 2018-03-08
EP3066830B1 (de) 2020-02-19
CN105814888B (zh) 2018-06-22

Similar Documents

Publication Publication Date Title
KR101821336B1 (ko) 오브젝트 영역의 검출을 위한 다중-조리개 장치 및 방법
KR101953729B1 (ko) 오브젝트 영역을 센싱하기 위한 장치 및 방법
US10177192B2 (en) Image sensor having photodiodes sharing one color filter and one micro-lens
JP5119668B2 (ja) 固体撮像装置
US8810698B2 (en) Two sided solid state image sensor and an image capture device
US20130135515A1 (en) Digital imaging system
CN110275606B (zh) 感测元件
WO2010038378A1 (ja) 画素ずらし型撮像装置
WO2018082156A1 (zh) 一种超分辨率图像传感器及其构造方法
EP3264745B1 (en) Scanning imaging system with a novel imaging sensor with gaps for electronic circuitry
CN104508820B (zh) 成像传感器设备
EP3700187B1 (en) Signal processing device and imaging device
JP7245170B2 (ja) 撮像素子および撮像装置
US20220406836A1 (en) Image sensor
US20220173139A1 (en) Image sensor
US20150304579A1 (en) Solid-state imaging device
KR20080028155A (ko) 이미지 센서 및 그 제조방법
CN101632298A (zh) 具有用来反射光的像素布线的图像传感器

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant