KR20230103982A - 압축 감지 기능을 갖는 플렉시블 컴퓨팅 이미지 센서 - Google Patents

Abstract

본 발명은 장면을 이미징하기 위한 방법 및 시스템에 관한 것이다. 본 방법은 셔터 패턴을 생성하는 단계와 셔터 패턴을 광 검출기 어레이에 적용하는 단계를 포함한다. 본 시스템은 센서 아키텍처의 요소가 2개 이상의 층으로 적층된 3차원의 센서 아키텍처를 포함한다. 센서 아키텍처의 일부 요소는 광 검출기 어레이, 레지스터 어레이, 셔터 패턴을 생성하는 생성기, 판독 회로 및 ISP를 포함한다.

Description

압축 감지 기능을 갖는 플렉시블 컴퓨팅 이미지 센서{A FLEXIBLE COMPUTATIONAL IMAGE SENSOR WITH COMPRESSIVE SENSING CAPABILITY}

본 발명은 일반적으로 압축 감지 기능을 갖는 이미지 센서에 관한 것이다. 예를 들어, 본 발명은 고속 이미징, 높은 다이나믹 레인지, 모션 블러 없는 이미징 및 다이렉트 타임-오프-플라이트(DTOF, direct time-of-flight)에 적용되는 컴퓨팅 이미지 센서에 관한 것이다.

높은 다이나믹 레인지(HDR, High Dynamic Range), 고속 이미징, TOF(Time-of-Flight) 및 모션 블러 없는 저조도 이미징을 포함하되 이에 국한되지 않는 다양한 이미징 기술에서 다수 프레임 캡처를 위한 짧은 통합 시간이 필요할 수 있다. 또한 DTOF(direct time-of-flight) 저조도 이미징을 사용하는 3D 감지와 같은 다른 시스템은 통합 시간이 길 수 있으므로 카메라 또는 객체 움직임으로 인한 모션 블러가 발생할 수 있다. 저조도 이미징에서 모션 블러를 줄이거나 제거하기 위해 더 짧은 통합 시간과 다수 프레임 캡처를 사용할 수 있다. 이러한 캡처된 프레임은 먼저 객체 정렬을 위해 후처리될 수 있으며 그 다음 누적되어 높은 신호 대 잡음비(SNR)로 모션 블러가 없는 고품질 이미지를 형성할 수 있다. HDR 이미징은 짧은 통합 시간과 다수 프레임의 이점을 얻을 수 있어 밝은 조도 영역에서 클리핑을 방지할 수 있다.

더 짧은 통합 시간과 다수 프레임으로 인해 많은 양의 데이터가 생성될 수 있으며, 이 데이터는 짧은 시간 내에 전송되고 처리되어야 한다. 이러한 이미지 센서로부터 이 데이터를 효율적으로 저장, 전송 및 처리할 필요가 있다.

데이터를 저장, 전송 및 처리하는 하나의 가능한 방법은 데이터를 판독하기 전에 픽셀 레벨에서 데이터를 압축하는 것이다. 그런 다음 이미지를 온칩 또는 오프칩으로 압축 해제하여 원래의 다수 프레임 정보를 복구할 수 있다. 고속 이미징의 경우 다수 프레임의 정보를 복구하는 것이 충분할 수 있지만, 모션 블러가 없는 저조도 이미징 및 HDR 이미징의 경우 더 많은 작업이 필요할 수 있다. 이들 프레임 내부의 모션 벡터를 먼저 추정한 후 객체를 정렬하고 프레임을 모아 최종 이미지를 형성할 수 있다. 마지막으로, 3D 감지를 위해서는 다수 프레임의 정보를 기반으로 픽셀 단위의 히스토그램을 구축한 후, 각 히스토그램에 대한 깊이 정보를 추출할 수 있다.

전통적인 압축 감지 기술이 사용될 수 있다. 압축 감지를 위해 이미지 평면에 할당된 패턴이 있을 수 있다. 이들 패턴은 셔터 패턴과 같은 전기적 패턴이거나 광학 마스크와 같은 광학적 패턴일 수 있다. 이들 패턴은 시간적 및/또는 공간적으로 변할 수 있다. 높은 프레임 레이트를 달성하거나 높은 시간 분해 기능을 갖기 위해 마스크를 매우 빠르게 전환해야 할 수 있다. 고속으로 각 픽셀과 각 프레임에 서로 다른 마스크 값을 적용하는 것은 어려울 수 있다. 각 픽셀 프레임에 대한 랜덤 마스크 값을 저장하는 데에도 많은 메모리가 필요할 수 있다. 이전의 예는 배경 및 오리엔테이션 목적만을 위한 것일 수 있으며 선행 기술이 아닌 발명자에 의해 개발된 개념을 포함할 수 있다.

본 발명이 해결하고자하는 과제는 성능이 향상된 이미지 센서 및 이미징 방법을 제공하는 것이다.

하나의 예시적인 실시형태에 따르면, 제 1 다이 층 상에 위치한 광 검출기 어레이, 제 2 다이 층 상에 위치한 레지스터 어레이, 행(row) 선택 드라이버, 열(column) 판독기, 패턴 생성기, 이미지 신호 프로세서를 포함하는 센서가 제공되며, 제 1 다이 층은 제 2 다이 층 상에 적층된다.

다른 예시적인 실시형태에 따르면, 제 1 다이 층 상에 셔터 패턴을 생성하는 단계, 셔터 패턴을 제 1 다이 층 상의 레지스터 어레이에 전송하는 단계, 레지스터 어레이로부터의 제어 신호 값을 제 2 다이 층 상의 광 검출기 어레이 내의 스위치에 출력하는 단계, 제어 신호 값이 인에이블로 설정된 경우 광 검출기 어레이의 광 검출기에서의 전하 축적을 인에이블하는 단계, 제어 신호 값이 디스에이블로 설정된 경우 광 검출기 어레이의 광 검출기에서의 전하 축적을 디스에이블하는 단계, 및 제 1 다이 층 상의 축적된 전하 값을 판독하는 단계를 포함하는 센서가 제공된다.

다른 예시적인 실시형태에 따르면, 제 1 다이 층 상의 광 검출기 어레이, 제 2 다이 층 상의 레지스터 어레이, 메모리 어레이, 이미지 신호 프로세서, 행 드라이버, 패턴 생성기, 및 열 판독기를 포함하는 센서가 제공된다.

이하의 설명 및 실시형태는 본 발명의 실시형태를 상세히 예시한다. 본 발명은 본 명세서에 기술된 특정 실시형태에 제한되지 않으며, 따라서 다양할 수 있음을 이해해야 한다. 당업자는 본 발명의 범위 내에 포함되는 본 발명의 다양한 변형 및 수정이 있음을 인식할 것이다.
본 발명의 신규한 특징은 특히 첨부된 청구범위에 기재되어 있다. 본 발명의 특징 및 장점에 대한 더 나은 이해는 본 발명의 원리가 이용되는 예시적인 실시형태를 설명하는 다음의 상세한 설명 및 첨부된 도면을 참조함으로써 얻어질 것이다.
도 1은 예시적인 실시형태의 예시적인 센서를 도시한다.
도 2는 예시적인 실시형태의 예시적인 픽셀을 도시한다.
도 3은 도 1의 픽셀 어레이에 사용될 수 있는 다른 예시적인 픽셀을 도시한다.
도 4는 도 1의 픽셀 어레이의 픽셀에 대한 예시적인 동작 순서의 프로세스를 도시한다.
도 5는 픽셀 어레이의 예를 도시한다.
도 6은 센서 아키텍처의 예시적인 적층 아키텍처 및 그 내부의 픽셀을 도시한다.
도 7은 3개의 적층 다이 층이 있는 아키텍처를 도시한다.
도 8은 SPAD와 같은 디지털 픽셀을 사용할 수 있는 예시적인 적층 아키텍처 및 그 내부의 픽셀을 도시한다.
도 9는 예시적인 적층 아키텍처를 도시한다.
도 10은 전기 셔터 패턴과 결합된 광학 마스크의 예시적인 아키텍처를 도시한다.
도 11은 셔터 생성 프로세스를 도시한다.
도 12는 광 검출기가 레지스터를 공유할 수 있는 대체 실시형태를 도시한다.

이하, 첨부된 도면을 참조하여 본 발명의 실시형태를 보다 상세하게 설명하며, 명세서 전체를 걸쳐서 동일 참조번호는 동일 구성 요소를 지칭한다. 그러나, 본 발명은 여러 상이한 형태로 구현될 수 있으며 본 명세서에서 예시되는 실시형태에 한정되지 않는다. 오히려, 이들 실시형태는 본 개시내용을 더욱 충실하고 완전하게 하며, 당업자에게 본 개시내용의 양태 및 특징을 완전하게 전달하기 위하여 예로서 제공되는 것이다. 따라서, 본 개시내용의 양태 및 특징을 완전히 이해하기 위해 당해 기술 분야에서 통상의 지식을 가진 자에게 필요하지 않은 프로세스, 구성 요소 및 기술은 설명하지 않을 수 있다. 특별한 언급이 없는 한, 첨부된 도면 및 명세서 전체를 걸쳐서 동일한 참조부호는 동일한 구성 요소를 지시하므로 중복되는 설명은 생략한다.

도면에서 요소, 층 및 영역의 상대적인 크기는 명확성을 위해 과장 및/또는 단순화될 수 있다. 본 명세서에서 "밑", "아래", "하부", "아래쪽", "위", "상부" 등과 같은 공간적으로 상대적인 용어는 도면에 예시된 다른 요소(들) 또는 피처(들)에 대한 하나의 요소 또는 피처의 관계를 설명하기 위한 설명의 편의를 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시된 방향에 추가하여 사용 또는 작동 중인 장치의 다양한 방향을 포함하도록 의도된 것임을 이해할 것이다. 예를 들어, 도면에서의 장치가 뒤집힌 경우, 다른 요소 또는 특징 "아래" 또는 "밑" 또는 "아래쪽"으로 기술된 요소는 다른 요소 또는 피처 "위"에 배향될 것이다. 따라서, 예시 용어 "아래" 및 "아래쪽"은 위와 아래의 방향을 모두 포함할 수 있다. 장치는 다른 방향으로 (예를 들어, 90도 회전 또는 다른 방향으로) 향할 수 있으며 본 명세서에서 사용되는 공간적으로 상대적인 서술어는 이에 따라 해석되어야 한다.

"제 1", "제 2", "제 3" 등의 용어가 본 명세서에서 다양한 요소, 구성 요소, 영역, 층 및/또는 섹션을 설명하기 위해 사용될 수 있지만, 이들 요소, 구성 요소, 영역, 층 및/또는 섹션은 이러한 용어에 의해 제한되어서는 안 된다. 이들 용어는 하나의 요소, 구성 요소, 영역, 층 또는 섹션을 다른 요소, 구성 요소, 영역, 층 또는 섹션과 구별하는 데 사용된다. 따라서, 아래에서 설명되는 제 1 요소, 구성 요소, 영역, 층 또는 섹션은 본 발명의 사상 및 범위를 벗어나지 않고 제 2 요소, 구성 요소, 영역, 층 또는 섹션으로 지칭될 수 있다.

요소 또는 층이 다른 요소 또는 층 "상에 있는", "에 연결된" 또는 "에 결합된" 것으로 언급될 때, 이는 직접 다른 요소 또는 층 상에 있거나, 연결되거나, 결합될 수 있거나 하나 이상의 개입 요소 또는 층이 존재할 수 있음이 이해될 것이다. 또한, 요소 또는 층이 2개의 요소 또는 층 "사이"인 것으로 언급될 때, 이는 2개의 요소 또는 층 사이의 유일한 요소 또는 층일 수 있거나, 하나 이상의 중간 요소 또는 층일 수 있음이 또한 이해될 것이다.

본 명세서에서 사용한 용어는 단지 특정한 실시형태를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 본 명세서에서 사용된 단수형은 문맥상 명백하게 다르게 나타내지 않는 한 복수형도 포함하는 것으로 의도된다. "구성하다", "구성하는", "포함하다" 및 "포함하는"이라는 용어는 본 명세서에서 사용될 때 명시된 피처, 정수, 단계, 동작, 요소 및/또는 구성 요소의 존재를 배제하지 않지만, 하나 이상의 다른 피처, 정수, 단계, 동작, 요소, 구성 요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는다. 본 명세서에서 사용되는 바와 같이, "및/또는"이라는 용어는 연관된 리스트 항목 중 하나 이상의 임의의 및 모든 조합을 포함한다. 요소 리스트 앞에 오는 "적어도 하나의"와 같은 표현은 전체 요소 리스트를 수정하고 리스트의 개별 요소를 수정하지 않는다.

본 명세서에 사용된 용어 "실질적으로", "약" 및 유사 용어는 정도의 용어가 아닌 근사치의 용어로 사용되며, 기술분야에서 통상의 지식을 가진 자에 의해 인식될 수 있는 측정된 또는 계산된 값의 내재적 변동을 설명하기 위한 것이다. 또한, 본 개시내용의 실시형태를 설명할 때 "할 수 있다"의 사용은 "본 개시내용의 하나 이상의 실시형태"를 의미한다. 본 명세서에서 사용되는 바와 같이, "사용하다", "사용하는" 및 "사용되는"이라는 용어는 각각 "활용하다", "활용하는" 및 "활용되는"이라는 용어와 동의어로 간주될 수 있다. 또한, "예시적인"이라는 용어는 예 또는 예시를 지칭하기 위한 것이다.

다르게 정의되지 않는 한, 본 명세서에서 사용되는 (기술적인 또는 과학적인 용어를 포함한) 모든 용어는 본 개시내용이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의된 용어와 같은 용어는 관련 기술 및/또는 본 명세서의 맥락에서 그 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명시적으로 정의되지 않는 한 이상화되거나 지나치게 형식적인 의미로 해석되지 않아야 한다. 본 명세서에서 사용된 "직경"이라는 용어는 원형 또는 구형의 직경 또는 비원형 또는 비구형의 등가 직경을 의미할 수 있다.

도 1은 예시적인 실시형태의 예시적인 센서(100)를 도시한다.

센서(100)는 센서 아키텍처일 수 있다. 센서(100)는 길이, 높이(미도시) 및 폭이 수 밀리미터의 크기일 수 있지만, 더 작거나 클 수 있다. 센서(100)는 수직으로 적층된 다수의 다이를 갖는 적층형 센서일 수 있다. 이러한 적층된 다이 각각은 적층된 층으로 알려져 있을 수 있다. 적층된 층은 단일 다이일 수 있다.

N행×M열로 배열될 수 있는 하나 이상의 픽셀(102)을 포함할 수 있는 픽셀 어레이(101)가 있을 수 있으며, 여기서 N 및 M은 1 이상의 정수 값이다. 픽셀 어레이(101) 내의 픽셀(102)은 하나 이상의 적층된 다이 층에서 발견되는 회로로 구성될 수 있다. 다이는 수직으로 또는 중간 다이 또는 개재 다이 또는 다양한 기타 배열을 사용하여 다른 다이에 수직으로 적층될 수 있다. 다이는 다이로서 적층될 수 있거나, 다이싱 전에 (EG, 웨이퍼로서) 적층될 수 있다. 예를 들어, 하나의 다이 층에서 발견될 수 있는 픽셀(102)의 광 검출 요소(103)가 있을 수 있고, 픽셀(102)의 판독 요소가 다른 다이 층에서 발견될 수 있다. 픽셀 어레이(101)의 층 구성은 나중에 더 자세히 설명될 것이다.

픽셀 어레이(101)의 하나의 예시적인 픽셀(102)에 초점을 맞추면, 픽셀(102)은 하나 이상의 광 검출기(PD)(103)를 포함할 수 있다. 추가로, 픽셀(102)은 0개 이상의 레지스터(104)를 포함할 수 있다. 하나 이상의 광 검출기(103)를 갖는 픽셀은 공유 픽셀로 알려져 있을 수 있다. 공유 픽셀은 함께 축적된 값 또는 전하를 합산하여 하나의 출력 값을 갖거나, 각 광 검출기에 대해 하나씩 두 개의 개별 출력을 가질 수 있다. 레지스터(104)는 패턴 생성기(108)로부터 전송된 패턴(112)을 수신할 수 있다. 레지스터(104)는 제어 신호(106)를 광 검출기(103)에 출력하여 광 검출기(103)의 출력을 인에이블하거나 디스에이블할 수 있다.

광 검출기(103)는 전자기 스펙트럼의 임의 부분의 타겟 파장 범위에 대한 임의의 적합한 광 검출기일 수 있다. 본 실시형태는 광의 가시 스펙트럼을 언급하지만, 광은 전자기 스펙트럼의 임의의 파장으로 이해될 수 있다. 예를 들어, 광은 근적외선, 단파 적외선, 장파 적외선 및/또는 자외선을 포함할 수 있다.

행 선택 신호(105)는 픽셀 어레이(101)의 픽셀(102)을 포함하는 픽셀 행으로 전송될 수 있다. 행 선택 신호(105)는 행 선택 드라이버(107)로부터 전송될 수 있다. 행 선택 신호(105)는 픽셀(102)을 포함하는 픽셀의 행을 선택하고 픽셀(102)이 데이터를 픽셀 출력(113)으로 전송할 수 있게 할 수 있다. 픽셀 출력(113)은 광 검출 이벤트 또는 광 강도를 결정하는 데 사용될 수 있는 전압일 수 있다. 픽셀 출력(113)은 열 판독기(109)에 전송될 수 있다. 픽셀 출력(113)은 픽셀 어레이(101)의 열, 예를 들어 픽셀(102)을 포함하는 픽셀의 열을 연결하는 출력일 수 있다. 픽셀(102)의 출력 값은 광 검출기(103)로부터 축적된 전하일 수 있거나 이진 값(1 또는 0, 하이 또는 로우, 검출 또는 검출 없음)일 수 있다.

픽셀(102)의 상세로부터 센서(100)로 돌아가서, 행 선택 드라이버(107)는 픽셀 값의 행을 판독하는 것을 인에이블하는데 사용될 수 있다. 행 선택 드라이버(107)는 픽셀 어레이(101)의 픽셀의 N 행 중 하나 이상을 선택할 수 있다. 픽셀 어레이(101)의 픽셀 행이 선택될 때, 픽셀의 값(저장된 전하 또는 이진 값)은 열 판독기(109)로 전송될 수 있다.

열 판독기(109)는 모든 열 및 행 선택 드라이버(107)에 의해 선택된 픽셀의 행(들) 중 하나 이상으로부터 픽셀 값을 판독할 수 있다. 예를 들어, 픽셀 어레이(101)의 3개 행의 픽셀이 선택될 수 있고, 열 판독기(109)는 픽셀 어레이(101)의 각 열에 대해 3개의 픽셀 행으로부터 판독 픽셀 값을 수신할 수 있다.

픽셀 어레이(101)에 연결된 패턴 생성기(108)가 있을 수 있다. 일 실시형태에서, 패턴 생성기(108)는 메모리일 수 있다. 이러한 실시형태에서, 패턴 생성기(108)는 하나 이상의 미리 로딩된 셔터 패턴을 저장할 수 있다. 일부 실시형태에서, 셔터 패턴은 픽셀 어레이(101)에 매핑될 수 있는 이진 패턴일 수 있다. 이진 값은 픽셀 어레이(101)의 개별 픽셀(102)의 판독 상태를 제어하는 데 사용될 수 있다. 예를 들어, 판독 상태는 특정 픽셀(102)에 매핑된 셔터 패턴의 값에 따라 픽셀(102)을 판독하거나 판독하지 않는 것일 수 있다.

미리 로딩된 셔터 패턴은 별도의 위치에서 생성되어 패턴 생성기(108)에 로딩될 수 있다. 셔터 패턴은 픽셀 어레이(101)의 픽셀(102)의 레지스터(104)에 로딩될 수 있으며, 셔터 패턴에서 매핑된 비트에 대응한다.

셔터 패턴은 압축성 또는 압축된 감지로 알려질 수 있는 이미지 압축에 사용될 수 있다. 셔터 패턴은 이미지 또는 이미지 시퀀스를 압축하는 알고리즘에 사용될 수 있으며, 이 알고리즘은 공간적으로, 시간적으로 또는 공간적-시간적으로 동작할 수 있다. 셔터 패턴은 전기적, 광학적, 또는 둘 모두일 수 있으며, 이에 대해서는 나중에 더 자세히 설명될 것이다.

다른 실시형태에서, 패턴 생성기(108)는 셔터 패턴을 능동적으로 생성할 수 있다. 생성된 셔터 패턴은 온칩 생성 또는 온라인 생성으로도 알려진 패턴 생성기(108)에서 생성될 수 있다. 따라서 셔터 패턴의 분포 및 픽셀 제어는 위에 표현된 것과 유사할 수 있다.

둘 모두의 실시형태에서, 생성된 셔터 패턴은 랜덤 또는 의사-랜덤하게 생성될 수 있다. 의사 랜덤 생성 패턴은 결정론적 랜덤 비트 생성기로도 알려져 있다. 셔터 패턴은 대략 랜덤일 수 있으며, 의사 랜덤 패턴을 생성하는 임의의 방법이 사용될 수 있다. 다른 실시형태에서, 패턴은 랜덤이 아닐 수 있다. 아래에 설명된 모든 셔터 패턴에 대해, 셔터 패턴은 공간적 및 시간적 도메인 모두에서 랜덤 또는 의사 랜덤일 수 있다.

아래에 설명된 셔터 패턴은 픽셀, 픽셀 어레이 및/또는 픽셀의 다수 프레임에 적용될 수 있는 1과 0의 이진 패턴(랜덤 또는 의사 랜덤)일 수 있다. 셔터 패턴은 일정 기간 동안 픽셀 값에 적용될 수 있으며 최종 출력 값은 픽셀 값의 가중 합일 수 있다. 가중 합은 압축된 출력일 수 있고 시간적, 공간적 또는 공간적-시간적 도메인에 있을 수 있다. 압축된 출력은 연관된 압축 비율을 가질 수 있다. 압축 비율은 시간적, 공간적, 공간적-시간적 압축에 대한 다음 섹션에서 설명될 것이다.

일 실시형태에서, 셔터 패턴은 픽셀 어레이(101)에서 이미지의 동일한 차원인 이진 값의 어레이일 수 있다. 즉, H×W 픽셀이 있는 경우 하나의 프레임에 대한 셔터 패턴에 H×W 셔터 값이 있을 수 있다. M 개의 프레임의 경우 셔터 패턴에 H×W×M 셔터 값이 있을 수 있다.

셔터 패턴은 각 클록 사이클 또는 다른 클록 사이클 또는 기타 시퀀스마다 변경될 수 있다. 예를 들어 이미지가 M 개의 프레임의 H×W인 경우 M 개의 셔터 패턴이 있을 수 있다. 따라서 각 프레임마다 셔터 패턴이 변경될 수 있다. M번째 프레임에서 이미지 판독값이 발생하면 하나의 판독값이 있을 수 있다. 하나의 판독값은 M 개의 프레임에서 하나의 판독 프레임으로의 압축일 수 있다. 따라서 시간적 압축 비율은 M이 될 수 있다. 재구성하는 동안, 그 압축된 이미지는 M 개의 프레임으로 재구성될 수 있다. 이러한 형태의 셔터 패턴은 시간적 압축으로 알려져 있다.

다른 실시형태에서, 셔터 패턴은 셔터 패턴의 다수의 서브어레이를 포함할 수 있다. 각각의 서브어레이 셔터 패턴은 의사-랜덤하게 생성될 수 있다. 예를 들어, 1 개의 프레임의 이미지 H×W의 경우, 제곱근 sqrt(B)×sqrt(B) 치수의 서브어레이 셔터 패턴이 있을 수 있으며, 여기서 B는 패치 크기일 수 있다. 이 서브어레이 셔터 패턴은 패치라고도 한다.

크기가 H×W인 이미지에 적용된 sqrt(B)×sqrt(B) 차원의 여러 서브어레이 셔터 패턴이 있을 수 있다. 예를 들어, B = 4인 경우 서브어레이 셔터 패턴 치수는 2×2 픽셀일 수 있다. H와 W가 둘 다 4이면 이미지에 적용된 총 4개의 개별 2×2 서브어레이 셔터 패턴(패치)이 있을 수 있으며 각 서브어레이 셔터 패턴은 의사 랜덤으로 생성될 수 있다. 2×2 픽셀인 서브어레이 셔터 패턴에서 출력 판독 크기는 1 픽셀일 수 있다. 이 예는 4의 공간적 압축 비율(4 픽셀로부터 1 픽셀의 출력이 있을 수 있음)을 가질 수 있다. 즉, 서브어레이 셔터 패턴에 대해, 서브어레이 셔터 패턴과 관련된 하나 이상의 광 검출기는 광 검출기 값을 판독할 때 출력 크기를 감소시킬 수 있다. 따라서, 출력 판독 이미지에 대한 픽셀 수가 4×4의 입력 이미지에서 2×2의 출력 이미지로 감소될 수 있다. 압축된 출력은 픽셀 어레이(101)의 sqrt(B)×sqrt(B) 픽셀에 패치(서브어레이 셔터 패턴)를 적용하는 가중 합일 수 있는 가중 합일 수 있으며, 이는 하나의 값의 출력으로 될 수 있다. 프레임 레이트는 동일하게 유지될 수 있고, 즉, 하나의 입력 프레임이 하나의 출력 프레임이 될 수 있다. 이러한 형태의 셔터 패턴은 공간적 압축으로 알려져 있다.

또 다른 실시형태에서, 셔터 패턴은 시간적 압축과 공간적 압축의 조합을 포함할 수 있다. 각 프레임 판독값은 공간적으로 압축될 수 있다. 각 프레임 판독값에 대해, 서로 다른 일련의 서브어레이 셔터 패턴을 사용할 수 있다. 출력 프레임은 원래 입력 프레임보다 크기가 모두 작은 일련의 다수 프레임일 수 있다. 2×2의 공간 패치와 M 개의 프레임의 시간적 압축의 예를 확장하면, 공간적-시간적 압축 비율은 2×2×M 또는 4M이 될 수 있다. 즉, 2×2×M 픽셀로부터 압축 출력은 2×2×M 픽셀의 가중 합일 수 있고 하나의 출력 값일 수 있다. 따라서 M 개의 프레임을 갖는 X×Y의 패치 크기에 대해 압축 비율은 X×Y×M이 될 수 있다.

앞서 기술된 바와 같이, 열 판독기(109)는 픽셀 어레이(101)에 연결될 수 있다. 이미지 신호 프로세서(ISP)(110)는 오프칩 처리를 위한 출력(111)을 제공할 수 있는 열 판독기(109)에 연결될 수 있다. 열 판독기(109)는 픽셀 값을 저장하기 위한 커패시터, 아날로그 값을 디지털 값으로 변환하기 위한 ADC(Analog-to-Digital) 변환기, 변환된 디지털 숫자를 저장하기 위한 디지털 메모리, 및 기타 구성 요소(미도시)를 포함할 수 있다.

도 1의 센서(100)는 예시적인 실시형태의 예시적인 아키텍처일 수 있다. 이하의 도면은 아키텍처(100)의 예시적인 구성 요소뿐만 아니라 예시적인 데이터 흐름, 하드웨어 설계 및 동작을 설명할 것이다.

도 2는 예시적인 실시형태의 예시적인 픽셀(200)을 도시한다.

픽셀(200)은 도 1의 픽셀 어레이(101)의 픽셀(102)과 같은 픽셀일 수 있다. 픽셀(200)은 광 검출기(204)를 갖는 회로를 포함할 수 있다. 광 검출기(204)는 포토다이오드일 수 있지만, 전자기 스펙트럼의 임의 부분의 타겟 파장 범위에 대한 임의의 다른 적합한 광 검출기일 수 있다. 일부 실시형태에서, 광 검출기(204)는 단일 광자 아발란치 다이오드(SPAD), 양자 이미지 센서(QIS), 포토다이오드, 또는 임의의 다른 광 검출기일 수 있다. 픽셀(200)은 판독 동안 전압 출력을 보낼 뿐만 아니라 전하를 축적하는 역할을 할 수 있다. 광 검출기(204)는 광자를 광전자 또는 전하로 전환시키는 역할을 할 수 있다.

제 1 스위치(202)는 픽셀(200)의 연결을 열고 닫는 데 사용될 수 있다. 제 1 스위치(202)가 닫힘 위치에 있을 때, 광 검출기(204)로부터 생성된 전하는 노드(201)로 보내질 수 있다. 노드(201)는 드레인으로 간주될 수 있는 오버플로 전압(Vov)에 연결될 수 있다. 제 1 스위치(202)가 닫힐 때, 픽셀(200)은 광 검출기(204)가 전하를 노드(201)로 덤핑(dump)할 수 있기 때문에 전하를 축적할 수 없을 수 있다. 제 1 스위치(202)가 열리면, 픽셀(200)은 전하를 축적할 수 있다. 제 1 스위치(202)는 앞서 설명한 셔터 패턴에 의해 제어될 수 있다. 픽셀(200)에 대한 셔터 패턴 값이 오프(판독하지 않음)로 설정될 때, 제 1 스위치(202)는 닫힐 수 있다. 픽셀(200)에 대한 셔터 패턴 값이 온(판독)으로 설정되면, 제 1 스위치(202)가 열릴 수 있다. 다음에 기술되는 바와 같이, 픽셀(200)에는 제 1 스위치(202)와 함께 작동할 수 있는 다른 스위치가 있을 수 있다.

제 2 스위치(203)는 픽셀(200)의 다른 연결을 열고 닫는 데 사용될 수 있다. 제 1 스위치(202)의 동작에 대한 설명을 토대로, 제 2 스위치(203)가 닫힘 위치에 있고 제 1 스위치(202)가 열림 위치에 있을 때, 픽셀(200)은 커패시터(214)에 전하를 축적할 수 있다. 제 2 스위치(203)가 열림 위치에 있을 때, 광 검출기(204)를 사용하여 검출된 광자는 광 검출기(204)에 축적될 수 있다. 도 1의 패턴 생성기(108)로부터의 셔터 패턴은 제 1 스위치(202) 및 제 2 스위치(203)를 제어하기 위한 제어 신호로서 사용될 수 있거나, 다른 제어 신호가 사용될 수 있다. 일부 실시형태에서, 제 2 스위치는 픽셀(200)에 추가되지 않을 수 있는데, 즉, 제 1 스위치(202)는 픽셀(200)의 판독 또는 판독하지 않음을 제어하는 데 사용될 수 있다. 판독을 인에이블할 수 있는 선택 스위치(미도시)가 픽셀(200)에 있을 수 있다.

옵션으로 커패시터(214) 및 옵션으로 픽셀(200)에서 전하 축적 회로를 함께 인에이블할 수 있는 전송 게이트(205)가 있을 수 있다. 제 1 스위치(202) 및 전송 게이트(205)가 열리고 제 2 스위치(203)가 닫힐 때, 플로팅 확산 영역 또는 노드로 알려질 수 있는 커패시터(214) 및/또는 광 검출기(204) 상에 전하가 축적될 수 있다. 전송 게이트(205)가 존재할 때, 상관 이중 샘플링 판독 옵션이 판독을 위해 사용될 수 있다. 전송 게이트(205)가 존재하지 않을 때, 의사-상관 이중 샘플링 옵션이 판독을 위해 사용될 수 있다. 두 경우 모두, 픽셀 선택(미도시)은 픽셀(200)을 판독하는 것을 인에이블하는 데 사용될 수 있다.

앞서 설명한 바와 같이, 전송 게이트(205)는 픽셀(200)에 있을 필요가 없을 수 있다. 전송 게이트(205)가 픽셀(200)에 없을 때, 열린 제 1 스위치(202)와 닫힌 제 2 스위치(203)의 조합은 전하 축적을 인에이블할 수 있고 (미도시된 픽셀 선택과 함께) 광 검출기(204)에 축적된 전하를 판독할 수 있다.

저장된 전하 또는 전압은 도 1의 행 선택 드라이버(107)가 픽셀(200)이 도 1의 픽셀 어레이(101)와 같은 픽셀 어레이에서 발견되는 행을 선택할 때 판독될 수 있다. 도 2로 돌아가서, 전송 게이트(205) 및 제 2 스위치(203)가 닫히고 제 1 스위치(202)가 열릴 때, 픽셀(200)은 (도시되지 않은 픽셀 선택과 함께) 판독될 수 있다. 축적된 광 검출기(204)로부터의 전하는 증폭기(213)를 통해 출력(207)으로 흐를 수 있다. 픽셀(200)은 증폭기(213)를 회로 구성요소로서 가질 수 있으며, 전류의 단방향 스위치로서 사용될 수 있다.

픽셀(200)은 광 검출기(204)에 축적된 전하를 리셋하는 데 사용될 수 있는 리셋 스위치(206)를 가질 수 있다. 리셋 스위치(206)가 닫히면 전하가 덤핑될 수 있다. 일부 실시형태에서, 리셋 스위치(206)는 퀀칭(quenching) 회로일 수 있다.

출력 값(207)은 픽셀(200)의 출력 값일 수 있다. 출력 값(207)은 전압 형태의 전하 레벨일 수 있으며, 이는 나중에 1 또는 0, 하이 또는 로우, 온 또는 오프와 같은 디지털 출력으로 변환될 수 있다. 출력 값(207)이 온일 때, 픽셀(200)은 광의 광자를 검출했을 수 있다. 출력 값(207)이 오프일 때, 픽셀(200)은 광의 광자를 감지하지 못했을 수 있거나 마스킹된 광 검출기(204)의 값을 가질 수 있다. 제 1 스위치(202)는 닫힘 구동될 수 있고 제 2 스위치(203)는 광 검출기(204)의 값을 마스킹하도록 구동될 수 있다. 값을 마스킹하는 것은 (스위치(203)를 열거나 스위치(202)를 통해 덤핑함으로써) 출력 값(207)을 차단하여 광 검출 없음(즉, 0 또는 오프 값)을 의도적으로 알리는 것을 의미할 수 있다.

픽셀(200)의 동작 제어를 담당할 수 있는 픽셀(200)과 관련된 레지스터(208)가 있을 수 있다. 레지스터(208)로의 입력으로서 제어 신호(210) 및 클록 신호(209)가 있을 수 있다. 제어 신호(210)는 도 1의 패턴 생성기(108)로부터의 출력일 수 있고 픽셀(200)에 대응하는 셔터 패턴의 일부일 수 있다. 제어 신호(210)는 (클록 신호(209)에 의해 전송된) 클록 사이클당 한 번으로 자주 변경될 수 있지만, 매 2 클록 사이클당 한 번과 같이 덜 자주 변경되거나 심지어 덜 자주 변경될 수도 있다. 제어 신호(210)는 레지스터(208)로 들어갈 수 있고 제어 신호를 제 1 신호(211) 및 제 2 신호(212)로 도시된 하나 이상의 출력 신호로 전송할 수 있다.

레지스터(208)의 출력 신호로서 제 1 신호(211) 및 제 2 신호(212)가 있을 수 있다. 신호(211 및 212)는 각각 제 1 스위치(202) 및 제 2 스위치(203)를 제어하는 데 사용될 수 있다. 레지스터(208)의 출력 신호(211)와 제 1 스위치(202) 사이는 연결될 수 있다. 또한 레지스터(208)의 출력 신호(212)와 제 2 스위치(203) 사이는 연결될 수 있다. 예시적인 실시형태에서, 신호(211 및 212)는 서로 반대일 수 있다. 즉, 레지스터(208)가 제 1 신호(211)에 대한 "온" 신호를 생성할 때, 제 2 신호(212)는 "오프" 신호일 수 있다. 이어서, "온"인 제 1 신호(211)는 제 1 스위치(202)를 닫을 수 있고 "오프"인 제 2 신호(212)는 제 2 스위치(203)를 열 수 있다. 그 결과, 광 검출기(204)는 전하 및 픽셀(200)을 축적하지 않을 수 있다. 이 시나리오는 (제어 신호(210)를 통해 전송된) 셔터 값이 픽셀을 판독하지 않도록 설정된 경우일 수 있다.

다른 시나리오에서, 셔터 값이 픽셀을 판독하도록 설정되면, 레지스터(208)는 "오프"로 설정된 제 1 신호(211)를 생성할 수 있고 제 1 스위치(202)를 열 수 있다. 또한 레지스터(208)는 "온"으로 설정된 제 2 신호(212)를 생성할 수 있고 제 1 스위치(203)를 닫을 수 있다. 그러면, 전하는 광 검출기(204)를 위해 축적될 수 있고 전압 신호는 출력(207)에 전송될 수 있다. 옵션으로, 전송 게이트(205)가 존재하는 경우, 전송 게이트(205)는 출력 신호가 출력(207)에 전송되기 전에 닫힐 필요가 있을 수 있다.

또한, 레지스터(208)는 도 1의 패턴 생성기(108)로부터 생성된 셔터 패턴의 일부를 전파하는 데 사용될 수 있다. 예를 들어, 픽셀(200)이 도 1의 픽셀 어레이(101)의 행 및 열에서 제 1 픽셀인 경우, 새로운 셔터 패턴 값이 한 번에 한 사이클씩 레지스터(208)에 로딩될 수 있고, 이전 셔터 패턴 값이 행의 다음 픽셀에 전송될 수 있다. 따라서, 레지스터(208)의 출력은 다음 픽셀(미도시)과 연관된 다음 레지스터의 제어 신호/입력(미도시)으로서 사용될 수 있다. 셔터 패턴 값을 전파하기 위한 클록 속도가 있을 수 있다. 예시적인 실시형태에서, 클록 속도는 최종 프레임 레이트 F에 압축 비율 M을 곱한 값일 수 있다. 예를 들어, 시간적 압축 비율 M=8이고 프레임 레이트가 30fps인 경우, 클록 속도는 240Hz일 수 있다. 다른 실시형태는 더 높거나 더 낮은 클록 속도를 가질 수 있다.

또한, 픽셀(200)의 회로는 도 1의 픽셀 어레이(101)의 픽셀 레벨에서 광자를 검출하기 위해 사용될 수 있다. 예시적인 실시형태에서, 픽셀(200)은 도 1의 픽셀(102)일 수 있다. 즉, 도 1의 센서(100)에서, 픽셀 어레이(101)는 각 픽셀 내에 단일 또는 공유 광 검출기가 있고 각 픽셀(또는 픽셀 세트) 내에 레지스터가 있는 픽셀(200)과 같은 픽셀 어레이일 수 있다. 도 2의 픽셀(200) 구성 요소의 물리적 위치는 동일한 칩, 칩의 다수 층(적층이라고도 함) 또는 온칩과 오프칩의 조합에 함께 있을 수 있다. 픽셀(200)의 물리적 구성 요소의 위치는 나중에 설명될 것이다.

도 3은 도 1의 픽셀 어레이(101)에 사용될 수 있는 다른 예시적인 픽셀(300)을 도시한다.

픽셀(300)에는 하나 이상의 광 검출기가 있을 수 있다. 도 3의 예시적인 실시형태에서, 공유 픽셀로 알려진 2개의 광 검출기(304 및 305)가 있을 수 있다. 이것은 또한 1×2(1×2) 공유 픽셀로 알려져 있을 수 있으며, 여기서 픽셀은 하나의 열과 두 개의 행의 광 검출기를 가질 수 있다. 다른 실시형태에서, 픽셀(300)에 더 많은 광 검출기가 있을 수 있다. 광 검출기는 예를 들어 1×2, 2×1, 2×2, 3×2 등과 같이 임의의 수의 행과 열로 배열될 수 있다.

도 3은 추가 광 검출기를 제외하고 도 2와 유사한 기능을 가진 구성 요소를 가질 수 있다. 닫힐 때 제 1 광 검출기(304)를 노드(301)와 연결할 수 있는 제 1 스위치(302)가 있을 수 있다. 광 검출기(304)로 축적된 전하를 판독하는데 사용될 수 있는 제 1 전송 게이트(315)가 있을 수 있다. 닫힐 때 제 2 광 검출기(305)를 노드(301)와 연결할 수 있는 제 2 스위치(303)가 있을 수 있다. 노드(301)는 스위치(302 및 303)가 각각 닫힐 때 광 검출기(304 및 305)에 대한 싱크로서 사용될 수 있는 과전압을 가질 수 있다.

전하 축적을 인에이블하는 커패시터(317)가 있을 수 있다. 추가로, 제 1 전송 게이트(315) 및 제 2 전송 게이트(316)가 있을 수 있다. 전송 게이트(315, 316)의 동작은 도 2에 기술된 전송 게이트(205)와 유사할 수 있다.

일부 실시형태에서, 픽셀(300)은 정수 n > 1 광 검출기를 가질 수 있고, 레지스터(308)에 대해 최대 n 출력 신호가 있을 수 있다. 예시적인 픽셀(300)에서, n=2 광 검출기와 레지스터(308)에 대한 2개의 출력 신호가 있다. 픽셀(300)에 있을 수 있는 광 검출기의 수에 관계없이, 레지스터(308)에 대한 출력 신호의 수는 더 적거나 같을 수 있다. 예를 들어, 레지스터(308)는 각각의 광 검출기(304 및 305)에 대한 제 1 신호(311) 및 제 2 신호(312)를 각각 가질 수 있다. 제 1 신호(311) 및 제 2 신호(312)는 값이 상보적(하나는 하이 다른 하나는 로우 및 그 반대)일 수 있거나 동일(둘 다 하이 또는 둘 다 로우)할 수 있다.

예시적인 실시형태에서, 레지스터(308)는 전송 게이트(315 및 316)에 제어 신호를 전송하는 데 사용될 수 있다. 예를 들어, 제 1 신호(311)는 제 1 스위치(302) 및 제 2 전송 게이트(316)를 제어하는 데 사용될 수 있다. 제 2 신호(312)는 제 2 스위치(302) 및 제 1 전송 게이트(315)를 제어하는 데 사용될 수 있다. 두 신호(311, 312)는 서로 반대 값일 수 있다. 즉, 셔터 패턴이 제어 신호(310)를 통해 레지스터(308)에 전송될 때, 광 검출기(304 또는 305) 중 하나는 픽셀(300)에의 전하 축적을 위해 인에이블될 수 있는 반면 다른 광 검출기는 전하 축적을 위해 디스에이블될 수 있다.

다른 실시형태에서, 제 1 신호(311)는 제 1 스위치(302)를 제어하기 위해서만 전송될 수 있고 제 2 신호(312)는 제 2 스위치(303)를 제어하기 위해서만 전송될 수 있다. 전송 게이트(315 및 316)는 도시되지 않은 다른 회로에 의해 제어될 수 있다.

광 검출기(304, 305) 또는 둘 모두가 인에이블될 때 픽셀(300)에 대한 축적된 전하의 저장소일 수 있는 플로팅 확산 노드(314)가 있을 수 있다. 픽셀(300)이 판독될 때, 전하는 증폭기(313)를 통해 출력(307)에 흐를 수 있다. 픽셀(300)을 판독할 수 있도록 픽셀 선택(미도시)이 있을 수 있다.

도 2의 픽셀(200) 및 도 3의 픽셀(300) 모두에서, 셔터 패턴을 적용하고, 축적을 인에이블하고, 전하를 판독하기 위해 수행되는 동작 순서가 있을 수 있다. 도 4는 이 동작 순서를 도시한다.

도 4는 도 1의 픽셀 어레이(101)의 픽셀에 대한 예시적인 동작 순서의 프로세스(400)를 도시한다. 도 2 및 도 3에 기술된 픽셀은 셔터 값을 사용하고, 전하를 축적하고, 전하를 덤핑하고, 전하를 판독할 때 이 논리를 사용할 수 있다.

단계 401은 픽셀에서 셔터 값을 수신하는 것을 수반할 수 있다. 셔터 값은 도 1의 패턴 생성기(108)로부터 전송될 수 있다. 셔터 값은 도 2의 레지스터(208)와 같은 레지스터에 의해 수신될 수 있다. 나중에 더 자세히 설명하겠지만, 셔터 값은 다른 픽셀과 연관된 다른 레지스터로부터 수신될 수 있으며, 이는 다시 패턴 생성기(108)로부터 값을 수신한다. 앞서 설명된 바와 같이, 패턴 생성기(108)는 픽셀 내의 레지스터에 전송되는 셔터 값 패턴을 제공할 수 있고, 이들 레지스터는 픽셀 어레이(101)의 모든 레지스터가 셔터 값 패턴을 수신할 때까지 셔터 값 패턴을 연결된 레지스터에 전파할 수 있다.

단계 401에서 셔터 값이 픽셀에서 수신되면, 단계 402가 발생할 수 있다. 단계 402에서, 픽셀은 각각 도 1의 레지스터(104) 또는 도 2 또는 도 3의 레지스터(208 또는 308)와 같은 레지스터로 셔터 값을 전송할 수 있다. 레지스터는 픽셀의 광 검출기와 연관된 스위치에 제어 신호를 전송할 수 있다. 일부 실시형태에서, 픽셀은 하나 이상의 광 검출기를 가질 수 있다. 하나 이상의 광 검출기가 있는 경우, 레지스터는 픽셀의 각 광 검출기와 연관된 각 스위치에 제어 신호를 전송할 수 있다.

단계 401에서 픽셀에 의해 수신된 셔터 값은 클록 사이클에 의해 타임스탬프될 수 있다. 각각의 클록 사이클에 대해, 단계 401는 픽셀에 새로운 셔터 값을 전송할 수 있지만, 그 값은 2, 3 또는 그 이상의 사이클과 같이 하나 이상의 클록 사이클에서 변경될 수 있다. 모든 후속 단계에서, 각 단계는 판독을 제외하고 클록 사이클당 한 번씩 수행될 수 있다.

단계 402에서 레지스터가 셔터 값을 전송하고 제어 신호를 픽셀의 스위치에 전송할 때, 값은 픽셀에 대한 전하 축적(403)을 인에이블하도록 설정될 수 있다. 값이 전하 축적을 인에이블하도록 설정되면, 픽셀에 대한 전하 축적이 발생할 수 있다. 전하 축적(403)은 단계 402가 신호를 전송하여 광 검출기에 전하를 계속 축적하는 한 지속될 수 있다. 이것은 하나 이상의 클록 사이클 동안 그리고 셔터 값이 온으로 설정되거나 판독될 때 발생할 수 있다.

일부 실시형태에서, 픽셀은 하나 이상의 광 검출기를 가질 수 있고, 단계 403은 연관된 제어 신호가 온으로 설정되거나 판독되는 각각의 광 검출기에 대해 픽셀에서의 전하 축적을 인에이블할 수 있다.

단계 402에서 레지스터가 셔터 값을 체크하고 그 값이 오프 또는 판독 안됨으로 설정될 때, 단계 404는 픽셀에 대한 전하 축적을 디스에이블할 수 있다. 전하 축적을 디스에이블하는 것은 단계 402가 광 검출기에 전하를 계속 축적하지 않도록 신호를 보내는 한 지속될 수 있다. 이것은 하나 이상의 클록 사이클 동안 그리고 셔터 값이 오프 또는 판독 안됨으로 설정될 때 발생할 수 있다.

일부 실시형태에서, 픽셀은 하나 이상의 광 검출기를 가질 수 있고, 단계 404는 연관된 제어 신호가 오프 또는 판독 안됨으로 설정되는 각각의 광 검출기에 대한 전하 축적을 디스에이블할 수 있다.

단계 405는 픽셀이 판독되어야 하는지를 체크할 수 있다. 도 1에 도시된 바와 같이, 행 선택 드라이버(107)가 행의 픽셀에 신호를 전송하고 판독을 위해 픽셀을 선택할 때 판독이 발생할 수 있다. 행 선택 드라이버(107)가 판독 신호를 전송하지 않는 경우, 단계 405는 단계 401로 되돌아갈 수 있다. 행 선택 드라이버(107)가 판독 신호를 전송할 때, 단계 405는 단계 406로 이어질 수 있다.

단계 406은 픽셀의 값을 판독할 수 있다. 픽셀은 축적된 전하를 갖거나 갖지 않은 경우 판독될 수 있다. 픽셀이 전하를 축적했다면, 도 2의 출력(207)과 같은 전압 출력 신호는 ISP(110)에 의해 추가로 처리되어 광자가 축적되었음을 나타내는 출력(111)으로 될 수 있는 신호를 열 판독기(109)에 전송할 수 있다. 판독이 단계 406에서 완료된 후, 프로세스(400)는 이미징이 완료되지 않는 한 반복될 수 있다. 판독이 완료되면 픽셀에서 리셋 또는 퀀칭이 발생하여 전하를 리셋할 수 있다. 예를 들어, 도 2의 리셋 스위치(206)는 축적된 전하를 제거하기 위해 닫힐 수 있고 그 다음 단계 401로 다시 이동하기 전에 열릴 수 있다.

도 5는 예시적인 픽셀 어레이(500)를 도시한다. 도 5의 예시적인 픽셀 어레이(500)에서, 4개의 행과 4개의 열의 픽셀이 있을 수 있으며, 즉, 16개의 픽셀이 있을 수 있다. 픽셀 어레이(500)의 각 픽셀은 도 2에 설명된 것과 동일한 구성을 사용할 수 있다. 예시적인 실시형태의 요소는 도 2 및 도 1과 유사하다. 픽셀 어레이(500)는 도 1의 센서(100)에서 픽셀 어레이(101)로서 사용될 수 있다. 예시적인 실시형태에서, 픽셀 어레이(500)의 픽셀은 하나의 광 검출기를 사용할 수 있지만, 임의의 픽셀 유형(공유 또는 단일 광 검출기)이 사용될 수 있다.

픽셀(501)은 픽셀 어레이(500)의 픽셀일 수 있고, 제 1 행, 제 1 열 픽셀일 수 있다. 픽셀(501)은 하나의 광 검출기(208)를 가질 수 있고, 레지스터 픽셀(501)은 셔터 패턴을 그 행의 이웃 픽셀에 전파할 수 있는 레지스터 출력을 가질 수 있다.

픽셀(502)은 픽셀 어레이(500)의 다른 픽셀일 수 있고, 제 2 행, 제 1 열 픽셀일 수 있다. 픽셀(502)은 셔터 패턴을 그 행의 이웃 픽셀에 전파할 수 있는 레지스터 출력을 가질 수 있다.

열 판독기 라인(503)은 픽셀(501) 및 픽셀(502)의 출력을 연결할 수 있다. 열 판독 이벤트 동안, 주어진 열의 각 픽셀에 대한 값이 순차적으로 판독될 수 있다. 값은 전압 신호일 수 있다. 예시적인 실시형태에서, 전압 신호는 각 픽셀 내부에 축적된 전하와 선형적으로 상관될 수 있다. 예를 들어, 제 1 열에는 4개의 픽셀(행당 픽셀)이 있을 수 있다. 판독(미도시)을 위해 행이 선택되면, 열 판독 이벤트가 있을 수 있다. 열 판독 이벤트 동안, 모든 픽셀의 전압 신호가 순차적으로 판독될 수 있다. 제 1, 제 2, 제 3 및 제 4 픽셀이 판독될 수 있다. 전하 데이터는 도 1의 열 판독기(109)과 같은 열 판독기에 저장될 수 있다. 그 다음, 데이터는 픽셀 어레이(500) 내의 픽셀 유형 및 애플리케이션에 의존할 수 있는 이미지 재구성, 색상 처리, 또는 다른 동작을 위해 사용될 수 있는 도 1의 ISP(110)와 같은 ISP 층에 의해 판독될 수 있다.

픽셀 어레이(500)의 픽셀은 셔터 패턴으로 로딩될 수 있다. 제 1 행의 픽셀이 선택되면, 마스크 패턴을 적용하기 위해 제어 신호가 픽셀에 전송(및 해당 레지스터에 의해 수신)될 수 있다. 픽셀(501)에서 볼 수 있는 바와 같이, 레지스터는 제어 신호를 수신하고 도 2와 유사한 2개의 출력(SHUTTER, SHUTTER_n)을 제공할 수 있다. 도 2에서, 제 1 신호(211)는 제 1 스위치(202)를 제어하기 위한 것일 수 있고, 제 2 신호(212)는 제 2 스위치(203)를 제어하기 위한 것일 수 있다. 픽셀 어레이(500)의 예시적인 픽셀에서, 레지스터는 상보적 출력을 가질 수 있으며, 이는 도 2의 레지스터(208)의 하나의 예시적 실시형태일 수 있다. 즉, 제 1 신호(211)가 하이이면 제 2 신호(212)는 로우이다. 레지스터(208)의 제 1 신호(211)가 하이로 설정될 때, 제 1 스위치(202)는 닫힐 수 있고 제 2 스위치(203)는 열릴 수 있고, 이는 전하가 픽셀에 축적되는 것을 허용하지 않을 수 있다. 레지스터(208)의 제 1 신호(211)가 로우로 설정될 때(따라서 제 2 출력(212)가 하이로 설정됨), 제 1 스위치(202)는 열릴 수 있고 제 2 스위치(203)는 닫힐 수 있고, 이는 전하가 픽셀에 축되는 것을 허용할 수 있다.

레지스터의 출력은 픽셀(501) 다음의 픽셀일 수 있는 제 3 픽셀(507)의 레지스터에 대한 입력으로서 사용될 수 있다. 즉, 셔터 패턴은 픽셀 어레이(500)의 모든 레지스터가 셔터 패턴 값을 유지할 때까지 하나의 픽셀의 레지스터로부터 다른 픽셀의 레지스터로 전파될 수 있다. 예를 들어, 픽셀(501)과 연관된 레지스터의 제 1 신호 출력을 픽셀(507)과 연관된 레지스터의 제어 신호 입력에 연결하는 연결(506)이 있을 수 있으며, 이는 픽셀 어레이(500)의 제 1 행, 제 2 열에 있을 수 있다. 유사한 연결이 다른 픽셀들 사이에 존재할 수 있는데, 행의 이전 픽셀은 동일한 행의 다음 픽셀과 연관된 레지스터의 제어 신호 입력에 연결되는 제 1 출력 신호를 가질 수 있다.

픽셀 어레이(500)는 다이의 하나의 층에 맞도록 물리적으로 설계될 수 있거나 다수의 다이 층에 맞도록 설계될 수 있다. 픽셀 어레이(500)의 구성 요소는 더 조밀한 필 팩터(fill factor)를 허용하도록 분리될 수 있다. 필 팩터는 픽셀 어레이(500)의 전체 표면적에 의해 나누어진 광 검출기의 면적일 수 있다. 픽셀의 모든 구성 요소(즉, 광 검출기, 스위치, 레지스터 등)가 단일 층에 있는 경우, 필 팩터는 픽셀의 구성 요소가 다수의 층에 있는 경우보다 낮을 수 있다. 예를 들어, 픽셀 어레이(500)의 포토다이오드만이 제 1 층에서 발견될 수 있고(더 높은 필 팩터가 될 수 있음), 픽셀 어레이(500)의 레지스터는 제 2 층에서 발견될 수 있다. (광 검출기의 평면을 따르는) 2차원 단면적은 단층 구성보다 다층 구성에서 더 작을 수 있다. 이것은 더 작은 센서를 허용할 수 있다. 대안으로, 주어진 풋프린트 영역 내에서 더 많은 광 검출기를 허용할 수 있다. 이 3차원 설계는 다음에 설명될 것이다.

도 6은 센서 아키텍처의 예시적인 적층 아키텍처(600) 및 그 내부의 픽셀을 도시한다. 적층 아키텍처(600)는 비적층 아키텍처보다 더 작은 2차원 단면을 가질 수 있고 아키텍처의 요소가 3차원으로 패킹될 수 있기 때문일 수 있다. 적층 아키텍처(600)는 2개 층의 3차원(3D) 적층의 하나의 예일 수 있고 CIS, QIS 또는 CCD와 같은 아날로그 픽셀/광 검출기를 사용할 수 있다. 일부 실시형태에서, 적층 아키텍처(600)에는 2개의 층이 있을 수 있다. 일부 실시형태에서, 모든 층은 동일한 패키지에서 물리적으로 발견될 수 있다. 다른 예시적인 실시형태에서, 적층 아키텍처(600)는 포토다이오드를 사용하는 아날로그-픽셀을 위한 것일 수 있다.

적층 아키텍처(600)는 제 1 다이 층(601) 및 제 2 다이 층(602)을 가질 수 있다. 제 1 다이 층(601)은 제 2 다이 층(602) 상에 적층될 수 있다. 제 1 다이 층(601)은 행 선택 드라이버(603), 열 판독기(604) 및 광 검출기 어레이(605)를 포함할 수 있다. 제 1 다이 층(601)을 제 2 다이 층(602)에 연결하는 커넥터(617)가 있을 수 있다. 일부 실시형태에서, 커넥터(617)는 2개의 층(601 및 602) 사이의 마이크로범프, 마이크로필러, 솔더 볼, 또는 하이브리드 본딩일 수 있다.

광 검출기 어레이(605)는 제 1 다이 층(601) 상에 물리적으로 위치한 광 검출기 어레이일 수 있다. 광 검출기 어레이(605)와 함께 도 5의 픽셀 어레이(500)와 같은 픽셀 어레이일 수 있는 제 2 다이 층(602) 상에 레지스터 어레이(613)가 있을 수 있다.

제 2 다이 층(602)은 패턴 생성기(612), 레지스터 어레이(613), ISP(615) 및 출력(616)을 포함할 수 있다. 층(601 및 602) 사이에는 층(601) 및 층(602)의 요소 사이에 전기적 연결을 형성할 수 있는 커넥터 어레이(617)가 있을 수 있다.

또한, 아키텍처(600)의 모든 요소는 단일 층 센서 아키텍처에 비해 더 컴팩트한 센서를 형성할 수 있다. 2개 이상의 층에 요소를 적층함으로써, 광 검출기 어레이(605)는 더 높은 필 팩터를 가질 수 있고, 이는 더 높은 감도의 광 검출을 가능하게 할 수 있다. 또한, 이 배열은 아키텍처(600)의 각 계층에 대해 서로 다른 프로세스 노드의 사용을 가능하게 하거나 프로세스 노드가 동일할 수 있다. 아키텍처(600)는 2개의 적층된 층을 나타내지만, 도 7에서 논의될 수 있는 더 많은 적층된 층이 있을 수 있다.

삽입된 부분에 초점을 맞추면, 픽셀(606)은 2개의 층으로 물리적으로 구성될 수 있는 픽셀 어레이의 픽셀이며, 여기서 하나의 층은 광 검출기 어레이(605)에 있을 수 있고 제 2 층은 레지스터 어레이(613)에 있을 수 있다. 삽입도에 도시된 바와 같이, 픽셀(606)은 행 선택 라인(607), 열 판독기(614), 광 검출기(608), 커넥터(610a), 커넥터(610b), 셔터 패턴(609) 및 레지스터(614)를 포함할 수 있다.

일부 실시형태에서, 픽셀(606)은 제 1 다이 층(601) 상에 일부 구성 요소를 그리고 제 2 다이 층(602) 상에 다른 구성 요소를 가질 수 있다. 예시적인 실시형태에서, 제 1 다이 층(601)에서 발견될 수 있는 픽셀(606)의 구성 요소는 광 검출기(608), 행 선택 라인(607), 열 판독기(614) 및 커넥터(610a)의 상단 절반을 포함할 수 있다. 제 2 다이 층(602)에서 발견될 수 있는 픽셀(606)의 구성 요소는 레지스터(614), 하우징 셔터 패턴(609) 및 커넥터(610b)의 하단 절반을 포함할 수 있다. 커넥터(610a 및 610b)는 2개의 다이 층(601 및 602) 사이의 커넥터(617)의 하나의 연결의 상단 및 하단 절반일 수 있다. 유사하게, 커넥터(617)는 상단 및 하단 절반 커넥터(미도시)를 가질 수 있다. 일부 실시형태에서, 커넥터(610a 및 610b)는 물리적 다이 층 사이의 전기적 접촉을 가능하게 하는 마이크로범프, 마이크로필러, 솔더 볼, 하이브리드 본드, 또는 임의의 다른 형태의 연결일 수 있다.

도 7은 3개의 적층된 다이 층을 갖는 아키텍처(700)를 도시한다.

예시적인 실시형태에서, 아키텍처(700)는 CIS, QIS 또는 CCD와 같은 아날로그 픽셀/광 검출기를 사용할 수 있다. 도 7은 도 6의 요소를 포함할 수 있지만 일부 요소는 다른 다이 층에 있을 수 있다.

광 검출기 어레이(605), 행 선택 드라이버(603) 및 열 판독기(604)를 포함할 수 있는 제 1 다이 층(701)이 있을 수 있다. 패턴 생성기(612) 및 레지스터 어레이(613)를 포함할 수 있는 제 2 층(702)이 있을 수 있다. 마지막으로, 도 6a의 ISP(615)일 수 있는 ISP(704)를 포함할 수 있는 제 3 층(703)이 있을 수 있다.

아키텍처(700)에는 커넥터(705 및 706)가 있을 수 있다. 커넥터(705)는 층(701 및 702)을 연결할 수 있다. 커넥터(706)는 층(702)과 층(703)을 연결할 수 있다. 커넥터(705 및 706)는 전기적 접촉을 제공하는 마이크로범프, 마이크로필러, 솔더 볼, 하이브리드 본딩 또는 임의의 다른 연결일 수 있다.

도 6 및 도 7은 아날로그 픽셀에 대한 2층 및 3층 옵션을 도시한다. 대안적인 실시형태에서는 더 많은 다이 층이 있을 수 있다. 아날로그 픽셀은 전하를 축적할 수 있고, 축적된 전하는 디지털 신호(즉, 온 또는 오프, 광 검출 이벤트 발생 또는 발생하지 않음)로 변환될 수 있는 전압 신호일 수 있다. 아날로그 픽셀 외에도, 디지털 픽셀이 센서에 사용될 수 있다. 디지털 픽셀은 디지털(온/오프, 디지털 카운트) 신호를 포함할 수 있다. 예를 들어, SPAD 픽셀이 센서에 사용될 수 있다. 이하의 2개의 도면은 2개 및 4개 층을 갖는 예시적인 디지털 픽셀 아키텍처를 도시한다. 동작 및 출력에는 많은 유사점이 있을 수 있지만 아날로그 및 디지털 픽셀의 센서 아키텍처 간에는 약간의 중간 차이가 있을 수 있다.

도 8은 SPAD와 같은 디지털 픽셀을 사용할 수 있는 예시적인 적층 아키텍처(800) 및 그 내부의 픽셀을 도시한다. 적층 아키텍처(800)는 2개의 다이 층을 가질 수 있지만, 임의의 수의 층이 사용될 수 있다.

적층 아키텍처(800)는 제 1 다이 층(801) 및 제 2 다이 층(802)을 가질 수 있다. 제 1 다이 층(801)은 제 2 다이 층(802) 상에 적층될 수 있다. 제 1 다이 층(801)은 바이어스 생성기(803) 및 광 검출기 어레이(804)를 포함할 수 있다. 바이어스 생성기(803)는 상이한 전압 또는 전류 레퍼런스를 생성할 수 있고 광 검출을 위해 광 검출기 어레이(804)와 함께 사용될 수 있다. 제 1 다이 층(801)을 제 2 다이 층(802)에 연결하는 커넥터(805)가 있을 수 있다. 일부 실시형태에서, 2개의 층(801 및 802) 사이에 마이크로범프, 마이크로필러, 솔더 볼 또는 하이브리드 본딩이 있을 수 있지만, 전기적 연결을 위한 임의의 방법이 사용될 수 있다.

광 검출기 어레이(804)는 제 1 다이 층(801) 상에 물리적으로 위치한 광 검출기 어레이일 수 있다. 광 검출기 어레이(804)와 함께 도 5의 픽셀 어레이(500)와 같은 픽셀 어레이의 일부일 수 있는 제 2 다이 층(802) 상에 레지스터 어레이(806)가 있을 수 있다. 또한, 픽셀 어레이의 일부일 수 있는 제 2 다이 층(802) 상에 래치 어레이(808) 및 메모리 어레이(809)가 있을 수 있다. 이들 요소는 픽셀(807)과 함께 도 8b의 유닛 레벨에서 설명될 것이다.

적층 아키텍처(800)로 돌아가서, 제 2 다이 층(802)은 패턴 생성기(819), 레지스터 어레이(806), 래치 어레이(808), 메모리 어레이(809), 행 드라이버(820) 및 감지 증폭기(821)를 포함할 수 있다. 패턴 생성기(819)는 레지스터 어레이(806)에 로딩될 수 있는 셔터 패턴을 생성할 수 있다. 다른 실시형태에서, 패턴 생성기(819)는 셔터 패턴을 수신한 후 그 수신된 셔터 패턴 값을 레지스터 어레이(806)에 로딩할 수 있다.

래치 어레이(808)는 광 검출기 어레이(804)의 광 검출기로부터 추가적인 카운트를 축적할 수 있다. 메모리 어레이(809)는 광 검출기 어레이(804)의 광 검출기로부터의 광 검출 값을 저장할 수 있다. 행 드라이버(820)는 판독될 수 있는 광 검출기 어레이(804)의 행을 선택할 수 있다. 감지 증폭기(821)는 행 드라이버(820)가 광 검출기의 행을 선택할 때 광 검출기 어레이(804)의 값을 판독할 수 있다.

또한, 아키텍처(800)의 모든 요소는 유사한 구성 요소를 갖는 단층 센서 아키텍처에 비해 더 작은 센서를 형성할 수 있다. 2개 이상의 층에 요소를 적층함으로써, 광 검출기 어레이(804)는 더 높은 필 팩터를 가질 수 있고, 이는 더 높은 감도의 광 검출을 가능하게 할 수 있다. 아키텍처(800)의 각 요소에 대해 서로 다른 프로세스 노드가 있을 수 있거나 프로세스 노드가 동일할 수 있다. 아키텍처(800)는 2개의 적층된 층을 나타내지만, 더 많은 적층된 층이 있을 수 있다.

픽셀(807)은 2개의 층으로 물리적으로 구성될 수 있는 픽셀 어레이의 픽셀일 수 있으며, 여기서 제 1 다이 층(801) 상에는 광 검출기(816)가 있을 수 있고 제 2 다이 층(802) 상에는 셔터 패턴(814), 래치/카운터(812), 행 선택(810), 셔터 제어 신호(815), 감지 증폭기 라인(811) 및 메모리(817)에 대해 데이터를 수용하는 레지스터(813)가 있을 수 있다. 일부 실시형태에서, 픽셀(807)은 제 1 다이 층(801) 상의 구성 요소 및 제 2 다이 층(802) 상의 다른 구성 요소의 교대 배열을 가질 수 있다. 커넥터(818A 및 818B)도 있을 수 있다. 커넥터(818A)는 상단 다이 층을 위한 것일 수 있고 커넥터(818B)는 하단 다이 층을 위한 것일 수 있다. 커넥터(818A) 및 커넥터(818B)는 픽셀(807)에 대한 2개의 다이 층(801 및 802) 사이에 전기적 연결을 형성할 수 있다. 일부 실시형태에서, 커넥터(818A 및 818B)는 물리적 다이 층 사이의 전기적 접촉을 가능하게 하는 마이크로범프, 마이크로필러, 솔더 볼, 하이브리드 본드, 또는 임의의 다른 형태의 연결일 수 있다.

광 검출기(816)는 예를 들어 2×2 구성의 SPAD일 수 있으며, 즉 픽셀(807)은 공유 픽셀일 수 있다. 셔터 패턴(814)은 레지스터(813)로의 입력일 수 있다. 레지스터(813)는 셔터 패턴(814)을 수신할 수 있고 4개의 광 검출기(816)의 전하 축적을 제어할 수 있는 셔터 제어 신호(815)를 출력할 수 있다. 광 검출기(816)의 각 광 검출기에 대해 하나 이상의 제어 신호(815)가 있을 수 있다. 메모리(817)는 광 검출기(816)로부터의 값을 저장할 수 있다. 예시적인 실시형태에서, 메모리(817)는 SRAM일 수 있지만, 임의의 유형의 메모리일 수 있다. 행 선택(810)은 판독을 위해 픽셀(816)을 선택할 수 있고, 감지 증폭기 라인(811)은 열 판독기일 수 있고 메모리(817)로부터 판독될 수 있다.

도 9는 예시적인 적층 아키텍처(900)를 도시한다.

적층 아키텍처(900)는 도 8a의 동일한 요소를 가질 수 있지만 다른 구성일 수 있다. 공유 요소는 도 8에서와 동일하게 동작할 수 있으므로, 아래에서 다시 자세히 설명하지 않을 수 있다. 적층 아키텍처(900)는 4개의 다이 층의 3D 적층의 예일 수 있고 SPAD와 같은 디지털 픽셀/광 검출기를 사용할 수 있다. 일부 실시형태에서, 서로 수직으로 적층된 4개의 층이 있을 수 있다. 다른 실시형태에서, 일부 층은 수직으로 적층될 수 있는 반면, 다른 층은 수평 위치에서 층에 인접할 수 있다.

적층 아키텍처(900)는 제 1 다이 층(901)을 가질 수 있다. 제 1 다이 층은 광 검출기 어레이(804) 및 바이어스 생성기(803)를 포함할 수 있다. 광 검출기 어레이(804)는 전자기 스펙트럼의 파장을 검출할 수 있는 광 검출 요소를 포함할 수 있다. 예시적인 실시형태에서, 광 검출기 어레이(804)는 가시광선을 검출할 수 있지만, 다른 파장 범위도 다른 실시형태에 적용될 수 있다. 바이어스 생성기(803)는 광 검출기 어레이(804)의 광 검출기에 대한 상이한 전압 또는 전류 레퍼런스를 생성하는 데 사용될 수 있다. 바이어스 생성기(803)는 또한 제 2 다이 층(902) 또는 제 3 다이 층(903)에서 발견될 수 있지만, 다른 다이 층에서 발견될 수도 있다.

적층 아키텍처(900)는 제 2 다이 층(902)을 가질 수 있다. 제 1 다이 층(901)과 제 2 다이 층(902)을 전기적으로 연결하는 커넥터(907)가 있을 수 있다. 제 2 다이 층(902)은 패턴 생성기(819) 및 레지스터 어레이(806)를 포함할 수 있다. 패턴 생성기(819)는 셔터 패턴을 생성할 수 있거나 미리 로딩된 셔터 패턴을 수신할 수 있다. 패턴 생성기(819)는 셔터 패턴을 레지스터 어레이(806)로 전송할 수 있고, 레지스터 어레이는 이 정보를 사용하여 광 검출기 어레이(804)에서 전하 축적/광 검출을 인에이블하게 하거나 디스에이블하게 할 수 있다.

제 3 다이 층(903)이 있을 수 있다. 제 2 다이 층(902)과 제 3 다이 층(903)을 전기적으로 연결하는 커넥터(910)가 있을 수 있다. 제 3 다이 층(903)은 메모리 어레이(809), 래치 어레이(808) 및 행 드라이버(820)를 포함할 수 있다. 메모리 어레이(809)는 광 검출기 어레이(804)로부터의 값을 저장할 수 있다. 래치 어레이(808)는 광 검출기 어레이(804)로부터 추가적인 카운트를 축적할 수 있다. 행 드라이버(820)는 판독을 위해 광 검출기 어레이(804)의 행을 선택할 수 있다.

제 4 다이 층(904)이 있을 수 있다. 제 3 다이 층(903)과 제 4 다이 층(904)을 전기적으로 연결하는 커넥터(914)가 있을 수 있다. 제 4 다이 층(904)은 감지 증폭기(821) 및 ISP(916)를 포함할 수 있다. 감지 증폭기(821)는 메모리 어레이(809)로부터 값을 판독하기 위해 행 드라이버(820)와 함께 사용될 수 있다. ISP(916)는 메모리 어레이(809)의 판독값을 처리하기 위해 사용될 수 있다.

도 6 내지 도 9의 상기 예시적인 실시형태는 셔터 패턴을 생성하거나 로딩하기 위해 패턴 생성기를 사용할 수 있다. 이 셔터 패턴은 전기 셔터일 수 있다. 일부 실시형태에서, 광학 마스크가 전기 셔터 대신에 또는 전기 셔터와 조합되어 사용될 수 있다.

도 10은 전기 셔터 패턴과 결합된 광학 마스크의 예시적인 아키텍처(1000)를 도시한다. 센서 아키텍처(1002)의 상단에 광학 마스크(1001)가 있을 수 있다. 광학 마스크(1001)는 액정일 수 있지만, 광 검출을 차단할 수 있는 임의의 다른 유형의 마스크일 수 있다. 예를 들어, 광학 마스크(1001)는 광 검출기 어레이의 각 광 검출기로의 광의 통과 또는 차단을 정밀하게 제어하기 위해 MEMS 액추에이터 어레이를 가질 수 있다.

이미징을 수행할 때, 광학 마스크(1001)와 센서 아키텍처(1002)의 디지털 셔터 패턴(미도시)이 모두 사용될 수 있거나, 둘 중 하나가 디스에이블되고 다른 하나가 사용될 수 있다.

도 6 내지 도 10의 상기 예시적인 실시형태는 모두 이미징을 위해 사용될 셔터 패턴을 생성할 수 있다.

도 11은 셔터 생성을 위한 프로세스(1100)를 도시한다.

프로세스(1101)는 셔터 패턴 유형을 결정하는 것일 수 있다. 앞서 설명한 바와 같이, 공간적, 시간적, 공간적-시간적 또는 조합된 광학 마스크 및 전기 셔터 패턴 옵션이 있을 수 있다. 결합된 광학 마스크 및 전기 셔터 패턴 옵션에서, 광학 마스크 부분은 공간적 압축 옵션을 사용할 수 있고 전기 셔터 패턴 부분은 (디스에이블되는 것을 포함한) 임의의 유형일 수 있다.

프로세스(1102)는 단계 1101에서 선택된 셔터 패턴을 생성할 수 있다. 셔터 패턴은 온칩 또는 오프칩으로 생성될 수 있으며, 즉, 온라인으로 생성되거나 사용을 위해 사전 로딩될 수 있다. 온칩 셔터 생성은 의사 랜덤 생성기로 수행될 수 있다. 오프칩 셔터 생성은 컴퓨터에 의해 수행되고 그 다음 메모리 온 칩에 로딩될 수 있다.

프로세스(1103)는 프로세스(1102)로부터 생성된 셔터 패턴을 전송하는 것일 수 있다. 셔터 패턴을 전송하는 것은 패턴 생성기로부터 레지스터 어레이에 전송되는 것일 수 있다. 레지스터 어레이는 셔터 패턴을 순차적으로 또는 임의의 순서로 전파할 수 있다. 예를 들어, 제 1 행에서, 셔터 패턴은 제 1 레지스터에 의해 수신될 수 있으며, 그 후 패턴은 모든 레지스터가 셔터 패턴으로 로딩될 때까지 행의 제 2, 제 3 및 후속 레지스터로 전파될 수 있다. 예시적인 실시형태에서, 4개의 레지스터 열이 있는 경우, 셔터 패턴이 레지스터 어레이에 완전히 로딩되는 데 4개의 클록 사이클이 걸릴 수 있다.

프로세스(1104)는 로딩된 셔터 패턴을 광 검출기 어레이에 적용하는 것일 수 있다. 셔터 패턴 값은 이진수(1 또는 0)일 수 있으며 광 검출기에서 전하 축적을 인에이블하거나 디스에이블할 수 있다. 일부 실시형태에서, 광 검출기당 하나의 셔터 패턴 값이 있을 수 있다. 다른 실시형태에서, 2개 이상의 광 검출기 사이에 공유되는 하나의 셔터 값 패턴이 있을 수 있다.

프로세스(1105)는 생성될 새로운 셔터 패턴을 체크하는 것일 수 있다. 새로운 셔터 패턴은 클록 사이클당 한 번 생성될 수 있지만 2개의 클록 사이클당 한 번 이상처럼 더 느릴 수 있다. 새로운 셔터 패턴에 변경이 없으면, 동일한 셔터 패턴이 남아 있거나 레지스터 어레이에 적용된 셔터 패턴이 지워질 수 있으며, 즉, 모든 광 검출기가 이미징에 사용될 수 있다. 새로운 셔터 패턴에 변경이 있는 경우, 프로세스(1105)는 프로세스(1102)로 루프백할 수 있다.

프로세스(1100)의 결과는 광 검출기 어레이로부터 광 검출기 값의 판독으로 이어질 수 있다. 앞서 설명한 바와 같이, 행 선택은 판독을 위해 행을 선택할 수 있고, 열 판독기는 각 열에 대한 선택된 행을 판독할 수 있다. ISP는 판독된 데이터를 처리하고 압축 해제 또는 기타 이미지 처리 작업을 수행할 수 있다.

앞에서 설명한 바와 같이, 레지스터는 다수의 광 검출기와 제어 신호 값을 공유할 수 있다. 도 12는 광 검출기가 레지스터를 공유할 수 있는 대체 실시형태를 도시한다.

픽셀 어레이(1200)가 있을 수 있다. 도 12의 예에서, 픽셀 어레이(1200)는 4×4 픽셀 어레이일 수 있다. 픽셀 어레이(1200)는 공유 레지스터 구성을 가질 수 있다.

예를 들어, 시프트 레지스터(1201)는 스위치 세트(1202)에 하나의 제어 신호를 전송할 수 있다. 스위치 세트(1202)는 광 검출기 세트(1203)에 대한 전하 축적을 인에이블하게 하거나 디스에이블하게 하도록 구성된 스위치이다. 광 검출기 세트(1203)는 4개의 광 검출기일 수 있다. 시프트 레지스터(1201)는 도 6a의 제 2 다이 층(602)과 같은 하부 다이 층에서 발견될 수 있다. 광 검출기 세트(1203) 및 스위치 세트(1202)는 도 6a의 제 1 다이 층(601)과 같은 상부 다이 층에서 발견될 수 있다. 또한, 이 구성은 모든 요소가 단일 다이 층에서 발견되는 경우보다 구성이 더 작을 수 있으므로 3차원에서 더 쉬운 라우팅을 가능하게 할 수 있다. 시프트 레지스터(1201) 및 스위치 세트(1202)가 하부 다이 층 상에 있고 광 검출기 세트(1203)가 상부 다이 층 상에 있는 것과 같은 요소들의 다른 조합이 존재할 수 있다.

픽셀 어레이(1200)는 공간적-시간적 압축 옵션이 사용될 때 사용될 수 있다. 예를 들어, 4개의 2×2 픽셀 서브세트(1204, 1205, 1206 및 1207)가 있을 수 있다. 공간적-시간적 압축의 공간 부분 동안에, 각 2×2 서브세트는 하나의 출력 값이 될 수 있다. 시프트 레지스터(1201)는 각각의 픽셀 서브세트(1204-1207)에 있는 4개의 레지스터 중 하나에 하나의 값을 전송할 수 있다. 유사하게, 각 픽셀 서브세트(1204-1207)의 다른 광 검출기에서의 전하 축적을 제어할 수 있는 연관된 스위치에 셔터 값을 전송하기 위해 픽셀 서브세트(1204-1207)당 3개의 다른 레지스터(미도시)가 있을 수 있다.

본 명세서에 기술된 주제 및 동작의 실시형태는 디지털 전자 회로, 또는 본 명세서에 개시된 구조 및 이들의 구조적 등가물을 포함한 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어로, 또는 이들 중 하나 이상의 조합으로 구현될 수 있다. 본 명세서에 기술된 주제의 실시형태는 데이터 처리 장치의 동작에 의한 실행 또는 그 동작을 제어하기 위해 컴퓨터 저장 매체에 인코딩되는 하나 이상의 컴퓨터 프로그램, 즉 컴퓨터 프로그램 명령의 하나 이상의 모듈로서 구현될 수 있다. 대안적으로 또는 추가로, 프로그램 명령은 인위적으로 생성된 전파 신호, 예를 들어, 데이터 처리 장치에 의한 실행을 위해 적절한 수신기 장치로의 전송을 위해 정보를 인코딩하도록 생성된 기계 생성 전기, 광학 또는 전자기 신호 상에 인코딩될 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 저장 장치, 컴퓨터 판독 가능 저장 기판, 랜덤 또는 직렬 액세스 메모리 어레이 또는 장치, 또는 이들의 조합일 수 있거나 이에 포함될 수 있다. 또한, 컴퓨터 저장 매체는 전파된 신호가 아니지만 컴퓨터 저장 매체는 인공적으로 생성된 전파 신호에 인코딩된 컴퓨터 프로그램 명령의 소스 또는 대상이 될 수 있다. 컴퓨터 저장 매체는 또한 하나 이상의 별도의 물리적 구성 요소 또는 매체(예를 들어, 다수의 CD, 디스크 또는 기타 저장 장치)이거나 이에 포함될 수 있다. 또한, 본 명세서에서 설명하는 동작은 하나 이상의 컴퓨터 판독 가능 저장 장치에 저장되거나 다른 소스로부터 수신된 데이터에 대해 데이터 처리 장치에 의해 수행되는 동작으로서 구현될 수 있다.

본 명세서는 많은 특정 구현 세부사항을 포함할 수 있지만, 구현 세부사항은 청구된 주제의 범위에 대한 제한으로 해석되어서는 안되며, 오히려 특정 실시형태에 특정한 특징에 대한 설명으로 해석되어야 한다. 별도의 실시형태의 맥락에서 본 명세서에 설명된 특정 특징은 또한 단일 실시형태에서 조합하여 구현될 수 있다. 역으로, 단일 실시형태의 맥락에서 설명된 다양한 특징은 또한 다수의 실시형태에서 개별적으로 또는 임의의 적합한 하위 조합으로 구현될 수 있다. 더욱이, 특징이 특정 조합에서 작용하는 것으로 위에서 기술될 수 있고 심지어 초기에 그렇게 주장될지라도, 청구된 조합으로부터의 하나 이상의 특징은 경우에 따라 조합에서 제외될 수 있고, 청구된 조합은 하위 조합 또는 하위 조합의 변형에 관한 것일 수 있다.

유사하게, 동작이 특정 순서로 도면에 도시되어 있지만, 이는 바람직한 결과를 달성하기 위해 이러한 동작이 도시된 특정 순서로 또는 순차적인 순서로 수행되거나 모든 예시된 동작이 수행될 것을 요구하는 것으로 이해되어서는 안 된다. 특정 상황에서, 멀티태스킹 및 병렬 처리가 유리할 수 있다. 더욱이, 위에서 설명한 실시형태에서 다양한 시스템 구성 요소의 분리는 모든 실시형태에서 이러한 분리를 요구하는 것으로 이해되어서는 안되며, 기술된 프로그램 구성 요소 및 시스템이 일반적으로 단일 소프트웨어 제품에 함께 통합되거나 다수의 소프트웨어 제품에 패키징될 수 있음을 이해해야 한다.

따라서, 본 주제의 특정 실시형태가 본 명세서에서 설명되었다. 다른 실시형태는 이하의 청구 범위 내에 있다. 일부 경우에, 청구범위에 명시된 동작이 다른 순서로 수행되어도 여전히 원하는 결과를 얻을 수 있다. 또한 첨부된 도면에 도시된 프로세스는 원하는 결과를 얻기 위해 표시된 특정 순서 또는 순차적인 순서를 반드시 요구하지는 않는다. 특정 구현에서, 멀티태스킹 및 병렬 처리가 유리할 수 있다.

당업자에 의해 인식되는 바와 같이, 본 명세서에 기술된 혁신적인 개념은 광범위한 적용에 걸쳐 수정 및 변경될 수 있다. 따라서, 청구된 주제의 범위는 위에서 논의된 특정한 예시적인 교시에 제한되어서는 안되며, 대신 이하의 청구범위에 의해 정의된다.

본 발명의 실시형태는 제한 없이 다음과 같이 확장될 수 있다.

진술 1: 제 1 다이 층 상에 위치한 광 검출기 어레이, 제 2 다이 층 상에 위치한 레지스터 어레이, 행 선택 드라이버, 열 판독기, 패턴 생성기, 이미지 신호 프로세서를 포함하고, 제 1 다이 층은 제 2 다이 층에 적층된, 센서.

진술 2: 진술 1에 있어서, 광 검출기 어레이는 포토다이오드, SPAD, CIS, QIS 또는 CCD 중 적어도 하나를 포함하는, 센서.

진술 3: 진술 1에 있어서, 행 선택 드라이버는 제 1 다이 층 상에 위치하는, 센서.

진술 4: 진술 1에 있어서, 열 판독기는 제 1 다이 층 상에 위치하는, 센서.

진술 5: 진술 1에 있어서, 패턴 발생기는 제 2 다이 층 상에 위치하는, 센서.

진술 6: 진술 1에 있어서, 이미지 신호 프로세서는 제 2 다이 층 상에 위치하는, 센서.

진술 7: 진술 1에 있어서, 레지스터 어레이 내의 적어도 하나의 레지스터는 하나의 제어 신호를 광 검출기 어레이 내의 하나의 광 검출기에 출력하는, 센서.

진술 8: 진술 1에 있어서, 레지스터 어레이 내의 적어도 하나의 레지스터는 하나의 제어 신호를 광 검출기 어레이 내의 2개 이상의 광 검출기에 출력하는, 센서.

진술 9: 진술 1에 있어서, 센서는 제 1 다이 층 위에 수직으로 위치된 광학 마스크를 더 포함하는, 센서.

진술 10: 진술 1에 있어서, 센서는 제 3 층을 더 포함하고 제 3 층 상에 위치한 패턴 생성기, 레지스터 어레이, 이미지 신호 프로세서 또는 메모리 중 적어도 하나를 갖는, 센서.

진술 11: 진술 1에 있어서, 제 1 다이 층 및 제 2 다이 층은 마이크로범프, 마이크로필러, 솔더 볼 또는 하이브리드 본딩으로 전기적으로 연결되는, 센서.

진술 12: 제 1 다이 층 상에 셔터 패턴을 생성하는 단계, 셔터 패턴을 제 1 다이 층 상의 레지스터 어레이에 전송하는 단계, 레지스터 어레이로부터의 제어 신호 값을 제 2 다이 층 상의 광 검출기 어레이의 스위치에 출력하는 단계, 제어 신호 값이 인에이블로 설정된 경우 광 검출기 어레이의 광 검출기에서 전하 축적을 인에이블하는 단계, 제어 신호 값이 디스에이블로 설정된 경우 광 검출기 어레이의 광 검출기에서 전하 축적을 디스에이블하는 단계, 및 제 1 다이 층 상의 축적된 전하 값을 판독하는 단계를 포함하는 이미징 방법.

진술 13: 진술 12에 있어서, 인에이블된 전하 축적은 제 1 다이 층의 제 1 메모리에 저장되는, 이미징 방법.

진술 14: 진술 12에 있어서, 제 1 다이 층 상의 축적된 전하 값을 판독하는 단계는 광 검출기 어레이의 적어도 하나의 행을 선택하는 단계와 선택된 적어도 하나의 행의 값을 제 2 다이 층 상의 열 판독기에 전송하는 단계를 더 포함하는, 이미징 방법.

진술 15: 진술 12에 있어서, 제 1 다이 층 상의 레지스터 어레이에 셔터 패턴을 전송하는 단계는, 제 1 클록 사이클 동안 제 1 픽셀과 연관된 제 1 레지스터에서 셔터 패턴의 일부를 수신하는 단계, 및 제 2 클록 사이클 동안 셔터 패턴의 일부를 제 1 레지스터로부터 제 2 픽셀과 연관된 제 2 레지스터에 전송하는 단계를 포함하는, 이미징 방법.

진술 16: 진술 15에 있어서, 클록 사이클의 속도는 압축 비율과 프레임 레이트의 곱일 수 있는, 이미징 방법.

진술 17: 제 1 다이 층 상의 광 검출기 어레이, 제 2 다이 층 상의 레지스터 어레이, 메모리 어레이, 이미지 신호 프로세서, 행 드라이버, 패턴 발생기 및 열 판독기를 포함하고, 제 1 다이 층 및 제 2 다이 층은 수직으로 적층되는, 센서.

진술 18: 진술 17에 있어서, 메모리 어레이는 제 2 다이 층 또는 제 3 다이 층 상에 있는, 센서.

진술 19: 진술 17에 있어서, 이미지 신호 프로세서는 제 2 다이 층, 제 3 다이 층, 또는 제 4 다이 층 상에 있는, 센서.

진술 20: 진술 17에 있어서, 패턴 발생기는 제 2 다이 층 또는 제 3 다이 층 상에 있는, 센서.

진술 21: 진술 17에 있어서, 센서는 제 2 다이 층, 제 3 다이 층, 또는 제 4 다이 층 상에 있는 메모리 어레이 및 래치 어레이를 더 포함하는, 센서.

진술 22: 진술 17에 있어서, 제 1 다이 층 및 제 2 다이 층은 마이크로범프, 마이크로필러, 솔더 볼 또는 하이브리드 본딩으로 전기적으로 연결되는, 센서.

Claims (20)

1. 제 1 다이 층 상에 위치한 광 검출기 어레이;
   제 2 다이 층에 위치한 레지스터 어레이;
   행 선택 드라이버;
   열 판독기;
   패턴 생성기; 및
   이미지 신호 프로세서를 포함하되,
   상기 제 1 다이 층은 상기 제 2 다이 층 상에 적층되는, 센서.
2. 제1항에 있어서,
   상기 광 검출기 어레이는 포토다이오드, SPAD, CIS, QIS 또는 CCD 중 적어도 하나를 포함하는, 센서.
3. 제1항에 있어서,
   상기 행 선택 드라이버는 상기 제 1 다이 층 상에 위치하는, 센서.
4. 제1항에 있어서,
   상기 열 판독기는 상기 제 1 다이 층 상에 위치하는, 센서.
5. 제1항에 있어서,
   상기 패턴 생성기는 상기 제 2 다이 층 상에 위치하는, 센서.
6. 제1항에 있어서,
   상기 이미지 신호 프로세서는 상기 제 2 다이 층 상에 위치하는, 센서.
7. 제1항에 있어서,
   상기 레지스터 어레이 내의 적어도 하나의 레지스터는 상기 광 검출기 어레이 내의 하나의 광 검출기에 하나의 제어 신호를 출력하는, 센서.
8. 제1항에 있어서,
   상기 레지스터 어레이 내의 적어도 하나의 레지스터는 상기 광 검출기 어레이 내의 2개 이상의 광 검출기에 하나의 제어 신호를 출력하는, 센서.
9. 제1항에 있어서,
   상기 센서는 상기 제 1 다이 층 위에 수직으로 위치하는 광학 마스크를 더 포함하는, 센서.
10. 제1항에 있어서,
    상기 센서는 제 3 층을 더 포함하고,
    상기 제 3 층에 위치한 패턴 발생기, 레지스터 어레이, 이미지 신호 프로세서 또는 메모리 중 적어도 하나를 더 포함하는, 센서.
11. 제1항에 있어서,
    상기 제 1 다이 층과 상기 제 2 다이 층은 마이크로범프, 마이크로필러, 솔더 볼 또는 하이브리드 본딩으로 전기적으로 연결되는, 센서.
12. 이미지를 생성하는 방법으로,
    제 1 다이 층 상에 셔터 패턴을 생성하는 단계;
    상기 셔터 패턴을 상기 제 1 다이 층의 레지스터 어레이에 전송하는 단계;
    상기 레지스터 어레이로부터의 제어 신호 값을 제 2 다이 층 상의 광 검출기 어레이의 스위치에 출력하는 단계;
    상기 제어 신호 값이 인에이블로 설정될 때 상기 광 검출기 어레이의 광 검출기에서의 전하 축적을 인에이블하는 단계;
    상기 제어 신호 값이 디스에이블로 설정된 경우 상기 광 검출기 어레이의 광 검출기에서의 전하 축적을 디스에이블하는 단계; 및
    상기 제 1 다이 층 상의 상기 축적된 전하 값을 판독하는 단계를 포함하는, 이미징 방법.
13. 제12항에 있어서,
    상기 인에이블된 전하 축적은 상기 제 1 다이 층 상의 제 1 메모리에 저장되는, 이미징 방법.
14. 제12항에 있어서,
    상기 제 1 다이 층 상의 상기 축적된 전하 값을 판독하는 단계는,
    광 검출기 어레이의 적어도 하나의 행을 선택하는 단계, 및
    상기 선택된 적어도 하나의 행의 값을 상기 제 2 다이 층 상의 열 판독기에 전송하는 단계를 포함하는, 이미징 방법.
15. 제12항에 있어서,
    상기 셔터 패턴을 상기 제 1 다이 층 상의 레지스터 어레이에 전송하는 단계는,
    제 1 클록 사이클 동안 제 1 픽셀과 연관된 제 1 레지스터에서 상기 셔터 패턴의 일부를 수신하는 단계, 및
    제 2 클록 사이클 동안 상기 셔터 패턴의 일부를 상기 제 1 레지스터로부터 제 2 픽셀과 연관된 제 2 레지스터에 전송하는 단계를 포함하는, 이미징 방법.
16. 제15항에 있어서,
    상기 클록 사이클의 속도는 압축 비율과 프레임 레이트의 곱인, 이미징 방법.
17. 제 1 다이 층 상의 광 검출기 어레이;
    제 2 다이 층의 레지스터 어레이;
    메모리 어레이;
    이미지 신호 프로세서;
    행 드라이버;
    패턴 생성기; 및
    열 판독기를 포함하되,
    상기 제 1 다이 층 및 상기 제 2 다이 층은 수직으로 적층되는, 센서.
18. 제17항에 있어서,
    상기 메모리 어레이는 상기 제 2 다이 층 또는 제 3 다이 층 상에 있는, 센서.
19. 제17항에 있어서,
    상기 이미지 신호 프로세서는 상기 제 2 다이 층, 제 3 다이 층 또는 제 4 다이 층 상에 있는, 센서.
20. 제17항에 있어서,
    상기 패턴 생성기는 상기 제 2 다이 층 또는 제 3 다이 층 상에 있는, 센서.

Images