KR20220090408A

KR20220090408A - 비행 시간, 하이-다이내믹-레이지 및 고속 이미징을 위한 시간-분해 컴퓨팅 이미지 센서 아키텍쳐

Info

Publication number: KR20220090408A
Application number: KR1020210162411A
Authority: KR
Inventors: 이빙 미쉘 왕; 릴롱 쉬; 광오 김
Original assignee: 삼성전자주식회사
Priority date: 2020-12-22
Filing date: 2021-11-23
Publication date: 2022-06-29
Also published as: US20220201235A1; EP4020975A2; US11877079B2; CN114727026A; EP4020975A3; US20240114257A1

Abstract

장치는 인터커넥트 인터페이스와, 제1 데이터를 수신하는 하나 이상의 제1 타입 메모리 장치들, 제2 데이터를 수신하는 하나 이상의 제2 타입 메모리 장치들 및 상기 제1 데이터 및 상기 제2 데이터를 이용하여 동작을 수행하도록 구성된 가속기를 포함하는 메모리 시스템을 포함할 수 있다. 상기 메모리 시스템은 상기 하나 이상의 제2 타입 메모리 장치들에 대한 상기 제2 데이터를 캐시하도록 구성된 캐시를 더 포함할 수 있다. 장치는 인터커넥트 인터페이스, 상기 인터커넥트 인터페이스에 결합되어 데이터를 수신하는 메모리 시스템, 상기 메모리 시스템에 결합된 가속기, 및 상기 가속기의 하나 이상의 리소스들을 하나 이상의 가상 가속기들로 파티셔닝하도록 구성된 가상화 로직을 포함하고, 상기 하나 이상의 가상 가속기들중 제1 가상 가속기는 상기 데이터의 제1 부분에 대해 제1 동작을 수행하도록 구성될 수 있다.

Description

비행 시간, 하이-다이내믹-레이지 및 고속 이미징을 위한 시간-분해 컴퓨팅 이미지 센서 아키텍쳐{TIME-RESOLVING COMPUTATIONAL IMAGE SENSOR ARCHITECTURE FOR TIME-OF-FLIGHT, HIGH-DYNAMIC-RANGE, AND HIGH-SPEED IMAGING}

본 명세서에 개시된 발명은 이미지 센서 상의 압축센싱에 관한 것이다. 보다 구체적으로, 본 명세서에 개시된 본 발명은 압축센싱 및 대응하는 픽셀 아키텍처를 위한 데이터를 제공하는 방법에 관한 것이다.

이하의 배경 섹션은 여기에 개시된 발명의 아이디어 및 개념의 맥락을 이해하는 데 필요한 정보를 제공하기 위해서만 의도된다. 따라서 이 배경 섹션은 특허 가능한 발명을 포함할 수 있으며 선행 기술의 개시로 간주되어서는 안된다.

신호 처리에서, 신호를 획득하고 재구성하는 다수의 기술들이 존재한다. 이러한 기술들 중 하나는 압축 또는 압축센싱로 알려져 있다. 압축센싱의 개념은 나이퀴스트-섀넌(Nyquist-Shannon) 샘플링 정리에서 요구하는 것보다 적은 수의 샘플들로부터 성긴 신호(sparse signal)를 재구성할 수 있다는 원리를 기반으로 한다. 압축센싱은 불충분한 시스템(underdetermined system)에 대한 솔루션들을 찾아 신호를 재구성하려고 시도한다. 불충분한 시스템은 방정식보다 변수가 더 많은 시스템이다. 디지털 방식으로 이미지를 캡처하고 이미지를 재구성하려는 시도는불충분한 시스템의 한 예일 수 있다.

One design for a compressed sensing optical system, by Duarte et al. (Marco Duarte, Mark Davenport, Dharmpal Takhar, Jason Laska, Ting Sun, Kevin Kelly, and Richard Baraniuk, Single-pixel imaging via compressive sampling. Duarte et al. (Marco Duarte, Mark Davenport, Dharmpal Takhar, Jason Laska, Ting Sun, Kevin Kelly 및 Richard Baraniuk, 압축 샘플링을 통한 단일 픽셀 이미징 (IEEE Signal Processing Magazine, 25(2), pp. 83, 2008년 3월))에 의헤 제안된, 압축센싱 광학 시스템을 위한 하나의 설계는 단일 포토다이오드 센서 쪽으로 들어오는 광선의 일부를 반사하는 디지털 마이크로-미러 장치가 포함한다. 매 클록 사이클에 대해, 이미지의 한 부분이 포토다이오드에 의해 이미징될 수 있으며, 데이터는 압축센싱 알고리즘에서 처리되도록 오프라인으로 전송된다. 이 방식은 추가 처리가 필요하며 다수의 픽셀들을 고려하지 않는다. 또한, 이 기술은 고정된 물체에 국한될 수 있으며 낮은 해상도를 갖는다. 따라서 더 높은 분해능으로 더 나은 센싱 옵션들을 고려하는 압축센싱 하드웨어 설계에 대한 요구가 있다. 더 나은 해상도로, 고속 이미징, 비행 시간(time-of-flight) 센싱 및 하이-다이내믹-레인지 이미징을 포함한 추가 어플리케이션들이 사용 가능할 수 있다.

본 개시의 실시예들은 가상화 및 계층형 메모리를 갖는 가속기를 위한 시스템, 방법 및 장치를 제공하는 것을 목적으로 한다.

예시적인 실시예는 광자 센서, 메모리, 및 어큐뮬레이터를 포함할 수 있는 이미지 센서용 픽셀을 제공한다. 광자 센서는 광자 정보를 수집하는 데 사용될 수 있다. 어큐뮬레이터는 광자 정보의 중간 데이터 값들을 유지하고 광자 정보의 데이터 값들을 합산하는 임시 스토리지로서 동작할 수 있다. 광자 센서는 상기 어큐뮬레이터에 연결될 수 있고, 상기 메모리는 상기 어큐뮬레이터에 연결될 수 있다. 일부 실시예에서, 상기 메모리 및 상기 어큐뮬레이터는 데이터 또는 전하를 저장하고 누적하는 두가지 기능들을 모두 제공하는 단일 장치일 수 있다. 광자 검출 이벤트 동안, 광자 센서는 광자들을 전기 신호로 변환할 수 있고, 데이터를 상기 어큐뮬레이터로 전송할 수 있다. 또한, 상기 메모리는 데이터 값들을 합산할 수 있는 어큐뮬레이터로 데이터를 전송할 수 있다. 상기 픽셀은 아날로그 또는 디지털 구성일 수 있다.

예시적인 실시예는 압축센싱을 위한 판독(readout) 방법에서 픽셀 어레이에 사용될 수 있는 픽셀 행 또는 열을 제공한다. 픽셀 행은 시리즈로 함께 연결된 디지털 또는 아날로그 픽셀들을 포함할 수 있다. 제1 픽셀의 어큐뮬레이터는 제2 픽셀의 메모리에 연결될 수 있고, 상기 픽셀 행에서 유사하게 연결된다. 데이터 버스는 픽셀들의 메모리들에 연결되어 클록 신호를 제공할 수 있다. 픽셀들 중 하나 픽셀의 어큐뮬레이터는 상기 픽셀 행으로부터 수집된 압축센싱 데이터를 수집하고 처리하는 데 사용될 수 있는 오프라인 스토리지에 연결될 수 있다.

예시적인 실시예는 압축센싱에 사용될 수 있는 픽셀들의 픽셀 어레이를 제공한다. 센싱 동안 픽셀 어레이에 마스크가 적용될 수 있다.

예시적인 실시예는 데이터가 픽셀들 사이에서 전송될 수 있는 픽셀들의 시리즈를 제공한다. 제1 클록 사이클에서, 제1 픽셀은 광자 정보 엘리먼트로부터 제1 광자 카운트를 수집하고, 제1 광자 정보를 어큐뮬레이터에 저장하고, 제1 픽셀과 연관된 메모리로부터의 제2 광자 카운트를 상기 어큐뮬레이터에 가산하여 제3 광자 정보를 획득하고, 상기 제3 광자 정보를 제2 픽셀과 연관된 메모리로 전송하고, 상기 센서 엘리먼트 및 어큐뮬레이터의 값을 0으로 리셋한다.

픽셀 아키텍처는, 어떤 속도 설정에서 원하는 개수의 타임 슬라이스들(time slices)을 통합하는 고속 이미징; 광자 카운트의 원하는 상한 값을 사용하여 각 타임 슬라이스에 대한 각 픽셀의 출력을 제한하고 타임 슬라이스들을 함께 통합하는 HDR(high-dynamic-range) 이미징; 다수의 압축된 이미지들을 촬영하고 각 실행의 타인 슬라이스들을 복구하고 각 픽셀의 피크 값들을 찾아 비행 시간 및 그에 따른 거리를 결정하는 ToF(Time-of-flight) 센싱, 동시 검출(coincidence detection) 및 많은 다른 어플리케이션에 사용될 수 있다.

본 발명의 실시예들에 따라, 가상화 및 계층형 메모리를 갖는 가속기를 위한 시스템, 방법 및 장치를 제공할 수 있다.

이하, 여기에 개시된 발명의 양태들이 도면에 도시된 예시적인 실시예들을 참조하여 설명된다.
도 1a는 압축센싱을 위한 판독 방법의 일부 예시적인 실시예들에서 사용될 수 있는 픽셀 어레이의 예시적인 실시예에서 사용될 수 있는 예시적인 픽셀을 도시한다.
도 1b는 압축센싱을 위한 판독 방법의 일부 예시적인 실시예들에서 사용될 수 있는 픽셀 어레이의 예시적인 실시예에서 사용될 수 있는 예시적인 픽셀을 도시한다.
도 2a는 압축센싱을 위한 판독 방법의 일부 예시적인 실시예들에서 사용될 수 있는 픽셀 어레이의 예시적인 실시예에 의해 사용될 수 있는 픽셀들의 예시적인 열(column) 또는 행(row)을 도시한다.
도 2b는 압축센싱을 위한 판독 방법의 일부 예시적인 실시예들에서 사용될 수 있는 픽셀 어레이의 예시적인 실시예에 의해 사용될 수 있는 픽셀들의 예시적인 열(column) 또는 행(row)을 도시한다.
도 3은 압축센싱을 위한 판독 방법의 일부 예시적인 실시예들에서 사용될 수 있는 예시적인 픽셀 어레이를 도시한다.
도 4a 및 도 4b는 픽셀 어레이에서 픽셀의 하나의 열 또는 행에 대한 압축센싱의 예시적인 실시예에서 사용될 수 있는 데이터 흐름 및 타이밍도를 도시한다.
도 5는 픽셀 어레이에서 픽셀의 하나의 열 또는 행에 대한 압축센싱의 예시적인 실시예에서 사용될 수 있는 데이터 흐름 및 타이밍도를 도시한다.
도 6은 도 4a-도4b 또는 도 5의 데이터 흐름 및 타이밍도의 예시적인 실시예에서 사용될 수 있는 예시적인 프로세스 흐름을 도시한다.
도 7은 압축센싱의 예시적인 실시예에서 사용될 수 있는 예시적인 의사-랜덤 마스크를 도시한다.
도 8은 집적을 위해 사용되는 2차 메모리를 갖는 픽셀 아키텍처의 다른 예시적인 실시예의 개략도를 도시한다.
도 9는 SPAD 센서를 갖는 디지털 픽셀 아키텍처의 다른 예시적인 실시예의 개략도를 도시한다.
도 10은 CCD, CIS, 또는 QIS 센서를 갖는 시간-분해 픽셀 아키텍처의 다른 예시적인 실시예의 개략도를 도시한다.
도 11은 의사-랜덤 마스크가 적용된 차동 픽셀 아키텍처의 다른 예시적인 실시예를 도시한다.

이하의 상세한 설명에서, 본 개시의 완전한 이해를 제공하기 위해 다수의 특정 세부항들이 설명된다. 그러나, 개시된 양태들이 이러한 특정 세부사항 없이 실시될 수 있음을 당업자에 의해 이해될 것이다. 다른 예로서, 공지된 방법, 절차, 구성요소, 및 회로는 여기에 개시된 발명을 모호하게 하지 않도록 상세하게 기술되지 않는다.

본 명세서 전체에서 "하나의 실시예" 또는 "일 실시예"에 대한 참조(refernece)은 실시예와 관련하여 설명되는 특정 특징, 구조 또는 특성이 여기에 개시된 적어도 하나의 실시예에 포함될 수 있음을 의미한다. 따라서, 본 명세서 전반에 걸쳐 다양한 위치에서 "하나의 실시예에서" 또는 "일 실시예에서" 또는 "일 실시예에 따라"(또는 유사한 의미를 갖는 다른 구)의 출현이 반드시 모두 동일한 실시예를 지칭하는 것은 아닐 수 있다. 또한, 특정 특징, 구조 또는 특성은 하나 이상의 실시예에서 임의의 적절한 방식으로 조합될 수 있다. 이와 관련하여, 여기에서 사용되는 바와 같이, "예시적인"이라는 단어는 "예시, 예 또는 도시로서 제공되는"을 의미한다. 본 명세서에서 "예시"로서 설명된 임의의 실시예는 반드시 다른 실시예보다 바람직하거나 유리한 것으로 해석될 필요는 없다. 추가적으로, 특정 특징, 구조 또는 특성은 하나 이상의 실시예에서 임의의 적절한 방식으로 조합될 수 있다. 또한, 본 명세서에서 설명되는 내용에 따라 단수 용어는 대응하는 복수 형태를 포함할 수 있고, 복수 용어는 대응하는 단수 형태를 포함할 수 있다. 유사하게, 하이픈으로 연결된 용어(예: "2-차원", "미리-결정된", "픽셀-특정" 등)는 하이픈이 없는 해당 용어(예: "2차원", " 미리 결정된", "픽셀 특정" 등)와 때때로 상호교환적으로 사용될 수 있으며, 첫문자가 대문자인 용어(예: "카운터 클록(Counter Clock)", "행 선택(Row Select)", "픽스아웃(PIXOUT)" 등)는 해당하는 대문자가 없는 용어(예: "카운터 클록", "행 선택", "픽스아웃" 등)와 상호교환적으로 사용될 수 있다. 이러한 간헐적인 교환 가능한 사용은 서로 일치하지 않는 것으로 간주되지 않는다.

또한, 본 명세서에서 설명되는 내용에 따라 단수 용어는 대응하는 복수 형태를 포함할 수 있고, 복수 용어는 대응하는 단수 형태를 포함할 수 있다. 여기에 도시되고 설명되는 다양한 도면들(구성요소 다이어그램 포함)은 단지 예시를 위한 것이며 축척에 맞춰 그려진 것이 아님을 유의해야 한다. 유사하게, 다양한 파형과 타이밍도는 예시 목적(illustrative purpose)으로만 도시되어 있다. 예를 들어, 엘리먼트들 중 일부의 치수는 명확성을 위해 다른 엘리먼트들에 비해 과장될 수 있다. 또한, 적절하다고 간주되는 경우, 참조 번호들이 도면들 간에 반복되어 대응하는 및/또는 유사한 엘리먼트들을 나타내었다.

본 명세서에서 사용된 용어는 일부 예시적인 실시예를 설명하기 위한 것이며 청구된 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서 사용 된 바와 같이, 단수 형태 "a", "an" 및 "the"는 문맥상 명백하게 달리 나타내지 않는 한 복수 형태도 포함하도록 의도된다. 본 명세서에서 사용될 때 "포함한다" 및/또는 "포함하는"이라는 용어는 언급된 특징, 정수, 단계, 동작, 소자 및/또는 구성요소의 존재를 특정하지만 하나 이상의 다른 특징, 정수, 단계, 동작, 소자, 구성요소 및/또는 그 그룹의 존재 또는 추가를 배제하지는 않는다는 것이 또한 이해될 것이다. 여기에서 사용된 "제1", "제2" 등의 용어는 따라오는 명사에 대한 레이블로 사용되며 명시적으로 정의되지 않는 한 어떤 타입의 순서(예: 공간적, 시간적, 논리적 등)도 의미하지 않는다. 또한, 동일하거나 유사한 기능을 갖는 부품, 구성요소, 블록, 회로, 유닛 또는 모듈을 지칭하기 위해 동일한 참조 번호가 둘 이상의 도면에 걸쳐 사용될 수 있다. 그러나 이러한 사용은 도시의 단순성과 설명의 편의만을 위한 것으로서, 이들 구성요소 또는 유닛의 구성 또는 아키텍처 세부사항이 모든 실시예에 걸쳐 동일함을 의미하는 것은 아니며, 또는 이러한 공통적으로 참조되는 부품/모듈이 여기에 개시된 예시적인 실시예들의 일부를 구현하는 유일한 방식임을 의미하는 것은 아니다.

엘리먼트 또는 계층이 다른 엘리먼트 또는 계층 상에 위치하거나 "에 연결되는" 또는 "에 결합되는" 것으로 언급될 때, 상기 엘리먼트 또는 계층이 다른 엘리먼트 또는 계층 상에 직접 위치하거나, 에 연결되거나 결합될 수 있으며, 그 사이에 개재하는(intervening) 엘리먼트 또는 계층이 존재할 수 있다. 반대로, 엘리먼트가 다른 엘리먼트 또는 계층 "바로 위에 위치하고", "에 직접 연결되고" 또는 "에 직접 결합되고"이라고 언급될 때, 개재하는 엘리먼트 또는 계층이 존재하지 않는다. 동일한 참조 번호들은 전체적으로 동일한 엘리먼트를 나타낸다. 본 명세서에서 사용되는 용어 "및/또는"은 하나 이상의 연관되어 열거된 항목들의 하나 이상의 임의의 및 모든 조합을 포함한다.

여기에서 사용된 "제1", "제2" 등의 용어는 따라오는 명사에 대한 레이블로 사용되며 명시적으로 정의되지 않는 한 어떤 타입의 순서(예: 공간적, 시간적, 논리적 등)도 의미하지 않는다. 또한, 동일하거나 유사한 기능을 갖는 부품, 구성요소, 블록, 회로, 유닛 또는 모듈을 지칭하기 위해 동일한 참조 번호가 둘 이상의 도면에 걸쳐 사용될 수 있다. 그러나 이러한 사용은 도시의 단순성과 설명의 편의만을 위한 것으로서, 이들 구성요소 또는 유닛의 구성 또는 아키텍처 세부사항이 모든 실시예에 걸쳐 동일함을 의미하는 것은 아니며, 또는 이러한 공통적으로 참조되는 부품/모듈이 여기에 개시된 예시적인 실시예들의 일부를 구현하는 유일한 방식임을 의미하는 것은 아니다.

달리 정의되지 않는 한, 여기에서 사용된 모든 용어들(기술적, 과학적 용어를 포함)은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 일반적으로 사용되는 사전에 정의된 것과 같은 용어는 관련 기술의 맥락에서 그 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 여기에 명시적으로 정의되지 않는 한 이상화되거나(idealized) 지나치게 형식적인 의미로 해석되지 않는다.

압축센싱을 사용하면 일부 도메인에서 신호의 성김(sparsity)이 참(true)인 것으로 가정되거나, 이미지 재구성 문제의 해결을 고려하도록 도입될 수 있다. 성김(sparsity)은 불충분한 시스템(underdetermined system)에서 풀어야 할 변수의 개수를 감소시킨다. 예를 들어, 픽셀 어레이의 여러 픽셀들은 더 성긴 신호를 생성하기 위해 0 값으로 강제될 수 있는데, 더 성긴 신호는 추후 이미지 재구성에 사용될 수 있다. 일부 픽셀을 0으로 강제하는 하나의 방법은 마스크를 생성하는 것이다. 마스크는 이미지를 캡처하는 데 사용되는 픽셀 어레이에 적용될 수 있는 의사-랜덤하게 생성된, 위치들의 어레이일 수 있다. 마스크의 영향을 받는 픽셀들에 이진 값들(0 및 1) 또는 기타 가중치를 적용할 수 있다.

압축센싱 측정의 예는 y=Ax + e로 설명될 수 있는데, 여기서 x는 이미지와 같은 신호, y는 픽셀 어레이에 의해 캡처된 것과 같은 샘플들, A는 측정 행렬 또는 M x N 행렬의 샘플링 연산자이고, e는 측정 노이즈이다. 변수 x는 N x 1 벡터일 수 있고, y는 벡터 M x 1일 수 있으며, M은 N보다 작을 수 있고, 일반적으로 N보다 훨씬 작을 수 있다. 다른 실시예에서, 변수 x는 벡터 N+b x 1일 수 있는데, 여기서 b는 도 4A-B의 설명에서 설명될 이미지 캡처링 장치로부터의 이미지 캡처와 관련된 시프트 번호를 나타낸다. 각 측정은 신호 x와 센싱 함수(sensing function) 간의 내적(inner product) 또는 상관 관계일 수 있다. 벡터 x의 경우, N은 S-성긴(S-sparse) 것으로 간주될 수 있는 S번 샘플링된 신호 x의 값일 수 있다. 압축센싱에서 벡터 x는 S-성긴 것으로 가정되거나 성김(sparsity)을 위해 적용된 의사-랜덤 마스크를 가질 수 있다. 압축센싱 알고리즘은 행렬 A를 해결할 수 있다.

신호 x가 성긴 신호(sparse)라면, 기저 Z 또는 중복 사전(redundant dictionary) D의 표현을 가질 수 있는데, 여기서 y = Zx 또는 y = Dx이다. 추가로, A가 제한적 등각투영 속성(restrictive isometry property)을 만족한다면, A에 대한 계수들이 L1 최적화 문제에 의해 y = AZx +e 로 재구성될 수 있는데, 여기에서

이 되도록

이다. 신호가 x가 성긴 신호가 아닌 경우 최적화 문제가 충족될 수 있도록 의사 랜덤 마스크가 신호에 적용될 수 있다. 최적화 문제를 해결하기 위한 알고리즘에는 기본 순수주의(basic purist), 성긴 재구성을 위한 기울기 투영, L1 정규화된 최소 자승, 고정 소수점 연속(fixed-point continuation), 고속 반복 수축 임계값 알고리즘(fast iterative shrinkage-thresholding algorithms), 딥 러닝 및 베이지안 방법을 포함할 수 있지만 이에 제한되지 않는다.

압축센싱 어플리케이션들은 비행 시간 센싱, HDR(High Dynamic Range) 이미지 캡처, 고속 이미징, 홀로그래피, 얼굴 인식과 같은 광학 시스템, 자기 공명 이미징 및 아날로그-디지털 변환을 포함하지만 이에 한정되지 않는다. 광학 시스템 내에서 픽셀 어레이의 하드웨어 설계와 데이터 획득 아키텍처는 압축센싱을 가능하게 하는 데 필요하다.

도 1a는 압축센싱을 위한 판독 방법의 일부 예시적인 실시예들에서 사용될 수 있는 픽셀 어레이의 예시적인 실시예에서 사용될 수 있는 예시적인 픽셀(100)을 도시한다. 픽셀(100)은 광자 센서(101), 메모리(102), 및 어큐뮬레이터(103)를 포함한다. 광자 센서(101)는 광자 정보 값을 수집하는 데 사용될 수 있으며, 포토다이오드, 핀드(pinned) 포토다이오드, SPAD(pinned photodiode), 애벌런치 포토다이오드(APD), 양자 이미지 센서(QIS), CIS(contact image sensor), 전하 결합 소자(CCD), 볼로미터(bolometer) 또는 기타 센서 타입과 같은 디지털 또는 아날로그 엘리먼트일 수 있다. 광자 센서(101)에 의해 생성된 광자 정보 값은 사용된 특정 광자 센서(101)에 따라, 광자의 카운트와 같은 디지털이거나, 전하와 같은 아날로그일 수 있다. 메모리(102)로 지칭될 수 있는 메모리 엘리먼트(102)는 RAM, SRAM, DRAM, 또는 레지스터, 커패시터, 또는 다른 메모리 소스와 같은 디지털 또는 아날로그 메모리일 수 있다. 광자 센서(101)는 어큐뮬레이터(103)에 연결될 수 있다. 일부 예시적인 실시예에서, 어큐뮬레이터(103)는 중간 값을 유지하는 임시 스토리지(storage)로서 기능할 수 있는 레지스터일 수 있다. 어큐뮬레이터(103)는 또한 값들을 합산할 수 있다. 예를 들어, 어큐뮬레이터에 이미 있는 값이 광자 센서(101)로부터 수신된 값(예: 광자 정보)에 가산될 수 있다. 메모리(102)는 어큐뮬레이터(103)에 연결될 수 있다. 광자 검출 이벤트(photon detection event) 동안, 광자 센서(101)는 광자를 전기 신호로 변환할 수 있고 데이터를 어큐뮬레이터(103)에 전송할 수 있다. 추가적으로, 메모리(102)는 데이터를 합산할 수 있는 어큐뮬레이터(103)로 데이터를 전송할 수 있다. 클록 신호(104)는 데이터 버스(105) 상에서 클록 신호를 전송하는데 사용될 수 있다. 데이터 버스(105)는 메모리(102) 및 광자 센서(101)(미도시)에 연결될 수 있고 클록 신호(104)를 전송할 수 있다. 데이터 버스(105)는 클록 신호(104)를 픽셀(100)로 전송하거나, 픽셀(100)로부터 데이터를 판독하거나, 또는 둘 모두를 위해 사용될 수 있다. 일부 실시예에서, 데이터 및 클록 신호(미도시)를 전송하기 위해 별도의 버스가 사용될 수 있다. 일부 실시예에서, 하나의 클록 사이클 후에, 광자 센서(101)는 0 값으로 리셋될 수 있다. 또한, 어큐뮬레이터(103)는 도 2a와 관련하여 설명되는 바와 같이 데이터가 다른 픽셀(100)의 메모리(102)로 전송된 후에 리셋될 수도 있다.

일부 실시예에서, 메모리(102) 및 어큐뮬레이터(103)는 메모리 저장 및 누적(accumulation)의 동일한 태스크들을 각각 수행하는 단일의 논리 유닛으로 결합될 수 있다. 예를 들어, 커패시터는 어큐뮬레이터 및 메모리 저장 장치일 수 있으며 아날로그 픽셀 설계에 사용될 수 있다. 커패시터의 기존의 전하는 광자 센서(101)의 출력에서 가산된 추가적인 전하와 함께 누적되고 저장된다.

다른 실시예에서, 마스크 메모리(106)는 광자 센서(101)에 연결될 수 있고 광자 센서(101)가 감지하는 것을 중지하는 로직을 제공할 수 있다. 다른 실시예에서, 마스크 메모리(106)는 어큐뮬레이터(103)에 연결될 수 있고 어큐뮬레이터(103)가 광자 센서(101)로부터의 값들을 가산하는 것을 중지하는 로직을 제공할 수 있다. 데이터 버스(107)는 데이터 전송 능력을 제공하기 위해 마스크 메모리(106)에 연결될 수 있다. 마스크 메모리(106) 및 데이터 버스(107)는 도 1b 및 도 7과 관련하여 설명될 마스크를 활용하는 압축센싱 어플리케이션을 위한 대안적인 실시예에서 사용되는 엘리먼트들일 수 있다.

도 1a는 압축센싱을 위한 판독 방법의 일부 예시적인 실시예들에서 사용될 수 있는 픽셀 어레이의 예시적인 실시예에서 사용될 수 있는 예시적인 픽셀(110)을 도시한다. 픽셀(110)은 어큐뮬레이터(103)로부터의 데이터 전송이 어큐뮬레이터(103)로부터 값들을 판독하는데 사용되는 메모리를 포함할 수 있는 출력 셀렉터(108)에 연결될 수 있다는 점을 제외하고, 전술한 바와 같은 도 1a의 픽셀(100)의 엘리먼트들을 가질 수 있다. 데이터 버스(109)는 출력 셀렉터(108)에 연결될 수 있고 어큐뮬레이터(103)로부터 값들을 판독하는 커맨드를 제공할 수 있다.

도 2a는 압축센싱을 위한 판독 방법의 일부 예시적인 실시예들에서 사용될 수 있는 픽셀 어레이의 예시적인 실시예에 의해 사용될 수 있는 예시적인 픽셀 열(또는 행)(200)을 도시한다. 픽셀 열(200)은 시리즈로 함께 연결된 n개의 예시적인 픽셀들(100a, 100b, 및 100c)과 제n 최종 픽셀(100n)(n은 1보다 큰 임의의 숫자일 수 있음)을 나타낸다. 예를 들어, 픽셀(100a)은 픽셀(100b)에 연결될 수 있고, 픽셀(100b)은 픽셀(100c)에 연결될 수 있다. 각 픽셀은 광자 센서들(101a 내지 101n)을 가질 수 있다. 어큐뮬레이터(103a)는 메모리(102b)에 연결될 수 있고 어큐뮬레이터(103b)는 메모리(102c)에 연결될 수 있으며, 어큐뮬레이터(103c) 및 후속 어큐뮬레이터에 대해서 유사하게 연결된다. 데이터 버스(105)는 메모리(102n)까지 메모리들(102a, 102b 및 102c)에 연결될 수 있고, 도 1a 또는 도 1b로부터의 클록 신호(104)를 픽셀들(100a 내지 100n)에 제공할 수 있다. 데이터 버스(107)는 마스크 메모리(106n)까지 마스크 메모리들(106a, 106b 및 106c)에 연결될 수 있고, 도 1a로부터의 마스크 데이터를 픽셀들(100a 내지 100n)에 제공할 수 있다. 어큐뮬레이터(103n)는 픽셀 열(200)로부터 수집된 압축센싱 데이터를 수집하고 처리하는 데 사용될 수 있는 오프라인 스토리지(201)에 연결될 수 있다.

일 실시예에서, 픽셀 열(200)은 광자들이 카운트되고 픽셀들 사이의 정보의 디지털 패킷으로서 전송될 수 있는 디지털 픽셀 아키텍처를 포함할 수 있다. 다른 실시예에서, 픽셀 열(200)은 광자들이 전하로 변환될 수 있고 전하가 픽셀들 사이에서 전달될 수 있는 아날로그 픽셀 아키텍처를 포함할 수 있다.

다른 실시예에서, 픽셀(100a)로부터의 데이터는 픽셀(100b)의 메모리로 전송되지 않을 수 있고 대신에 그것을 픽셀(100c)로 전송할 수 있다. 또 다른 실시예에서, 픽셀(100a)로부터의 데이터는 픽셀 열(200)(도시되지 않음)에서 추후 픽셀로 전송될 수 있다. 또 다른 실시예에서, 추가의 픽셀 행들(200)이 존재할 수 있고, 제1 행으로부터의 픽셀들은 도 3과 관련하여 추가로 설명되는 바와 같이 제2 행으로부터의 픽셀들에 연결될 수 있다. 다른 실시예에서, 의사 랜덤 마스크가 선택 광자 센서(101a-101n)의 값들이 0 또는 0이 아닌 값을 반환하도록 하기 위해 하나 이상의 픽셀 열(200)에 적용될 수 있는데, 이는 도 7을 참조하여 더 자세히 설명된다. 즉, 하나의 픽셀로부터의 어큐뮬레이터들이 바로 인접한 픽셀들의 메모리들로 공급할 필요가 없다. 본 개시로부터 명백한 바와 같이 많은 어큐뮬레이터-메모리 공급(feed) 패턴들이 있을 수 있다.

도 2b는 압축센싱을 위한 판독 방법의 일부 예시적인 실시예들에서 사용될 수 있는 픽셀 어레이의 예시적인 실시예에 의해 사용될 수 있는 픽셀들의 예시적인 열(200b)(또는 행)을 도시한다. 픽셀 열(200b)은 도 1a의 픽셀(100) 대신에 도 1b의 픽셀(110)을 사용할 수 있다는 점을 제외하고는 도 2a의 픽셀 열(200)의 엘리먼트들을 가질 수 있다. 일 실시예에서, 픽셀 열(200b)은 출력 셀렉터들(108a 내지 108n)의 세트를 통해 픽셀들(100a 내지 100n)로부터 데이터 전송을 가질 수 있다. 예를 들어, 픽셀(100a)에 대해, 픽셀(100a)에 대한 데이터 판독 요청이 데이터 버스(109)를 통해 전송될 때, 출력 셀렉터(108a)는 어큐뮬레이터(103a)로부터 값을 선택할 수 있으며, 어큐뮬레이터(103a)는 이후 상기 값을 출력 셀렉터(108a)로 전송하고 데이터 버스(109)를 통해 오프라인 스토리지(201) 또는 다른 픽셀(100a-n)로 로 전송할 수 있다. 이 프로세스는 픽셀 열(200b)의 임의의 픽셀(100a 내지 100n)에 대해 반복될 수 있다.

도 3은 압축센싱을 위한 판독 방법의 일부 예시적인 실시예들에서 사용될 수 있는 예시적인 픽셀 어레이(300)를 도시한다. 픽셀 어레이(300)는 복수의 픽셀을 포함하는 제1 열(또는 행)(301)을 가질 수 있다. 본 예시에서, 8개의 픽셀들(100a 내지 100h)이 도시되어 있는데, 도 2a의 열(200) 또는 도 2b의 열(200b)의 픽셀들(100a 내지 100n)일 수 있다. 픽셀들(302a 내지 302h)을 갖는 제2 열(302), 픽셀들(303a 내지 303h)을 갖는 제3 열(303) 등을 포함하여 픽셀들(304A-B 내지 304h)을 갖는 열(304)까지 있을 수 있으며, 이는 마찬가지로 도 2a의 열(200) 또는 도 2b의 열(200b)에 대해 유사할 수 있다. 다른 실시예에서, 1 x 1에서 임의의 다른 크기까지, 픽셀 어레이(300)의 서로 다른 행 및 열 차원들이 존재할 수 있다. 도 2a와 관련하여 전술한 바와 같이, 제1 열(301)의 픽셀들은 서로 연결될 수 있는데(예를 들어, 한 픽셀의 어큐뮬레이터는 다른 픽셀의 메모리에 연결될 수 있음), 예를 들어, 픽셀(100a)은 픽셀(100b)에 연결될 수 있으며, 픽셀(100b)은 픽셀(100c)에 연결될 수 있다. 다른 실시예에서, 제1 열(301)로부터의 픽셀(100a)은 제2 열(302)의 픽셀(302b)에 연결될 수 있고, 픽셀(302b)은 제3 열(303)의 픽셀(303c)에 연결될 수 있다. 다른 실시예에서, 열들, 행들, 또는 열들과 행들의 조합을 포함한 다른 픽셀 연결 구성들이 존재할 수 있다.

도 4a 및 도 4b는 도 3의 픽셀 어레이(300)에서 픽셀의 하나의 열 또는 행에 대한 압축센싱의 예시적인 실시예에서 사용될 수 있는 예시적인 데이터 흐름 및 타이밍도(400)를 도시한다. 후술하는 데이터 흐름은 도 3의 픽셀 어레이(300)의 전체 또는 일부 픽셀들에 적용될 수 있다. 일 실시예에서, 타이밍도(400)는 마스크를 사용하지 않고 데이터를 추가하고 선형 시프트(linear shifting)하는 도 2a의 픽셀 열(200)의 일 예일 수 있다. 다른 실시예에서, 타이밍도(400)는 연결된, 픽셀들의 다른 시리즈의 일 예일 수 있다.

도 4a 내지 도 4b는 예시적인 7개의 클록 사이클들(t=0 내지 t=6) 동안 도 3의 제1 열(301) 및 도 2a 및 2b의 오프라인 메모리(201)의 연결된 픽셀들(100a 내지 100h)의 시리즈 및 그 각각의 각각의 메모리들(102a 내지 102h)을 도시한다. 픽셀들(100a 내지 100h)은 어큐뮬레이터들(103a 내지 103h)(미도시)을 가질 수 있다. 셔터 값(shutter value)이 ON 또는 개방으로 설정된 3개의 클록 사이클들과 셔터 값이 OFF 또는 폐쇄로 설정된 4개의 클록 사이클들이 있다. 셔터는 물리적 셔터 메커니즘(physical shuttering mechanism)일 수도 있고 논리적 셔터(logical shutter)일 수도 있다. 논리적 셔터는 광자 센서들(100a-100h)이 활성화 또는 비활성화되도록 할 수 있다.

셔터 값은 이미징이 발생하거나 발생하지 않을 때 논리적 상태이 있을 수 있다. ON 또는 개방된(open) 셔터 값은 광자 센서들(100a-100h)이 광자들을 센싱할 수 있는 상태를 나타낼 수 있다. OFF 또는 폐쇄된(colosed) 셔터 값은 광자 센서들(100a-100h)이 광자들을 감지할 수 없는 상태를 나타낼 수 있다.

이 예시에서, 데이터는 인접 픽셀들 사이에서 전송될 수 있는데, 예를 들어, 픽셀(100a)의 어큐뮬레이터(103a)로부터의 데이터는 픽셀(100b)의 메모리(102b)로 전송될 수 있고, 픽셀(100b)의 어큐뮬레이터(103b)로부터의 데이터는 픽셀(100c)의 메모리(102c)로 전송될 수 있다. 픽셀이 없는 추가 행들에 대해, 상기 데이터는 도 2a의 오프라인 스토리지(201) 내의 하나 이상의 위치로/그 사이로 이동되고 저장되는 것으로 간주될 수 있다. 열(301)에서의 데이터 흐름을 설명하기 위해 사용된 로직은 도 3의 픽셀 어레이(300)의 다른 열들에 적용될 수 있다. 일반적으로 픽셀(100a)의 값은 시간 0에서 100a, 0으로 표시되고 시간 1에서 100a,1로 표시될 수 있다. 도 4a 및 도 4b의 참조번호들은 이 형식으로 표시된다.

제1 클록 사이클(t=0)에서, 픽셀들(100a 내지 100h)은 도시되지 않은 장면(scene)을 이미지화한다. 픽셀(100a)은 대응하는 메모리(102a)에 0을 갖는다. 픽셀(100a)은 제1 광자 정보 값을 수신할 수 있고, 제1 광자 정보 값은 광자들의 카운트 또는 전하일 수 있으며, 어큐뮬레이터(103a)에 저장할 수 있다. 어큐뮬레이터(103a)에 저장된 값은 메모리(102a)의 제2 광자 정보 값(t=0에서 0일 수 있음)에 가산되어, 제3 광자 정보 값을 형성하고, 제3 광자 정보 값은 픽셀(100b)의 메모리(102b)로 시프트된다. 일 실시예에서, 시프트는 동일한 클록 사이클의 끝에서 수행된다. 픽셀(100a) 및 어큐뮬레이터(103a)와 연관된 광자 센서(101a)는 다음 클록 사이클 전에 또는 이미징이 시작되기 전에 다음 클록 사이클의 시작에서 0으로 설정될 수 있다. 다른 실시예에서, 시프트는 다음 클록 사이클의 시작에서 수행될 수 있다. 즉, 픽셀들은 광자 카운트들을 캡처하고 관련 어큐뮬레이터에 저장하고 어큐뮬레이터 값들에 메모리 값들을 가산하고, 새로운 값을 다음 메모리(인접 픽셀, 픽셀 어레이 상의 다른 위치에 있는 픽셀, 또는 오프라인 스토리지(201)에서 다음 메모리 위치일 수 있음)로 시프트한다. 일 실시예에서, 픽셀들은 전하들을 캡처하고, 메모리로서도 기능할 수 있는 관련 어큐뮬레이터들에 저장하고, 메모리에 및 픽셀들로부터 함께 전하들을 누적하고, 픽셀 어레이의 다른 픽셀과 연관된 어큐뮬레이터로 전하를 전송한다. 픽셀(100a)의 광자 센서(미도시)는 다음 클록 사이클에서의 센싱을 위한 준비시 0으로 리셋될 수 있다. 데이터의 시프트 후, 그리고 임의의 새로운 광자 센싱 전에, 광자 센서들 및 어큐뮬레이터들(103a-h)이 리셋된다.

제2 클록 사이클(t=1)에서, 픽셀(100b)은 광자들의 카운트를 수신하고 상기 카운트를 어큐뮬레이터(103b)에 저장할 수 있다. 어큐뮬레이터(103b)에 저장된 값은 메모리(102b)의 값에 가산되고, 픽셀(100c)의 메모리(103c)로 시프트된다. 픽셀(100b)(미도시)의 광자 센서(101b) 및 어큐뮬레이터(103b)는 다음 클록 사이클에서의 센싱의 준비 시 0으로 리셋될 수 있다.

한편, 제1 클록 사이클(t=0)에서, 픽셀(100b)은 대응하는 메모리(102b)에서 0을 갖는다. 픽셀(100b)은 광자들의 카운트를 수신하고 카운트를 어큐뮬레이터(103b)에 저장할 수 있다. 어큐뮬레이터(103b)에 저장된 값은 메모리(102b)에 가산되고 메모리(102c)로 시프트된다. 일 실시예에서, 시프트는 동일한 클록 사이클의 끝에서 수행된다. 다른 실시예에서, 시프트는 다음 클록 사이클의 시작에서 수행될 수 있다. 픽셀(100b)의 광자 센서(미도시)는 다음 클록 사이클에서의 센싱의 준비 시 0으로 리셋될 수 있다. 제2 클록 사이클(t=1)에서, 픽셀(100c)은 광자들의 카운트를 수신하고 상기 카운트를 어큐뮬레이터(103c)에 저장할 수 있다. 어큐뮬레이터(103c)에 저장된 값은 메모리(102c)의 값에 가산되고, 메모리(103d)로 시프트된다. 픽셀(100c)의 어큐뮬레이터(103b) 엘리먼트는 다음 클록 사이클에서의 센싱의 준비 시 0으로 리셋될 수 있다.

상기 동작은 픽셀 어레이(300)의 각 픽셀에 대해 반복될 수 있다. 따라서, 각각의 클록 사이클에 대해, 각각의 픽셀(100a 내지 100h)은 자신의 메모리(102a 내지 102h)의 값에 자신의 광자 카운트의 값을 더할 수 있으며, 이는 모든 t>0에 대해 이전 픽셀로부터 각 픽셀에 제공된 값일 수 있다. 상기 값은 이후 다음의 부착된 픽셀의 메모리로 전송될 수 있다.

시간 t=3에서, 클록 셔터 상태는 ON에서 OFF로 변경되고 픽셀들(100a 내지 100h)은 더 이상 광자를 검출하거나 카운트하지 않는다. 각 셀 메모리의 값은 더 이상 어큐뮬레이터에 의해 변경되지 않으며 시간이 지남에 따라 마지막 픽셀의 메모리(이 예시에서는 102h)에서 데이터 시프트의 수신자인 오프라인 스토리지(201)로 시프트된다.

오프라인 스토리지(201)에 저장된 데이터는 압축센싱 신호 재구성을 위해 사용될 수 있다. 데이터는 메모리들 사이에서 오프라인 스토리지(201)로 시프트될 수 있다. 일 실시예에서, 시간 t=1에서, 시간 t=0으로부터 픽셀(100h)로부터의 데이터는 오프라인 스토리지(201)로 시프트될 수 있다. 각 데이터 값은 다른 픽셀 메모리 위치로, 즉 오프라인 스토리지(201)로 시프트될 수 있거나, 각 클록 사이클 동안 동일한 메모리 위치에 남아 있을 수 있다.

다른 실시예에서, 메모리(102a)에 저장된 데이터는 메모리(102c) 또는 도 3의 픽셀 열(301)의 다른 메모리로 전송될 수 있다. 다른 실시예에서, 메모리(102a)는 도 3의 다른 열의 메모리에 데이터를 전송할 수 있다. 다른 실시예에서, 메모리(102a)는 다른 픽셀의 메모리와의 사이에서 앞뒤로 전송될 수 있다. 다른 실시예에서, 데이터는 관심 영역, 즉 도 3의 픽셀 어레이(300) 내의 픽셀들의 서브세트에 대해서만 전송될 수 있다. 즉, 전술한 바와 같이, 각 픽셀의 어큐뮬레이터는 바로 인접한 픽셀의 메모리에 연결될 필요가 없으며, 다른 상호연결 패턴들(interconnect patterns)이 가능하다.

다른 실시예에서, 의사 랜덤 마스크가 도 3의 픽셀 어레이(300)에 적용될 수 있다. 도 4a 및 도 4b를 다시 참조하면, 예를 들어, 제1 열(301)은 의사 랜덤 마스크가 적용될 수 있으며, 이는 도 5와 관련하여 더 상세히 설명된다. 픽셀 어레이(200b)의 픽셀들과 같은 다른 픽셀 타입들이 사용될 수 있다. 일 실시예에서, 의사 랜덤 마스크는 모든 클록 사이클들에 대해 동일할 수 있다. 메모리 값이 시프트되지 않고 동일한 메모리 유닛에 저장된 채로 유지될 수 있는 또 다른 실시예에서, 변화하는(changing) 의사 랜덤 마스크가 적용될 수 있다. 이 의사 랜덤 마스크는 각 클록 주기마다 변화할 수 있다. 일 실시예에서, 마스크는 시리즈(series)일 수 있고 그 시리즈는 반복될 수 있다. 예를 들어, 4개의 마스크 패턴들 A, B, C 및 D가 있는 경우 마스크 시리즈 ABCD가 사용될 수 있고 다수의 클록 사이클들에 걸쳐 반복될 수 있다. 마스크 값들이 마스크의 영향을 받는 광자 센서들(101a-101h)의 출력 값이 0으로 강제되거나 변경되지 않은 채로 남아 있을 수 있도록 0 또는 1과 같은 이진수(binary)일 수 있다. 픽셀들에 대한 마스크의 추가 동작은 도 5와 관련하여 이하 더 설명된다.

전술한 기술은 모든 타입의 이미지 센서에 사용될 수 있다. 도 7 내지 도 10과 관련하여 더 설명되는 바와 같이, 하드웨어 구성들은 이미지 센서의 타입에 따라 달라질 수 있다.

일부 실시예에서, 압축된 센싱 측정값 y=Ax+e는 변수 x가 N x 1 행렬에서 N+b x 1 행렬로 변경될 수 있으며, 여기서 b는 이미징(imaging) 동안 발생한 "데이터 시프트들"의 개수를 나타낸다 (즉, 셔터 ON). 예를 들어, 3개의 기간들(time periods) 동안 3개의 시프트들이 경우 x는 N+1 대신 N+3 x 1일 수 있다.

도 5는 도 3의 픽셀 어레이(300)에서 픽셀들(301)의 하나의 열 또는 행에 대한 압축센싱의 예시적인 실시예에서 사용될 수 있는 예시적인 데이터 흐름 및 타이밍도(500)를 도시한다. 도 5는 또한 픽셀 어레이(300) 및 개별 픽셀들(100)에 대한 마스크의 영향을 설명한다. 후술하는 데이터 흐름은 도 3의 픽셀 어레이(300)의 전체 또는 일부 픽셀들에 적용될 수 있다. 후술되는 마스크의 사용 및 데이터 흐름은 도 4a 내지 도 4b의 로직에 적용될 수 있다. 일 실시예에서, 타이밍도(500)는 어큐뮬레이터들(103a 내지 103h), 출력 셀렉터들(108a 내지 108h), 및 마스크 메모리들(106a 내지 106h)를 갖는 도 2b의 픽셀 열(200b)과 함께 사용되는 예일 수 있다. 픽셀(100a)은 데이터 셀렉터(108a)에 연결될 수 있고, 픽셀(100b)은 출력 셀렉터(108b)에 연결될 수 있고, 픽셀(100h)은 출력 셀렉터(108h)에 연결될 수 있다. 마스크 메모리(106a)는 픽셀(100a)의 일부일 수 있고, 마스크 메모리(106b)는 픽셀(100b)의 일부일 수 있고, 마스크 메모리(106h)는 픽셀(100h)에 연결되어 있다.

대안적인 실시예에서, 도 2a의 픽셀 열(200a)이 사용될 수 있거나 픽셀 어레이에서 픽셀들의 다른 시리즈가 사용될 수 있다. 마스크 메모리들(106a 내지 106h)은 픽셀들(100a 내지 100h) 및 도 4a 내지 도 4b의 데이터 흐름 동작들 또는 픽셀 연결들의 임의의 다른 배열과 함께 사용될 수 있다.

일반적으로, 시간 0에서의 픽셀(100a) 및 마스크 메모리(106a)의 값은 각각 100a,0 및 106a,0으로 표시되고, 시간 1에서의 값은 각각 100a,1 및 106a,1로 표시되며, 등과 같다. 도 5의 숫자들은 이 포맷을 사용할 수 있다.

도 5는 4개의 클록 사이클(t=0 내지 t=3)에서 제1 열(301)의 연결된 픽셀들(100a-100h)의 시리즈를 이들의 광자 센서들(101a-h), 그 각각의 메모리들(102a 내지 102h), 및 그 각각의 마스크 메모리들(106a-h)과 함께 도시한다. 셔터 값이 ON으로 설정된 3개의 클록 사이클과 셔터 값이 OFF로 설정된 1개의 클록 사이클이 있다. 이 예시에서, 데이터는 각 사이클 후에 각 픽셀에 남아 있을 수 있는데, 예를 들어, 픽셀(100a)의 어큐뮬레이터로부터의 데이터가 메모리(102a)에 누적될 수 있고, 픽셀(100b)의 어큐뮬레이터로부터의 데이터는 메모리(102b)에 누적될 수 있다. 즉, 본 실시예에서 각 픽셀은 사이클의 결과를 시리즈의 제2 픽셀 보다는 자신의 메모리로 전송한다.

제1 클록 사이클(t=0)에서, 픽셀들(100a 내지 100h)은 도시되지 않은 장면(scene)을 이미지화한다. 픽셀(100a)은 대응하는 메모리(102a)에 0을 갖는다. 픽셀(100a)의 광자 센서(101a)는 제1 광자 정보 값을 수신할 수 있는데, 상기 제1 광자 정보 값은 마스크 메모리(106a)로부터 이진 값과 곱해질 수 있는 광자들의 카운트 또는 전하(electrical charge)일 수 있으며, 결과는 어큐뮬레이터(103a)에 저장될 수 있다. 마스크 메모리(106a)가 1과 동일한 경우, 누적된 제1 광자 정보 값이 저장될 수 있다. 마스크 메모리(106a)가 0과 동일한 경우, 어큐뮬레이터는 0 값을 저장할 수 있다. 이 곱셈은 논리적일 수도 있고 물리적 연산의 결과일 수도 있다. 예를 들어, 마스크는 광자 센서(101a)를 인에이블 또는 디스에이블하여 정상 판독 또는 0 판독을 초래할 수 있다. 어큐뮬레이터(103a)에 저장된 값은 메모리(102a)에 가산된다. 일 실시예에서, 픽셀은 광자 카운트를 캡처하고, 마스크는 픽셀 광자 카운트와 곱해진 이진 값을 전송하고, 그 결과는 연관된 어큐뮬레이터에 저장되고, 메모리 값은 어큐뮬레이터 값에 가산되고, 메모리에 한 번 더 저장될 수 있다. 픽셀(100a)의 광자 센서(101a) 및 어큐뮬레이터(103a)는 다음 클록 사이클에서의 센싱의 준비 시 0으로 리셋될 수 있다.

제2 클록 사이클(t=1)에서, 픽셀(100a)의 광자 센서(101a)는 제1 광자 정보 값을 수신할 수 있고, 카운트는 마스크 메모리(106a)에 저장된 값과 곱해질 수 있고, 결과 값은 어큐뮬레이터(103a)에 저장될 수 있다. 어큐뮬레이터(103a)에 저장된 값은 메모리(102a)의 제2 광자 정보 값에 가산되고, 그 결과는 제3 광자 정보 값으로서 메모리에 한 번 더 저장될 수 있다. 픽셀(100a)의 광자 센서(101a) 및 어큐뮬레이터(103a)는 다음 클록 사이클에서의 센싱의 준비 시 0으로 리셋될 수 있다.

한편, 제1 클록 사이클(t=0)에서, 픽셀(100b)은 대응하는 메모리(102b)에서 0을 갖는다. 픽셀(100b)의 광자 센서(101b)는 광자들의 카운트를 수신할 수 있는데, 상기 카운트는 마스크 메모리(106b)로부터의 이진 값과 곱해질 수 있으며, 그 결과는 어큐뮬레이터(103a)에 저장될 수 있다. 마스크 메모리(106b)가 1과 동일한 경우, 광자 카운트가 저장될 수 있다. 마스크 메모리(106b)가 0과 동일한 경우, 어큐뮬레이터는 0 값을 저장할 수 있다. 어큐뮬레이터(103b)에 저장된 값은 메모리(102b)에 가산되고 메모리(102b)에 저장된다. 광자 센서(101b) 및 어큐뮬레이터(103b)는 다음 클록 사이클에서의 센싱의 준비 시 0으로 리셋될 수 있다. 제2 클록 사이클(t=1)에서, 픽셀(100b)의 광자 센서(101b)는 광자들의 카운트를 수신하고, 카운트는 마스크 메모리(106b)에 저장된 값과 곱해질 수 있고, 결과 값은 어큐뮬레이터(103b)에 저장될 수 있다. 어큐뮬레이터(103b)에 저장된 값은 메모리(102b)에 가산되고 그 결과는 메모리(102b)에 저장된다. 광자 센서(101b) 및 어큐뮬레이터(103b)는 다음 클록 사이클에서의 센싱의 준비 시 0으로 리셋될 수 있다. 다른 실시예에서, 어큐뮬레이터(103b) 및 메모리(102b)는 어큐뮬레이션 및 메모리 저장의 두가지 목적을 제공하는 단일 유닛일 수 있고, 리셋 동안 누산된 값들은 어큐뮬레이터(103b)와 연관된 메모리(102b)에 저장될 수 있다.

상기 동작은 픽셀 어레이(300)의 각 픽셀에 대해 반복될 수 있다. 따라서, 각각의 클록 사이클에 대해, 각 픽셀(100a 내지 100h)은 자신의 광자 카운트의 값에 자신의 마스크 값을 곱하고 그 결과 값을 메모리(102a 내지 102h)에 가산할 수 있으며, 셔터가 켜져 있을 때 t>0 동안 누적될 수 있다. 상기 값은 이후 다음의 부착된 픽셀의 메모리로 전송될 수 있다.

시간 t=3에서, 클록 셔터 상태는 ON에서 OFF로 변화하고, 픽셀들(100a 내지 100h)은 더 이상 광자를 카운트하지 않는다. 각 셀 메모리의 값들은 더 이상 어큐뮬레이터에 의해 변경되지 않으며, 도 1b의 엘리먼트(108)와 같은 출력 셀렉터 엘리먼트(미도시)에 의해 판독된다. 이 데이터는 오프라인 스토리지(201)로 전송될 수 있다. 오프라인 스토리지(201)에 저장된 데이터는 압축센싱 신호 재구성을 위해 사용될 수 있다. 픽셀의 어큐뮬레이터/메모리가 리셋될 수 있다.

일부 실시예에서, 마스크 값은 각 클록 사이클에 대해 변경될 수 있다. 다른 실시예에서, 마스크 값은 일정하게 유지될 수 있다. 다양한 실시예에서, 셔터 개방 및 셔터 폐쇄 사이클들의 개수는 변할 수 있다.

도 6은 도 4a-도4b 또는 도 5의 데이터 흐름 및 타이밍도의 예시적인 실시예에서 사용될 수 있는 예시적인 프로세스(600)를 도시한다.

프로세스(601)는 도 3의 픽셀 어레이(300)를 사용하여 이미징을 시작할 수 있다. 셔터 값은 OFF에서 ON으로 스위치할 수 있는 논리 값일 수 있다.

프로세스(602)는 픽셀 어레이(300)의 픽셀(100)에서 데이터를 캡처하는 것을 시작할 수 있다. 일부 실시예에서, 픽셀 어레이(300)의 모든 픽셀들(100)은 데이터를 캡처하는데 사용될 수 있다. 다른 실시예에서, 픽셀들의 서브세트는 데이터를 캡처하는 데 사용될 수 있다.

프로세스(603)는 픽셀 어레이(300)의 픽셀들(100)에 의사 랜덤 마스크를 적용하는 대안적인 실시예의 프로세스이다. 일부 실시예에서, 의사 랜덤 마스크는 전체 이미징 프로세스에 걸쳐 동일한 패턴일 수 있다. 다른 실시예에서, 의사 랜덤 마스크는 사이클에 따라 변할 수 있다. 일부 실시예에서, 마스크가 사용되지 않는 경우 프로세스(603)는 스킵될 수 있다. 마스크는 광자 센서(101)가 센싱하는 것을 허용 또는 차단할 수 있으며, 또는 광자 센서(101)의 값이 누적되는 것을 허용 또는 차단할 수 있다. 마스크는 광자 센서(101)의 값과 곱해진 0 또는 1과 같은 값을 가질 수 있거나 광자 센서(101)로부터의 전하가 저장되는 것을 차단할 수 있다.

프로세스(604)는 픽셀 어레이(300)의 픽셀들(100)의 메모리(102) 및 광자 센서(101)에 캡처된 값들을 누적하거나 합산할 수 있다.

프로세스(605)는 프로세스(604)에서 누적된 데이터를 저장할 수 있다. 프로세스(605)는 또한 광자 센서(101)를 다시 0으로 리셋하는 것을 포함할 수 있다.

프로세스(606)는 프로세스(605)로부터 저장된 데이터를 시프트할 수 있는 대안적인 실시예에서의 동작이다. 일부 실시예에서, 데이터는 상이한 픽셀(100)과 연관된 메모리(102)로 시프트될 수 있다. 다른 실시예에서, 데이터는 동일한 메모리(102)에 남아 있을 수 있고 결코 시프트되지 않을 수 있다. 또 다른 실시예에서, 데이터는 제1 메모리(예컨대, 제1 픽셀(100)의)와 제2 메모리(예컨대, 제2 픽셀(100)의) 사이에서 앞뒤로 전송될 수 있다.

프로세스(607)는 OFF의 셔터 값이 수신될 때까지 프로세스들(602 내지 606)을 반복할 수 있다.

프로세스(608)는 압축센싱 처리를 위해 픽셀 어레이(300)로부터 오프라인 스토리지(201)로 데이터를 전송할 수 있다.

도 7은 압축센싱의 예시적인 실시예에서 사용될 수 있는 예시적인 의사 랜덤 마스크(700)를 도시한다. 의사 랜덤 마스크(700)는 관심 영역(701) 및 마스킹 영역(702)을 포함할 수 있다. 의사 랜덤 마스크(700)는 픽셀 어레이(300)의 일부 픽셀들이 관심 영역(701)에서 이미징하는 것을 차단할 수 있다. 또한, 마스킹 영역(702)은 관심 영역(701) 외부의 모든 픽셀들이 이미징하는 것을 차단할 수 있고, 픽셀 어레이(300) 상의 이미징 영역을 감소시키는데 사용될 수 있다. 의사 랜덤 마스크(700)는 전술된 바와 같이 도 4a-b/도 5의 프로세스들 동안 사용될 수 있다. 각각의 클록 사이클에 대해, 의사 랜덤 마스크(700)는 일정하게 유지될 수 있거나 다이내믹하고 변할 수 있다. 의사 랜덤 마스크(700)의 값들은 신호 재구성 동안 나중에 사용하기 위해 저장될 수 있다.

도 11과 관련하여 추가로 설명되는 바와 같이, 의사 랜덤 마스크(700)는 차분 이미지(differential images)를 캡처함으로써 무손실 재구성을 위해 사용될 수 있다. 의사 랜덤 마스크(700)는 또한 데이터가 너무 조밀할 때 사용될 수 있고 이미지 재구성을 위한 솔루션을 찾기 위해 이미지에 성김(sparsity)을 추가할 수 있다. 사용되는 의사 랜덤 마스크(700)의 타입은 이미징 작업의 타입에 따라 달라질 수 있다. 의사 랜덤 마스크(700)는 베르누이(Bernoulli), 하다마르(Hadamard), 가우시안(Gaussian), 이산 코사인 변환(DCT), 또는 다른 마스크 타입일 수 있다. 의사 랜덤 마스크(700)는 바이너리, 그레이스케일, 컬러화된(colored), 또는 다른 값을 포함할 수 있다.

일부 실시예에서, 마스크(700)는 이미지 재구성 동안 사용하기 위해 오프라인 스토리지(201)에 저장될 수 있다. 마스크(700)는 프로세서(미도시)에 의해 생성되고 이미징 동안 도 3의 픽셀 어레이(300)의 픽셀들에 제공될 수 있다. 마스크(700)는 오프라인 스토리지(201)에 의해 공급될 수 있거나 프로세서(미도시)에 의해 생성되어 데이터 버스(107)를 통해 픽셀들에 전송될 수 있다. 마스크(700)는 도 2a 및 도 2b의 픽셀들(100a 내지 100n)에 의해 사용될 마스크 메모리들(106a 내지 106n)에 저장될 수 있다. 마스크(700)는 신호 재구성 동안 사용하기 위해 오프라인 스토리지(201)에 저장될 수 있다.

도 8은 집적을 위해 사용되는 2차 메모리를 갖는 픽셀 아키텍처(800)의 다른 예시적인 실시예의 개략도를 도시한다. 통합(integration)은 단일 메모리 내에 광자 정보의 어큐뮬레이션(the accumulation of photon information)일 수 있다. 도 8은 도 2a의 픽셀 열(200) 또는 도 2b의 픽셀 열(200b)의 예시를 도시한다. 픽셀(801a)은 픽셀 열(200)의 픽셀일 수 있다. 광자 센서(101a)는 포토다이오드일 수 있다. 클록 신호(104)에도 연결될 수 있는 제2 메모리(802a), 제2 어큐뮬레이터(803a), 및 제2 데이터 경로(704)가 있을 수 있다. 이미징 동안, 제2 메모리(802a)는 광자 센서(101a)로부터 데이터를 수집할 수 있는 제2 어큐뮬레이터(803a)에 의해 제공되는 값들을 누적할 수 있다. 이미징이 발생할 때 각각의 클록 사이클에 대해, 제2 메모리(802a)는 값들을 저장할 수 있고 값들을 다른 메모리로 시프트하지 않을 수 있다. 이미징이 완료되면, 제2 데이터 경로(704)는 데이터를 메모리(802a)에서 메모리(802b, 802c)로 및/또는 오프라인 스토리지(201)(미도시)로 전송하는데 사용될 수 있다. 대안적인 실시예에서, 제2 데이터 경로(704)는 도 1b에서와 같이 출력 셀렉터(108)(미도시)에 연결될 수 있고, 데이터는 다른 픽셀들을 통해 오프라인 스토리지(201)로 데이터를 시프트하는 대신 선택에 의해 오프라인 스토리지(201)로 전송될 수 있다.

도 9는 SPAD 센서를 갖는 디지털 픽셀 아키텍처(900)의 다른 예시적인 실시예의 개략도를 도시한다. 도 9는 도 2a의 픽셀 열(200) 또는 도 2b의 픽셀 열(200b)의 예시를 도시한다. 픽셀(901a)은 픽셀 열(200)의 픽셀일 수 있다. 광자 센서(101a)는 단일 광자 애벌런치 다이오드 또는 다른 디지털 센서일 수 있다. 클록 신호(104)에 연결될 수 있는 카운터(902a 내지 902c) 및 제2 데이터 경로(803)가 있을 수 있다. 카운터(902)는 광자 센서(101a)에 의해 검출된 광자들을 카운트하고, 각 클록 사이클에 대해 이 데이터를 누적하고 저장하며, 데이터를 전송할 수 있다. 이미징 동안, 카운터(902a)는 광자 센서(101a)에 의해 제공되는 값들을 누적하거나 적분(integrate)할 수 있다. 이미징이 발생할 때 각각의 클록 사이클에 대해 카운터(902a)는 값들을 저장할 수 있고 값들을 다른 카운터들로 시프트하지 않을 수 있다. 이미징이 완료되면, 제2 데이터 경로(803)는 메모리로부터 카운터(902a)로부터 카운터(902b, 902c) 및/또는 오프라인 스토리지(201)(미도시)로 데이터를 전송하는데 사용될 수 있다. 다른 실시예에서, 카운터(902a)는 하이-다이내믹-레인지(high-dynamic-range) 이미징을 가능하게 하는 알고리즘을 사용할 수 있다. 광자 센서(101a)가 포화되거나 센서가 센싱할 수 있는 것보다 더 강한 광자 신호를 갖는 경우, 카운터(902a)는 포화를 회피하는 알고리즘을 사용할 수 있다.

도 10은 시간 분해 픽셀 아키텍처(time-resolving pixel architecture)(1000)의 예시적인 실시예의 개략도이다. 도 10은 도 2a의 픽셀 열(200) 또는 도 2b의 픽셀 열(200b)의 예시를 도시한다. 픽셀들(1001a 내지 1001c)은 픽셀 열(200)의 픽셀들일 수 있다. 광자 센서(101a)는 전하를 이웃 픽셀들로 전달할 수 있는 CCD, CIS, 또는 QIS 픽셀들 같은 아날로그 출력 센서를 나타내기 위해 메모리 어큐뮬레이터 유닛(1002a)과 결합될 수 있다. 유사하게, 광자 센서(101b)는 메모리 어큐뮬레이터(1002b)와 결합될 수 있고 광자 센서(101c)는 메모리 어큐뮬레이터(1002c)와 결합될 수 있다. 광자 센서(101a)는 결합된 메모리 어큐뮬레이터 유닛(1002a)에 전하를 전달할 수 있다. 광자 센서(101a)의 시간 분해능은 클록 신호(104)의 클록 주기(clock period)에 기초할 수 있다. 예를 들어, 클록 주기가 더 짧으면 검출될 수 있는 광자들이 더 적을 수 있다(더 높은 해상도). 클록 주기가 길면 검출될 수 있는 광자들이 더 많을 수 있다(더 낮은 해상도). 센싱 이벤트 동안, 단일 픽셀(1001a)에 대해, 검출된 전하는 광자 센서(101a)로부터, 결합된 메모리 및 어큐뮬레이터 유닛일 수 있는 유닛(1002a)으로 전달될 수 있다. 유닛(1002a)은 메모리를 저장하는 모드를 포함하는 메모리 모듈 및 전하를 누적하는 모드를 포함하는 어큐뮬레이터 모듈을 가질 수 있다. 클록 사이클 후에, 전하는 유닛(1002a)으로부터 픽셀(1001b)과 연관된 유닛(1002b)으로 전달될 수 있다. 센싱이 완료된 후, 유닛(1002a)에 저장된 전하는 유닛(1002b)으로 이동할 수 있고, 이후 유닛(1002c)으로 이동할 수 있으며, 유닛(1002c)은 전하 또는 전하의 디지털화된 표현을 오프라인 스토리지(201)(미도시)로 전송할 수 있다. 다른 실시예에서, 유닛(1002a)에 저장된 전하는 도 1b에서와 같이 출력 셀렉터(108)(미도시)에 연결될 수 있고, 데이터는 픽셀들을 통해 데이터를 시프트하는 대신, 선택에 의해 오프라인 스토리지(201)로 전달될 수 있다.

도 11은 의사-랜덤 마스크(1104)가 적용된 차동 픽셀 아키텍처(1100)의 예시적인 실시예를 도시한다. 도 11은 도 2a의 픽셀 열(200) 또는 도 2b의 픽셀 열(200b)의 예시를 도시한다. 픽셀들(1105a 내지 1105c)은 픽셀 열(200)의 픽셀들일 수 있다. 광자 센서들(101a 내지 101c)는 CCD, CIS 또는 QIS 센서들과 같은 아날로그 출력 센서들일 수 있다. 일부 실시예에서, 광자 센서(101a 내지 101c)는 디지털 출력 센서일 수 있다. 광자 센서(101a)는 결합된 메모리 어큐뮬레이터 유닛들(1100a 및 1100b)에 전하(아날로그 경우) 또는 디지털 값들(디지털 경우)을 전달할 수 있다. 광자 센서(101a)의 해상도(resolution)는 클록 신호(104)의 클록 주기일 수 있다. 센싱 이벤트 동안, 마스크(1104)는 픽셀들(1105a 내지 1105c)에 적용될 수 있다. 단일 픽셀(1105a)에 대해, 검출된 전하/값은 광자 센서(101a)로부터, 결합된 메모리 및 어큐물레이터 유닛일 수 있는 유닛(1100a 및 1100b)으로 전송될 수 있다. 유닛들(1100a, 1100b)은 메모리를 저장하기 위한 메모리 모듈 및 모드와 전하를 축적하기 위한 어큐뮬레이터 모듈 및 모드를 가질 수 있다. 유닛(1100b)은 마스크(1104) 상의 픽셀로부터의 마스크 값과 함께 곱해지는 전하/값을 수신할 수 있다. 유닛(1100a)은 마스크(1104) 상의 픽셀로부터의 역(inverse) 또는 반대(reverse) 마스크 값과 함께 곱해지는 전하/값을 수신할 수 있다.

예를 들어, 마스크(1104)의 픽셀의 값이 0이면, 픽셀의 역 또는 반대 값은 1일 수 있다. 마스크(1104)의 값들 및 마스크(1104)의 반대 값들을 픽셀 아키텍처(1100)의 픽셀들에 제공함으로써, 무손실 신호 재구성이 달성될 수 있다.

클록 사이클 후에, 전하들/값들은 유닛(1100a)에서 유닛(1101a)으로 그리고 유닛(1100b)에서 픽셀(1105b)과 연관된 유닛(1101b)으로 전달될 수 있다. 센싱이 완료된 후, 유닛(1100a)에 저장된 전하들/값들은 유닛(1101a)으로 이동할 수 있고, 그 다음 유닛(1102a)으로 이동할 수 있으며, 유닛(1102a)은 상기 전하들/값들을 오프라인 스토리지(201)(미도시)로 전송할 수 있다. 전하/값의 유사한 이동이 유닛들(1100b 내지 1102b)에 대해 발생할 수 있다. 이것은 무손실 이미지 재구성에 사용될 수 있다. 다른 실시예에서, 유닛(1100a)에 저장된 전하는 도 1b에서와 같이 출력 셀렉터(108)(미도시)에 연결될 수 있고, 데이터는 픽셀들을 통해 데이터를 시프트하는 대신, 선택에 의해 오프라인 스토리지(201)로 전달될 수 있다.

본 명세서에서 설명된 발명의 실시예들 및 동작들은 디지털 전자 회로, 또는 본 명세서에 개시된 구조 및 구조적 등가물을 포함하는 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어, 또는 이들 중 하나 이상의 조합으로 구현될 수 있다. 본 명세서에서 설명된 발명의 실시예들은 하나 이상의 컴퓨터 프로그램으로서 즉, 데이터-처리 장치에 의한 실행을 위해 또는 그 동작을 제어하기 위해 컴퓨터-저장 매체 상에 인코딩된 컴퓨터 프로그램 명령어들의 하나 이상의 모듈로서 구현될 수 있다. 대안적으로 또는 추가적으로, 프로그램 명령어는 인공적으로 생성된 전파 신호, 예를 들어 기계-생성 전기, 광학 또는 전자기 신호 상에 인코딩될 수 있으며, 상기 신호는 정보 처리 장치에 의한 실행을 위해 적절한 수신기 장치로의 전송을 위해 데이터를 인코딩하도록 생성된다. 컴퓨터-저장 매체는 컴퓨터 판독 가능 저장 장치, 컴퓨터 판독 가능 저장 기판, 랜덤- 또는 직렬-액세스 메모리 어레이 또는 장치, 또는 이들의 조합일 수 있거나 이에 포함될 수 있다. 더욱이, 컴퓨터 저장 매체는 전파된 신호가 아닌 반면, 컴퓨터 저장 매체는 인공적으로 생성된 전파 신호에서 인코딩된 컴퓨터 프로그램 명령어의 소스 또는 목적지일 수 있다. 컴퓨터 저장 매체는 또한 하나 이상의 개별 물리적 컴포넌트 또는 매체(예컨대, 다수의 CD, 디스크 또는 기타 저장 장치)일 수 있거나 이에 포함될 수 있다. 또한, 본 명세서에서 설명된 동작들은 하나 이상의 컴퓨터 판독 가능 저장 장치에 저장되거나 다른 소스로부터 수신된 데이터에 대해 데이터 처리 장치에 의해 수행되는 동작들로서 구현될 수 있다.

본 명세서는 많은 특정 구현 세부사항들을 포함할 수 있지만, 구현 세부사항들은 청구된 본 발명의 범위에 대한 제한으로 해석되어서는 안 되며, 오히려 특정 실시예에 특정한 특징들의 설명으로 해석되어야 한다. 개별 실시예들의 맥락에서 본 명세서에 설명된 특정 특징들은 단일 실시 예에서 조합하여 구현될 수도 있다. 반대로, 단일 실시예의 맥락에서 설명된 다양한 특징들은 또한 다수의 실시예들에서 개별적으로 또는 임의의 적절한 하위 조합으로 구현될 수 있다. 더욱이, 특징들이 특정 조합으로 작용하는 것으로 위에서 설명되고 심지어 처음에 그렇게 주장될 수도 있더라도, 청구된 조합으로부터 하나 이상의 특징들이 어떤 경우에는 조합으로부터 삭제될 수 있고, 청구된 조합은 하위 조합 또는 하위 조합의 변형에 대할 것일 수 있다.

유사하게, 동작들이 특정 순서로 도면에 도시되어 있지만, 이는 바람직한 결과를 달성하기 위해 이러한 동작들이 도시된 특정 순서 또는 순차적 순서로 수행되거나 모든 도시된 동작들이 수행 될 것을 요구하는 것으로 이해되어서는 안된다. 특정 상황에서는 멀티태스킹 및 병렬 처리가 유리할 수 있다. 더욱이, 전술한 실시예들에서 다양한 시스템 컴포넌트들의 분리는 모든 실시예들에서 그러한 분리를 필요로 하는 것으로 이해되어서는 안되며, 설명된 프로그램 컴포넌트들 및 시스템들이 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품들로 패키징될 수 있음이 이해되어야 한다.

따라서, 본 발명의 특정 실시예들이 여기에 설명되었다. 다른 실시예들이 이하의 청구범위의 범위 내에 있다. 일부 경우에, 청구범위에 언급된 액션들(actions)은 다른 순서로 수행될 수 있으며 여전히 바람직한 결과를 얻을 수 있다. 또한, 첨부된 도면에 도시된 프로세스는 바람직한 결과를 얻기 위해 도시된 특정 순서 또는 순차적 순서를 반드시 요구하지 않는다. 특정 구현시에, 멀티태스킹 및 병렬 처리가 유리할 수 있다.

당업자에 의해 인식되는 바와 같이, 여기에 설명된 혁신적인 개념들은 광범위한 어플리케이션들에서 수정 및 변경될 수 있다. 따라서, 청구된 본 발명의 범위는 전술한 특정 예시적인 교시들(teachings)에 제한되어서는 안 되며, 대신 이하의 청구범위에 의해 정의된다.

본 발명의 실시예들은 제한 없이 다음 기술들(statements)로 확장될 수 있다.

기술 1: 픽셀들의 세트로부터의 데이터를 이미징하는 것을 처리하는 방법은,

픽셀들의 세트에서 클록 신호를 수신하는 단계를 포함하며, 그 결과 상기 픽셀들의 세트 중 제1 픽셀은 이하 액션들:

광자 센서로부터 제1 광자 정보 값을 수집하고, 상기 제1 광자 정보 값을 어큐뮬레이터에 저장하는 단계;

상기 제1 픽셀과 연관된 메모리로부터의 제2 광자 정보 값을 상기 어큐뮬레이터에 가산하여 제3 광자 정보 값을 획득하는 단계;

상기 제3 광자 정보를 저장하는 단계; 및

상기 광자 센서와 상기 어큐뮬레이터를 0으로 리셋하는 단계를 수행한다.

기술 2: 기술 1의 방법에 있어서, 상기 제3 광자 정보는 제2 픽셀과 연관된 메모리에 저장된다.

기술 3: 기술 1의 방법에 있어서, 상기 제1 광자 정보 값, 상기 제2 광자 정보 값 및 상기 제3 광자 정보 값은 광자 카운트 또는 전하 중 하나이다.

기술 4: 기술 1의 방법에 있어서, 상기 픽셀들의 세트 중 상기 제1 픽셀은 복수의 후속하는 클록 신호들의 수신 시에 상기 액션들을 반복한다.

기술 5: 기술 4의 방법에 있어서, 셔터는 상기 클록 사이클들 중 적어도 하나 동안 개방된다.

기술 6: 기술 5의 방법에 있어서, 상기 셔터는 상기 클록 사이클들 중 적어도 하나 동안 폐쇄된다.

기술 7: 기술 1의 방법에 있어서, 상기 제3 광자 정보는 압축센싱 신호 재구성을 위한 오프라인 스토리지로 시프트함으로써 저장된다.

기술 8: 기술 1의 방법에 있어서, 의사 랜덤 마스크는 상기 픽셀들의 세트에 적용된다.

기술 9: 기술 8의 방법에 있어서, 상기 의사 랜덤 마스크는 상기 수집 기간 동안 일정하게 유지된다.

기술 10: 기술 8의 방법에 있어서, 상기 의사 랜덤 마스크는 상기 수집 기간 동안 다아내믹(dynamic)하다.

기술 11: 기술 1의 방법에 있어서, 상기 픽셀들의 세트는 더 큰 픽셀 어레이의 서브세트인 관심 영역으로서 선택된다.

기술 12: 기술 1의 방법에 있어서, 상기 제1 픽셀은 상기 제2 메모리에 광자 정보를 통합하기 위해 제2 메모리에 상기 광자 센서로부터의 광자 정보를 더 저장한다.

기술 13: 기술 1의 방법에 있어서, 상기 픽셀들의 세트는 디지털 또는 아날로그일 수 있다.

기술 14: 기술 1의 방법에 있어서, 상기 제3 광자 정보는 상기 제1 픽셀과 연관된 상기 메모리에 저장된다.

기술 15: 압축센싱을 위한 픽셀 어레이 아키텍처는,

행들과 열들을 갖는 픽셀 어레이; 및

상기 픽셀 어레이에 연결된 데이터 버스;를 포함하고

상기 픽셀 어레이의 적어도 2개의 픽셀들 각각은:

광자 센서;

메모리;

어큐뮬레이터; 및

상기 어큐뮬레이터를 상기 메모리에 연결하는 출력 경로를 포함한다.

기술 16: 기술 15의 픽셀 어레이에 있어서, 제1 픽셀의 상기 출력 경로는 상기 픽셀 어레이에서 제2 픽셀의 상기 메모리에 연결된다.

기술 17: 기술 15의 픽셀 어레이에 있어서, 상기 광자 센서는 포토다이오드, 단일 광자 애벌런치 다이오드, 양자 이미지 센서, 전하 결합 소자(charge coupled device), 또는 접촉 이미지 센서 중 하나를 포함한다.

기술 18: 기술 15의 픽셀 어레이에 있어서, 상기 광자 센서는 마스크 데이터를 저장하기 위한 마스크 메모리 및 상기 마스크 메모리를 상기 광자 센서에 연결하는 마스크 출력 경로를 더 포함한다.

기술 19: 기술 15의 픽셀 어레이에 있어서, 상기 픽셀 어레이는 상기 어큐뮬레이터로부터 데이터를 선택하기 위한 데이터 셀렉터 및 상기 데이터 셀렉터를 오프라인 스토리지에 연결하는 셀렉터 출력 경로를 더 포함한다.

기술 20: 기술 15의 픽셀 어레이에 있어서, 상기 광자 센서는 디지털 센서이고, 각 픽셀은:

제2 메모리; 및

상기 광자 센서 및 상기 제2 메모리로부터 수집된 데이터를 누적하고, 상기 누적된 데이터를 상기 제2 메모리에 저장하는 제2 어큐뮬레이터를 포함한다.

기술 21: 기술 15의 픽셀 어레이에 있어서, 상기 광자 센서는 단일 광자 애벌런치 다이오드(SPAD)이고, 각 픽셀은 상기 SPAD로부터의 출력들을 누적하기 위한 카운터를 더 포함한다.

기술 22: 기술 15의 픽셀 어레이에 있어서, 상기 광자 센서는 아날로그 센서이고 전하를 상기 메모리 및 상기 어큐뮬레이터로 전달할 수 있고, 상기 어큐뮬레이터는 전하를 상기 픽셀 어레이의 다른 픽셀과 연관된 상기 메모리 또는 어큐뮬레이터로 전달할 수 있다.

기술 23: 기술 15의 픽셀 어레이에 있어서, 상기 픽셀들 각각은 제2 메모리 및 제2 어큐뮬레이터를 포함하고, 상기 제2 메모리는 상기 메모리에 저장된 반대 값(reverse value)을 저장할 수 있다.

기술 24: 기술 15의 픽셀 어레이에 있어서, 상기 메모리 및 상기 어큐뮬레이터는 데이터 또는 전하를 저장하고 누적하는 두가지 기능들 모두를 제공하는 단일 장치를 포함한다.

기술 25: 픽셀들의 세트로부터의 데이터를 이미징하는 것을 처리하는 방법에 있어서,

픽셀들의 세트에서 클록 신호를 수신하는 단계를 포함하고, 그 결과 상기 픽셀들의 세트 중 제1 픽셀은 이하의 액션들:

이진 마스크 값을 수신하는 단계;

광자 센서로부터 제1 광자 정보 값을 수집하는 단계;

상기 이진 마스크 값과 상기 제1 광자 카운트를 곱하고 그 결과를 어큐뮬레이터에 저장하는 단계;

상기 제3 광자 정보 값을 상기 제1 픽셀과 연관된 메모리에 저장하는 단계;

상기 광자 센서를 0으로 리셋하는 단계를 수행한다.

기술 26: 기술 25의 방법에 있어서, 상기 이진 마스크 값은 의사 랜덤으로 생성된다.

기술 27: 기술 25의 방법에 있어서, 상기 픽셀들의 세트 중 상기 제1 픽셀은 복수의 후속하는 클록 신호들의 수신 시에 상기 액션들을 반복한다.

기술 28: 기술 25의 방법에 있어서, 셔터는 상기 클록 사이클들 중 적어도 하나 동안 개방된다.

기술 29: 기술 28의 방법에 있어서, 상기 셔터는 상기 클록 사이클들 중 적어도 하나 동안 폐쇄된다.

기술 30: 기술 25의 방법에 있어서, 상기 제3 광자 정보는 출력 셀렉터에서 선택되고 압축센싱 신호 재구성을 위해 오프라인 스토리지로 전송된다.

기술 31: 기술 25의 방법에 있어서, 상기 이진 마스크 값은 상기 픽셀들의 세트에 적용된다.

기술 32: 기술 26의 방법에 있어서, 의사-랜덤하게 생성된 상기 이진 마스크 값은 수집 기간 동안 각 클록 신호에 대해 일정하게 유지된다.

기술 33: 기술 26의 방법에 있어서, 의사-랜덤하게 생성된 상기 이진 마스크 값은 수집 기간 동안 다이내믹하다.

기술 34: 기술 1의 방법에 있어서, 상기 픽셀들의 세트는 더 큰 픽셀 어레이의 서브세트인 관심 영역으로서 선택된다.

기술 35: 기술 25의 방법에 있어서, 상기 픽셀들의 세트는 디지털 또는 아날로그이다.

100: 픽셀 101: 광자 센서
102: 메모리 103: 어큐뮬레이터

Claims

픽셀들의 세트로부터의 데이터를 이미징하는 것을 처리하는 방법에 있어서,
픽셀들의 세트에서 클록 신호를 수신하는 단계를 포함하고, 그 결과 상기 픽셀들의 세트 중 제1 픽셀은 이하의 액션들:
광자 센서로부터 제1 광자 정보 값을 수집하고, 상기 제1 광자 정보 값을 어큐뮬레이터에 저장하는 단계;
상기 제1 픽셀과 연관된 메모리로부터의 제2 광자 정보 값을 상기 어큐뮬레이터에 가산하여 제3 광자 정보 값을 획득하는 단계;
상기 제3 광자 정보를 저장하는 단계; 및
상기 광자 센서와 상기 어큐뮬레이터를 0으로 리셋하는 단계를 수행하는 방법.
제1항에 있어서,
상기 제3 광자 정보는 제2 픽셀과 연관된 메모리에 저장되는 방법.
제1항에 있어서,
상기 픽셀들의 세트 중 상기 제1 픽셀은 복수의 후속하는 클록 신호들의 수신 시에 상기 액션들을 반복하는 방법.
제1항에 있어서,
상기 제1 픽셀은 상기 제2 메모리에 광자 정보를 통합하기 위해 제2 메모리에 상기 광자 센서로부터의 광자 정보를 더 저장하는 방법.
제1항에 있어서,
상기 제3 광자 정보는 상기 제1 픽셀과 연관된 상기 메모리에 저장되는 방법.
압축센싱을 위한 픽셀 어레이 아키텍처는,
행들과 열들을 갖는 픽셀 어레이; 및
상기 픽셀 어레이에 연결된 데이터 버스;를 포함하고,
상기 픽셀 어레이의 적어도 2개의 픽셀들 각각은:
광자 센서;
메모리;
어큐뮬레이터; 및
상기 어큐뮬레이터를 상기 메모리에 연결하는 출력 경로를 포함하는 픽셀 어레이.
제6항에 있어서,
제1 픽셀의 상기 출력 경로는 상기 픽셀 어레이에서 제2 픽셀의 상기 메모리에 연결되는 픽셀 어레이.
제6항에 있어서,
상기 광자 센서는 마스크 데이터를 저장하기 위한 마스크 메모리 및 상기 마스크 메모리를 상기 광자 센서에 연결하는 마스크 출력 경로를 더 포함하는 픽셀 어레이.
제6항에 있어서,
상기 픽셀 어레이는 상기 어큐뮬레이터로부터 데이터를 선택하기 위한 데이터 셀렉터 및 상기 데이터 셀렉터를 오프라인 스토리지에 연결하는 셀렉터 출력 경로를 더 포함하는 픽셀 어레이.
제6항에 있어서,
상기 광자 센서는 디지털 센서이고, 각 픽셀은
제2 메모리; 및
상기 광자 센서 및 상기 제2 메모리로부터 수집된 데이터를 누적하고, 상기 누적된 데이터를 상기 제2 메모리에 저장하는 제2 어큐뮬레이터를 포함하는 픽셀 어레이
제6항에 있어서,
상기 픽셀들 각각은 제2 메모리 및 제2 어큐뮬레이터를 포함하고, 상기 제2 메모리는 상기 메모리에 저장된 반대 값(reverse value)을 저장할 수 있는 픽셀 어레이.
제6항에 있어서,
상기 메모리 및 상기 어큐뮬레이터는 데이터 또는 전하를 저장하고 누적하는 두가지 기능들 모두를 제공하는 단일 장치를 포함하는 픽셀 어레이.
픽셀들의 세트로부터의 데이터를 이미징하는 것을 처리하는 방법에 있어서,
픽셀들의 세트에서 클록 신호를 수신하는 단계를 포함하고, 그 결과 상기 픽셀들의 세트 중 제1 픽셀은 이하의 액션들:
이진 마스크 값을 수신하는 단계;
광자 센서로부터 제1 광자 정보 값을 수집하는 단계;
상기 이진 마스크 값과 상기 제1 광자 카운트를 곱하고 그 결과를 어큐뮬레이터에 저장하는 단계;
상기 제1 픽셀과 연관된 메모리로부터의 제2 광자 정보 값을 상기 어큐뮬레이터에 가산하여 제3 광자 정보 값을 획득하는 단계;
상기 제3 광자 정보 값을 상기 제1 픽셀과 연관된 메모리에 저장하는 단계;
상기 광자 센서를 0으로 리셋하는 단계를 수행하는 방법.
제13항에 있어서,
상기 이진 마스크 값은 의사 랜덤으로 생성되는 방법.
제13항에 있어서,
상기 픽셀들의 세트 중 상기 제1 픽셀은 복수의 후속하는 클록 신호들의 수신 시에 상기 액션들을 반복하는 방법.
제13항에 있어서,
상기 제3 광자 정보는 출력 셀렉터에서 선택되고 압축센싱 신호 재구성을 위해 오프라인 스토리지로 전송되는 방법.
제13항에 있어서,
상기 이진 마스크 값은 상기 픽셀들의 세트에 적용되는 방법.
제17항에 있어서,
의사-랜덤하게 생성된 상기 이진 마스크 값은 수집 기간 동안 각 클록 신호에 대해 일정하게 유지되는 방법.
제17항에 있어서,
의사-랜덤하게 생성된 상기 이진 마스크 값은 수집 기간 동안 동적인 방법.
제13항에 있어서,
상기 픽셀들의 세트는 더 큰 픽셀 어레이의 서브세트인 관심 영역으로서 선택되는 방법.