KR20160142839A - 고해상도, 고프레임률, 저전력 이미지 센서 - Google Patents

고해상도, 고프레임률, 저전력 이미지 센서 Download PDF

Info

Publication number
KR20160142839A
KR20160142839A KR1020167027821A KR20167027821A KR20160142839A KR 20160142839 A KR20160142839 A KR 20160142839A KR 1020167027821 A KR1020167027821 A KR 1020167027821A KR 20167027821 A KR20167027821 A KR 20167027821A KR 20160142839 A KR20160142839 A KR 20160142839A
Authority
KR
South Korea
Prior art keywords
array
information acquisition
pixel
signal
image sensor
Prior art date
Application number
KR1020167027821A
Other languages
English (en)
Other versions
KR102409952B1 (ko
Inventor
피터 딘
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20160142839A publication Critical patent/KR20160142839A/ko
Application granted granted Critical
Publication of KR102409952B1 publication Critical patent/KR102409952B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • H04N5/2256—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

이진 이벤트에 근거하는 이미지 센서를 이용하여 물체까지의 거리를 측정하는 장치 및 방법에 대한 것이다. 하나의 측면에서, 이미지 센서는 메모리 회로 및 어드레스 디코드 회로를 포함한다. 하나의 측면에서, 하나 이상의 광자들의 수신에 의한 이미지 센서 어레이의 포토다이오드의 활성화는 논리 회로에 대한 입력을 직접적으로 이용될 수 있다. 하나의 실시예에서, 이미지 센서는 어밸랜츠 포토다이오드 포드 또는 가이거 모드에서 동작하는 포토다이오드들을 포함한다. 하나의 실시예에서, 이미지 센서는 문턱 통합된 화소들처럼 작동하는 포토다이오드들을 포함한다. 이미지 센서는 적어도 제1 및 제2 전압 부분을 가지는 하나 이상의 기판들로부터 제조될 수 있다.

Description

고해상도, 고프레임률, 저전력 이미지 센서{HIGH RESOLUTION, HIGH FRAME RATE, LOW POWER IMAGE SENSOR}
본 발명은 집적회로 분야에 관한 것이다. 특히, 물제들의 거리를 측정하는 어밸랜츠 포토다이오드들(avalanche photodiodes)에 기초한 이미지 센서에 대한 것이다.
레인징(ranging)은 검출기부터 관심 물체까지의 거리가 결정되도록하는 방법이다. 종래의 레인징 시스템은 근접 센싱, 원격 센싱, 및/또는 3차원(3D) 이미징을 포함하는 하나 이상의 기능들을 제공할 수 있다. 이 시스템들은 일반적으로 관심 물체를 비추는 정보획득소스(interrogation source, 예를들어, 광원) 및 정보획득소스와 상기 물체 간의 상호작용으로부터 복귀 신호(return signal)을 등록하기 위한 이미지 센서 어레이(예를들어, Complementary Metal Oxide Semiconductor(CMOS) 이미지 센서)를 포함한다. 종래의 광 정보획득 시스템들(light interrogation systems)은 순차적 프레임-기반 이미지 센서를 이용하여 이미지들을 캡쳐할 수 있고, 캡쳐된 이미지들에 이미지 처리 및 패턴 인식 알고리즘을 적용할 수 있다. 상기 알고리즘들은 전형적으로 투사 방송 패턴들(projected broadcast patterns, 예를들어, 구조형 광(structured light)) 또는 정보획득 소스의 위상 상관 빔 스윕들(phase correlated beam sweeps)에 대한 지식에 근거한다. 각각의 화소의 제한된 감광도 때문에, 전형적인 이미지 센서들은 충분한 신호대잡음비(signal-to-noise ratio, SNR)의 광학 신호를 설정하기 위해서 각각의 화소 상에 많은 광자들(예를들어, 1000개 이상의 광자들)의 집적을 요구한다. 종래 이미지 센서의 SNR 요건들은 결국 광원의 파워에 대한 요구들을 생성한다(예를들어, 정보획득 빔은 예시적으로 가시광선 파장 범위 및/또는 적외선 파장 범위 일 수 있다). 달리 말하면, 스캔된 환경(또는 물체)에 대한 의미있는 정보를 추출하기 위해서 정보획득 빔은 감지를 위한 충분한 숫자의 광자들을 제공할 수 있어야만 한다.
증가된 감광도를 갖는 이미지 센서(예를들어, 어밸랜츠 포토다이오드들을 포함하는 것)는 정보획득 소스로부터의 보다 적은 입사 광자들을 갖고서도 신호 감지를 가능하게 하나, 또한 배경 잡음(background noise)에 대해 더 민감해진다. 관심 물체에 대한 범위가 클 때, 정보획득 소스로부터의 광자들은 큰 비행 시간(time-of-flight, TOF)을 갖는다. 관심 물체로부터 반사(또는 후방 산란) 된 광에 기초하는 시스템에서서, 정보획득 소스의 방사성 소실(1/R4 만큼, R=나가고 돌아오는 경로에 기인하는 범위)은 감지 가능한 큰 거리를 넘는 충분한 SNR을 제공하기 위해서 정보획득 소스 파워가 커지는 것을 요구한다. 이와 같은 시나리오에서 "장면"으로부터의 신호가 배경(예를들어, 맑고 화창날 날의 큰 방사)에 의해 압도될 수 있고, 이는 관심 물체로부터 되돌아오는 정보획득 신호의 수신에 앞서 이미지 센서들 안에 있는 포토다이오드들의 활성화를 야기한다. 전통적으로, TOF 레인징 이슈들은, 특히 소모되는 파워(정보획득 물체까지 거리를 통해 전형적으로 축척(scale)된다), 다른 시스템 구성요소들의 크기와 함께, 가상현실 및/또는 증강현실과 같은 어플레케이션들을 위한 손에들고 쓰는 디바이스들 및/또는 웨어러블들과 같은 작은 폼 팩터(form factor) 디바이스들의 사용을 제한한다. 종래의 TOF-기반 시스템들은 모바일폰들, 웨어러블들, 및 다른 모바일 어플레케이션들에 적용되기에는 너무 파워를 많이 소비하거나 느렸다(대기시간 및 프레임률에 관하여).
종래의 시스템에서, 전체 이미지 센서 어레이는 그레이 스케일 이미지를 생성시키기 위해 샘플링된다. HD(high-definition) 고화질(많은 픽셀들, 예를들어 1280x720)의 이미지 센서를 사용할 때(데이터 스트림이 너무 큼), 이와같은 방식으로 낮은 파워에서 고프레임율을 달성하는 것은 불가능하다. 더나아가, 고해상도를 가지는 이미지 센서들은 일반적으로 메모리-인스파이어드 어레이 어드레스(memory-inspired array address) 및 판독구조를 이용하고, 이는 이용가능한 시간 정보를 엄격하게 제한하며, 이 시간 정보는 센서에 광자들이 도착하는 시간과 관계된다. 엄청난 양의 화소 데이터는 종래의 이미지 센서에서 관심 이벤트들을 찾기 위해서 분류 되어야 하고, 파워 측면에서 매우 비효율적인 방법일 수 있다. 더나아가, 광의 굉장한 속도(대략 0.3m/ns)를 고려하면, 미세한 타이밍 해상도(예를들어, 0.5ns)를 달성할 수 있는 시스템일지라도 공간적 해상도가 0.15m로 제한될 수 있으며, 이는 많은 어플리케이션들에 대해서는 너무 낮은 해상도 일 수 있다.
본 발명은 물체의 거리정보를 출력하는데 이용될 수 있는 장치 및 방법에 관한 것이다.
본 발명의 일 실시예에 따른 광학 이벤트 감지 방법은 광학 정보획득 빔으로 물체를 정보획득 하는 단계; 상기 광자 정보획득 빔의 활성화와 실질적으로 동시에 화소들의 에레이를 활성화하고, 상기 화소들은 어밸랜츠 포토다이오드들을 포함하고, 어밸랜츠 포토다이오드들의 전압 바이어스 레벨은 가이거 모드 및 어밸랜츠 모드 중 하나에서의 화소 구동과 대응하는 단계; 상기 어레이에서, 상기 정보획득하는 상기 물체로부터 반사되는 빔을 수신하는 단계; 상기 어레이 상에 상기 반사되는 빔의 입사의 위치에 대응하는 신호를 생성하고, 상기 신호는 적어도 하나의 화소 어레이 어드레스 및 상기 광자 정보획득 빔 및 상기 반사되는 빔의 TOF(time-of-flight)에 대응하는 단계; 및 상기 신호에 근거하여 물체까지의 거리를 결정하는 단계를 포함한다.
상기 정보획득 하는 단계는 상기 광자 정보획득 빔의 제어된 각도에서 수행되고, 정보획득 소스는 상기 정보획득 빔을 방출하고, 상기 어레이, 서로로부터 제어된 거리에 배치되어 있고, 상기 거리를 결정하는 단계는 상기 제어된 앵글, 상기 제어된 거리, 및 상기 반사되는 빔의 상기 화소 어레이 어드레스에 의해 결정되는 입사 각도를 삼각측량 하는 것에 근거한다.
상기 어레이를 활성화 하는 것은 셔터링(shuttering)을 포함하고, 상기 셔터링은 시변 모드에서 상기 어레이의 활성화하는 복수의 부분집합들을 포함하고, 복수의 부분집합들의 각 부분집합을 위한 부분집합 활성화 기간은 상기 제어된 각도가 변하는 곳에서 상기 제어된 각도 및 비율의 값에 근거한다.
상기 신호를 생성하는 것은 상기 복수의 부분집합들의 액티브 부분집합에 의해 구성되는 화소에 의해 상기 반사되는 빔을 수신하는 것에 근거하고, 상기 액티브 부분집합에 의해구성되는 상기 화소들의 나머지에 의해 상기 반사되는 빔의 어떤 감지는 상기 신호에 포함되지 않는다.
본 발명의 일 실시예에서, 상기 신호를 생성하는 것은 상기 화소가 상기 반사되는 빔을 수신하는 것에 직접 응답하여 상기 어레이의 화소의 래치 회로에 의한 집합 신호를 생성하는 것을 포함하고, 상기 집합 신호는 적어도 하나의 상기 화소의 행 어드레스 및 열 어드레스를 적어도 하나의 열 디코더 회로 및 행 디코더 회로에 전달한다.
상기 집합 신호는 접지-참조 포토다이오드 전류에 의해 발전되는 포지티브 전압 펄스이다.
상기 신호를 생성하는 것은 상기 화소가 상기 반사되는 빔을 수신하는 것에 응답하여 상기 어레이의 화소에서 열 디코드 신호를 생성하는 것을 포함하고, 상기 열 디코드 신호는 상기 화소의 상기 열 어드레스를 행 래치 회로에 전달한다.
상기 어레이의 화소들은 적어도 하나의 전하 스토리지 소자를 포함하고, 상기 광자 정보획득 빔을 활성화하고 어밸랜츠 포토다이오드들의 상기 어레이는 상기 정보획득 빔으로부터의 방출 및 상기 물체로부터의 반사되는 빔의 수신 사이의 시간 기간 동안 상기 적어도 하나의 전하 스토리지 소자의 전하 레벨이 변하는 것을 시작 및 끝낼 수 있고, 상기 전하 레벨은 TOF에 대응한다.
본 발명의 일 실시예에 따른 광학 이벤트를 감지하기 위한 광학 이벤트 센서는, 광자 정보획득 소스의 활성화와 실질적으로 동시에 활성화되기 위해 사용할 수 있고, 상기 화소들은 어밸랜츠 포토다이오드들을 포함하고며, 어밸랜츠 포토다이오드들의 전압 바이어스 레벨은 가이거 모드 및 어밸랜츠 모드 중 하나에서의 화소 구동에 대응하는 화소들의 어레이를 포함하고, 화소들의 상기 어레이는 상기 물체로부터 반사되는 빔을 수신하기 위해 사용될 수 있고, 상기 어레이에서, 상기 어레이 상에 상기 반사되는 빔의 입사의 위치에 대응하는 신호를 생성하고, 상기 신호는 적어도 하나의 화소 어레이 어드레스 및 상기 정보획득 빔 및 상기 반사되는 빔의 TOF(time-of-flight)에 대응하고, 화소들의 상기 어레이는 상기 신호에 근거하여 상기 물체까지의 거리를 측정하는데 사용될 수 있다.
본 발명의 일 실시예에 따른 거리 측정 모바일 장치는 메모리, 광자 정보획득 소스, 및 이미지 센서를 포함한다. 상기 메모리는 상기 프로세서에 영향을 미치도록 연결된다. 상기 광자 정보획득 소스는 물체를 조명하기 위한 정보획득 빔을 방출한다. 상기 이미지 센서는 화소들의 어레이를 포함하고 전하 스토리지 소자들에 대응하며, 상기 정보획득 소스 및 상기 프로세서에 영향을 미치도록 연결되고, 상기 정보획득 빔에 의해 상기 물체의 감에 의해 생성되는 반사되는 빔을 수신하고, 상기 어레이 상에 상기 반사되는 빔에 근거하는 신호를 발달시킨다. 상기 정보획득 소스 및 상기 이미지 센서의 활성화는 상기 정보획득 빔으로부터의 방출 및 상기 물체로부터의 반사되는 빔의 수신 사이의 시간 기간 동안에 상기 전하 스토리지 소자들의 전하 레벨 변하는 것을 시작 및 끝내고, 상기 전하 레벨은 상기 신호로 구성된다. 상기 프로세서는 상기 신호를 수신하는데 이용될 수 있고, 상기 신호에 근거하여 상기 물체의 거리정보를 출력하는데 이용될 수 있다.
본 발명의 실시예에 따르면, 고해상도 및 고프레임율에서 저전력으로 물체까지의 거리를 측정할 수 있다.
도 1은 본 발명의 일 실시예에 따른 예시적인 광학 정보획득 시스템을 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 예시적인 어밸랜츠 포토다이오드 화소를 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 싱글-광자 어밸랜츠 포토다이오드의 예시적인 전류-전압 관계를 도시한 것이다.
도 4는 배경 방사 소스(background radiation source)를 포함하는 환경에서 동작하는 본 발명의 일 실시예에 따른 예시적인 광학 정보획득 시스템을 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 이미지 센서 구조의 예시적인 회로도를 도시한 것이다.
도 6은 본 발명의 일 실시예에 따른 거리 측정을 위한 여러 물체들을 포함하는 환경의 그림이다.
도 7은 본 발명의 일 실시예에 따른 거리 측정을 위한 여러 물체들을 포함하는 환경의 그림이다.
도 8은 본 발명의 일 실시예에 따른 물체까지의 거리를 측정하는 방법을 도시한 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 호스트 장치와 통합된 예시적인 광학 정보획득 시스템을 도시한 것이다.
도 10은 본 발명의 일 실시예에 따른 예시적인 화소 회로의 블록도를 도시한 것이다.
도 11은 본 발명의 일 실시예에 따른 예시적인 화소 회로를 도시한 것이다.
도 12는 본 발명의 일 실시예에 따른 버퍼 및 디코더 소자를 포함하는 예시적인 화소 회로를 도시한 것이다.
도 13은 본 발명의 일 실시예에 따른 이미지 센서 컬럼 자체-타이밍(image sensor column self-timing) 및 판독 리플-통과 기능(readout ripple-through functionality)을 위한 예시적인 회로 로직을 도시한 것이다.
도 14는 본 발명의 일 실시예에 따른 연결된 화소 회로의 블록도를 도시한 것이다.
도 15는 본 발명의 일 실시예에 따른 이미지 센서 구조의 회로도를 도시한 것이다.
도 16은 본 발명의 일 실시예에 따른 이미지 센서 구조의 회로도를 도시한 것이다.
도 17은 본 발명의 일 실시예에 따른 제1 및 제2 전압에서 동작하기 위한 부분들과 적어도 두 개의 층을 포함하는 반도체 장치를 도시한 것이다.
도 18은 본 발명의 일 실시예에 따른 적층된 웨이퍼 디자인을 가지는 이미징 센서 어레이(imaging sensor array)를 도시한 것이다.
도 19는 본 발명의 일 실시예에 따른 적층된 웨어퍼 디자인을 갖는 이미징 센서 어레이의 제조를 위한 공정 단계를 도시한 것이다.
도 20은 본 발명의 일 실시예에 따른 적층된 웨이퍼 디자인 및 감소된 화소 피치를 갖는 이미징 센서 어레이를 도시한 것이다.
도 21은 본 발명의 일 실시예에 따른 반도체 제조 방법을 도시한 흐름도이다.
하나의 양상에서, 본 발명의 실시예들은 이미지 센서에 이용되도록 연결된 정보획득 소스(interrogation source)를 포함하는 시스템을 제공한다. 정보획득 소스(예를들어, 적외선(IR) 파장 동조 레이저)는 시스템의 시야 범위에 있는 물체 또는 물체들을 조명할 수 있고, 이미지 센서는 관심 물체로부터 반사된 광을 감지한다. 이미지 센서는 높은 감광성 검출기들의 어레이를 포함한다(예를들면, 어밸랜츠 포토다이오드의 어레이). 일 실시예에서, 어밸랜츠 포토다이오드(avalanche photodiode)는 항복영역(breakdown region)을 넘어 동작하는 p-n 접합(p-n junction) 장치를 포함하고, p-n 접합(p-n junction) 장치는 단일 광자 어밸랜츠 다이오드(SPAD)처럼 동작하여 입사 광자가 스스로-지속되는 어밸랜츠를 야기할 수 있다(예를들어, 어밸랜츠 포토다이오드는 소위 가이거 모드(Geiger mode)에서 동작한다). 일 실시예에서, 이미지 센서는 하나(또는 조금)의 입사 광자에 반응하고 특정한 이미지 센서 어레이 어드레스에 광자 감지를 나타내는 신호를 발생시킨다. 다르게 말하면, 화소의 감광성 소자에 의한 적은 광자들의 수신은 화소에 의해 감지되기 적합하고, 이러한 화소를 사용하는 경우 광학 이벤트를 검출하는데 필요한 광자들의 수의 저하로 이어진다(포토다이오드들이 광을 감지하고 신호를 발생시키기 위해 어떤 시간주기 동안 수백의 광자들을 모으는 종래의 방법으로 동작하는 화소와 비교하여). 알려진 정보획득 소스 각도 및 이미지 센서까지의 거리를 포함하는 화소 어드레스에 의해 도출되는 정확한 위치 정보에 의해서, 물체까지 거리는 최소의 회로 복잡성, 비용, 및 파워 소모와 뛰어난 정확도로 결정될 수 있다. 게다가, 이미지 센서는 이미지 어레이 화소들(예를들어, 롤링 화소 서브-어레이)의 시변(time-varying) 부분집합들을 활성화하여 동작하도록 구성될 수 있고, 배경 잡음(background noise) 및 시스템 파워 요구들 모두를 줄이기 위해서 정보획득 소스의 활성화와 협력한다. 예를들어, 이러한 사용은 매우 낮은 광학 출력 파워가 광 정보획득 시스템의 대응하는 광 소스에 이용되도록 허용하고, 낮은 광학 파워 요건들의 하나의 가능한 이점은 인간의 눈 안전이다.
단일 또는 몇 개의 광자 이벤트 감지 화소들은 레인징(raging), TOF, 및 3D 이미징 어플리케이션 등 다양한 광학 정보획득 기반 센싱 양상들에 적용가능하다는 것은 이해된다. 일 실시예에서, 이미지 센서 어레이의 각각의 화소들은 관심 물체(들)로부터 반사(또는 후방산란)되어 수신된 광의 TOF 정보를 결정할 수 있다. 광 패키지는 시스템 상에 포함될 수 있는데, 이는 이미지 센서로 들어오는 방사선의 파장을 필터링 및/또는 화소의 감광성 부분들 상에 입사 방사선의 초점을 맞추는 동작을 가능케한다(예를 들면, 화소의 충진율을 향상). 일 실시예에서, 이미지 센서 어레이는 정보획득 소스의 활성화에 동기화 방식으로 광을 수신할 수 있다. 본 발명의 시스템은, 온-칩회로, 대기시간, 및 파워 소모를 최소한으로 하여 밝은 주변광(또는 환경광)에서, 적당한 거리 이상에서, 배경 잡음으로부터 보다는 정보획득 소스로부터 수신되는 광자 버스트(photon burst)를 식별할 수 있다. 도 1은 본 발명의 실시예에 따른 레인징 장치의 개요를 제공한다. 단일 또는 몇몇의 광자 화소들과 같은 것을 활용하는 광학 정보획득 시스템은 모바일 장치(예를들어, 스마트폰, 태블릿, 기타등등)와 같은 호스트 장치 또는 다른 호스트 장치들에 통합될 수 있다.
참조가 이제 상세하게 만들어져 몇몇의 실시예가 될 것이다. 대안이 되는 실시예와 결합하여 주제가 설명되는 동안에, 이러한 실시예들에 청구된 주제에 제한하도록 의도되지 않는다는 것이 이해되어야 할 것이다. 반면에, 청구 대상은 첨부 된 청구 범위에 의해 정의된 것과 같이 청구 된 주제의 사상 및 범위 내에 포함될 수 있는 대안, 변형, 및 등가물을 포함하도록 의도된다.
또한, 다음의 상세한 설명에서, 다수의 특정 세부 사항들이 청구된 주제의 완전한 이해를 제공하기 위해 설명된다. 그러나, 실시 예들은 이들 특정 세부 사항들 없이 또는 이들의 균등물과 함께 실시 될 수 있음이 당업자에 의해 인식 될 것이다. 다른 예에서, 잘 알려진 방법들, 절차들, 및 구성들은 상세하게 설명되지 않으므로, 주제의 양상들 및 특징들을 불필요하게 애매하게 하지 않는다.
다음의 상세한 설명의 부분들이 방법의 관점에서 제시되고 논의된다. 단계들 및 순서는 본 명세서에서 이러한 방법들의 동작들을 설명하는 도면에 개시되지만, 이러한 단계들 및 순서는 예시적이다. 실시 예들은 다양한 다른 단계들 또는 본 명세서의 도면의 흐름도에 기재된 단계들의 변형 및 본 명세서에 기재된 것 이외의 순서로 수행하는 데 적합하다.
본원에 기재된 실시 예들은 하나 이상의 컴퓨터 또는 다른 컴퓨팅 장치에 의해 실행되는 프로그램 모듈과 같은 컴퓨터 사용 가능 매체의 일부 형태에 상주하는 컴퓨터 실행 가능 명령의 일반적인 문맥으로 설명 될 수있다. 일반적으로, 프로그램 모듈은 특정 태스크를 수행하거나 특정 추상 데이터 타입을 구현하는 루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포함한다. 다양한 실시 예에서 원하는대로 프로그램 모듈의 기능은 결합되거나 분산 될 수 있다.
예로서, 컴퓨터 사용 가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함 할 수 있으며, 이제 제한되는 것은 아니다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 포함한다. 컴퓨터 저장 매체는 랜덤 액세스 메모리(Random Access Memory, RAM), 읽기 전용 메모리(Read Only Memory, ROM), 전기적 소거가능 프로그래머블 ROM(Electrically Erasable Programmable ROM, EEPROM), 플래쉬 메모리 또는 다른 메모리 기술, 컴팩트 디스크 ROM(Compact Disk ROM, CD-ROM), DVD(Digital Versatile Disks) 또는 다른 광학 저장장치, 자기 카세트, 자기 테이프, 자기 디스크 저장장치 또는 다른 자기 저장장치들, 또는 원하는 정도를 저장하는데 사용될 수 있는 임의의 다른 매체를 포함하며, 이에 제한되는 것은 아니다.
통신 매체는 반송파(carrier wave) 또는 다른 전송 메카니즘 등의 변조 된 데이터 신호에 컴퓨터 판독 가능 명령어들, 데이터 구조들, 프로그램 모듈들 또는 다른 데이터를 포함할 수 있으며, 임의의 정보 전달 매체를 포함 할 수있다. 용어 "변조 된 데이터 신호"는 정보를 신호로 인코딩하는 방식으로 설정 또는 변경된 하나 이상의 특성을 갖는 신호를 의미한다. 예를들어, 통신 매체는 유선 네트워크 또는 직접-유선 접속과 같은 유선 미디어 및 어쿠스틱, 무선 주파수(radio frequency, RF), 적외선 및 다른 무선 미디어들과 같은 무선 미디어를 포함한다. 상기의 임의의 조합도 컴퓨터 판독 가능 매체의 범위 내에 포함되어야한다.
이하의 실시예에서, 고해상도, 고프레임률, 저파워 소모 레인징을 수행하기 위한 기술이 설명된다. 실시예들은 정보획득 빔으로 물체를 비추는 단계, 고감광성 이미지 센서를 이용하여 물체로부터 반사된 광을 수신하는 단계, 및 삼각법 및/또는 화소 레벨에서 결정된 TOF 정보를 이용하여 활성화 된 화소의 어드레스에 근거하여 물체까지의 거리를 결정하는 단계를 포함하는 물체까지의 거리를 결정하는 방법을 포함한다.
본 발명의 일 실시예에서, 이미지 센서의 어밸랜츠 포토다이오드들(예를들어, 지역 변수(local variable) 및/또는 전역 변수(global variable) 역방향 바이어스를 포함하는)은 감도를 향상시키고 레인징(ranging) 및 3D 이미지 어플리케이션들에서 노출 시간 요건들을 감소시키기 위해 이용될 수 있다. 어밸랜츠 포토다이오드는 가이거 모드(Geiger mode, 예를들어 SPAD)에서 자연적인 역방향 바이어스 브레이크다운을 넘어서는 매우 극단적인 역방향 바이어스 조건으로 작동하고, 상황(이벤트)이 (매우 급격히)전류가 발생하도록 트리거 할 때까지 단지 일시적으로 이러한 전압에서 유지 될 수 있다. SPAD가 매우 오랫동안 극단적인 역방향 바이어스 조건에서 유지될 수 없기 때문에, 이러한 장치를 검출기로서 사용할 때는 그러므로 시간 요소(time factor)가 존재한다. 이벤트 트리커에 따르는 SPAD에 의한 큰 전류의 발생은 파괴적일 수 있어서, 종종 전류를 제한하기 위해 저항은 다이오드에 부가되고, 이에 따라 SPAD가 "발화"(fire, 예를들어, 빠르게 전류를 생성)를 일단 수행하면, 짧은 시간안에 안전한 레벨의 전류를 출력할 수 있다. 발화되고나면, SPAD 어밸랜츠 전류는 저항 또는 다른 부하 메커니즘에 의해 꺼진다. SPAD에서의 전압은 화소 작동을 위해서 완화(buffer)될 것이다(마찬가지로, 극성의 변화가 유도될 수 있다). 본 발명에 따르는 어밸랜츠 포토다이오드의 일 예는 도 2에 도시된다.
SPAD는 광자 이벤트에, 약 피코초(picoseconds) 정도로, 매우 빠르게 반응한다. 예컨대, 입사 광자들의 파장, 환경적인 온도, SPAD의 셀 크기(면적), 및 전압 바이어스(예를 들면, 과전압), 양자 효율, 및 검은색의 계수율(DCR, Dark Count Rate)의 정도와 같은 요인들이 SPAD의 기능에 영향을 미친다. 방전되고 나면, SPAD는 재충전(소위, 불감시간, deadtime)되기 까지 어느정도의 시간이 걸리며, 일반적으로 대략 20-40나노초(nanoseconds) 범위이다. 일반적으로, 광자들의 적은 수십개(광자 파장 및 감지기 셀 사이즈에 따라 약 20 광자들)만으로 SPAD의 빠른 전류 생성을 트리거하기에 충분하다.
본 발명의 일 실시예에서, SPAD를 포함하는 화소는 지역(local) 및/또는 전역(global) 레벨에서 가변 화소 감도를 구성할 수 있고, 주변광(또는 환경광) 및/또는 필드 요건들의 깊이에 따라 조정될 수 있다(예를들어, 역방향 전압 제어는 노출 제약들 및/또는 요건들에 따른 포토다이오드 감도를 조정하는데 사용될 수 있다). 이 동작의 시스템에서, 포도다이오드 감도에 의해 설정되는 범위 한계가 존재한다. 가이거 모드에서 동작할 때, SPAD는 그 값이 SPAD 셀 크기, SPAD의 온도, 및 과전압(예를들어, 브레이크다운 한계점을 넘어서는 전압 레벨)과 같은 요소들에 의존하는 SPAD 잡음의 측정값인 검은색의 계수율(DCR)을 가진다. 어떤 광도 없을 때, SPAD의 DCR은 SPAD가 어밸랜츠 이벤트를 겪기전에 가이거 모드에 남을 수 있는 시간의 길이의 통계에 근거한 측정값을 제공한다. 주변광과 결합하여, DCR은 의미 있는 신호가 발생하기 위해서 정보획득 빔의 전송 신호와 구별되어야만 되는 배경 잡음(background noise) 신호를 제공한다. 그러므로 DCR은, TOF동안에 축적된 주변 광자들과 결합할 때, 물체들이 정보획득 될 수 있는 최대 범위의 추정치를 제공한다.
본 발명의 일 실시예에 따르면, 관심있는 정보획득 파장 바깥의 범위에서, 지나친 배경 잡음 광자들이 화소들에 영향을 미치는 것을 방지하기 위해 광학 노치 필터(optical notch filter, 예를 들면 도 1의 광학(135)에서)가 이용된다. 정보획득 소스는 광학 노치 필터의 중심 근처에 파장들을 방출하기 위해서 선택되거나 조정될 수 있다. 다른 실시예에서, 예를들어, 약 850나노미터 또는 940나노미터(예를들어, 물에 기인하는 대기 흡수 라인들)와 같은 강한 대기 흡수 라인(strong atmospheric absorption line)에 대응하는 중심 파장을 갖기 위하여, 태양으로부터의 배경 방사를 최소화하기 위해서 광학 노치 필터의 중심 파장은 선택된다. 예를들어, 이러한 본 발명의 구현은 높은 포토다이오드 게인을 허용한다. 광학 필터의 너비를 감소시키는 것의 트레이트오프(tradeoff)는 시스템의 시야에서의 감소 역시 발생한다는 것이다. 조정가능한 정보획득 소스는, 잠재적으로 비용을 추가하는 반면에, SNR을 더 향상시키는데 기여할 수 있다. 총 광학 파워는, 파장뿐만 아니라, 눈 손상이 일어날 수 있는 환경에서의 작동이 예상될 때 고려되어야 한다. 부가적으로, 이미지 프레임률은 화소 감도(예를들어, 노출 시간 요건들) 및/또는 판독률 및/또는 화소 어레이 사이즈에 근거하여 결정되어야 한다. 고프레임율 리프레쉬(High frame rate refresh)는 움직이는 물체의 적절하게 높은 나이퀴스트 샘플링률(Nyquist sampling rates)을 얻기 위해 이용될 수 있다.
본 발명의 실시예들은 매우 민감한 포토다이오드들을 포함하는 이미지 센서를 제공하고, 물체에 대한 거리 결정은 입사 정보획득 광으로부터 야기되는 화소 활성화의 어레이 어드레스를 알려주는 새로운 어드레싱 체계에 의해 만들어질 수 있다. 본 발명은 SPAD 기술에 한정되는 것이 아니라, 충분한 감도를 갖는 어느 광자 검출기에도 사용될 수 있다.
하나의 양태에서, 본 발명에 따른 실시예들은 물체까지의 거리를 측정하기 위한 광자 정보획득 시스템(photonic interrogation system)을 제공한다. 도 1은 본 발명의 실시예에 따른 물체까지의 거리를 측정하기 위한 예시적인 광자 정보획득 장치(105)의 개략도이다. 정보획득 장치(105)는 정보획득 소스(110) 및 이미지 센서(115)를 포함한다. 정보획득 소스(110) 및 이미지 센서(115)는 정의된 거리(120)에 의해 이격되어 있다. 정의된 거리(120)는 5센치미터(centimeters)일 수 있으나, 이에 제한되지 않는다. 일 실시예에서 거리(120)는 제어된 방식으로 변경될 수 있다. 정보획득 소스(110)은 정보획득 빔(125)를 방출하고, 이미지 센서(115)는 정보획득 장치(105)의 시야에서 물체로부터 되돌아오는 광(130)을 감지한다. 이미지 센서(115)는 감광성 다이오드들의 어레이(140), 예를들어 이미지 센서(115)의 화소들을 형성하는 어밸랜츠 다이오드들, 를 포함한다.
본 발명에 따른 실시예에서, 어레이(140)는 최소한 두개의 적층된 웨어퍼들(또는 기판들)에 의해 형성된 SPAD 화소(140a)를 포함한다. SPAD 화소(140a)는 바이어스 전압에 근거하여 선형 어밸랜츠 모드 또는 가이거 모드에서 동작할 수 있다. SPAD 화소(140a)는 감광성 영역(145a) 및 영역(150a)에 있는 화소 회로들(예를들어, 고전압 라인, 화소 입력/출력 라인들)을 포함한다. 일 실시예에 따르면, 화소 회로 로직에 대응하는 화소 회로 소자들은 SPAD 셀로부터 분리된 기판 상에 형성된다(예를들어, 감광성 영역은 p/n 접합들에 대응하는 기판 상에 형성된다). 본 명세서에 기술된 바와 같이, 즉, 복수의 SPAD 셀들을 갖는 기판은 복수의 로직 및 제어 회로(예를들어, 트랜지스터들, 인에이블(enable) 라인들, 기타 등등)를 갖는 웨이퍼의 맨 윗부분 상에 적층될 수 있다. 본 발명에 따른 일 실시예에서 어레이(140)는 하나의 웨이퍼 상에 형성되는 SPAD 화소(140b)를 포함할 수 있고, 그 곳에서 감광성 영역(145b)은 화소 회로 로직(150b, 예를들어 고전압 라인들, 화소 입력/출력, TOF 정보 저장 소자(들))에 인접할 수 있다. 화소들(140a, 140b)은, 리니어 어밸랜츠 또는 가이거 모드에서 동작하는 어밸랜츠 포토다이오드인, 적어도 하나의 TOF(time-of-flight) 소자를 포함할 수 있는데, 적어도 하나의 TOF(time-of-flight) 소자는 예를들어, TOF 값에 대응하는 전하를 저장하는 스토리지 커패시터를 포함할 수 있다. 광학 시스템(135)은 장치(105)에 포함될 수 있고, 광학 시스템(135)은 이미지 센서(115) 상에 입사되는 반사에 초점을 맞추기 및/또는 여과하기를 한다. 광학 정보획득 장치(105)는 주변 광 센서(미 도시)를 포함할 수 있다. 도 1에 도시된 것과 같이, 정보획득 빔(125)은 물체(150)로 향해지고, 되돌아오는 광(130)은 이미지 센서(115) 상에 떨어진다.
일 실시예에서, 정보획득 소스(110)는, 예를들어, 공진의 MEMs 주사(scanning) 거울을 포함하는 레이저(예를들어, 수직 캐비티 표면 광방출 레이저, VCSEL)이다. 정보획득 소스(110)은 IR 파장 또는 다른 파장들로 방사선을 방출할 수 있다. 일 실시예에서, 거울은 x-방향(예를들어, 이미지 센서 어레이 컬럼들을 따라서)으로 공진하고, y-방향(예를들어, 이미지 센서 어레이 로우들을 따라서)으로 진행한다. 공진 주사 레이저는 정보획득 장치(105)의 시야를 가로질러 정보획득 빔(125)을 스윕(sweep) 할 수 있다. 일 실시예에서, 정보획득 소스(110)는 레이저로부터 고강도의 광자들(예를들어, 정보획득 빔(125))의 래스터(raster) 주사를 생성할 수 있다. 일 실시예에서, 시야를 가로지를 정보획득 소스(110)의 공진 모션을 처리하기 위해서, 정보획득 빔(125)의 활성화는 이미지 센서(115)를 가로지르는 실질적으로 동일한 방사를 제공하기 위해서 제어된다(예를들어, 정보획득 소스 각도(111)에 근거한, 정보획득 소스(110)의 듀티 사이클(duty cycle)의 정현파 선형화(sinusoidal linearization)).
특별한 각도들(예를들어, 정보획득 소스 각도(111))에서 그리고 정의된 펄스 주기와 함께, 조준된 "스팟(spot)" 모드에서의 정보획득 소스(110)의 활성화는, 이미지 센서(115)에서 한번에 하나의 화소에 그리드 이미지를 "페인트(paint)"하는데 기여한다. 여기에서 설명되는 것과 같이, 거울의 주사율(scanning rate) (그리고 따라서 레이저 빔)은 시스템 타이밍, 특히 화소 활성화 타이밍에서 중요한 요소이다. 정보획득 소스(110) 및 이미지 센서(115)는 장면의 이미지 센서(115) 시야를 장치(105)의 시야와 같은 평면이 되게 하는 동일 평면상에 있다. 따라서, 모든 되돌아오는 광자들(예를들어, 되돌아오는 광(130))은 정보획득 빔(125)과 같은 평면에 있을 것이다. 그래서, 이미지 센서(115)의 어레이에 관해서는, 정보획득 소스(110)의 각도(111)에 근거하여 예상되는 포토다이오드 여기(excitation)을 가진 행(row)이 알려 질수 있을 것이다. 그러나, 물체까지의 거리(그리고 따라서 되돌아오는 광(130)의 반환 각도)가 알려져 있지 않기 때문에, 행(row) 내의 특정 열(column)은 알려져 있지 않다. 물체(150)는 장치(105)의 시야내에서 다수의 거리들/위치들에 있을 수 있다.
되돌아오는 광(130)이 광학을 향해 들어오는 각도(116)는 포토다이오드 활성화(예를들어, 행(row)내에서의 위치)를 갖는 이미지 센서 어레이의 열(column)을 결정하고, 따라서 거리(삼각 측량을 통해서)를 결정한다. 이미지 센서(115)를 포함하는 장치(105)의 렌즈와 광학(예를들어, 광학 135)은 시야의 한계 범위까지 멀리있는 지점(광의 입체각(solid angle))을 볼 수 있다. 이미지 센서(115)의 조리개(aperture)를 맞추는 그 지점(물체(150) 상의 지점)으로부터의 광자들은 하나의 어레이 소자(예를들어, 하나의 화소) 상에 집중될 것이다. 다른 실시예에서, 정보획득 소스(110)는 조명의 줄무늬가 방출되는 지점에서 "팬(fan)" 모드로 작동한다. 실시예에서, 줄무늬는 정보획득 소스 움직임의 축(예를들어, 공명 축)과 실질적으로 수직하다. 이러한 실시예에서, 되돌아오는 광(130)은 어레이 소자들의 전체적인 열(또는 행) 상에 입사되고, 정보획득 빔(125)의 방향에 평행하다. 정보획득 물체의 특징(예를들어, 물체의 윤곽선들(contours))에 기인하여, 되돌아오는 광(130)은, 물체의 윤곽선들에 대응하여, 논-플래너(non-planar)로 돌아올 수 있고 여러 열들을 통해 입사될 수 있다. 팬 모드에서, 모든 포토다이오드 행들은 모두 한번에 활성화 된다. 정보획득 소스의 출력 파워는 증가될 수 있어서, 모든 라인(모든 행들)을 통한 분배를 위해 보상할 수 있다. 이러한 장치를 위한 이미지 센서(115) 구조는 밝은 태양광에서 정보획득 소스(110)로부터의 광자 버스트(burst)를, 최소의 대기시간, 최소의 파워 소모, 및 높은 재생 주파수로, 온-칩 회로의 최소와 함께, 리포트 할 수 있다. 일 실시예에서, 이미지 센서(115) 내의 발화하는 포토다이오드의 위치(예를들어, 어레이 어드레스)를 통한 정확한 위치의 삼각법을 이용하여, 물체까지의 거리 측정이 결정된다. 여기서 논의되는 바와 같이, 배경 잡음 고려사항들에 기인하여, 본 발명의 실시예들은 특별한 측정 주기 동안 정보획득 빔(125)의 활성화와 동기화 된 방법(예를들어, "gated")으로 감지하기 위해 활성화 되는 이미지 센서(115)의 감광성 다이오드들을 포함한다. 여기에서 설명되는 시스템은 화소 어드레스에 따라 알려지는 고감도 화소 이벤트들을 통해 높은 처리량을 제공할 수 있다. 더욱이, 본 발명에 따른 실시예들은 화소 레벨에서 TOF 계산을 통해 물체까지의 거리를 계산하는 수단을 제공하고, 이러한 정보는 거리가 삼각법 정보(예를들어, 삼각측량)에 따라 계산되는 실시예들을 위해서는 불필요하다. 위치상의 접근(예를들어, 화소 어드레스)은 TOF 정보를 생성화기 위한 화소 안의 비싼 회로에 대한 필요를 제거하여 시스템의 비용을 줄일 수 있다. 더욱이, 예를들어, 룩업 테이블을 통해 화소 어드레스들이 찾아질 수 있다면, 계산 요구들이 줄어든다. 부가적으로, 각 화소의 감광성 부분은 전체 화소의 공유로 커지기 때문에(예를들어, 충진률 증가), 화소 레벨들의 회로에서의 최소화는 같은 사이즈의 어레이를 위한 시스템에서 해상도를 증가시킨다. 비용 및 사이즈와 같은 요소들은 휴대성 및/또는 웨어러블 장치들과 같은 어플레케이션들을 위해 매우 중요하다.
도 2는 본 발명의 일 실시예에 따른 예시적인 SPAD 화소 구조(140)을 도시한 것이다. 실시예에서, SPAD 화소를 활성화하는 것은 워드 라인(word line) 및 비트 라인(bit line) 신호에 의해 구현된다. SPAD 화소는 포토 다이오드(145)를 포함한다. SPAD 화소는 각각이 능동성(active) 또는 저항성의 부하(220)을 통한 능동 및/또는 수동(passive) ??칭(quenching)을 포함 할 수 있다. SPAD 화소는 버퍼(225)를 포함할 수 있다. 일 실시예에서, 액티브 ??칭은 액티브 부하에 의해 제공되고, 액티브 부하의 활성화는 선택적인 피드백 ??칭 회로(230)으로부터의 피드백(예를들어, SPAD 어밸랜츠 전류의 라이징 엣지 트리거)에 근거할 수 있다. ??치(Quench) 시간은 멀티블렉서 디코드 스위치 오버헤드 시간에 내장될 수 있다. 실시예에서, 통계적인 노이즈(예를들어, DCR, 주변광)의 리셋을 활성화하는 픽셀 행 및 열 구동 리셋은 내장된다. 실시예에서, 고전압 공급 라인은 정적(에를들어, 스위칭을 안함)이고, 접지 기준 워드 라인 활성화는 고전압 전류 통로를 가능하게 할 수 있다.
도 3은 본 발명의 일 실시예에 따른 SPAD 전류-전압 특징(300)을 도시한 것이다. 전류-전압 특징(300)은 SPAD 구동의 위상(단계)을 가리키는 화살표를 포함한다. 역바이어스 레벨(Vgeiger)이 반도체 p-n접합의 브레이크다운 전압(Vbreakdow)을 넘어서는 역바이어스 전압이고 소위 어밸랜츠 포토다이오드(예를들어, SPAD)의 가이거 모드를 가리키는, 역바이어스 레벨(Vgeiger)이 도시된다. 전압 레벨(Vgiger)에서, SPAD는 열잡음뿐만 아니라 입사 광자 방사로부터 전류(전자들의 어밸랜츠)를 발생시킬 수 있다. SPAD 게인(예를들어, 전자 승수 인자, electron multiplier factor)은 과전압 및 SPAD 셀 사이즈의 면적에 실질적으로 선형적으로 의존한다. 마찬가지로, SPAD의 광자 및/또는 온도 활성화의 가능성(예를들어, DCR)은 과전압 증가와 함께 증가한다. 어밸랜츠 전류가 시작되면, SPAD는 초과적인 전류 흐름을 방지하기 위해 ??치(quench) 된다. SPAD가 ??치되고 낮은 전압 바이어스로 되돌아가면, 더 활성화를 위한 SPAD 준비를 위해, SPAD 전압 바이어스는 Vgeiger로 되돌아간다. ??치와 리셋이 대략 20-40나노초인 반면에, 브레이크다운(예르들어, "발화")을 위한 SPAD에 대한 전형적인 타이밍 값들은 1나노초보다 작다. ??칭은 패시브 또는 액티브 중 하나 일 수 있고, 선호되는 일 실시예에서, 액티브 ??칭은 ??칭 타임을 최소화하고 이에 SPAD가 여러 신호들을 생성하는 속도를 증가시키기 위해 사용될 수 있다.
도 4는 밝은 광을 포함하는 장면(400)을 도시하고, 물체(440)를 조명하는 배경 방사 소스(401, 예를들면, 태양)를 이용하여 물체(440)까지의 거리를 결정하기 위해 구동하는 예시적인 광자 정보획득 장치(105)의 개략도를 포함한다. 정보획득 소스(110)은 각도(411)로 정보획득 빔(425)를 방출하고, 이는 각도(416)로 되돌아오는 광(430)을 형성하기 위해 물체(440)로부터 반사된다(또는 후방산란된다). 되돌아오는 광(430)은 이미지 센서(115)(정보획득 소스(110)로부터 일정거리(120)에 위치하는)에 의해 수신되고, 광자 정보획득 장치(105)에 의해 만들어진 거리 결정의 근거를 형성한다. 정보획득 빔(425)과 병행하여, 방사 소스(401)는 방사 소스(401)의 출력 파워(태양의 경우, 방사는 넓은 스펙트럼이다)에 의존하는 광자들의 흐름(flux)을 통해 물체(440)를 지속적으로 조명한다. 방사 소스(401)로부터의 광자들은 물체(440)를 조명하고, 이미지 센서(115) 상에 입사되는 반사 광(435)를 형성한다. 도4에서 425->435
고감광성 포토다이오들을 포함하는 이미지 센서(115)는 방사 소스(401)의 광자들로부터 이미지 소스(110)로부터의 광자들을 식별하지 않는다. 가이거 모드에서 동작하는 어밸랜츠 포토다이오드들을 포함하는 이미지 센서들에서(예를들어, SPAD들을 포함), 개별적 다이오드는 대략 20광자들에 반응한다. 방사 소스(401)로부터의 큰 광자 흐름과 함께하는 SPAD의 검은색의 계수율은 이미지 센서(215) 내의 SPAD의 빠른 발화를 이끌 수 있고, 이는 장치(105)로부터 적당한 거리에 있는 물체(440)를 위한 되돌아오는 광(430)의 수신에 우선할 수 있다. 예를들어 태양과 같은 방사 소스(401)에 의한 물체(440)의 조명과 함께(광학적 필터링을 통해, 예를들어, 정보획득 소스(110)의 레이저 파장과 같은, 태양 조명의 파장이 감지되도록), 물체(440) 상에 정보획득 소스(110)의 조명은(예를들어, 전송 신호) 신호 대 배경 잡음비(signal-to-background noise ratio, SNR)를 제공한다. 그러므로, 축소된 화소 활성화 시간에 의해 이미지 센서(115)에서 노이즈에 대한 전체적인 DCR 기여를 줄일 뿐만 아니라, 측정 동안에 이미지 센서(115) 상에 입사되는 주변 광자들의 숫자를 최소화 하여 SNR을 향상시키기 위해, 정보획득 소스(110)의 활성화에 근거한 타이밍과 함께 이미지 센서(115)의 포토다이오드들을 활성화 시키는 것은 유용하다.
배경 잡음을 고려하면, 더 긴 측정 길이들은, 대응하는 더 큰 TOF와 함께, 수신되는 주위의 광자들 및 다크 카운트(dark counts) 둘다의 증가로 이어진다. 광자들은 정보획득 빔(425)의 전체 TOF에 걸쳐 이미지 센서(115)에 도착한다. 물체(440)에 대한 범위를 측정하기 위한 의미있는 신호를 생성하기 위해서, 되돌아오는 광(430)은 주면광 및 DCR에 의한 활성화에 우선하여 제1 활성화된 포토다이오드를 활성화하기 위해서 필요한 숫자의 광자들을 전해야 한다. 전형적으로 레이저인 정보획득 소스(110)가 유한한 펄스 폭을 갖는 펄스를 방출하기 때문에, 정보획득 소스(110)로부터 예상되는 전달 광자들의 숫자는 계산될 수 있다. 방사 소스(401)로부터의 광자 흐름(예를들어, 광자 수신율)이 시간에 따라 안정적인 반면에, 정보획득 소스(110)으로부터의 광자 흐름은, 출력 파워 및 듀티 사이클(duty cycle)에 따라, 휠씬 더 높아 질 수 있다.
배경 잡음에 응답하여 신호를 생성하기 전에 창내에서 SPAD가 활성화되는 시간 창(time window)은 하나의 측정 주기에 대한 화소 활성화를 위한 의미있는 시간 창을 제공한다. 다르게 말하면, 측정되어야 하는 물체(예를들어, 물체(440))는 정보획득 빔(425) 및 되돌아오는 광(430)의 TOF가 배경 잡음에 기인하여 SPAD가 발화될 수 있는 이내의 시간을 초과하지 않는 이러한 거리 이내에 있어야 한다. 그러므로, 물체 거리 측정의 최대 범위에 대응하는 최대의 유용한 TOF가 존재한다(대략적으로 0.3m/nsec의 광 이동은, 측정의 아웃 및 백(out-and-back) 본성에 기인하여, 2의 인자 (factor)에 의해 결정되는 최대 범위를 감소시킨다). 정보획득 물체에 대한 대략적인 범위가 알려진 경우의 정보획득 시나리오에서, 주변 광자들의 축적(예를들어, 배경 잡음)은 정보획득 빔(425) 및 되돌아오는 광(430)의 예상되는 결합된 TOF를 이용하는 이미지 센서(115)의 조정하는 활성화에 의해 최소화 될 수 있고, 이것은 정보획득 물체에 대한 대략적인 알려진 범위에 근거한다. 다르게 말하면, 정보획득 물체까지의 예상되는 범위 바깥쪽의 시야속 범위로 부터의 주변 광자들을 거부하기 위해서, 이미지 센서(115)의 포토다이오드들의 활성화는 TOF-제한구동(TOF-gated)일 수 있다. 이 TOF는 TOF-specific 회로에 의해 직접적으로 측정될 필요가 없고, 여기서 설명된 것처럼 삼각 측량을 따른 거리 측정에 근거하여 결정될 수 있다.
펄스 윈도우 및 화소 윈도우는 하나의 거리 측정 주기를 정의한다. 이러한 방법으로, 정보획득 빔 각도(411)는 되돌아오는 각도(416)와 연관될 수 있는데, 이는 거리(120)와 함께 물체(440)까지의 거리 측정을 제공한다. 각도(416)로 수신되는 광자들은 광자들이 방출되는 정보획득 소스 각도(411)에 적절하게 기여될 수 있도록 이미지 센서(115)의 수신되는 광자들이 모호하지 않은 것은 중요하다. 그렇지 않으면, 비동기화가 정보획득 빔 각도(411)와 되돌아오는 각도(416) 사이에 일어날 수 있으며, 물체(440)까지 잘못된 거리 계산을 야기한다. 그러나, 각 화소를 위해 사용가능한 시간은, 정보획득 소스(예를들어, 110) 각각의 스윕(sweep)을 위해 허용되는 총 시간뿐만 아니라 광자 예산 및 거리에 의해 제한되어야 하며, 그렇지 않으면, 이미지 센서(115)는 잡음에 기인하는 발화뿐만 아니라 정보획득 빔의 전송과 수신의 비동기화를 겪게된다.
이해될 수 있는 것처럼, 본 발명에 따른 광학 정보획득 시스템을 위해서 이미지 센서의 기능 및 타이밍은 특히 중요하다. 센서에 의해 소모되는 파워 및 잡음에 기인하여 고감도 어밸랜츠 포토다이오드들의 어레이가 생성할 수 있는 허위 정보를 최소화하기 위해서, 삼각 측량에 근거하는 물체까지의 거리를 측정하는 컨셉은 센서의 구조에 의해 더 향상될 수 있다. 예를들어, 이미지 센서의 전체 어레이가 가이거 모드로 구현되고 활성화된다면, SPAD들의 많은 부분들이 거의 동시에 발화될 것이지만, 아마도 오직 하나(또는 그 정도)는 노출 시간에 의존하는 정보획득 소스(110, 예를들머, 전송 신호)에 의한 것일 것이다. 역으로, 어레이 내의 SPAD들의 선택적인 활성화는 관심의 이미지 센서(115) 영역에 대한 어레이-기반 DCR 잡음을 감소시킬 수 있고, 그렇게 함으로써 광학 정보획득 장치의 SNR을 증가시킨다.
도 5는 본 발명의 일 실시예에 따른 예시적인 이미지 센서 구조(500)의 도면을 도시한 것이다. 이미지 센서 구조(500)는 포토다이오들의 어레이(140), 시작, 설정, 레인징 제어 입력들(start, setup, ranging control inputs, 505), 고전압 및 공급 회로들(high voltage and supply circuits, 510), 멀티플렉서 뱅크들(multiplexer banks, 515), 센스 증폭기들(sense amplifiers, 520), 감지 및 래치 회로(detect and latch, 525), 멀티블렉서 시퀀서(multiplexer sequencer, 530), 어드레스 래치들(address latches, 535), 및 어드레스 및 엣지 트리거 입력/출력 회로(address and edge trigger input/output circuitry, 540)를 포함한다. 구조(500)는 이미지 센서내의 화소들의 어레이의 화소들의 부분집합(550)을 더 포함할 수 있고, 본 명세서에서 "부분-어레이" 또는 "어레이의 부분집합"로 칭해지며, 전체 어레이는 R 행들 및 C 열들의 사이즈를 가진다.
이미지 센서(도 1의 이미지 센서(115))내의 고감도 광검출기(photodetector)의 사용과 함께, 낮은 파워, 고해상도 광학 정보획득 시스템은 물체의 범위를 결정할 수 있다. 일반적으로, IR 파장에서 및 작은 셀 사이즈와 함께, SPAD 화소(140)는 발화되기 위해서 대략 20 광자들의 수령을 요구한다. 일 실시예에서, 정확한 위치 삼각법은, 특별한 시간 프레임 내에(예를들어, 화소 시간 프레임), 관심 물체로부터 반사되는 입사 정보획득 빔으로부터의 광자들의 수령에 근거하여, 오직 신호를 발생하는 화소의 어드레스를 리포팅하여 결정된다. 광학 정보획득 시스템은 정보획득 소스 활성화의 타이밍을 제어하기 때문에(장치는 아웃고잉 신호가 어느 시간에 생성되는지를 제어), 장치는 되돌아오는 신호가 도착해야 하는 대략적인 시간 주기를 예상하도록 프로그램 될 수 있다(알려진 범위에 존재하는 물체들을 위해, 예를들어, 알려진 피사계심도(depth of field)내의).
낮은 파워에서 광학 정보획득 시스템을 동작하기 위해서, 파워 절약은 가능한 많은 부품들에서 이루어저야 한다(여전히 적당한 해상도 능력을 유지하면서). 고감도 SPAD 기반의 화소들의 사용이 정보획득 소스의 파워 요구를 감소시키지만, 이미지 센서 어레이 내의 개별적인 SPAD들이 활성화되는 방법을 신중하게 고려함으로써, 더 많은 이득(gain)이 가능할 수 있다. 여기서 설명된 것처럼, 어밸랜츠 다이오드는 가이거 모드에 들어가기 위해 큰 역바이어스를 요구하고, 이들의 개시(예를들어, 고전압 및 공급 회로들(510)을 통해)는 각각의 다이오드를 위한 특정한 파워를 요구한다. 또한, 가이거 모드에서 어밸랜츠 다이오드는(예를들어, SPAD) 이러한 상태를 무기한 유지 할 수 없으며, 단지 상대적으로 짧은 시간의 경과 동안에 자발적으로 발화 할 것이다 (주변 광, 셀 크기, 온도, 다이오드의 과전압등과 같은 조건들에 의존하여). 그러므로, 정보획득 소스외에 소스로부터의 발화 이벤트 발생의 증가와 같이, 포토다이오트들의 활성화에 의한 파워 소모와 같이, 이미지 센서 어레이에서 동시에 모든 포토다이오드들을 활성화 하는 것은 바람직하지 않을 수 있다.
비정보획득 소스 이벤트에 기인하는 파워 소모 및 화소 활성화의 가능성 모두를 줄이기 위한 접근은 오직 측정 기간 동안에 이미지 센서 내의 포토다이오드들의 부분집합을 활성화 시키는 것이다. 다르게 말하면, 이미지 센서 어레이의 다른 화소들이 활동을 중단하는 반면에, "page"(예를들어, 화소들의 서브 어레이(550))는 주어진 시간 주기(예를들어, 화소 활성화 시간)동안 정보획득 소스 전달을 감지하기 위해 작동 및 활성화 된다. 포토다이오들의 감소된 숫자의 활성화는 파워 소모를 감소시키고, 또한 배경 잡음에 기인하는 허위의 자발적인 활성화의 가능성을 감소시킨다(예를들어, DCR, 어레이 내의 비활성화 화소들로부터 트리거링하는 주변광 제거함으로써).
물체들 존재의 위치/거리에 대한 사전지식 없는 시야(field of view)를 위해, 이미지 센서내의 모든 화소들은 시야내의 물체로부터 반사되는 광을 검출하기 위한 가장 큰 기회를 제공하기 위해서 최적으로 활성화된다. 물체의 이전 위치/거리의 몇몇의 지식을 이용하는 시야의 정보획득은 이미지 센서내의 화소들의 서브 어레이를 이용하여 수행된다. 정보획득 시스템으로부터 주어진 정보획득 빔 각도에서, 시야내의 물체에 대한 예상되는 위치/거리의 지식이 물체로부터 반사되는 광의 위치에 대한 예상(근사치)을 제공하기 때문에, 화소들의 서브 어레이는 이용될 수 있다. 이러한 시나리오는 오직 화소 어레이의 부분집합을 활성화하기 위한 이미지 센서를 구성하는 정보획득 시스템의 능력의 사용을 보여준다. 광학 정보획득 시스템과의 결합에서, 이는 결국 정보획득 시스템의 프레임률(frame rate)를 증가시키고 파워 소비를 감소시킬 수 있다. 예를들어, 이 시나리오는 시야의 알려진 장면(예를들어 최근 측정된 시야)의 업데이트 동안에 존재할 수 있다.
서브 어레이(550)의 사이즈는 어디에 광자들이 도착하는지에 대한 예측에 근거할 수 있고, 측정되는 체적 공간에 대한 주어진 지식에 근거할 수 있다(예를들어, 최소 및 최대 거리). 시야 이내의 물체들의 위치, 정보획득 시스템의 파워, 주변광 레벨, 각각의 SPAD들의 과전압 레벨, 기타등등과 같은 요소들에 기인하여, 서브 어레이(550)의 사이즈는 증가 또는 감소될 필요가 있을 수 있다. 특정한 측정 기간을 위한 포토다이오드들 활성화의 구체적인 부분집합은 측정부터 측정까지 변화할 수 있고(예를들어, 정보획득 소스가 시야의 다른 부분들을 샘플링하기 위해 움직이는 곳), 이에 따라 액티브 이미지 센서 포토다이오드들(550)의 "롤링(rolling) 서브 어레이"를 생성한다. 이것은 화소 서브-어레이(550)의 몇몇의 세트들에 의해 도 5에 도시되어 있고, 점선 화살표에 의해 표시된 바와 같이 시간 경과에 따라 센서 어레이를 따라 움직이다. 제한되지 않은 예로써, 서브-어레이는 이미지 센서 어레이의 3개의 인접하는 행들 및 4개의 인접하는 열들(3x4 서브 어레이 사이즈)을 이용하여 구성된다. 다른 제한되지 않는 예로서, 어레이-하이(array-high) 서브 어레이(550`)는 모든 행들 및 몇몇의(예를들어, 3개) 인접하는 열들의 활성화로 구성된다. 예를들어, 서브 어레이(550`)는 팬(예를들어, 라인) 모드에서 구성된 정보획득 빔(125)와 함께 사용될 수 있다.
하나의 측면에서, 이 롤링 서브 어레이(550)는 광학 정보획득 시스템을 위한 일종의 롤링 셔터로 고려될 수 있다. 서브 어레이(550)의 움직임은 측정 기간 동안 화소가 활성화/비활성화 되는 동일한 속도로 일반적으로 증가될 수 있고, 또한 화소 속도(pixel rate)라고 지칭된다. 본 명세서에서 설명된 바와 같이, 화소 속도는 측정 시야 내의 정보획득 소스 움직임에서의 각속도(angular rate, 예를들어 MEMs 기반의 스캐너 거울의 공진 주파수), 정보획득 소스의 모드(예를들어, 스텝 모드 또는 "팬" 모드), 주변광 레벨, 기타 등등과 같은 요소들에 의해 결정된다. 더욱이, 오직 화소 어드레스를 통한 화소 이벤트 리포팅에 의해, 높은 정보 처리량은 달성될 수 있다.
광학 정보획득 소스의 활성화에 대하여 화소 서브-어레이(550) 활성화의 타이밍은 여러가지 방법으로 도입될 수 있다. 동기화 모드에서, 정보획득 소스의 연속적인 펄스들 사이의 시간은, 주변광 레벨, 정보획득 소스의 파워, 펄스 시간, 기타 등등과 같은 요소들에 의해, 광학 정보획득 시스템 레벨에서 결정되고, 서브 어레이(550)는 정보획득 소스로부터의 펄스가 발화되는 동시에 활성화된다. 다르게 말하면, 정보획득 소스 및 화소 서브 어레이(550)는, pulse-by-pulse 방식으로, 동기화되어 같이 제어된다. 펄스들 사이의 주기 상의 제한들은 물체의 위치를 결정하기 위한 최대의 TOF(이는 감지된 물체를 위한 최대의 범위를 지시)뿐만 아니라, 화소 서브-어레이(550)의 부분집합 내의 각각의 포토다이오드를 활성화하기 위해 요구되는 광자들의 숫자를 포함한다. 실시예에서, 하나의 정보획득 소스 펄스가 활성화되는 시간 기간내에, 각각의 화소는 초과 역바이어스 임계값에 도달, 최대의 TOF까지 임계값을 유지, 발화(만약 광자가 감지되는 경우), 및 ??칭의 시퀀스를 완료한다. 만약 최대의 TOF가 정보획득 소스의 펄스주기보다 크다면, 화소 서브 어레이(550)의 동일한 측정 기간동안에, 거리 측정 애매성으로 이어지는, 정보획득 소스의 복수의 펄스들이 존재할 것이다. 거리의 삼각법 측정은, 특별한 수신 화소 어드레스와 함께, 특별한 정보획득 소스 각도를 요구한다. 그러므로, 더 미세한 이미지 센서 어레이 해상도와 함께 정보획득 소스 펄스들의 더 큰 주파수를 가능케 하는 것처럼, 활성화/발화/리셋 사이클을 완성하기 위한 SPAD를 위해 요구되는 시간을 최소화하는 것은 광학 정보획득 시스템의 작동에 유익하다. SPAD 구동 사이클을 줄이는 하나의 방법은 SPAD의 ??칭 시간을 최소화하는 것이다. SPAD의 액티브 ??칭을 통해 이것은 달성될 수 있고, 여기서 액티브 로드는 SPAD로부터 어밸랜츠 전류의 시작 시간에 활성화된다. 실시예에서, 만약 TOF가 (정보획득 소스 주파수)-1를 초과하는 경우, 정보획득 소스 펄스 및 화소 서브 어레이(550)는 모두 증가되고, 어떤 이벤트도 기록되지 않는다.
화소 서브 어레이(550)의 대안적인 타이밍은 비동기연산(asynchronous operation)인데, 이 경우 정보획득 소스 및 화소 서브 어레이(550)가 동시에 활성화되지만, 그러나, 정보획득 소스 펄스들 사이의 타이밍은 감지 이벤트의 타이밍에 의해 결정된다. 일 실시예에서, 정보획득 소스는 오직, 화소 서브 어레이(550)가 되돌아오는 신호(예를들어, 반사된 광자들)를 수신할 때, 또는 시스템 타임-아웃이 발생할 때, 하나의 펄스를 방출한다. 시스템 타임-아웃은 시스템 레벨에서 설정가능하고, 주변광 레벨, 물체까지의 최대의 범위, 정보획득 소스 펄스 파워 및 펄스 너비, 기타 등등에 근거할 수 있다. 이러한 방법으로, 광학 정보획득 시스템의 가변 또는 자기-시간제한(self-timed) 구동은 구현될 수 있다. 멀리 떨어져 위치한(예를들어, 몇 미터) 물체들을 위해서, 시스템의 프레임률(frame rate)은 가변적일 수 있다. 측정을 위해 가까운 물체들이 존재할 때 최대의 TOF 타임아웃이 요인이 아니므로, 근접한 물체들 위한 비동기 모드에서의 구동은 더 빠른 정보획득 소스 펄스 및 화소 서브 어레이 속도를 가능하게 한다.
본 발명의 일 실시예 따르면, 멀티플렉서 뱅크들(515)은 이미지 센서 어레이의 행들 및 열들에 연결된다. 일 실시예에서, 멀리플렉서 뱅크들(515)은 현재 활성화된 서브 어레이에 따라 출력들을 선택하는데, 예를들어, 현재 서브 어레이에 따라, 8-bit 해상도 768에서 3행들을 선택하고, 8-bit 해상도 1024에서 4열들을 선택한다. 다른 멀티플렉서 뱅크 구성들도 가능하다. 멀티플렉서 뱅크들(515)의 출력들은 행 및 열 센스 증폭기들(520, 또는 비교기들)에 각각 연결된다. 일 실시예에서, 신호를 발생하기 위한 제1 포토다이오드는, 행들 중 어떤 것이든, 예를들어, 3개의 액티브 행들 중 1개는 감지 신호로 출력되는, "승자독식(winner-take-all)" 감지 및 래치(525)를 생성할 것이다. 마찬가지로, 시그널링 포토다이오드(signaling photodiode)에 대응하는 열은 감지 및 래치(525) 출력을 생성할 수 있다(예를들어, 4개 중의 1개). 본 발명의 일 실시예에 따르면, 출력 신호는 오직 발화된 화소 위치들(예를들어, 오직 "승자독식" 감지 및 래치로부터의 화소들의 어드레스들)만을 전달하고, 다른 화소들로부터의 정보를 포함하지 않는다. 감지 및 래치(525)의 다른 조합들이 가능하고, 이는 본 발명의 사상 및 범위와 일치한다. 활성화 될 제1 행 어드레스 및 활성화 될 제1 열 어드레스의 조합은 측정 기간 동안에 활성화되는 정보획득 소스 빔과 관련된 독특한 화소 어드레스를 준다. 이 화소 어드레스는 특별한 정보획득 소스 각도에 대응하는 출력 신호를 포함한다. 예를들어, 이미지 센서의 출력은 2-bits 행 정보 및 2-bits 열 정보이고, 레인징 정보는 결정된 서브 어레이 어드레스에 근거하므로, 신호 관리 및 입력/출력 챌린지들은 전통적인 레인징 시스템들과 비교하여 현저하게 줄어들 수 있다.
비록 시스템 측정 범위에서 비용을 치루지만(예를들어, 최대 피사계심도), SPAD 타이밍은 잡음을 줄이기 위해 외부에서 구동(게이팅)될 수 있다. 칩 사이즈를 줄이기 위해, 외부 타이밍 및 제어 전자장치들이 사용될 수 있으나, 칩 디자인 레벨 대 인쇄 회로 기판(PBC)의 디자인간에 트레이트 오프가 존재한다. 제어 입력 신호들은, 프로그래가능한 설정, 화소 활성화, 및 멀티플렉서 시퀀싱(530)의 엣지 트리거링을 통해, 셀프-타이밍을 생성하는데 이용될 수 있다. 멀티 블렉서 시퀀서(530)은 시작 신호(505)로부터 트리거되는 타이밍 및 제어 로직을 포함한다.
광학 정보획득 시스템의 측정 단계 동안, 정보획득 소스가 정보획득 빔의 전달의 각도를 증가시키는 것에 따라, 정보획득 시스템으로부터 다른 거리에서 두 물체들의 존재는, 물체 위치 발생들의 갑작스런 분명한 변화가 발생하거나 혹은 그 대신에 물체의 존재가 적당하게 감지되지 않는 상황을 야기할 수 있다. 도 6 및 도 7은, 가까운 물체가 먼 물체의 적어도 일부를 가릴 때, 이러한 시나리오의 일 실시예를 도시한 것이다.
도 6은 가까운 물체(610) 및 먼 물체(615)가 광 정보획득 장치(105)에 의해 측정되는 환경(600)을 도시한 것이다. 제1 측정 기간에, 정보획득 빔(60)이 방출되고, 이는 가까운 물체(610)에 반사되어 각도(θ1)로 이미지 센서 상에 입사된다. 제1 측정기간에 뒤따르는 제2 측정 기간에, 정보획득 빔(62)이 방출되고, 이는 먼 물체(615)에 반사되어 각도(θ2)로 이미지 센서 상에 입사된다. 물체들(610, 615)이 서로 다른 거리에 있기 때문에, 되돌아오는 각도(θ1, θ2)는, 두 물체들(610, 615) 사이의 상대적인 거리에 의존하는 정도에서, 서로 다르다. 단지 하나의 측정 기간의 과정에서 이러한 서로 다른 되돌아오는 각도의 의미는, 제2 측정으로부터 되돌아오는 광이 제1 수신 광의 주소로부터 제거된 몇몇의 부분들의 어레이 어드레스에서 수신될 수 있고, 이는 수신 각도에서 명백한 이동으로 이어지고, 물체들 간의 거리에 비례한다. 이러한 스킵(skip) 각도는 도 6에서 θs로 표시된다. 이 시나리오는 장치(105)에 의해 되돌아오는 물체의 위치에 단계 함수(step fuction)을 야기한다. 일반적으로, 가까운 물체들에 비해 정보획득 장치로부터 더 멀리 있는 물체들이 이미지화 되지 않는 영역(650)이 존재한다.
도 7은 또한 측정을 위한 여러 개의 물체들, 가까운 물체(710) 및 먼 물체(715), 을 포함하는 환경(700)을 도시한 것이다. 물체들(710 및 715)의 기하학적 구조는 다음과 같아서, 정보획득 빔 각도들의 어떤 범위에 대해, 먼 물체(715) 상에 입사 광으로부터 기인하는 반사되는 광은 가까운 물체(710)에 의해 장치(105) 이미지 센서에서의 수령으로부터 차단될 것이다. 이러한 상황은 일반적으로 물체 폐색(object occlusion)으로 지칭될 수 있다. 실시에에서, 제1 정보획득 빔(70)은 먼 물체(715) 상에 입사되고, 그리고, 가까스로 물체(710)를 피해가며, 반사되는 빔(72)을 형성하고, 반사되는 빔(72)은 장치(105)의 이미지 센서 상에 입사된다. 뒤따르는 정보획득 빔(71)은 물체(715) 상에 입사되나, 빔(71)의 반사는 물체(710)에 의해 이미지 센서의 시야로부터 차단된다. 이것이 가까운 물체(710)에 의해 가려지는 먼 물체(715)의 이러한 부분들까지의 거리를 측정하기 위한 장치(105)의 실패를 야기한다. 스캐닝 사이클내의 나중 시점에서, 가까운 물체(710) 상에 입사하는 정보획득 빔(78)이 방출되고, 반사되는 광은 정보획득 장치(105)의 이미지 센서에 다시 수신된다. 일반적으로, 되돌아오는 광의 가려짐에 기인하여, 물체들(710)에 비해 정보획득 장치(105)로부터 더 멀리 존재하는 물체들이 이미지화 되지 않는 영역(750)이 존재한다.
정보획득 빔 되돌아오는 각도내의 이러한 갑작스러운 점프들을 설명하기 위한 접근은(예를들어, 도 6 및 도 7) 한번에 화소들의 더 큰 그룹을 활성화 하는 것이다(예를들어, 화소들 서브 어레이 또는 페이즈의 사이즈를 증가시키기 위해서, 예를들어, 도 5의 서브 어레이(550)). 가장 큰 범위에서, 이 사이즈는 시야의 절반까지 될 수 있다(정보획득 빔 주사와 같은 차원에서, 예를들어, 열을 따라). 이 경우, 화소들의 서브 어레이의 너비는 열들의 절반까지 일 수 있다. 더욱이, 이미지 센서와 비교된 정보획득 소스의 제어된 위치와 실제의 위치 사이의 기계적/광학적 정렬불량(misalignment)을 고려하기 위해서, 그리고/또는 시야에 대하여 광학 정보획득 시스템의 움직임을 고려하기 위해서, 화소들의 서브 어레이는 주사 방향 직교(예를들어, 행들)에서 어느 정도의 깊이(심도)를 요구할 수 있다. 정보획득 소스 위치내의 기계적/광학적 정렬불량의 원인들은 MEMs 조정장치(steering) 및 응답선형성(response linearity)을 포함한다. 이들은 액티브 화소들의 서브 어레이 사이즈의 증가를 설명할 수 있다. 정렬불량에 의해 유도되는 거리 결정 에러는 화소 어레이의 해상도와 관련되고, 미세하게 해상된 어레이(finely resolved array, small pixel size)는, 화소들의 더 많은 숫자들이 묵과될 것이기 때문에, 주어진 각도 정렬불량으로 더 큰 되돌아오는 위치의 에러를 가질 것이다. 이러한 접근이 광학 정보획득 시스템을 위한 더 큰 회로 복잡도 및 파워 소비를 야기할 수 있는 반면에, 너무 넓은 지역을 관찰함(너무 넓은 지역에 대해 화소들을 활성화시킴)에 따른 배경잡음을 증가시키는 것에 대항하여, 너무 작은 사이즈(표본조사의, sampling)에 기인하는 정보획득 빔으로부터의 광자들의 되돌아오는 집합을 누락할 가능성 사이에서, 밸런스가 추구되어야만 한다.
가까운 및 먼 물체들(예들들어, 물체(610), 물체(615)) 사이의 거리는 스킵 각도(skip angle)에 영항을 미치고, 더 작은 물체간 거리(inter-object distance)는 더 작은 스킵 각도(skip angle)를 제공하고, 이는 결국 축소된 서브 어레이 사이즈 요건들로 이어진다. 본 발명의 일 실시예에 따르면, 광학 정보획득 장치의 시야내의 검출된 물체간 거리에 근거하여(예를들어, 결정된 스킵 각도를 통하여), 서브 어레이 사이즈는 자동적으로 만들어 진다. 일 실시예에 따르면, 예를들어 시야내의 움직이는 물체들 또는 새롭게 도입되는 물체들에 기인하는 스킵 각도내의 변화들을 고려하기 위해서, 서브 어레이(550) 사이즈는 동적으로 조정된다.
센서 어레이 내의 화소들의 부분집합들(예를들어, 화소 서브 어레이(550) 사이즈)의 활성화를 조정하기 위한 광학 정보획득 장치의 능력은 추가 기능을 제공한다. 본 발명에 따른 실시예에서, 광학 정보획득 장치가 프레임들을 출력하는 프레임률은 이미지 센서 어레이(예를들어, 프레임 줌(frame zoom) 동안) 내에서 활성화 되는 행들의 숫자를 줄여서 조절된다. 다르게 말하면, 프레임 사이즈는 총 가능한 어레이 행들보다 적은 것을 고려하여 감소되고(예를들어, 이미지 센서 구조(500)내의 768 행들보다 더 적게 활성화), 이는 프레임률의 증가를 이끈다. 프레임률 증가는 주사된 행들의 감소에 비례할 수 있다(정보 획득 소스의 공진 움직임에 기인하여, 열들을 위한 주사 시간은 유지되긴 하지만). 정보획득 소스의 전체 주사(full scan)에 의해 전체 프레임은 생성될 수 있고, 예를들어, 정보획득 소스는 이미지 센서 행들 축에 평행하게 공진하고 이미지 센서 열들에 평행한 축을 따라 진행한다. 정보획득 소스 펄스 활성화의 펄스들은 축소된 프레임 지역내에 포함되는 이러한 지역들에 제한될 수 있고, 마찬가지로 롤링 화소 서브 어레이(550)는 오직 축소된 프레임 지역에서 활성화 될 수 있다. 일 실시예에서, 정보획득 소스는 펄스 스폿 모드(pulse spot mode)로 활성화 되고, 정보획득 소스의 단계적 움직임(stepped motion)은 프레임 줌 지역내의 행들만을 커버하도록 감소된다. 이러한 방법의 정보획득 소스 및 이미지 센서의 작동은 정보획득 소스 및 이미지 센서 어레이 모두의 파워 소비의 감소로 이어질 수 있다. 더욱이, 앞에서 언급된 것과 같이, 시야의 특정 지역이 줌-인 되는 것에 따라, 프레임률은 증가될 것이다.
이미지 센서 포토다이오드들의 부분집합의 활성화를 위한 여러가지의 구현들이 가능하다. 인접한 화소들의 롤링 서브 어레이에 대한 예시적인 대안으로써, 대략적인 첫번째 주사(coarse first scan)는 8 열들이 떨어진 화소들의 활성화와 함께 수행되고, 4 열들이 떨어진 더 미세한 주사, 그리고 2, 그리고 등등이 이어진다. 이와 같은 방법으로, 시야내의 배치된 물체들의 위치들의 대략적인 추정이 정확한 값으로 알아내어진다. 개별적 위치들의 개선은 대략적(coarse)에서 미세(fine)까지 감으로써 만들어질 수 있고, 그것에 의하여 물체 위치들의 미세한 조정이 가능하고, 또한 정보획득 소스 각도들이 "스킵" 각도들을 생성 하는 것의 미세한 조정이 가능하다. 실시예에서, 조정(calibration) 모드는 활성화 되는 화소들이 큰 열-간격들을 갖는 대략적 주사(scan)을 포함하는데, 이에 뛰따라서 열 스페이싱(예를들어, 열-간격들내 열들의 수) 및/또는 주사 지역(예를들어, 이미지 센서 어레이 내의 롤링 서브 어레이 위치)의 미세 조정이 행해진다. 이와 같은 방법에서, 배경잡음은 현재 시야에서 물체들의 위치들에 대하여 더 정확히 논리 펄스들을 세팅함으로써 줄어들 수 있고, 예를들어, 로직 펄스들은 감소되는 롤링 서브 어레이를 형성하기 위해 결정된 열들 상의 화소들을 활성화한다.
일 실시예에서, 처음의 물체들이 위치되는 곳을 결정하는 감지된 수신 신호들의 위치와 함께, 첫 번째 주사는 최대의 해상도에서 첫 번째 프레임을 생성하기 위해 행해진다. 초기의 고프레임률 주사에 따라서, 지연을 드러내기 위해서, 타이밍을 위해서, 기타 등등을 위해서, 활성화된 화소들(열들)을에 변화들이 만들어진다. 본 발명의 실시예에 따르면, 이러한 변화들은 반복되는 루프들(iterative loops)에 의해 실행된다. 제한되지 않는 실시예로써, 신호 감지 가 중지하는 지점에 대한 결정은 만들어진다(예를들어, 노출 감소를 계속함으로써). 이 지점으로부터, 노출은 신호가 다시 시작하는 지점까지 증가하고, 그리고나서 이는 현재 조건들에서 물체들을 이미지화 하기 위한 실질적으로 최적화된 솔루션과 연관된다. 이와 같은 방법에서, 광학 정보획득 범위의 증가와 함께, 배경잡음의 실질적인 감소가 실현된다. 이러한 조정들은 시스템 레벨에서 이행된다.
이미지 센서의 프레임률을 증가시키는 추가 기술은 모든-행 주사 모드(all-row scan mode)를 포함한다(예를들어, 어레이-하이, 정보획득 소스 광 "팬"의 휘두르기(swipe)). 이 모드에서, 화소 페이지(예를들어, 서브 어레이 550)는 정보획득 소스 펄스들과 함께 증가하는 액티브 열들의 결정된 부분집합을 갖는, 어레이-하이 페이지 일 수 있다. 모든 화소들이 정보획득 소스의 각각의 각도의 스윕에 따라 활성화 될 수 있는 것처럼, 증가된 시스템 대역폭 요건들에 따라, 프레임율은 실질적으로 증가될 수 있다.
본 발명의 일 실시예에 따르면, TOF 및 레인징 정보가 얻어지는 것을 가능하게 하기 위해서, 단일 및/또는 몇몇의 광자 감지 어레이는 화소(예를들어, 화소(140b)) 단위로 정보를 발화하는 시간-부호화된(time-encoded) 광자로 구성될 수 있고, 정보획득 소스(예를들어, 광 소스) 및 감지기 사이에 사이의 동기화 인터페이스들에 결합될 수 있다. 예로써, 여유 공간 해상도의 1cm를 달성하기 위해 대략 30 피코초의 정확도와 이벤트 해상도(예를들어, 정보획득 시스템의 광 소스로부터 목표 장면까지 및 정보획득 시스템의 이미지 센서까지 돌아오기까지의 광자 이동 시간)를 필요로 한다. 여기에 설명된 접근은 x좌표, y좌표, 및 z좌표 정보 및 이벤트 시간을 생성하기 위해 설계되는 고감도 광자 감지기 어레이들을 이용하여 3D 이미징 및 레인징 시스템들이 높은 파워 방송 또는 주사 패턴들로부터 낮은 파워 광자 버스트(bursts)로(예를들어, 플래쉬화(flashed) 혹은 펄스화(pulsed) 통제화(direted)된 레이저 빔들) 진전시키기 위해 구현될 수 있고, 그러므로 이미지 데이터의 포스트-프로세싱(post-processing) 요구들을 감소시키는 필수적인 디지털 광자 감지기를 달성한다.
여기 설명된 것처럼, SPAD 화소 어레이(예를들어, 포토다이오드들의 어레이(140))는 3D 이미징 및 레인징 어플리케이션들을 위한 펄스화(pulsed) 및/또는 조종되는(steered) 정보획득 소스(예를들어, 레이저 광 소스)와 결합되어 이용될 수 있다. 실시예에서, 정보획득 소스 및 이미지 센서 어레이는 같은 광학 조리개(optical aperture)를 통해서 같은 축으로 놓여진다. 고감도 SPAD 장치들이 정보획득 소스 뿐만 아니라 주변광에 반응할 것이기 때문에, 이미지 센서 및 정보획득 소스의 조심성있는 정렬이 만들어져야 한다. 본 발명의 일 실시예에서, 광학 정보획득 시스템은 센싱 소자에 영향을 끼치도록 결합된 광 소스를 포함한다. 일 실시예로서, 광 소스는 수직 캐비티 표면 광방출 레이저(VCSEL)이고 센싱 소자는 광자 화소들의 어레이 내에 포함되는 SPAD-기반의(SPAD-based) 화소 일 수 있다. 이러한 시스템에서 광 소스의 방출 및 화소에 의한 감지 사이의 시간 지연은 관찰 될 수 있고, 시간 지연은 광 소스부터 장면의 일 부분까지 및 센싱 소자로 돌아오기까지 적어도 하나의 광자의 이동 시간을 반영하고, 이동 시간은 시스템 및 장면의 일 부분 사이의 거리에 대응한다. TOF 계산 및 그 이후의 판독은 화소가 TOF 정보를 저장하는 것(예를들어, 광학 강도 정보의 저장과는 대조적으로)과 같은 방법으로 전하 적분기를 끌 수 있는 능력이 있는 SPAD 화소를 이용하여 SPAD 화소 기능으로 통합될 수 있다.
시간 지연의 관찰은, 제한되지는 않지만, 화소 센서 셀에 전하 저장 능력을 더하는 것(즉, 커패시터의 전하 레벨의 제어)을 포함하는, 다른 계획들을 통해 수행될 수 있다. 커패시터 전하 레벨은 그러면 시간 지연에 연관될 수 있고, 그러므로 시스템부터 장면까지 거리의 추산을 제공할 수 있다. 하나의 실시예에서, 광 소스의 방출 이벤트는 커패시터의 방전을 트리거할 수 있고, 화소 감지 이벤트는 같은 커패시터의 방전을 끝낼 수 있다. 다른 실시예에서, 광 소스의 방출 이벤트는 커패시터의 충전을 트리거 할 수 있고, 감지 이벤트는 같은 커패시터의 충전을 끝낼 수 있다. 추가 실시예에서, VCSEL로부터의 광 펄스의 방출에 대응하는 레이저 턴-온 엣지는 시간 측정 활동을 시작하기 위해 이용될 수 있다(예를들어 커패스터의 충전 또는 방전). 광 소스 방출에 대응하는 SPAD 화소에 의한 되돌아오는 광의 감지한 때에, 어밸랜츠 전류 증가의 리딩 엣지(leading edge)는 시간 측정 활동의 끝을 트리거하기 위해 이용될 수 있다(즉, 커패시터의 전하 레벨 변화가 중지되고, 그러므로 자신의 전하가 광자 이동과 관련된 시간 기간에 비례하는 커패시터를 야기한다). 용량성의 전하가 시간 측정 수단으로 이용되는 경우에, SPAD 화소 어레이를 가로질러, 각각의 화소는 각각의 스토리지 커패시터내의 약간의 거리-관련된 양의 전하를 포함할 수 있고, 이는 장면의 특정한 부분에 대응하고 전체적으로 장면의 시공간(spatio-temporal) 정보를 제공하기 위해 판독 및 처리될 수 있다. 이러한 SPAD 화소들은 전형적인 CMOS 이미지 센서(CIS) 화소 어레이들의 판독을 위해 사용되는 기술들과 유사한 어레이 형태로 판독될 수 있다.
비싼 MEMs-기반의 빔 조종(MEMs-based beam steering)이지만, 이러한 실시예들은 고프레임율을 제공하며, 다른 요구사항들이 회피될 수 있다. 더욱이, 짧아지고 더 낮아진 레벨의 광 소스 조명은 SPAD 화소의 높아진 감도에 기인하여 이용될 수 있다. 실시예에서 이미지 시스템이 정보획득 빔 조명이 타이밍 레퍼런스를 제공하는 경우에 동기화 및/또는 조종 가능한 광자 정보획득 빔(예를들어, 광 소스)과 함께 이용될 수 있는 것은 인정될 수 있다. 부가적으로, 어레이 내의 화소들의 단지 하나의 그룹만이 트리거 될 수 있기 때문에, 이벤트들을 다루는 것(addressing)을 트리거하기 위한 지역 결정들이 수행될 수 있다. 본 실시예는 SPAD 화소 어레이 내의 대응하는 이미징의 영역들과 함께 정보획득 빔에서의 회절하는 광학 격자(optical grating)로부터 기 설정된 정보획득 패턴의 사용까지 연장될 수 있다(예를들어, 구조화된 광 접근들). 기술된 것처럼 실시예들은 더 낮은 광 소스 파워 요구 조건들 및 예를들어 프로세서(예를들어, 프로세싱 유닛, 902)에 다이렉트 이미지를 생성하는 능력을 갖는다. 그러므로, 기술된 이미지 센서 실시예들은 호스트 프로세서와 함께 모바일 장치와 같은 호스트 장치들로의 통합에 매우 적합하다.
화소 어레이는 화소의 충진률(fill factor)를 향상시키기 위해서 화소 스케일 마이크로렌즈 어레이(pixel scale microlens array)를 더 포함할 수 있고, 즉, 화소의 감광성 지역(들) 상의 입사 광에 초점을 맞출 수 있다. 화소 어레이는 열 레벨, 행 레벨, 어레이 영역 레벨, 화소 레벨, 글로벌 레벨, 또는 이들의 어떤 조합에서 이행될 수 있는 감도 제어(예를들어, 역바이어스 전압 레벨 제어를 통해서)를 포함할 수 있다. 패시브 및/또는 액티브 ??칭, 시간 구동(gating), 플롯팅 게이트 프로그래밍(예를들어, 불일치 보정, 및/또는 화소 결정 회로를 위한)의 사용 또한 구현될 수 있다.
본 발명의 실시예들에 따르면, 이미지 센서는 TOF-활성화 및 비 TOF-활성화 화소들(예를들어, 화소들 140b 및 140a)의 조합을 포함하는 포토다이오드들의 어레이를 갖는다. 제한되지 않는 예로서, TOF 화소들(140b)의 부분집합은, 화소들(140a)을 포함하는 남아있는 화소들과 함께, 이미지 센서 어레이 내에 대략적인(cosrse) 격자로 정렬된다. 이러한 정렬은 어레이 내의 화소들의 어드레싱을 위한(예를들어, 움직이는 서브 어레이(550)를 생성하기 위해서) 시스템 로직을 간소화 하거나 증강하기 위해서 이용될 수 있다. 정보획득 소스로부터 입력 신호의 제어를 이용하여, 대략적인 격자 교정(coarse-grid calibration)은 TOF 화소들(140b)로부터 TOF 정보를 이용하여 행해질 수 있고, 이미지 센서 어레이의 화소들(140a)를 이용하는 고해상도 주사에 의해 증강될 수 있다. 여러가지 제어 계획들이 가능하고, 이는 이미지 센서 어레이를 위한 더 큰 정확도 및/또는 더 빠른 윈도윙(windowing)을 제공할 수 있다. 더욱, 주기적으로, TOF 화소들(140b)은 광학 정보획득 장치에 대한 잡음 감소를 돕기 위해 이용될 수 있다(예를들어, 물체에 직접적인 TOF 측정을 제공함으로써).
도 8은 본 발명의 일 실시예에 따른 정보획득 빔을 이용하는 물체까지의 거리를 측정하는 방법의 흐름도(800)이다. 단계들(801-809)은 본 명세서에서 설명되는 다양한 실시예들에 따르는 흐름도에 도시된 방법을 포함하는 예시적인 단계들을 표시한 것이다. 하나의 실시예에서, 흐름도(800)는 컴퓨터 판독가능 매체(computer-readable medium) 내에 저장되어 있는 컴퓨터 실행가능 명령들(computer-executable instructions)로서 구현될 수 있고, 물체까지의 거리를 측정하기 위한 프로세스를 실행하는 컴퓨팅 디바이스에 의해 수행될 수 있다.
단계(801)에서 물체는 광자 정보획득 빔을 이용하여 정보획득 된다. 정보획득 빔은 예를들어 광학 정보획득 장치(105)의 정보획득 소스(110)로부터, 정보획득 빔(125) 일 수 있다. 실시예에서, 정보획득 소스가 공진 MEMs 주사 거울을 가지는 레이저이다(예를들어, 수직 캐비티 표면 방출 레이저, VCSEL). 정보획득 소스는 IR 파장 또는 다른 파장에서 방사선을 방출할 수 있다. 실시예에서, 거울은 x축(예를들어, 이미지 센서 어레이 열들을 따라)으로 공진하고, y축(예를들어, 이미지 센서 어레이 행들을 따라 증가)으로 진행한다. 공진 주사 거울은 정보획득 장치(105)의 시야를 가로질러 정보획득 빔(125)을 스윕(sweep) 하도록 이용될 수 있고, 그러므로 시야의 물체를 정보획득 한다. 실시예에서, 레이저는 "스팟(spot)" 모드에서 작동하고, 양자택일로, 정보획득 소스는 "팬(fan)" 모드에서 작동하며, 넓은 줄무늬의 광을 방출한다.
단계(803)에서 어밸랜츠 포토다이오드들의 어레이(예를들어, SPAD 포토다이오드들의 어레이)는 활성화되고, 어밸랜츠 포토다이오드들은 가이거 모드에서 작동하고, 활성화는 광자 정보획득 빔의 활성화와 실질적으로 동시에 일어난다. 실시예에서, 어레이의 오직 하나의 부분집합만이 정보획득 소스의 펄스 동안에 활성화된다. 실시예에서, 어레이의 부분집합은 시변 방식(time-varying manner)으로 변화하고, 그리고정보획득 빔의 연속적인 펄스들과 협력하여 증가된다(예를들어, 롤링 서브-어레이, 550). 서브 어레이의 사이즈는 바뀔 수 있고, 다른 요인들 중에서, 정보획득 소스의 세기 및 움직임의 속도, 그리고 시야내의 물체들의 범위에 근거할 수 있다.
단계(805)에서 반사되는 빔은 물체로부터 수신된다(예를들어, 빔(130), 이미지 센서(115)에 수신). 광학 시스템(예를들어, 광학시스템(135))은 이미지 센서에 포함될 수 있다. 광학 장치는 이미지 센서 상에 입사하는 반사에 초점을 맞추기 및/또는 여과하기를 할 수 있다. 실시예에서, 단계(807)에서 신호를 생성하는 것에 뒤따라서, 어레이의 비활성화는 반사 빔의 수신과 실질적으로 동시에 발생한다.
단계(807)에서 반사되는 빔의 특성에 대응하는 신호가 생성된다. 실시예에서, 신호를 생성하는 것은 복수의 부분집합들중 액티브 부분집합에 의해 포함되는 제1 어레이 소자에 의한 반사되는 빔을 수신하는 것에 근거하고, 액티브 부분집합에 의한 어레이 내의 어레이 소자들의 나머지에 의한 반사되는 빔의 어떤 감지는 신호에 포함되지 않는다. 실시예에서, 어밸랜츠 포토다이오드들의 어레이의 각각의 포토다이오드는 적어도 하나의 전하 스토리지(storage) 소자를 포함하고, 어레이를 활성화하는 것은 정보획득 빔으로부터의 방출 및 물체로부터 반사되는 빔의 수신하기 사이의 시간 기간동안 적어도 하나의 전하 스토리지 소자의 전하 레벨을 변화시키는 것를 끝낸다. 실시예에서, 스토리지 소자는 커패시터이고, 전하 레벨은 신호에 의해 포함되고 그리고 정보획득 소스의 방출 및 반사된 광의 수신사이의 시간의 측정(예를들어, TOF 정보)을 제공한다.
단계(809)에서, 신호에 근거하는 물체까지의 거리는 결정된다. 실시예에서, 광학으로 들어오는 되돌아오는 광의 각도(예를들어, 각도(116))는 포토다이오드 활성화를 가지는 이미지 센서 어레이의 열(column)을 결정한다(예를들어, 행내의 위치). 광학 정보획득 소스 각도(예를들어, 111)와 함께, 화소 어드레스는 되돌아오는 광 각도(116) 및 정보획득 소스 및 이미지 센서 사이의 거리의 추산을 제공하고, 이들은 거리 결정을 제공한다(삼각측량을 통해서). 실시예에서, TOF 계산 및 뒤따르는 판독은 SPAD 화소 기능(예를들어, 화소 150b)에 통합될 수 있고, SPAD 화소는 화소가 TOF 정보를 저장하는 것과 같은 방법으로 적분의 전하 적분기의 동작을 토글(toggle)한다.
본 발명에 따른 광학 정보획득 장치는 다양한 구성들을 포함할 수 있고 광학 정보획득 장치를 채용하는 호스트 전자 장치내에서 사용될 수 있다. 이러한 전자 장치들은 안경, 시계, 휴대폰, 스마트폰, 태블릿 및 랩톱과 같은 웨어러블 장치들 및 다른 휴대 및 비휴대 컴퓨터 장치들을 포함할 수 있으나, 이에 제한되지 않는다. 도 9에 나타난것과 같이, 본 발명의 실시예에가 구현될 수 있는 예시적인 호스트 장치는 일반적인 목적의 컴퓨터 시스템 환경(general purpose computing system environment, 900)을 포함한다. 호스트 장치는 광학 정보획득 시스템(907)을 포함한다. 실시예에 따르면, 광학 정보획득 시스템(907)은 이미지 캡쳐하는 동안 표적이 되는 장면을 조명하는(예를들어, 레이저 광을 이용하여) 시스템 상의 정보획득 소스(예를들어, 정보획득 소스(110)); 제어된 위치(예를들어, 정보획득 시스템(110)으로부터 수평하게 절충(offset))에 시스템 상에 위치하는 단일 및/또는 몇몇의 광자 화소 어레이 이미지 센서(예를들어, 이미지 센서(115)); 및 이미지 처리를 위해 표적이 되는 장면의 광학적 이미지를 전기적인 신호로 바꾸는 이미지 센서내의 회로를 포함한다. 광학 정보획득 시스템(907)은 이미지 캡쳐하는 동안에 주변광을 거절하기 위해 이미지 렌즈(imaging lens) 및/또는 마이크로렌즈 어레이(microlens array) 및/또는 필터(예를들어, 광학 파장 대역통과필터)를 선택적으로 포함한다.
가장 기본적인 구성에서, 컴퓨터 시스템(900)은 적어도 하나의 프로세서(902) 및 적어도 하나의 메모리(904)를 포함할 수 있다. 프로세서(902)는 일반적으로 데이터를 처리하거나 명령어를 해석하고 실행할 수 있는 능력이 있는 프로세싱 유닛의 어떤 타입 또는 형태를 나타낸다. 어떤 실시예에서, 프로세서(902)는 소프트웨어 어플리케이션 또는 모듈로부터 명령어들을 수신할 수 있다. 이러한 명령어들은 여기에 설명 및/도는 도시된 예시적인 실시예들의 하나 이상의 기능을 수행하도록 프로세서(902)를 야기할 수 있다. 본 발명의 실시예에 따르면, 프로세서(902)는 이미지 센서로부터 표적이 되는 장면의 이미지들을 수신하고, 이미지로부터 표적이되는 장면의 거리 정보를 추정한다.
메모리(904)는 일반적으로 데이터 및/또는 다른 컴퓨터 판독가능 명령어들을 저장하는 능력이 있는 휘발성 또는 비휘발성 저장 장치 또는 매체의 어느 타입 또는 형태를 나타낸다. 어떤 실시예의 컴퓨터 시스템(900)은 휘발성 메모리 유닛(예를들어, 메모리(904)와 같은 것) 및 비휘발성 스토리지 장치(908)를 모두 포함할 수 있다. 컴퓨터 시스템(900)은 또한 프로세서(902)에 동작상으로 결합되는 디스플레이 장치(906)을 포함한다. 디스플레이 장치(906)는 일반적으로 사용자와 컴퓨터 시스템 사이에 인터페이스를 이용하기 위한 편의성을 제공하는 그래픽 사용자 인터페이스(graphical user interface, GUI)를 표시한다.
실시예에서, 컴퓨터 시스템(900)은 본 발명의 양태에 따른 방법들의 수행을 위한 명령어들을 포함하고, 명령어들은 메모리(904) 또는 스토리지(908) 상에 저장될 수 있다. 예를들어, 컴퓨터 시스템(900)은 물체 거리 측정 명령어들을 포함할 수 있고, 물체 거리 측정 명령어들은 본 발명의 실시예에 따라 물체까지의 거리를 결정하는 방법을 수행하기 위한 컴퓨터 시스템(900)을 야기하는 명령어들을 포함한다(예를들어, 방법 800).
도 9에 도시된 것과 같이, 컴퓨터 시스템(900)은 또한 적어도 하나의 입력/출력(I/O) 장치(910)를 포함할 수 있다. I/O 장치(910)는 일반적으로, 컴퓨터 시스템(900)에 대하여/으로부터, 입력 또는 출력(컴퓨터 또는 인간이 생성한)을 제공하기/수신하기의 능력이 있는 입력장치의 어느 타입 또는 형태를 나타낸다. I/O 장치(910)의 예로서, 제한되지 않으나, 포인팅 또는 커서 제어 장치(예를들어, 터치-감지 장치 및/또는 마우스), 음성 인식 장치, 키보드, 또는 다른 입력 장치를 포함한다.
도 9의 커뮤니케이션 인터페이스(922)는 대체로 예시적인 컴퓨터 시스템(900) 및 하나 이상의 부가적인 장치들 사이의 커뮤니케이션을 용이하게 하는 능력이 있는 커뮤니케이션 장치 또는 어댑터의 어느 타입 또는 형태를 나타낸다. 예를들어, 커뮤니케이션 인터페이스(922)는 추가적인 호스트 장치들 및/또는 컴퓨터 시스템들을 포함하는 사적 또는 공적 네트워크 및 컴퓨터 시스템(900)사이의 커뮤니케이션을 용이하게 할 수 있다. 커뮤니케이션 인터페이스(922)의 실시예들은 무선 네크워크 인터페이스(무선 네트워크 인터페이크 카드 및/또는 블루투스 어댑터와 같은), 유선 네트워크 인터페이스(네크워크 인터페이스 카드와 같은), 모뎀, 및 다른 적당한 인터페이스를 포함하며, 이에 제한되지 않는다. 하나의 실시예에서, 커뮤니케이션 인터페이스(922)는, 휴대폰 네트워크 및/또는 인터넷과 같이, 네트워크에 직접적인 링크를 통해서 멀리 떨어진 서버에 직접적인 접속을 제공한다. 커뮤니케이션 인터페이스(922)는 또한 다른 어떤 적절한 연결을 통해서 이러한 연결을 간접적으로 제공할 수 있다. 커뮤니케이션 인터페이스(922)는 또한 외부 버스 또는 커뮤니케이션 채널을 통해 컴퓨터 시스템(900) 및 하나 이상의 부가적인 네트워크 또는 스토리지 장치들 사이의 커뮤니케이션을 용이하게 하는 호스트 어댑터를 나타낼 수 있다.
도 10은 본 발명의 일 실시예에 따른 예시적인 화소 회로(1000)의 블록 다이어그램을 도시한 것이다. 예시적인 화소 회로(1000)는 포토다이오드(145). 래치 회로(1005), 및 디코드 및 제어 회로(1010)을 포함한다. 포토다이오드(145)는 광의 수신시에 전류 펄스를 생성하고, 이는 전기적으로 결합된 저항(예를들어, 도 2의 220)에 의해 전압 펄스로 바뀔 수 있다. 전압 펄스는 화소 회로(1000)에 의해 논리를 위해 직접적으로 이용될 수 있고, 예를들어 래치 회로(1005)에서 래치를 설정하기 위해 포토다이오드 활성화 이벤트(예를들어, 발화)의 직접적인 이용을 활성화한다.
도 11은 본 발명의 실시예에 따른 예시적인 트랜지스터 레벨의 도식적인 화소 회로(1100)를 도시한 것이다. 화소 회로(1100)는 버퍼링 소자들(1125, 예를들어 도 2의 버퍼(225)에 대응하는), 래치 소자들(1105, 예를들어 래치(1005)에 대응하는), 및 디코드 및 제어 소자들(1110, 예를들어 디코드 및 제어(1010)에 대응하는)를 포함한다. 도 11의 화소 회로는 열 및 행 활성화 신호들(ColHVen 및 RowEn)에 의해 게이팅되고, 접지-참조된(ground-feferenced) 포토다이오드를 포함한다. 실시예에서, 포토다이오드는 가이거 모드(예를들어, SPAD처럼 구동)에서 구동한다. 접지-참조 포토다이오드는, 충분한 광 조명이 수신되면(예를들어, 몇몇의 광자들), 저항을 통해서 전압 펄스로 변경되는 급격한 전류 펄스를 생성한다. 전압 펄스는 화소 회로에 의해 논리를 위해 직접적으로 사용될 수 있고, 이에 따라 이미지 센서의 기능을 제어하기위해 포토다이오드 활성화 이벤트(예를들어, 발화)의 직접적 이용을 가능하게 한다. 예를들어, 전압 펄스는 트랜지스터를 위해 입력으로 이용되는 포지티브 펄스(그라운드와 상대적으로)일 수 있다. 본 발명의 실시예에 따라서, 포토다이오드 이벤트로부터 생성되는 전압 펄스는, 예를들어, 소자들(1105)의 설정-재설정 래치 회로를 설정(또는 재설정)하기 위해서 CMOS 논리에 직접적으로 입력될 수 있는 논리 레벨 전압을 생성시킬 수 있다.
본 발명의 실시예에 따른 이미지 센서(이미지 센서(115))는 화소 회로들(1100)의 어레이을 포함하고, 래치(1105)를 위한 설정값은 이미지 센서 어레이가 발화된 화소의 어드레스를 리포트하도록 야기할 수 있고, 이는 물체로부터 반사되는 정보획득 빔의 되돌아오는 각도를 결정하도록 이용될 수 있다. 본 명세서에서 설명된 것처럼, 물체에 대한 결정된 되돌아 오는 각도(도 1의 각도(116))를 통해 거리는 삼각측량을 통해서 발견될 수 있다. 제한되지 않는 예로써, 포지티브 전압 스파이크(a positive voltage spike)는 Vcc와 관련되는 네거티브 전압을 제공하기 위해서 소스 팔로워(source follower)에 의해 반전될 수 있고, 이는 설정-재설정 래치에 대한 설정 신호 일 수 있다. 도 11에 따른 화소 구조는 높은 게인 아날로그 감지 증폭기들(high gain analog sense amplifiers) 또는 아날로그 시간-디지털 컨버터들(analog time-to-digital converters)을 요구하지 않고, 이는 아날로그 구성들의 부족 때문에 시스템을 위한 파워 요구들 및 측정 대기시간 모두의 감소를 가능하게 한다. 도 11에 따른 화소 구조(1100)는 완전히 디지털 화소이다.
본 발명의 실시예에 따르면, 포토다이오드는 포토다이오드의 잠재적 연속적인 발화들을 사이의 시간 기간을 제어하기 위해서 능동적으로 ??치(quench)된다(예를들어, 발화 이벤트 후에 SPAD의 재설정 시간을 최소화하기 위해서). 역으로, 많은 다른 접근법에서 저항의 위치는 포토다이오드의 상부에 있고, 포토다이오드는 그라운드에 고정된다. 이러한 구조는 광자 감지 이벤트로부터 SPAD가 발화할 때 네거티브 펄스를 야기하고, 이는 CMOS 논리를 위한 직접적 입력으로 포토다이오드 활성화 이벤트를 직접적으로 이용하기 위해 설계되는 시스템에서 덜 쓸모(less useful)있다. 관례적으로, SPAD는 패시브 회로에서 레벨 쉬프팅(shifting)을 수행하기 위한 AC-coupled(예를들어, 커패시터와 결합된 포토다이오드) 일 수 있다. 이러한 구조들은 본 발명의 그것들에 비해 실질적으로 더 느리고, 화소의 액티브 ??칭 또는 게이팅을 허락하지 않는다. 더욱이, 작은 전류를 감지하기 위해 이용되는 감지 증폭기들은 본 발명의 실시예에 따른 구조에서 필요되지 않는다.
본 발명의 실시예에 따른 화소 회로(1100)은 게이팅된다(예를들어 포토다이오드들은 선택적으로 활성화된다). 정지상태에서, 포토다이오드는 접지되지 않고 포토다이오드를 가로지르는 전압이 없으며, 그러므로 포토다이오드들은 심지어 입사 광자들의 이벤트 내에서도 발화될 수 없다. 본 명세서의 실시예에 따르면, 포토다이오드는 고접압 레일(rail)에 의한 논리 회로(래치와 같은)로부터 따로따로 파워(powered) 될 수 있다. 화소 회로(1100)의 고전압 구성들은 박스(1145) 내의, 즉, 고전압 공급 라인, 포토다이오드 캐소드, 및 접합점 A(예를들어, 포토다이오드의 애노드와의 연결)과 같은 소자들에 제한된다. 시스템 레벨에서 제어되는 제어 라인들(예를들어, ColHVen 및 RowEn)에 의해 화소가 활성화 될 때, 포토다이오드에 입사하는 광자들은 전압 펄스로 이어지는 신호(예를들어, 어밸랜츠 브레이크다운 이벤트로부터의 전류 펄스)를 생성할 수 있다. 도 11에 도시된 것처럼, FireEn, ColHVen, 및 RowEn가 높은 레벨에 있을 때, 발화하는 펄스는 오직 노드 B에서만 생성될 수 있다. 이 구조는 완성된 화소 게이팅 제어를 제공하고, 그러므로 각각의 특정한 측정 기간동안 활성화되는 이미지 센서 어레이 내의 화소들의 집합에 대한 제어를 제공한다(예를들어, 가변 화소 페이지 사이즈를 위한 특정한, 일반-목적의 화소 제어). 실시예에서 전압 고정(voltage clamp)은 버퍼링 소자들(1125)에서 이용되어 포토다이오드의 발화 이벤트 동안에 게이트에서 전압 스파이크를 제한한다. 더욱이, 전압 스파이크 제한하는 것을 통해서, 전압고정은 표적이 되는 포토다이오드 바이어스 레벨에 더 가까운 포토다이오드의 전압 레벨을 유지하는데 제공되고, 그러므로 다음의 발화 이벤트를 위한 준비의 상태로 포토다이오드를 재설정하기 위해 요구되는 시간을 줄일 수 있다.
이러한 방법으로 화소는 게이트되고, (활성화 된) 접지-참조 포토다이오드는 발화 이벤트에 래치를 설정할 수 있다. 실시예에 따르면, RowEn은 HV 모드에서 HV 이미지 센서 열(column) 제어 및 읽기 모드에서 열(column)에 접근을 허용한다. READ 신호가 HV 모드에서 열 다툼(column contention)을 방지하는 동안에, 다이오드를 가로지르는 HV 바이어스는 행 및 열에 의해 어드레스 될 수 있다. 실시예에 따르면, 읽기는 행에 의해 어드레스 될 수 있고, 열들은 이미지 센서 어레이 포토다이오드들로부터 발화 이벤트 정보를 위해 샘플링 된다. 더욱이, 제어 논리는 래치의 글로벌 재설정을 활성화하고(예를들어, 늦은 레인징 측정을 위해), 래치 재설정 신호(LtchRst)는 로우(low) 펄스에 의해 활성화되고 포토다이오드(들)를 재설정하기 위해 액티브 행(들)에 적용된다.
도 11에 도시된 것과 같은 화소 구조는 이미지 센서 구조를 위해 발화된 화소들의 빠르고, 파워 효율성 있는, 자기-배열 판독(self-sequencing readout)을 가능하게 한다. 본 발명의 실시예에 따르면, 화소는 레인징 시스템의 정보획득 소스에 의해 정보획득 되었던 물체로부터 반사되는 광의 수신에 반응하는 발화하는 이벤트를 래치(latch)한다. 이 래치는 발화된 화소의 어드레스의 판독을 가능하게 하고, 이는 정보획득 시스템에 대한 지식과 함께(예를들어, 정보획득 빔의 각도, 정보획득 소스와 이미지 센서 사이의 거리), 정보획득 된 물체까지의 거리를 결정하는데 필요한 정보를 제공한다.
도 12를 참조하면, 버퍼(1225) 및 디코더(1210)을 포함하는 예시적인 화소 회로(1200)가 도시된다. 화소 회로(1200)는 ??치 피드백 회로(1230)을 더 포함할 수 있다. 실시예에 따르면, 화소 회로(1200)는, 이미지 센서 어레이(115)의 화소가 수신된 광에 근거하여 활성화 될 때, 열(column) 어드레스를 생성하기 위해 동작 가능하다. 디코드 회로(1210)으로부터의 열(column) 어드레스는 화소가 존재하는 행의 끝에서 행 래치를 설정하기 위해 이용될 수 있다. 더욱이, 화소의 활성화는 같은 행(예를들어, 이들은 행의 다른 열들에 대응하는) 상의 다른 화소들(예를들어 다른 화소 회로들(1200))에 대한 비활성화 신호를 전송할 수 있고, 이러한 방법에서 신호 다툼은 최소화 될 수 있다. 즉, 행 상에서 활성화 되는 첫 번째 열(column)은 래치를 세팅하고, 이미지 센서 어레이(115) 바깥에 저장되고, 또한 행의 다른 화소들을 비활성화한다. 화소 회로(1200)는 팬 모드(예를들어, 라인 주사 모드)에서 정보획득하는 이미지 센서 구조들에 매우 적합하고, 예를들어, 이미지 센서 구조는 도 16에서 표시된다.
도 13은 도 11에서 도시된 것과 같은 화소 구조에 근거한 판독 리플-통과 기능(readout ripple-through functionality) 뿐만 아니라, 이미지 센서 열 셀프-타이밍 활성화를 위한 회로 논리의 실시예를 도시한다. 본 발명의 실시예에 따르면, 회로 논리는 포토다이오드로부터 신호를 직접적으로 수신할 수 있고(예를들어, SPAD 발화 이벤트), 그러므로 (신속히) 래치를 설정할 수 있다. 이미지 센서 내의 화소에서 첫번째 발화 이벤트는 다른 화소들이 비활성화되도록 야기할 수 있다. 제한되지 않는 예로써, 한번 하나의 래치가 이미지 센서내의 행 상에 설정되면, 그 행 상의 모든 다른 화소들은 셀프-타이밍 루프(self-timing loop)를 통해 비활성화 될 것이다. 이 구조는 이미지 센서 어레이에서 입사하는 광자들의 위치의 정확한 결정을 가능하게 한다. 본 실시예들을 통해 설명된 것과 같이, 이 정보을 이용하여 거리 결정이 이루어 질 수 있다. 인접하는 화소들이 신호를 생성시키는(예를들어, 발화하는 인접 포토다이오드들을 위해) 가능성이 존재할지라도, 이 가능성은 이미지 센서 활성화 타이밍(예를들어, 화소 서브 어레이 게이팅) 뿐만 아니라, 또는 와 함께 본 명세서에서 설명된 것과 같이 정보획득 소스로부터의 조명을 위한 타이밍의 조심스러운 제어에 의해 실질적으로 조정될 수 있다.
실시예에서, SPAD-기반의 화소들은 판독 회로를 구동하기 위해 이용되는 셀프-타임 래치(self-timed latch)를 포함하고, 파워 소비를 줄이고, 높은 광자 카운트(count) 환경들에서 단일 광자 감지기들을 이용하는 것과 연관되는 이벤트 파일-업 모드(event pile-up mode)를 방지한다. 시스템 레벨 타이밍 명령들은(예를들어, 행 및 열 활성화 신호들), 화소 레벨에서, 셀프-타임 비동기화 논리를 트리거하는데 이용될 수 있다. 본 발명의 실시예에 따르면, 시스템 레벨 타이밍은 이미지 센서에서 하나 이상의 화소들의 활성화(예를들어, 화소 서브 어레이, 이는 하나의 화소부터 최대 전체 이미지 센서 어레이까지 사이즈가 변할 수 있다)를 정보획득 소스의 활성화에 동기화한다. 열(column) 활성화가 일단 설정되면, 타이밍 루프는 설정-재설정 래치를 통해서 화소를 위해 트리거 된다. 만약 포토다이오드 활성화가 감지되는 것이 없다면, 래치는 설정되지 않고, 다음의 활성화 통로는 활성화 되어 활성화된 행 상의 다음 화소에서 이미지 센서 판독을 계속한다(예를들어, 인접하는 열의 화소). 다음 열은 현재 화소가 자신의 판독 주기를 완성할 때까지 읽어지는 것으로부터 방지된다. 화소들은 셀프-타임 판독 주기와 함께 이미지 센서에서 순차적으로 리포트한다. 특별히, 활성화 이벤트(예를들어, SPAD 발화)를 경험하고 이에 따라 래치를 설정하는 이러한 화소들 만이 주어진 연관된 정보획득 펄스를 위해 리포트하는 화소들이다. 다르게 말하면, 이미지 어레이로부터 유일한 판독 리포트는 래치를 설정하기 위한 첫번째 화소의 어드레스이고, 추가 화소 리포팅은 판독 동안에 연속하는 화소들을 활성화 하지 않음으로써 방지된다(예를들어, 뒤따르는 화소의 판독은 현재 화소가 래치를 설정하지 않은 경우에만 활성화된다). 특정한 행(또는 열, 열별 판독 구성(column-by-column readout configuration)을 위해서)상에 발화되는 첫번째 화소의 주소만이 리포트되는 것처럼, 그러므로 설정되지 않은 화소 어드레스들은 비동기화 피드-스로우 논리(asynchronous feed-through logic, 예를들어 ripple-through)에 의해 판독되는 동안 순차적으로 스킵(skip)되고, 종래의 시스템들보다 판독은 더 빨리 일어나고 데이터 대역폭 요구들은 더 작아진다.
도 14는 본 발명의 실시예에 다른 연결된 읽기 논리 회로(connected read logic circuitry)의 블록 다이어그램(1400)을 도시한 것이다(예를들어, 사이드-by-사이드 논리 회로, 글로벌 타이밍 회로와 함께). 논리 회로는 열 활성화를 위한 외부 타이밍 펄스 발생기를 따르는 열 바이패스 논리(column bypass logic)를 포함한다. 타이밍은 유사한 논리에 따른 다음 열 활성화 및 판독과 함께, 현재 열(column) 상태의 판독이 행해 질 수 있도록 설정된다. 특별한 타이밍은 시스템 레벨에서 설정될 수 있고, 이미징 조건들(예를들어, 주변광 레벨, 정보획득 소스 파워, 이미지화된 물체까지의 추정된 거리, 기타등등)에 따라 조정될 수 있다. 본 발명의 실시예에 따르면, 모든 열들은 포토다이오드 Read Row가 설정될 때 입력이 된다. 하나의 양태에서, 리플-스로우(ripple-through) 논리는 열이 로우(low) 값을 가질 때(예를들어, 포토다이오드가 오프된다) 활성화 된다. 판독이 어레이를 통해 순차적으로 진행됨에 따라, 하이(high) 값을 반환하는 첫번째 열은 리플-스로우(ripple-through) 논리를 중지하고, 하나의 값이 열의 하이 값에 대응하여 설정될 수 있다. 실시예에서, 타이머가 재설정하고 다음 활성화(Next Enable)가 설정될 때까지, 열(column) 하이 값은 ROM 행이 하이 값을 갖도록 설정한다. 어레이내의 마지막 열에 도달할 때까지, 이 과정은 다음(예를들어 연속적인) 열에서 반복된다. 이러한 설정된(예를들어, 열(column) 하이 값으로부터) 포토다이오드들을 가지는 ROM 행들은 이미지 센서 입력/출력 회로에서 판독될 수 있다. 판독 리플-스로우 논리는 여러 이미지 센서 실시예들에서 구현될 수 있고, 아래 도 15 및 도 16에 설명된 실시예들을 포함하고, 여기는 ROM 열 어드레스 또는 행 열 레지스터들을 각각 판독하는 동안에 판독리플-스로우 논리가 이용된다.
도 15는 본 발명의 실시예에 따른 이미지 센서 구조(1500)의 개략도를 도시한 것이다. 이미지 센서 구조(1500)는 포토다이오드들의 어레이, 직렬 프로그램가능한 인터페이스(serial programmable interface, SPI), 열 제어 Mux(column control mux), 행 Mux(row mux), 입력/출력 제어 및 타이밍(I/O control and timing) 회로, 빠른 ROM 디코더(fast ROM decoder), 및 행 및 열 시퀀서들(row- and column sequencers)을 위한 구성 회로를 포함한다. 본 명세서에서 설명되는 것과 같이(예를들어, 도 10 및 도 11), 이미지 센서 어레이의 각각의 화소는 게이트(gate)되고 셀프-래칭(self-latching)된다. 하나의 양태에서, 이미지 센서는 셀프-리포팅 화소 시퀀서이고, 미리 프로그램 된 서브 어레이 사이즈(550, 최대 전체 이미지 센서 어레이까지)를 가진다. 거리 측정 기간 동안에, 화소는 특성상 디지털이고, 1 또는 0을 선택적으로 가지고, 설정되거나 되지 않은 래치에 각각 대응한다. 이미지 센서 어레이는 사용자-설정가능한 페이지들로 나누어지고, 이는 정보획득 빔의 각도가 변화되는 것처럼 순차적으로 증가될 수 있고, 및/또는 활성화된 화소들의 어드레스들은 3D 공간의 정보획득 빔 송신 위치와 협력될 수 있다. 후자는 기하학적으로 분리된 서브 어레이를 노출시키면서 화소들의 노출된 서브 어레이의 동시에 일어나는 읽기를 허용하고, 이는 프레임률 및 처리속도를 증가시킬 수 있고, 시스템 레벨에서 구성될 수 있다.
포토다이오드 활성화에 의해 설정 될 때, ROM 디코더의 앞쪽 끝에 있는 제어 논리(예를들어, 도 13-14)는 하나의 화소가 빠른 ROM 디코서 상에서 구동이 가능하게 하고, 모든 다른 화소들은 이 때 오프된다. 본 발명의 실시예에 따른 이미지 센서의 출력은 빠른 ROM 디코더로 들어가는 행 드라이버 신호이고, 신호는 발화 이벤트를 갖는 이미지 센서의 열(column)에 대응하고, ROM 디코더는, 예를들어, 이미지 센서 위치 결정을 위해 활성화 되는 열(column)의 주소를 포함하는 룩업 테이블을 포함한다. 현재 활성화된 행은 알려져 있고(이미지 시스템에 의해 제어되는 것으로써), ROM 디코더에 의해 결정되는 열 위치는 활성화된 포토다이오드의 고유의 어드레스를 제공한다. 이와 같은 방법으로, 이미지 센서 구조(1500)는 화소에서의 활성화 이벤트를 래치(latch)하고, 컬럼에서 위치를 디코드(decode)한다(빠른 ROM 디코드를 통해서). 이미지 센서의 모든 행들은 빠른 ROM 디코더에 대한 입력들이고, 여기에 화소들은 본 명세서에서 설명된 것처럼 논리를 포함한다. 본 발명에 따른 이미지 센서 구조는 측정 기간 동안에 활성화되는(예를들어, SPAD 발화 이벤트에 의한) 화소의 어레이 어드레스만을 출력하고, 행 상의 모든 더 읽어지지 않은 화소들은 비활성화되고 스킵되며, 그러므로 잡음 이벤트(예를들어, 주변광에 노출)에 따른 발화를 위한 기회 및 데이터 전송의 대역폭 요구 모두는 최소화된다.
높은 레벨(예를들어, 시스템 레벨) 타이밍 명령들은 화소들의 이미지 센서 활성화와 함께 정보획득 소스로부터의 조명 광 펄스들을 동기화하기 위해 이용된다. 타이밍 명령들은 이미지 센서 내에서 셀프-타임 판독을 트리거하기 위해 이용되고, 이는 관련된 광 펄스 기간내에 발화되는 이러한 화소들만의 순차적인 리포팅을 하게한다(예를들어, 비동기화된 상태의 기계들처럼 화소들 작동). 모든 행들이 읽어진 후에, 글로벌 재설정(시스템 레벨에서 제어되는)은 다음 정보획득 빔 펄스(예를들어 다음 측정 기간)를 위한 이미지 센서내의 모든 화소들을 재설정한다. 행 읽기 메커니즘은 전술한 패스-스로우 논리 기능성을 이용하여, 각 행을 위해서, 오직 활성화된 화소들(행들)을 리포트한다. 대안적으로, 레지스터 뱅크는, 후속적인 행 주사에 일어나는 판독과 함께, 행 주사를 래치하기 위해 이용될 수 있다.
도 16을 참조하면, 본 발명의 실시예에 따른 이미지 센서 구조(1600)의 블록 다이어그램이 도시되었다. 이미지 센서 구조(1500)와 비교하면, 이미지 센서구조(1600)의 빠른 ROM 디코더 기능성이 개별적 화소 레벨에서 포함되었고, 이미지 센서 어레이 내부에 만들어진다(예를들어, 도 12의 화소 구조). 그러나, 설정-재설정 래치 회로는 어레이 외부에 위치되고, 이러한 래치는 행 레벨에서 수행되고 오직 하나의 래치가 행별로 설정된다. 구조(1600)는 행 주사를 래치하기 위한 제1 래치들 및 제1 래치들로부터 이동을 통하여 설정될 수 있는 제2 래치들을 포함하는 열 어드레스 래치들을 포함한다(예를들어 레지스터 뱅크). 제2 래치들은 후속적인 행 주사 동안 읽어질 수 있다. 그러므로, 이미지 센서는 행 레벨에서 래치하고, 화소(셀) 레벨에서 디코드한다. 본 명세서내에서 설명된 것과 같이, 리플-스로우 논리는 이미지 센서 회로 내에 포함되어, 이와 같은 이미지 센서 어레이는 행들의 끝에서 행 래치들을 따라 읽어질 수 있다(15에 도시된 것처럼 열들이 아닌1).
이미지 센서 구조(1600)는 라인 주사 정보획득 모드를 위해 구성될 수 있고, 여기서 모든 이미지 센서 행들은 동시에 활성화 된다. 정보획득 소스가 활성화 되는 시간에 근거하여, 이미지 센서 어레이의 하나 이상의 행 라인들은 활성화된다. 이미지 센서 구조(1600)를 따라서, 하나의 행 상에서 활성화 되는 첫번째 포토다이오드는 그 행을 위한 어드레스 버스를 요구할 것이고, 그리고 고유한 이미지 센서 어레이 위치는 정보획득 소스로부터 되돌아오는 광을 위해 결정될 수 있다. 실시예에서, 행당 10개의 열 어드레스 라인들(더 많은 혹은 더 적은 어드레스 라인들이 가능), 배선에 의해 접속된(hardwired) 각 화소를 위한 ROM 어드레스가 존재하고, 이러한 것은 화소가 들어오는 광자들에 의해 활성화될 때 개별(예를들어, 단일) 열 어드레스가 대응하는 레지스터를 설정하도록 어드레스 라인들상에 신호를 보낼 수 있도록 한다. 만약 측정기간 동안 하나가 활성화 된다면, 이것은 마지막에 활성화되는 화소의 열 주소를 식별하는 능력의 이미지 센서를 제공한다.
이 회로 구성은 본 명세서에 개시된 다른 이미지 센서 구조들보다 공간 효율성이 작을 수 있으나, 향상된 센서 유연성이 각 행내에 내장된 열 어드레스 ROM과 함께 실현 될 수 있다. 이미지 센서 구조(1600)는 측정 기간 동안에 배경 잡음 및 다른 요소들을 제어 및 조정하기 위한 서브-어레이 접근(예를들어, 움직이는 서브 어레이(550, 550`))을 사용할 수 있다. 실시예에 따르면, 라인 주사 또는 점(dot) 주사 정보획득 모드에서, 각 행내의 첫번째 포토다이오드 발화 이벤트를 리포팅하는 이미지 센서 능력과 함께, 이미지 센서 내의 전체 또는 부분적인 행들은 실질적으로 동시에 시스템 제어에 의해 활성화 될 수 있다.
도 16에 도시된 것과 같은 행 레벨에서 래치를 가지는 이미지 센서는 래치된 값들(즉, 행 값들)의 판독이 이미지 센서 어레이 내의 다른 라인의 노출과 함께 동시에 행해 질 수 있다는 의미에서 평행한 구동을 가능하게 한다. 본 발명의 실시예에 따르면, 이미지 센서는, 래치된 열 어드레스(집합은 행당 1개의 레지스터를 포함)를 위한 제1 레지스터 집합, 그리고 제1 레지스터 집합으로부터 값의 이동(shift)을 수신하기 위한 제2 레지스터 집합을 포함하는 레지스터들의 두 개의 집합들을 포함한다. 이와 같은 방법으로, 첫번째 측정 주기와 함께, 주어진 행을 위한 래치된 열 어드레스의 값은 그것의 행에 대응하는 제1 레지스터에 적혀질 수 있다. 이 값은 제2 레지스터로 이동하며, 첫번째 읽기 동작(첫번째 측정 사이클로부터)과 함께 후속의 두번째 측정(및 래치)이 동시에 일어나는 것을 가능케한다. 이와 같은 방법으로, 본 발명에 따른 이미지 센서를 사용하는 시스템의 대기시간은 충분히 줄어들 수 있다.
이미지 센서 구조(1600)을 이용하는 이미지 장치를 위한 예시적인 레인징 시나리오는 조명의 수직 라인을 방출하는 정보획득 소스를 포함한다(예를들어, 라인 주사 모드). 3D 윤곽들을 가지는 물체 상에 입사하는 정보획득 빔은 더 이상 엄격히 수직이지 않은 되돌아 오는 광을 가질 것이고, 결과적인 변화는 3D 물체의 특정한 윤곽선들에 대응하여 일어난다. 이 되돌아오는 광은 그러므로 일정하지 않은 양상을 가질 것이고(예를들어, 일정하게 수직하지 않음), 도 16에서의 점선 라인인, 곡선으로 나타내어 진다. 이미지 센서 구조는 첫번째 포토다이오드가 활성화 될 때 행 래치를 설정하기 위해 동작하고(예를들어, SPAD 발화 이벤트), 이미지 센서 회로는 래치의 설정이 마스터 재설정이 수행될 때까지 다른 이웃하는 포토다이오드이 활성화되는 것을 방지하도록 구성된다. 마스터 재설정은 활성화되어 후속의 측정 기간을 위한 이미지 센서를 준비한다. 본 발명의 실시예에 따르면, 판단 논리는 이미지 센서 어레이에 의해 일부로 포함되는데, 하나의 행상의 첫번째 감지된 포토다이오드가 전체 행에 대해서, 그 측정 기간을 위한 열 어드레스를 요구하도록 한다. 이 판단 논리는 이미지 센서의 각 행 상에 복제되고, 행-by-행 설정이 이루어진다. 판단 논리가 행-by-행에 근거하여 설명되는 반면에, 이미지 센서 구조는 또한 열-by-열 논리 및 측정으로 구성될 수 있다는 것은 이해될 것이다.
그러므로, 수직한 정보획득 빔을 위하여, 이미지 센서 상에 활성화된 포토다이오드들의 윤곽선이 있고, 행당 하나, 이는 읽어질 수 있다. 이미지 센서의 판독 동안, 만약 포토다이오드들이 활성화 되지 않는 행이 있다면, 리플-스로우 논리는 그 행의 읽기는 스킵하고 그리고 읽어져야 되는 다음의 행의 판독을 야기할 것이다. 이과 같은 방법에서, 이미지 센서는 판독 시간 및 파워 요구 모두에서 더 효과적으로 될 수 있다. 리플-스로우 논리는 측정 기간이 충족되는 동안 래치 설정을 가지는 다음 행(읽기가 그 행 상에 활성화된 포토다이오드의 어드레스를 출력하기 위해 일어날 지점)까지 계속될 수 있을 것이다. 리플-스로우 논리가 셀프-타임되고, 이미지 센서 어레이에 대해 단일 입력 트리거 신호로 개시한다.
본 발명에 따른 다른 실시예에서, 전통적인 CIS 화소들과 함께 이용되는 것들과는 다른 이미지 프로세싱 및 패턴 인식 패러다임은 높은 광자 민감도에 의해 가능하게 되는는 로컬 판단 하기기(local decision making)와 결합한 이진법 화소 출력에 근거하여 이용될 수 있다. 제한되지 않은 예로써, 역바이어스를 위해 높은 전압 핀들을 이용하는 SPAD 화소들의 경우에, 불일치 보정 및 화소 판단 회로들을 위한 플로팅 게이트 프로그래밍 스킴의 구현이 되어 진다. 추가 실시예에서, 각 화소는 화소 어레이와 동일한 어드레싱 디코더 스킴을 이용하는 병행하는 메모리 어레이에 대한 불일치를 위하여 조정되고 디지털적으로 정정된다. 본 명세서에 기술된 실시예는, 예를들어, 충분히 빠른 스피드의 연결 및 다른 구성들과의 결합하여 이용될 때, 대량으로 병렬시킨 비동기화 이벤트 버스와 함께 이용될 수 있다. 본 명세서에 기술된 실시예는 또한 광자 입력 타이밍 및 구조(geometry)(예를들어, 스팟(spot), 패턴, 라인, 혹은 플레쉬)는 정보확득 광 소스와 함께 제어되고, 그리고 화소 판단 응답은 정보획득 소스 광 타입에 따라 맞추어지는 방법으로 구현될 수 있다. 실시예에서, SPAD 화소는 다른 구성들 및/또는 작동의 방법들을 이용하여 구현될 수 있는데, 예를들어, 전류 거울(current mirror)의 이용(예를들어, 부하 조건들에 관계없이 일정한 전류 구동), 래칭 스킴(latching scheme, 예를들어, 이벤트 주도의(driven) 활동들을 초기화 및 종료), 내부적으로 트리거되는 어밸랜츠 이벤트들(예를들어, 시간 측정 이벤트들을 개시), 및 기타등등을 포함한다.
본 발명의 실시예에 다르면, 반도체 장치는 하나의 기판 상(예를들어, 도 1의 화소(140b)) 또는 부분들이 다른 전압에서 동작하는 적어도 두개의 층들을 갖는 적층된 기판들 상(예를들어, 도 1의 화소(140a))에 제조될 수 있다. 본 발명의 실시예에 따르면, 단일 기판 반도체 장치의 제조는 접지-참조 포토다이오드들 일 수 있는 포토다이오드들(예를들어, 도 1의 145b), 포토다이오드들과 같은 기판을 공유하는 회로 소자들(도 1의 150b)의 형성을 포함하며, 회로 소자들은 본 명세서에 기재된 다양한 실시예들처럼 논리 및 제어(예를들어, 래치들, 디코드 및 제어, 읽기 논리, 활성화 신호들)를 제공한다.
도 17을 참조하면, 반도체 장치(1700)의 부분이 도시된다. 반도체 장치는 최소 두 개의 층을 포함하는데, 제1 층(1740) 및 제2 층(1750)이다. 제1 층(1740)은 제1 부분(1745)을 포함하고, 제2 층(1750)은 제2 부분(1755)을 포함한다. 본 발명의 실시예에 따르면, 제1 부분(1745)은 제1 전압에서 동작하고, 제2 부분(1755)은 제2 전압에서 동작한다. 실시예에 따르면, 제1 전압 및 제2 전압은 서로 다르다. 실시예에 따르면, 제1 전압은 제2 전압보다 크다. 실시예에 따르면, 제1 층(1740)은 포토다이오드(예를들어, 도 1의 145a, 액티브 포토다이오드 또는 SPAD)를 형성하는 디퓨션들(확산들, diffusions)을 포함하고, 제2 층(1750)은 논리 및 제어(예를들어, 도 1의 150a, 래치들, 디코드 및 제어, 읽기 논리, 활성화 신호들)에 대응하는 회로를 포함한다. 제한되지 않는 실시예로, 제2 층(1750) 논리 및 제어 회로는 고전압 부분(1145)에 포함되지 않는 도 11의 부분들에 도시된 회로 논리 기능성을 제공할 수 있다. 제2 층(1750)은 트랜지스터들, 저항들, 커패시터들, 및 당업계 통상의 기술자들에 의해 인식되는 다른 구성들을 포함하여, 본 명세서에 기술된 논리 및 제어 기능성을 제공한다. 제1 부분(1745)은 포토다이오드들의 배열을 포함할 수 있다.
본 발명의 일 실시예에 따라서, 적층된 웨이퍼 디자인을 가지는 이미지 센서 어레이는 제조되고, 탑 웨이퍼(예를들어, 입사 광에 노출되는 이미지 센서 어레이의 상부면에 대응하는 웨이퍼)는 SPAD 셀들(예를들어, SPAD 웨이퍼)을 형성하기 위해 도핑(doping)되고, 바텀 웨이퍼는 본 명세서내에 기술된 것과 같이 이미지 센서 실시예들의 구조 및 기능성을 제공하기 위한 논리 및 제어 회로를 갖도록 형성된다. 도 18을 참조하면, 감광성 지역들(145)과 함께 SPAD 셀들을 포함하는 웨이퍼(1840)를 포함하는 이미지 센서(115)의 일부가 도시되며, 웨이퍼(1840)는 논리 및 제어 회로 웨이퍼(1850)상에 적층된다. SPAD 웨이퍼(1840) 및 논리 및 제어 회로 웨이퍼(1850)가 분리된 것처럼 비록 도시되어 있지만, 동작상에서(즉, 레인징 시스템내에서 이행되는) SPAD 웨이퍼(1840) 및 논리 및 제어 회로 웨이퍼(1850)는 서로 부착된 두 개의 기판 들일 수 있고(점선 화살표로 가리켜지는 것처럼), 또는 본 명세서에 설명되는 것처럼, 하나의 기판일 수도 있다.
논리 및 제어 회로 웨이퍼(1850)상에 SPAD 웨이퍼(1840)가 있는 적층된 구조의 웨이퍼 지향은, 같은 웨이퍼 상에서, 제어 및 논리 회로를 포함하는 각각의 SPAD 셀들이 구현되는 것과 비교하여 줄어든 화소 피치(P, 즉, 더 가까운 SPAD 셀들)를 가능하게 한다. 예를들어, 화소 피치(P)는 3-4 미크론(microns)일 수 있다. 본 발명의 일 실시예에 따르면, 논리 및 제어 회로 웨이퍼는 저전압(LV) 웨이퍼인 반면에, SPAD 웨이퍼는 고전압(HV) 디퓨전 웨이퍼이다. LV 웨이퍼는 HV 웨이퍼보다 더 미세한 특징들을 가능하게 하고, 주어진 공간에서 웨이퍼 상에 형성될 수 있는 트랜지스터들의 숫자를 증가시킨다.
도 19를 참조하면, 본 발명의 실시예들에 따른 적층된 웨이퍼 디자인을 가지는 이미지 센서 어레이(115)의 제조을 위한 방법 단계들(1905-1915)이 도시된다. 도 19에서 도시된 이미지 센서 어레이(115)의 부분은 도 18의 A-A부분과 대응한다. 단계(1905)에서, 논리 및 제어 웨이퍼(1850)가 보여지고, 공핍 영역(depletion region), 연결들(1920), 및 스루-실리콘 비아(1930, through-silicon via)를 포함한다. 실시예에 따르면, 논리 및 제어 회로 웨이퍼는 저전압 CMOS 웨이퍼 상에 형성된다.
또한, 단계(1905)에서 SPAD 웨이퍼(1840)가 보여지고, SPAD 웨이퍼(1840)는 공핍된 p-n 접합을 포함한다. SPAD 웨이퍼(1840)는 CMOS 웨이퍼 일 수 있고, 예를들어 고전압 CMOS 웨이퍼일 수 있다. p 디퓨젼은 SPAD 셀의 감광성 영역에 대응될 수 있고, n-디퓨젼들에 의해 둘러싸일 수 있고, 이는 이웃하는 SPAD 셀에 의한 SPAD 다이오드의 활성화로부터 배리어(barrier)처럼 행동할 수 있다. 실시예에 따르면, SPAD 다이오드들은 n-웰(n-well)을 공유할 수 있다. SPAD 웨이퍼(1840)의 이웃하는 SPAD 셀들은 소자 분리 트렌치들(isolation trench, 1940)에 의해 더 분리될 수 있다. SPAD 웨이퍼(1840)는 금속 연결들(1920)을 포함한다. SPAD 웨이퍼(1840)는 실리콘-온-절연체 웨이퍼(silicon-on-insulator (SOI) wafer)처럼 생성될 수 있다. 예를들어, 절연체는 산화물 층일 수 있다. 단계(1905)에서, SPAD 웨이퍼(1840)는 서포트 웨이퍼를 더 포함할 수 있다. SPAD 웨이퍼(1840)는 논리 및 제어 회로 웨이퍼(1850)와 함께 설계되고(예를들어, 연결등의 위치들), 같은 다이(die) 사이즈를 가진다. 실시예에 따르면, 연결들(1920)은 캐소드/애노드 패드들의 어레이이다. 실시예에 따르면, 고전압 배선은 SPAD 웨이퍼(1840)에서 오직 캐소스 배선에 제한될 수 있고, 논리 및 제어 회로 웨이퍼(1850) 상에 분리 요건들을 제거한다. 이 실시예에서 어레이 연결들(1920)은 오직 저전압 애노드로 줄어든다.
단계(1910)에서 SPAD 웨이퍼(1840)는 적층 지향 구조에서 논리 및 제어회로 웨이퍼(1850)상에 페이스-to-페이스(face-to-face)로 마운트되고(예를 들어, 플립-칩 마운트), 이러한 각각의 웨이퍼들의 연결들은 적층의 중심을 향하도록 한다. 이후 웨이퍼들은 같이 본딩된다. 논리 및 제어 회로 웨이퍼(1850) 및 SPAD 웨이퍼(1840) 사이의 모든 연결은 적층의 중간에서 이루어진다(즉, 페이스(face) 인터페이스에서). 그러므로, SPAD 웨이퍼(1840) 표면을 가로질러 배열된 모든 연결 금속은 입사광으로부터 디퓨젼들을 차폐(shield)하지 않는다. SPAD 화소들은 셀 당 하나의 배션 연결을 갖고(예를 들어, 애노드), 논리 및 제어 회로 웨이퍼(1850)로 내려간다. 모든 미세한 특징들은(이미지 센서 논리를 위한) 논리 및 제어 회로 웨이퍼(1850)에 위치한다. 실시예에 따르면, 웨이퍼들의 층들 사이에 만들어진 유일한 연결은 애노드 연결이다. 예를들어, 저전압 연결들은 행 활성화 및 읽기 신호들에 대응하는데 반해, 탑(SPAD)에서 고전압 캐소드 연결은 이미지 센서 어레이의 고전압 공급에 대응하는 연결을 제공한다.
단계(1915)에서 본딩된 웨이퍼들(1840, 1850)은 적층을 얇게 하기 위해서 후면의 그라인딩을 겪는데, TSV(1930)을 충분히 노출시키기 위해 논리 및 제어 회로 웨이퍼(1850)로부터 제거되는 기판과 함께, SPAD 웨이퍼(1840)로부터 서포트 웨이퍼를 제거한다. TSV(1930)가 보여지고 있지만, 다른 연결들(예를 들어, 본딩 배선들)이, 다른 본딩 스킴들에 따라, 가능하다. 본 발명에 계시된 실시예에 따라 형성되는 이미지 센서 어레이의 화소 피치(pitch)는 대략적으로 3미크론(microns)이다. 후면의 그라인딩 후에, 마이크로렌즈 어레이(1950)는, 이미지 센서 어레이(115)에서 SPAD 화소들의 충진률을 향상시키기 위해서, SPAD 웨이퍼(1840)의 뒷면에 부착된다. SPAD 웨이퍼(1840)는 뒷면 조명을 위해 구성된다. 유리하게, 적외선 파장에 대한 감광성 소자의 감도가 입사면으로부터 더 큰 깊이에서 증가하므로, 적외선 스펙트럼에서 광의 감도는 본 명세서에서 기술된 것과 같은 방법을 지향하는 SPAD 웨이퍼(1840)와 함께 증가된다. SPAD 웨이퍼(1840)의 두께(???도면에 없음)는, 이는 에피텍셜(epitaxial) 성장 기판의 두께일 수 있고, 광학 정보획득 시스템이 동작하는 특정한 광학 정보획득 파장에 근거하여 선택될 수 있다.
도 20을 참조하면, 본 발명의 일 실시예에 따른 적층된 웨이퍼 디자인 및 감소된 화소 피치(P`)를 포함하는 이미지 센서 어레이(115b)가 도시되어 있다. 이미지 센서 어레이(115b)는 감광성 영역들(145)과 함께 SPAD 셀들을 포함하는 웨이퍼(2040)를 포함하고, 웨이퍼(2040)는 논리 및 제어 회로 웨이퍼(2050) 위에 적층된다. 이미지 센서 어레이(115b)는 감소된 피치(P`)를 갖는 화소를 포함하고, 이는 공유된 HV n-웰들 및 인터-셀 n-디퓨젼들(inter-cell n-diffusions)에 기인하다. 이것은 오직 로컬 접합들이 다이렉트 광자 입사과 함께 브레이크다운되는 사실과 함께, 일정한 HV 입력을 갖는 n-웰에 때문에 가능하다. 본 발명의 실시예에 다른 이미지 센서 어레이 구조들이 고전압 신호들의 글로벌 제어를 가능하게 하기 때문에, HV n-well들 및 인터-셀 분리(isolation) n-디퓨전들은 공유될 수 있다. 도 20의 실시예에 따른 이미지 센서는 다수의 p 디퓨젼들에 의해 공유되는 n 디퓨젼을 가진다. 이것은 보여진 이미지 센서 어레이 구성이 가능하게 하고, 예를들어, 2-3 미크론(mirons), 화소 피치(P`)를 갖고, 더욱이 레인징 장치에서 이미지 센서의 해상 능력을 증가시킨다. (위쪽과 동일한 내용 웨이퍼 번호 맞지 않음)
도 21을 참조하면, 본 발명의 일 실시예에 따른 반도체 장치의 제조방법의 흐름도(2100)가 도시된다. 반도체 장치는 이미지 센서(예를 들어, 이미지 센서(115))일 수 있다.
단계(2101)에서 제1 부분은 제1 층에 형성되고, 제1 부분은 제1 전압에서 구동한다. 제1 부분은 포토다이오드를 포함하고, 예를들어, SPAD이다.
단계(2103)에서, 제2 부분은 제2 층에 형성되고, 제2 부분은 제2 전압에서 구동한다. 제2 전압은 제1 전압과 다를 수 있다. 일 실시예에 따르면 제1 전압은 제2 전압보다 크다(예를들어, 제1 전압은 고전압 CMOS 웨이퍼에 대응, 제2 전압은 저전압 CMOS 웨이퍼에 대응). 제2 부분은 제1 부분에서 포토다이오드에 활성화 신호를 선택적으로 전송하고, 포토다이오드로부터 활성화를 수신하는 논리 및 제어 회로를 포함한다.
단계(2105)에서 논리 및 제어 회로는 포토다이오드와 전기적으로 연결된다. 실시예에 따르면, 논리 및 제어 회로 및 포토다이오드는 다마신(damascene) 연결들을 통해서 전기적으로 연결될 수 있다. 실시예에 다르면 논리 및 제어 회로 및 포토다이오드는 본딩 패드를 통하여 전기적으로 결합된다.
본 발명의 이하 컨셉들은 예시적인 실시예를 제공한다.
1. 물체까지 거리를 측정하는 시스템에서, 상기 시스템은,
제어된 각도로 정보획득 빔을 방출하고, 상기 정보획득 빔은 상기 물체를 조명하는 광자 정보획득 소스;
가이거 모드에서 동작하는 어밸랜츠 포토다이오드들의 어레이를 포함하고, 상기 이미지 센서는 상기 정보획득 소스에 영향을 미치도록 연결되고 상기 정보획득 빔에 의해 상기 물체의 조명에 의해 생성되는 반사되는 빔을 수신하며, 상기 어레이 상에 상기 반사되는 빔의 입사의 위치에 근거하여 신호를 발달시키는 이미지 센서; 및
상기 정보획득 소스 및 상기 이미지 센서에 영향을 미치도록 연결되고, 상기 정보획득 소스의 상기 제어된 각도 및 상기 신호에 근거하여 상기 물체까지의 거리를 측정하는 분석 회로를 포함하는 시스템.
2. 제1 컨셉에 있어서,
상기 이미지 센서는 상기 정보획득 소스로부터 제어된 거리에 배치되고, 상기 분석 회로는 상기 제어된 각도, 상기 제어된 거리, 및 상기 어레이 상에서 상기 반사되는 빔의 상기 위치에 의해 측정되는 입사 각도의 삼각측량에 근거하여 상기 물체까지의 상기 거리를 측정하는 시스템.
3. 제1 컨셉에 있어서,
상기 이미지 센서는 셔터이고, 시변 방식(time-varying manner)에서 상기 어레이의 복수의 부분집합들의 활성화를 포함하고, 상기 복수의 부분집합들의 부분집합을 위한 부분집합 활성화 기간은 상기 제어된 각도가 변할 때 상기 제어된 각도 및 비율의 값에 근거하는 시스템.
4. 제3 컨셉에 있어서,
상기 신호는 상기 복수의 부분집합들의 액티브 부분집합에 의해 구성되는 제1 어레이 소자에 의한 상기 반사되는 빔의 감지에 근거하여 발달하고, 더욱이 상기 액티브 부분집합에 의해 구성되는 어레이 소자들의 나머지에 의해 상기 반사되는 빔의 감지는 상기 신호에 포함되지 않는 시스템.
5. 제3 컨셉에 있어서,
상기 정보획득 소스는 펄스 기간에 상기 정보획득 빔을 방출하고, 상기 부분집합 활성화 기간은 상기 펄스 기간에 추가적으로 근거하는 시스템.
6. 제3 컨셉에 있어서,
상기 이미지 센서는 프레임 줌 이고, 상기 어레이의 영역의 비활성화를 포함하고, 상기 셔터는 상기 어레이의 상기 영역의 오직 바깥부분을 나타나게 하는 시스템.
7. 제5 컨셉에 있어서,
상기 펄스 주기는 셀프-타임 펄스 주기이고, 최대의 범위에서 상기 이미지 센서에 돌아오는 상기 정보획득 빔의 TOF(time-of-flight)에 근거하는 시스템.
8. 제5 컨셉에 있어서,
상기 시스템은 주변광 레벨을 감지하는 주변광 센서를 더 포함하고, 더욱이 상기 펄스 주기는 감지된 주변광 레벨에 근거하는 시스템.
9. 제1 컨셉에 있어서,
상기 이미지 센서는 상기 어레이의 감광성 영역들 상에 상기 밤사되는 빔에 초점을 맞추기 위해 배치되는 복수의 포커싱 소자들을 완전히 포함하는 시스템.
10. 제3 컨셉에 있어서,
상기 어레이 활성화는 프레임 줌잉(frame zooming)을 포함하고, 프레임 줌잉은 상기 어레이의 비활성화되는 영역을 포함하고, 상기 셔터링은 오직 상기 어레이의 상기 영역의 바깥쪽에 나타나는 시스템.
11. 제3 컨셉에 있어서,
상기 어레이 상기 활성화는 어레이 활성화 기간 동안이고, 상기 어레이 활성화 기간의 시작은 상기 물체까지의 사전 삼각측량의 거리 측정(prior triangulating distance measurement)에 의해 결정되는 거리에 따라서 만들어지는 TOF에 근거하는 시스템.
12. 프로세서;
상기 프로세서에 영향을 미치도록 결합되는 메모리;
제어된 각도에 정보획득 빔을 방사하고, 상기 정보획득 빔은 물체를 조명하는 광자 정보획득 소스; 및
포토다이오드들의 어레이를 포함하고, 상기 정보획득 소스 및 상기 프로세서에 영향을 미치도록 결합하고, 상기 정보획득 빔에 의한 상기 물체의 조명에 의해 생성되는 반사되는 빔을 수신하고, 상기 어레이 상에 상기 반사되는 빔의 입사의 위치에 근거하여 신호를 발달시키는 이미지 센서를 포함하고,
상기 프로세서는 상기 광자 정보획득 소스의 상기 제어된 각도 및 상기 신호에 근거하여 상기 물체까지의 거리를 측정하는 거리 측정 모바일 기기.
13. 제12 컨셉에 있어서,
상기 이미지 센서는 화소들의 어레이를 포함하고, 각 화소는 가이거 모드에서 구동하는 적어도 하나의 어밸랜츠 포토다이오드를 포함하는 거리 측정 모바일 기기.
14. 제12 컨셉에 있어서,
포토다이오드들의 어레이에 의해 구성되는 포토다이오드들의 광자 민감도는 변할 수 있는 전압 바이어스에 따라서 설정가능한 거리 측정 모바일 기기.
15. 물체까지의 거리를 측정하기 위한 센서에서, 상기 센서는,
포토다이오드들의 어레이를 포함하고, 정보획득 소스에 영향을 미치도록 결합하고, 정보획득 소스의 정보획득 빔에 의한 상기 물체의 조명에 의해 생성되는 반사되는 빔을 수신하고, 상기 어레이 상에 상기 반사되는 빔의 입사에 의해 활성화되는 포토다이오드들의 상기 어레이의 포토다이오드의 어레이 어드레스에 근거하는 신호를 발달시키는 이미지 센서;
상기 반사되는 빔을 수신하는 상기 포토다이오드에 직접적으로 반응하는 집합 신호를 생성하는 래치 회로를 포함하고, 상기 집합 신호는 상기 포토다이오드의 어레이 어드레스를 리포트하는 메모리;
상기 어레이 어드레스를 저장하는 어드레스 디코드 회로;
상기 어레스 어드레스를 읽기 위해 상기 어드레스 디코드 회로에 영향을 미치도록 결합하는 타이밍 회로; 및
상기 정보획득 소스 및 상기 이미지 센서에 영향을 미치도록 결합하고, 상기 광자 정보획득 소스의 상기 제어된 각도 및 상기 어레이 어드레스에 근거하여 상기 물체까지의 거리를 측정하는 분석 회로를 포함하는 센서.
16. 제15 컨셉에 있어서,
상기 어드레스 디코드 회로는 포토다이오드들의 상기 어레이의 열(column) 어드레스들을 저장하기 위한 메모리를 포함하고, 포토다이오드들의 상기 어레이의 포토 다이도드 각각은 대응하는 래치 회로에 영향을 미치도록 결합되는 센서.
17. 제16 컨셉에 있어서,
상기 타이밍 회로는 상기 열 어드레스들의 상태를 순차적으로 측정하고, 상기 리포트된 어레이 어드레스에 대응하는 상기 열 어드레스가 도착할 때까지 다음 열 어드레스를 위한 읽기의 타이밍의 활성화를 보류하는 센서.
18. 제16 컨셉에 있어서,
포토다이오드들의 상기 어레이의 포토다이오드 각각은 대응하는 열 어드레스를 저장하는 대응하는 어드레스 디코드 회로에 영향을 미치도록 연결되고, 포토다이오드들의 상기 어레이의 각 행은 대응하는 행 래치 회로에 영향을 미치도록 연결되는 센서.
19. 제18 컨셉에 있어서,
상기 집합 신호는 상기 반사되는 빔을 수신하는 상기 포토다이오드처럼 같은 행 상에서 포토다이오드들의 상기 어레이의 다른 포토다이오드들을 비활성화는 센서.
20. 제18 컨셉에 있어서,
상기 타이밍 회로는 상기 대응하는 행 래치 회로들의 상태를 순차적으로 측정하고, 상기 리포트된 어레이 어드레스에 대응하는 상기 행 래치 회로가 도달할 때까지 다음 행 래치 회로를 위한 읽기 타이밍의 활성화를 보류하는 센서.
21. 제15 컨셉에 있어서,
포토다이오드들의 상기 어레이는 가이거 모드에서 동작하는 어밸랜츠 포토다이오드들을 포함하는 센서.
22. 제15 컨셉에 있어서,
포토다이오드들의 상기 어레이는 액티브 포토다이오드들을 포함하고, 포토다이오드들의 상기 어레이의 포토다이오드는 상기 포토다이오드의 전압이 입사 광자들에 근거하여 문턱 레벨(threshold level)에 도달했을 때 활성화 되는 센서.
23. 제15 컨셉에 있어서,
이미지 센서는 상기 정보획득 소스로부터 제어된 거리에 배치되고, 상기 분석 회로는 상기 제어된 각도, 상기 제어된 거리, 및 상기 포토다이오드의 어레이 어드레스에 의해 측정되는 입사 각도의 삼각측량에 근거하여 상기 물체까지의 거리를 측정하는 이미지 센서.
24. 제15 컨셉에 있어서,
제어 타이밍 회로는 제어된 활성화 기간에 포토다이오드들의 상기 어레이의 포토다이오드들을 활성화하고, 최대의 범위에서 상기 이미지 센서로 돌아오는 상기 정보획득 빔의 TOF(time-of-flight) 및 되돌아오는 각도에 근거하는 센서.
25. 제22 컨셉에 있어서,
상기 센서는 주변광 레벨을 측정하는 주변광 센서를 더 포함하고, 상기 제어된 활성화 기간은 감지된 주변광 레벨에 근거하는 센서.
26. 물체까지의 거리를 측정하는 방법에 있어서, 상기 방법은,
광자 정보획득 빔으로 상기 물체를 정보획득하는 단계;
상기 광자 정보획득 빔의 활성화로 포토다이오드들의 어레이를 실질적으로 동시에 활성화하는 단계;
상기 어레이에서, 상기 정보획득되는 상기 물체로부터 반사되는 빔을 수신하는 단계;
상기 어레이 상에서 상기 반사되는 빔의 입사에 의해 활성화되는 포토다이오드들의 상기 어레이의 상기 포토다이오드의 어레이 어드레스에 대응하는 신호를 생성하는 단계; 및
상기 신호에 근거하여 상기 물체까지의 거리를 결정하는 단계를 포함하는 방법.
27. 제26 컨셉에 있어서,
상기 신호를 생성하는 단계는 상기 반사되는 빔을 수신하는 상기 포토다이오드에 직접 반응하는 집합 신호를 수신하는 상기 포토다이오드에 영향을 미치도록 결합하는 래치 회로를 포함하는 방법.
28. 제27 컨셉에 있어서,
상기 반사되는 빔을 수신하는 상기 포토다이오드와 같이 같은 행 상에서 포토다이오드들의 상기 어레이의 다른 포토다이오드들을 비활성시키는 단계를 더 포함하는 방법.
29. 제28 컨셉에 있어서,
상기 어레이는 가이거 모드에서 동작하는 어밸랜츠 포토다이오드들을 포함하는 방법.
30. 제26 컨셉에 있어서,
상기 어레이는 액티브 포토다이오드들을 포함하고, 포토다이오드들의 상기 어레이의 포토다이오드는 상기 포토다이오드의 전압이 입사 광자들에 근거하여 문턱 레벨에 도달 했을 때 활성화 되는 방법.
31. 제26 컨셉에 있어서,
상기 정보획득하는 단계가 상기 광자 정보획득 빔의 제어된 각도에서 수행되고, 상기 정보획득 소스는 상기 정보획득 빔을 방출하고, 상기 어레이, 서로로부터 제어된 거리에 배치되는 방법.
32. 제28 컨셉에 있어서,
상기 거리를 결정하는 단계는 상기 제어된 각도, 상기 제어된 거리, 및 상기 포토다이오드의 상기 어레이 어드레스에 의해 측정되는 입사 각도의 삼각측량에 근거하는 방법.
33. 포토다이오드;
상기 포토다이오드에 전기적으로 결합하고, 적어도 하나의 액티브 및 패시브 소자를 포함하는 부하; 및
상기 포토다이오드에 전기적으로 결합하고, 래치 회로를 포함하는 복수의 트랜지스터들을 포함하고,
상기 포토다이오드의 제어는 그라운드에 참조되고 선택적으로 상기 포토다이오드를 활성화하며, 상기 포토다이오드는 포토다이오드에 입사하는 광자들에 근거하여 전류를 발달시키고, 상기 부하는 상기 전류를 전압 펄스로 바꾸고, 상기 전압 펄스는 상기 래치 회로의 논리 레벨을 세트(set)하는 입력으로서 기능하는 화소 회로.
34. 제33 컨셉에 있어서,
상기 화소 회로는 상기 포토다이오드 및 상기 제어에 전기적으로 연결된 전압 클램프(clamp) 회로를 더포함하고, 상기 전압 클램프는 상기 래치 회로에 대한 상기 전압 펄스 입력의 전압 레벨을 제한하는 화소 회로.
35. 제33 컨셉에 있어서,
상기 포토다이오드는 가이거 모드에서 동작하는 어밸랜츠 포토다이오드이고, 상기 전류는 상기 광자들에 의해 트리거되는 어밸랜츠 전류인 화소 회로.
36. 제33 컨셉에 있어서,
상기 포토다이오드는 액티브 포토다이오드이고, 상기 전류는 상기 포토다이오드의 전압이 상기 포토다이오드에 입사되는 광자들에 근거하는 문턱 레벨에 도달할 때 발달하는 화소 회로.
37. 제1 전압에서 동작하는 제1 부분을 포함하고, 상기 제1 부분은 단일 광자 어밸랜츠 포토다이오드(SPAD)를 포함하는 제1 층; 및
제2 전압에서 동작하는 제2 부분을 포함하고, 상기 제2 부분은 상기 SPAD에 전기적으로 결합하고 상기 SPAD에 활성화 신호를 선택적으로 공급하며 상기 SPAD로부터 활성화 신호를 수신하는 제2 층을 포함하고,
상기 제1 전압과 상기 제2 전압은 다른 반도체 장치.
38. 제37 컨셉에 있어서,
제1 기판은 상기 제1 층을 포함하고, 제2 기판은 상기 제2 층을 포함하는 반도체 장치.
39. 제38 컨셉에 있어서,
상기 제1 기판 및 상기 제2 기판은 적층 구조로 배열되는 반도체 장치.
40. 제38 컨셉에 있어서,
상기 제2 기판은 상기 제1 기판 및 상기 제2 기판에 전기적 커뮤니케이션을 제공하는 TSV(through-silicon-via)를 포함하는 반도체 장치.
41. 제37 컨셉에 있어서,
상기 제1 전압은 상기 제2 전압보다 큰 반도체 장치.
42. 제37 컨셉에 있어서,
SPAD들의 어레이는 상기 SPAD를 포함하는 반도체 장치.
43. 제42 컨셉에 있어서,
상기 논리 및 제어 회로는 SPAD들의 상기 어레이의 어레이 어드레스를 저장하는 어드레스 디코드 회로를 포함하고, 타이밍 회로는 상기 어레이 어드레스를 읽기 위해서 상기 어드레스 디코스 회로에 영향을 미치도록 결합하는 반도체 장치.
44. 제43 컨셉에 있어서,
상기 논리 및 제어 회로는 래치 회로를 포함하고, 상기 래치 회로는 수신된 광에 반응하는 상기 SPAD의 활성화에 직접 반응하여 집합 신호를 생성하고, 상기 집합 신호는 상기 SPAD의 어레이 어드레스를 리포트하는 반도체 장치.
45. 제42 컨셉에 있어서,
SPAD들의 상기 어레이의 인접한 SPAD들 사이에 중심부터 중심까지의 거리는 3 내지 5 microns 사이인 반도체 장치.
46. 제42 컨셉에 있어서,
SPAD들의 상기 어레이의 인접한 SPAD들 사이에 중심부터 중심까지의 거리는 대략 2 microns 인 반도체 장치.
47. 제42 컨셉에 있어서,
상기 제1 층상에 배치되는 마이크로렌즈 어레이를 더 포함하고, 상기 마이크로렌즈 어레이는 SPAD들의 상기 어레이 상에 입사되는 광에 초점을 맞추기 위해 배치되는 반도체 장치.
48. 반도체 장치를 형성하는 방법에 있어서, 상기 방법은,
제1 전압에서 동작하는 제1 층에 제1 부분을 형성하고, 상기 제1 부분은 단일 광자 어밸랜츠 포토다이오드(SPAD)를 포함하는 단계;
상기 제1 전압과는 다른 제2 전압에서 동작하는 제2 층에 제2 부분을 형성하고, 상기 제2 부분은 상기 SPAD에 활성화 신호를 선택적으로 송신하고 상기 SPAD로부터 활성화 신호를 수신하는 논리 및 제어 회로를 포함하는 단계; 및
상기 SPAD에 상기 논리 및 제어 회로를 전기적으로 결합하는 단계를 포함하는 방법.
49. 제48 컨셉에 있어서,
제1 기판은 제1 층을 포함하고, 제2 기판은 제2 층을 포함하는 방법.
50. 제49 컨셉에 있어서,
상기 제1 기판 및 상기 제2 기판을 적층 구조로 배열하는 단계를 더 포함하는 방법.
51. 제49 컨셉에 있어서,
제2 기판내에 상기 제1 기판 및 상기 제2 기판에 전기적 커뮤니케이션을 제공하는 TSV(through-silicon-via)를 형성하는 단계를 더 포함하는 방법.
52. 제48 컨셉에 있어서,
상기 제1 전압은 상기 제2 전압보다 큰 방법.
53. 제48 컨셉에 있어서,
SPAD들의 배열은 상기 SPAD를 포함하는 방법.
54. 제53 컨셉에 있어서,
상기 논리 및 제어 회로는 SPAD들의 상기 어레이의 어레이 어드레스를 저장하는 어드레스 디코드 회로를 포함하고, 타이밍 회로는 상기 어레이 어드레스를 일기 위해서 상기 어드레스 디코드 회로에 영향을 미치도록 결합하는 방법.
55. 제54 컨셉에 있어서,
상기 논리 및 제어 회로는 래치 회로를 포함하고, 상기 래치 회로는 수신된 광에 응답하는 SPAD의 활성화에 직접 응답하여 집합 신호를 생성하고, 상기 집합 신호는 상기 SPAD의 어레이 어드레스를 리포트하는 방법.
56. 제53 컨셉에 있어서,
SPAD들의 상기 어레이의 인접한 SPAD들 사이에 중심부터 중심까지의 거리는 3 내지 5 microns 사이인 방법.
57. 제53 컨셉에 있어서,
SPAD들의 상기 어레이의 인접한 SPAD들 사이에 중심부터 중심까지의 거리는 대략 2 microns 인 방법.
58. 제53 컨셉에 있어서,
상기 제1 층상에 마이크로렌즈 어레이를 배치하고, 상기 마이크로렌즈 어레이는 SPAD들의 상기 어레이 상에 입사되는 광에 초점을 맞추기 위해 배치되는 단계를 더 포함하는 방법.
주제는 구조적 특징 및/또는 방법 실행에 특정한 언어로 설명되었지만, 첨부된 개념에서 정의된 주제가 반드시 상술한 특정한 특징 또는 작용으로 제한되는 것은 아니다. 오히려, 상술한 특정한 특징 및 작용은 특허 청구 범위를 구현하는 예시적인 형태로서 개시된다.
110: 정보획득 소스 115:이미지 센서
125: 정보획득 빔 140: 어레이

Claims (20)

  1. 광학 이벤트를 감지하는 방법에 있어서, 상기 방법은,
    광학 정보획득 빔으로 물체를 정보획득 하는 단계;
    상기 광자 정보획득 빔의 활성화와 실질적으로 동시에 화소들의 에레이를 활성화하고, 상기 화소들은 어밸랜츠 포토다이오드들을 포함하고, 어밸랜츠 포토다이오드들의 전압 바이어스 레벨은 가이거 모드 및 어밸랜츠 모드 중 하나에서의 화소 구동과 대응하는 단계;
    상기 어레이에서, 상기 정보획득하는 상기 물체로부터 반사되는 빔을 수신하는 단계;
    상기 어레이 상에 상기 반사되는 빔의 입사의 위치에 대응하는 신호를 생성하고, 상기 신호는 적어도 하나의 화소 어레이 어드레스 및 상기 광자 정보획득 빔 및 상기 반사되는 빔의 TOF(time-of-flight)에 대응하는 단계; 및
    상기 신호에 근거하여 물체까지의 거리를 측정하는 단계를 포함하는 방법.
  2. 제1 항에 있어서,
    상기 정보획득 하는 단계는 상기 광자 정보획득 빔의 제어된 각도에서 수행되고, 정보획득 소스는 상기 정보획득 빔을 방출하고, 상기 어레이, 서로로부터 제어된 거리에 배치되어 있고, 상기 거리를 결정하는 단계는 상기 제어된 앵글, 상기 제어된 거리, 및 상기 반사되는 빔의 상기 화소 어레이 어드레스에 의해 결정되는 입사 각도를 삼각측량 하는 것에 근거하는 방법.
  3. 제2 항에 있어서,
    상기 어레이를 활성화 하는 것은 셔터링(shuttering)을 포함하고, 상기 셔터링은 시변 모드에서 상기 어레이의 활성화하는 복수의 부분집합들을 포함하고, 복수의 부분집합들의 각 부분집합을 위한 부분집합 활성화 기간은 상기 제어된 각도가 변하는 곳에서 상기 제어된 각도 및 비율의 값에 근거하는 방법.
  4. 제3 항에 있어서,
    상기 신호를 생성하는 것은 상기 복수의 부분집합들의 액티브 부분집합에 의해 구성되는 화소에 의해 상기 반사되는 빔을 수신하는 것에 근거하고, 상기 액티브 부분집합에 의해구성되는 상기 화소들의 나머지에 의해 상기 반사되는 빔의 어떤 감지는 상기 신호에 포함되지 않는 방법.
  5. 제1 항에 있어서,
    상기 신호를 생성하는 것은 상기 화소가 상기 반사되는 빔을 수신하는 것에 직접 응답하여 상기 어레이의 화소의 래치 회로에 의한 집합 신호를 생성하는 것을 포함하고, 상기 집합 신호는 적어도 하나의 상기 화소의 행 어드레스 및 열 어드레스를 적어도 하나의 열 디코더 회로 및 행 디코더 회로에 전달하는 방법.
  6. 제5 항에 있어서,
    상기 집합 신호는 접지-참조 포토다이오드 전류에 의해 발전되는 포지티브 전압 펄스인 방법.
  7. 제1 항에 있어서,
    상기 신호를 생성하는 것은 상기 화소가 상기 반사되는 빔을 수신하는 것에 응답하여 상기 어레이의 화소에서 열 디코드 신호를 생성하는 것을 포함하고, 상기 열 디코드 신호는 상기 화소의 상기 열 어드레스를 행 래치 회로에 전달하는 방법.
  8. 제1 항에 있어서,
    상기 어레이의 화소들은 적어도 하나의 전하 스토리지 소자를 포함하고, 상기 광자 정보획득 빔을 활성화하고 어밸랜츠 포토다이오드들의 상기 어레이는 상기 정보획득 빔으로부터의 방출 및 상기 물체로부터의 반사되는 빔의 수신 사이의 시간 기간 동안 상기 적어도 하나의 전하 스토리지 소자의 전하 레벨이 변하는 것을 시작 및 끝낼 수 있고, 상기 전하 레벨은 TOF에 대응하는 방법.
  9. 광학 이벤트를 감지하기 위한 광학 이벤트 센서에 있어서, 상기 광학 이벤트 센서는,
    광자 정보획득 소스의 활성화와 실질적으로 동시에 활성화되기 위해 사용할 수 있고, 상기 화소들은 어밸랜츠 포토다이오드들을 포함하고며, 어밸랜츠 포토다이오드들의 전압 바이어스 레벨은 가이거 모드 및 어밸랜츠 모드 중 하나에서의 화소 구동에 대응하는 화소들의 어레이를 포함하고,
    화소들의 상기 어레이는 상기 물체로부터 반사되는 빔을 수신하기 위해 사용될 수 있고, 상기 어레이에서, 상기 어레이 상에 상기 반사되는 빔의 입사의 위치에 대응하는 신호를 생성하고, 상기 신호는 적어도 하나의 화소 어레이 어드레스 및 상기 정보획득 빔 및 상기 반사되는 빔의 TOF(time-of-flight)에 대응하고, 화소들의 상기 어레이는 상기 신호에 근거하여 상기 물체까지의 거리를 측정하는데 사용될 수 있는 광학 이벤트 센서.
  10. 제9 항에 있어서,
    상기 물체는 상기 광자 정보획득 소스의 제어된 각도에서 정보획득 되고, 상기 광자 정보획득 소스 및 화소들의 상기 어레이는 서로로부터 제어된 거리에 배치되고, 상기 거리는 상기 제어된 각도, 상기 제어된 거리, 및 상기 반사되는 빔의 상기 화소 어레이 어드레스에 의해 측정되는 입사 각도를 삼각측량 하는 것에 근거하여 결정되는 광학 이벤트 센서.
  11. 제10 항에 있어서,
    상기 어레이는 셔터로 작동될 수 있고, 시변 방법에서 상기 어레이의 복수의 부분집합을 활성화 하는 포함하고, 상기 복수의 부분집합들의 각 부분집합을 위한 부분집합 활성화 기간은 상기 제어된 각도가 변하는 곳에서 제어된 각도 및 비율의 값에 근거하는 광학 이벤트 센서.
  12. 제11 항에 있어서,
    상기 신호는 상기 복수의 부분집합의 액티브 부분집합에 의해 구성되는 제1 화소에 의해 상기 반사되는 빔의 감지에 근거하여 생성되고, 상기 액티브 화소에 의해 구성되는 화소들의 나머지에 의한 상기 반사되는 빔의 어떤 감지도 상기 신호에 포함되지 않는 광학 이벤트 센서.
  13. 제9 항에 있어서,
    상기 신호는 상기 어레이의 화소의 래치 회로에 의한 집합 신호를 포함하고, 상기 집합 신호는 상기 화소가 상기 반사되는 빔을 수신하는 것에 직접 응답하고, 상기 집합 신호는 적어도 하나의 상기 화소의 행 어드레스 및 열 어드레스를 적어도 하나의 열 디코더 회로 및 행 디코더 회로에 전달하는 광학 이벤트 센서.
  14. 제13 항에 있어서,
    상기 집합 신호는 접지-참조 포토다이오드 전류에 의해 발달되는 포지티브 전압 펄스인 광학 이벤트 센서.
  15. 제9 항에 있어서,
    상기 신호는 상기 어레이의 화소에서 열 디코드 신호를 포함하고, 상기 열 디코드 신호는 상기 화소가 상기 반사되는 빔을 수신하는 것에 응답하고, 상기 열 디코드 신호는 행 래치 회로에 상기 화소의 상기 열 어드레스를 전달하는 광학 이벤트 센서.
  16. 제15 항에 있어서,
    화소들의 상기 배열은 제1 전압에서 동작하는 제1 기판 및 제2 전압에서 동작하는 제2 기판을 포함하고, 상기 제1 전압은 상기 제2 전압보다 높고, 상기 포토다이오드는 상기 제1 기판에 의해 구성되고 화소들의 상기 어레이의 논리 및 제어 회로는 상기 제2 기판에 의해 구성되는 광학 이벤트 센서.
  17. 제9 항에 있어서,
    상기 어레이의 화소들은 적어도 하나의 전하 스토리지 소자를 포함하고, 상기 광자 정보획득 빔의 활성화 및 어밸랜츠 포토다이오드들의 상기 어레이는 상기 정보획득 빔으로부터의 방출 및 상기 물체로부터의 반사되는 빔의 수신 사이의 시간 기간 동안 상기 적어도 하나의 전하 스토리지 소자의 전하 레벨이 변하는 것을 시작 및 끝내는데 작동할 수 있고, 상기 전하 레벨은 TOF에 대응하는 광학 이벤트 센서.
  18. 프로세서;
    상기 프로세서에 영향을 미치도록 연결되는 메모리;
    물체를 조명하기 위한 정보획득 빔을 방출하는 광자 정보획득 소스; 및
    화소들의 어레이를 포함하고 전하 스토리지 소자들에 대응하며, 상기 정보획득 소스 및 상기 프로세서에 영향을 미치도록 연결되고, 상기 정보획득 빔에 의해 상기 물체의 감에 의해 생성되는 반사되는 빔을 수신하고, 상기 어레이 상에 상기 반사되는 빔에 근거하는 신호를 발달시키는 이미지 센서를 포함하고,
    상기 정보획득 소스 및 상기 이미지 센서의 활성화는 상기 정보획득 빔으로부터의 방출 및 상기 물체로부터의 반사되는 빔의 수신 사이의 시간 기간 동안에 상기 전하 스토리지 소자들의 전하 레벨 변하는 것을 시작 및 끝내고, 상기 전하 레벨은 상기 신호로 구성되고,
    상기 프로세서는 상기 신호를 수신하는데 이용될 수 있고, 상기 신호에 근거하여 상기 물체의 거리정보를 출력하는데 이용될 수 있는 거리 측정 모바일 장치.
  19. 제18 항에 있어서,
    화소들의 상기 어레이는 가이거 모드에서 동작하는 어밸랜츠 포토다이오드들의 어레이를 포함하는 거리 측정 모바일 장치.
  20. 제19 항에 있어서,
    상기 전하 스토리지 소자들은 커패시터를 포함하고, 상기 커패시터는 상기 반사되는 빔의 수신에 응답하여 대응하는 화소의 포토다이오드에 의해 생성되는 신호를 수신하여 충전하는 것을 끝내는 거리 측정 모바일 장치.
KR1020167027821A 2014-04-07 2015-04-07 고해상도, 고프레임률, 저전력 이미지 센서 KR102409952B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201461976435P 2014-04-07 2014-04-07
US61/976,435 2014-04-07
US201462072327P 2014-10-29 2014-10-29
US201462072320P 2014-10-29 2014-10-29
US62/072,320 2014-10-29
US62/072,327 2014-10-29
PCT/US2015/024789 WO2015157341A1 (en) 2014-04-07 2015-04-07 High resolution, high frame rate, low power image sensor

Publications (2)

Publication Number Publication Date
KR20160142839A true KR20160142839A (ko) 2016-12-13
KR102409952B1 KR102409952B1 (ko) 2022-06-17

Family

ID=54209502

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167027821A KR102409952B1 (ko) 2014-04-07 2015-04-07 고해상도, 고프레임률, 저전력 이미지 센서

Country Status (6)

Country Link
US (3) US9952323B2 (ko)
JP (1) JP6483725B2 (ko)
KR (1) KR102409952B1 (ko)
CN (1) CN106165399B (ko)
DE (1) DE112015001704T5 (ko)
WO (1) WO2015157341A1 (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180088572A (ko) * 2017-01-27 2018-08-06 삼성전자주식회사 거리 측정 장치 및 방법
WO2019032370A1 (en) * 2017-08-07 2019-02-14 Waymo Llc NON-IMAGING SPAD ARCHITECTURE AGGREGATION FOR COMPLETELY DIGITAL MONOLITHIC FRAME RECEIVERS
EP3460517A1 (en) 2017-09-20 2019-03-27 Industry-Academic Cooperation Foundation, Yonsei University Lidar sensor for vehicles and method of operating the same
KR20190067079A (ko) * 2017-12-06 2019-06-14 삼성전자주식회사 거리 측정을 위해 픽셀에서 spad + ppd 또는 커패시터를 사용하는 시간 분해형 센서
WO2020075932A1 (ko) * 2018-10-10 2020-04-16 엘지전자 주식회사 3차원 영상 생성 장치 및 방법
KR20200125998A (ko) * 2018-04-10 2020-11-05 이베오 오토모티브 시스템즈 게엠베하 Lidar 측정 시스템의 센서 요소들을 제어하는 방법
US11614519B2 (en) 2017-12-15 2023-03-28 Ibeo Automotive Systems GmbH Arrangements of light-receiving elements with different sensitivities and methods for receiving light signals
US11644539B2 (en) 2017-12-15 2023-05-09 Microvision, Inc. Arrangement and method for using light signals and groups of light-receiving elements with different sensitivities to determine a distance of an object
US11774556B2 (en) 2017-09-25 2023-10-03 Waymo Llc Combination photodetector arrays for extended dynamic range
WO2023214864A1 (en) * 2022-05-06 2023-11-09 Lg Innotek Co., Ltd. Lidar range enhancement using pulse coding
US11965970B2 (en) 2018-08-31 2024-04-23 Sony Semiconductor Solutions Corporation Light receiving element and ranging system

Families Citing this family (216)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2208354A4 (en) 2007-10-10 2010-12-22 Gerard Dirk Smits IMAGE PROJECTOR WITH REFLECTIVE LIGHT TRACKING
US9741754B2 (en) 2013-03-06 2017-08-22 Apple Inc. Charge transfer circuit with storage nodes in image sensors
JP2015000288A (ja) * 2013-06-18 2015-01-05 キヤノン株式会社 被検体情報取得装置およびその制御方法ならびに音響信号取得装置およびその制御方法
JP6221582B2 (ja) * 2013-09-30 2017-11-01 セイコーエプソン株式会社 超音波デバイスおよびプローブ並びに電子機器および超音波画像装置
FR3020699A1 (fr) * 2014-04-30 2015-11-06 Centre Nat Rech Scient Procede de suivi de forme dans une scene observee par un capteur asynchrone de lumiere
US9686485B2 (en) 2014-05-30 2017-06-20 Apple Inc. Pixel binning in an image sensor
US9377533B2 (en) 2014-08-11 2016-06-28 Gerard Dirk Smits Three-dimensional triangulation and time-of-flight based tracking systems and methods
AU2015301488B2 (en) 2014-08-15 2019-08-08 Aeye, Inc. Methods and systems for ladar transmission
US9568603B2 (en) * 2014-11-14 2017-02-14 Microsoft Technology Licensing, Llc Eyewear-mountable eye tracking device
US9791568B2 (en) * 2014-12-31 2017-10-17 Stmicroelectronics, Inc. Device for determining the distance to an outer surface of a roll of material and related method
US11972586B2 (en) 2015-02-13 2024-04-30 Carnegie Mellon University Agile depth sensing using triangulation light curtains
US11747135B2 (en) 2015-02-13 2023-09-05 Carnegie Mellon University Energy optimized imaging system with synchronized dynamic control of directable beam light source and reconfigurably masked photo-sensor
US11425357B2 (en) * 2015-02-13 2022-08-23 Carnegie Mellon University Method for epipolar time of flight imaging
US11493634B2 (en) 2015-02-13 2022-11-08 Carnegie Mellon University Programmable light curtains
US9661308B1 (en) * 2015-04-20 2017-05-23 Samsung Electronics Co., Ltd. Increasing tolerance of sensor-scanner misalignment of the 3D camera with epipolar line laser point scanning
KR102311688B1 (ko) 2015-06-17 2021-10-12 엘지전자 주식회사 이동단말기 및 그 제어방법
US10620300B2 (en) 2015-08-20 2020-04-14 Apple Inc. SPAD array with gated histogram construction
US9880267B2 (en) * 2015-09-04 2018-01-30 Microvision, Inc. Hybrid data acquisition in scanned beam display
KR102381862B1 (ko) * 2015-12-10 2022-04-01 삼성전자주식회사 데이터 통신 장치
WO2017106875A1 (en) 2015-12-18 2017-06-22 Gerard Dirk Smits Real time position sensing of objects
EP3182162B1 (en) * 2015-12-18 2022-02-16 STMicroelectronics (Grenoble 2) SAS Multi-zone ranging and intensity mapping using spad based tof system
US9946259B2 (en) 2015-12-18 2018-04-17 Raytheon Company Negative obstacle detector
EP3391085B1 (en) * 2015-12-18 2023-04-19 Gerard Dirk Smits Real time position sensing of objects
US10324171B2 (en) 2015-12-20 2019-06-18 Apple Inc. Light detection and ranging sensor
CN111239708B (zh) * 2015-12-20 2024-01-09 苹果公司 光检测和测距传感器
US9997551B2 (en) * 2015-12-20 2018-06-12 Apple Inc. Spad array with pixel-level bias control
US10605920B2 (en) 2016-01-13 2020-03-31 Ams Sensors Singapore Pte. Ltd. Power savings through refresh control for distance sensing devices
US9813673B2 (en) 2016-01-20 2017-11-07 Gerard Dirk Smits Holographic video capture and telepresence system
US10602070B2 (en) * 2016-01-27 2020-03-24 Raytheon Company Variable magnification active imaging system
US10382701B2 (en) 2016-01-27 2019-08-13 Raytheon Company Active imaging systems and method
US11207013B2 (en) * 2016-02-01 2021-12-28 The Cleveland Clinic Foundation Systems and methods for estimating a volume of a hollow organ
WO2017143217A1 (en) 2016-02-18 2017-08-24 Aeye, Inc. Adaptive ladar receiver
US10782393B2 (en) 2016-02-18 2020-09-22 Aeye, Inc. Ladar receiver range measurement using distinct optical path for reference light
US9933513B2 (en) 2016-02-18 2018-04-03 Aeye, Inc. Method and apparatus for an adaptive ladar receiver
US10042159B2 (en) 2016-02-18 2018-08-07 Aeye, Inc. Ladar transmitter with optical field splitter/inverter
US20170242104A1 (en) 2016-02-18 2017-08-24 Aeye, Inc. Ladar Transmitter with Induced Phase Drift for Improved Gaze on Scan Area Portions
US11924573B2 (en) * 2016-03-15 2024-03-05 Trustees Of Dartmouth College Stacked backside-illuminated quanta image sensor with cluster-parallel readout
US11300666B2 (en) 2016-04-13 2022-04-12 Oulun Yliopisto Distance measuring device and transmitter, receiver and method thereof
US9985071B2 (en) * 2016-04-15 2018-05-29 Qualcomm Incorporated Active area selection for LIDAR receivers
US10267915B2 (en) * 2016-06-07 2019-04-23 Raytheon Company Optical system for object detection and location
GB2551188B (en) * 2016-06-10 2020-06-03 Advanced Risc Mach Ltd Storing and Reading Arrays of Data in Data Processing Systems Comprising a Plurality of Memory Banks
US20180341009A1 (en) * 2016-06-23 2018-11-29 Apple Inc. Multi-range time of flight sensing
US10540750B2 (en) * 2016-07-07 2020-01-21 Stmicroelectronics Sa Electronic device with an upscaling processor and associated method
DE102016113131A1 (de) * 2016-07-15 2018-01-18 Sick Ag Optoelektronischer Sensor und Verfahren zur Erfassung eines Objekts in einem Überwachungsbereich
GB201612392D0 (en) * 2016-07-18 2016-08-31 Is-Instruments Ltd Raman Spectroscopy
US10438987B2 (en) 2016-09-23 2019-10-08 Apple Inc. Stacked backside illuminated SPAD array
EP3301476B1 (en) * 2016-09-28 2023-03-15 STMicroelectronics (Research & Development) Limited Apparatus having a camera and a time of flight single photon avalanche diode based range detecting module for controlling the camera and corresponding method
WO2018074530A1 (en) * 2016-10-18 2018-04-26 Sony Semiconductor Solutions Corporation Photodetector
DE102016220492A1 (de) * 2016-10-19 2018-04-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Ladungslawinen-Photodetektor-System
DE102016221049A1 (de) * 2016-10-26 2018-04-26 Robert Bosch Gmbh Vorrichtung und Verfahren zum Empfangen eines reflektierten Lichtpulses in einem Lidar-System
US10321037B2 (en) * 2016-10-27 2019-06-11 Raytheon Company Active pushbroom scanning system and method
US10067230B2 (en) 2016-10-31 2018-09-04 Gerard Dirk Smits Fast scanning LIDAR with dynamic voxel probing
US10598787B2 (en) * 2016-11-04 2020-03-24 Stmicroelectronics (Research & Development) Limited Method and apparatus for measuring time of flight
CN106448553B (zh) * 2016-11-29 2018-10-23 京东方科技集团股份有限公司 显示基板、显示装置及显示控制方法
CN106448552B (zh) * 2016-11-29 2018-11-23 京东方科技集团股份有限公司 显示基板、显示装置及显示控制方法
WO2018101187A1 (ja) * 2016-11-29 2018-06-07 パナソニックＩｐマネジメント株式会社 距離測定装置
DE102016223892A1 (de) * 2016-12-01 2018-06-07 Zf Friedrichshafen Ag LiDAR mit preselektiertem Erfassungsbereich
US10557965B2 (en) 2016-12-02 2020-02-11 Stmicroelectronics (Grenoble 2) Sas Device, system, and method for detecting human presence
EP3339887B1 (de) * 2016-12-22 2019-04-03 Sick AG Lichtempfänger mit einer vielzahl von lawinenphotodioden und verfahren zum erfassen von licht
US10261183B2 (en) 2016-12-27 2019-04-16 Gerard Dirk Smits Systems and methods for machine perception
US10366674B1 (en) 2016-12-27 2019-07-30 Facebook Technologies, Llc Display calibration in electronic displays
IT201700000532A1 (it) * 2017-01-03 2018-07-03 St Microelectronics Srl Procedimento per rilevare oggetti, sistema ed apparecchiatura corrispondenti
US20190369216A1 (en) 2017-01-24 2019-12-05 Analog Devices, Inc. Providing dynamic field of view for light received from a dynamic position
CN110235024B (zh) * 2017-01-25 2022-10-28 苹果公司 具有调制灵敏度的spad检测器
US10656251B1 (en) 2017-01-25 2020-05-19 Apple Inc. Signal acquisition in a SPAD detector
US10962628B1 (en) 2017-01-26 2021-03-30 Apple Inc. Spatial temporal weighting in a SPAD detector
US10185028B2 (en) 2017-02-17 2019-01-22 Aeye, Inc. Method and system for ladar pulse deconfliction using delay code selection
US10516841B2 (en) * 2017-03-08 2019-12-24 Samsung Electronics Co., Ltd. Pixel, pixel driving circuit, and vision sensor including the same
GB201704203D0 (en) * 2017-03-16 2017-05-03 Pixquanta Ltd An electromagnetic radiation detection device
GB201704452D0 (en) 2017-03-21 2017-05-03 Photonic Vision Ltd Time of flight sensor
DE102017206026A1 (de) * 2017-04-07 2018-10-11 Robert Bosch Gmbh LIDAR-Vorrichtung und Verfahren zum Abtasten eines Abtastwinkels und zum Auswerten eines Detektors
US10873740B2 (en) * 2017-04-28 2020-12-22 Sharp Kabushiki Kaisha Three-dimensional image sensor, optical radar apparatus, and processing apparatus
WO2018209096A2 (en) 2017-05-10 2018-11-15 Gerard Dirk Smits Scan mirror systems and methods
FR3068174A1 (fr) * 2017-06-21 2018-12-28 Stmicroelectronics (Crolles 2) Sas Procede de fabrication d'une cellule spad
KR102324224B1 (ko) 2017-06-28 2021-11-10 삼성전자주식회사 이미지 센서 및 그것에 포함되는 전자 회로
US10830879B2 (en) 2017-06-29 2020-11-10 Apple Inc. Time-of-flight depth mapping with parallax compensation
EP3428683B1 (en) * 2017-07-11 2019-08-28 Sick Ag Optoelectronic sensor and method for measuring a distance
US20190018119A1 (en) * 2017-07-13 2019-01-17 Apple Inc. Early-late pulse counting for light emitting depth sensors
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
EP3438699A1 (de) * 2017-07-31 2019-02-06 Hexagon Technology Center GmbH Distanzmesser mit spad-anordnung zur berücksichtigung von mehrfachzielen
CN109997227A (zh) * 2017-08-31 2019-07-09 深圳市大疆创新科技有限公司 电子器件及包括其的测距装置和电子设备
WO2019041274A1 (en) 2017-08-31 2019-03-07 Sz Dji Technology Co. , Ltd. SEMICONDUCTOR LIGHT DISTANCE LIDAR DETECTION AND ESTIMATING SYSTEM SYSTEM AND METHOD FOR IMPROVING SEMICONDUCTOR LIGHT DISTANCE DETECTION AND LODAR ESTIMATION ESTIMATION
EP3451655B1 (en) * 2017-08-31 2020-10-21 Canon Kabushiki Kaisha Solid-state image sensor and image capture apparatus
US10440301B2 (en) 2017-09-08 2019-10-08 Apple Inc. Image capture device, pixel, and method providing improved phase detection auto-focus performance
DE102017120953A1 (de) * 2017-09-11 2019-03-14 Sick Ag Optoelektronischer Sensor und Verfahren zur Positionserfassung eines Objekts
KR102429879B1 (ko) * 2017-09-13 2022-08-05 삼성전자주식회사 라이다 장치 및 이의 동작 방법
CA3075736A1 (en) 2017-09-15 2019-11-14 Aeye, Inc. Intelligent ladar system with low latency motion planning updates
US11474215B2 (en) 2017-09-27 2022-10-18 The Commonwealth Of Australia Neuromorphic single photon avalanche detector (SPAD) array microchip
US10955552B2 (en) 2017-09-27 2021-03-23 Apple Inc. Waveform design for a LiDAR system with closely-spaced pulses
US10955551B2 (en) 2017-10-16 2021-03-23 Sensors Unlimited, Inc. Pixel output processing circuit with laser range finding (LRF) capability
US10591605B2 (en) 2017-10-19 2020-03-17 Gerard Dirk Smits Methods and systems for navigating a vehicle including a novel fiducial marker system
WO2019084702A1 (en) 2017-10-30 2019-05-09 Shenzhen Genorivision Technology Co. Ltd. A lidar detector with high time resolution
DE102017222969A1 (de) * 2017-12-15 2019-06-19 Ibeo Automotive Systems GmbH Verfahren zur verbesserten Nah- und Ferndetektion einer LIDAR Empfangseinheit
DE102017222971A1 (de) * 2017-12-15 2019-07-11 Ibeo Automotive Systems GmbH LIDAR Empfangseinheit
WO2019125349A1 (en) * 2017-12-18 2019-06-27 Montrose Laboratories Llc Time-of-flight sensing using an addressable array of emitters
KR102488321B1 (ko) * 2017-12-29 2023-01-13 삼성전자주식회사 3차원 이미지 센서의 픽셀 어레이 및 3차원 이미지 센서의 구동 방법
JP6695364B2 (ja) 2018-01-17 2020-05-20 シャープ株式会社 シングルフォトンアバランシェダイオード制御回路
US10379220B1 (en) 2018-01-29 2019-08-13 Gerard Dirk Smits Hyper-resolved, high bandwidth scanned LIDAR systems
US20210072360A1 (en) * 2018-02-09 2021-03-11 Ecole Polytechique Fédérale De Lausanne Epfl-Tto Photon detecting 3d imaging sensor device
JP7039310B2 (ja) * 2018-02-09 2022-03-22 キヤノン株式会社 光電変換装置及び撮像システム
US11467286B2 (en) 2018-02-13 2022-10-11 Sense Photonics, Inc. Methods and systems for high-resolution long-range flash lidar
US11978754B2 (en) 2018-02-13 2024-05-07 Sense Photonics, Inc. High quantum efficiency Geiger-mode avalanche diodes including high sensitivity photon mixing structures and arrays thereof
US11221400B2 (en) * 2018-03-27 2022-01-11 Omnivision Technologies, Inc. Dual mode stacked photomultipliers suitable for use in long range time of flight applications
JP7089390B2 (ja) 2018-03-30 2022-06-22 キヤノン株式会社 光電変換装置及びその駆動方法
DE102018109544A1 (de) * 2018-04-20 2019-10-24 Sick Ag Optoelektronischer Sensor und Verfahren zur Abstandsbestimmung
US10623728B2 (en) * 2018-07-06 2020-04-14 Stmicroelectronics (Grenoble 2) Sas Image sensors for advanced driver assistance systems utilizing safety pixels to detect malfunctions
JP7178819B2 (ja) * 2018-07-18 2022-11-28 浜松ホトニクス株式会社 半導体光検出装置
US11019294B2 (en) 2018-07-18 2021-05-25 Apple Inc. Seamless readout mode transitions in image sensors
US10848693B2 (en) 2018-07-18 2020-11-24 Apple Inc. Image flare detection using asymmetric pixels
US11294039B2 (en) 2018-07-24 2022-04-05 Samsung Electronics Co., Ltd. Time-resolving image sensor for range measurement and 2D greyscale imaging
TWI801572B (zh) * 2018-07-24 2023-05-11 南韓商三星電子股份有限公司 影像感測器、成像單元及生成灰階影像的方法
US11356654B2 (en) 2018-08-01 2022-06-07 Stmicroelectronics Asia Pacific Pte Ltd Image sensors for advanced driver assistance systems utilizing regulator voltage verification circuitry to detect malfunctions
US20200041618A1 (en) * 2018-08-02 2020-02-06 Infineon Technologies Ag Matrix Light Source and Detector Device for Solid-State Lidar
JP6911825B2 (ja) * 2018-08-09 2021-07-28 株式会社デンソー 光測距装置
US10909824B2 (en) * 2018-08-14 2021-02-02 Samsung Electronics Co., Ltd. System and method for pulsed light pattern capturing using a dynamic vision sensor
CN112771410A (zh) 2018-08-16 2021-05-07 感觉光子公司 集成激光雷达图像传感器设备和系统以及相关的操作方法
DE102018213819B3 (de) * 2018-08-16 2019-11-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren für TDC-Sharing bei laufzeitbasierter Distanzmessung
DE102018120141A1 (de) 2018-08-17 2020-02-20 Sick Ag Erfassen von Licht mit einer Vielzahl von Lawinenphotodiodenelementen
WO2020045363A1 (ja) * 2018-08-28 2020-03-05 パナソニックＩｐマネジメント株式会社 フォトセンサ、イメージセンサ及びフォトセンサの駆動方法
JP7117535B2 (ja) * 2018-09-06 2022-08-15 パナソニックＩｐマネジメント株式会社 固体撮像素子及び撮像システム
EP3620822A1 (en) * 2018-09-06 2020-03-11 STMicroelectronics (Research & Development) Limited Non-contiguous layouts for photosensitive apparatus
US11353563B2 (en) * 2018-09-13 2022-06-07 Pixart Imaging Inc. Avalanche diode based object detection device
CN109194856A (zh) * 2018-09-30 2019-01-11 Oppo广东移动通信有限公司 电子装置的控制方法和电子装置
US11408983B2 (en) * 2018-10-01 2022-08-09 Infineon Technologies Ag Lidar 2D receiver array architecture
EP3853911A4 (en) * 2018-10-30 2022-07-06 Sense Photonics, Inc. HIGH QUANTUM EFFICIENCY GEIGER MODE AVALANCHE DIODES AND ARRANGEMENTS THEREOF
US11233966B1 (en) 2018-11-29 2022-01-25 Apple Inc. Breakdown voltage monitoring for avalanche diodes
WO2020115017A1 (en) * 2018-12-04 2020-06-11 Ams International Ag Patterned illumination for three dimensional imaging
CN109688398B (zh) * 2018-12-11 2021-01-29 上海集成电路研发中心有限公司 一种3d堆叠的图像传感器
FR3090124B1 (fr) * 2018-12-14 2022-07-15 Valeo Comfort & Driving Assistance Capteur de temps de vol et système de surveillance comportant un tel capteur
JP2020098146A (ja) * 2018-12-18 2020-06-25 ソニーセミコンダクタソリューションズ株式会社 測距装置および計測装置
JP2020106339A (ja) * 2018-12-26 2020-07-09 ソニーセミコンダクタソリューションズ株式会社 測定装置および測距装置
DE112020000407B4 (de) 2019-01-10 2024-02-15 Innovusion, Inc. Lidar-systeme und -verfahren mit strahllenkung und weitwinkelsignaldetektion
JP7115329B2 (ja) * 2019-01-16 2022-08-09 株式会社デンソー 光学的測距装置および光学的測距装置における異常の発生を検出する方法
US11245865B2 (en) 2019-01-28 2022-02-08 Pixart Imaging Inc. Image sensor employing avalanche diode and shared output circuit
US10715756B1 (en) 2019-01-28 2020-07-14 Pixart Imaging Inc. Image sensor employing avalanche diode
US11108980B2 (en) * 2019-02-04 2021-08-31 Semiconductor Components Industries, Llc Semiconductor devices with single-photon avalanche diode pixels
JP2020125998A (ja) * 2019-02-05 2020-08-20 ソニーセミコンダクタソリューションズ株式会社 受光装置及び測距システム
KR102604902B1 (ko) 2019-02-11 2023-11-21 애플 인크. 펄스형 빔들의 희소 어레이를 사용하는 깊이 감지
JP2020134313A (ja) * 2019-02-20 2020-08-31 株式会社デンソー 光検出器
CN113498473A (zh) * 2019-02-22 2021-10-12 普罗费塞公司 使用动态视觉传感器和图案投影的三维成像和感测
CN110024374B (zh) 2019-02-27 2021-08-10 深圳市汇顶科技股份有限公司 成像系统及成像系统的像素阵列和图像传感器
US11544873B2 (en) * 2019-03-05 2023-01-03 Artilux, Inc. High resolution 3D image processing apparatus and method thereof
US11428812B2 (en) 2019-03-07 2022-08-30 Luminar, Llc Lidar system with range-ambiguity mitigation
JP7337517B2 (ja) * 2019-03-14 2023-09-04 株式会社東芝 光検出器及び距離測定装置
JP7273565B2 (ja) * 2019-03-19 2023-05-15 株式会社東芝 受光装置及び距離測定装置
CN113632453A (zh) 2019-03-27 2021-11-09 苹果公司 具有多个功率状态的传感器架构的硬件实现方式
EP3949381A1 (en) * 2019-03-27 2022-02-09 Apple Inc. Sensor system architecture with feedback loop and multiple power states
US10641897B1 (en) 2019-04-24 2020-05-05 Aeye, Inc. Ladar system and method with adaptive pulse duration
US10817018B1 (en) 2019-04-29 2020-10-27 Apple Inc. Electronic devices with ambient light sensors and emissive displays
CN110109133A (zh) * 2019-05-05 2019-08-09 武汉市聚芯微电子有限责任公司 基于飞行时间的距离补偿方法和测距方法
CN113785560A (zh) * 2019-06-04 2021-12-10 索尼集团公司 成像系统
CN114008483A (zh) * 2019-06-05 2022-02-01 创新科技有限公司 用于飞行时间光学感测的系统和方法
US11500094B2 (en) 2019-06-10 2022-11-15 Apple Inc. Selection of pulse repetition intervals for sensing time of flight
JP7079753B2 (ja) 2019-06-11 2022-06-02 株式会社東芝 光検出装置、電子装置及び光検出方法
JPWO2020255399A1 (ko) * 2019-06-21 2020-12-24
US11555900B1 (en) 2019-07-17 2023-01-17 Apple Inc. LiDAR system with enhanced area coverage
EP4006578A4 (en) * 2019-07-26 2022-09-21 Sony Semiconductor Solutions Corporation LIGHT RECEIVING DEVICE, METHOD FOR CONTROLLING A LIGHT RECEIVING DEVICE, AND DISTANCE MEASURING DEVICE
CN114096885A (zh) * 2019-07-30 2022-02-25 深圳源光科技有限公司 用于电话机的激光雷达系统
DE102019211739A1 (de) * 2019-08-06 2021-02-11 Ibeo Automotive Systems GmbH Lidar-Messsystem mit zwei Lidar-Messvorrichtungen
CN112505722A (zh) * 2019-08-26 2021-03-16 天津大学青岛海洋技术研究院 一种同时捕获深度及灰度信息的ToF像素结构
JP7451110B2 (ja) * 2019-08-27 2024-03-18 ソニーグループ株式会社 測距システム及び電子機器
JP7443006B2 (ja) * 2019-09-19 2024-03-05 株式会社東芝 光検出器及び距離測定装置
EP3798679B1 (en) * 2019-09-30 2023-06-21 STMicroelectronics (Research & Development) Limited Laser safety verification
US11012653B2 (en) * 2019-10-14 2021-05-18 Pixart Imaging Inc. Image sensor apparatus and method capable of rapidly reading out and processing pixel voltages of pixel array
JP7175872B2 (ja) * 2019-11-14 2022-11-21 株式会社日立エルジーデータストレージ 測距装置
US11733359B2 (en) 2019-12-03 2023-08-22 Apple Inc. Configurable array of single-photon detectors
US11346924B2 (en) 2019-12-09 2022-05-31 Waymo Llc SiPM with cells of different sizes
US11349042B2 (en) * 2019-12-18 2022-05-31 Stmicroelectronics (Research & Development) Limited Anode sensing circuit for single photon avalanche diodes
US11373322B2 (en) 2019-12-26 2022-06-28 Stmicroelectronics, Inc. Depth sensing with a ranging sensor and an image sensor
ES2849224B2 (es) * 2020-02-14 2022-01-21 Consejo Superior Investigacion Fotomultiplicador digital de combinacion or de pulsos
JP2023037041A (ja) * 2020-02-18 2023-03-15 ソニーセミコンダクタソリューションズ株式会社 撮像回路および撮像装置
US11372320B2 (en) 2020-02-27 2022-06-28 Gerard Dirk Smits High resolution scanning of remote objects with fast sweeping laser beams and signal recovery by twitchy pixel array
TW202133461A (zh) * 2020-02-27 2021-09-01 日商索尼半導體解決方案公司 受光元件、光學裝置及電子機器
EP4119891A4 (en) * 2020-03-23 2024-05-22 Univ Shizuoka Nat Univ Corp DISTANCE IMAGE ACQUISITION DEVICE
TW202141064A (zh) * 2020-03-24 2021-11-01 日商索尼半導體解決方案公司 受光裝置及測距裝置
US20210341619A1 (en) * 2020-04-29 2021-11-04 Semiking Llc High Dynamic Range Single Photon Avalanche Detector Array on Silicon with Circuitry for Light Detection and Ranging
US11635498B2 (en) 2020-04-30 2023-04-25 Stmicroelectronics (Grenoble 2) Sas SPAD based indirect time of flight sensing from solid state transmitter scanning
US11476372B1 (en) 2020-05-13 2022-10-18 Apple Inc. SPAD-based photon detectors with multi-phase sampling TDCs
EP3910375B1 (en) * 2020-05-15 2023-07-05 Analog Devices International Unlimited Company A continuous wave time of flight system
CN111830530B (zh) * 2020-06-04 2023-02-24 深圳奥锐达科技有限公司 一种距离测量方法、系统及计算机可读存储介质
CN111796296A (zh) * 2020-06-04 2020-10-20 深圳奥锐达科技有限公司 一种距离测量方法、系统及计算机可读存储介质
WO2021248427A1 (zh) 2020-06-12 2021-12-16 深圳市汇顶科技股份有限公司 深度传感装置以及相关电子装置及深度传感装置的操作方法
US20210389429A1 (en) * 2020-06-15 2021-12-16 Continental Automotive Systems, Inc. Lidar system
CN114355384B (zh) * 2020-07-07 2024-01-02 柳州阜民科技有限公司 飞行时间tof系统和电子设备
CN114063043A (zh) * 2020-07-30 2022-02-18 北京一径科技有限公司 光电探测阵列的控制方法及装置、光电电源开关电路、光电探测阵列
CN114071040A (zh) * 2020-07-31 2022-02-18 宁波飞芯电子科技有限公司 一种图像传感器和读出信号的方法
US11563910B2 (en) 2020-08-04 2023-01-24 Apple Inc. Image capture devices having phase detection auto-focus pixels
KR20220022335A (ko) * 2020-08-18 2022-02-25 엘지디스플레이 주식회사 구동 회로와 이를 이용한 표시장치
GB202013579D0 (en) 2020-08-28 2020-10-14 Ams Int Ag Dynamic range extension of spad-based devices
CN114200479A (zh) 2020-08-31 2022-03-18 华为技术有限公司 一种dTOF传感模组、终端设备及测距方法
JP7423485B2 (ja) 2020-09-18 2024-01-29 株式会社東芝 距離計測装置
KR20220038994A (ko) * 2020-09-21 2022-03-29 현대자동차주식회사 ??칭 바이어스 회로 디바이스 및 이를 포함하는 단일 광자 검출기
CN112367482B (zh) * 2020-10-26 2022-08-09 Oppo广东移动通信有限公司 一种感光器件及飞行时间测距系统
WO2022090311A1 (en) * 2020-10-30 2022-05-05 Sony Semiconductor Solutions Corporation Mode sequencer circuitry and mode sequencing method
CN112505661A (zh) * 2020-11-23 2021-03-16 Oppo（重庆）智能科技有限公司 像素控制方法、像素模组、装置、终端及存储介质
EP4006485A1 (en) * 2020-11-25 2022-06-01 Prophesee Method for automatically adapting a pattern projection rate in an active perception system
US11653083B2 (en) * 2020-12-15 2023-05-16 Qualcomm Incorporated Image sensor module
CN114697578B (zh) * 2020-12-31 2024-03-15 清华大学 基于三维堆叠技术的双模态图像传感器芯片及成像系统
US20220290983A1 (en) * 2021-03-11 2022-09-15 Tactual Labs Co. Sensing using optical elements
US11546532B1 (en) 2021-03-16 2023-01-03 Apple Inc. Dynamic correlated double sampling for noise rejection in image sensors
US11474214B1 (en) 2021-03-26 2022-10-18 Aeye, Inc. Hyper temporal lidar with controllable pulse bursts to resolve angle to target
US11448734B1 (en) 2021-03-26 2022-09-20 Aeye, Inc. Hyper temporal LIDAR with dynamic laser control using laser energy and mirror motion models
US20220308219A1 (en) 2021-03-26 2022-09-29 Aeye, Inc. Hyper Temporal Lidar with Controllable Detection Intervals Based on Environmental Conditions
US11635495B1 (en) 2021-03-26 2023-04-25 Aeye, Inc. Hyper temporal lidar with controllable tilt amplitude for a variable amplitude scan mirror
US11500093B2 (en) 2021-03-26 2022-11-15 Aeye, Inc. Hyper temporal lidar using multiple matched filters to determine target obliquity
US11630188B1 (en) 2021-03-26 2023-04-18 Aeye, Inc. Hyper temporal lidar with dynamic laser control using safety models
US11604264B2 (en) 2021-03-26 2023-03-14 Aeye, Inc. Switchable multi-lens Lidar receiver
CN113323657B (zh) * 2021-05-12 2022-09-02 天地（常州）自动化股份有限公司 一种井下数据传输系统及方法
US11988835B2 (en) 2021-05-28 2024-05-21 Microsoft Technology Licensing, Llc Systems and methods for power efficient image acquisition using single photon avalanche diodes (SPADs)
US11681028B2 (en) 2021-07-18 2023-06-20 Apple Inc. Close-range measurement of time of flight using parallax shift
US20230030282A1 (en) * 2021-07-30 2023-02-02 Sony Semiconductor Solutions Corporation Backside illuminated single photon avalanche diode
CN113791755B (zh) * 2021-08-24 2023-10-20 中国航天科工集团第二研究院 一种量子随机数序列产生方法、系统及装置
CN113965705A (zh) * 2021-11-04 2022-01-21 地太科特电子制造(北京)有限公司 一种cmos像素寻址模块和方法
CN116960133A (zh) * 2022-04-15 2023-10-27 浙桂(杭州)半导体科技有限责任公司 一种高填充系数雪崩二极管传感器
DE102022124775B3 (de) * 2022-09-27 2023-10-19 Elmos Semiconductor Se Lidar-Empfänger-Schaltung zum Empfangen von optischen Signalen mittels Fotodetektoren
WO2024081319A1 (en) * 2022-10-11 2024-04-18 Meta Platforms Technologies, Llc Sparse depth sensing with digital pixel sensor

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070182949A1 (en) * 2005-12-21 2007-08-09 Cristiano Niclass Method and arrangement for measuring the distance to an object
US20130153754A1 (en) * 2011-12-20 2013-06-20 Stmicroelectronics (Grenoble 2) Sas Device having spad photodiodes for detecting an object
US20130175435A1 (en) * 2012-01-09 2013-07-11 Stmicroelectronics (Grenoble 2) Sas Device for detecting an object using spad photodiodes
US20130256285A1 (en) * 2012-03-30 2013-10-03 View, Inc. Coaxial distance measurement via folding of triangulation sensor optics path

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002039716A (ja) * 2000-07-25 2002-02-06 Olympus Optical Co Ltd 距離画像入力装置
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
US7858917B2 (en) * 2003-05-02 2010-12-28 Massachusetts Institute Of Technology Digital photon-counting geiger-mode avalanche photodiode solid-state monolithic intensity imaging focal-plane with scalable readout circuitry
JP4451161B2 (ja) * 2004-02-25 2010-04-14 オリンパス株式会社 障害物認識補助装置
KR100680469B1 (ko) * 2005-01-31 2007-02-08 매그나칩 반도체 유한회사 인접한 화소들 사이의 센싱노드들이 공유된 씨모스 이미지센서
US7547872B2 (en) * 2005-02-14 2009-06-16 Ecole Polytechnique Federale De Lausanne Integrated circuit comprising an array of single photon avalanche diodes
JP5623700B2 (ja) * 2005-04-22 2014-11-12 コーニンクレッカ フィリップス エヌ ヴェ 飛行時間能力を有するｐｅｔ／ｍｒｉスキャナ
US7259360B2 (en) * 2005-07-13 2007-08-21 Ronald Dean Sholders Bacon package converts to a rack for cooking bacon in a microwave oven and collecting grease for disposal
US20070018292A1 (en) * 2005-07-22 2007-01-25 Sehat Sutardja Packaging for high speed integrated circuits
JP4827508B2 (ja) * 2005-12-02 2011-11-30 キヤノン株式会社 撮像システム
JP2007174500A (ja) * 2005-12-26 2007-07-05 Nikon Corp 撮像装置
US20080109367A1 (en) * 2006-11-02 2008-05-08 General Electric Company Method and apparatus for self-licensing data
EP1990656A1 (de) * 2007-05-07 2008-11-12 Sick Ag Dämpungsglied mit PIN-Dioden für optischen Entfernungsmesser
EP2208354A4 (en) 2007-10-10 2010-12-22 Gerard Dirk Smits IMAGE PROJECTOR WITH REFLECTIVE LIGHT TRACKING
US8519340B2 (en) * 2008-12-22 2013-08-27 Koninklijke Philips N.V. High dynamic range light sensor
JP5527990B2 (ja) * 2009-03-11 2014-06-25 キヤノン株式会社 表示制御装置、及び、表示制御方法
US10636929B2 (en) * 2009-04-30 2020-04-28 Massachusetts Institute Of Technology Cross-talk suppression in Geiger-mode avalanche photodiodes
JP5507135B2 (ja) * 2009-07-08 2014-05-28 Ｊｒ東日本メカトロニクス株式会社 支障物検知装置及びこれを備えたプラットホームドアシステム並びに支障物検知方法
US8415819B2 (en) * 2009-08-06 2013-04-09 ISC8 Inc. Energy harvesting buoy
US9442196B2 (en) 2010-01-06 2016-09-13 Heptagon Micro Optics Pte. Ltd. Demodulation sensor with separate pixel and storage arrays
US8345490B2 (en) * 2010-06-23 2013-01-01 International Business Machines Corporation Split voltage level restore and evaluate clock signals for memory address decoding
IT1402264B1 (it) 2010-09-16 2013-08-28 St Microelectronics Srl Array fotorilevatore multi-pixel di fotodiodi a valanga geiger-mode
WO2012135545A1 (en) * 2011-03-29 2012-10-04 Qualcomm Incorporated Modular mobile connected pico projectors for a local multi-user collaboration
JP5900722B2 (ja) * 2011-05-18 2016-04-06 北陽電機株式会社 走査式測距装置の信号処理装置、信号処理方法、及び走査式測距装置
US9069075B2 (en) 2012-02-10 2015-06-30 GM Global Technology Operations LLC Coupled range and intensity imaging for motion estimation
KR101904720B1 (ko) * 2012-12-28 2018-10-05 삼성전자주식회사 영상 처리 장치 및 방법
US9291819B2 (en) * 2013-09-05 2016-03-22 Texas Instruments Incorporated Multi-focus heads-up display using single picture generator unit
US9331116B2 (en) * 2014-01-15 2016-05-03 Omnivision Technologies, Inc. Back side illuminated single photon avalanche diode imaging sensor with high short wavelength detection efficiency
US9313485B2 (en) * 2014-02-21 2016-04-12 Semiconductor Components Industries, Llc Imagers with error checking capabilities

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070182949A1 (en) * 2005-12-21 2007-08-09 Cristiano Niclass Method and arrangement for measuring the distance to an object
US20130153754A1 (en) * 2011-12-20 2013-06-20 Stmicroelectronics (Grenoble 2) Sas Device having spad photodiodes for detecting an object
US20130175435A1 (en) * 2012-01-09 2013-07-11 Stmicroelectronics (Grenoble 2) Sas Device for detecting an object using spad photodiodes
US20130256285A1 (en) * 2012-03-30 2013-10-03 View, Inc. Coaxial distance measurement via folding of triangulation sensor optics path

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180088572A (ko) * 2017-01-27 2018-08-06 삼성전자주식회사 거리 측정 장치 및 방법
WO2019032370A1 (en) * 2017-08-07 2019-02-14 Waymo Llc NON-IMAGING SPAD ARCHITECTURE AGGREGATION FOR COMPLETELY DIGITAL MONOLITHIC FRAME RECEIVERS
US10677899B2 (en) 2017-08-07 2020-06-09 Waymo Llc Aggregating non-imaging SPAD architecture for full digital monolithic, frame averaging receivers
AU2018313701B2 (en) * 2017-08-07 2020-10-08 Waymo Llc Aggregating non-imaging SPAD architecture for full digital monolithic, frame averaging receivers
US11681022B2 (en) 2017-08-07 2023-06-20 Waymo Llc Aggregating non-imaging SPAD architecture for full digital monolithic, frame averaging receivers
EP3460517A1 (en) 2017-09-20 2019-03-27 Industry-Academic Cooperation Foundation, Yonsei University Lidar sensor for vehicles and method of operating the same
KR20190032789A (ko) 2017-09-20 2019-03-28 연세대학교 산학협력단 차량용 라이다 센서 및 라이다 센서의 동작 방법
US10935658B2 (en) 2017-09-20 2021-03-02 Industry-Academic Cooperation Foundation, Yonsei University Lidar sensor for vehicles and method of operating the same
US11774556B2 (en) 2017-09-25 2023-10-03 Waymo Llc Combination photodetector arrays for extended dynamic range
KR20190067079A (ko) * 2017-12-06 2019-06-14 삼성전자주식회사 거리 측정을 위해 픽셀에서 spad + ppd 또는 커패시터를 사용하는 시간 분해형 센서
US11614519B2 (en) 2017-12-15 2023-03-28 Ibeo Automotive Systems GmbH Arrangements of light-receiving elements with different sensitivities and methods for receiving light signals
US11644539B2 (en) 2017-12-15 2023-05-09 Microvision, Inc. Arrangement and method for using light signals and groups of light-receiving elements with different sensitivities to determine a distance of an object
KR20200125998A (ko) * 2018-04-10 2020-11-05 이베오 오토모티브 시스템즈 게엠베하 Lidar 측정 시스템의 센서 요소들을 제어하는 방법
US11965970B2 (en) 2018-08-31 2024-04-23 Sony Semiconductor Solutions Corporation Light receiving element and ranging system
US11483539B2 (en) 2018-10-10 2022-10-25 Lg Electronics Inc. Apparatus and method for generating three-dimensional image using optical system directing light in a dot pattern
KR20210029269A (ko) * 2018-10-10 2021-03-15 엘지전자 주식회사 3차원 영상 생성 장치 및 방법
WO2020075932A1 (ko) * 2018-10-10 2020-04-16 엘지전자 주식회사 3차원 영상 생성 장치 및 방법
WO2023214864A1 (en) * 2022-05-06 2023-11-09 Lg Innotek Co., Ltd. Lidar range enhancement using pulse coding

Also Published As

Publication number Publication date
WO2015157341A1 (en) 2015-10-15
JP6483725B2 (ja) 2019-03-13
US20190277970A1 (en) 2019-09-12
US10605922B2 (en) 2020-03-31
US9952323B2 (en) 2018-04-24
JP2017520134A (ja) 2017-07-20
KR102409952B1 (ko) 2022-06-17
US20150285625A1 (en) 2015-10-08
CN106165399A (zh) 2016-11-23
DE112015001704T5 (de) 2016-12-29
US10295669B2 (en) 2019-05-21
US20180231660A1 (en) 2018-08-16
CN106165399B (zh) 2019-08-20

Similar Documents

Publication Publication Date Title
KR102409952B1 (ko) 고해상도, 고프레임률, 저전력 이미지 센서
US11467286B2 (en) Methods and systems for high-resolution long-range flash lidar
US10795001B2 (en) Imaging system with synchronized scan and sensing
US10324171B2 (en) Light detection and ranging sensor
JP6644892B2 (ja) 光検出測距センサ
EP3320559B1 (en) Spad array structures and methods of operation
US11852727B2 (en) Time-of-flight sensing using an addressable array of emitters
US20220221562A1 (en) Methods and systems for spad optimizaiton
EP3602110B1 (en) Time of flight distance measurement system and method
US20210109224A1 (en) Strobing flash lidar with full frame utilization
US20230197759A1 (en) Pixel circuit and method of operating the same in an always-on mode
WO2022271265A2 (en) Long-range lidar

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant