KR20210033540A - 통합된 라이다 이미지-센서 디바이스들 및 시스템들 및 관련된 동작 방법들 - Google Patents

통합된 라이다 이미지-센서 디바이스들 및 시스템들 및 관련된 동작 방법들 Download PDF

Info

Publication number
KR20210033540A
KR20210033540A KR1020217006508A KR20217006508A KR20210033540A KR 20210033540 A KR20210033540 A KR 20210033540A KR 1020217006508 A KR1020217006508 A KR 1020217006508A KR 20217006508 A KR20217006508 A KR 20217006508A KR 20210033540 A KR20210033540 A KR 20210033540A
Authority
KR
South Korea
Prior art keywords
pixels
light
pixel
tof
sensors
Prior art date
Application number
KR1020217006508A
Other languages
English (en)
Inventor
호드 핀클스테인
디에트리치 데링거
스콧 버로우스
브렌트 피셔
Original Assignee
센스 포토닉스, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 센스 포토닉스, 인크. filed Critical 센스 포토닉스, 인크.
Publication of KR20210033540A publication Critical patent/KR20210033540A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4876—Extracting wanted echo signals, e.g. pulse detection by removing unwanted signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Light Receiving Elements (AREA)

Abstract

광 검출 및 레인징(LIDAR) 장치는 제1 픽셀 및 제2 픽셀 상에 입사하는 광에 응답하여 개개의 검출 신호들을 출력하도록 구성된 제1 픽셀 및 제2 픽셀을 가지는 검출기, 및 시야에 걸쳐 광을 수집하고 광의 제1 및 제2 부분들을 각각 제1 및 제2 픽셀들로 지향하도록 구성된 수신기 광학기기들을 포함한다. 제1 픽셀은 하나 이상의 비행 시간(ToF) 센서들을 포함하고, 제2 픽셀은 하나 이상의 이미지 센서들을 포함한다. 수신기 광학기기들 중의 적어도 하나 또는 검출기에서의 제1 및 제2 픽셀들의 배열은, 제1 픽셀로부터 출력된 개개의 검출 신호들에 의해 표시된 깊이 정보가 제2 픽셀로부터 출력된 개개의 검출 신호들에 의해 표시된 이미지 정보와 상관되도록, 제1 및 제2 픽셀들을 상관시키도록 구성된다. 관련된 디바이스들 및 동작 방법들이 또한 논의된다.

Description

통합된 라이다 이미지-센서 디바이스들 및 시스템들 및 관련된 동작 방법들
우선권 주장
이 출원은 2018년 8월 16일자로 미국 특허 상표청에 출원된 미국 가출원 제62/764,895호로부터 우선권 주장하고, 이 미국 가출원의 개시내용은 본원에 참조로 포함된다.
본 개시내용은 3 차원(three-dimensional)(3D) 이미징을 위한 시스템들에 관한 것으로, 더 상세하게는, 비행-시간(time-of-flight) 광 검출 및 레인징(Light Detection And Ranging) 시스템에 관한 것이다.
사물 인터넷(Internet-of-Things)(IoT) 및 자율 내비게이션과 같은 많은 최근에 등장한 기술들은 3D 공간에서의 객체들까지의 거리의 검출 및 측정을 수반할 수 있다. 예를 들어, 자율 주행을 할 수 있는 자동차들은 기본적인 동작을 위한 것 뿐만 아니라, 안전성 요건들을 충족시키기 위한 3D 검출 및 인식을 요구할 수 있다. 3D 검출 및 인식은 예를 들어, 산업적 또는 가정용 로봇들 또는 완구들에 의한 실내 내비게이션을 위하여 또한 필요할 수 있다.
광 기반 3D 측정들은 일부 사례들에서 레이더(radar)(낮은 각도 정확도, 대형) 또는 초음파(매우 낮은 정확도)보다 우수할 수 있다. 예를 들어, 광-기반 3D 센서 시스템은 가시 파장 범위의 외부에서 광을 전형적으로 방출하는 광원으로서, (포토다이오드 또는 카메라와 같은) 검출기 및 (발광 다이오드(light emitting diode)(LED) 또는 레이저 다이오드와 같은) 발광 디바이스를 포함할 수 있다.
광 검출 및 레인징(LIDAR 또는 라이다(lidar)) 시스템은 반사된 광의 비행 시간(time of flight)(ToF)에 기초하여 포인트들의 집합(예컨대, 포인트 클라우드(point cloud))을 결정할 수 있다. ToF 3D 이미징 시스템은 간접 ToF(indirect ToF)(iToF) 또는 직접 ToF(direct ToF) 시스템들로서 범주화될 수 있다. 직접 ToF 측정은 라이다 시스템의 방출기 엘리먼트(emitter element)에 의한 방출 방사(emitting radiation) 사이의 시간의 길이를 직접적으로 측정하는 것, 및 라이다 시스템의 검출기 엘리먼트에 의한 객체 또는 다른 타겟으로부터의 반사(또한, 복귀 또는 에코 신호로서 본원에서 지칭됨) 후의 방사를 감지하거나 검출하는 것을 포함한다. 이 시간의 길이로부터, 타겟까지의 거리가 결정될 수 있다. 간접 ToF 측정은 방출된 신호의 진폭을 변조하는 것, 및 에코 신호의 위상 지연 또는 위상 시프트(phase shift)(더 일반적으로, 위상으로서 본원에서 지칭됨)를 측정하는 것을 포함하고, 여기서, 신호가 객체로 그리고 객체로부터 이동하기 위하여 요구된 시간은 이동된 거리에 비례하는 위상 시프트로 귀착된다.
라이다 시스템들은 산업적 자동화 및 자율 차량들과 같은(그러나 이것으로 제한되지는 않는) 다양한 애플리케이션들에서 이용될 수 있다. 많은 이러한 시스템들은 라이다, 전통적인 카메라들, 스테레오 카메라들, 및 레이더와 같은 다양한 양상들로부터 데이터를 취득할 수 있다. 프로세싱 유닛들은 시야(field of view)의 통합된 뷰를 형성하기 위하여 다양한 센서들로부터의 데이터를 조합할 수 있거나 융합할 수 있다.
본원에서 설명된 일부 실시예들은, 하나 이상의 방출기 엘리먼트들(표면-방출 또는 에지-방출 레이저 다이오드들과 같은 반도체 레이저들을 포함하고; 일반적으로, 방출기들로서 본원에서 지칭됨) 및/또는 하나 이상의 광 검출기 엘리먼트들(아발란치 포토다이오드(avalanche photodiode)들 및 단일-광자 아발란치 검출기(single-photon avalanche detector)(SPAD)들을 포함하는 포토다이오드들과 같은 반도체 광검출기들을 포함하고; 일반적으로, 검출기들로서 본원에서 지칭됨)을 포함하는 LIDAR 시스템을 제공하는 전자 회로들을 포함하는 방법들, 시스템들, 및 디바이스들을 제공한다.
본 개시내용의 일부 실시예들에 따르면, 광 검출 및 레인징(LIDAR) 장치는 제1 픽셀 및 제2 픽셀 상에 입사하는 광에 응답하여 개개의 검출 신호들을 출력하도록 구성된 제1 픽셀 및 제2 픽셀을 포함하는 검출기, 및 시야에 걸쳐 광을 수집하고 광의 제1 및 제2 부분들을 각각 제1 및 제2 픽셀들로 지향하도록 구성된 수신기 광학기기들을 포함한다. 제1 픽셀은 하나 이상의 비행 시간(ToF) 센서들을 포함하고, 제2 픽셀은 하나 이상의 이미지 센서들을 포함한다. 수신기 광학기기들 및/또는 검출기에서의 제1 및 제2 픽셀들의 배열은, 제1 픽셀로부터 출력된 개개의 검출 신호들에 의해 표시된 깊이 정보가 제2 픽셀로부터 출력된 개개의 검출 신호들에 의해 표시된 이미지 정보와 상관되도록, 제1 및 제2 픽셀들을 상관시키도록 구성된다.
일부 실시예들에서, 검출기는 기판, ToF 센서들을 정의하는 기판에서의 제1 접합 영역들, 및 제1 접합 영역들에 인접한, 이미지 센서들을 정의하는 기판에서의 제2 접합 영역들을 포함하는 검출기 어레이이다. 제1 접합 영역들은 기판의 표면에 대해 제1 깊이를 가질 수 있고, 제2 접합 영역들은 기판의 표면에 대해 제1 깊이보다 더 작은 제2 깊이를 가질 수 있다.
일부 실시예들에서, 배열은 평면도에서의 제1 접합 영역들 및 제2 접합 영역들의 병립형 배열(side-by-side arrangement)을 포함한다.
일부 실시예들에서, 배열은 제1 접합 영역들 및 제2 접합 영역들이 평면도에서 중첩하는 적층된 배열(stacked arrangement)을 포함한다. 중간 접합 영역들은 임의적으로, 적층된 배열에서의 제1 접합 영역들과 제2 접합 영역들 사이에서 제공될 수 있다.
일부 실시예들에서, 검출기 어레이는 제1 픽셀들 사이 및/또는 제2 픽셀들 사이의 기판 상의 복수의 게이트 구조체들을 더 포함한다. 게이트 구조체들은 임의적으로, 광의 제1 또는 제2 부분들 중의 적어도 하나에 투명할 수 있다.
일부 실시예들에서, 개개의 격리 구조체들은 제1 및 제2 접합 영역들의 인접한 것들 사이의 기판에서 제공된다. 개개의 격리 구조체들은 적층된 배열에서의 제1 접합 영역들과 제2 접합 영역들 사이의 중간 접합 영역들일 수 있다.
일부 실시예들에서, 복수의 입력/출력(input/output)(I/O) 패드들은 검출기 어레이에 인접한 기판 상에서 제공되고, 제1 및 제2 픽셀들의 개개의 픽셀들에 전기적으로 접속된다. I/O 패드들은 이미지 정보와 상관된 깊이 정보를 가지는, 제1 및 제2 픽셀들로부터의 개개의 검출 신호들을 각각 제1 및 제2 판독 회로들로 출력하도록 구성될 수 있다.
일부 실시예들에서, 수신기 광학기기들은 제1 파장 범위의 광의 제1 부분을 제1 픽셀로 지향하고 제2 파장 범위의 광의 제2 부분을 제2 픽셀로 지향하도록 구성되는 파장-선택적 빔 분리기 또는 필터를 포함한다.
일부 실시예들에서, 수신기 광학기기들은 시야에 걸쳐 광을 수집하도록 구성되는 적어도 하나의 렌즈 및 파장-선택적 빔 분리기 또는 필터를 렌즈에 결합하는 하나 이상의 프리즘들을 포함하는 모놀리식 엘리먼트(monolithic element)를 포함한다.
일부 실시예들에서, 장치는 시야를 조명하기 위하여 제1 파장 범위의 광 방출을 출력하도록 구성되는 방출 소스(emission source)를 더 포함한다. 광의 제1 부분은 제1 파장 범위를 포함할 수 있다. 제어 회로는 이미지 정보와 상관된 깊이 정보를 가지는, 제1 및 제2 픽셀들로부터 출력된 개개의 검출 신호들을 수신하고, 제1 픽셀들 및 제2 픽셀들로부터의 개개의 검출 신호들에 기초하여 방출 소스로부터의 광 방출을 조절하기 위한 제어 신호들을 출력하도록 구성될 수 있다.
일부 실시예들에서, 제어 회로는 상이한 프레임 레이트들에서 제1 및 제2 픽셀들을 동작시키도록 구성된다.
일부 실시예들에서, 방출 소스는 제1 방출 소스이고, 장치는 시야를 조명하기 위하여 제2 파장 범위의 광 방출을 출력하도록 구성되는 제2 방출 소스를 더 포함하고, 여기서, 광의 제2 부분은 제2 파장 범위를 포함한다.
본 개시내용의 일부 실시예들에 따르면, 광 검출 및 레인징(LIDAR) 장치는 복수의 제1 픽셀들 및 복수의 제2 픽셀들 상에 입사하는 광에 응답하여 개개의 검출 신호들을 출력하도록 구성된 복수의 제1 픽셀들 및 복수의 제2 픽셀들을 포함하는 검출기 어레이를 포함한다. 제1 픽셀들은 비행 시간(ToF) 센서들을 포함하고, 제2 픽셀들은 이미지 센서들을 포함한다. 검출기 어레이는 기판, ToF 센서들을 정의하는 기판에서의 제1 접합 영역들, 및 제1 접합 영역들에 인접한, 이미지 센서들을 정의하는 기판에서의 제2 접합 영역들을 포함한다. 제1 접합 영역들은 기판의 표면에 대해 제1 깊이를 가지고, 제2 접합 영역들은 기판의 표면에 대해 제1 깊이보다 더 작은 제2 깊이를 가진다.
일부 실시예들에서, 검출기 어레이는 평면도에서의 제1 접합 영역들 및 제2 접합 영역들의 병립형 배열을 포함한다. 일부 실시예들에서, 검출기 어레이는 제1 접합 영역들 및 제2 접합 영역들이 평면도에서 중첩하는 적층된 배열을 포함한다.
일부 실시예들에서, 검출기 어레이에서의 제1 및 제2 픽셀들의 배열은, 제1 픽셀들 및 제2 픽셀들로부터 출력된 개개의 검출 신호들이 상관되는 깊이 정보 및 이미지 정보를 각각 포함하도록, 제1 픽셀들의 서브세트(subset)들과 제2 픽셀들의 서브세트들 사이의 개개의 공간적 상관들을 제공한다.
일부 실시예들에서, 장치는 시야에 걸쳐 광을 수집하고 광의 제1 및 제2 부분들을 각각 검출기 어레이의 제1 및 제2 픽셀들로 지향하도록 구성되는 렌즈들의 어레이를 포함하는 수신기 광학기기들을 더 포함한다.
일부 실시예들에서, 수신기 광학기기들은 제1 파장 범위의 광의 제1 부분을 제1 픽셀들로 지향하고 제2 파장 범위의 광의 제2 부분을 제2 픽셀들로 지향하도록 구성되는 적어도 하나의 파장-선택적 빔 분리기 또는 필터를 포함한다.
본 개시내용의 일부 실시예들에 따르면, 광 검출 및 레인징(LIDAR) 장치는 제1 픽셀 및 제2 픽셀 상에 입사하는 광에 응답하여 개개의 검출 신호들을 출력하도록 구성된 제1 픽셀 및 제2 픽셀을 포함하는 검출기, 및 시야에 걸쳐 광을 수집하고 광의 제1 및 제2 부분들을 각각 제1 및 제2 픽셀들로 지향하도록 구성된 수신기 광학기기들을 포함한다. 제1 픽셀은 하나 이상의 비행 시간(ToF) 센서들을 포함하고, 제2 픽셀은 하나 이상의 이미지 센서들을 포함한다. 수신기 광학기기들은, 제1 픽셀로부터 출력된 개개의 검출 신호들에 의해 표시된 깊이 정보가 제2 픽셀로부터 출력된 개개의 검출 신호들에 의해 표시된 이미지 정보와 상관되도록, 제1 및 제2 픽셀들을 상관시키도록 구성된다.
일부 실시예들에서, 수신기 광학기기들은 제1 파장 범위의 광의 제1 부분을 제1 픽셀로 지향하고 제2 파장 범위의 광의 제2 부분을 제2 픽셀로 지향하도록 구성되는 파장-선택적 빔 분리기 또는 필터를 포함한다.
일부 실시예들에서, 수신기 광학기기들은 시야에 걸쳐 광을 수집하도록 구성되는 적어도 하나의 렌즈 및 파장-선택적 빔 분리기 또는 필터를 렌즈에 결합하는 하나 이상의 프리즘들을 포함하는 모놀리식 엘리먼트로서 구현된다.
일부 실시예들에 따른 다른 디바이스들, 장치, 및/또는 방법들은 다음의 도면들 및 상세한 설명을 검토할 시에 본 기술분야에서의 통상의 기술자에게 분명해질 것이다. 모든 이러한 추가적인 실시예들은 위의 실시예들의 임의의 그리고 모든 조합들에 추가적으로, 이 설명 내에 포함되고, 발명의 범위 내에 있고, 동반 청구항들에 의해 보호된다는 것이 의도된다.
도 1은 본 개시내용의 실시예들에 따라, 공통 이미지 정합(common image registration)을 갖는 비행 시간 및 이미지 센서들을 포함하는 LIDAR 시스템 또는 회로를 예시하는 블록 다이어그램이다.
도 2a 및 도 2b는 본 개시내용의 실시예들에 따라, 비행 시간 및 이미지 센서들을 위한 이미지 정합을 제공하는 공통 수신기 광학기기들을 예시하는 블록 다이어그램들이다.
도 3은 본 개시내용의 실시예들에 따라, 동일한 반도체 기판 상에서 통합된 ToF 센서들의 어레이 및 이미지 센서들의 어레이를 예시하는 평면도 블록 다이어그램이다.
도 4a 및 도 4b는 본 개시내용의 실시예들에 따라, 동일한 반도체 기판 상에서 통합된 ToF 및 이미지 센서들의 예들을 예시하는 평면도 블록 다이어그램들이다.
도 5a 및 도 5b는 본 개시내용의 실시예들에 따라, 동일한 반도체 기판 상에서 통합된 ToF 센서들 및 이미지 센서들의 예들을 예시하는 단면도들이다.
도 6은 본 개시내용의 실시예들에 따라, 동일한 반도체 기판 상에서 통합된 ToF 센서들 및 이미지 센서들의 예들을 예시하는 단면도이다.
도 7은 본 개시내용의 실시예들에 따라, 동일한 반도체 기판 상에서 통합된 ToF 및 이미지 센서들의 추가의 예들을 예시하는 평면도 블록 다이어그램이다.
많은 애플리케이션들은 다양한 양상들(예컨대, 라이다, 전통적인 카메라들, 스테레오 카메라들, 및 레이더)로부터 데이터를 취득하는 이미징 시스템들로부터 이익을 얻을 수 있다. 예를 들어, 라이다에서 이용될 수 있는 비행-시간(ToF) 센서들은 ToF 센서의 시야(FoV)에 걸쳐 (예컨대, 수신된 에코 신호들에 의해 표시된 타이밍 및/또는 세기 패턴들에 기초한) 하나 이상의 타겟들의 레인지 또는 거리를 표시하는 데이터 및 이에 따라, "깊이" 정보(또한, 깊이 이미지로서 본원에서 지칭됨)를 수집할 수 있다. 전통적인 정지-화상(still-picture) 또는 비디오 카메라들에서 이용될 수 있는 이미지 센서들은, 일부 ToF 센서들보다 더 높은 해상도를 갖지만 깊이 정보를 갖지 않는 시야에서 하나 이상의 타겟들의 가시 특징부들(컬러, 크기, 포인트들, 라인들 등을 포함하고; 또한, 이미지 정보 또는 RGB 이미지로서 본원에서 지칭됨)을 표시하는 데이터를 수집할 수 있다. 프로세싱 유닛들은 이미지 정보를 깊이 정보와 공간적으로 그리고 시간적으로 상관시키기 위하여(또한, 이미지 정합으로서 본원에서 지칭됨) 다양한 센서들로부터의 데이터를 조합할 수 있거나 병합할 수 있어서, 시야의 통합된 뷰를 제공할 수 있다. 그러나, 다양한 센서들로부터의 데이터의 이러한 통합은 연산적으로 집약적이고, 이에 따라, 자율 차량 동작들과 같은 일부 애플리케이션들을 위하여 (예컨대, 프로세싱 파워의 측면에서) 비효율적일 수 있고/있거나 (예컨대, 프로세싱 시간의 측면에서) 불충분할 수 있다.
다양한 센서들 자체의 통합은 예를 들어, 반도체 프로세싱(여기서, 상이한 센서 유형들은 불순물 주입 깊이들과 같은 상이한 프로세싱 조건들을 요구할 수 있음) 및/또는 데이터 판독 방식들(여기서, 상이한 센서 유형들은 상이한 로직 회로부를 요구할 수 있음)에 대하여 도전들을 또한 제시할 수 있다. 특히, 반도체 p-n 접합들은 시야로부터 반사된 광에서의 광자들을 검출하기 위한 포토다이오드들을 구성하기 위하여 이용될 수 있고, 아발란치 다이오드는 이러한 포토다이오드들의 하나의 예일 수 있다. 단일-광자 아발란치 다이오드(SPAD)들은 비행-시간 감지 애플리케이션들에서 단일 광자들을 검출하기 위하여 이용될 수 있다. 가이거-모드(Geiger-mode) SPAD들에서, 출력은 광자-도달 이벤트에 대응하는 디지털 펄스, 또는 광자의 정밀한 도달-시간에 대응하는 아날로그 정보 중의 어느 하나일 수 있다. CMOS 능동 픽셀 센서들 또는 CCD들과 같은 이미지 센서들에서, 감지 면적에 의해 수신된 광자 플럭스(photon flux)는 수집된 전하로 변환되고, 수집된 전하는 그 다음으로, 검출기 출력 신호로서 판독된다. 또한, 일부 작은 CMOS SPAD 픽셀들의 표면적 또는 풋프린트(footprint)는 상업적으로-입수가능한 CMOS 능동 픽셀 센서(Active Pixel Sensor)(APS) 픽셀들보다 상당히 더 클 수 있다(예컨대, 일부 사례들에서 최대로 1000 배 더 큼). CMOS SPAD 픽셀을 위한 이 상대적으로 큰 픽셀 면적은, 고 전압들 및 고 전류 밀도들을 견딜 수 있고 감지 회로부로부터 전기적으로 격리될 수 있는 SPAD 픽셀의 구조에 부분적으로 기인할 수 있다.
본원에서 설명된 실시예들은 이러한 상이한 센서들의 통합이 이미지 센서 및 비행-시간 센서 양자에 대한 정보를 취득하기 위하여 공유된 광학기기들을 이용함으로써 보조될 수 있다는 인식으로부터 발생할 수 있다. 이것은 더 작고, 더 간단하고, 덜 비싼 감지 시스템들을 위한 가능성을 제공할 수 있다. 본원에서 설명된 실시예들에서, 비행-시간 센서들(또한, 라이다 센서들로서 본원에서 지칭됨)은 (예컨대, 검출기 어레이에서의) 하나 이상의 광검출기들 - 광검출기들의 각각은 그 상에 입사하는 (예컨대, 레이저 또는 LED로부터의) 광 신호의 왕복 전파 시간(round trip propagation time)을 표시하는 출력 신호(또한, 레인지 또는 깊이 검출 신호로서 본원에서 지칭됨)를 제공함 -, 또는 본원에서 설명된 바와 같은 깊이 정보를 표시하는 검출 신호들을 출력하는 임의의 다른 광학 센서들을 포함할 수 있다. 라이다 센서들은 일반성의 손실 없이, SPAD들 또는 SiPM(silicon photomultiplier)(실리콘 광증배기)들을 포함하는, 브레이크다운(breakdown) 미만에서, 브레이크다운에서, 또는 브레이크다운을 초과하여 역-바이어싱된 아발란치 포토다이오드들; 광자 혼합 디바이스들; 시간-게이팅된(time-gated) 포토다이오드들; 시간-변조된 CIS(CMOS Image Sensor)(CMOS 이미지 센서들); 시간-변조된 CCD(charge coupled device)(전하 결합 소자)들; 도플러 센서(Doppler sensor)들; 또는 일부 실시예들에서, 근 적외선 또는 적외선 파장 범위들에서의 광의 파장들의 검출에 기초하여 광-기반 레인징을 위한 정보를 생성할 수 있는 임의의 다른 적당한 디바이스들을 포함할 수 있다. 본원에서 설명된 실시예들에서, 이미지 센서들은 (예컨대, 검출기 어레이에서의) 하나 이상의 광검출기들 - 광검출기들의 각각은 시간의 기간에 걸쳐 그 상에 입사한 광으로부터 수집된 전하들의 수를 표시하는 출력 신호(또한, 이미지 검출 신호로서 본원에서 지칭됨)를 제공함 -, 또는 본원에서 설명된 바와 같은 이미지 정보를 표시하는 검출 신호들을 출력하는 임의의 다른 광학 센서들을 포함할 수 있다. 이미지 센서들은 일반성의 손실 없이 CMOS 이미지 센서들(CIS)을 참조하여 예로서 본원에서 주로 설명된다. CCD들 및 비-실리콘 픽셀화된 전하-통합 디바이스들과 같은(그러나 이것으로 제한되지는 않는) 다른 이미지 센서 기술들은 일부 실시예들에서, 근 적외선 또는 적외선 파장 범위들에서의 또는 그 미만인 광의 파장들의 검출에 기초하여, 본원에서 설명된 실시예들에서 상호 교환가능하게 유사하게 이용될 수 있다는 것이 이해될 것이다.
본 개시내용의 추가의 실시예들은 이미지 센서들과의 솔리드-스테이트 라이다 센서(solid-state lidar sensor)들의 통합에 관한 것이다. 일반성의 손실 없이 그리고 이와 다르게 설명되지 않으면, 솔리드-스테이드 라이다는, 플래시(flash) 라이다 센서들(직접 또는 간접 비행-시간), 마이크로-전기기계 시스템들(micro-electromechanical systems)(MEMS) 주사 시스템들, 주사 미러(scanning mirror)들을 갖는 어레이 센서들, 및 광학 위상 어레이 시스템들을 포함하지만 이것으로 제한되지는 않는, 레인지의 감지 및/또는 감지 그 자체를 위하여 이용된 방출이 하나 이상의 솔리드-스테이트 어레이 디바이스들에서 발생하거나 그렇지 않을 경우에 하나 이상의 솔리드-스테이트 어레이 디바이스들에 의해 제공되는 임의의 라이다를 지칭할 수 있다는 것이 이해될 것이다. 일부 실시예들에서, 라이다 방출기 또는 방출기 어레이는 하나 이상의 파장들(방출 파장들)에서 시야의 전체 또는 일부를 조명할 수 있다. 본원에서 설명된 바와 같은 통합된 라이다 디바이스들 및 시스템들은 방출 소스(예를 들어, 방출기 어레이), 수신기 광학기기들(예를 들어, 적어도 하나의 렌즈 및/또는 빔 분리기 또는 필터), 및 (예를 들어, 검출기 어레이에서의) ToF 센서 및 CIS 또는 다른 이미지 센서를 포함하는 검출기를 포함할 수 있다. 방출기는 시야를 조명한다. 시야로부터의 광은 시야로부터 반사되는 방출기로부터의 광 및 주변 광(시야로부터 또한 반사되는 부분)을 포함한다.
LIDAR 시스템은 방출기 엘리먼트들의 어레이 및 검출기 엘리먼트들의 어레이, 또는 단일 방출기 엘리먼트 및 검출기 엘리먼트들의 어레이를 가지는 시스템, 또는 방출기들의 어레이 및 단일 ToF 검출기 엘리먼트를 가지는 시스템을 포함할 수 있다. 본원에서 설명된 바와 같이, 하나 이상의 방출기들은 방출기 픽셀을 정의할 수 있고, (ToF 센서들 및/또는 이미지 센서들을 포함하는) 하나 이상의 검출기들은 검출기 픽셀을 정의할 수 있다. 플래시 LIDAR 시스템은 FoV에 걸쳐 짧은 기간들(펄스들)에 대하여 방출기들의 어레이로부터의 광을 방출함으로써 그리고 검출기들의 어레이에 의해 반사된 광 방출을 검출함으로써 이미지들을 취득할 수 있다. 방출기 엘리먼트들의 어레이의 서브영역들은 관심 영역들(regions of interest)(ROI)로서 본원에서 또한 지칭되는 FoV 내의 개개의 서브영역들로 광을 지향하도록 배열된다(그리고 검출기 엘리먼트들의 어레이의 서브영역들은 그로부터 광을 수신하도록 배열됨).
본 개시내용의 실시예들에 따른 LIDAR 시스템 또는 회로(100)의 예가 도 1에서 도시된다. 시스템(100)은 제어 회로(105), 타이밍 회로(106), 복수의 방출기들(115e)을 포함하는 방출기 어레이(115), 및 복수의 검출기들(110d 및/또는 110i)을 포함하는 검출기 어레이(110)를 포함한다. 검출기들(110d)은 비행-시간 센서들(예를 들어, SPAD들과 같은 단일-광자 검출기들의 어레이)을 포함한다. 검출기들(110i)은 이미지 센서들(예를 들어, CIS의 어레이)을 포함한다. 방출기 어레이(115)의 방출기 엘리먼트들(115e) 중의 하나 이상은 타이밍 생성기 또는 구동기 회로(116)에 의해 제어된 시간 및 주파수에서 (예를 들어, 확산기 또는 광학 필터(114)를 통해) 방사 펄스 또는 연속파 신호를 각각 방출하는 방출기 픽셀들을 정의할 수 있다. 특정한 실시예들에서, 방출기들(115e)은 (수직 공동 표면 방출 레이저(vertical cavity surface emitting laser)(VCSEL)들과 같은) LED들 또는 레이저들과 같은 펄스화된 광원들일 수 있다. 방사는 타겟(150)으로부터 다시 반사되고, 검출기 어레이(110)의 하나 이상의 검출기 엘리먼트들(110d, 110i)에 의해 정의된 검출기 픽셀들에 의해 감지된다. 제어 회로(105)는 직접 또는 간접 ToF 측정 기법들을 이용하여, 방출기 어레이(115)로부터 타겟(150)으로 그리고 다시 검출기 어레이(110)의 검출기들(110d)로의 여정 상에서 조명 펄스의 비행 시간을 측정하는 픽셀 프로세서를 구현한다.
일부 실시예들에서, 방출기 어레이(115)에서의 방출기 엘리먼트들(115e)의 각각은 개개의 구동기 회로(116)에 접속되고 개개의 구동기 회로(116)에 의해 제어된다. 다른 실시예들에서, 방출기 어레이(115)에서의 방출기 엘리먼트들(115e)(예컨대, 서로에 공간적으로 인접한 방출기 엘리먼트들(115e))의 개개의 그룹들은 동일한 구동기 회로(116)에 접속될 수 있다. 구동기 회로 또는 회로부(116)는 방출기들(115e)로부터 출력되는 광학 방출 신호들의 변조 주파수, 타이밍, 및 진폭을 제어하도록 구성된 하나 이상의 구동기 트랜지스터들을 포함할 수 있다. 다수의 방출기들(115e)로부터의 광학 신호들의 방출은 플래시 LIDAR 시스템(100)을 위한 단일 이미지 프레임을 제공한다. 방출기들(115e)의 최대 광학 전력 출력은 본원에서 설명된 실시예들에 따라 검출될 수 있는 가장 밝은 배경 조명 조건들에서 가장 먼, 가장 덜 반사성인 타겟으로부터의 에코 신호의 신호-대-잡음 비율(signal-to-noise ratio)을 생성하기 위하여 선택될 수 있다. 광의 방출된 파장들을 제어하기 위한 임의적인 필터(113), 및 방출기 어레이(115)의 시야를 증가시키기 위한 확산기(114)는 예로서 예시된다.
방출기들(115e) 중의 하나 이상으로부터 출력된 광 방출은 하나 이상의 타겟들(150) 상에서 충돌하고 하나 이상의 타겟들(150)에 의해 반사하고, 반사된 광은 (예컨대, 수신기 광학기기들(112)을 통해) 검출기들(110d) 중의 하나 이상에 의해 광학 신호(또한, 복귀 신호, 에코 신호, 또는 에코로서 본원에서 지칭됨)로서 검출되고, 전기적 신호 표현(검출 신호로서 본원에서 지칭됨)으로 변환되고, 시야(190)의 3-D 포인트 클라우드 표현(170)을 정의하기 위하여 (예컨대, 비행 시간에 기초하여) 프로세싱된다. 본원에서 설명된 바와 같은 본 개시내용의 실시예들에 따른 LIDAR 시스템들의 동작들은 도 1의 제어 회로(105)와 같은 하나 이상의 프로세서들 또는 제어기들에 의해 수행될 수 있다.
도 1의 예에서, 검출기 어레이(110)는 복수의 이미지 센서들(110i)을 더 포함한다. 수신기 광학기기들(112)은 수신기 광학기기가 능동 조명(방출기들(115e)에 의한 라이다 방출) 및 (일부 수용가능한 수차(aberration)들을 갖는) 주변 양자의 스펙트럼들로부터 광을 수집하도록, 그리고 수신기 광학기기가 시야(190)에 걸쳐 수집된 광을, 그 각각이 응답하여 개개의 검출 신호를 출력하는 ToF 센서(110d) 및 이미지 센서(110i)의 양자 상으로 투영하거나 지향하도록 정렬된다. ToF 센서들(110d)로부터 출력된 검출 신호들은 FoV(190)를 위한 깊이 정보(또한, 깊이 검출 신호들로서 본원에서 지칭됨)를 포함한다. 이미지 센서들(110i)로부터 출력된 검출 신호들은 FoV(190)를 위한 이미지 정보(또한, 이미지 검출 신호들로서 본원에서 지칭됨)를 포함한다. 수신기 광학기기들(112)은 하나 이상의 렌즈들, 빔 분리기들, 및/또는 필터들을 포함할 수 있다. 예를 들어, 도 1의 검출기 어레이(110)를 위하여, 수신기 광학기기들(112)은 시야(190)에서의 타겟들(150)에 의해 반사된 광을, ToF 센서들(110d) 및 이미지 센서들(110i)을 포함하는 어레이(110) 상으로 투영하는 렌즈들의 어레이를 포함할 수 있다.
본 개시내용의 실시예들에 따르면, 수신기 광학기기들(112) 및/또는 검출기 어레이(110)에서의 ToF 센서들(110d) 및 이미지 센서들(110i)의 배열 또는 레이아웃은 제어 회로(105)에 의해 요구된 감소된 프로세싱으로 또는 제어 회로(105)에 의해 요구된 추가의 프로세싱 없이, FoV(190) 상에서 센서들(110d 및 110i)에 의해 검출된 특징부들의 공통 이미지 정합 또는 상관을 제공한다. 즉, ToF 센서(110d)로부터 출력된 검출 신호에 의해 표시된 깊이 정보는 대응하는 이미지 센서(110i)로부터 출력된 검출 신호들에 의해 표시된 이미지 정보와 공간적으로 그리고 시간적으로 상관되고, 여기서, 각각의 ToF 센서(110d)와 하나 이상의 이미지 센서들(110i)(또는 그 반대) 사이의 대응관계는 (수신기 광학기기들(112)에 의한 광의 전환에 의해) 광학적으로 및/또는 (검출기 어레이(110)에서의 센서들(110d, 110i)의 상대적인 배열에 의해) 공간적으로 제공된다. 상관된 정보를 포함하는 개개의 검출 신호들은, ToF 센서(110d)와 상관된 이미지 센서(들)(110i) 사이의 알려진 (광학적 및/또는 공간적) 대응관계에 기초하여 상관된 정보를 감소된 프로세싱 요건들과 병합할 수 있거나 정합할 수 있는 제어 회로(105)에서 수신될 수 있다. 일부 실시예들에서, 이미지 센서들(110i)은 RGB 이미지들 또는 정보를 제공하는 RGB(Red-Green-Blue)(적색-녹색-청색) 2D 카메라를 구현하도록 구성될 수 있고, ToF 센서들(110d)은 깊이 이미지들 또는 정보를 제공할 수 있다. 이와 같이, 본원에서 설명된 바와 같은 상이한 센서들(110d, 110i)에 의해 제공된 데이터 사이의 상관은, 이미지 센서들(110i) 및 ToF 센서들(110d)에 의해 출력된 개개의 검출 신호들로부터의 이미지 정보 및 깊이 정보를 정합하기 위하여 전형적으로 요구되는 프로세싱 또는 계산 오버헤드(overhead)의 감소(또는 부재)로, 시스템(100)이 RGB 카메라에서의 매 픽셀과 연관된 깊이 정보를 제공하는 것을 허용할 수 있다.
본 개시내용의 실시예들에 따른 비행 시간 및 이미지 센서들을 위한 공통 수신기 광학기기들의 예들은 도 2a 및 도 2b에서 도시된다. 특히, 도 2a는 (렌즈(들)(212l) 및 빔 분리기/필터(들)(211)를 포함하는) 수신기 광학기기들(212) 및 센서들(210i, 210d)의 기능적인 배열을 예시하는 한편, 도 2b는 공통 수신기 광학기기들(212)과의 센서들(210i, 210d)의 정렬을 용이하게 할 수 있는, 프리즘들(212i, 212d)을 포함하는 모놀리식 또는 단일체 모듈에서의 수신기 광학기기들(212) 및 센서들(210i, 210d)의 일 예의 구현예를 예시한다. 수신기 광학기기들(212) 및 센서들(210i, 210d)은 일부 실시예들에서, 각각 도 1의 수신기 광학기기들(112) 및 센서들(110i, 110d)을 표현할 수 있거나 이에 대응할 수 있다.
도 2a 및 도 2b에서 도시된 바와 같이, 시야(예컨대, FoV(190))로부터의 입사 광은 공통 광학 엘리먼트 또는 엘리먼트들(212l)에 의해 수집되고, 일부 사례들에서, 2 개의 센서들(210d, 210i) 외부의 최소 누설로, 광의 일부가 ToF 센서(210d) 상으로 들어가고 광의 일부가 RGB 이미지 센서(210i) 상으로 들어가도록, 빔 분리기 또는 필터(211)를 통해 지향된다. 도 2a 및 도 2b의 예들에서, 타겟의 가시 특징부들을 표시할 수 있는, 전자기 스펙트럼의 가시 및/또는 근 적외선 부분들에서의 광(예컨대, 약 380 나노미터(nm) 내지 약 750 nm 사이의 파장들을 가지는 광)은 이미지 센서(210i)로 지향된다. 라이다 시스템(100)의 하나 이상의 방출기들(115e)로부터 출력된 광학 신호들에 대응할 수 있는, 전자기 스펙트럼의 가시 및/또는 근 적외선 부분들보다 더 큰 파장들을 가지는 광(예컨대, 약 750 nm보다 더 큰 파장들, 예를 들어, 940 nm를 가지는 광)은 ToF 센서(210d)로 지향된다. 특히, 방출기(들)(115e)는, FoV(190)에서의 타겟(들)(150)으로부터 반사될 수 있고 수신기 광학기기들(212) 상에 입사하는 광에서의 에코 신호로서 수신될 수 있는, 가시 광의 파장보다 더 큰 파장들을 가지는 광학 신호들을 출력하도록 구성될 수 있다. 렌즈(212l) 및 빔 분리기 또는 필터(211)는 이에 따라, (제1 파장 범위로서 예시된) 가시 및/또는 근 적외선 파장보다 더 큰 광을 ToF 센서(210d)로 지향할 수 있는 반면, (제2 파장 범위로서 예시된) 가시 및/또는 근 적외선 스펙트럼 내의 광은 시간적 및 공간적 상관으로, 이미지 센서(210i)로 지향된다. 제1 및 제2 파장 범위들은 일부 실시예들에서 중첩할 수 있다.
양자의 센서들(210d 및 210i)의 출력들은 시야의 3-D 포인트 클라우드 표현(170)을 정의하기 위하여, 제어 회로(105)와 같은 프로세서를 이용하여 조합될 수 있거나 융합될 수 있다. 공통 수신기 광학기기들(212)은 FoV에 걸쳐 입사 광을 양자의 센서들(210d 및 210i)로 지향하기 위하여 이용되므로, FoV에 걸쳐 이미지 센서(210i) 및 ToF 센서(210d)에 의해 검출된 특징부들 사이의 이미지 정합 또는 상관을 제공하기 위한 프로세싱 동작들은 요구되지 않을 수 있다. 즉, 수신기 광학기기들(212)은 ToF 센서(210d)를 이미지 센서(210i)와 광학적으로 상관시킬 수 있어서, 그로부터 출력된 개개의 검출 신호들은, 공간적으로 그리고 시간적으로 상관되는 깊이 정보 및 이미지 정보를 각각 포함한다. 이것은 프로세싱 요건들을 감소시킬 수 있음으로써, 더 신속하고 덜 비싼 시스템들을 허용할 수 있다. 도 2a 및 도 2b의 예들에서, 센서들(210i 및 210d)은 동일한 검출기 어레이 내에 포함될 수 있지만, 반드시 그렇지는 않다. 본원에서 설명된 추가의 실시예들에서, ToF 센서(210d) 및 이미지 센서(210i)는 동일한 다이 상에서 통합될 수 있음으로써, 렌즈(212), 빔 분리기 또는 필터(211), 및/또는 프리즘들(212i, 212d)의 오정렬의 가능성을 감소시키면서 이미지 정합을 허용할 수 있다.
일부 실시예들에서, 빔 분리기 또는 필터(211)는 2 개의 센서들(210d, 210i)의 광학 경로에서 제공되는 스펙트럼 필터일 수 있다. 필터(211)는, 방출 파장을 포함하는, 즉, 라이다 방출 소스(예컨대, 방출기 어레이(115))로부터 출력된 광을 포함하는 파장 범위의 광이 통과하는 것을 허용하도록 구성된 대역통과 필터일 수 있어서, 주변 광은 ToF 센서(210d)에서 그리고 이미지 센서(210i)에서 충분히 높은 신호-대-잡음 비율을 제공하기 위하여 제거될 수 있다. 도 2a 및 도 2b의 실시예들에서, 필터(211)는 (즉, 이미지 센서(210i) 상에 입사하는 광이 필터(211)를 먼저 통과하지 않도록) 이미지 센서(210i)가 아니라, ToF 센서(210d)의 전방에(즉, ToF 센서(210d)와 렌즈(212l) 사이에) 배열된다. 이에 따라, 광은 필터링되지 않고 이미지 센서(210i)로 지향될 수 있어서, 이미지 센서(210i)는 더 많은 광자들을 캡처할 수 있다. ToF 센서(210d)와 비교하여, 이미지 센서(210i)는 방출 파장 대역에서의 객체들의 반사율에 덜 종속적일 수 있고, 검출기에 근접할 수 있는 고도로-반사성인 객체들(또는 역반사기(retroreflector)들과 같은, 방출기의 광의 상대적으로 큰 부분을 반사하는 이러한 객체들)로부터의 반사된 광에 의해 포화되거나 "블라인딩(blinded)" 되는 것에 덜 취약할 수 있다.
단일 필터 구성을 참조하여 도 2a 및 도 2b에서 예시되었지만, 본 개시내용의 실시예들은 예시된 구성들로 제한되는 것이 아니라, 오히려, 공통 수신기 광학기기들(212)이 입사 광을 ToF 센서 및 이미지 센서 양자 상으로 지향하기 위하여 이용되는 다른 구성들을 포함할 수 있다. 일부 실시예들에서, 제1 필터(211)는 위에서 설명된 바와 같이 ToF 센서(210d)의 전방에 배열될 수 있고, 제2 필터는 예를 들어, 특정한 광학 대역/파장 범위를 우선적으로 이미징하거나 특정한 광학 대역/파장 범위를 우선적으로 차단하기 위하여, 이미지 센서(210i)의 전방에 배열될 수 있다. 일부 실시예들에서, 필터들의 조합은 RGB(적색-녹색-청색) 또는 멀티스펙트럼 이미징을 허용하기 위하여 이미지 센서(210i)의 전방에 배열될 수 있다.
마찬가지로, 일부 실시예들에서, 빔 분리기 또는 필터(211)는 하나 이상의 스펙트럼 대역들 또는 파장 범위들의 광을 센서(210d)의 제1 방향으로, 그리고 다른 대역들 또는 파장 범위들의 광을 센서(210i)의 제2 방향으로 지향하기 위하여, 2 개의 센서들(210d, 210i)의 광학 경로에서 제공되는 이색성 빔 분리기(dichroic beam splitter)일 수 있다. 일부 실시예들에서, 라이다 방출 소스로부터 출력된 광을 포함하는 파장 범위의 광은 ToF 센서(210d)로 반사될 수 있고, 하나 이상의 다른 파장 범위들의 광은 이미지 센서(210i)로 반사될 수 있다. 일부 실시예들에서, 이색성 미러(dichroic mirror)는 빔 분리기(211)로서, 또는 빔 분리기(211)를 대체하기 위하여 이용될 수 있다. 더 일반적으로, 도 2a 및 도 2b에서의 특정한 엘리먼트들을 참조하여 예시되었지만, 본 개시내용의 실시예들은 예시된 엘리먼트들로 제한되지는 않고, 입사 광을 ToF 센서(210d) 및 이미지 센서(210i) 양자 상으로 지향하고, 일부 사례들에서는, 제1 파장 범위의 광을 ToF 센서(210d)로, 그리고 제2/상이한 파장 범위의 광을 이미지 센서(210i)로 지향하는 다른 엘리먼트들 또는 구성들을 포함할 수 있다는 것이 이해될 것이다.
도 1을 다시 참조하면, 일부 실시예들에서, 제어 회로(105)는 ToF 센서(110d)로부터 수신된 3차원 또는 깊이 정보 및 이미지 센서(110i)로부터 수신된 스펙트럼 정보 중의 하나 또는 양자에 기초하여, 예를 들어, 깊이 검출 신호들 및 이미지 검출 신호들에 의해 표시된 밝기, 2차원 또는 3차원 형상, 반사율, 및/또는 컬러에 기초하여, FoV(190)에서 객체들 또는 타겟들(150)을 식별하도록 구성되는 적어도 하나의 프로세서를 포함할 수 있다. 유사하게, 프로세서는 ToF 센서(110d) 및 이미지 센서(110i) 중의 하나 또는 양자로부터의 검출 신호들에 의해 표시된 이러한 또는 다른 데이터에 기초하여 객체들 또는 타겟들(150)을 추적하도록 구성될 수 있다. 일부 실시예들에서, ToF 센서(110d) 및 이미지 센서(110i) 중의 하나 또는 양자로부터의 검출 신호들로부터 판독된 값들은 신뢰성 레벨을 검출 신호들로부터 계산된 레인지 측정들에 배정하기 위하여 프로세서에 의해 이용될 수 있다.
일부 실시예들에서, 레인징 측정들을 수행하기 위하여 ToF 센서들(110d)에 의한 검출을 위한 제1 파장 범위의 광을 방출하는 라이다 방출기들(115e)에 추가적으로, 시스템(100)은 이미지 센서(110i)를 위한 시야(190)를 조명하기 위하여 제2/상이한 파장 범위의 광을 방출하는 하나 이상의 제2 또는 추가적인 방출기들을 포함할 수 있다. 수신기 광학기기들(112) 및/또는 필터(111)는 제1 파장 범위의 입사 광학 신호들을 ToF 센서들(110d)로, 그리고 제2 파장 범위의 입사 광학 신호들을 이미지 센서들(110i)로 지향하도록 마찬가지로 구성될 수 있다. 일부 실시예들에서는, 예를 들어, ToF 센서(110d) 및 이미지 센서(110i)의 전방에 개개의 파장-선택적 필터들을 배열함으로써, ToF 센서(110d)는 방출기들(115e)로부터 출력된 제1 파장 범위의 광에 충분히 민감하도록 구성될 수 있는 반면, 이미지 센서(110i)는 방출기들(115e)로부터 출력된 제1 파장 범위의 광에 충분히 둔감하도록 구성될 수 있다. 일부 실시예들에서, 제2 또는 추가적인 방출기들은 그로부터 출력된 제2 파장 범위의 광이 필터(111) 있이 또는 필터(111) 없이, ToF 센서(110d)에 의해 충분히 검출불가능하도록 구성될 수 있다. 본원에서 설명된 바와 같은 "충분한" 감도 또는 검출은 이미지 센서 및 ToF-특정 방출과 검출 파장 범위들 사이를 구별할 수 있는 구성들을 지칭할 수 있다.
도 1을 여전히 참조하면, 방출기 어레이(115)는 방출기 엘리먼트들(115e)로서 VCSEL들의 어레이를 포함할 수 있다. 일부 실시예들에서, 구동기 회로(116)는 동일한 세기 또는 출력 전력 레벨에서, 즉, VCSEL들(115e)의 각각의 방출이 세기에 있어서 실질적으로 균일하도록, VCSEL들(115e)의 어레이(115)를 구동하도록 구성될 수 있다. 예를 들어, VCSEL 어레이(115)는 펄스화될 수 있고, 어레이(115)에서의 하나 이상의(또는 모든) VCSEL들(115e)의 평균 및 피크 전력은 실질적으로 유사할 수 있거나 동일할 수 있다. 구동기 회로(116)는 (상이한, 비-제로 출력 전력 레벨들을 포함하는) 다수의 세기들 또는 상이한 출력 전력 레벨들에서, 즉, VCSEL들(115e)의 개개의 방출들이 세기에 있어서 비-균일하도록, VCSEL들(115e)의 어레이(115)를 구동하도록 구성될 수 있다.
일부 실시예들에서, 방출기 어레이(115)는 방출기들(115e)의 서브세트들을 포함하는 개개의 서브-영역들로 분할될 수 있고, 방출기들(115e)의 서브세트들의 각각은 개개의 구동기 회로(116)에 의해 구동될 수 있다. 개개의 구동기 회로들(116)은 개개의 세기 또는 출력 전력으로, 즉, 방출기 어레이(115)의 개개의 서브-영역들을 위한 개개의 방출 세기들로 귀착되는 출력 신호들을 제공하기 위하여, 개개의 서브-영역의 방출기들(115e)을 구동하도록 구성될 수 있다. 일부 실시예들에서, 방출기 어레이(115)의 각각의 서브-영역의 개개의 세기들 또는 출력 전력들은 예를 들어, 검출기 어레이(110)의 공간적으로-상관된 검출기들(110d 및/또는 110i)로부터 출력된 피드백 검출 신호들에 기초하여, 제어 회로(105) 또는 다른 프로세서에 의해 결정될 수 있다. 즉, 제어 회로(105) 또는 프로세서는 시야(190)에 걸쳐 검출기 어레이(110)의 검출기들(110d 및/또는 110i)에 의해 검출된 복귀 신호들의 세기에 기초하여 영역 마다 또는 어레이(115)에 대하여 전역적으로 요구된 구동 세기를 계산하도록 구성될 수 있다.
다음의 예들은 본 개시내용의 일부 실시예들에 따라, ToF 센서들(110d)과 이미지 센서들(110i) 사이의 이미지 정합을 제공하는 구성들의 장점들을 예시하기 위하여 제공된다. 하나의 예에서, 라이다 시스템(100)이 (검출기 어레이(110)의 대응하는 영역에서 위치된 검출기들(110d 및/또는 110i)로부터의 검출 신호들에 의해 표시된 바와 같은) FoV(190)의 특정한 영역에서 상대적으로 약한 복귀 신호들을 수신할 때, 제어 회로(105) 또는 프로세서는 FoV(190)의 그 특정한 영역을 조명하도록 배열되는 방출기들(115e)의 대응하는 서브세트들을 통해 더 높은 세기 방출로 귀착되는 구동 신호들을 제공하기 위하여 제어 신호들을 구동기 회로(116)로 출력할 수 있다.
또 다른 예에서, FoV(190)의 특정한 영역과 대면하는 이미지 센서들(110i)은 ToF 센서들(110d)에 의해 비검출되었을 수 있는 타겟(150)을 표시하는 검출 신호들을 출력할 수 있고, 제어 회로(105) 또는 프로세서는 방출 전력을 증가시키기 위하여 FoV(190)의 그 특정한 영역을 조명하도록 배열되는 방출기들(115e)의 서브세트들을 동작시키기 위하여 제어 신호들을 구동기 회로(116)로 출력할 수 있다. 예를 들어, 제어 회로(105) 또는 프로세서는 ToF 센서들(110d)에 의해 비검출되었던 타겟(150)을 식별하기 위하여 (타겟(150)을 검출하였을 수 있는) ToF 센서들(110d) 및 이미지 센서들(110i) 양자로부터의 데이터를 융합할 수 있거나 조합할 수 있고, 응답하여 방출기들(115e)의 하나 이상의 서브세트들에 대한 방출 전력을 조절하기 위하여 제어 신호들을 구동기 회로(116)로 출력할 수 있다. 하나의 예에서, 고도로 반사적인 타겟(150)으로부터의 반사된 신호는 ToF 센서들(110d)을 포화시킬 수 있지만, 이미지 센서들(110i)에 의해 가시적일 수 있거나 검출가능할 수 있고, 제어 회로(105) 또는 프로세서는 반사된 신호를 비-포화시키기 위하여 방출 전력을 감소시키기 위해, 고도로 반사적인 타겟(150)을 포함하는 FoV(190)의 부분 또는 영역을 조명하도록 배열되는 방출기들(115e)의 서브세트들을 동작시키기 위하여, 제어 신호들을 구동기 회로(116)로 출력할 수 있다.
일부 실시예들에서, 라이다 시스템(100)은 플래시 라이다 시스템일 수 있고, 이에 의해, 방출기 어레이(115)는 방출기들(115e)의 그룹들을 동시에 또는 병렬로 동작시키도록 구동될 수 있다. 일부 실시예들에서, 라이다 시스템(100)은 솔리드-스테이트 주사 라이다 시스템일 수 있고, 이에 의해, 방출기 어레이(115)는 그로부터 출력된 광학 신호들이 주사 효과를 제공하도록, 하나 이상의 시퀀스(sequence)들로 개개의 행(row)들 또는 열(column)들의 방출기들(115e)을 순차적으로 동작시키도록 구동될 수 있다. 일부 실시예들에서, 라이다 시스템(100)은 비-솔리드-스테이트 라이다일 수 있다.
도 3 내지 도 7은 FoV에 걸쳐 이미지 센서들 및 ToF 센서들에 의해 검출된 특징부들 사이의 이미지 정합을 제공하기 위하여, 이미지 센서들 및 ToF 센서들이 동일한 반도체 기판 상에서(예컨대, 동일한 칩 또는 다이 상에서) 공동위치되는 검출기 어레이들의 실시예들을 예시한다. 일부 예의 구성들은 빔-분리 광학기기들 없이 구현될 수 있음으로써, (빔 분리기의 오정렬을 회피함으로써) 정렬하기 위하여 더 작고, 더 저렴하고, 더 용이하고, 그리고 더 적은 전력 소비로 동작가능한 시스템들을 제공할 수 있다. 일부 실시예들에서는, 동일한 칩 또는 기판 상에서 RGB 카메라를 LIDAR ToF 카메라 내로 모놀리식 방식으로 통합하기 위한 디바이스들 및 방법들이 제공된다. 또한, 본원에서 설명된 실시예들은 검출기 디바이스들 자체 뿐만 아니라, 일부 사례들에서, 예를 들어, 마이크로 전사 인쇄(Micro Transfer Printing)(MTP) 기법들을 이용하여, 동일한 기판 상에서 어드레싱가능하고 조립된, VCSEL들 또는 다른 방출기들의 어레이와 조합하여 이러한 검출기 디바이스들을 포함하는 플래시 라이다 시스템들에 관한 것이다.
도 3에서 평면도로 도시된 바와 같이, 본원에서 설명된 일부 실시예들은 간접 ToF(iToF) 픽셀들과 같은 ToF 픽셀들(310p) 사이에서 산재된 이미징 픽셀들(310i)을 포함하는 검출기 어레이들(310)을 제공한다. 다수의 이미지 센서들(예컨대, 110i, 210i) 및 ToF 센서들(예컨대, 110d, 210d)은 각각 개개의 이미징 픽셀(310i) 및 ToF 픽셀(310d)을 정의할 수 있다. 예를 들어, iToF 픽셀들은 더 낮은 전압들에서 동작할 수 있고 직접 ToF 픽셀들의 검출기들(예컨대, SPAD 디바이스들)과 연관된 가드 링 구조체들을 전형적으로 가지지 않으므로, iToF 검출기 배열들은 특히 일부 도전들을 제기할 수 있다. 또한, 일반적으로, ToF 픽셀들(310d)은 일부 이미징 픽셀들(310i)보다 (하나 이상의 차원들에서) 더 클 수 있다. 예를 들어, 일부 간접 ToF 픽셀들은 표면적에 있어서 대략 17 마이크론 x 17 마이크론(289 제곱 마이크론)일 수 있고, 일부 직접 ToF 픽셀들은 표면적에 있어서 대략 40 마이크론 x 40 마이크론(1600 제곱 마이크론)일 수 있는 한편, 일부 CIS 픽셀들은 표면적에 있어서 대략 1.4 마이크론 x 1.4 마이크론(1.96 제곱 마이크론)일 수 있다. 이에 따라, ToF 픽셀들(310d)의 표면적은 일부 실시예들에서, 이미징 픽셀들(310i)의 표면적보다 100 배 내지 1000 배 사이로 더 클 수 있다.
일부 실시예들에서, CIS 픽셀들의 어레이와 동일한 반도체 기판 상에서 ToF 픽셀들의 어레이를 포함하는 디바이스는 하이브리드 CIS/ToF 검출기 어레이를 갖는 통합된 센서 다이를 제공하도록 제조될 수 있다. 더 일반적으로, 도 3에서 도시된 바와 같이, 검출기 어레이(310)는 이미징 픽셀들(310i) 및 ToF 픽셀들(310d)의 어레이를 포함할 수 있다. 통합된 센서 다이는 이미징 픽셀들(310i)이 어레이(310)에서의 ToF 픽셀들(310d) 사이에서 산재되도록 레이아웃이 행해진다. 즉, 어레이에서의 픽셀들(310d, 310i)의 배열은, 그로부터 출력된 개개의 검출 신호들이 공간적으로 그리고 시간적으로 상관되는 깊이 정보 및 이미지 정보를 각각 포함하도록, 각각의 ToF 픽셀(310d)을 (예컨대, 서브-픽셀들로서) 하나 이상의 이미징 픽셀들(310i)과 공간적으로 상관시킨다.
도 3 및 도 4의 예들에서, 4 개의 이미징 픽셀들(310i)은 각각의 ToF 픽셀(310d) 주위에서 대칭적으로 레이아웃이 행해지지만, 더 적거나 더 많은 픽셀들(310i 및/또는 310d) 및 또는 그 비대칭적 배열들이 이용될 수 있다. 프로세싱 제어 회로부(305)는 또한, 동일한 반도체 기판 상(즉, 온-칩), 또는 하나 이상의 상이한 기판들 상(즉, 도 3에서 점선 라인에 의해 표시된 바와 같은 오프-칩)의 인접한 영역들에서 제공될 수 있다. 프로세싱 제어 회로부(305)는 일부 실시예들에서, 도 1의 제어 회로(105) 및/또는 연관된 구동기(116) 및 타이밍(106) 회로들을 표현할 수 있거나, 이에 대응할 수 있다. 프로세싱 제어 회로부(305)는 어레이(310)에서의 픽셀들(310d, 310i)의 알려진 대응관계에 기초하여, ToF 픽셀(310d) 및 상관된 이미징 픽셀(들)(310i)로부터 출력된 개개의 검출 신호들에 의해 표시된 특징부들을 정합하거나 상관시키도록 구성될 수 있다. 입력/출력(I/O) 패드들(399)은 검출기 어레이(310)를 하나 이상의 외부 디바이스들에 결합하기 위하여 이용될 수 있다. 예를 들어, 이미징 픽셀들(310i)은 ToF 픽셀들(310d)과는 상이한 판독 요건들을 가질 수 있으므로, I/O 패드들은 이미징 픽셀들(310i) 및 ToF 픽셀들(310d)로부터의 개개의 검출 신호들을 (예컨대, 하나 이상의 상이한 웨이퍼들 또는 기판들 상의) 상이한 판독 회로들에 제공할 수 있다.
일부 실시예들에서, 픽셀들(310i, 310d)의 서브세트들 또는 전부는 전력 공급 라인들을 공유할 수 있다. 일부 실시예들에서는, 이미징 픽셀들(310i)이 ToF 픽셀들(310d)과는 상이한 전력 요건들을 가질 수 있으므로, 이미징 픽셀들(310i)의 서브세트들 또는 전부는 제1 전력 공급 라인들을 공유할 수 있는 반면, ToF 픽셀들(310d)의 서브세트들 또는 전부는 제2 전력 공급 라인들을 공유할 수 있다. 예를 들어, ToF 픽셀들(310d)을 위한 SPAD 픽셀들을 이용하는 것은 이미징 픽셀들(310i)을 위한 CIS 픽셀들을 이용하는 것보다 더 높은 전압들을 요구할 수 있다. 또한, ToF 픽셀들(310d)은 이미징 픽셀들(310i)보다 공급 잡음에 더 민감할 수 있으므로, 픽셀들(310d, 310i)을 위한 별도의 공급 라인들은 전기적 잡음 격리를 위하여 이용될 수 있다.
도 4a 및 도 4b는 본 개시내용의 실시예들에 따라, 통합된 ToF 및 이미징 픽셀들(410a 및 410b)의 예들을 예시하는 평면도 블록 다이어그램들이다. 픽셀들(410a 및 410b)은 일부 실시예들에서, 도 3의 검출기 어레이(310)에서의 ToF 픽셀들(310d) 및 인접한 이미징 픽셀들(310i)의 평면도들을 각각 표현할 수 있거나 이에 대응할 수 있다. 특히, 도 4a는 가시 광 이미징 및 깊이 정보(또한, RGB+D로서 본원에서 지칭됨)를 제공하는 픽셀(410a)을 위한 일 예의 평면도 레이아웃을 예시하는 한편, 도 4b는 가시 플러스(plus) 적외선(IR) 광 이미징 및 깊이 정보(또한, RGBI+D로서 본원에서 지칭됨)를 제공하는 픽셀(410b)을 위한 일 예의 평면도 레이아웃을 예시한다. 도 3에서 도시된 배열과 유사하게, 픽셀들(410a, 410b)은 예로서 ToF 픽셀의 개개의 코너들에서 예시된 4 개의 이미징 서브-픽셀들(예컨대, 픽셀들(310i))에 의해 포위된 ToF 픽셀(예컨대, 픽셀(310d))을 각각 포함하여, 픽셀들(410a, 410b)은 어레이(예컨대, 어레이(310))에서 배열될 수 있다.
도 4a 및 도 4b의 예들에서, ToF 픽셀들 및 이미징 픽셀들은 광의 희망된 파장들의 검출을 허용하기 위하여 ToF 및 이미징 픽셀들의 광학 경로에서 위에 놓이거나 그렇지 않을 경우에 배열된 개개의 파장-선택적 필터들(411r, 411g, 411b, 411d, 및/또는 411i)(집합적으로 411)을 포함한다. 특히, 도 4a의 RGB+D 픽셀(410a)에서, 근-적외선(near-infrared)(NIR) 파장 대역 또는 범위에 대응하는 파장들의 광이 통과하는 것을 허용하도록 구성되는 필터(411d)는 ToF 픽셀 위에 배열된다. NIR 파장 범위는 약 780 nm 내지 약 2500 nm의 파장들을 포함할 수 있다. 적색, 녹색, 녹색, 및 청색(RGGB) 파장 대역들 또는 범위들에 대응하는 파장들의 광이 통과하는 것을 허용하도록 구성되는 필터들(411r, 411g, 411g, 및 411b)은 각각 4 개의 이미징 서브-픽셀들 위에 배열된다. 적색 파장 범위는 약 615 nm 내지 약 750 nm의 파장들을 포함할 수 있고; 녹색 파장 범위는 약 495 nm 내지 약 580 nm의 파장들을 포함할 수 있고; 청색 파장 범위는 약 415 nm 내지 약 490 nm의 파장들을 포함할 수 있다. 픽셀(410a)은, 더 많은 정보를 수집하거나, 그렇지 않을 경우에, 가시 광 소스들에 의한 FoV의 조명에 응답하여 더 많은 에너지를 포함할 수 있는 가시 스펙트럼의 녹색 파장 범위에서의 광에 대한 더 큰 감도를 제공하기 위하여, 이미징 픽셀들 중의 2 개의 위에 놓이는 2 개의 녹색-감지 필터들(411g)을 포함할 수 있다.
유사하게, 도 4b의 RGBI+D 픽셀(410b)에서, 적외선(IR) 또는 근 적외선(NIR) 파장 대역 또는 범위에 대응하는 파장들의 광이 통과하는 것을 허용하도록 구성되는 필터(411d)는 ToF 픽셀 위에 배열되고, 적색, 녹색, 및 청색(RGB) 파장 대역들 또는 범위들에 대응하는 파장들의 광이 통과하는 것을 허용하도록 구성되는 필터들(411r, 411g, 및 411b)은 각각 4 개의 이미징 서브-픽셀들 중의 3 개의 위에 배열된다. 픽셀(410b)은, 정보를 수집하거나, 그렇지 않을 경우에, (예컨대, 야간 시각 또는 다른 저-광 또는 무광(no-light) 이미징을 위한) 가시 광에 의한 FoV의 조명의 부재 시에 이미징을 허용할 수 있는 가시 스펙트럼의 적외선 범위에서의 광에 대한 감도를 제공하기 위하여, 제4 이미징 서브-픽셀 위에 놓이는 IR 또는 NIR 필터들(411i)을 더 포함할 수 있다. 이에 따라, 픽셀(410b)은 컬러(RGB), 적외선(I), 및 깊이(D) 정보를 검출할 수 있다.
동일한 기판 상에서 ToF 및 이미징 픽셀들을 통합할 시에는, 일부 라이다 시스템들이 NIR 파장 범위 이상에서, 예를 들어, 약 780 nm보다 더 큰 파장들(예컨대, 약 850 nm, 905 nm, 또는 940 nm)에서 광을 방출하는 방출기들을 포함할 수 있다는 것과, 실리콘은 이 파장들에서 매우 낮은 흡수 계수를 가진다는 것이 이해된다. 이미징 픽셀들(310i)은 예를 들어, 약 500 nm 내지 약 750 nm의 파장 범위에서의 가시 파장 광자들에 대한 정보를 제공할 수 있고, 여기서, 실리콘은 상대적으로 높은 흡수 계수를 가진다. 일부 CIS 어레이들은 가시 및 NIR 또는 근 자외선(ultraviolet)(UV) 파장들(예컨대, 적색, 녹색, 청색, 자외선(RGBU))에 민감할 수 있고, CIS 어레이들의 픽셀들은 이미지를 제공하기 위하여 전하를 통합할 수 있지만, 레인지를 제공하도록 구성되지 않을 수 있다. 본원에서 설명된 추가의 실시예들에 따라 동일한 기판 상에서 ToF 및 이미징 픽셀들을 통합할 때, 이미징 픽셀들은 상대적으로 얕은 p-n 또는 p-i-n 접합들로 형성될 수 있는 반면, 라이다 ToF 픽셀들은 더 깊고, 더 넓은 p-n 또는 p-i-n 접합들로 형성될 수 있다. 접합 영역들은 일반적으로, p-n 또는 p-i-n 접합들을 지칭하기 위하여 본원에서 이용될 수 있다.
도 5a 및 도 5b는 본 개시내용의 실시예들에 따라, 동일한 반도체 기판(500) 상에서 통합된 ToF 센서들 및 이미지 센서들의 예들(510a 및 510b)을 예시하는 단면도들이다. 도 5a 및 도 5b의 픽셀들(510a 및 510b)은 인접한 이미징 센서들(510i) 사이에서 대칭적으로 배열된 ToF 센서(510d)를 각각 포함할 수 있지만; 그러나, 더 적은/더 많은 센서들(510d, 510i) 및/또는 비대칭적 배열들이 이용될 수 있다는 것이 이해될 것이다. ToF 센서(510d) 및 인접한 이미징 센서들(510i)은 일부 실시예들에서, 각각 도 3의 ToF 픽셀(310d) 및 인접한 이미징 픽셀들(310i)의 단면들을 표현할 수 있거나 이에 대응할 수 있다. ToF 센서(510d) 및 인접한 이미징 센서들(510i)은 일부 실시예들에서, 도 4a 또는 도 4b의 픽셀들(410a 또는 410b)의 단면들을 표현할 수 있거나 이에 대응할 수 있고, 도 4a 및 도 4b의 이미징 필터들(411r/411g/411b/411i) 및 ToF 필터(411d)와 유사한 파장 선택적 이미징 필터들(511i) 및 ToF 필터들(511d)을 포함할 수 있다.
도 5a 및 도 5b에서 도시된 바와 같이, 기판(500)과는 반대의 전도성 유형(p-형 또는 n-형)의 도펀트(dopant)들은 (ToF 센서들(510d)의 포토다이오드들을 정의하는) 상대적으로 더 깊고 더 넓은 웰 영역들(510w) 및 (이미징 센서들(510i)의 포토다이오드들을 정의하는) 상대적으로 더 얕고 더 좁은 웰 영역들(510s)을 형성하기 위하여 (예컨대, 주입에 의해) 기판(500)에서 제공된다. 예를 들어, 기판(500)은 p-형 반도체 재료일 수 있고, 웰 영역들(510w, 510s)은 상이한 깊이들을 갖는 ToF 센서들(510d) 및 이미징 센서들(510i)의 접합 영역들을 제공하기 위하여 상이한 주입 에너지들로 n-형 도펀트들을 기판(500)의 표면으로 주입함으로써 형성될 수 있다. 유전체 층(들) 및 금속 층들은 각각 유전체 적층체(501) 및 금속 라인들(599)을 정의하기 위하여 기판(500)의 표면 상에서 형성될 수 있다. 금속 라인들(599)은 ToF 센서들(510d) 및 이미징 센서들(510i)로 및/또는 ToF 센서들(510d) 및 이미징 센서들(510i)로부터 신호들을 라우팅하기 위한 접속들을 구현할 수 있다.
도 5a 및 도 5b를 여전히 참조하면, 마이크로렌즈들(512a 및 512b)의 매트릭스 또는 어레이는 수신기 광학기기들로서 하이브리드 이미징/ToF 어레이에 적용될 수 있다. 예를 들어, 도 5a에서 도시된 바와 같이, 마이크로렌즈들(512a)의 어레이는 각각 이미징 센서들(510i) 및 ToF 센서들(510d)에 대하여 (평면도로) 정렬되고 상이하게 크기결정되는 마이크로렌즈들(512i 및 512d)을 포함할 수 있다. 특히, ToF 마이크로렌즈들(512d)은, 입사 광 수집, 및 이미징 센서들(510i)의 더 좁고 더 얕은 접합 영역들과 비교하여 ToF 센서들(510d)의 더 넓고 더 깊은 접합 영역들로의 입사 광의 지향을 개선시키거나 최적화하기 위하여, 이미징 마이크로렌즈들(512i)보다 더 넓고 더 크도록 형성될 수 있다.
일부 실시예들에서, 마이크로렌즈들(512b)의 어레이는 도 5b에서 도시된 바와 같이, 다수의 CIS 픽셀들 및 ToF 픽셀들을 위한 공통 마이크로렌즈(512c)를 포함할 수 있다. 특히, ToF/이미징 마이크로렌즈들(512c)은 입사 광을 ToF 센서들(510d)의 더 넓고 더 깊은 접합 영역들 및 이미징 센서들(510i)의 더 좁고 더 얕은 접합 영역들의 양자로 지향하는 개개의 영역들로 형성될 수 있다.
마이크로렌즈들(512)이 마이크로렌즈들(512)과 기판(500)에서 형성된 포토다이오드들 사이의 금속 라인들(599)을 갖는 유전체 적층체(501)의 표면 상에서 제공되는 전방 조명 방식들을 참조하여 도 5a 및 도 5b에서 예시되었지만, 마이크로렌즈들(512)의 어레이는 본 개시내용의 일부 실시예들에서 마이크로렌즈들(512)과 금속 라인들(599) 사이의 포토다이오드들 및 기판(500)으로, 후방 조명 방식에서의 기판(500)의 반대 표면 상에서 대안적으로 구현될 수 있다는 것이 이해될 것이다. 또한, 도시되지 않지만, 격리 구조체들은 이미징 센서들(510i)의 접합 영역들로부터 ToF 센서들(510d)의 접합 영역들을 분리시켜서, 광생성된 전하들이 영역들(510d 및 510i) 사이에서 확산할 확률을 감소시키기 위하여, 기판(500)의 영역들에서 또는 기판(500)의 영역들 상에서 구현될 수 있다. 예를 들어, 격리 구조체들은 ToF 센서들(510d)의 p-n 접합들과 이미징 센서들(510i)의 p-n 접합들 사이의 격리 트렌치(isolating trench)들로서 구현될 수 있다. ToF 센서들(510d)의 접합 영역들과 이미징 센서들(510i)의 접합 영역들 사이의 격리 트렌치들은 하나 이상의 유전체 재료들로 충전될 수 있다. 일부 실시예들에서, 격리 트렌치들은 ToF 센서들(510d)의 접합 영역들만큼 적어도 깊은 (기판(500)의 표면에 대해) 개개의 깊이들을 가질 수 있다. 일부 실시예들에서, 격리 트렌치들은 잡음을 증가시킬 수 있는, 기판(500)의 결정질 구조체에서의 결함들의 형성을 감소시키거나 최소화하기 위하여 패시베이팅(passivate)될 수 있다. 일부 실시예들에서, 격리 구조체들, 트렌치들, 또는 그 외의 것은 ToF 센서들(510d) 또는 그 접합 영역들을 포위할 수 있다.
일부 실시예들에서, 더 얕은 이미징 픽셀 접합 영역들은 어레이에서의 더 깊은 ToF 픽셀 접합 영역들 바로 위에서 또는 어레이에서의 더 깊은 ToF 픽셀 접합 영역들과 평면도로 중첩하게 형성될 수 있다. 도 6은 본 개시내용의 실시예들에 따라, 동일한 반도체 기판(600) 상에서 통합된 ToF 센서들(610d) 및 이미지 센서들(610i)을 포함하는 검출기 어레이(610)를 갖는 통합된 센서 다이의 예들을 예시하는 단면도이다. 검출기 어레이(610)는 3 개의 병립형 검출기 픽셀들(610a, 610b, 610c)을 예시하지만, 어레이(610)는 예를 들어, 도 3의 검출기 어레이의 배열과 유사한 행들 및 열들을 정의하기 위하여, 하나 이상의 차원들에서 추가적인 픽셀들을 포함할 수 있다는 것이 이해될 것이다.
도 6에서 도시된 바와 같이, 기판(600)과는 반대의 전도성 유형(p-형 또는 n-형)의 도펀트들은 (ToF 센서들(610d)의 포토다이오드들을 정의하는) 더 깊고 더 넓은 웰 영역들(610w) 및 (이미징 센서들(610i)의 포토다이오드들을 정의하는) 더 얕고 더 좁은 웰 영역들(610s)을 형성하기 위하여 (예컨대, 주입에 의해) 기판에서 제공된다. 예를 들어, 그리고 일반성의 손실 없이, 얕은 n+ 영역(610s)은 가시 파장 범위에서의 광자들의 검출을 위한 이미징 센서(610i)의 포토다이오드를 형성하기 위하여 제1 p-웰 접합(610i)과의 p-n 접합을 정의하는 반면, 깊은 n-웰 영역(610w)은 NIR 파장 범위에서의 광자들의 검출을 위한 ToF 픽셀의 포토다이오드를 형성하기 위하여 p-형 기판(600)과의 p-n 접합을 정의한다. 센서들(610i 및 610d)은 광의 상이한 파장들에 민감할 수 있으므로, 센서들(610d) 상의 센서들(610i)의 적층된 배열은 가시 파장 광자들이 이미징 센서들(610i)에 의해 검출되는 것을 허용할 수 있는 반면, 더 큰 파장들의 광자들은 아래에 놓인 ToF 센서들(610d)로 투과될 수 있다.
도 6의 예에서, 기판(600)은 p-형 반도체 재료이고, 웰 영역들(610w, 610s)은 상이한 깊이들을 갖는 ToF 센서들(610d) 및 이미징 센서들(610i)의 접합 영역들을 제공하기 위하여 상이한 주입 에너지들로 n-형 도펀트들을 기판(600)의 표면으로 순차적으로 주입함으로써 형성될 수 있다. 중간 접합 영역(610j)은 이미징 센서들(610i)의 얕은 접합 영역과 ToF 센서들(610d)의 깊은 접합 영역 사이에서 제공된다. 중간 접합 영역들(610j)은 이미징 센서들(610i)의 얕은 접합 영역으로부터 ToF 센서들(610d)의 깊은 접합 영역으로, 또는 그 반대로의 전하 캐리어들의 이주를 감소시키거나 방지하기 위하여, 아래에 놓인 ToF 센서들(610d)과 그 상에서 적층된 위에 놓인 이미징 센서들(610i) 사이의 전기적 격리를 제공하는 격리 구조체들로서 작용할 수 있다.
일부 실시예들에서, 이미징 센서(610i)의 얕은 접합 영역의 판독 노드는 감지, 전송, 및/또는 재설정 노드에 전기적으로 접속된다. 예를 들어, 이미징 센서(610i)의 얕은 접합 영역의 판독 노드는 감지 팔로워(sense follower) MOSFET의 게이트에 접속될 수 있다. 마찬가지로, 일부 실시예들에서, ToF 센서(610d)의 깊은 접합 영역의 감지 노드는 감지, 전송, 또는 재설정 노드에 전기적으로 접속될 수 있다. 예를 들어, ToF 센서(610d)의 깊은 p-n 접합이 SPAD의 일부일 경우에, 깊은 n-웰(deep n-well)(DNW)(610w)은 추가의 프로세싱을 위하여 MOSFET의 게이트에 전기적으로 접속될 수 있다. 판독 MOSFET들 및/또는 다른 회로부는 일부 실시예들에서, 기판(600)과는 상이한 웨이퍼 또는 기판 상에서 제공될 수 있다.
도 5a 및 도 5b의 실시예들과 유사하게, 유전체 층(들) 및 금속 층들은 각각 유전체 적층체 및 금속 라인들을 정의하기 위하여 기판(600)의 표면 상에서 형성될 수 있다. 또한, 도 5a 및 도 5b의 실시예들과 유사하게, (예컨대, 마이크로렌즈들의 매트릭스 또는 어레이로서의) 수신기 광학기기들은 전방 또는 후방 조명 배열에서 하이브리드 이미징/ToF 어레이(610)에 적용될 수 있다. (접합 영역들(610i)에 추가적인) 격리 구조체들은 광생성된 전하들이 적층된 검출기 픽셀들(610a, 610b, 및 610c)의 접합 영역들 사이에서 확산할 확률을 감소시키기 위하여, 인접한 ToF/이미징 픽셀 적층체들(610a, 610b, 및 610c) 사이의(또는 개개의 적층체들을 포위하는) 기판(600)의 영역들에서 또는 기판(600)의 영역들 상에서 또한 구현될 수 있다.
따라서, 일부 실시예들에서, RGB 카메라는 동일한 칩 상에서 LIDAR ToF 카메라 내로 모놀리식 방식으로 통합될 수 있고, 하나 이상의 CIS 포토다이오드들은 하나 이상의 ToF 포토다이오드들 상부에서 형성될 수 있다. 도 5a, 도 5b, 및 도 6의 예들에서의 특정한 영역들의 특정한 전도성 유형들을 참조하여 예시되었지만, 본 개시내용의 실시예들은 이 예들로 제한되지는 않고, 반대의 전도성 유형들이 이용될 수 있다는 것이 이해될 것이다. 즉, p-기판 및 n-도펀트들을 참조하여 예시되었지만, p-도펀트들을 갖는 n-기판은 일부 실시예들에서, ToF 센서들(610d)의 깊은 접합 영역들 및 그 상에서 적층된 이미징 센서들(610i)의 얕은 접합 영역들을 형성하기 위하여 이용될 수 있다.
도 7은 본 개시내용의 실시예들에 따라, 통합된 ToF 및 이미지 센서들의 추가의 예들을 예시하는 평면도 블록 다이어그램이다. 도 7의 검출기 픽셀(710)은 도 3의 검출기 어레이(310)에서의 ToF 픽셀들(310d) 및 인접한 이미징 픽셀들(310i), 도 4a 또는 도 4b의 검출기 픽셀들(410a 또는 410b), 도 5a 또는 도 5b의 검출기 픽셀들(510a 또는 510b), 또는 도 6의 검출기 픽셀들(610a 내지 610c) 중의 임의의 것의 평면도들을 표현할 수 있거나 이에 대응할 수 있다. 특히, 도 7에서 도시된 예에서는, 근-적외선(NIR) 파장 대역 또는 범위에 대응하는 파장들의 광에 민감한 ToF 센서(710d)를 포함하는 RGB+D 픽셀을 제공하기 위하여, 검출기 픽셀(710)은 도 4a의 검출기 픽셀(410a)과 유사할 수 있고, 이미지 센서들(710r, 710g, 710g, 및 710b)은 각각 적색, 녹색, 녹색, 및 청색(RGGB) 파장 대역들 또는 범위들에 대응하는 파장들에 민감한 이미징 서브-픽셀들을 정의한다. 대안적으로, RGBI+D 픽셀을 제공하기 위하여, 검출기 픽셀(710)은 도 4b의 검출기 픽셀(410b)과 유사할 수 있고, 녹색 서브-픽셀들(710g) 중의 하나는 IR 또는 NIR 파장 대역들 또는 범위들의 파장들에 민감한 서브-픽셀로 대체될 수 있다.
검출기 픽셀(710)은 예를 들어, 공핍 범위의 깊이를 변조하기 위하여, 전기장을 제어하기 위하여, 및/또는 전하들을 인접한 웰들 또는 커패시터들로 전송하기 위하여, ToF 센서(710d) 및/또는 이미지 센서들(710r, 710g, 710g, 및 710b)의 접합들 중의 하나 이상의 활성 영역 상부에서 또는 활성 영역 주위에서 형성된 (포토게이트(photogate)들 또는 전송 게이트(transfer gate)들과 같은) 게이트 구조체들(722)을 더 포함한다. 도 7의 예에서, 게이트 구조체들(722)은 예로서 ToF 센서(710d) 및 포위하는 이미지 센서들(710r, 710g, 710g, 및 710b)의 주연부(periphery)에서 구현되지만, 다른 배열들이 이용될 수 있다는 것이 이해될 것이다. 일부 실시예들에서, 게이트 구조체들(722)은 광의 NIR 파장들에 투명할 수 있지만, 광의 가시 파장들에 투명하지 않을 수 있다(또는 그 반대도 마찬가지임). 게이트 구조체들(722)이 가시 파장들이 아니라, NIR 파장들에 투명할 때, 이미지 센서들(710r, 710g, 710g, 및 710b)에 의한 가시 광자 흡수 및 검출은 게이트 구조체들(722)(또는 다른 전극들 또는 부유 구조체들)에 의해 국소화될 수 있고 정의될 수 있는 반면, 적외선 광자들은 게이트 구조체들(722)을 통해 투과될 수 있고 ToF 픽셀들(711d)의 깊은 아래에 놓인 접합들을 가로질러서 검출될 수 있다. 즉, 게이트 구조체들(722)은 평면도에서의 ToF 센서(710d) 및/또는 이미지 센서들(710r, 710g, 710g, 및 710b)의 접합들 중의 하나 이상과 중첩하게 배열될 수 있고, 파장 투과율 특성들은 대응하는 파장 범위들의 광을 그 파장 범위들에 민감한 아래에 놓인 ToF 또는 이미지 센서들로 지향하도록 선택될 수 있거나 그렇지 않을 경우에 구성될 수 있다.
위에서 언급된 바와 같이, 본원에서 설명된 통합된 검출기 어레이들의 ToF 픽셀들 및 이미징 픽셀들을 위한 판독 요건들은 동일할 수 있거나 상이할 수 있고, 본원에서 설명된 제어 회로들(예컨대, 105, 305)은 동일하거나 상이한 판독 요건들에 따라 검출기들을 동작시키도록 구성될 수 있다. 일부 실시예들에서, ToF 픽셀들의 판독은 전역적 셔터 방식을 이용하여 구현될 수 있어서, 검출기 어레이의 ToF 픽셀들은 FoV의 "스냅샷(snapshot)"을 캡처하기 위하여 실질적으로 동시에 동작된다. 일부 실시예들에서, 이미징 픽셀들의 판독은 전역적 셔터 방식(global shutter scheme)을 이용하여 구현된다. 일부 실시예들에서, ToF 픽셀들의 판독은 롤링 셔터 방식(rolling shutter scheme)을 이용하여 구현되어, 검출기 어레이의 ToF 픽셀들은 FoV에 걸쳐 "주사"하기 위하여 순차적으로 동작된다. 일부 실시예들에서, 이미징 픽셀들의 판독은 롤링 셔터 방식을 이용하여 구현된다. 즉, 전역적 및 롤링 셔터 방식들의 임의의 조합은 본원에서 설명된 바와 같은 통합된 검출기들에서의 ToF 픽셀들 및 이미징 픽셀들의 판독을 위하여 이용될 수 있다. 도 3을 참조하여 위에서 논의된 바와 같이, I/O 패드들(예컨대, 399)은 이미징 픽셀들 및 ToF 픽셀들로부터의 개개의 검출 신호들을 일부 실시예들에서, 하나 이상의 상이한 웨이퍼들 또는 기판들 상의 상이한 판독 회로들에 제공할 수 있다.
또한, 본원에서 설명된 바와 같은 ToF 픽셀들 및 이미징 픽셀들을 위한 프레임 레이트(frame rate)(예컨대, 3D FoV에서의 포인트를 샘플링하는 레이트)는 대략 동일할 수 있거나 상이할 수 있고, 본원에서 설명된 제어 회로들(예컨대, 105, 305)은 동일한 또는 상이한 프레임 레이트들에 따라 검출기들을 동작시키도록 구성될 수 있다. 예를 들어, 시야에서의 상대적으로 밝은 태양광 및 상대적으로 어두운 타겟들의 경우에, 이미징 픽셀들은 더 높은 프레임 레이트에서 동작될 수 있는 반면, ToF 픽셀들은 더 낮은 프레임 레이트에서 동작될 수 있다.
제어 회로들(예컨대, 105, 305)은 본원에서 설명된 검출기 어레이들의 영역-마다의 행별(row-wise) 및/또는 열별(column-wise) 동작들을 수행하도록 또한 구성될 수 있고, 여기서, 영역은 검출기 어레이에서의 하나 이상의 픽셀들을 포함할 수 있다. 일부 실시예들에서, 하이브리드 이미지 센서/ToF 센서 검출기로부터의 판독은 아날로그일 수 있고, 프로세싱은 오프-칩으로 수행될 수 있다. 일부 실시예들에서, 열별 아날로그 대 디지털 변환기(analog to digital converter)(ADC) 어레이는 ToF 픽셀들로부터의 판독을 온-칩 또는 오프-칩으로 디지털화하기 위하여 구현될 수 있다. 유사하게, 일부 실시예들에서, 행별 ADC 어레이는 온-칩 또는 오프-칩으로 구현될 수 있다. 일부 실시예들에서, ADC들은 ToF 및 이미징 픽셀들 사이에서 공유될 수 있다. 일부 실시예들에서, 하나의 열별 또는 행별 ADC 어레이는 이미징 픽셀들에 전용될 수 있고, 하나의 ADC 또는 시간 대 디지털 변환기(time to digital converter)(TDC) 어레이는 ToF 픽셀들에 전용될 수 있다. 일부 실시예들에서, ToF 픽셀들은 ADC 또는 TDC를 포함할 수 있다. 일부 실시예들에서, 온-칩 또는 오프-칩 프로세서는 이미징 픽셀들의 서브세트들과 ToF 픽셀들의 서브세트들 사이의 알려진 대응관계에 기초하여, 이미징 픽셀들의 어레이에 의해 감지된 특징부들을 시야에 걸쳐 ToF 픽셀들의 어레이에 의해 감지된 레인지들과 정합하거나 상관시키도록 구성될 수 있다.
본원에서 설명된 라이다 시스템들 및 어레이들은 ADAS(Advanced Driver Assistance Systems)(진보된 운전자 보조 시스템들), 자율 차량들, UAV(unmanned aerial vehicle)(무인 항공기)들, 산업적 자동화, 로봇공학, 생체계측들, 모델링, 증강 및 가상 현실, 3D 맵핑, 및 보안에 적용될 수 있다. 일부 실시예들에서, 방출기 어레이의 방출기 엘리먼트들은 수직 공동 표면 방출 레이저(VCSEL)들일 수 있다. 일부 실시예들에서는, 미국 특허 상표청에 2018년 4월 12일자로 출원되고, 그 개시내용이 본원에 참조로 포함되는, Burroughs 등에 대한, 예를 들어, 미국 특허 출원 공개 제2018/0301872호에서 설명된 바와 같이, 방출기 어레이는 기판 상에서 직렬 및/또는 병렬로 전기적으로 접속된 수 천 개의 개별 방출기 엘리먼트들을 가지는 비-고유(non-native) 기판을 포함할 수 있고, 구동기 회로는 방출기 어레이의 개개의 행들 및/또는 열들에 인접한 비-고유 기판 상에서 통합된 구동기 트랜지스터들에 의해 구현될 수 있다.
다양한 실시예들은 일 예의 실시예들이 도시되는 동반 도면들을 참조하여 본원에서 설명되었다. 그러나, 이 실시예들은 상이한 형태들로 구체화될 수 있고, 본원에서 기재된 실시예들로 제한된 것으로서 해석되지 않아야 한다. 오히려, 이 실시예들은 이 개시내용이 철저하고 완전하게 되도록, 그리고 발명적 개념을 본 기술분야에서의 통상의 기술자들에게 완전히 전달하도록 제공된다. 일 예의 실시예들에 대한 다양한 변형들 및 본원에서 설명된 일반적인 원리들 및 특징들은 용이하게 분명할 것이다. 도면들에서, 층들 및 영역들의 크기들 및 상대적인 크기들은 축척에 맞도록 도시되지 않고, 일부 사례들에서는, 명확성을 위하여 과장될 수 있다.
일 예의 실시예들은 특정한 구현예들에서 제공된 특정한 방법들 및 디바이스들의 측면에서 주로 설명된다. 그러나, 방법들 및 디바이스들은 다른 구현예들에서 효과적으로 동작할 수 있다. "일부 실시예들", "하나의 실시예", 및 "또 다른 실시예"와 같은 어구들은 동일한 또는 상이한 실시예들 뿐만 아니라, 다수의 실시예들을 지칭할 수 있다. 실시예들은 어떤 컴포넌트들을 가지는 시스템들 및/또는 디바이스들에 대하여 설명될 것이다. 그러나, 시스템들 및/또는 디바이스들은 도시된 것들보다 더 적은 또는 추가적인 컴포넌트들을 포함할 수 있고, 컴포넌트들의 배열 및 유형에서의 변동들은 발명적 개념들의 범위로부터 이탈하지 않으면서 행해질 수 있다. 일 예의 실시예들은 어떤 단계들 또는 동작들을 가지는 특정한 방법들의 맥락에서 또한 설명될 것이다. 그러나, 방법들 및 디바이스들은 상이한 및/또는 추가적인 단계들/동작들, 및 일 예의 실시예들과 불일치하지 않는 상이한 순서들에서의 단계들/동작들을 가지는 다른 방법들에 대하여 효과적으로 동작할 수 있다. 이에 따라, 본 발명적 개념들은 도시된 실시예들로 제한되도록 의도되는 것이 아니라, 본원에서 설명된 원리들 및 특징들과 일치하는 가장 넓은 범위를 따르도록 하기 위한 것이다.
엘리먼트가 또 다른 엘리먼트에 "접속된(connected)" 또는 "결합된(coupled)" 것으로서 지칭되거나 예시될 때, 엘리먼트는 또 다른 엘리먼트 바로 위에 있을 수 있거나, 접속될 수 있거나, 결합될 수 있거나, 개재하는 엘리먼트들이 존재할 수 있다는 것이 이해될 것이다. 대조적으로, 엘리먼트가 또 다른 엘리먼트에 "바로 위에" 있거나, "직접적으로 접속되거나", 또는 "직접적으로 결합된" 것으로서 지칭될 때, 개재하는 엘리먼트들이 존재하지 않는다.
용어들 제1, 제2 등은 다양한 엘리먼트들을 설명하기 위하여 본원에서 이용될 수 있지만, 이 엘리먼트들은 이 용어들에 의해 제한되지 않아야 한다는 것이 또한 이해될 것이다. 이 용어들은 하나의 엘리먼트를 또 다른 것으로부터 구별하기 위하여 오직 이용된다. 예를 들어, 본 개시내용의 범위로부터 이탈하지 않으면서, 제1 엘리먼트는 제2 엘리먼트로 칭해질 수 있고, 유사하게, 제2 엘리먼트는 제1 엘리먼트로 칭해질 수 있다.
또한, "하부(lower)" 또는 "하단(bottom)" 및 "상부(upper)" 또는 "상단(top)"과 같은 상대적인 용어들은 도면들에서 예시된 바와 같이, 또 다른 엘리먼트에 대한 하나의 엘리먼트의 관계를 설명하기 위하여 본원에서 이용될 수 있다. 상대적인 용어들은 도면들에서 도시된 배향에 추가적으로, 디바이스의 상이한 배향들을 포괄하도록 의도된다는 것이 이해될 것이다. 예를 들어, 도면들 중의 하나에서의 디바이스가 뒤집힐 경우에, 다른 엘리먼트들의 "하부 측 상에 있는 것으로서 설명된 엘리먼트들은 그 다음으로, 다른 엘리먼트들의 "상부" 측들 상에서 배향될 것이다. 그러므로, 예시적인 용어 "하부"는 도면의 특정한 배향에 따라, "하부" 및 "상부"의 양자의 배향을 포괄할 수 있다. 유사하게, 도면들 중의 하나에서의 디바이스가 뒤집힐 경우에, 다른 엘리먼트들의 "아래" 또는 "바로 아래"인 것으로서 설명된 엘리먼트들은 그 다음으로, 다른 엘리먼트들 "위에" 배향될 것이다. 그러므로, 예시적인 용어들 "아래" 또는 "바로 아래"는 위 및 아래의 양자의 배향을 포괄할 수 있다.
본원에서의 발명의 설명에서 이용된 용어는 오직 특정한 실시예들을 설명하는 목적을 위한 것이고, 발명의 제한이 되도록 의도된 것이 아니다. 발명의 설명 및 첨부된 청구항들에서 이용된 바와 같이, 단수 형태들 "a", "an", 및 "the" 는 맥락이 명확하게 이와 다르게 표시하지 않으면, 복수 형태들을 마찬가지로 포함하도록 의도된다. 본원에서 이용된 바와 같은 용어 "및/또는"은 연관된 열거된 항목들 중의 하나 이상의 임의의 그리고 모든 가능한 조합들을 지칭하고 이를 포괄한다는 것이 또한 이해될 것이다. 용어들 "포함한다(include)", "포함하는(including)", 및/또는 "포함하는(comprising)"은, 이 명세서에서 이용될 때, 기재된 특징들, 정수(integer)들, 단계들, 동작들, 엘리먼트들, 및/또는 컴포넌트들의 존재를 특정하지만, 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 엘리먼트들, 컴포넌트들, 및/또는 그 그룹들의 존재 또는 추가를 배제하지 않는다는 것이 추가로 이해될 것이다.
발명의 실시예들은 발명의 이상화된 실시예들(및 중간 구조들)의 개략적인 예시들인 예시들을 참조하여 설명된다. 이와 같이, 예를 들어, 제조 기법들 및/또는 공차(tolerance)들의 결과로서의 예시들의 형상들로부터의 변동들이 예상되어야 한다. 이에 따라, 도면들에서 예시된 영역들은 본질에 있어서 개략적이고, 그 형상들은 디바이스의 영역의 실제적인 형상을 예시하도록 의도되지는 않고, 발명의 범위를 제한하도록 의도되지는 않는다.
이와 다르게 정의되지 않으면, 기술적 및 과학적 용어들을 포함하는, 발명의 실시예들을 개시할 시에 이용된 모든 용어들은 이 발명이 속하는 본 기술분야에서의 통상의 기술자에 의해 보편적으로 이해된 것과 동일한 의미를 가지고, 본 발명이 설명될 시에 알려진 특정 정의들로 반드시 제한되지는 않는다. 따라서, 이 용어들은 이러한 시간 후에 생성되는 등가적인 용어들을 포함할 수 있다. 보편적으로 이용된 사전들에서 정의된 것들과 같은 용어들은 본 명세서 및 관련된 분야의 맥락에서의 그 의미와 일치하는 의미를 가지는 것으로서 해독되어야 하고, 본원에서 명백하게 그렇게 정의되지 않으면, 이상화된 또는 과도하게 공식적인 의미로 해독되지 않을 것이라는 것이 추가로 이해될 것이다. 본원에서 언급된 모든 공개들, 특허 출원들, 특허들, 및 다른 참조들은 그 전체적으로 참조로 포함된다.
많은 상이한 실시예들은 위의 설명 및 도면들과 관련하여 본원에서 개시되었다. 이 실시예들의 매 조합 및 하위조합을 문언적으로 설명하고 예시하는 것은 지나치게 반복적이고 난독성일 것이라는 것이 이해될 것이다. 따라서, 도면들을 포함하는 본 명세서는 본원에서 설명된 본 개시내용의 실시예들의 모든 조합들 및 하위조합들, 및 이들을 만들고 이용하는 방식 및 프로세스의 완전한 기록된 설명을 구성하도록 해석될 것이고, 임의의 이러한 조합 또는 하위조합에 대한 청구항들을 지지할 것이다.
발명은 다양한 실시예들을 참조하여 본원에서 설명되었지만, 추가의 변동들 및 변형들은 발명의 원리들의 범위 및 사상 내에서 행해질 수 있다는 것이 인식될 것이다. 특정 용어들이 채용되지만, 이 특정 용어들은 제한의 목적들을 위한 것이 아니라, 오직 포괄적 및 설명적 의미로 이용되고, 본 발명의 범위는 다음의 청구항들에서 기재된다.

Claims (20)

  1. 광 검출 및 레인징(Light Detection and Ranging)(LIDAR) 장치로서,
    제1 픽셀 및 제2 픽셀 상에 입사하는 광에 응답하여 개개의 검출 신호들을 출력하도록 구성된 상기 제1 픽셀 및 상기 제2 픽셀을 포함하는 검출기 - 상기 제1 픽셀은 하나 이상의 비행 시간(time of flight)(ToF) 센서들을 포함하고, 상기 제2 픽셀은 하나 이상의 이미지 센서들을 포함함 -; 및
    시야에 걸쳐 광을 수집하고 상기 광의 제1 및 제2 부분들을 각각 상기 제1 및 제2 픽셀들로 지향하도록 구성된 수신기 광학기기들
    을 포함하고,
    상기 수신기 광학기기들 중의 적어도 하나 또는 상기 검출기에서의 상기 제1 및 제2 픽셀들의 배열은, 상기 제1 픽셀로부터 출력된 상기 개개의 검출 신호들에 의해 표시된 깊이 정보가 상기 제2 픽셀로부터 출력된 상기 개개의 검출 신호들에 의해 표시된 이미지 정보와 상관되도록, 상기 제1 및 제2 픽셀들을 상관시키도록 구성되는, LIDAR 장치.
  2. 제1항에 있어서,
    상기 검출기는 검출기 어레이이고, 상기 검출기 어레이는,
    기판;
    상기 ToF 센서들을 정의하는 상기 기판에서의 제1 접합 영역들 - 상기 제1 접합 영역들은 상기 기판의 표면에 대해 제1 깊이를 가짐 -; 및
    상기 제1 접합 영역들에 인접한, 상기 이미지 센서들을 정의하는 상기 기판에서의 제2 접합 영역들 - 상기 제2 접합 영역들은 상기 기판의 상기 표면에 대해 상기 제1 깊이보다 더 작은 제2 깊이를 가짐 - 을 포함하는, LIDAR 장치.
  3. 제2항에 있어서,
    상기 배열은 평면도에서의 상기 제1 접합 영역들 및 상기 제2 접합 영역들의 병립형 배열(side-by-side arrangement)을 포함하는, LIDAR 장치.
  4. 제2항에 있어서,
    상기 배열은 상기 제1 접합 영역들 및 상기 제2 접합 영역들이 평면도에서 중첩하는 적층된 배열(stacked arrangement)을 포함하는, LIDAR 장치.
  5. 제2항에 있어서,
    상기 검출기 어레이에 인접하고, 상기 제1 및 제2 픽셀들의 개개의 픽셀들에 전기적으로 접속된, 상기 기판 상의 복수의 입력/출력(input/output)(I/O) 패드들 - 상기 I/O 패드들은 상기 이미지 정보와 상관된 상기 깊이 정보를 가지는, 상기 제1 및 제2 픽셀들로부터의 상기 개개의 검출 신호들을 각각 제1 및 제2 판독 회로들로 출력하도록 구성됨 - 을 더 포함하는, LIDAR 장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 수신기 광학기기들은 제1 파장 범위의 상기 광의 상기 제1 부분을 상기 제1 픽셀로 지향하고 제2 파장 범위의 상기 광의 상기 제2 부분을 상기 제2 픽셀로 지향하도록 구성되는 파장-선택적 빔 분리기 또는 필터를 포함하는, LIDAR 장치.
  7. 제6항에 있어서,
    상기 수신기 광학기기들은 시야에 걸쳐 상기 광을 수집하도록 구성되는 적어도 하나의 렌즈 및 상기 파장-선택적 빔 분리기 또는 필터를 상기 렌즈에 결합하는 하나 이상의 프리즘들을 포함하는 모놀리식 엘리먼트(monolithic element)를 포함하는, LIDAR 장치.
  8. 제1항에 있어서,
    상기 시야를 조명하기 위하여 제1 파장 범위의 광 방출을 출력하도록 구성되는 방출 소스 - 상기 광의 상기 제1 부분은 상기 제1 파장 범위를 포함함 -; 및
    상기 이미지 정보와 상관된 상기 깊이 정보를 가지는, 상기 제1 및 제2 픽셀들로부터 출력된 상기 개개의 검출 신호들을 수신하도록 구성되고, 상기 제1 픽셀들 및 상기 제2 픽셀들로부터의 상기 개개의 검출 신호들에 기초하여 상기 방출 소스로부터의 상기 광 방출을 조절하기 위한 제어 신호들을 출력하도록 구성되는 제어 회로를 더 포함하는, LIDAR 장치.
  9. 제8항에 있어서,
    상기 방출 소스는 제1 방출 소스를 포함하고, 상기 LIDAR 장치는,
    상기 시야를 조명하기 위하여 제2 파장 범위의 광 방출을 출력하도록 구성되는 제2 방출 소스 - 상기 광의 상기 제2 부분은 상기 제2 파장 범위를 포함함 - 를 더 포함하는, LIDAR 장치.
  10. 광 검출 및 레인징(LIDAR) 장치로서,
    복수의 제1 픽셀들 및 복수의 제2 픽셀들 상에 입사하는 광에 응답하여 개개의 검출 신호들을 출력하도록 구성된 상기 복수의 제1 픽셀들 및 상기 복수의 제2 픽셀들을 포함하는 검출기 어레이 - 상기 제1 픽셀들은 비행 시간(ToF) 센서들을 포함하고, 상기 제2 픽셀들은 이미지 센서들을 포함함 -
    를 포함하고, 상기 검출기 어레이는,
    기판;
    상기 ToF 센서들을 정의하는 상기 기판에서의 제1 접합 영역들 - 상기 제1 접합 영역들은 상기 기판의 표면에 대해 제1 깊이를 가짐 -; 및
    상기 제1 접합 영역들에 인접한, 상기 이미지 센서들을 정의하는 상기 기판에서의 제2 접합 영역들 - 상기 제2 접합 영역들은 상기 기판의 상기 표면에 대해 상기 제1 깊이보다 더 작은 제2 깊이를 가짐 - 을 포함하는, LIDAR 장치.
  11. 제10항에 있어서,
    상기 검출기 어레이는 평면도에서의 상기 제1 접합 영역들 및 상기 제2 접합 영역들의 병립형 배열을 포함하는, LIDAR 장치.
  12. 제10항에 있어서,
    상기 검출기 어레이는 상기 제1 접합 영역들 및 상기 제2 접합 영역들이 평면도에서 중첩하는 적층된 배열을 포함하는, LIDAR 장치.
  13. 제10항 내지 제12항 중 어느 한 항에 있어서,
    상기 검출기 어레이에서의 상기 제1 및 제2 픽셀들의 배열은, 상기 제1 및 제2 픽셀들로부터 출력된 상기 개개의 검출 신호들이 상관되는 깊이 정보 및 이미지 정보를 각각 포함하도록, 상기 제1 픽셀들의 서브세트(subset)들과 상기 제2 픽셀들의 서브세트들 사이의 개개의 공간적 상관들을 제공하는, LIDAR 장치.
  14. 제13항에 있어서,
    시야에 걸쳐 상기 광을 수집하고 상기 광의 제1 및 제2 부분들을 각각 상기 검출기 어레이의 상기 제1 및 제2 픽셀들로 지향하도록 구성되는 렌즈들의 어레이를 포함하는 수신기 광학기기들을 더 포함하는, LIDAR 장치.
  15. 제14항에 있어서,
    상기 수신기 광학기기들은 제1 파장 범위의 상기 광의 상기 제1 부분을 제1 픽셀들로 지향하고 제2 파장 범위의 상기 광의 상기 제2 부분을 제2 픽셀들로 지향하도록 구성되는 적어도 하나의 파장-선택적 빔 분리기 또는 필터를 포함하는, LIDAR 장치.
  16. 제14항 또는 제15항에 있어서,
    상기 시야를 조명하기 위하여 제1 파장 범위의 광 방출을 출력하도록 구성되는 방출 소스 - 상기 광의 상기 제1 부분은 상기 제1 파장 범위를 포함함 -; 및
    상기 이미지 정보와 상관된 상기 깊이 정보를 가지는, 상기 제1 및 제2 픽셀들로부터 출력된 상기 개개의 검출 신호들을 수신하도록 구성되고, 상기 제1 픽셀들 및 상기 제2 픽셀들로부터의 상기 개개의 검출 신호들에 기초하여 상기 방출 소스로부터의 상기 광 방출을 조절하기 위한 제어 신호들을 출력하도록 구성되는 제어 회로를 더 포함하는, LIDAR 장치.
  17. 제10항 내지 제12항 중 어느 한 항에 있어서,
    상기 검출기 어레이에 인접하고, 상기 제1 및 제2 픽셀들의 개개의 픽셀들에 전기적으로 접속된, 상기 기판 상의 복수의 입력/출력(I/O) 패드들 - 상기 I/O 패드들은 상기 이미지 정보와 상관된 상기 깊이 정보를 가지는, 상기 제1 및 제2 픽셀들로부터의 상기 개개의 검출 신호들을 각각 제1 및 제2 판독 회로들로 출력하도록 구성됨 - 을 더 포함하는, LIDAR 장치.
  18. 광 검출 및 레인징(LIDAR) 장치로서,
    제1 픽셀 및 제2 픽셀 상에 입사하는 광에 응답하여 개개의 검출 신호들을 출력하도록 구성된 상기 제1 픽셀 및 상기 제2 픽셀을 포함하는 검출기 - 상기 제1 픽셀은 하나 이상의 비행 시간(ToF) 센서들을 포함하고, 상기 제2 픽셀은 하나 이상의 이미지 센서들을 포함함 -; 및
    시야에 걸쳐 광을 수집하고 상기 광의 제1 및 제2 부분들을 각각 상기 제1 및 제2 픽셀들로 지향하도록 구성된 수신기 광학기기들
    을 포함하고,
    상기 수신기 광학기기들은, 상기 제1 픽셀로부터 출력된 상기 개개의 검출 신호들에 의해 표시된 깊이 정보가 상기 제2 픽셀로부터 출력된 상기 개개의 검출 신호들에 의해 표시된 이미지 정보와 상관되도록, 상기 제1 및 제2 픽셀들을 상관시키도록 구성되는, LIDAR 장치.
  19. 제18항에 있어서,
    상기 수신기 광학기기들은 제1 파장 범위의 상기 광의 상기 제1 부분을 상기 제1 픽셀로 지향하고 제2 파장 범위의 상기 광의 상기 제2 부분을 상기 제2 픽셀로 지향하도록 구성되는 파장-선택적 빔 분리기 또는 필터를 포함하는, LIDAR 장치.
  20. 제19항에 있어서,
    상기 수신기 광학기기들은 시야에 걸쳐 상기 광을 수집하도록 구성되는 적어도 하나의 렌즈 및 상기 파장-선택적 빔 분리기 또는 필터를 상기 렌즈에 결합하는 하나 이상의 프리즘들을 포함하는 모놀리식 엘리먼트를 포함하는, LIDAR 장치.
KR1020217006508A 2018-08-16 2019-08-16 통합된 라이다 이미지-센서 디바이스들 및 시스템들 및 관련된 동작 방법들 KR20210033540A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862764895P 2018-08-16 2018-08-16
US62/764,895 2018-08-16
PCT/US2019/046806 WO2020037197A1 (en) 2018-08-16 2019-08-16 Integrated lidar image-sensor devices and systems and related methods of operation

Publications (1)

Publication Number Publication Date
KR20210033540A true KR20210033540A (ko) 2021-03-26

Family

ID=69523904

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217006508A KR20210033540A (ko) 2018-08-16 2019-08-16 통합된 라이다 이미지-센서 디바이스들 및 시스템들 및 관련된 동작 방법들

Country Status (6)

Country Link
US (2) US11598857B2 (ko)
EP (1) EP3814803A4 (ko)
JP (1) JP2021534412A (ko)
KR (1) KR20210033540A (ko)
CN (1) CN112771410A (ko)
WO (1) WO2020037197A1 (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11467286B2 (en) * 2018-02-13 2022-10-11 Sense Photonics, Inc. Methods and systems for high-resolution long-range flash lidar
US11978754B2 (en) 2018-02-13 2024-05-07 Sense Photonics, Inc. High quantum efficiency Geiger-mode avalanche diodes including high sensitivity photon mixing structures and arrays thereof
US10739462B2 (en) * 2018-05-25 2020-08-11 Lyft, Inc. Image sensor processing using a combined image and range measurement system
TWI842804B (zh) * 2019-02-01 2024-05-21 日商索尼半導體解決方案公司 受光元件、固體攝像裝置及測距裝置
US20210181547A1 (en) * 2019-02-12 2021-06-17 Sense Photonics, Inc. Methods and systems for thermal control of an optical source or optical filter in a light detection and ranging (lidar) apparatus
WO2020210276A1 (en) 2019-04-08 2020-10-15 Sense Photonics, Inc. Motion correction based on phase vector components
JP7389578B2 (ja) * 2019-07-16 2023-11-30 シャープ株式会社 測距センサ
US11906628B2 (en) 2019-08-15 2024-02-20 Apple Inc. Depth mapping using spatial multiplexing of illumination phase
US11330246B2 (en) * 2019-11-21 2022-05-10 Microsoft Technology Licensing, Llc Imaging system configured to use time-of-flight imaging and stereo imaging
US20210156881A1 (en) * 2019-11-26 2021-05-27 Faro Technologies, Inc. Dynamic machine vision sensor (dmvs) that performs integrated 3d tracking
WO2021126081A1 (en) * 2019-12-20 2021-06-24 Ams Sensors Asia Pte. Ltd. Lidar with multi-range channels
US11763472B1 (en) 2020-04-02 2023-09-19 Apple Inc. Depth mapping with MPI mitigation using reference illumination pattern
US11269075B2 (en) 2020-04-17 2022-03-08 Samsung Electronics Co., Ltd. Hybrid sensor system and method for providing 3D imaging
US20210381960A1 (en) * 2020-06-08 2021-12-09 Artilux, Inc. Wideband Sensing Apparatus and Method Thereof
US11428792B2 (en) * 2020-06-08 2022-08-30 Stmicroelectronics (Research & Development) Limited Routing for DTOF sensors
CN115552285A (zh) 2020-06-11 2022-12-30 苹果公司 具有飞行时间感测能力的全局快门图像传感器
US11201993B1 (en) * 2020-06-15 2021-12-14 Samsung Electronics Co., Ltd. Multi-camera on a chip and camera module design
US20220011438A1 (en) * 2020-07-10 2022-01-13 Xin Jin Multi-domain optical sensor chip and apparatus
US11163064B1 (en) * 2020-07-13 2021-11-02 Palo Alto Research Center Incorporated Doppler imager
WO2022087222A1 (en) * 2020-10-22 2022-04-28 Sense Photonics, Inc. Segmented flash lidar using stationary reflectors
US11721031B2 (en) * 2020-10-28 2023-08-08 Stmicroelectronics (Research & Development) Limited Scalable depth sensor
KR20220065589A (ko) * 2020-11-13 2022-05-20 삼성전자주식회사 광 검출 장치, 이를 포함하는 라이다 장치 및 거리 측정 방법
CN114646943A (zh) * 2020-12-17 2022-06-21 上海禾赛科技有限公司 接收装置、包括其的激光雷达及探测方法
CN115113220A (zh) * 2021-03-18 2022-09-27 华为技术有限公司 一种探测装置及终端设备
US20220299646A1 (en) * 2021-03-19 2022-09-22 Taiwan Semiconductor Manufacturing Company, Ltd. Pixel array including time-of-flight sensors
US20240219557A1 (en) * 2021-04-26 2024-07-04 Neural Propulsion Systems, Inc. MOVING APERTURE LiDAR
JP2022168742A (ja) * 2021-04-26 2022-11-08 キヤノン株式会社 測距装置
WO2023186581A1 (en) * 2022-03-29 2023-10-05 Sony Group Corporation Arrangement for depth sensing, device, methods and computer program

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6515740B2 (en) * 2000-11-09 2003-02-04 Canesta, Inc. Methods for CMOS-compatible three-dimensional image sensing using quantum efficiency modulation
JP2007526453A (ja) * 2004-01-28 2007-09-13 カネスタ インコーポレイテッド 単一チップの赤、緑、青、距離（ｒｇｂ−ｚ）センサー
CN101866056A (zh) * 2010-05-28 2010-10-20 中国科学院合肥物质科学研究院 基于led阵列共透镜tof深度测量的三维成像方法和系统
US8648702B2 (en) * 2010-08-20 2014-02-11 Denso International America, Inc. Combined time-of-flight and image sensor systems
KR20120119279A (ko) * 2011-04-21 2012-10-31 삼성전자주식회사 픽셀 어레이 및 이를 포함하는 3차원 이미지 센서
US8569700B2 (en) * 2012-03-06 2013-10-29 Omnivision Technologies, Inc. Image sensor for two-dimensional and three-dimensional image capture
DE102013103333A1 (de) * 2013-04-03 2014-10-09 Karl Storz Gmbh & Co. Kg Kamera zur Erfassung von optischen Eigenschaften und von Raumstruktureigenschaften
US9952323B2 (en) 2014-04-07 2018-04-24 Samsung Electronics Co., Ltd. High resolution, high frame rate, low power image sensor
GB201421512D0 (en) * 2014-12-03 2015-01-14 Melexis Technologies Nv A semiconductor pixel unit for simultaneously sensing visible light and near-infrared light, and a semiconductor sensor comprising same
US9508681B2 (en) * 2014-12-22 2016-11-29 Google Inc. Stacked semiconductor chip RGBZ sensor
JP2016162946A (ja) * 2015-03-04 2016-09-05 Jsr株式会社 固体撮像装置
JP6609980B2 (ja) * 2015-04-30 2019-11-27 株式会社デンソー 光飛行時間測定装置及び光学的測距装置
CN108369274B (zh) * 2015-11-05 2022-09-13 路明亮有限责任公司 用于高分辨率深度映射的具有经改进扫描速度的激光雷达系统
US10151838B2 (en) * 2015-11-24 2018-12-11 Microsoft Technology Licensing, Llc Imaging sensor with shared pixel readout circuitry
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
FR3056332A1 (fr) * 2016-09-21 2018-03-23 Stmicroelectronics (Grenoble 2) Sas Dispositif comportant un capteur d'image 2d et un capteur de profondeur
CN106526573A (zh) * 2016-12-30 2017-03-22 北醒（北京）光子科技有限公司 一种固态多线测距装置及测距方法
US10522973B2 (en) 2017-04-12 2019-12-31 Sense Photonics, Inc. Beam shaping for ultra-small vertical cavity surface emitting laser (VCSEL) arrays

Also Published As

Publication number Publication date
WO2020037197A1 (en) 2020-02-20
JP2021534412A (ja) 2021-12-09
EP3814803A1 (en) 2021-05-05
US11598857B2 (en) 2023-03-07
US20200057151A1 (en) 2020-02-20
US20230194679A1 (en) 2023-06-22
CN112771410A (zh) 2021-05-07
EP3814803A4 (en) 2022-03-02

Similar Documents

Publication Publication Date Title
US11598857B2 (en) Integrated lidar image-sensor devices and systems and related methods of operation
US11076081B2 (en) Device for acquiring a 2D image and a depth image of a scene
US11296137B2 (en) High quantum efficiency Geiger-mode avalanche diodes including high sensitivity photon mixing structures and arrays thereof
US7626685B2 (en) Distance measuring sensors including vertical photogate and three-dimensional color image sensors including distance measuring sensors
US20200284884A1 (en) Extended dynamic range and reduced power imaging for lidar detector arrays
CN105991978B (zh) 具有深度检测像素的图像传感器和产生深度数据的方法
KR20200085909A (ko) 다중-광다이오드 픽셀 셀
EP3732501A2 (en) Methods and systems for high-resolution long-range flash lidar
US20200191925A1 (en) Systems and methods for an apd array solid-state laser radar
KR20110033567A (ko) 거리 센서를 포함하는 이미지 센서
US11575819B2 (en) Image sensor
US20220163634A1 (en) Active illumination systems for changing illumination wavelength with field angle
US11978754B2 (en) High quantum efficiency Geiger-mode avalanche diodes including high sensitivity photon mixing structures and arrays thereof
WO2019041257A1 (zh) 信号处理芯片、图像处理系统和距离测量系统
US20230215884A1 (en) Photoelectric conversion device, photoelectric conversion system, and equipment
CN114599990A (zh) 成像系统和检测方法
US11722792B2 (en) Image sensing device
US11336851B2 (en) Image sensing device
CN116762021A (zh) 激光接收电路及其控制方法、测距装置、移动平台
KR102708675B1 (ko) 이미지 센싱 장치
US20240159883A1 (en) Sensor device, sensor module, imaging system and method to operate a sensor device
EP4290591A1 (en) Time-of-flight image sensor with quantum dot photodetectors
US20210318418A1 (en) Emitters behind display
CN116454099A (zh) 一种深槽隔离的spad像素单元