KR20230053480A - 듀얼 모드 실리콘 광증배기 기반 lidar - Google Patents

듀얼 모드 실리콘 광증배기 기반 lidar Download PDF

Info

Publication number
KR20230053480A
KR20230053480A KR1020220003946A KR20220003946A KR20230053480A KR 20230053480 A KR20230053480 A KR 20230053480A KR 1020220003946 A KR1020220003946 A KR 1020220003946A KR 20220003946 A KR20220003946 A KR 20220003946A KR 20230053480 A KR20230053480 A KR 20230053480A
Authority
KR
South Korea
Prior art keywords
anode
output
sipm
dual mode
lidar
Prior art date
Application number
KR1020220003946A
Other languages
English (en)
Inventor
젱 푸
Original Assignee
모셔널 에이디 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모셔널 에이디 엘엘씨 filed Critical 모셔널 에이디 엘엘씨
Publication of KR20230053480A publication Critical patent/KR20230053480A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01T—MEASUREMENT OF NUCLEAR OR X-RADIATION
    • G01T1/00—Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
    • G01T1/16—Measuring radiation intensity
    • G01T1/161—Applications in the field of nuclear medicine, e.g. in vivo counting
    • G01T1/164—Scintigraphy
    • G01T1/1641—Static instruments for imaging the distribution of radioactivity in one or two dimensions using one or several scintillating elements; Radio-isotope cameras
    • G01T1/1645—Static instruments for imaging the distribution of radioactivity in one or two dimensions using one or several scintillating elements; Radio-isotope cameras using electron optical imaging means, e.g. image intensifier tubes, coordinate photomultiplier tubes, image converter
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/005—Sampling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/52—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/244—Detection characterized by the detecting means
    • H01J2237/2445—Photon detectors for X-rays, light, e.g. photomultipliers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Medical Informatics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

SiPM(silicon photomultiplier) 디바이스 및 실리콘 광증배기 기반 LiDAR가 제공된다. SiPM 디바이스는 제 1 서브 영역 및 제 2 서브 영역을 포함한다. 제 1 서브 영역에서, 광다이오드가 제 1 내부 이득을 가지면서 동작된다. 제 2 서브 영역에서, 광다이오드가 제 2 내부 이득을 가지면서 동작되고 제 2 내부 이득은 제 1 내부 이득보다 작다. 제 1 애노드는 낮은 플럭스 이벤트에 응답하여 제 1 서브 영역으로부터 전류를 생성하고, 제 2 애노드는 높은 플럭스 이벤트에 응답하여 제 2 서브 영역으로부터 전류를 생성한다. 공통 캐소드가 제 1 서브 영역 또는 제 2 서브 영역으로부터 생성된 전류를 출력한다.

Description

듀얼 모드 실리콘 광증배기 기반 LIDAR{DUAL-MODE SILICON PHOTOMULTIPLIER BASED LIDAR}
방출기에 의해 방출되고, 물체에 의해 반사되며, 검출기에 의해 검출되는 광으로부터의 정보를 결정하기 위해 LiDAR(Laser Detection and Ranging)가 사용된다. 정보는 물체까지의 범위, 물체의 속도 등과 같은 물체와 연관된 데이터를 포함한다. TOF(time-of-flight) LiDAR 시스템에서, 검출기는 물체에 의해 반사된 광을 수신하는 광검출기이다. 검출기는 고체 상태 광검출기, 광증배기, 또는 이들의 임의의 조합들일 수 있다.
도 1은 자율주행 시스템(autonomous system)의 하나 이상의 컴포넌트를 포함하는 차량이 구현될 수 있는 예시적인 환경이다.
도 2는 자율주행 시스템을 포함하는 차량의 하나 이상의 시스템의 도면이다.
도 3은 도 1 및 도 2의 하나 이상의 디바이스 및/또는 하나 이상의 시스템의 컴포넌트들의 도면이다.
도 4는 자율주행 시스템의 특정 컴포넌트들의 도면이다.
도 5는 LiDAR 시스템의 예를 도시한다.
도 6은 동작시의 LiDAR 시스템을 도시한다.
도 7은 LiDAR 시스템의 동작을 추가로 상세히 도시한다.
도 8은 복수의 픽셀들을 갖는 SiPM(silicon photomultiplier) 디바이스의 도면이다.
도 9는 높은 플럭스 이벤트 및 낮은 플럭스 이벤트 동안의 실리콘 광증배기 출력의 예시이다.
도 10은 듀얼 모드 SiPM(silicon photomultiplier) 기반 LiDAR를 통해 출력을 생성하기 위한 프로세스의 프로세스 흐름도이다.
다음의 설명에서 설명의 목적들을 위한 본 개시의 철저한 이해를 제공하기 위해 다수의 특정 상세사항들이 제시된다. 그러나, 본 개시에 의해 설명되는 실시예들이 이 특정 상세사항들 없이 실시될 수 있다는 점이 명백해질 것이다. 일부 경우들에서, 잘 알려진 구조물들 및 디바이스들이 본 개시의 양태들을 불필요하게 모호하게 하는 것을 회피하기 위해 블록도 형태로 예시된다.
시스템들, 디바이스들, 모듈들, 명령 블록들, 데이터 요소들, 및/또는 등을 표현하는(represent) 것과 같은, 개략적 요소들의 특정 배열들 또는 순서들이 설명의 용이성을 위해 도면들에 예시된다. 그러나, 그와 같이 명시적으로 설명되지 않는 한 프로세싱의 특정 순서 또는 시퀀스, 또는 프로세스들의 분리가 필요됨을 도면들에서의 개략적 요소들의 특정 순서 또는 배열이 암시하는 것으로 의미되는 것은 아니라는 점이 당업자에 의해 이해될 것이다. 또한, 그와 같이 명시적으로 설명되지 않는 한 그러한 요소가 모든 실시예들에서 필요되거나 그러한 요소에 의해 표현되는 피처들이 일부 실시예들에서 다른 요소들에 포함되지 않을 수 있거나 다른 요소들과 조합되지 않을 수 있음을 도면들에서의 개략적 요소의 포함이 암시하는 것으로 의미되는 것은 아니다.
또한, 실선 또는 점선 또는 화살표들과 같은 연결 요소들이 2개 이상의 다른 개략적 요소들 사이의 또는 간의 연결, 관계, 또는 연관성을 예시하기 위해 도면들에서 사용되는 경우, 임의의 그러한 연결 요소들의 부재가 연결, 관계, 또는 연관성이 존재할 수 없음을 암시하는 것으로 의미되는 것은 아니다. 환언하면, 요소들 사이의 일부 연결들, 관계들, 또는 연관성들이 본 개시를 모호하게 하지 않기 위해 도면들에서 예시되지 않는다. 또한, 예시의 용이성을 위해, 단일 연결 요소가 요소들 사이의 다중 연결들, 관계들 또는 연관성들을 표현하는데 사용될 수 있다. 예를 들어, 연결 요소가 신호들, 데이터, 또는 명령어들(예를 들어, "소프트웨어 명령어들")의 통신을 표현하는 경우, 그러한 요소가 통신에 영향을 주기 위한, 필요될 수 있는 만큼의, 하나의 또는 다중 신호 경로들(예를 들어, 버스)을 표현할 수 있다는 점이 당업자에 의해 이해되어야 한다.
용어들 제 1, 제 2, 제 3, 및/또는 등이 다양한 요소들을 설명하는데 사용되지만, 이 요소들이 이 용어들에 제한되어야 하는 것은 아니다. 용어들 제 1, 제 2, 제 3, 및/또는 등은 하나의 요소를 다른 요소와 구별하는데에만 사용된다. 예를 들어, 설명되는 실시예들의 범위로부터 벗어나지 않고 제 1 접촉부가 제 2 접촉부로 칭해질 수 있고, 유사하게, 제 2 접촉부가 제 1 접촉부로 칭해질 수 있다. 제 1 접촉부 및 제 2 접촉부가 둘 다 접촉부들이지만, 이들이 동일한 접촉부인 것은 아니다.
본원의 다양한 설명되는 실시예들의 설명에서 사용되는 전문용어(terminology)가 특정 실시예들을 설명하는 목적만을 위해 포함되며 제한적으로 의도되는 것은 아니다. 다양한 설명되는 실시예들 및 첨부된 청구범위의 설명에서 사용되는 바와 같이, 문맥(context)이 달리 명확하게 표시하지 않는 한, 단수 형태들은 복수 형태들도 포함하도록 의도되고 "하나 이상" 또는 "적어도 하나"와 상호교환적으로 사용될 수 있다. 본원에서 사용되는 바와 같은 용어 "및/또는"이 연관된 목록화된 항목들 중 하나 이상의 임의의 그리고 모든 가능한 조합들을 지칭하며 이들을 망라한다는 점이 또한 이해될 것이다. 용어들 "포함한다", "포함하는", "포괄한다", 및/또는 "포괄하는"이 본 설명에서 사용될 때 언급된 피처들, 정수(integer)들, 단계들, 동작들, 요소들, 및/또는 컴포넌트들의 존재를 특정하지만, 하나 이상의 다른 피처, 정수, 단계, 동작, 요소, 컴포넌트, 및/또는 이들의 그룹의 존재 또는 추가를 배재하는 것은 아니라는 점이 또한 이해될 것이다.
본원에서 사용되는 바와 같이, 용어들 "통신" 및 "통신한다"는 정보(또는, 예를 들어 데이터, 신호들, 메시지들, 명령어들, 명령들, 및/또는 등에 의해 표현되는 정보)의 수신, 수령, 송신, 전달, 제공, 및/또는 등 중 적어도 하나를 지칭한다. 하나의 유닛(예를 들어, 디바이스, 시스템, 디바이스 또는 시스템의 컴포넌트, 이들의 조합들, 및/또는 등)이 다른 유닛과 통신하는 것은 하나의 유닛이 다른 유닛으로부터 정보를 직접적으로 또는 간접적으로 수신할 수 있고/있거나 다른 유닛에 정보를 직접적으로 또는 간접적으로 전송(예를 들어, 송신)할 수 있음을 의미한다. 이는 본질적으로 유선 및/또는 무선인 직접 또는 간접 연결을 지칭할 수 있다. 추가적으로, 2개의 유닛들은, 송신된 정보가 제 1 유닛과 제 2 유닛 사이에서 수정, 프로세싱, 릴레이, 및/또는 라우팅될 수 있어도 서로 통신할 수 있다. 예를 들어, 제 1 유닛은, 제 1 유닛이 정보를 수동적으로 수신하고 제 2 유닛에 정보를 능동적으로 송신하지 않아도 제 2 유닛과 통신할 수 있다. 다른 예로서, 제 1 유닛은, 적어도 하나의 중개 유닛(intermediary unit)(예를 들어, 제 1 유닛과 제 2 유닛 사이에 위치된 제 3 유닛)이 제 1 유닛으로부터 수신된 정보를 프로세싱하고 프로세싱된 정보를 제 2 유닛에 송신하면 제 2 유닛과 통신할 수 있다. 일부 실시예들에서, 메시지는 데이터를 포함하는 네트워크 패킷(예를 들어, 데이터 패킷 및/또는 등)을 지칭할 수 있다.
본원에서 사용되는 바와 같이, 용어 "되면"은, 선택적으로, 문맥에 따라 "했을 때", "하자마자", "결정한 것에 응답하여", "검출한 것에 응답하여", 및/또는 등을 의미하는 것으로 해석된다. 유사하게, 문구 "결정되면" 또는 "[언급된 조건 또는 이벤트]가 검출되면"은, 선택적으로, 문맥에 따라, "결정하자마자", "결정에 응답하여", "[언급된 조건 또는 이벤트]를 검출하자마자", "[언급된 조건 또는 이벤트]를 검출한 것에 응답하여", 및/또는 등을 의미하는 것으로 해석된다. 또한, 본원에서 사용되는 바와 같이, 용어들 "갖는다", "가진다", "갖는" 등은 개방형 용어(open-ended term)들이도록 의도된다. 또한, 문구 "기초하여"는 달리 명시적으로 언급되지 않는 한 "적어도 부분적으로 기초하여"를 의미하도록 의도된다.
이제 실시예들에 대해 참조가 상세히 이루어질 것이며, 그 예시들이 첨부한 도면들에 예시된다. 다음의 상세한 설명에서, 다양한 설명되는 실시예들의 철저한 이해를 제공하기 위해 다수의 특정 상세사항들이 제시된다. 그러나, 다양한 설명되는 실시예들이 이 특정 상세사항들 없이 실시될 수 있다는 점이 당업자에게 명백해질 것이다. 다른 경우들에서, 실시예들의 양태들을 불필요하게 모호하게 하지 않기 위해 잘 알려진 방법들, 절차들, 컴포넌트들, 회로들, 및 네트워크들이 상세히 설명되지 않는다.
일반 개요
일부 양태들 및/또는 실시예들에서, 본원에서 설명된 시스템들, 방법들, 및 컴퓨터 프로그램 제품들이 듀얼 모드 SiPM(silicon photomultiplier) 기반 ToF(time-of-flight) LiDAR를 포함 및/또는 구현한다. 일반적으로, SiPM 기반 ToF(time-of-flight) LiDAR는 환경으로부터 반사체들[광학 광자(optical photon)들]을 캡처하는 하나 이상의 SiPM 디바이스(픽셀)를 포함한다. 본 기술에 따른 SiPM 디바이스는 높은 플럭스 신호 리턴들 및 낮은 플럭스 신호 리턴들 둘 다를 검출하도록 동작가능하다. 제 1 애노드 전류 출력이 낮은 플럭스 이벤트(리턴 신호)에 응답하여 캡처된 정보를 표현한다. 예들에서, 낮은 플럭스 조건들은 수백개보다 적은 광자들이 검출되는 조건들이다. 제 2 애노드 전류 출력이 높은 플럭스 이벤트에 응답하여 캡처된 정보를 표현한다. 예들에서, 높은 플럭스 조건들은 실질적으로 일천개보다 많은 광자들이 검출되는 조건들이다. 실시예들에서, SiPM 디바이스는 제 1 애노드 및 제 2 애노드로부터 출력을 획득하는 판독 회로부(readout circuitry)와 커플링된다.
본원에서 설명된 시스템들, 방법들, 및 컴퓨터 프로그램 제품들의 구현에 의해, 듀얼 모드 SiPM 기반 LiDAR에 대한 기술들이 정확한 리턴 신호 강도 및 물체 반사율 정보를 제공하는 높은 DR(dynamic range)을 가능하게 한다. SiPM들은 보통 포화 상태에 있다. 본 기술들은 센서 포화 시에 강도의 결정을 가능하게 한다. 본 기술들은 마이크로셀들의 총 수를 증가시키지 않으면서 서브 마이크로셀 아키텍처를 사용하여 SiPM의 동적 범위를 증가시킨다.
이제 도 1을 참조하면, 자율주행 시스템들을 포함하는 차량들 뿐만 아니라 자율주행 시스템들을 포함하지 않는 차량들이 동작되는 예시적인 환경(100)이 예시된다. 예시된 바와 같이, 환경(100)은 차량들(102a 내지 102n), 물체들(104a 내지 104n), 루트들(106a 내지 106n), 구역(108), V2I(vehicle-to-infrastructure) 디바이스(110), 네트워크(112), 원격 AV(autonomous vehicle) 시스템(114), 플릿 관리 시스템(fleet management system)(116), 및 V2I 시스템(118)을 포함한다. 차량들(102a 내지 102n), V2I(vehicle-to-infrastructure) 디바이스(110), 네트워크(112), AV(utonomous vehicle) 시스템(114), 플릿 관리 시스템(116), 및 V2I 시스템(118)은 유선 연결들, 무선 연결들, 또는 유선 연결들 또는 무선 연결들의 조합을 통해 상호연결된다(예를 들어, 통신 및/또는 등을 위한 연결을 확립함). 일부 실시예들에서, 물체들(104a 내지 104n)은 유선 연결들, 무선 연결들, 또는 유선 연결들 또는 무선 연결들의 조합을 통해 차량들(102a 내지 102n), V2I(vehicle-to-infrastructure) 디바이스(110), 네트워크(112), AV(utonomous vehicle) 시스템(114), 플릿 관리 시스템(116), 및 V2I 시스템(118) 중 적어도 하나와 상호연결된다.
차량들(102a 내지 102n)[개별적으로 차량(102)으로 그리고 집합적으로 차량들(102)로 지칭됨]은 물품(goods) 및/또는 사람들을 수송하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 실시예들에서, 차량들(102)은 네트워크(112)를 통해 V2I 디바이스(110), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된다. 일부 실시예들에서, 차량들(102)은 자동차들, 버스들, 트럭들, 열차들 및/또는 등을 포함한다. 일부 실시예들에서, 차량들(102)은 본원에서 설명되는 차량들(200)(도 2를 보라)과 동일하거나 유사하다. 일부 실시예들에서, 한 세트의 차량들(200) 중 차량(200)이 자율주행 플릿 관리자와 연관된다. 일부 실시예들에서, 차량들(102)은 본원에서 설명되는 바와 같이, 각자의 루트들(160a 내지 106n)[개별적으로 루트(106)로 그리고 집합적으로 루트들(106)로 지칭됨]을 따라 이동한다. 일부 실시예들에서, 하나 이상의 차량(102)이 자율주행 시스템[예를 들어, 자율주행 시스템(202)과 동일하거나 유사한 자율주행 시스템]을 포함한다.
물체들(104a 내지 104n)[개별적으로 물체(104)로 그리고 집합적으로 물체들(104)로 지칭됨]은, 예를 들어 적어도 하나의 차량, 적어도 하나의 보행자, 적어도 하나의 사이클리스트, 적어도 하나의 구조물(예를 들어, 빌딩, 표지판, 소화전 등), 및/또는 등을 포함한다. 각각의 물체(104)는 고정형(예를 들어, 일정 기간 동안 고정된 위치에 위치됨)이거나 이동형(예를 들어, 속도를 갖고 적어도 하나의 궤적과 연관됨)이다. 일부 실시예들에서, 물체들(104)은 구역(108) 내의 대응하는 위치들과 연관된다.
루트들(106a 내지 106n)[개별적으로 루트(106)로 그리고 집합적으로 루트들(106)로 지칭됨]은 AV가 그를 따라 내비게이팅될 수 있는 상태들을 연결하는 액션들의 시퀀스(궤적으로도 알려짐)와 각각 연관된다(예를 들어, 액션들의 시퀀스를 규정함). 각각의 루트(106)는 초기 상태(예를 들어, 제 1 시공간적 위치, 속도, 및/또는 등에 대응하는 상태) 및 최종 목표 상태(예를 들어, 제 1 시공간적 위치와는 상이한 제 2 시공간적 위치에 대응하는 상태) 또는 목표 영역[예를 들어, 허용가능한 상태들(예를 들어, 종료 상태들)의 부분공간]에서 시작한다. 일부 실시예들에서, 제 1 상태는 개인 또는 개인들이 AV에 의해 픽업될 위치를 포함하고 제 2 상태 또는 영역은 AV에 의해 픽업된 개인 또는 개인들이 하차(drop-off)될 위치 또는 위치들을 포함한다. 일부 실시예들에서, 루트들(106)은 복수의 허용가능한 상태 시퀀스들(예를 들어, 복수의 시공간적 위치 시퀀스들)을 포함하고, 복수의 상태 시퀀스들은 복수의 궤적들과 연관된다(예를 들어, 복수의 궤적들을 정의함). 예에서, 루트들(106)은, 차도 교차로(roadway intersection)들에서 터닝 방향(turning direction)들을 지시하는 일련의 연결된 도로(road)들과 같은, 높은 레벨의 액션들 또는 부정확한 상태 위치(imprecise state location)들만을 포함한다. 추가적으로, 또는 대안적으로, 루트들(106)은, 예를 들어 특정 타겟 차선(specific target lane)들 또는 차선 구역들 내의 정확한 위치들 및 그 위치들에서의 타겟팅된 속력과 같은 더 정확한 액션들 또는 상태들을 포함할 수 있다. 예에서, 루트들(106)은 중간 목표들에 도달하기 위해 제한된 미리보기 수평선(look ahead horizon)을 갖는 적어도 하나의 높은 레벨의 액션 시퀀스를 따르는 복수의 정확한 상태 시퀀스들을 포함하고, 제한된 수평선 상태 시퀀스들의 연속적인 반복들의 조합이 최종 목표 상태 또는 영역에서 종료되도록 높은 레벨의 루트를 집합적으로 형성하는 복수의 궤적들에 점증적으로(cumulatively) 대응한다.
구역(108)은 차량들(102)이 내부에서 내비게이팅될 수 있는 물리적 구역(예를 들어, 지리적 영역)을 포함한다. 예에서, 구역(108)은 적어도 하나의 주(state)(예를 들어, 지역, 지방, 지역에 포함된 복수의 주들 중 개별 주 등), 주의 적어도 한 부분, 적어도 하나의 도시, 도시의 적어도 한 부분 등을 포함한다. 일부 실시예들에서, 구역(108)은 고속도로, 주간 고속도로(interstate highway), 공원로, 일반 도로(city street) 등과 같은 적어도 하나의 명명된 주요도로(thoroughfare)(본원에서 "도로"로 지칭됨)를 포함한다. 추가적으로, 또는 대안적으로, 일부 예들에서 구역(108)은 진입로(driveway), 주차 부지의 섹션, 공터 및/또는 미개발 부지의 섹션, 흙길(dirt path) 등과 같은 적어도 하나의 명명되지 않은 도로를 포함한다. 일부 실시예들에서, 도로는 적어도 하나의 차선[예를 들어, 차량들(102)에 의해 횡단될 수 있는 도로의 부분]을 포함한다. 예에서, 도로는 적어도 하나의 차선 마킹(lane marking)과 연관된(예를 들어, 적어도 하나의 차선 마킹에 기초하여 식별되는) 적어도 하나의 차선을 포함한다.
V2I(Vehicle-to-Infrastructure) 디바이스(110)[때로는 V2X(Vehicle-to-Infrastructure) 디바이스로 지칭됨]는 차량들(102) 및/또는 V2I 인트라스트럭처 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 실시예들에서, V2I 디바이스(110)는 네트워크(112)를 통해 차량들(102), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된다. 일부 실시예들에서, V2I 디바이스(110)는 RFID(radio frequency identification) 디바이스, 사이니지(signage), 카메라들[예를 들어, 2D(two-dimensional) 카메라 및/또는 3D(three-dimensional) 카메라], 차선 마커(lane marker)들, 가로등들, 주차 요금징수기(parking meter)들 등을 포함한다. 일부 실시예들에서, V2I 디바이스(110)는 차량들(102)과 직접적으로 통신하도록 구성된다. 추가적으로, 또는 대안적으로, 일부 실시예들에서 V2I 디바이스(110)는 V2I 시스템(118)을 통해 차량들(102), 원격 AV 시스템(114), 및/또는 플릿 관리 시스템(116)과 통신하도록 구성된다. 일부 실시예들에서, V2I 디바이스(110)는 네트워크(112)를 통해 V2I 시스템(118)과 통신하도록 구성된다.
네트워크(112)는 하나 이상의 유선 네트워크 및/또는 무선 네트워크를 포함한다. 예에서, 네트워크(112)는 셀룰러 네트워크[예를 들어, LTE(long term evolution) 네트워크, 3G(third generation) 네트워크, 4G(fourth generation) 네트워크, 5G(fifth generation) 네트워크, CDMA(code division multiple access) 네트워크 등], PLMN(public land mobile network), LAN(local area network), WAN(wide area network), MAN(metropolitan area network), 텔레폰 네트워크[예를 들어, PSTN(public switched telephone network)], 사설 네트워크, 애드 호크 네트워크, 인트라넷, 인터넷, 광섬유 기반 네트워크, 클라우드 컴퓨팅 네트워크 등, 이 네트워크들 중 일부 또는 모두의 조합, 및/또는 등을 포함한다.
원격 AV 시스템(114)은 네트워크(112)를 통해 차량들(102), V2I 디바이스(110), 네트워크(112), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 예에서, 원격 AV 시스템(114)은 서버, 일 그룹의 서버들, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, 원격 AV 시스템(114)은 플릿 관리 시스템(116)과 병치(co-locate)된다. 일부 실시예들에서, 원격 AV 시스템(114)은 자율주행 시스템, 자율주행 차량 컴퓨트(autonomous vehicle compute), 자율주행 차량 컴퓨트에 의해 구현된 소프트웨어, 및/또는 등을 포함한, 차량의 컴포넌트들 중 일부 또는 모두의 설치에 관여된다. 일부 실시예들에서, 원격 AV 시스템(114)은 차량의 수명 동안 그러한 컴포넌트들 및/또는 소프트웨어를 유지(예를 들어, 업데이트 및/또는 대체)한다.
플릿 관리 시스템(116)은 차량들(102), V2I 디바이스(110), 원격 AV 시스템(114), 및/또는 V2I 인프라스트럭처 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 예에서, 플릿 관리 시스템(116)은 서버, 일 그룹의 서버들, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, 플릿 관리 시스템(116)은 승차공유 회사(ridesharing company)[예를 들어, 다수의 차량들(예를 들어, 자율주행 시스템들을 포함하는 차량들 및/또는 자율주행 시스템들을 포함하지 않는 차량들)의 동작을 제어하는 조직 및/또는 등]와 연관된다.
일부 실시예들에서, V2I 시스템(118)은 네트워크(112)를 통해 차량들(102), V2I 디바이스(110), 원격 AV 시스템(114), 및/또는 플릿 관리 시스템(116)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 실시예들에서, V2I 시스템(118)은 네트워크(112)와는 상이한 연결을 통해 V2I 디바이스(110)와 통신하도록 구성된다. 일부 실시예들에서, V2I 시스템(118)은 서버, 일 그룹의 서버들, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, V2I 시스템(118)은 자치체(municipality) 또는 사설 기관[예를 들어, V2I 디바이스(110)를 유지하는 사설 기관 및/또는 등]과 연관된다.
도 1에 예시된 요소들의 개수 및 배열은 예로서 제공된다. 도 1에 예시된 것보다, 추가적인 요소들, 더 적은 요소들, 상이한 요소들, 및/또는 상이하게 배열된 요소들이 있을 수 있다. 추가적으로, 또는 대안적으로, 환경(100)의 적어도 하나의 요소가 도 1의 적어도 하나의 상이한 요소에 의해 수행되는 것으로서 설명된 하나 이상의 기능을 수행할 수 있다. 추가적으로, 또는 대안적으로, 환경(100)의 적어도 한 세트의 요소들이 환경(100)의 적어도 하나의 상이한 세트의 요소들에 의해 수행되는 것으로서 설명된 하나 이상의 기능을 수행할 수 있다.
이제 도 2를 참조하면, 차량(200)은 자율주행 시스템(202), 파워트레인 제어 시스템(204), 스티어링 제어 시스템(206), 및 브레이크 시스템(208)을 포함한다. 일부 실시예들에서, 차량(200)은 차량(102)(도 1을 보라)과 동일하거나 유사하다. 일부 실시예들에서, 차량(102)은 자율주행 능력[예를 들어, 제한 없이, 완전 자율주행 차량들(예를 들어, 사람 개입에 대한 의존에 선행하는 차량들), 고도 자율주행 차량들(예를 들어, 특정 상황들에서 사람 개입에 대한 의존에 선행하는 차량들), 및/또는 등을 포함한, 차량(200)이 사람 개입 없이 부분적으로 또는 완전히 동작되는 것을 가능하게 하는 적어도 하나의 기능, 피처, 디바이스, 및/또는 등을 구현함]을 갖는다. 완전 자율주행 차량들 및 고도 자율주행 차량들의 상세한 설명을 위해, SAE International의 표준 J3016: 그 전체가 참조로서 포함되는, Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems에 대한 참조가 이루어질 수 있다. 일부 실시예들에서, 차량(200)은 자율주행 플릿 관리자 및/또는 승차공유 회사와 연관된다.
자율주행 시스템(202)은 카메라(202a), LiDAR 센서(202b), radar 센서(202c) 및 마이크로폰(202d)과 같은 하나 이상의 디바이스를 포함하는 센서 묶음(sensor suite)을 포함한다. 일부 실시예들에서, 자율주행 시스템(202)은 더 많거나 적은 디바이스들 및/또는 상이한 디바이스들[예를 들어, 초음파 센서들, 관성 센서들, GPS 수신기들(아래에서 논의됨), 차량(200)이 이동한 거리의 표시와 연관된 데이터를 생성하는 주행거리측정 센서(odometry sensor)들, 및/또는 등]을 포함할 수 있다. 일부 실시예들에서, 자율주행 시스템(202)은 본원에서 설명되는 환경(100)과 연관된 데이터를 생성하기 위해 자율주행 시스템(202)에 포함된 하나 이상의 디바이스를 사용한다. 자율주행 시스템(202)의 하나 이상의 디바이스에 의해 생성된 데이터는, 차량(200)이 위치된 환경[예를 들어, 환경(100)]을 관측하기 위해 본원에서 설명되는 하나 이상의 시스템에 의해 사용될 수 있다. 일부 실시예들에서, 자율주행 시스템(202)은 통신 디바이스(202e), 자율주행 차량 컴퓨트(202f), 및 DBW(drive-by-wire) 시스템(202h)을 포함한다.
카메라들(202a)은 버스[예를 들어, 도 3의 버스(302)와 동일하거나 유사한 버스]를 통해 통신 디바이스(202e), 자율주행 차량 컴퓨트(202f), 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 카메라들(202a)은 물리적 물체들[예를 들어, 자동차들, 버스들, 연석(curb)들, 사람들, 및/또는 등]을 포함하는 이미지들을 캡처하기 위한 적어도 하나의 카메라[예를 들어, CCD(charge-coupled device)와 같은 광 센서를 사용하는 디지털 카메라, 열 카메라, IR(infrared) 카메라, 이벤트 카메라, 및/또는 등]를 포함한다. 일부 실시예들에서, 카메라(202a)는 출력으로서 카메라 데이터를 생성한다. 일부 예들에서, 카메라(202a)는 이미지와 연관된 이미지 데이터를 포함하는 카메라 데이터를 생성한다. 이 예에서, 이미지 데이터는 이미지에 대응하는 적어도 하나의 파라미터(예를 들어, 노출, 밝기 등과 같은 이미지 특성들, 이미지 타임스탬프, 및/또는 등)를 특정할 수 있다. 그러한 예에서, 이미지는 일 포맷(예를 들어, RAW, JPEG, PNG, 및/또는 등)일 수 있다. 일부 실시예들에서, 카메라(202a)는 입체시(stereopsis)(입체 비전)의 목적을 위해 이미지들을 캡처하기 위해 차량 상에(예를 들어, 상에 위치된) 구성된 복수의 독립적인 카메라들을 포함한다. 일부 예들에서, 카메라(202a)는 이미지 데이터를 생성하고 이미지 데이터를 자율주행 차량 컴퓨트(202f) 및/또는 플릿 관리 시스템[예를 들어, 도 1의 플릿 관리 시스템과 동일하거나 유사한 플릿 관리 시스템]에 송신하는 복수의 카메라들을 포함한다. 그러한 예에서, 자율주행 차량 컴퓨트(202f)는 적어도 2개의 카메라들로부터의 이미지 데이터에 기초하여 복수의 카메라들 중 적어도 2개의 카메라들의 시야(field of view)에서 하나 이상의 물체까지의 깊이를 결정한다. 일부 실시예들에서, 카메라들(202a)은 카메라들(202a)로부터의 거리(예를 들어, 최대 100 미터, 최대 일 킬로미터, 및/또는 등) 내의 물체들의 이미지들을 캡처하도록 구성된다. 따라서, 카메라들(202a)은 카메라들(202a)로부터 하나 이상의 거리에 있는 물체들을 인지하기 위해 최적화된 센서들 및 렌즈들과 같은 피처들을 포함한다.
실시예에서, 카메라(202a)는 시각적 내비게이션 정보를 제공하는 하나 이상의 신호등, 거리 표지판 및/또는 다른 물리적 물체와 연관된 하나 이상의 이미지를 캡처하도록 구성된 적어도 하나의 카메라를 포함한다. 일부 실시예들에서, 카메라(202a)는 하나 이상의 이미지와 연관된 신호등 데이터를 생성한다. 일부 예들에서, 카메라(202a)는 일 포맷(예를 들어, RAW, JPEG, PNG, 및/또는 등)을 포함하는 하나 이상의 이미지와 연관된 TLD 데이터를 생성한다. 일부 실시예들에서, TLD 데이터를 생성하는 카메라(202a)는, 카메라(202a)가 가능한 한 많은 물리적 물체들에 관한 이미지들을 생성하기 위해 넓은 시야[예를 들어, 광각 렌즈, 어안 렌즈, 대략 120 도 이상의 뷰잉 각도(viewing angle)를 갖는 렌즈, 및/또는 등]를 갖는 하나 이상의 카메라를 포함할 수 있다는 점에서 카메라들을 통합한 본원에서 설명되는 다른 시스템들과 상이하다.
LiDAR(Laser Detection and Ranging) 센서들(202b)은 버스[예를 들어, 도 3의 버스(302)와 동일하거나 유사한 버스]를 통해 통신 디바이스(202e), 자율주행 차량 컴퓨트(202f), 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. LiDAR 센서들(202b)은 SiPM 기반 TOF(Time-of-flight) LiDAR일 수 있다. LiDAR 센서들(202b)은 광 방출기(예를 들어, 레이저 송신기)로부터 광을 송신하도록 구성된 시스템을 포함한다. LiDAR 센서들(202b)에 의해 방출되는 광은 가시 스펙트럼의 외측에 있는 광(예를 들어, 적외선 광 및/또는 등)을 포함한다. 일부 실시예들에서, 동작 동안, LiDAR 센서들(202b)에 의해 방출된 광이 물리적 물체(예를 들어, 차량)를 만나고 LiDAR 센서들(202b)로 다시 반사된다. 일부 실시예들에서, LiDAR 센서들(202b)에 의해 방출된 광은 이 광이 만나는 물리적 물체들을 관통하지는 않는다. LiDAR 센서들(202b)은 또한, 광 방출기로부터 방출된 광을 이 광이 물리적 물체를 만난 후 검출하는 적어도 하나의 광 검출기를 포함한다. 일부 실시예들에서, LiDAR 센서들(202b)과 연관된 적어도 하나의 데이터 프로세싱 시스템이 LiDAR 센서들(202b)의 시야에 포함된 물체들을 표현하는 이미지[예를 들어, 포인트 클라우드(point cloud), 조합된 포인트 클라우드, 및/또는 등]를 생성한다. 일부 예들에서, LiDAR 센서(202b)와 연관된 적어도 하나의 데이터 프로세싱 시스템이 물리적 물체의 경계들, 물리적 물체의 표면들(예를 들어, 표면들의 토폴로지), 및/또는 등을 표현하는 이미지를 생성한다. 그러한 예에서, 이미지들은 LiDAR 센서들(202b)의 시야 내의 물리적 물체들의 경계들을 결정하는데 사용된다.
radar(Radio Detection and Ranging) 센서들(202c)은 버스[예를 들어, 도 3의 버스(302)와 동일하거나 유사한 버스]를 통해 통신 디바이스(202e), 자율주행 차량 컴퓨트(202f), 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. radar 센서들(202c)은 (펄스형 또는 연속적) 전파(radio wave)들을 송신하도록 구성된 시스템을 포함한다. radar 센서들(202c)에 의해 송신되는 전파들은 미리 결정된 스펙트럼 내에 있는 전파들을 포함한다. 일부 실시예들에서, 동작 동안, radar 센서들(202c)에 의해 송신된 전파들이 물리적 물체를 만나고 radar 센서들(202c)로 다시 반사된다. 일부 실시예들에서, radar 센서들(202c)에 의해 송신된 전파들이 일부 물체들에 의해 반사되지 않는다. 일부 실시예들에서, radar 센서들(202c)과 연관된 적어도 하나의 데이터 프로세싱 시스템이 radar 센서들(202c)의 시야에 포함된 물체들을 표현하는 신호들을 생성한다. 예를 들어, radar 센서들(202c)와 연관된 적어도 하나의 데이터 프로세싱 시스템이 물리적 물체의 경계들, 물리적 물체의 표면들(예를 들어, 표면들의 토폴로지), 및/또는 등을 표현하는 이미지를 생성한다. 일부 예들에서, 이미지들은 radar 센서들(202c)의 시야 내의 물리적 물체들의 경계들을 결정하는데 사용된다.
마이크로폰들(202d)은 버스[예를 들어, 도 3의 버스(302)와 동일하거나 유사한 버스]를 통해 통신 디바이스(202e), 자율주행 차량 컴퓨트(202f), 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 마이크로폰들(202d)은 오디오 신호들을 캡처하고 이 오디오 신호들과 연관된(예를 들어, 오디오 신호들을 표현하는) 데이터를 생성하는 하나 이상의 마이크로폰(예를 들어, 어레이 마이크로폰, 외부 마이크로폰, 및/또는 등)을 포함한다. 일부 예시들에서, 마이크로폰들(202d)은 트랜스듀서 디바이스들 및/또는 유사한 디바이스들을 포함한다. 일부 실시예들에서, 본원에서 설명되는 하나 이상의 시스템은 마이크로폰들(202d)에 의해 생성된 데이터를 수신할 수 있고 이 데이터와 연관된 오디오 신호들에 기초하여 차량(200)에 관련된 물체의 위치(예를 들어, 거리 및/또는 등)를 결정할 수 있다.
통신 디바이스(202e)는 카메라들(202a), LiDAR 센서들(202b), radar 센서들(202c), 마이크로폰들(202d), 자율주행 차량 컴퓨트(202f), 안전 제어기(202g), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 예를 들어, 통신 디바이스(202e)는 도 3의 통신 인터페이스(314)와 동일하거나 유사한 디바이스를 포함할 수 있다. 일부 실시예들에서, 통신 디바이스(202e)는 V2V(vehicle-to-vehicle) 통신 디바이스(예를 들어, 차량들 간의 데이터의 무선 통신을 가능하게 하는 디바이스)를 포함한다.
자율주행 차량 컴퓨트(202f)는 카메라들(202a), LiDAR 센서들(202b), radar 센서들(202c), 마이크로폰들(202d), 통신 디바이스(202e), 안전 제어기(202g), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 자율주행 차량 컴퓨트(202f)는 클라이언트 디바이스, 모바일 디바이스(예를 들어, 셀룰러 텔레폰, 태블릿, 및/또는 등), 서버(예를 들어, 하나 이상의 중앙 프로세싱 유닛, 그래피컬 프로세싱 유닛, 및/또는 등을 포함하는 컴퓨팅 디바이스), 및/또는 등과 같은 디바이스를 포함한다. 일부 실시예들에서, 자율주행 차량 컴퓨트(202f)는 본원에서 설명되는 자율주행 차량 컴퓨트(400)와 동일하거나 유사하다. 추가적으로, 또는 대안적으로, 일부 실시예들에서 자율주행 차량 컴퓨트(202f)는 자율주행 차량 시스템[예를 들어, 도 1의 원격 AV 시스템(114)과 동일하거나 유사한 자율주행 차량 시스템], 플릿 관리 시스템[예를 들어, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템], V2I 디바이스[예를 들어, 도 1의 V2I 디바이스(110)와 동일하거나 유사한 V2I 디바이스], 및/또는 V2I 시스템[예를 들어, 도 1의 V2I 시스템(118)과 동일하거나 유사한 V2I 시스템]과 통신하도록 구성된다.
안전 제어기(202g)는 카메라들(202a), LiDAR(202b), radar 센서들(202c), 마이크로폰들(202d), 통신 디바이스(202e), 자율주행 차량 컴퓨트(202f), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 안전 제어기(202g)는 차량(200)의 하나 이상의 디바이스[예를 들어, 파워트레인 제어 시스템(204), 스티어링 제어 시스템(206), 브레이크 시스템(208), 및/또는 등]를 동작시키기 위해 제어 신호들을 생성 및/또는 송신하도록 구성된 하나 이상의 제어기(전기 제어기, 전기기계 제어기, 및/또는 등)를 포함한다. 일부 실시예들에서, 안전 제어기(202g)는 자율주행 차량 컴퓨트(202f)에 의해 생성 및/또는 송신된 제어 신호들에 우선하는(예를 들어, 이 제어 신호들을 능가하는) 제어 신호들을 생성하도록 구성된다.
DBW 시스템(202h)은 통신 디바이스(202e) 및/또는 자율주행 차량 컴퓨트(202f)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, DBW 시스템(202h)은 차량(200)의 하나 이상의 디바이스[예를 들어, 파워트레인 제어 시스템(204), 스티어링 제어 시스템(206), 브레이크 시스템(208), 및/또는 등]를 동작시키기 위해 제어 신호들을 생성 및/또는 송신하도록 구성된 하나 이상의 제어기(예를 들어, 전기 제어기, 전기기계 제어기, 및/또는 등)를 포함한다. 추가적으로, 또는 대안적으로, DBW 시스템(202h)의 하나 이상의 제어기가 차량(200)의 적어도 하나의 상이한 디바이스[예를 들어, 턴 신호, 헤드라이트들, 도어 락들, 윈드쉴드 와이퍼(windshield wiper)들, 및/또는 등]를 동작시키기 위해 제어 신호들을 생성 및/또는 송신하도록 구성된다.
파워트레인 제어 시스템(204)은 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 파워트레인 제어 시스템(204)은 적어도 하나의 제어기, 작동기, 및/또는 등을 포함한다. 일부 실시예들에서, 파워트레인 제어 시스템(204)은 DBW 시스템(202h)으로부터 제어 신호들을 수신하고 파워트레인 제어 시스템(204)은 차량(200)이 전방으로 움직이기 시작하게 하고, 전방으로 움직이는 것을 멈추게 하고, 후방으로 움직이기 시작하게 하고, 후방으로 움직이는 것을 멈추게 하고, 일 방향으로 가속하게 하고, 일 방향으로 감속하게 하고, 좌측 턴을 수행하게 하고, 우측 턴, 및/또는 등을 수행하게 한다. 예에서, 파워트레인 제어 시스템(204)은 차량의 모터에 제공되는 에너지(예를 들어, 연료, 전기, 및/또는 등)가 증가하게 하거나, 동일하게 유지하게 하거나, 또는 감소하게 하고, 이에 의해 차량(200)의 적어도 하나의 휠이 회전하게 하거나 회전하지 않게 한다.
스티어링 제어 시스템(206)은 차량(200)의 하나 이상의 휠을 회전시키도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 스티어링 제어 시스템(206)은 적어도 하나의 제어기, 작동기, 및/또는 등을 포함한다. 일부 실시예들에서, 스티어링 제어 시스템(206)은, 차량(200)이 좌측 또는 우측으로 턴하게 하기 위해 차량(200)의 전방 2개의 휠들 및/또는 후방 2개의 휠들이 좌측 또는 우측으로 회전하게 한다.
브레이크 시스템(208)은, 차량(200)이 속력을 감소시키게 하고/하거나 고정상태를 유지하게 하기 위해 하나 이상의 브레이크를 작동시키도록 구성된다. 일부 예들에서, 브레이크 시스템(208)은, 차량(200)의 하나 이상의 휠과 연관된 하나 이상의 캘리퍼(caliper)가 차량(200)의 대응하는 로터 상에서 닫히게 하도록 구성된 적어도 하나의 제어기 및/또는 작동기를 포함한다. 추가적으로, 또는 대안적으로, 일부 예들에서 브레이크 시스템(208)은 AEB(automatic emergency braking) 시스템, 회생 브레이킹 시스템(regenerative braking system), 및/또는 등을 포함한다.
일부 실시예들에서, 차량(200)은 차량(200)의 상태 또는 조건 속성들을 측정하거나 추론하는 적어도 하나의 플랫폼 센서(명시적으로 예시되지는 않음)를 포함한다. 일부 예들에서, 차량(200)은 GPS(global positioning system) 수신기, IMU(inertial measurement unit), 휠 속력 센서, 휠 브레이크 압력 센서, 휠 토크 센서, 엔진 토크 센서, 스티어링 각도 센서, 및/또는 등과 같은 플랫폼 센서들을 포함한다.
이제 도 3을 참조하면, 디바이스(300)의 개략도가 예시된다. 예시된 바와 같이, 디바이스(300)는 프로세서(304), 메모리(306), 저장 컴포넌트(308), 입력 인터페이스(310), 출력 인터페이스(312), 통신 인터페이스(314), 및 버스(302)를 포함한다. 일부 실시예들에서, 디바이스(300)는 차량들(102)의 적어도 하나의 디바이스[예를 들어, 차량들(102)의 시스템의 적어도 하나의 디바이스] 및/또는 네트워크(112)의 하나 이상의 디바이스[예를 들어, 네트워크(112)의 시스템의 하나 이상의 디바이스]에 대응한다. 일부 실시예들에서, 차량들(102)의 하나 이상의 디바이스[예를 들어, 차량들(102)의 시스템의 하나 이상의 디바이스], 및/또는 네트워크(112)의 하나 이상의 디바이스[예를 들어, 네트워크(112)의 시스템의 하나 이상의 디바이스]는 적어도 하나의 디바이스(300) 및/또는 디바이스(300)의 적어도 하나의 컴포넌트를 포함한다. 도 3에 도시된 바와 같이, 디바이스(300)는 버스(302), 프로세서(304), 메모리(306), 저장 컴포넌트(308), 입력 인터페이스(310), 출력 인터페이스(312), 및 통신 인터페이스(314)를 포함한다.
버스(302)는 디바이스(300)의 컴포넌트들 중 통신을 허용하는 컴포넌트를 포함한다. 일부 실시예들에서, 프로세서(304)는 하드웨어, 소프트웨어, 하드웨어와 소프트웨어의 조합으로 구현된다. 일부 예들에서, 프로세서(304)는 프로세서[예를 들어, CPU(central processing unit), GPU(graphics processing unit), APU(accelerated processing unit), 및/또는 등], 마이크로폰, DSP(digital signal processor), 및/또는 적어도 하나의 기능을 수행하도록 프로그래밍될 수 있는 임의의 프로세싱 컴포넌트[예를 들어, FPGA(field-programmable gate array), ASIC(application specific integrated circuit), 및/또는 등]를 포함한다. 메모리(306)는 RAM(random access memory), ROM(read-only memory), 및/또는 프로세서(304)에 의한 사용을 위해 데이터 및/또는 명령어들을 저장하는 다른 유형의 동적 및/또는 정적 저장 디바이스(예를 들어, 플래시 메모리, 자기 메모리, 광학 메모리, 및/또는 등)를 포함한다.
저장 컴포넌트(308)는 디바이스(300)의 동작 및 사용과 관련된 데이터 및/또는 소프트웨어를 저장한다. 일부 예들에서, 저장 컴포넌트(308)는 하드 디스크(예를 들어, 자기 디스크, 광학 디스크, 자기 광학 디스크, 고체 상태 디스크, 및/또는 등), CD(compact disc), DVD(digital versatile disc), 플로피 디스크, 카트리지, 자기 테이프, CD-ROM, RAM, PROM, EPROM, FLASH-EPROM, NV-RAM, 및/또는 다른 유형의 컴퓨터 판독가능 매체를 대응하는 드라이브와 함께 포함한다.
입력 인터페이스(310)는 디바이스(300)가 가령 사용자 입력(예를 들어, 터치스크린 디스플레이, 키보드, 키패드, 마우스, 버튼, 스위치, 마이크로폰, 카메라, 및/또는 등)을 통해 정보를 수신하는 것을 허용하는 컴포넌트를 포함한다. 추가적으로 또는 대안적으로, 일부 실시예들에서 입력 인터페이스(310)는 정보를 감지하는 센서[예를 들어, GPS(global positioning system) 수신기, 가속도계, 자이로스코프, 작동기, 및/또는 등]를 포함한다. 출력 인터페이스(312)는 디바이스(300)로부터의 출력 정보를 제공하는 컴포넌트[예를 들어, 디스플레이, 스피커, 하나 이상의 LED(light-emitting diode), 및/또는 등]를 포함한다.
일부 실시예들에서, 통신 인터페이스(314)는, 디바이스(300)가 유선 연결, 무선 연결, 또는 유선 연결과 무선 연결의 조합을 통해 다른 디바이스들과 통신하는 것을 허용하는 송수신기형 컴포넌트(예를 들어, 송수신기, 개별 수신기 및 송신기, 및/또는 등)를 포함한다. 일부 예들에서, 통신 인터페이스(314)는, 디바이스(300)가 다른 디바이스로부터 정보를 수신하는 것 및/또는 다른 디바이스에 정보를 제공하는 것을 허용한다. 일부 예들에서, 통신 인터페이스(314)는 이더넷 인터페이스, 광학 인터페이스, 동축 인터페이스, 적외선 인터페이스, RF(radio frequency) 인터페이스, USB(universal serial bus) 인터페이스, Wi-Fi® 인터페이스, 셀룰러 네트워크 인터페이스, 및/또는 등을 포함한다.
일부 실시예들에서, 디바이스(300)는 본원에서 설명되는 하나 이상의 프로세스를 수행한다. 디바이스(300)는 메모리(306) 및/또는 저장 디바이스(308)와 같은 컴퓨터 판독가능 매체에 의해 저장된 소프트웨어 명령어들을 실행하는 프로세서(304)에 기초하여 이 프로세스를 수행한다. 컴퓨터 판독가능 매체(예를 들어, 비일시적 컴퓨터 판독가능 매체)는 비일시적 메모리 디바이스로서 본원에서 정의된다. 비일시적 메모리 디바이스는 단일 물리적 저장 디바이스 내측에 위치된 메모리 공간 또는 다수의 물리적 저장 디바이스들에 걸쳐 분산된 메모리 공간을 포함한다.
일부 실시예들에서, 다른 컴퓨터 판독가능 매체로부터 또는 통신 인터페이스(314)를 통해 다른 디바이스로부터 메모리(306) 및/또는 저장 디바이스(308)에 소프트웨어 명령어들이 입력된다. 메모리(306) 및/또는 저장 디바이스(308)에 저장된 소프트웨어 명령어들은, 실행될 때, 프로세서(304)가 본원에서 설명되는 하나 이상의 프로세스를 수행하게 한다. 추가적으로 또는 대안적으로, 본원에서 설명되는 하나 이상의 프로세스를 수행하기 위해 소프트웨어 명령어들을 대신하여 또는 소프트웨어 명령어들과 조합하여 하드와이어드 회로부(hardwired circuitry)가 사용된다. 따라서, 본원에서 설명되는 실시예들이 달리 명시적으로 언급되지 않는 한 하드웨어 회로부 및 소프트웨어의 임의의 특정 조합에 제한되는 것은 아니다.
메모리(306) 및/또는 저장 디바이스(308)는 데이터 저장소 또는 적어도 하나의 데이터 구조체(예를 들어, 데이터베이스 및/또는 등)를 포함한다. 디바이스(300)는 메모리(306) 또는 저장 디바이스(308) 내의 데이터 저장소 또는 적어도 하나의 데이터 구조체로부터 정보를 수신할 수 있거나, 메모리(306) 또는 저장 디바이스(308) 내의 데이터 저장소 또는 적어도 하나의 데이터 구조체에 정보를 저장할 수 있거나, 메모리(306) 또는 저장 디바이스(308) 내의 데이터 저장소 또는 적어도 하나의 데이터 구조체에 정보를 전달할 수 있거나 메모리(306) 또는 저장 디바이스(308) 내의 데이터 저장소 또는 적어도 하나의 데이터 구조체에 저장된 정보를 서치할 수 있다. 일부 예들에서, 정보는 네트워크 데이터, 입력 데이터, 출력 데이터, 또는 이들의 임의의 조합을 포함한다.
일부 실시예들에서, 디바이스(300)는 메모리(306)에 그리고/또는 다른 디바이스[예를 들어, 디바이스(300)와 동일하거나 유사한 다른 디바이스]의 메모리에 저장된 소프트웨어 명령어들을 실행하도록 구성된다. 본원에서 사용되는 바와 같이, 용어 "모듈"은 프로세서(304)에 의해 그리고/또는 다른 디바이스[예를 들어, 디바이스(300)와 동일하거나 유사한 다른 디바이스]의 프로세서에 의해 실행될 때 디바이스(300)[예를 들어, 디바이스(300)의 적어도 하나의 컴포넌트]가 본원에서 설명되는 하나 이상의 프로세스를 수행하게 하는 메모리(306)에 그리고/또는 다른 디바이스의 메모리에 저장된 적어도 하나의 명령어를 지칭한다. 일부 실시예들에서, 모듈은 소프트웨어, 펌웨어, 하드웨어, 및/또는 등에 구현된다.
도 3에 예시된 컴포넌트들의 개수 및 배열은 예로서 제공된다. 일부 실시예들에서, 디바이스(300)는 도 3에 예시된 것보다 추가적인 컴포넌트들, 더 적은 컴포넌트들, 상이한 컴포넌트들, 또는 상이하게 배열된 컴포넌트들을 포함할 수 있다. 추가적으로 또는 대안적으로, 디바이스(300)의 한 세트의 컴포넌트들(예를 들어, 하나 이상의 컴포넌트)이 디바이스(300)의 다른 컴포넌트 또는 다른 세트의 컴포넌트들에 수행되는 것으로서 설명된 하나 이상의 기능을 수행할 수 있다.
이제 도 4를 참조하면, 자율주행 차량 컴퓨트(400)(때로는 "AV 스택으로 지칭됨")의 예시적인 블록도가 예시된다. 예시된 바와 같이, 자율주행 차량 컴퓨트(400)는 인지 시스템(402)(때로는 인지 모듈로 지칭됨), 계획 시스템(404)(때로는 계획 모듈로 지칭됨), 로컬화 시스템(406)(때로는 로컬화 모듈로 지칭됨), 제어 시스템(408)(때로는 제어 모듈로 지칭됨), 및 데이터베이스(410)를 포함한다. 일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408), 및 데이터베이스(410)는 차량의 자율주행 내비게이션 시스템[예를 들어, 차량(200)의 자율주행 차량 컴퓨트(202f)]에 포함 및/또는 구현된다. 추가적으로, 또는 대안적으로, 일부 실시예들에서 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408), 및 데이터베이스(410)는 하나 이상의 독립형 시스템(standalone system)[예를 들어, 자율주행 차량 컴퓨트(400)와 동일하거나 유사한 하나 이상의 시스템 및/또는 등]에 포함된다. 일부 예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408), 및 데이터베이스(410)는 본원에서 설명되는 바와 같은 차량 및/또는 적어도 하나의 원격 시스템에 위치된 하나 이상의 독립형 시스템에 포함된다. 일부 실시예들에서, 자율주행 차량 컴퓨트(400)에 포함된 임의의 및/또는 모든 시스템들은 소프트웨어(예를 들어, 메모리에 저장된 소프트웨어 명령어들), 컴퓨터 하드웨어[예를 들어, 마이크로프로세서들, 마이크로제어기들, ASIC(application-specific integrated circuit)들, FPGA(Field Programmable Gate Array)들, 및/또는 등에 의해], 또는 컴퓨터 소프트웨어와 컴퓨터 하드웨어의 조합들에 구현된다. 일부 실시예들에서, 자율주행 차량 컴퓨트(400)가 원격 시스템[예를 들어, 원격 AV 시스템(114)과 동일하거나 유사한 자율주행 차량 시스템, 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템(116), V2I 시스템(118)과 동일하거나 유사한 V2I 시스템, 및/또는 등]과 통신하도록 구성된다는 점이 또한 이해될 것이다.
일부 실시예들에서, 인지 시스템(402)은 환경 내의 적어도 하나의 물리적 물체와 연관된 데이터[예를 들어, 적어도 하나의 물리적 물체를 검출하기 위해 인지 시스템(402)에 의해 사용되는 데이터]를 수신하고 적어도 하나의 물리적 물체를 분류한다. 일부 예들에서, 인지 시스템(402)은 적어도 하나의 카메라[예를 들어, 카메라(202a)]에 의해 캡처된 이미지 데이터를 수신하고, 이미지는 적어도 하나의 카메라의 시야 내의 하나 이상의 물리적 물체와 연관된다(예를 들어, 하나 이상의 물리적 물체를 표현함). 그러한 예에서, 인지 시스템(402)은 하나 이상의 그룹의 물리적 물체들(예를 들어, 자전거들, 차량들, 교통 표지판들, 보행자들, 및/또는 등)에 기초하여 적어도 하나의 물리적 물체를 분류한다. 일부 실시예들에서, 인지 시스템(402)은 물리적 물체들을 분류하는 인지 시스템(402)에 기초하여 계획 시스템(404)에 물리적 물체들의 분류와 연관된 데이터를 송신한다.
일부 실시예들에서, 계획 시스템(404)은 목적지와 연관된 데이터를 수신하고 차량[예를 들어, 차량들(102)]이 그를 따라 목적지를 향해 이동할 수 있는 적어도 하나의 루트[예를 들어, 루트들(106)]와 연관된 데이터를 생성한다. 일부 실시예들에서, 계획 시스템(404)은 인지 시스템(402)으로부터 데이터(예를 들어, 위에서 설명된 물리적 물체들의 분류와 연관된 데이터)를 주기적으로 또는 연속적으로 수신하고 계획 시스템(404)은 인지 시스템(402)에 의해 생성된 데이터에 기초하여 적어도 하나의 궤적을 업데이트하거나 적어도 하나의 상이한 궤적을 생성한다. 일부 실시예들에서, 계획 시스템(404)은 로컬화 시스템(406)으로부터 차량[예를 들어, 차량들(102)]의 업데이트된 위치와 연관된 데이터를 수신하고 계획 시스템(404)은 로컬화 시스템(406)에 의해 생성된 데이터에 기초하여 적어도 하나의 궤적을 업데이트하거나 적어도 하나의 상이한 궤적을 생성한다.
일부 실시예들에서, 로컬화 시스템(406)은 구역 내의 차량[예를 들어, 차량들(102)]의 위치와 연관된(예를 들어, 위치를 표현하는) 데이터를 수신한다. 일부 예들에서, 로컬화 시스템(406)은 적어도 하나의 LiDAR 센서[예를 들어, LiDAR 센서(202b)]에 의해 생성된 적어도 하나의 포인트 클라우드와 연관된 LiDAR 데이터를 수신한다. 특정 예들에서, 로컬화 시스템(406)은 다수의 LiDAR 센서들로부터 적어도 하나의 포인트 클라우드와 연관된 데이터를 수신하고 로컬화 시스템(406)은 포인트 클라우드들 각각에 기초하여 조합된 포인트 클라우드를 생성한다. 이 예들에서, 로컬화 시스템(406)은 적어도 하나의 포인트 클라우드 또는 조합된 포인트 클라우드를 데이터베이스(410)에 저장된 구역의 2D(two-dimensional) 및/또는 3D(three-dimensional) 맵과 비교한다. 로컬화 시스템(406)은 이어서 로컬화 시스템(406)이 적어도 하나의 포인트 클라우드 또는 조합된 포인트 클라우드를 맵과 비교한 것에 기초하여 구역 내의 차량의 위치를 결정한다. 일부 실시예들에서, 맵은 차량의 내비게이션 이전에 생성된 구역의 조합된 포인트 클라우드를 포함한다. 일부 실시예들에서, 맵들은, 제한 없이, 차도 기하학적 속성들의 고정밀 맵들, 도로 네트워크 연결 속성들을 설명하는 맵들, (제한 속력, 교통량, 차량 차선 및 자전거 차선의 수, 차선 폭, 차선 교통 방향들, 또는 차선 마커 유형들 및 위치들, 또는 이들의 조합들과 같은) 차도 물리적 속성들을 설명하는 맵들, 횡단보도들, 교통 표지판들 또는 다른 다양한 유형들의 이동 신호들과 같은 도로 피처들의 공간적 위치들을 설명하는 맵들을 포함한다. 일부 실시예들에서, 맵은 인지 시스템에 의해 수신된 데이터에 기초하여 실시간으로 생성된다.
다른 예에서, 로컬화 시스템(406)은 GPS(global positioning system) 수신기에 의해 생성된 GNSS(Global Navigation Satellite System) 데이터를 수신한다. 일부 예들에서, 로컬화 시스템(406)은 구역 내의 차량의 위치와 연관된 GNSS 데이터를 수신하고 로컬화 시스템(406)은 구역 내의 차량의 위도 및 경도를 결정한다. 그러한 예에서, 로컬화 시스템(406)은 차량의 위도 및 경도에 기초하여 구역 내의 차량의 위치를 결정한다. 일부 실시예들에서, 로컬화 시스템(406)은 차량의 위치와 연관된 데이터를 생성한다. 일부 예들에서, 로컬화 시스템(406)은, 로컬화 시스템(406)이 차량의 위치를 결정한 것에 기초하여 차량의 위치와 연관된 데이터를 생성한다. 그러한 예에서, 차량의 위치와 연관된 데이터는 차량의 위치에 대응하는 하나 이상의 의미론적 속성(semantic property)과 연관된 데이터를 포함한다.
일부 실시예들에서, 제어 시스템(408)은 계획 시스템(404)으로부터 적어도 하나의 궤적과 연관된 데이터를 수신하고 제어 시스템(408)은 차량의 동작을 제어한다. 일부 예들에서, 제어 시스템(408)은 계획 시스템(404)으로부터 적어도 하나의 궤적와 연관된 데이터를 수신하고 제어 시스템(408)은, 파워트레인 제어 시스템[예를 들어, DBW 시스템(202h), 파워트레인 제어 시스템(204), 및/또는 등], 스티어링 제어 시스템[예를 들어, 스티어링 제어 시스템(206)], 및/또는 브레이크 시스템[예를 들어, 브레이크 시스템(208)]이 동작하게 하기 위해 제어 신호들을 생성하고 송신함으로써 차량의 동작을 제어한다. 궤적이 좌측 턴을 포함하는 예에서, 제어 시스템(408)은 스티어링 제어 시스템(206)이 차량(200)의 스티어링 각도를 조정하게 하기 위해 제어 신호를 송신하고, 이에 의해 차량(200)이 좌측으로 턴하게 한다. 추가적으로, 또는 대안적으로, 제어 시스템(408)은 차량(200)의 다른 디바이스들(예를 들어, 헤드라이트들, 턴 신호, 도어 락들, 윈드쉴드 와이퍼들, 및/또는 등)이 상태들을 변경하게 하기 위해 제어 신호들을 생성하고 송신한다.
일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 적어도 하나의 머신 러닝 모델[예를 들어, 적어도 하나의 MLP(multilayer perceptron), 적어도 하나의 CNN(convolutional neural network), 적어도 하나의 RNN(recurrent neural network), 적어도 하나의 오토인코더(autoencoder), 적어도 하나의 변환기, 및/또는 등]을 구현한다. 일부 예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 적어도 하나의 머신 러닝 모델을 단독으로 또는 위에서 언급된 시스템들 중 하나 이상과의 조합으로 구현한다. 일부 예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 적어도 하나의 머신 러닝 모델을 파이프라인(pipeline)(예를 들어, 환경에 위치된 하나 이상의 물체를 식별하기 위한 파이프라인 및/또는 등)의 일부로서 구현한다.
데이터베이스(410)는 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406) 및/또는 제어 시스템(408)에 송신되고, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406) 및/또는 제어 시스템(408)으로부터 수신되고/수신되거나 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406) 및/또는 제어 시스템(408)에 의해 업데이트된 데이터를 저장한다. 일부 예들에서, 데이터베이스(410)는, 동작과 관련된 데이터 및/또는 소프트웨어를 저장하고 자율주행 차량 컴퓨트(400)의 적어도 하나의 시스템을 사용하는 저장 컴포넌트[예를 들어, 도 3의 저장 컴포넌트(308)와 동일하거나 유사한 저장 컴포넌트]를 포함한다. 일부 실시예들에서, 데이터베이스(410)는 적어도 하나의 구역의 2D 맵 및/또는 3D 맵과 연관된 데이터를 저장한다. 일부 예들에서, 데이터베이스(410)는 도시의 일부, 다수의 도시들의 다수의 부분들, 다수의 도시들, 카운티, 주(예를 들어, 지역), 및/또는 등의 2D 맵 및/또는 3D 맵과 연관된 데이터를 저장한다. 그러한 예에서, 차량[예를 들어, 차량들(102) 및/또는 차량(200)과 동일하거나 유사한 차량]은 하나 이상의 주행가능 영역[예를 들어, 단일 차선 도로들, 다중 차선 도로들, 고속도로들, 백 로드(back road)들, 오프 로드 트레일(off road trail)들, 및/또는 등]을 따라 주행할 수 있고 적어도 하나의 LiDAR 센서[예를 들어, LiDAR 센서들(202b)과 동일하거나 유사한 LiDAR 센서]가 적어도 하나의 LiDAR 센서의 시야에 포함된 물체들을 표현하는 이미지와 연관된 데이터를 생성하게 할 수 있다.
일부 실시예들에서, 데이터베이스(410)는 복수의 디바이스들에 걸쳐 구현될 수 있다. 일부 예들에서, 데이터베이스(410)는 차량[예를 들어, 차량들(102) 및/또는 차량(200)과 동일하거나 유사한 차량], 자율주행 차량 시스템[예를 들어, 원격 AV 시스템(114)과 동일하거나 유사한 자율주행 차량 시스템], 플릿 관리 시스템[예를 들어, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템], V2I 시스템[예를 들어, 도 1의 V2I 시스템(118)과 유사하거나 동일한 V2I 시스템], 및/또는 등에 포함된다.
도 5는 LiDAR 시스템(502)의 예를 도시한다. LIDAR 시스템(502)은 다수의 LiDAR 센서들[예를 들어, 도 2의 LiDAR 센서들(202b)]을 포함한다. LiDAR 시스템(502)은 하나 이상의 광 방출기(506)(예를 들어, 레이저 송신기)로부터 광(504a 내지 504c)을 방출한다. LiDAR 시스템에 의해 방출된 광은 일반적으로 가시 스펙트럼에 있지 않고; 예를 들어, 적외선 광이 자주 사용된다. 방출된 광(504b) 중 일부가 물리적 물체(508)(예를 들어, 차량)를 만나고 LiDAR 시스템(502)에 다시 반사된다. LiDAR 시스템(502)은, 반사된 광을 검출하는 하나 이상의 광 검출기(510)(예를 들어, 광다이오드, 핀 광다이오드, APD, SiPM, SPAD, 또는 이들의 임의의 조합들)를 또한 갖는다. 실시예에서, LiDAR 시스템과 연관된 하나 이상의 데이터 프로세싱 시스템이 LiDAR 시스템의 시야(514)를 표현하는 이미지(512)를 생성한다. 이미지(512)는 물리적 물체(508)의 경계들 및 반사율(516)을 표현하는 정보를 포함한다. 이 방식으로, 이미지(512)는 AV에 가까이 있는 하나 이상의 물리적 물체의 경계들(516)을 결정하는데 사용된다.
도 6은 동작시의 LiDAR 시스템(502)을 도시한다. 도 6의 예에서, 차량은 이미지(602)의 형태인 카메라 시스템 출력 및 LiDAR 데이터 포인트들(604)의 형태인 LiDAR 시스템 출력 둘 다를 수신한다. 사용시, 차량(102)의 데이터 프로세싱 시스템들은 이미지(602)를 데이터 포인트들(604)과 비교한다. 특히, 이미지(602)에서 식별된 물리적 물체(606)가 또한 데이터 포인트들(604) 중 식별된다. 이 방식으로, 차량(102)은 데이터 포인트들(604)의 외형(contour) 및 밀도에 기초하여 물리적 물체의 경계들을 인지한다.
도 7은 LiDAR 시스템(602)의 동작을 추가로 상세히 도시한다. 위에서 설명된 바와 같이, 차량(102)은 LiDAR 시스템(602)에 의해 검출된 데이터 포인트들의 특성들에 기초하여 물리적 물체의 경계 및 반사율을 검출한다. 도 7에 도시된 바와 같이, 지면(702)과 같은 평평한 물체가 LiDAR 시스템(602)으로부터 방출된 광(704a 내지 704d)을 일관적 방식(consistent manner)으로 반사할 것이다. 차량(102)이 지면(702) 위에서 이동할 때, LiDAR 시스템(602)은 아무 것도 도로를 막는 것이 없으면 다음 유효 지면 포인트(706)에 의해 반사된 광을 검출하는 것을 계속할 것이다. 그러나, 물체(708)가 도로를 막으면, LiDAR 시스템(602)에 의해 방출된 광(704e 내지 704f)이 예상되는 일관적 방식과는 비일관적인 방식으로 포인트(710a 및 710b)로부터 반사될 것이다. 이 정보로부터, 차량(102)은 물체(708)가 존재한다고 결정할 수 있다.
도 8은 복수의 마이크로셀들(802aa 내지 802an)[개별적으로 마이크로셀(802)로 그리고 집합적으로 마이크로셀들(802)로 지칭됨]을 갖는 SiPM(silicon photomultiplier) 디바이스(800)의 도면이다. SiPM 디바이스(800)는 저광 신호(low-light signal)들을 감지하고, 시간측정하며, 단일 광자 레벨까지 아래로 정량화(quantify)하는 픽셀화된 광검출기이다. SiPM 디바이스(800)는 공통 출력부, 캐소드(808)를 공유하는 어레이의 다수의 마이크로셀들(802)을 포함한다. 도 8의 예에서, 각각의 디바이스(800)은 제 1 애노드(804), 제 2 애노드(806) 및 캐소드(808)를 포함한다. 각각의 마이크로셀(802)은 2개의 서브 영역들을 포함한다. 서브 영역(802-1)은 내부 이득을 갖는 SPAD(single photon avalanche diode)이다. 서브 영역(802-2)은 내부 이득이 없는 광다이오드 또는 핀 다이오드이다. 도 8의 예에서, 서브 영역들(802-1)이 연결되고 공통 출력부 또는 애노드를 공유한다. 예를 들어, 서브 영역들(802-1)은 도 8의 예에서 애노드(804)를 공유한다. 추가적으로, 도 8의 예 상에서, 서브 영역들(802-2)이 연결되고 공통 출력부 또는 애노드를 공유한다. 예를 들어, 서브 영역들(802-2)은 도 8의 예에서 애노드(806)를 공유한다.
실시예들에서, 애노드(804)는 서브 영역(802-1)에서 검출된 광자들에 응답하여 출력 펄스(전류)를 생성하고 저광 레벨(예를 들어, 100 광자들 미만) 신호들을 캡처한다. 저광 레벨들 동안, 애노드(806) 출력 펄스(전류)가 저광 레벨들 동안의 애노드(806)로부터의 신뢰할 수 있는 출력 측정을 막는 판독 전자 노이즈(및 또는 마이크로셀 고유 노이즈)에 의해 지배된다. 예들에서, 서브 영역(마이크로셀)(802-1)은 짧은 지속 전류 펄스를 제공하는 단일 광자들을 검출할 수 있는 SPAD이다. 예들에서, 애노드(804)는 광자 도착 시간과 동기적인 전류 펄스를 출력한다.
일반적으로, 가이거 모드(Geiger mode)에서 동작되는 광다이오드는 높은 이득을 달성하기 위해 항복(breakdown)의 메커니즘을 이용하고 SPAD로 지칭된다. 동작시, 애노드(804)는 저광 레벨에서 정확한 정보를 캡처한다. 예를 들어, 캡처된 정보의 강도가 애노드를 통해 획득되고, 서브 영역(802-1)으로부터의 다수의 출력 전류 펄스들이 미리 정의된 기간 내에 축적된다. 애벌런치 복구 회로(avalanche recovery circuit)가 애벌런치를 ??칭(quenching)하고 있고 바이어스를 복원하고 있는 동안, SPAD는 더 이상의 광자 도착들을 검출하지 않는다. 이 짧은 기간 동안 SiPM 디바이스에 도달하는 광자들은 검출되지 않거나 더 작은 이득으로 더 적은 전류(총 전하)를 출력한다. 광자들의 수가 증가함에 따라, 애노드(804)에 의해 출력되는 전류가 포화되기 시작한다. 본 기술들은, 제 1 애노드(804) 출력이 포화될 때 높은 플럭스 이벤트들 동안 정보를 캡처할 수 있는 제 2 애노드(806)를 가능하게 한다.
실시예들에서, 애노드(806)는 서브 영역(802-2)에서 검출된 광자들에 응답하여 출력 펄스(전류)를 생성하고 고광 레벨(high light level)(예를 들어, 실질적으로 100 광자들 초과) 신호들을 캡처한다. 고광 레벨들 동안, 애노드(804)가 포화되고, 포화가 애노드(804)로부터의 신뢰할 수 있는 출력을 막는다. 실시예들에서, 애노드(706)가 강도 또는 반사율 측정을 위한 전류 출력을 생성하고, 서브 영역(마이크로셀)(802-2)은 내부 이득 없는 광다이오드 또는 핀 다이오드이다. 예시들에서, 애노드(806)는 애노드(804)와 비교할 때 더 낮은 감도(sensitivity)를 갖고, 고광 레벨들을 검출하는데 사용된다. 따라서, 실시예들에서 애노드(806) 출력은 애노드(804)와 비교할 때 더 높은 레벨들의 광에 정확히 응답한다.
실시예들에서, 서브 영역(802-2)은 SiPM 디바이스(800)의 SPAD 마이크로셀의 각각 또는 일부에서 발생하는 PD(photodiode) 유형 서브 픽셀이다. 실시예들에서, 각각의 SiPM 픽셀에서의 2개의 애노드 출력들(804 및 806)은 강도/반사율 정보에 대한 높은 그리고 낮은 플럭스(광학 전력 리턴) 측정에 사용된다. 설명의 용이성을 위해, 마이크로셀들은 동일한 사이즈이고 사각형 패턴으로 배열된 것으로서 예시된다. 그러나, 본 기술들에 따른 마이크로셀들은 임의의 사이즈 및 형태에 있을 수 있다. 예를 들어, 구현에 따라, 마이크로셀의 사이즈가 1 μm부터 100 μm까지 변화하고 디바이스당 마이크로셀들의 수가 수백개부터 수만개까지의 범위에 있다. 예들에서, SiPM 픽셀(800)은 SPAD(single photon avalanche photodiode)[예를 들어, 서브 영역(802-1)], ??칭 저항기 또는 ??칭 회로의 직렬 조합이다. 일반적으로, 낮은 리턴 광 신호가 먼 거리에 있는 물체로부터 반사되는 한편, 높은 리턴 신호가 근거리 물체로부터 반사된다. 실시예들에서, SPAD는 다크 트리거(dark trigger) 또는 이벤트 트리커를 포함한다. SPAD들(마이크로셀들)이 병렬로 연결되고, 각각의 마이크로셀이 광자들을 독립적으로 검출한다. 애노드(804)가 내부 이득을 갖는 출력 전류를 생성하는 한편, 애노드(806)가 내부 이득이 거의 또는 전혀 없는 광전류를 생성한다. 예들에서, 모든 마이크로셀들이 공통 캐소드 출력(808)을 공유한다.
예들에서, 판독 회로부는 캡처된 정보와 연관된 도착 시간(예를 들어, SiPM 출력의 상승 에지의 시간을 측정함) 및 출력의 광학 전력(예를 들어, 아날로그 신호의 피크, 면적, 및 형태)을 계산하는 외부 회로를 포함한다. 실시예에서, 외부 회로는 파이어링된(fired) 픽셀들(예를 들어, 활성 SiPM 픽셀들)의 수를 카운트한다. 실시예에서, 외부 회로는 광자의 도착 시간을 획득하기 위해 픽셀들에 의해 출력된 펄스의 시작 시간을 측정한다. 예시들에서, LIDAR 시스템들[예를 들어, 도 5의 LiDAR 시스템(502)]은 단색 레이터 펄스(monochromatic laser pulse)들을 이용할 수 있고 반사된 레이저 펄스(예를 들어, 리턴 신호)의 강도 및 시간 지연 둘 다를 측정할 수 있다. 강도 및 시간 지연로부터, LIDAR 시스템은 이어서 LIDAR 데이터 포인트들[예를 들어, LIDAR 데이터 포인트들(604)]의 어레이를 포함하는 LIDAR 이미지를 생성할 수 있고, 각각의 데이터 포인트는 시스템 주변 필드 내의 검출된 물체의 범위(LIDAR 시스템으로부터의 거리) 및 반사율을 포함한다. 실시예들에서, LiDAR 이미지는 포인트 클라우드이다.
도 8의 블록도는, 디바이스(800)가 도 8에 도시된 컴포넌트들 모두를 포함해야 함을 표시하기 위해 의도되는 것은 아니다. 그 보다는, 디바이스(800)는 더 적은 또는 도 8에 예시되지 않은 추가 컴포넌트들[예를 들어, 마이크로셀들(802) 간의 광학 트렌치(optical trench), (영역(802-1)과 영역(802-2) 사이의) 마이크로셀(802) 내측의 추가 광학 트렌치, 마이크로셀 기반 회로, 애노드들, 캐소드들, 상이한 형태의 마이크로셀들 및 픽셀들 등]을 포함할 수 있다. 디바이스(800)는 특정 구현의 상세사항들에 따라, 도시되지 않은 임의의 수의 추가 컴포넌트들을 포함할 수 있다. 또한, 다른 설명된 기능들의 디바이스의 부분들이 부분적으로, 또는 전체적으로, 하드웨어에 그리고/또는 프로세서에 구현될 수 있다. 예를 들어, 애플리케이션 특정 집적 회로로, 프로세서에 구현된 로직으로, 특화된 그래픽스 프로세싱 유닛에 구현된 로직으로, 또는 임의의 다른 디바이스에 제어 또는 기능이 구현될 수 있다.
도 9는 높은 플럭스 이벤트(902) 및 낮은 플럭스 이벤트(904) 동안의 실리콘 광증배기 출력의 예시이다. 높은 플럭스 이벤트(902) 동안, 제 1 애노드[예를 들어, 도 8의 제 1 애노드(804)]가 높은 플럭스 이벤트 동안 포화된다. 제 2 애노드[예를 들어, 도 8의 제 2 애노드(806)]는, 제 1 애노드가 포화되었을 때 강도/반사율 정보에 대한 높은 플럭스(광학 전력 리턴) 측정 동안 정보를 캡처하고 출력하는데 사용된다. 유사하게, 낮은 플럭스 이벤트 동안, 제 2 애노드[도 8의 제 2 애노드(806)]는 판독 노이즈에 의해 지배된다. 예들에서, 제 2 애노드(806)는 낮은 신호 레벨들에서 고유 노이즈에 의해 지배된다. 제 1 애노드(804)는, 제 2 애노드가 판독 노이즈에 의해 지배되었을 때 강도/반사율 정보에 대한 낮은 플럭스(광학 전력 리턴) 측정을 위해 사용된다. 이 방식으로, 본 기술들에 따른 SiPM 디바이스는 낮은 플럭스 이벤트 및 높은 플럭스 이벤트 둘 다에 대한 2개의 출력들을 제공한다. 실시예들에서, 본 기술들은 상이한 도핑 프로파일들, 바이어스 전압들, 내부 이득, 필터 대역폭들, 또는 이들의 임의의 조합들을 갖는 제 1 애노드 및 제 2 애노드를 포함한다. 예에서, 상기 제 1 서브 영역 및 상기 제 2 서브 영역은 전류를 생성할 때 동일한 도핑 프로파일, 동일한 바이어스 전압, 동일한 광학 패스 윈도우(optical pass window), 또는 이들의 임의의 조합들을 갖는다. 다른 예에서, 상기 제 1 서브 영역 및 상기 제 2 서브 영역은 전류를 생성할 때 상이한 도핑 프로파일, 상이한 바이어스 전압, 상이한 광학 패스 윈도우, 또는 이들의 임의의 조합들을 갖는다.
도 10은 듀얼 모드 SiPM(silicon photomultiplier) 기반 LiDAR 판독 회로부에 대한 프로세스(1000)의 프로세스 흐름도이다. 실시예들에서, 프로세스(1000)는 외부 판독 회로부에서 구현된다. 실시예들에서, 프로세스(100)는 듀얼 모드 SIPM 디바이스의 각각의 마이크로셀에서 구현된다.
블록(1002)에서, 애노드들 둘 다의 출력 전류가 낮은 플럭스 이벤트 또는 높은 플럭스 이벤트에 대응하는지가 결정된다. 출력 전류가 높은 플럭스 이벤트에 대응하면, 프로세스 흐름은 블록(1004)으로 계속된다. 출력 전류가 낮은 플럭스 이벤트에 대응하면, 프로세스 흐름은 블록(1006)으로 계속된다.
블록(1004)에서, 제 2 애노드[예를 들어, 애노드(806)]로부터 출력이 획득된다. 제 2 애노드는 높은 플럭스 이벤트시 강도 또는 반사율 정보를 캡처하는 아날로그 또는 디지털 출력을 위해 구성된다. 실시예들에서, 제 2 애노드로부터의 아날로그 출력은 광다이오드, 핀 다이오드, 또는 작은 이득이 없거나 있는 APD일 수도 있다. 예들에서, 높은 플럭스 이벤트들은 픽셀당 실질적으로 100개보다 많은 광자들이 검출되는 조건들이다. 블록(1006)에서, 제 1 애노드[예를 들어, 애노드(804)]로부터 출력이 획득된다. 제 1 애노드는 낮은 플럭스 이벤트들 동안 강도 및 반사율 정보를 캡처하는 디지털 또는 아날로그 출력을 위해 구성된다. 예들에서, 낮은 플럭스 이벤트들은 픽셀당 100개보다 적은 광자들이 검출되는 조건들이다.
블록(1008)에서, 캡처된 강도 및 반사율 정보가 출력 신호를 생성하기 위해 판독된다. 예들에서, 판독 회로부가 캡처된 정보를 출력 신호를 생성하기 위해 프로세싱한다. 예를 들어, 출력은 제 1 애노드 또는 제 2 애노드에 의해 생성된 전류이다. 블록(1010)에서, 출력 신호에 기초하여 데이터 표현이 생성된다. 예에서, 데이터 표현은 포인트 클라우드이다. 본 기술들은 더 정확한 포인트 클라우드 표현을 가능하게 한다. 예들에서, SiPM 디바이스 포화가 회피되고, 이에 의해 통상적으로 데이터 캡처가 제한된 물체 리턴 신호의 넓은 동적 범위에서 정보를 캡처한다.
도 10의 프로세스 흐름도는, 예시적인 프로세스(1000)의 블록들이 임의의 순서로 실행되어야 함, 또는 블록들 모두가 모든 경우에 포함되어야 함을 표시하기 위해 의도되는 것은 아니다. 또한, 특정 구현의 상세사항들에 따라, 도시되지 않은 임의의 수의 추가 블록들이 예시적인 프로세스(1000) 내에 포함될 수 있다.
이전의 설명에서, 본 개시의 양태들 및 실시예들이 구현마다 변화할 수 있는 다양한 특정 상세사항들을 참조하여 설명되었다. 따라서, 설명 및 도면들이 제한적인 의미보다는 예시적인 의미로 간주되어야 한다. 본 발명의 범위의 유일하고 배타적인 지표, 및 본 발명의 범위이도록 출원인에 의해 의도되는 것은, 본 출원으로부터 발표된 한 세트의 청구항들의, 임의의 후속 수정을 포함한, 그러한 청구항들이 발표된 특정 형식에 있는, 문어적이고 균등한 범위이다. 그러한 청구항들에 포함된 용어들에 대한 본원에 명확히 제시된 임의의 정의들은 청구항들에서 사용된 그러한 용어들의 의미를 규율할 것이다. 또한, 이전 설명 또는 다음 청구항들에서 우리가 용어 "더 포함한다"를 사용할 때, 이 문구에 이어지는 것은 추가 단계 또는 엔티티, 또는 이전에 인용된 단계 또는 엔티티의 서브 단계/서브 엔티티일 수 있다.

Claims (22)

  1. 듀얼 모드 SiPM(silicon photomultiplier) 디바이스에 있어서,
    하나 이상의 SiPM 픽셀로서, 복수의 마이크로셀들이 병렬로 연결되고 상기 복수의 마이크로셀들 중 적어도 하나의 마이크로셀이,
    제 1 서브 영역(sub-region) - 광다이오드가 제 1 내부 이득(internal gain)을 가지면서 동작됨 - ;
    제 2 서브 영역 - 상기 광다이오드가 제 2 내부 이득을 가지면서 동작되고, 상기 제 2 내부 이득은 상기 제 1 내부 이득보다 작음 - 을 포함하는 것인, 상기 하나 이상의 SiPM 픽셀;
    환경에서의 낮은 플럭스 이벤트에 응답하여 상기 제 1 서브 영역으로부터 전류를 생성하기 위한 제 1 애노드;
    상기 환경에서의 높은 플럭스 이벤트에 응답하여 상기 제 2 서브 영역으로부터 전류를 생성하기 위한 제 2 애노드; 및
    상기 제 1 서브 영역, 상기 제 2 서브 영역, 또는 이들의 임의의 조합들로부터 생성된 전류를 출력하기 위한 공통 캐소드
    를 포함하는, 듀얼 모드 SiPM 디바이스.
  2. 제 1 항에 있어서, 상기 제 1 애노드, 상기 제 2 애노드, 상기 공통 캐소드, 또는 이들의 임의의 조합들이 상기 듀얼 모드 SiPM 디바이스에 의해 생성된 전류를 획득하는 외부 판독 회로부(external readout circuitry)와 커플링되는 것인, 듀얼 모드 SiPM 디바이스.
  3. 제 1 항에 있어서, 마이크로셀이 상기 제 1 애노드, 상기 제 2 애노드, 및 상기 공통 캐소드에 의해 합산(sum)되고 출력되는 내부 판독 회로부와 커플링되는 것인, 듀얼 모드 SiPM 디바이스.
  4. 제 1 항에 있어서, 상기 제 1 애노드, 상기 제 2 애노드, 및 상기 공통 캐소드는 상기 출력에 기초하여 데이터 표현(data representation)을 생성하는 외부 회로부와 커플링되는 것인, 듀얼 모드 SiPM 디바이스.
  5. 제 1 항에 있어서, 상기 출력은 상기 제 1 애노드로부터 획득되고, 상기 출력은 SiPM 디지털 또는 아날로그 출력인 것인, 듀얼 모드 SiPM 디바이스.
  6. 제 1 항에 있어서, 상기 출력은 상기 제 1 애노드로부터 획득되고, 상기 출력은 적어도 부분적으로, 캡처된 반사들에 이득을 적용함으로써 생성되는 것인, 듀얼 모드 SiPM 디바이스.
  7. 제 1 항에 있어서, 상기 출력은 상기 제 2 애노드로부터 획득되고, 상기 출력은 디지털 또는 아날로그 출력인 것인, 듀얼 모드 SiPM 디바이스.
  8. 제 1 항에 있어서, 상기 출력은 상기 제 2 애노드로부터 획득되고, 상기 출력은 캡처된 반사들에 이득을 적용하지 않고 생성되는 것인, 듀얼 모드 SiPM 디바이스.
  9. 제 1 항에 있어서, 상기 듀얼 모드 SiPM 디바이스의 동적 범위가 상기 제 1 애노드와 연관된 동적 범위 또는 상기 제 2 애노드와 연관된 동적 범위보다 큰 것인, 듀얼 모드 SiPM 디바이스.
  10. 제 1 항에 있어서, 상기 제 1 서브 영역 및 상기 제 2 서브 영역은 동일한 도핑 프로파일, 동일한 바이어스 전압, 동일한 광학 패스 윈도우(optical pass window), 또는 이들의 임의의 조합들을 갖는 것인, 듀얼 모드 SiPM 디바이스.
  11. 제 1 항에 있어서, 상기 제 1 서브 영역 및 상기 제 2 서브 영역은 상이한 도핑 프로파일, 상이한 바이어스 전압, 상이한 광학 패스 윈도우, 또는 이들의 임의의 조합들을 갖는 것인, 듀얼 모드 SiPM 디바이스.
  12. LiDAR(Laser Detection and Ranging) 어레이에 있어서,
    방출기 - 상기 방출기는 환경에서 반사되는 광을 방출함 - ;
    복수의 듀얼 모드 SiPM 디바이스들로서, 듀얼 모드 SiPM 디바이스는 상기 방출기에 의해 방출된 광의 반사들을 검출하고 복수의 마이크로셀들을 포함하며, 상기 복수의 마이크로셀들 중 적어도 하나의 마이크로셀이,
    제 1 서브 영역 - 광다이오드가 제 1 내부 이득을 가지면서 동작됨 - ;
    제 2 서브 영역 - 상기 광다이오드가 제 2 내부 이득을 가지면서 동작되고, 상기 제 2 내부 이득은 상기 제 1 내부 이득보다 작음 - 을 포함하는 것인, 상기 복수의 듀얼 모드 SiPM 디바이스들;
    환경에서의 낮은 플럭스 이벤트에 응답하여 상기 제 1 서브 영역으로부터 전류를 생성하기 위한 제 1 애노드;
    상기 환경에서의 높은 플럭스 이벤트에 응답하여 상기 제 2 서브 영역으로부터 전류를 생성하기 위한 제 2 애노드; 및
    상기 제 1 서브 영역, 상기 제 2 서브 영역, 또는 이들의 임의의 조합들로부터 생성된 전류를 출력하기 위한 공통 캐소드
    를 포함하는, LiDAR 어레이.
  13. 제 12 항에 있어서, 상기 제 1 애노드, 상기 제 2 애노드, 상기 공통 캐소드, 또는 이들의 임의의 조합들이 상기 듀얼 모드 SiPM 디바이스에 의해 생성된 전류를 획득하는 외부 판독 회로부와 커플링되는 것인, LiDAR 어레이.
  14. 제 12 항에 있어서, 마이크로셀이 상기 공통 캐소드에 의해 합산되고 출력되는 내부 판독 회로부와 커플링되는 것인, LiDAR 어레이.
  15. 제 12 항에 있어서, 상기 제 1 애노드, 상기 제 2 애노드, 및 상기 공통 캐소드는 상기 출력에 기초하여 데이터 표현을 생성하는 외부 회로부와 커플링되는 것인, LiDAR 어레이.
  16. 제 12 항에 있어서, 상기 출력은 상기 제 1 애노드로부터 획득되고, 상기 출력은 SiPM 디지털 또는 아날로그 출력인 것인, LiDAR 어레이.
  17. 제 12 항에 있어서, 상기 출력은 상기 제 1 애노드로부터 획득되고, 상기 출력은 적어도 부분적으로, 캡처된 반사들에 이득을 적용함으로써 생성되는 것인, LiDAR 어레이.
  18. 제 12 항에 있어서, 상기 출력은 상기 제 2 애노드로부터 획득되고, 상기 출력은 디지털 또는 아날로그 출력인 것인, LiDAR 어레이.
  19. 제 12 항에 있어서, 상기 출력은 상기 제 2 애노드로부터 획득되고, 상기 출력은 캡처된 반사들에 이득을 적용하지 않고 생성되는 것인, LiDAR 어레이.
  20. 방법에 있어서,
    적어도 하나의 프로세서로, 환경의 조명 조건(lighting condition)을 결정하는 단계;
    적어도 하나의 애노드로, 상기 환경에서의 캡처된 광에 응답하여 출력 전류를 생성하는 단계 - 제 1 애노드가 낮은 플럭스 이벤트에 응답하여 전류를 출력하고 제 2 애노드가 높은 플럭스 이벤트에 응답하여 전류를 출력함 - ;
    적어도 하나의 캐소드로, 상기 제 1 애노드 또는 상기 제 2 애노드로부터 생성된 출력 전류를 출력하는 단계 - 내부 이득이 상기 제 1 애노드로부터의 출력 전류에 적용되고, 상기 제 1 애노드는 제 1 서브 영역으로부터 전류를 생성하며 상기 제 2 애노드는 제 2 서브 영역으로부터 전류를 생성함 - ; 및
    적어도 하나의 프로세서로, 상기 출력 전류로부터 데이터 표현을 생산(create)하는 단계 - 상기 데이터 표현은 상기 환경의 적어도 일부에 대응함 -
    를 포함하는, 방법.
  21. 제 20 항에 있어서, 상기 제 1 애노드, 상기 제 2 애노드, 상기 적어도 하나의 캐소드, 또는 이들의 임의의 조합들이 듀얼 모드 SiPM 디바이스에 의해 생성된 전류를 획득하는 외부 판독 회로부와 커플링되는 것인, 방법.
  22. 제 20 항에 있어서, 마이크로셀이 상기 적어도 하나의 캐소드에 의해 합산되고 출력되는 내부 판독 회로부와 커플링되는 것인, 방법.
KR1020220003946A 2021-10-14 2022-01-11 듀얼 모드 실리콘 광증배기 기반 lidar KR20230053480A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/501,342 2021-10-14
US17/501,342 US11428791B1 (en) 2021-10-14 2021-10-14 Dual-mode silicon photomultiplier based LiDAR

Publications (1)

Publication Number Publication Date
KR20230053480A true KR20230053480A (ko) 2023-04-21

Family

ID=83007723

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220003946A KR20230053480A (ko) 2021-10-14 2022-01-11 듀얼 모드 실리콘 광증배기 기반 lidar

Country Status (5)

Country Link
US (2) US11428791B1 (ko)
KR (1) KR20230053480A (ko)
CN (1) CN115980711A (ko)
DE (1) DE102022100214A1 (ko)
GB (1) GB2612146A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11428791B1 (en) 2021-10-14 2022-08-30 Motional Ad Llc Dual-mode silicon photomultiplier based LiDAR
US11435451B1 (en) 2021-10-14 2022-09-06 Motional Ad Llc SiPM based sensor for low level fusion

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006073875A2 (en) 2005-01-06 2006-07-13 Recon/Optical, Inc. Cmos active pixel sensor with improved dynamic range and method of operation, method for identifying moving objects and hybrid array with ir detector
US8476571B2 (en) * 2009-12-22 2013-07-02 Siemens Aktiengesellschaft SiPM photosensor with early signal digitization
IT1402264B1 (it) * 2010-09-16 2013-08-28 St Microelectronics Srl Array fotorilevatore multi-pixel di fotodiodi a valanga geiger-mode
ITTO20120501A1 (it) * 2012-06-08 2013-12-09 St Microelectronics Srl Dispositivo diagnostico con fotorilevatore integrato e sistema diagnostico includente il medesimo
US10468543B2 (en) * 2013-05-22 2019-11-05 W&Wsens Devices, Inc. Microstructure enhanced absorption photosensitive devices
US10446700B2 (en) * 2013-05-22 2019-10-15 W&Wsens Devices, Inc. Microstructure enhanced absorption photosensitive devices
US9271694B2 (en) * 2013-12-18 2016-03-01 General Electric Company System and method of simplifying a direct control scheme for a detector
US10036801B2 (en) 2015-03-05 2018-07-31 Big Sky Financial Corporation Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array
US10419655B2 (en) * 2015-04-27 2019-09-17 Snap-Aid Patents Ltd. Estimating and using relative head pose and camera field-of-view
WO2017054863A1 (en) * 2015-09-30 2017-04-06 Trimble Ab Geodetic instrument with improved dynamic range
US10962647B2 (en) 2016-11-30 2021-03-30 Yujin Robot Co., Ltd. Lidar apparatus based on time of flight and moving object
US20180162632A1 (en) * 2016-12-14 2018-06-14 Vincent Craig Flashlight cover assembly
US10585174B2 (en) 2017-03-10 2020-03-10 Sensl Technologies Ltd. LiDAR readout circuit
US10594965B2 (en) * 2017-09-13 2020-03-17 Semiconductor Components Industries, Llc Avalanche photodiode image sensors
KR101936193B1 (ko) 2017-09-27 2019-01-08 한국과학기술원 수평형 실리콘 광증배소자 및 그 제조방법
US10458783B2 (en) 2017-10-13 2019-10-29 Faro Technologies, Inc. Three-dimensional scanner having pixel memory
EP3717933A4 (en) 2018-01-10 2021-08-18 Velodyne Lidar USA, Inc. DISTANCE MEASUREMENTS BASED ON A POWER-CONTROLLED LIDAR
JP7212062B2 (ja) * 2018-04-08 2023-01-24 アーティラックス・インコーポレイテッド 光検出装置
US20210293931A1 (en) * 2018-07-26 2021-09-23 Innoviz Technologies Ltd. Lidar system having a mirror with a window
US10739189B2 (en) 2018-08-09 2020-08-11 Ouster, Inc. Multispectral ranging/imaging sensor arrays and systems
US10732032B2 (en) 2018-08-09 2020-08-04 Ouster, Inc. Scanning sensor array with overlapping pass bands
US20200075652A1 (en) 2018-09-05 2020-03-05 Facebook Technologies, Llc Pixel cell with multiple photodiodes
EP3633405B1 (de) * 2018-10-03 2023-01-11 Hexagon Technology Center GmbH Messgerät zur geometrischen 3d-abtastung einer umgebung mit einer vielzahl sendekanäle und semiconductor-photomultiplier sensoren
WO2020148567A2 (en) * 2018-10-19 2020-07-23 Innoviz Technologies Ltd. Lidar systems and methods
US11644549B2 (en) 2019-03-06 2023-05-09 The University Court Of The University Of Edinburgh Extended dynamic range and reduced power imaging for LIDAR detector arrays
US11604259B2 (en) 2019-10-14 2023-03-14 Infineon Technologies Ag Scanning LIDAR receiver with a silicon photomultiplier detector
US10901074B1 (en) * 2020-02-17 2021-01-26 Hesai Technology Co., Ltd. Systems and methods for improving Lidar performance
US11428550B2 (en) 2020-03-03 2022-08-30 Waymo Llc Sensor region of interest selection based on multisensor data
US11269075B2 (en) 2020-04-17 2022-03-08 Samsung Electronics Co., Ltd. Hybrid sensor system and method for providing 3D imaging
US11536812B2 (en) 2020-06-23 2022-12-27 Aptiv Technologies Limited Increased dynamic range for time-of-flight (ToF) lidar systems
EP4337991A1 (en) 2021-05-14 2024-03-20 Motional AD LLC Silicon photomultiplier based lidar
US11428791B1 (en) 2021-10-14 2022-08-30 Motional Ad Llc Dual-mode silicon photomultiplier based LiDAR
US11435451B1 (en) 2021-10-14 2022-09-06 Motional Ad Llc SiPM based sensor for low level fusion

Also Published As

Publication number Publication date
US11796646B2 (en) 2023-10-24
US11428791B1 (en) 2022-08-30
US20230121582A1 (en) 2023-04-20
GB2612146A (en) 2023-04-26
DE102022100214A1 (de) 2023-04-20
CN115980711A (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
US11796646B2 (en) Dual-mode silicon photomultiplier based LiDAR
US11782140B2 (en) SiPM based sensor for low level fusion
US20220365179A1 (en) Silicon photomultiplier based lidar
GB2608484A (en) Systems and methods for camera alignment using pre-distorted targets
US20230252678A1 (en) Universal sensor performance and calibration target for multi-sensor imaging systems
US20230160778A1 (en) Systems and methods for measurement of optical vignetting
US20240085536A1 (en) System and methods for time-of-flight (tof) lidar signal-to-noise improvement
US20240083421A1 (en) System and methods for time-of-flight (tof) lidar interference mitigation
US20240048853A1 (en) Pulsed-Light Optical Imaging Systems for Autonomous Vehicles
US20240129604A1 (en) Plenoptic sensor devices, systems, and methods
WO2024081594A1 (en) Lidar system and method for adaptive detection and emission control
US20220414930A1 (en) Geometric intrinsic camera calibration using diffractive optical element
US20230298198A1 (en) Light-based object localization
US20230303124A1 (en) Predicting and controlling object crossings on vehicle routes
US20230242147A1 (en) Methods And Systems For Measuring Sensor Visibility
WO2024081258A1 (en) Plenoptic sensor devices, systems, and methods
WO2023244400A1 (en) Multiple position rolling shutter imaging device
GB2610654A (en) Location based parameters for an image sensor
WO2023133218A1 (en) Proactive transceiver and carrier automated arbitration
KR20240020155A (ko) 증거 조명 값을 사용한 물리적 공간에서의 가시성 결정
KR20230136854A (ko) 센서 작동 방법 및 시스템
WO2023172492A1 (en) Optical metrology: repeatable qualitative analysis of flare and ghost artifacts in camera optical system
WO2023178108A1 (en) False signal reducing lidar window

Legal Events

Date Code Title Description
E902 Notification of reason for refusal