KR20230053482A - 로우 레벨 융합을 위한 sipm 기반 센서 - Google Patents

로우 레벨 융합을 위한 sipm 기반 센서 Download PDF

Info

Publication number
KR20230053482A
KR20230053482A KR1020220012145A KR20220012145A KR20230053482A KR 20230053482 A KR20230053482 A KR 20230053482A KR 1020220012145 A KR1020220012145 A KR 1020220012145A KR 20220012145 A KR20220012145 A KR 20220012145A KR 20230053482 A KR20230053482 A KR 20230053482A
Authority
KR
South Korea
Prior art keywords
photodiode
type
vehicle
information
data
Prior art date
Application number
KR1020220012145A
Other languages
English (en)
Inventor
겅 푸
Original Assignee
모셔널 에이디 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모셔널 에이디 엘엘씨 filed Critical 모셔널 에이디 엘엘씨
Publication of KR20230053482A publication Critical patent/KR20230053482A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/4228—Photometry, e.g. photographic exposure meter using electric radiation detectors arrangements with two or more detectors, e.g. for sensitivity compensation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4868—Controlling received signal intensity or exposure of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/52—
    • B60W2420/62—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G01J2001/4446—Type of detector
    • G01J2001/446—Photodiode
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G01J2001/4446—Type of detector
    • G01J2001/446—Photodiode
    • G01J2001/4466—Avalanche
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00—Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H01L2924/10—Details of semiconductor or other solid state devices to be connected
    • H01L2924/11—Device type
    • H01L2924/12—Passive devices, e.g. 2 terminal devices
    • H01L2924/1204—Optical Diode
    • H01L2924/12043—Photo diode

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Power Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • Toxicology (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Multimedia (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Traffic Control Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Light Receiving Elements (AREA)

Abstract

로우 레벨 융합을 위한 실리콘 광전자 증배관(Silicon Photomultiplier; SiPM) 기반 센서를 위한 방법이 제공되고, 이 방법은 카메라(수동)와 LiDAR(능동) 이미징 간에 고신뢰도의 로우 레벨 융합을 제공하기 위해 광 검출 및 레인징(Light Detection and Ranging; LiDAR) 센서 프로세싱 경로를 완화시키는 단계를 포함할 수 있다. 시스템 및 컴퓨터 프로그램 제품이 또한 제공된다.

Description

로우 레벨 융합을 위한 SIPM 기반 센서{SIPM BASED SENSOR FOR LOW LEVEL FUSION}
본 발명은 로우 레벨 융합을 위한 SIPM 기반 센서에 관한 것이다.
광 검출 및 레인징(Light Detection and Ranging; LiDAR)은 방출기에 의해 방출되고 물체에 의해 반사되고 검출기에 의해 검출되는 광으로부터 정보를 결정한다. 정보는 물체까지의 레인지(range), 물체의 속도 등과 같은 물체와 관련된 데이터를 포함한다. 검출기는 물체에 의해 반사된 광을 수신하는 광검출기이다. 검출기는 솔리드 스테이트 광검출기, 광전자 증배관(photomultiplier), 또는 이들의 임의의 조합일 수 있다.
도 1은 자율주행 시스템의 하나 이상의 컴포넌트를 포함하는 차량이 구현될 수 있는 예시적인 환경이다.
도 2는 자율주행 시스템을 포함하는 차량의 하나 이상의 시스템의 도면이다.
도 3은 도 1과 도 2의 하나 이상의 디바이스 및/또는 하나 이상의 시스템의 컴포넌트들의 도면이다.
도 4는 자율주행 시스템의 특정 컴포넌트들의 도면이다.
도 5는 로우 레벨 융합을 위한 프로세스의 구현의 예시의 도면이다.
도 6은 광 검출 및 레인징(LiDAR) 시스템의 예시를 도시한다.
도 7은 동작 중에 있는 LiDAR 시스템을 도시한다.
도 8은 LiDAR 시스템의 동작을 추가로 상세히 도시한 것이다.
도 9는 SiPM 기반 센서 상의 픽셀 배열의 픽셀 배열의 도면이다.
도 10은 제1 및 제2 유형의 광다이오드들 각각으로부터 캡처된 반사율 및 색상 정보를 융합하기 위한 프로세스의 흐름도이다.
이하의 설명에서는, 설명의 목적으로 본 개시의 완전한 이해를 제공하기 위해 많은 특정 세부사항들이 진술된다. 그러나, 본 개시에 의해 설명되는 실시예들은 이러한 특정 세부사항들 없이 실시될 수 있음이 명백할 것이다. 일부 경우들에서, 본 개시의 양태들을 불필요하게 모호하게 하는 것을 피하기 위해 잘 알려진 구조들 및 디바이스들은 블록도 형태로 예시된다.
시스템, 디바이스, 모듈, 명령어 블록, 데이터 엘리먼트 등을 나타내는 것과 같은 도식적인 엘리먼트들의 특정 배열 또는 순서는 설명의 편의를 위해 도면들에서 예시된 것이다. 그러나, 도면들에서의 도식적인 엘리먼트들의 특정 순서 또는 배열은 그렇게 명시적으로 설명되지 않는 한 특정 순서 또는 시퀀스의 프로세싱, 또는 프로세스들의 분리가 필요하다는 것을 암시하는 것을 의미하지는 않는다는 것을 당업자는 이해할 것이다. 또한, 도면에서의 도식적인 엘리먼트의 포함은 그렇게 명시적으로 설명되지 않는 한, 그러한 엘리먼트가 모든 실시예들에서 필요하다는 것을 암시하거나, 또는 그러한 엘리먼트에 의해 표현된 피처들이 일부 실시예들에서 다른 엘리먼트들 내에 포함되지 않거나 또는 이들과 함께 결합되지 않을 수 있음을 암시하는 것을 의미하지는 않는다.
또한, 실선 또는 점선 또는 화살표와 같은 연결 엘리먼트들이 두 개 이상의 다른 도식적 엘리먼트들 사이의 또는 이들 간의 연결, 관계, 또는 연관을 설명하기 위해 도면들에서 사용되는 경우, 이러한 연결 엘리먼트들의 어떠한 부재도 연결, 관계, 또는 연관이 존재하지 않을 수 있다는 것을 암시하는 것을 의미하지는 않는다. 달리 말하면, 본 개시를 모호하게 하지 않도록 하기 위해 엘리먼트들 간의 일부 연결, 관계, 또는 연관은 도면들에서 예시되지 않는다. 또한, 설명의 편의를 위해, 엘리먼트들 간의 다중 연결, 관계, 또는 연관을 나타내기 위해 단일 연결 엘리먼트가 사용될 수 있다. 예를 들어, 연결 엘리먼트가 신호, 데이터, 또는 명령어(예컨대, "소프트웨어 명령어")의 통신을 나타내는 경우, 이러한 엘리먼트는 통신에 영향을 미치기 위해 필요로 할 수 있는 하나 또는 다중 신호 운행길(path)(예컨대, 버스)을 나타낼 수 있다는 것이 당업자에 의해 이해되어야 한다.
다양한 엘리먼트들을 설명하기 위해 제1, 제2, 제3 등의 용어들이 사용되지만, 이러한 엘리먼트들은 이러한 용어들에 의해 한정되어서는 안된다. 제1, 제2, 제3 등의 용어들은 한 엘리먼트를 다른 엘리먼트와 구별시키는 데만 사용된다. 예를 들어, 설명되는 실시예들의 범위로부터 벗어나지 않고서, 제1 접점은 제2 접점으로서 칭해질 수 있으며, 마찬가지로, 제2 접점은 제1 접점으로서 칭해질 수 있다. 제1 접점과 제2 접점은 둘 다 접점들이되, 이들은 동일한 접점이 아니다.
본원에서 설명되는 다양한 실시예들의 설명에서 사용되는 용어는 특정 실시예들을 설명하기 위한 목적으로 포함된 것일 뿐이며, 한정시키려는 의도는 없다. 설명되는 다양한 실시예들 및 첨부된 청구항들의 설명에서 사용되는 바와 같이, 단수 형태는 복수 형태도 포함하도록 의도된 것이며, 문맥이 달리 명시적으로 표시하지 않는 한 "하나 이상" 또는 "적어도 하나"와 상호교환적으로 사용될 수 있다. 또한, 본원에서 사용되는 "및/또는"의 용어는 연관된 나열 항목들 중 하나 이상의 임의의 모든 가능한 조합들을 가리키고 이를 망라한다는 것을 이해할 것이다. 이 설명에서 사용될 때, "구비한다", "구비하는", "포함한다", 및/또는 "포함하는"의 용어들은 진술된 특징, 정수, 단계, 동작, 엘리먼트, 및/또는 컴포넌트의 존재를 규정하지만, 하나 이상의 다른 특징, 정수, 단계, 동작, 엘리먼트, 컴포넌트, 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않음을 또한 이해할 것이다.
본원에서 사용되는 "통신" 및 "통신하다"의 용어들은 정보(또는 예를 들어, 데이터, 신호, 메시지, 명령어, 커맨드 등에 의해 표현되는 정보)의 수신, 수령, 송신, 전송, 제공 등 중 적어도 하나를 가리킨다. 하나의 유닛(예컨대, 디바이스, 시스템, 디바이스 또는 시스템의 컴포넌트, 이들의 조합 등)이 다른 유닛과 통신한다는 것은 이 하나의 유닛이 직접적으로 또는 간접적으로 다른 유닛으로부터 정보를 수신하고/수신하거나 다른 유닛에 정보를 보낼(예컨대, 송신할) 수 있다는 것을 의미한다. 이것은 본질적으로 유선 및/또는 무선의 직접적 또는 간접적 연결을 가리킬 수 있다. 추가적으로, 송신된 정보가 제1 유닛과 제2 유닛 사이에서 수정되고, 프로세싱되고, 중계되고, 및/또는 라우팅될 수 있더라도 두 유닛들은 서로 통신할 수 있다. 예를 들어, 제1 유닛이 수동적으로 정보를 수신하고 제2 유닛에 정보를 능동적으로 송신하지 않더라도 제1 유닛은 제2 유닛과 통신할 수 있다. 다른 예시에서, 적어도 하나의 중간 유닛(예를 들어, 제1 유닛과 제2 유닛 사이에 위치한 제3 유닛)이 제1 유닛으로부터 수신된 정보를 프로세싱하고 프로세싱된 정보를 제2 유닛에 송신하는 경우 제1 유닛은 제2 유닛과 통신할 수 있다. 일부 실시예들에서, 메시지는 데이터를 포함하는 네트워크 패킷(예컨대, 데이터 패킷 등)을 가리킬 수 있다.
본원에서 사용되는 바와 같이, "만약"이라는 용어는, 선택적으로, 문맥에 따라, "할 때", "할 시에", "결정에 응답하여", "검출에 응답하여" 등을 의미하는 것으로 해석된다. 마찬가지로, "결정된다면" 또는 "[명시된 조건 또는 이벤트]가 검출된다면"의 문구는, 선택적으로, 문맥에 따라, "결정 시", "결정에 응답하여", "[명시된 조건 또는 이벤트]의 검출 시," "[명시된 조건 또는 이벤트]를 검출한 것에 응답하여" 등을 의미하는 것으로 해석된다. 또한, 본원에서 사용되는 바와 같이, "가지다", "갖는다", "갖는" 등의 용어는 개방형 종결 용어들인 것으로 의도된 것이다. 또한, "~에 기초한"의 문구는 달리 명시적으로 언급되지 않는 한 "적어도 부분적으로 ~에 기초한"을 의미하는 것을 의도한다.
이제, 실시예들에 대한 참조가 상세하게 이루어질 것이며, 이러한 실시예들의 예시들은 첨부 도면들에서 예시되어 있다. 아래의 상세한 설명에서, 설명되는 다양한 실시예들의 완전한 이해를 제공하기 위해 다수의 특정 세부사항이 설명된다. 그러나, 설명되는 다양한 실시예들은 이러한 특정 세부사항 없이 실시될 수 있다는 것이 당업자에게 명백할 것이다. 다른 예시들에서, 잘 알려진 방법, 프로시저, 컴포넌트, 회로, 및 네트워크는 실시예들의 양태들을 불필요하게 모호하게 하지 않도록 상세하게 설명되지 않았다.
일반적 개관
일부 양태들 및/또는 실시예들에서, 본 명세서에서 설명되는 시스템, 방법, 및 컴퓨터 프로그램 제품은 로우 레벨 융합을 위한 실리콘 광전자 증배관(silicon photomultiplier; SiPM) 기반 센서를 포함하고 및/또는 구현한다. 일부 실시예들에서, 로우 레벨 융합을 갖는 SiPM 기반 센서는 광 검출 및 레인징(LiDAR) 디바이스의 일부일 수 있다. 일반적으로, 로우 레벨 융합은 상이한 유형들의 센서 데이터 간의 대응관계를 픽셀 단위로 결정하는 것을 가리킨다. SiPM 기반 센서는 환경 내 물체들에 의해 반사된 광을 캡처하도록 동작가능한 단일 픽셀 센서 또는 픽셀들의 어레이로서 구성할 수 있다. 각각의 SiPM 픽셀은 하나 이상의 마이크로셀을 사용하여 실현된다. 실시예에서, SiPM 픽셀은 상이한 유형들의 서브 픽셀들로 구성될 수 있다. 실시예에서, 광다이오드(PD) 유형 서브 픽셀은 SiPM 픽셀들 각각 또는 일부에서 사용된다. 실시예에서, 상이한 컬러 필터들(예를 들어, 적색/녹색/청색(RGB))이 각각의 서브 픽셀에 적용된다. 실시예에서, RGB 필터들은 자신들 각자의 색상 데이터를 캡처하도록 배열된다. 실시예에서, 특정한 딥 트렌치(deep trench) 및 서브픽셀 패턴들이 사용된다. 광학 트렌치는 SiPM의 서브 픽셀들 간의 크로스토크를 감소시키는 데 사용된다.
자동차 ToF(Time-of-Flight) 광 검출 및 레인징(LiDAR) 시스템은 레이저 신호를 사용하여 정지해 있고 이동 중에 있는 물체들(예컨대, 다른 차량들, 보행자들, 장애물들)의 속도와 거리를 결정한다. LiDAR 시스템은 이러한 측정들을 수행하기 위해 방출된 송신 신호를 반사된 귀환 신호와 비교한다. 많은 응용들에서, 장거리 검출 능력을 제공하는 것이 바람직하다. 일반적으로, SiPM 기반 TOF(Time-of-Flight) LiDAR는 높은 픽셀 처리량을 가지면서 긴 검출 레인지를 제공한다. 일부 예시들에서, SiPM 기반 LiDAR는 더 긴 레인지의 검출 능력을 제공할 수 있는, 애벌런치 광다이오드(avalanche photo-diode; APD) 기반 LiDAR과 비교할 때 저광속에 대한 고감도를 가능하게 한다. 그러나, SiPM 기반 LiDAR의 포인트 클라우드 조정 정확도는 스캐닝 시스템의 포지션 반복성에 의해 제한되며, 이는 근본적으로 카메라 및 LiDAR 로우 레벨(초기) 융합의 정확도를 제한시킨다. 로우 레벨 융합은 LiDAR와 카메라 원시 데이터를 픽셀(또는 이미지) 레벨에서 융합시키는 것에 관한 것이다. 예를 들어, LiDAR 포인트 클라우드(예를 들어, 3차원(3D))는 2차원(2D) 카메라 이미지 상에 투영되고, 그런 후 포인트 클라우드가 물체(2D) 경계 박스들에 속하는지 여부에 관한 체크가 수행된다. 본 명세서에서 설명되는 시스템, 방법, 및 컴퓨터 프로그램 제품의 구현으로 인해, 로우 레벨 융합을 위한 SiPM 기반 센서용 기술들은 LiDAR 응용들에서 정확한 귀환 신호 세기 및 물체 반사율 정보를 제공하면서 높은 동적 레인지(dynamic range; DR) 센서 출력을 제공한다. SiPM 기반 센서에 의해 출력되는 데이터는 센서 포화의 존재 시의 세기의 결정을 가능하게 해준다. 따라서, 본 기술들은 LiDAR 센서 및 LiDAR 센서를 포함하는 차량의 기능을 향상시킨다. 이들 및 다른 실시예들은 또한 카메라(수동)와 LiDAR(능동) 이미징 간의 높은 신뢰도의 로우 레벨 융합을 제공하도록 LiDAR 센서 프로세싱 경로를 완화시킬 수 있다. 예를 들어, 수동 이미징은 이미징 또는 감지 장비에 의해 도입되지 않는 반사광(예컨대, 태양으로부터 방출되는 태양광)을 측정하는 것을 말한다. 예를 들어, 능동 이미징은 도입된 광원 또는 조명을 사용하여, 예컨대, 펄스를 능동적으로 보내고 후방 산란광 또는 반사광을 측정한다. 이들 및 다른 실시예들은 로우 레벨 카메라 및 LiDAR 융합을 위한 비용 효율적인 솔루션과 다중 유형 센서 융합을 위한 단순화된 교정 프로시저를 제공할 수 있다.
이제 도 1을 참조하면, 자율주행 시스템을 포함하는 차량뿐만이 아니라, 그렇지 않은 차량이 동작되는 예시적인 환경(100)이 도시되어 있다. 도시된 바와 같이, 환경(100)은 차량들(102a~102n), 물체들(104a~104n), 루트들(106a~106n), 영역(108), 차량 투 인프라스트럭처(vehicle-to-infrastructure; V2I) 디바이스(110), 네트워크(112), 원격 자율주행 차량(AV) 시스템(114), 차대(fleet) 관리 시스템(116), 및 V2I 시스템(118)을 포함한다. 차량들(102a~102n), 차량 투 인프라스트럭처(V2I) 디바이스(110), 네트워크(112), 자율주행 차량(AV) 시스템(114), 차대 관리 시스템(116), 및 V2I 시스템(118)은 유선 연결, 무선 연결, 또는 유선 또는 무선 연결들의 조합을 통해 상호연결된다(예를 들어, 통신 등을 위한 연결을 구축한다). 일부 실시예들에서, 물체들(104a~104n)은 유선 연결, 무선 연결, 또는 유선 또는 무선 연결들의 조합을 통해 차량들(102a~102n), 차량 투 인프라스트럭처(V2I) 디바이스(110), 네트워크(112), 자율주행 차량(AV) 시스템(114), 차대 관리 시스템(116), 및 V2I 시스템(118) 중 적어도 하나와 상호연결된다.
차량들(102a~102n)(개별적으로 차량(102)이라고 지칭되고 집합적으로 차량들(102)이라고 지칭됨)은 물품 및/또는 사람을 운송하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 실시예들에서, 차량들(102)은 네트워크(112)를 통해 V2I 디바이스(110), 원격 AV 시스템(114), 차대 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된다. 일부 실시예들에서, 차량들(102)은 자동차, 버스, 트럭, 기차 등을 포함한다. 일부 실시예들에서, 차량들(102)은 본원에서 설명된 차량들(200)(도 2 참조)과 동일하거나 유사하다. 일부 실시예들에서, 차량들(200)의 세트 중의 차량(200)은 자율주행 차대 관리자와 연관된다. 일부 실시예들에서, 차량들(102)은 본원에서 설명되는 바와 같이, 각각의 루트들(106a~106n)(개별적으로 루트(106)라고 지칭되고 집합적으로 루트들(106)이라고 지칭됨)을 따라 이동한다. 일부 실시예들에서, 하나 이상의 차량(102)은 자율주행 시스템(예를 들어, 자율주행 시스템(202)과 동일하거나 유사한 자율주행 시스템)을 포함한다.
물체들(104a~104n)(개별적으로 물체(104)라고 지칭되고 집합적으로 물체들(104)이라고 지칭됨)은 예를 들어, 적어도 하나의 차량, 적어도 한 명의 보행자, 적어도 한 명의 자전거 타는 사람, 적어도 하나의 구조물(예컨대, 건물, 표지판, 소화전 등) 등을 포함한다. 각각의 물체(104)는 정지 상태(예를 들어, 일정 기간 동안 고정 위치에 위치함) 또는 이동 상태(예를 들어, 속도를 갖고 적어도 하나의 궤적과 연관됨)에 있다. 일부 실시예들에서, 물체들(104)은 영역(108) 내의 대응하는 위치들과 연관된다.
루트들(106a~106n)(개별적으로 루트(106)라고 지칭되고 집합적으로 루트들(106)이라고 지칭됨)은 AV가 네비게이팅할 수 있는 상태(state)들을 연결하는 액션들의 시퀀스(궤적으로서 또한 알려짐)와 각각 연관된다(예컨대, 이를 규정함). 각각의 루트(106)는 초기 상태(예를 들어, 제1 시공간 위치, 속도 등에 대응하는 상태)에서 시작하여 최종 목표 상태(예를 들어, 제1 시공간 위치와는 상이한 제2 시공간 위치) 또는 목표 영역(예를 들어, 수용가능한 상태들의 서브공간(예를 들어, 종착 상태들))에 이른다. 일부 실시예들에서, 제1 상태는 개인 또는 개인들이 AV에 의해 픽업될 위치를 포함하고, 제2 상태 또는 영역은 AV에 의해 픽업된 개인 또는 개인들이 하차될 위치 또는 위치들을 포함한다. 일부 실시예들에서, 루트들(106)은 복수의 수용가능한 상태 시퀀스들(예를 들어, 복수의 시공간 위치 시퀀스들)을 포함하고, 복수의 상태 시퀀스들은 복수의 궤적들과 연관된다(예를 들어, 이를 정의함). 예시에서, 루트들(106)은 도로 교차점에서 회전 방향을 지시하는 일련의 연결된 도로들과 같은, 상위 레벨의 액션들 또는 비정밀한 상태 위치들만을 포함한다. 추가적으로, 또는 대안적으로, 루트들(106)은 예를 들어, 특정 타겟 차선들 또는 차선 영역들 내의 정확한 위치들 및 해당 위치에서의 타겟화된 속도와 같은 보다 정밀한 액션들 또는 상태들을 포함할 수 있다. 예시에서, 루트들(106)은 중간 목표들에 도달하기 위해 제한된 전방 지평선을 갖는 적어도 하나의 상위 레벨 액션 시퀀스를 따른 복수의 정밀한 상태 시퀀스들을 포함하며, 제한된 지평선 상태 시퀀스들의 연속적인 반복들의 조합은 최종 목표 상태 또는 지역에 종착되는 상위 레벨 루트를 집합적으로 형성하는 복수의 궤적들에 누적적으로 대응한다.
영역(108)은 차량들(102)이 네비게이팅할 수 있는 물리적 영역(예를 들어, 지리적 지역)을 포함한다. 예시에서, 영역(108)은 적어도 하나의 주(예를 들어, 국가, 지방, 국가에 포함된 복수의 주들의 개별 주 등), 주의 적어도 한 부분, 적어도 하나의 도시, 도시의 적어도 한 부분 등을 포함한다. 일부 실시예들에서, 영역(108)은 고속도로, 주간(interstate) 고속도로, 공원로, 시내 길가 등과 같은 적어도 하나의 명명된 가도(thoroughfare)(여기에서 "도로"라고 지칭됨)를 포함한다. 추가적으로, 또는 대안적으로, 일부 예시들에서, 영역(108)은 진입로, 주차장의 섹션, 공터 및/또는 미개발 부지의 섹션, 흙길 등과 같은 적어도 하나의 무명 도로를 포함한다. 일부 실시예들에서, 도로는 적어도 하나의 차선(예를 들어, 차량들(102)이 횡단할 수 있는 도로의 일부)을 포함한다. 예시에서, 도로는 적어도 하나의 차선 표시와 연관된(예를 들어, 이에 기초하여 식별된) 적어도 하나의 차선을 포함한다.
차량 투 인프라스트럭처(V2I) 디바이스(110)(때때로 차량 투 인프라스트럭처(Vehicle-to-Infrastructure; V2X) 디바이스라고 칭해짐)는 차량들(102) 및/또는 V2I 인프라스트럭처 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 실시예들에서, V2I 디바이스(110)는 네트워크(112)를 통해 차량들(102), 원격 AV 시스템(114), 차대 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된다. 일부 실시예들에서, V2I 디바이스(110)는 무선 주파수 식별(radio frequency identification; RFID) 디바이스, 표지판, 카메라(예를 들어, 2차원(2D) 및/또는 3차원(3D) 카메라), 차선 표시, 가로등, 주차 미터기 등을 포함한다. 일부 실시예들에서, V2I 디바이스(110)는 차량들(102)과 직접 통신하도록 구성된다. 추가적으로, 또는 대안적으로, 일부 실시예들에서, V2I 디바이스(110)는 V2I 시스템(118)을 통해 차량들(102), 원격 AV 시스템(114), 및/또는 차대 관리 시스템(116)과 통신하도록 구성된다. 일부 실시예들에서, V2I 디바이스(110)는 네트워크(112)를 통해 V2I 시스템(118)과 통신하도록 구성된다.
네트워크(112)는 하나 이상의 유선 및/또는 무선 네트워크를 포함한다. 예시에서, 네트워크(112)는 셀룰러 네트워크(예를 들어, 롱 텀 에볼루션(long term evolution; LTE) 네트워크, 3세대(3G) 네트워크, 4세대(4G) 네트워크, 5세대(5G) 네트워크, 코드 분할 다중 액세스(code division multiple access; CDMA) 네트워크 등), 공공 지상 모바일 네트워크(public land mobile network; PLMN), 근거리 네트워크(local area network; LAN), 광역 네트워크(wide area network; WAN), 도시권 네트워크(metropolitan area network; MAN), 전화 네트워크(예컨대, 공중 교환 전화 네트워크(public switched telephone network; PSTN)), 사설 네트워크, 애드 혹 네트워크, 인트라넷, 인터넷, 광섬유 기반 네트워크, 클라우드 컴퓨팅 네트워크 등, 이러한 네트워크들의 일부 또는 전부의 조합 등을 포함한다.
원격 AV 시스템(114)은 네트워크(112)를 통해 차량들(102), V2I 디바이스(110), 네트워크(112), 원격 AV 시스템(114), 차대 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 예시에서, 원격 AV 시스템(114)은 서버, 서버들의 그룹, 및/또는 기타 유사한 디바이스들을 포함한다. 일부 실시예들에서, 원격 AV 시스템(114)은 차대 관리 시스템(116)과 공동위치해 있다. 일부 실시예들에서, 원격 AV 시스템(114)은 자율주행 시스템, 자율주행 차량 컴퓨터, 자율주향 차량 컴퓨터에 의해 구현되는 소프트웨어 등을 비롯하여, 차량의 컴포넌트들의 일부 또는 전부의 설치에 관여한다. 일부 실시예들에서, 원격 AV 시스템(114)은 차량의 수명 동안 이러한 컴포넌트들 및/또는 소프트웨어를 유지(예를 들어, 업데이트 및/또는 교체)한다.
차대 관리 시스템(116)은 차량들(102), V2I 디바이스(110), 원격 AV 시스템(114), 및/또는 V2I 인프라스트럭처 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 예시에서, 차대 관리 시스템(116)은 서버, 서버들의 그룹, 및/또는 기타 유사한 디바이스들을 포함한다. 일부 실시예들에서, 차대 관리 시스템(116)은 승차 공유 회사(예를 들어, 다수의 차량들(예를 들어, 자율주행 시스템을 포함하는 차량들 및/또는 자율주행 시스템을 포함하지 않는 차량들)의 동작을 제어하는 조직 등)와 연관된다.
일부 실시예들에서, V2I 시스템(118)은 네트워크(112)를 통해 차량들(102), V2I 디바이스(110), 원격 AV 시스템(114), 및/또는 차대 관리 시스템(116)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예시들에서, V2I 시스템(118)은 네트워크(112)와는 상이한 연결을 통해 V2I 디바이스(110)와 통신하도록 구성된다. 일부 실시예들에서, V2I 시스템(118)은 서버, 서버들의 그룹, 및/또는 기타 유사한 디바이스들을 포함한다. 일부 실시예들에서, V2I 시스템(118)은 지방 자치체(municipality) 또는 사설 기관(예를 들어, V2I 디바이스(110) 등을 유지하는 사설 기관)과 연관된다.
도 1에서 도시된 엘리먼트들의 개수 및 배열은 예시로서 제공된 것이다. 도 1에서 도시된 것과 비교하여, 추가적인 엘리먼트들, 더 적은 수의 엘리먼트들, 상이한 엘리먼트들, 및/또는 상이하게 배열된 엘리먼트들이 있을 수 있다. 추가적으로, 또는 대안적으로, 환경(100)의 적어도 하나의 엘리먼트는 도 1의 적어도 하나의 상이한 엘리먼트에 의해 수행되는 것으로서 설명된 하나 이상의 기능을 수행할 수 있다. 추가적으로, 또는 대안적으로, 환경(100)의 엘리먼트들의 적어도 하나의 세트는 환경(100)의 엘리먼트들의 적어도 하나의 상이한 세트에 의해 수행되는 것으로서 설명된 하나 이상의 기능을 수행할 수 있다.
이제 도 2를 참조하면, 차량(200)은 자율주행 시스템(202), 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 및 브레이크 시스템(208)을 포함한다. 일부 실시예들에서, 차량(200)은 차량(102)(도 1 참조)과 동일하거나 유사하다. 일부 실시예들에서, 차량(102)은 자율주행 능력(예를 들어, 비제한적인 예시로서, 완전 자율주행 차량(예를 들어, 인간 개입에 의존하지 않는 차량), 고도의 자율주행 차량(예를 들어, 특정 상황들에서 인간 개입에 의존하지 않는 차량), 등을 비롯하여 인간 개입없이 차량(200)이 부분적으로 또는 완전히 동작될 수 있도록 하는 적어도 하나의 기능, 특징, 디바이스 등을 구현함)을 갖는다. 완전 자율주행 차량 및 고도의 자율주행 차량에 대한 자세한 설명은 SAE 인터내셔날의 표준 J3016: 온로드(On-Road) 모터 차량 자동 운전 시스템과 관련된 용어들에 대한 분류 및 정의(이 전문은 참조로서 편입됨)를 참조할 수 있다. 일부 실시예들에서, 차량(200)은 자율주행 차대 관리자 및/또는 승차 공유 회사와 연관된다.
자율주행 시스템(202)은 카메라(202a), LiDAR 센서(202b), 레이더 센서(202c), 및 마이크로폰(202d)과 같은 하나 이상의 디바이스를 포함하는 센서 군을 포함한다. 일부 실시예들에서, 자율주행 시스템(202)은 더 많거나 더 적은 수의 디바이스들 및/또는 상이한 디바이스들(예를 들어, 초음파 센서, 관성 센서, GPS 수신기(아래에서 논의됨), 차량(200)이 이동한 거리의 표시와 연관된 데이터를 생성하는 오도메트리(odometry) 센서 등)을 포함할 수 있다. 일부 실시예들에서, 자율주행 시스템(202)은 본원에서 설명되는 환경(100)과 연관된 데이터를 생성하기 위해 자율주행 시스템(202) 내에 포함된 하나 이상의 디바이스를 사용한다. 자율주행 시스템(202)의 하나 이상의 디바이스에 의해 생성된 데이터는 차량(200)이 위치해 있는 환경(예를 들어, 환경(100))을 관찰하기 위해 본원에서 설명된 하나 이상의 시스템에 의해 사용될 수 있다. 일부 실시예들에서, 자율주행 시스템(202)은 통신 디바이스(202e), 자율주행 차량 컴퓨터(202f), 및 드라이브 바이 와이어(drive-by-wire; DBW) 시스템(202h)을 포함한다.
카메라(202a)는 버스(예컨대, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율주행 차량 컴퓨터(202f), 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 카메라(202a)는 물리적 물체(예컨대, 자동차, 버스, 연석(curb), 사람 등)를 포함하는 이미지들을 캡처하기 위한 적어도 하나의 카메라(예를 들어, 전하 결합 디바이스(charge-coupled device; CCD), 상보적 금속 산화물 반도체(complementary-metal-oxide-semiconductor; CMOS) 이미지 센서(CMOS image sensor; CIS), 열 카메라, 적외선(IR) 카메라, 이벤트 카메라 등과 같은 광 센서를 사용하는 디지털 카메라)를 포함한다. 일부 실시예들에서, 카메라(202a)는 카메라 데이터를 출력으로서 생성한다. 일부 예시들에서, 카메라(202a)는 이미지와 연관된 이미지 데이터를 포함하는 카메라 데이터를 생성한다. 이 예시에서, 이미지 데이터는 이미지에 대응하는 적어도 하나의 파라미터(예를 들어, 노출, 밝기 등과 같은 이미지 특성, 이미지 타임스탬프 등)를 지정할 수 있다. 그러한 예시에서, 이미지는 포맷(예를 들어, RAW, JPEG, PNG 등)으로 있을 수 있다. 일부 실시예들에서, 카메라(202a)는 입체시(stereopsis)(스테레오 비전)의 목적으로 이미지들을 캡처하기 위해 차량 상에 구성된(예를 들어, 차량 상에 배치된) 복수의 독립적인 카메라들을 포함한다. 일부 예시들에서, 카메라(202a)는 이미지 데이터를 생성하고 이미지 데이터를 자율주행 차량 컴퓨터(202f) 및/또는 차대 관리 시스템(예를 들어, 도 1의 차대 관리 시스템(116)과 동일하거나 유사한 차대 관리 시스템)에 송신하는 복수의 카메라들을 포함한다. 이러한 예시에서, 자율주행 차량 컴퓨터(202f)는 적어도 두 개의 카메라들로부터의 이미지 데이터에 기초하여 복수의 카메라들 중 적어도 두 개의 카메라의 시야에서 하나 이상의 물체에 대한 깊이를 결정한다. 일부 실시예들에서, 카메라(202a)는 카메라(202a)로부터의 거리 내의(예를 들어, 최대 100미터, 최대 킬로미터 등의) 물체들의 이미지들을 캡처하도록 구성된다. 따라서, 카메라(202a)는 카메라(202a)로부터 하나 이상의 거리에 있는 물체들을 인식하도록 최적화된 센서들 및 렌즈들과 같은 피처들을 포함한다.
실시예에서, 카메라(202a)는 시각적 네비게이팅 정보를 제공하는 하나 이상의 신호등, 거리 표지판, 및/또는 다른 물리적 물체와 연관된 하나 이상의 이미지를 캡처하도록 구성된 적어도 하나의 카메라를 포함한다. 일부 실시예들에서, 카메라(202a)는 하나 이상의 이미지와 연관된 신호등 데이터를 생성한다. 일부 예시들에서, 카메라(202a)는 포맷(예를 들어, RAW, JPEG, PNG 등)을 포함하는 하나 이상의 이미지와 연관된 TLD 데이터를 생성한다. 일부 실시예들에서, TLD 데이터를 생성하는 카메라(202a)는 가능한 한 많은 물리적 물체들에 관한 이미지들을 생성하기 위해 넓은 시야를 갖는 하나 이상의 카메라(예를 들어, 광각 렌즈, 어안 렌즈, 대략 120도 이상의 시야각을 갖는 렌즈 등)를 포함할 수 있다는 점에서, 카메라(202a)는 카메라들을 병합하는 것으로서 본원에서 설명된 다른 시스템들과는 상이하다.
LiDAR(Light Detection and Ranging) 센서(202b)는 버스(예컨대, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율주행 차량 컴퓨터(202f), 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. LiDAR 센서(202b)는 SiPM 기반 LiDAR일 수 있다. LiDAR 센서(202b)는 광 방출기(예를 들어, 레이저 송신기)로부터 광을 송신하도록 구성된 시스템을 포함한다. LiDAR 센서(202b)에 의해 방출된 광은 가시 스펙트럼 외부에 있는 광(예를 들어, 적외선 광 등)을 포함한다. 일부 실시예들에서, 동작 중에, LiDAR 센서(202b)에 의해 방출된 광은 물리적 물체(예컨대, 차량)와 부딪치고 LiDAR 센서(202b)로 되반사된다. 일부 실시예들에서, LiDAR 센서(202b)에 의해 방출된 광은 광이 부딪치는 물리적 물체들을 투과하지 않는다. LiDAR 센서(202b)는 또한 광이 물리적 물체와 부딪친 후에 광 방출기로부터 방출되었던 광을 검출하는 적어도 하나의 광 검출기를 포함한다. 일부 실시예들에서, LiDAR 센서(202b)와 연관된 적어도 하나의 데이터 프로세싱 시스템은 LiDAR 센서(202b)의 시야 내에 포함된 물체들을 나타내는 이미지(예를 들어, 포인트 클라우드, 결합된 포인트 클라우드 등)를 생성한다. 일부 예시들에서, LiDAR 센서(202b)와 연관된 적어도 하나의 데이터 프로세싱 시스템은 물리적 물체의 경계들, 물리적 물체의 표면들(예를 들어, 표면들의 토폴로지) 등을 나타내는 이미지를 생성한다. 이러한 예시에서, 이미지는 LiDAR 센서(202b)의 시야에서의 물리적 물체들의 경계들을 결정하는 데 사용된다.
레이더(Radio Detection and Ranging; radar) 센서(202c)는 버스(예컨대, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율주행 차량 컴퓨터(202f), 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 레이더 센서(202c)는 무선파(펄스형 또는 연속형)를 송신하도록 구성된 시스템을 포함한다. 레이더 센서(202c)에 의해 송신되는 무선파들은 미리결정된 스펙트럼 내에 있는 무선파들을 포함한다. 일부 실시예들에서, 동작 중에, 레이더 센서(202c)에 의해 송신된 무선파들은 물리적 물체와 부딪치고 레이더 센서(202c)로 되반사된다. 일부 실시예들에서, 레이더 센서(202c)에 의해 송신된 무선파들은 일부 물체들에 의해 반사되지 않는다. 일부 실시예들에서, 레이더 센서(202c)와 연관된 적어도 하나의 데이터 프로세싱 시스템은 레이더 센서(202c)의 시야 내에 포함된 물체들을 나타내는 신호들을 생성한다. 예를 들어, 레이터 센서(202c)와 연관된 적어도 하나의 데이터 프로세싱 시스템은 물리적 물체의 경계들, 물리적 물체의 표면들(예를 들어, 표면들의 토폴로지) 등을 나타내는 이미지를 생성한다. 일부 예시들에서, 이미지는 레이더 센서(202c)의 시야에서 물리적 물체들의 경계들을 결정하는 데 사용된다.
마이크로폰(202d)은 버스(예컨대, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율주행 차량 컴퓨터(202f), 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 마이크로폰(202d)은 오디오 신호들을 캡처하고 오디오 신호들과 연관된(예컨대, 이를 나타내는) 데이터를 생성하는 하나 이상의 마이크로폰(예컨대, 어레이 마이크로폰들, 외부 마이크로폰들 등)을 포함한다. 일부 예시들에서, 마이크로폰(202d)은 트랜스듀서 디바이스들 및/또는 유사 디바이스들을 포함한다. 일부 실시예들에서, 본원에서 설명되는 하나 이상의 시스템은 마이크로폰(202d)에 의해 생성된 데이터를 수신하고 데이터와 연관된 오디오 신호들에 기초하여 차량(200)에 대한 물체의 포지션(예를 들어, 거리 등)을 결정할 수 있다.
통신 디바이스(202e)는 카메라(202a), LiDAR 센서(202b), 레이더 센서(202c), 마이크로폰(202d), 자율주행 차량 컴퓨터(202f), 안전 제어기(202g), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 예를 들어, 통신 디바이스(202e)는 도 3의 통신 인터페이스(314)와 동일하거나 유사한 디바이스를 포함할 수 있다. 일부 실시예들에서, 통신 디바이스(202e)는 차량 대 차량(V2V) 통신 디바이스(예를 들어, 차량들 간의 데이터의 무선 통신을 가능하게 해주는 디바이스)를 포함한다.
자율주행 차량 컴퓨터(202f)는 카메라(202a), LiDAR 센서(202b), 레이더 센서(202c), 마이크로폰(202d), 통신 디바이스(202e), 안전 제어기(202g), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예시들에서, 자율주행 차량 컴퓨터(202f)는 클라이언트 디바이스, 모바일 디바이스(예를 들어, 셀룰러 전화기, 태블릿 등), 서버(예를 들어, 하나 이상의 중앙 프로세싱 유닛, 그래픽 프로세싱 유닛 등)와 같은 디바이스를 포함한다. 일부 실시예들에서, 자율주행 차량 컴퓨터(202f)는 본원에서 설명된 자율주행 차량 컴퓨터(400)와 동일하거나 유사하다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 자율주행 차량 컴퓨터(202f)는 자율주행 차량 시스템(예를 들어, 도 1의 원격 AV 시스템(114)과 동일하거나 유사한 자율주행 차량 시스템), 차대 관리 시스템(예를 들어, 도 1의 차대 관리 시스템(116)과 동일하거나 유사한 차대 관리 시스템), V2I 디바이스(예를 들어, 도 1의 V2I 디바이스(110)와 동일하거나 유사한 V2I 디바이스), 및/또는 V2I 시스템(예를 들어, 도 1의 V2I 시스템(118)과 동일하거나 유사한 V2I 시스템)과 통신하도록 구성된다.
안전 제어기(202g)는 카메라(202a), LiDAR 센서(202b), 레이더 센서(202c), 마이크로폰(202d), 통신 디바이스(202e), 자율주행 차량 컴퓨터(202f), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예시들에서, 안전 제어기(202g)는 차량(200)의 하나 이상의 디바이스(예를 들어, 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 브레이크 시스템(208) 등)를 동작시키기 위해 제어 신호들을 생성 및/또는 송신하도록 구성된 하나 이상의 제어기(전기적 제어기, 전기기계적 제어기 등)를 포함한다. 일부 실시예들에서, 안전 제어기(202g)는 자율주행 차량 컴퓨터(202f)에 의해 생성 및/또는 송신된 제어 신호들보다 우선하는(예를 들어, 이들보다 우위에 있는) 제어 신호들을 생성하도록 구성된다.
DBW 시스템(202h)은 통신 디바이스(202e) 및/또는 자율주행 차량 컴퓨터(202f)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예시들에서, DBW 시스템(202h)은 차량(200)의 하나 이상의 디바이스(예를 들어, 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 브레이크 시스템(208) 등)를 동작시키기 위해 제어 신호들을 생성 및/또는 송신하도록 구성된 하나 이상의 제어기(예컨대, 전기적 제어기, 전기기계적 제어기 등)를 포함한다. 추가적으로 또는 대안적으로, DBW 시스템(202h)의 하나 이상의 제어기는 차량(200)의 적어도 하나의 상이한 디바이스(예를 들어, 전향 신호, 헤드라이트, 도어록, 앞유리 와이퍼 등)를 동작시키기 위해 제어 신호들을 생성 및/또는 송신하도록 구성된다.
파워트레인 제어 시스템(204)은 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예시들에서, 파워트레인 제어 시스템(204)은 적어도 하나의 제어기, 액추에이터 등을 포함한다. 일부 실시예들에서, 파워트레인 제어 시스템(204)은 DBW 시스템(202h)으로부터 제어 신호들을 수신하고, 파워트레인 제어 시스템(204)은 차량(200)이 전방으로 움직이기 시작하고, 전방으로 움직이는 것을 멈추고, 후방으로 움직이기 시작하고, 후방으로 움직이는 것을 멈추고, 한 방향으로 가속하고, 한 방향으로 감속하고, 좌회전을 하고, 우회전을 하는 것 등을 야기시킨다. 예시에서, 파워트레인 제어 시스템(204)은 차량의 모터에 제공되는 에너지(예를 들어, 연료, 전기 등)를 증가시키거나, 동일하게 유지하거나, 감소시켜서, 차량(200)의 적어도 하나의 휠을 회전시키거나 또는 회전시키지 않게 한다.
조향 제어 시스템(206)은 차량(200)의 하나 이상의 휠을 회전시키도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예시들에서, 조향 제어 시스템(206)은 적어도 하나의 제어기, 액추에이터 등을 포함한다. 일부 실시예들에서, 조향 제어 시스템(206)은 차량(200)의 두 개 전방 휠들 및/또는 두 개 후방 휠들이 좌측 또는 우측으로 회전하게 하여 차량(200)이 좌측 또는 우측으로 회전하게 한다.
브레이크 시스템(208)은 차량(200)이 속력을 감소시키고/감소시키거나 정지 상태를 유지하도록 하기 위해 하나 이상의 브레이크를 작동시키도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예시들에서, 브레이크 시스템(208)은 차량(200)의 하나 이상의 휠과 연관된 하나 이상의 캘리퍼(caliper)가 차량(200)의 대응하는 로터(rotor)에서 닫히게 하도록 구성된 하나 이상의 제어기 및/또는 액추에이터를 포함한다. 추가적으로 또는 대안적으로, 일부 예시들에서, 브레이크 시스템(208)은 자동 긴급 브레이크(automatic emergency braking; AEB) 시스템, 회생 브레이크 시스템 등을 포함한다.
일부 실시예들에서, 차량(200)은 차량(200)의 상태 또는 조건의 속성들을 측정하거나 또는 추론하는 적어도 하나의 플랫폼 센서(명시적으로 도시되지 않음)를 포함한다. 일부 예시들에서, 차량(200)은 위치 추적 시스템(global positioning system; GPS) 수신기, 관성 측정 유닛(inertial measurement unit; IMU), 휠 속도 센서, 휠 브레이크 압력 센서, 휠 토크 센서, 엔진 토크 센서, 조향각 센서 등과 같은 플랫폼 센서들을 포함한다.
이제 도 3을 참조하면, 디바이스(300)의 개략도가 도시되어 있다. 도시된 바와 같이, 디바이스(300)는 프로세서(304), 메모리(306), 저장 컴포넌트(308), 입력 인터페이스(310), 출력 인터페이스(312), 통신 인터페이스(314), 및 버스(302)를 포함한다. 일부 실시예들에서, 디바이스(300)는 차량들(102)의 적어도 하나의 디바이스(예를 들어, 차량들(102)의 시스템의 적어도 하나의 디바이스) 및/또는 네트워크(112)의 하나 이상의 디바이스(예를 들어, 네트워크(112)의 시스템의 하나 이상의 디바이스)에 대응한다. 일부 실시예들에서, 차량들(102)의 하나 이상의 디바이스(예를 들어, 차량들(102)의 시스템의 하나 이상의 디바이스) 및/또는 네트워크(112)의 하나 이상의 디바이스(예를 들어, 네트워크(112)의 시스템의 하나 이상의 디바이스)는 적어도 하나의 디바이스(300) 및/또는 디바이스(300)의 적어도 하나의 컴포넌트를 포함한다. 도 3에서 도시된 바와 같이, 디바이스(300)는 버스(302), 프로세서(304), 메모리(306), 저장 컴포넌트(308), 입력 인터페이스(310), 출력 인터페이스(312), 및 통신 인터페이스(314)를 포함한다.
버스(302)는 디바이스(300)의 컴포넌트들 간의 통신을 허용하는 컴포넌트를 포함한다. 일부 실시예들에서, 프로세서(304)는 하드웨어, 펌웨어, 또는 하드웨어와 펌웨어의 조합으로 구현된다. 일부 예시들에서, 프로세서(304)는 프로세서(예를 들어, 중앙 프로세싱 유닛(CPU), 그래픽 프로세싱 유닛(GPU), 가속 프로세싱 유닛(APU) 등), 마이크로폰, 디지털 신호 프로세서(DSP), 및/또는 적어도 하나의 기능을 수행하도록 프로그래밍될 수 있는 임의의 프로세싱 컴포넌트(예를 들어, 필드 프로그래밍가능 게이트 어레이(field-programmable gate array; FPGA), 주문형 집적 회로(application specific integrated circuit; ASIC) 등)를 포함한다. 메모리(306)는 프로세서(304)에 의한 사용을 위해 데이터 및/또는 명령어들을 저장하는 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 및/또는 다른 유형의 동적 및/또는 정적 저장 디바이스(예컨대, 플래시 메모리, 자기 메모리, 및/또는 광학 메모리 등)를 포함한다.
저장 컴포넌트(308)는 디바이스(300)의 동작 및 사용과 관련된 데이터 및/또는 소프트웨어를 저장한다. 일부 예시들에서, 저장 컴포넌트(308)는 하드 디스크(예를 들어, 자기 디스크, 광 디스크, 광자기 디스크, 솔리드 스테이트 디스크 등), 콤팩트 디스크(CD), 디지털 다목적 디스크(DVD), 플로피 디스크, 카트리지, 자기 테이프, CD-ROM, RAM, PROM, EPROM, FLASH-EPROM, NV-RAM, 및/또는 대응 드라이브와 함께, 다른 유형의 컴퓨터 판독가능 매체를 포함한다.
입력 인터페이스(310)는 사용자 입력(예컨대, 터치스크린 디스플레이, 키보드, 키패드, 마우스, 버튼, 스위치, 마이크로폰, 카메라 등)을 통해서와 같이, 디바이스(300)가 정보를 수신하는 것을 허용하는 컴포넌트를 포함한다. 추가적으로, 또는 대안적으로, 일부 실시예들에서, 입력 인터페이스(310)는 정보를 감지하는 센서(예컨대, 위치 추적 시스템(GPS) 수신기, 가속도계, 자이로스코프, 액추에이터 등)를 포함한다. 출력 인터페이스(312)는 디바이스(300)로부터의 출력 정보를 제공하는 컴포넌트(예를 들어, 디스플레이, 스피커, 하나 이상의 발광 다이오드(LED) 등)를 포함한다.
일부 실시예들에서, 통신 인터페이스(314)는 유선 연결, 무선 연결, 또는 유무선 연결들의 조합을 통해 디바이스(300)가 다른 디바이스들과 통신하는 것을 허용하는 트랜스시버형 컴포넌트(예컨대, 트랜스시버, 별개의 수신기 및 송신기 등)를 포함한다. 일부 예시들에서, 통신 인터페이스(314)는 디바이스(300)가 정보를 다른 디바이스로부터 수신하고/수신하거나 정보를 다른 디바이스에 제공하는 것을 허용한다. 일부 예시들에서, 통신 인터페이스(314)는 이더넷 인터페이스, 광학 인터페이스, 동축 인터페이스, 적외선 인터페이스, 무선 주파수(RF) 인터페이스, 범용 직렬 버스(USB) 인터페이스, Wi-Fi® 인터페이스, 셀룰러 네트워크 인터페이스 등을 포함한다.
일부 실시예들에서, 디바이스(300)는 본원에서 설명된 하나 이상의 프로세스를 수행한다. 디바이스(300)는 메모리(305) 및/또는 저장 컴포넌트(308)와 같이, 컴퓨터 판독가능 매체에 의해 저장된 소프트웨어 명령어들을 프로세서(304)가 실행하는 것에 기초하여 이들 프로세스들을 수행한다. 컴퓨터 판독가능 매체(예를 들어, 비일시적 컴퓨터 판독가능 매체)는 본원에서 비일시적 메모리 디바이스로서 정의된다. 비일시적 메모리 디바이스는 단일 물리적 저장 디바이스 내부에 위치한 메모리 공간 또는 다중 물리적 저장 디바이스들에 걸쳐 분산된 메모리 공간을 포함한다.
일부 실시예들에서, 소프트웨어 명령어들은 다른 컴퓨터 판독가능 매체로부터 또는 통신 인터페이스(314)를 통해 다른 디바이스로부터 메모리(306) 및/또는 저장 디바이스(308) 내로 판독된다. 실행시, 메모리(306) 및/또는 저장 디바이스(308) 내에 저장된 소프트웨어 명령어들은 프로세서(304)로 하여금 본원에서 설명된 하나 이상의 프로세스를 수행하게 한다. 추가적으로, 또는 대안적으로, 본원에서 설명된 하나 이상의 프로세스를 수행하기 위해 소프트웨어 명령어들을 대신하여 또는 소프트웨어 명령어들과의 조합으로 하드와이어드 회로부가 사용된다. 따라서, 본원에서 설명되는 실시예들은 달리 명시적으로 언급되지 않는 한 하드웨어 회로부와 소프트웨어의 임의의 특정 조합으로 제한되지 않는다.
메모리(306) 및/또는 저장 컴포넌트(308)는 데이터 저장소 또는 적어도 하나의 데이터 구조(예를 들어, 데이터베이스 등)를 포함한다. 디바이스(300)는 메모리(306) 또는 저장 디바이스(308) 내의 데이터 저장소 또는 적어도 하나의 데이터 구조로부터 정보를 수신하거나, 그 안에 정보를 저장하거나, 이들에 정보를 전달하거나, 그 안에 저장되어 있는 정보를 검색할 수 있다. 일부 예시들에서, 정보는 네트워크 데이터, 입력 데이터, 출력 데이터, 또는 이들의 임의의 조합을 포함한다.
일부 실시예들에서, 디바이스(300)는 메모리(306) 및/또는 다른 디바이스(예를 들어, 디바이스(300)와 동일하거나 유사한 다른 디바이스)의 메모리 중 어느 하나에 저장된 소프트웨어 명령어들을 실행하도록 구성된다. 본원에서 사용되는 바와 같이, "모듈"이라는 용어는 프로세서(304)에 의해 및/또는 다른 디바이스(예를 들어, 디바이스(300)와 동일하거나 유사한 다른 디바이스)의 프로세서에 의해 실행될 때, 디바이스(300)(예를 들어, 디바이스(300)의 적어도 하나의 컴포넌트)로 하여금 본원에서 설명되는 하나 이상의 프로세스를 수행하게 하는, 메모리(306) 내 및/또는 다른 디바이스의 메모리 내에 저장된 적어도 하나의 명령어를 가리킨다. 일부 실시예들에서, 모듈은 소프트웨어, 펌웨어, 하드웨어 등으로 구현된다.
도 3에서 예시된 컴포넌트들의 개수 및 배열은 예시로서 제공된 것이다. 일부 실시예들에서, 디바이스(300)는 도 3에서 도시된 것과 비교하여, 추가적인 컴포넌트들, 더 적은 수의 컴포넌트들, 상이한 컴포넌트들, 또는 상이하게 배열된 컴포넌트들을 포함할 수 있다. 추가적으로 또는 대안적으로, 디바이스(300)의 컴포넌트들의 세트(예컨대, 하나 이상의 컴포넌트)는 디바이스(300)의 다른 컴포넌트들의 세트 또는 다른 컴포넌트에 의해 수행되는 것으로서 설명된 하나 이상의 기능을 수행할 수 있다.
이제 도 4를 참조하면, 자율주행 차량 컴퓨터(400)(때때로 "AV 스택"이라고 칭함)의 예시적인 블록도가 도시되어 있다. 예시된 바와 같이, 자율주행 차량 컴퓨터(400)는 인식 시스템(402)(때때로 인식 모듈이라고 지칭됨), 플래닝 시스템(404)(때때로 플래닝 모듈이라고 지칭됨), 측위 시스템(406)(때때로 측위 모듈이고 지칭됨), 제어 시스템(408)(때때로 제어 모듈이라고 지칭됨), 및 데이터베이스(410)를 포함한다. 일부 실시예들에서, 인식 시스템(402), 플래닝 시스템(404), 측위 시스템(406), 제어 시스템(408), 및 데이터베이스(410)는 차량의 자율주행 내비게이션 시스템(예를 들어, 차량(200)의 자율주행 차량 컴퓨터(202f))에서 포함되고 및/또는 구현된다. 추가적으로, 또는 대안적으로, 일부 실시예들에서, 인식 시스템(402), 플래닝 시스템(404), 측위 시스템(406), 제어 시스템(408), 및 데이터베이스(410)는 하나 이상의 독립형 시스템(예를 들어, 자율주행 차량 컴퓨터(400)와 동일하거나 또는 유사한 하나 이상의 시스템 등) 내에 포함된다. 일부 예시들에서, 인식 시스템(402), 플래닝 시스템(404), 측위 시스템(406), 제어 시스템(408), 및 데이터베이스(410)는 본원에서 설명되는 차량 및/또는 적어도 하나의 원격 시스템에 위치하는 하나 이상의 독립형 시스템 내에 포함된다. 일부 실시예들에서, 자율주행 차량 컴퓨터(400)에 포함된 시스템들 중 일부 및/또는 전부는 소프트웨어로(예컨대, 메모리에 저장된 소프트웨어 명령어들로), 컴퓨터 하드웨어(예컨대, 마이크로프로세서, 마이크로제어기, 주문형 집적 회로[ASIC], 필드 프로그래밍 게이트 어레이(FPGA) 등에 의해), 또는 컴퓨터 소프트웨어와 컴퓨터 하드웨어의 조합으로 구현된다. 또한, 일부 실시예들에서, 자율주행 차량 컴퓨터(400)는 원격 시스템(예를 들어, 원격 AV 시스템(114)과 동일하거나 유사한 자율주행 차량 시스템, 차대 관리 시스템(116))과 동일하거나 유사한 차대 관리 시스템(116), V2I 시스템(118)과 동일하거나 유사한 V2I 시스템 등)과 통신하도록 구성된다는 것이 이해될 것이다.
일부 실시예들에서, 인식 시스템(402)은 환경 내 적어도 하나의 물리적 물체와 연관된 데이터(예를 들어, 인식 시스템(402)에 의해 적어도 하나의 물리적 물체를 검출하기 위해 사용되는 데이터)를 수신하고 적어도 하나의 물리적 물체를 분류한다. 일부 예시들에서, 인식 시스템(402)은 적어도 하나의 카메라(예를 들어, 카메라(202a))에 의해 캡처된 이미지 데이터를 수신하고, 이미지는 적어도 하나의 카메라의 시야 내의 하나 이상의 물리적 물체와 연관된다(예를 들어, 이를 나타낸다). 그러한 예시에서, 인식 시스템(402)은 물리적 물체들(예를 들어, 자전거, 차량, 교통 표지판, 보행자 등)의 하나 이상의 그룹화에 기초하여 적어도 하나의 물리적 물체를 분류한다. 일부 실시예들에서, 인식 시스템(402)이 물리적 물체들을 분류한 것에 기초하여 인식 시스템(402)은 물리적 물체들의 분류와 연관된 데이터를 플래닝 시스템(404)에 송신한다.
일부 실시예들에서, 플래닝 시스템(404)은 목적지와 연관된 데이터를 수신하고, 차량(예를 들어, 차량들(102))이 목적지를 향해 이동할 수 있는 적어도 하나의 루트(예를 들어, 루트들(106))와 연관된 데이터를 생성한다. 일부 실시예들에서, 플래닝 시스템(404)은 인식 시스템(402)으로부터 데이터(예를 들어, 위에서 설명된 물리적 물체들의 분류와 연관된 데이터)를 주기적으로 또는 연속적으로 수신하고, 플래닝 시스템(404)은 인식 시스템(402)에 의해 생성된 데이터에 기초하여 적어도 하나의 궤적을 업데이트하거나 또는 적어도 하나의 상이한 궤적을 생성한다. 일부 실시예들에서, 플래닝 시스템(404)은 측위 시스템(406)으로부터 차량(예컨대, 차량들(102))의 업데이트된 포지션과 연관된 데이터를 수신하고, 플래닝 시스템(404)은 측위 시스템(406)에 의해 생성된 데이터에 기초하여 적어도 하나의 궤적을 업데이트하거나 또는 적어도 하나의 상이한 궤적을 생성한다.
일부 실시예들에서, 측위 시스템(406)은 영역 내 차량(예를 들어, 차량들(102))의 위치와 연관된(예를 들어, 위치를 나타내는) 데이터를 수신한다. 일부 예시들에서, 측위 시스템(406)은 적어도 하나의 LiDAR 센서(예를 들어, LiDAR 센서(202b))에 의해 생성된 적어도 하나의 포인트 클라우드와 연관된 LiDAR 데이터를 수신한다. 특정 예시들에서, 측위 시스템(406)은 다중 LiDAR 센서들로부터 적어도 하나의 포인트 클라우드와 연관된 데이터를 수신하고, 측위 시스템(406)은 포인트 클라우드들 각각에 기초하여 결합된 포인트 클라우드를 생성한다. 이러한 예시들에서, 측위 시스템(406)은 적어도 하나의 포인트 클라우드 또는 결합된 포인트 클라우드를 데이터베이스(410)에 저장된 영역의 2차원(2D) 및/또는 3차원(3D) 맵과 비교한다. 그런 후, 측위 시스템(406)이 적어도 하나의 포인트 클라우드 또는 결합된 포인트 클라우드를 맵과 비교한 것에 기초하여 측위 시스템(406)은 영역 내 차량의 포지션을 결정한다. 일부 실시예들에서, 맵은 차량의 네비게이팅 이전에 생성된 영역의 결합된 포인트 클라우드를 포함한다. 일부 실시예들에서, 맵은, 제한을 받지 않고서, 도로 기하학적 속성들의 고정밀 맵, 도로 네트워크 연결성 속성들을 기술하는 맵, (통행 속도, 교통량, 차량 및 자전거 통행 차선들의 수, 차선 폭, 차선 통행 방향, 또는 차선 표시 유형과 위치, 또는 이들의 조합과 같은) 도로 물리적 속성들을 기술하는 맵, 및 횡단보도, 교통 표지 또는 다양한 유형의 기타 이동 신호들과 같은 도로 특징들의 공간적 위치들을 기술하는 맵을 포함한다. 일부 실시예들에서, 맵은 인식 시스템에 의해 수신된 데이터에 기초하여 실시간으로 생성된다.
다른 예시에서, 측위 시스템(406)은 위치 추적 시스템(GPS) 수신기에 의해 생성된 글로벌 항법 위성 시스템(Global Navigation Satellite System; GNSS) 데이터를 수신한다. 일부 예시들에서, 측위 시스템(406)은 영역 내에서의 차량의 위치와 연관된 GNSS 데이터를 수신하고, 측위 시스템(406)은 영역 내에서의 차량의 위도와 경도를 결정한다. 이러한 예시에서, 측위 시스템(406)은 차량의 위도와 경도에 기초하여 영역 내에서의 차량의 포지션을 결정한다. 일부 실시예들에서, 측위 시스템(406)은 차량의 포지션과 연관된 데이터를 생성한다. 일부 예시들에서, 측위 시스템(406)이 차량의 포지션을 결정한 것에 기초하여 측위 시스템(406)은 차량의 포지션과 연관된 데이터를 생성한다. 그러한 예시에서, 차량의 포지션과 연관된 데이터는 차량의 포지션에 대응하는 하나 이상의 의미론적 속성과 연관된 데이터를 포함한다.
일부 실시예들에서, 제어 시스템(408)은 플래닝 시스템(404)으로부터 적어도 하나의 궤적과 연관된 데이터를 수신하고 제어 시스템(408)은 차량의 동작을 제어한다. 일부 예시들에서, 제어 시스템(408)은 플래닝 시스템(404)으로부터 적어도 하나의 궤적과 연관된 데이터를 수신하고, 제어 시스템(408)은 제어 신호들을 생성하고 송신하여 파워트레인 제어 시스템(예를 들어, DBW 시스템(202h), 파워트레인 제어 시스템(204) 등), 조향 제어 시스템(예를 들어, 조향 제어 시스템(206)), 및/또는 브레이크 시스템(예를 들어, 브레이크 시스템(208))이 동작하게 함으로써 차량의 동작을 제어한다. 궤적이 좌회전을 포함하는 예시에서, 제어 시스템(408)은 조향 제어 시스템(206)이 차량(200)의 조향각를 조정하게 하여, 차량(200)이 좌회전하게 하는 제어 신호를 송신한다. 추가적으로, 또는 대안적으로, 제어 시스템(408)은 차량(200)의 다른 디바이스들(예를 들어, 헤드라이트, 방향 신호, 도어록, 앞유리 와이퍼 등)이 상태들을 변경하도록 하는 제어 신호들을 생성하고 송신한다.
일부 실시예들에서, 인식 시스템(402), 플래닝 시스템(404), 측위 시스템(406), 및/또는 제어 시스템(408)은 적어도 하나의 기계 학습 모델(예를 들어, 적어도 하나의 다층 인식(multilayer perceptron; MLP), 적어도 하나의 컨볼루션 신경망(convolutional neural network; CNN), 적어도 하나의 순환 신경망(recurrent neural network; RNN), 적어도 하나의 오토인코더, 적어도 하나의 변환기 등)을 구현한다. 일부 예시들에서, 인식 시스템(402), 플래닝 시스템(404), 측위 시스템(406), 및/또는 제어 시스템(408)은 단독으로 또는 위에서 언급된 시스템들 중 하나 이상과 조합하여 적어도 하나의 기계 학습 모델을 구현한다. 일부 예시들에서, 인식 시스템(402), 플래닝 시스템(404), 측위 시스템(406), 및/또는 제어 시스템(408)은 파이프라인(예를 들어, 환경에 위치한 하나 이상의 물체를 식별하기 위한 파이프라인 등)의 일부로서 적어도 하나의 기계 학습 모델을 구현한다.
데이터베이스(410)는 인식 시스템(402), 플래닝 시스템(404), 측위 시스템(406), 및/또는 제어 시스템(408)에 송신되고, 이들로부터 수신되고, 및/또는 이들에 의해 업데이트되는 데이터를 저장한다. 일부 예시들에서, 데이터베이스(410)는 동작과 관련된 데이터 및/또는 소프트웨어를 저장하고 자율주행 차량 컴퓨터(400)의 적어도 하나의 시스템을 사용하는 저장 컴포넌트(예를 들어, 도 3의 저장 컴포넌트(308)와 동일하거나 유사한 저장 컴포넌트)를 포함한다. 일부 실시예들에서, 데이터베이스(410)는 적어도 하나의 영역의 2D 및/또는 3D 맵과 연관된 데이터를 저장한다. 일부 예시들에서, 데이터베이스(410)는 도시의 일부, 여러 도시들의 여러 부분들, 여러 도시들, 카운티, 주, 나라(예를 들어, 국가) 등의 2D 및/또는 3D 맵과 연관된 데이터를 저장한다. 그러한 예시에서, 차량(예를 들어, 차량들(102) 및/또는 차량(200)과 동일하거나 유사한 차량)은 하나 이상의 주행가능한 지역(예를 들어, 단일 차선 도로, 다중 차선 도로, 고속도로, 뒷길, 오프로드 트레일 등)을 따라 주행하고, 적어도 하나의 LiDAR 센서의 시야 내에 포함된 물체들을 나타내는 이미지와 연관된 데이터를 적어도 하나의 LiDAR 센서(예를 들어, LiDAR 센서(202b)와 동일하거나 유사한 LiDAR 센서)가 생성하게 한다.
일부 실시예들에서, 데이터베이스(410)는 복수의 디바이스들에 걸쳐 구현될 수 있다. 일부 예시들에서, 데이터베이스(410)는 차량(예를 들어, 차량들(102) 및/또는 차량(200)과 동일하거나 유사한 차량), 자율주행 차량 시스템(예를 들어, 원격 AV 시스템(114)과 유사하거나 동일한 자율주행 차량 시스템), 차대 관리 시스템(예를 들어, 도 1의 차대 관리 시스템(116)과 동일하거나 유사한 차대 관리 시스템), V2I 시스템(예를 들어, 도 1의 V2I 시스템(118)과 동일하거나 유사한 V2I 시스템) 등 내에 포함된다.
이제 도 5를 참조하면, 로우 레벨 융합을 위한 프로세스의 구현예(500)의 도면이 예시되어 있다. 일부 실시예들에서, 구현예(500)는 인식 시스템(504a), 플래닝 시스템(504b), 및 제어 시스템(504c)을 포함한다. 일부 실시예들에서, 인식 시스템(504a)은 도 4의 시스템(402)과 동일하거나 유사하다. 일부 실시예들에서, 플래닝 시스템(504b)은 도 4의 플래닝 시스템(404)과 동일하거나 유사하다. 일부 실시예들에서, 제어 시스템(504c)은 도 4의 제어 시스템(408)과 동일하거나 유사하다.
인식 시스템(504a)은 차량(502)의 하드웨어를 사용하여 차량(502)의 환경에서 데이터를 캡처할 수 있다. 예시들로서, 차량 하드웨어는 환경 내 물체들을 식별하도록 프로세싱되는 정보를 캡처하는 디바이스들(예를 들어, 도 2의 LiDAR 센서(202b); 도 6의 LiDAR 시스템(602))을 포함한다. 물체들은 분류될 수 있고, 여기서 물체들은 보행자, 자전거, 자동차, 교통 표지판 등과 같은 유형들로 그룹화된다. 캡처된 정보는 또한 주변 환경과 연관된 장면 설명을 생성하는 데 사용될 수 있다. 인식 시스템(504a)은 물체 분류(508) 및 다른 데이터를 플래닝 시스템(504b)에 연속적으로 또는 주기적으로 송신할 수 있다. 여기에 사용되는 스마트 LiDAR는 기존 기술들과 비교할 때 더 큰 레벨의 정확도로 물체 분류를 가능하게 한다. 플래닝 시스템(504b)은 무엇보다도 인식 시스템(504a)으로부터의 데이터를 사용하여 루트를 생성한다. 루트는 제어 시스템(504c)에 송신된다(510). 제어 시스템(504c)은 차량이 플래닝 시스템(504b)에 의해 생성된 루트를 네비게이팅하게 한다.
도 6은 LiDAR 시스템(602)의 예시를 도시한다. LiDAR 시스템(602)은 하나 이상의 광 방출기(606)(예를 들어, 레이저 송신기)로부터 광(604a~604c)을 방출한다. LiDAR 시스템에서 방출되는 광은 일반적으로 가시 스펙트럼에 있지 않다; 예를 들어, 적외선이 자주 사용된다. 방출된 광(604b) 중 일부는 물리적 물체(608)(예컨대, 차량)와 부딪치고 LiDAR 시스템(602)으로 되반사된다. LiDAR 시스템(602)은 또한 반사광을 검출하는 하나 이상의 광 검출기(610)(예를 들어, 광다이오드, 핀 광다이오드, APD, SPAD, 및 SiPM)를 갖는다. 실시예에서, LiDAR 시스템과 연관된 하나 이상의 데이터 프로세싱 시스템은 LiDAR 시스템의 시야(614)를 나타내는 이미지(612)를 생성한다. 이미지(612)는 물리적 물체(608)의 경계들 및 반사율(616)을 나타내는 정보를 포함한다. 이러한 방식으로, 이미지(612)는 AV 근처의 하나 이상의 물리적 물체의 경계(616)를 결정하는 데 사용된다.
도 7은 동작 중에 있는 LiDAR 시스템(602)을 도시한다. 도 7의 예시에서, 차량(102)은 이미지(702)의 형태의 카메라 시스템 출력과 LiDAR 데이터 포인트(704)의 형태의 LiDAR 시스템 출력 둘 다를 수신한다. 사용시, 차량(102)의 데이터 프로세싱 시스템은 이미지(702)를 데이터 포인트(704)와 비교한다. 특히, 이미지(702)에서 식별된 물리적 물체(706)가 또한 데이터 포인트들(704) 중에서 식별된다. 이러한 방식으로, 차량(102)은 데이터 포인트(704)의 윤곽 및 밀도에 기초하여 물리적 물체의 경계를 인식한다.
도 8은 LiDAR 시스템(602)의 동작을 추가로 상세히 도시한 것이다. 전술한 바와 같이, 차량(102)은 LiDAR 시스템(602)에 의해 검출된 데이터 포인트들의 특성에 기초하여 물리적 물체의 경계 및 반사율을 검출한다. 도 8에서 도시된 바와 같이, 지면(802)과 같은 평평한 물체는 LiDAR 시스템(602)으로부터 방출된 광(804a~804d)을 일관된 방식으로 반사할 것이다. 차량(102)이 지면(802) 위를 이동할 때, LiDAR 시스템(602)은 도로를 방해하는 것이 아무것도 없다면 다음의 유효한 지면 포인트(806)에 의해 반사된 광을 계속 검출할 것이다. 그러나, 물체(808)가 도로를 방해하는 경우, LiDAR 시스템(602)에 의해 방출된 광(804e~804f)은 예상되는 일관된 방식과는 불일치하는 방식으로 포인트들(810a~810b)로부터 반사될 것이다. 이 정보로부터, 차량(102)은 물체(808)가 존재한다고 결정할 수 있다.
실시예에서, SiPM은 SPAD들의 어레이이다. 일반적으로, SPAD는 카운팅될 수 있는 짧은 지속기간 트리거 펄스들을 제공하는 단일 광자들을 검출할 수 있다. 그러나, 이들은 애벌런치가 구축되는 빠른 속도와 디바이스의 낮은 타이밍 지터로 인해 입사 광자의 도달 시간을 획득하는 데 사용될 수도 있다. SPAD는 역 바이어스 항복 전압보다 훨씬 높게 바이어스되며 손상이나 과도한 노이즈 없이 동작할 수 있는 구조를 가지고 있다. 일반적으로, 가이거(Geiger) 모드에서 동작하는 광다이오드는 높은 이득을 달성하기 위해 항복 메커니즘을 이용하며 이를 SPAD라고 칭한다.
일반적으로, SiPM 마이크로셀(예를 들어, SPAD)에 의해 관찰된 반사들은 출력 신호를 생성하도록 합산된다. 내부 및/또는 외부 회로는 전류 신호를 측정(예컨대, 신호의 상승 에지, 피크, 면적, 및 형상의 시간을 측정)함으로써 광 전력 및 반사광의 도달 시간을 계산한다. 예를 들어, 타이밍 계산은 신호의 에지, 피크, 및 형상에 기초될 수 있고, 전력 계산은 신호의 피크, 면적, 및 형상에 기초될 수 있다. 실시예에서, 출력 회로는 소성된(fired) 마이크로셀들(예를 들어, 능동 SiPM 디바이스)의 수를 카운트한다. 실시예에서, 출력 회로는 광자의 도달 시간을 획득하기 위해 마이크로셀들에 의해 출력되는 펄스의 시작 시간을 측정한다. 일반적으로, SiPM 동적 범위는 기본적으로 세기/반사 정확도를 제한시키는, 각 SiPM 픽셀 내의 마이크로셀들(SPAD)의 수에 의해 잠재적으로 제한된다.
도 9는 SiPM 기반 센서(900) 상의 픽셀 배열(902)의 도면이다. 픽셀 배열(902) 상에서 도시된 픽셀들(904a~904d)은 적어도 nxm만큼 큰 차원을 갖는 전체 픽셀 배열(902) 중의 (예를 들어, 인접해 있는 2x2 셀들의 블록으로 있는) 4개의 픽셀들이다. 구체적으로, 픽셀들(904a~904d)은 픽셀(n, m)(904a), 픽셀(n, m+1)(904b), 픽셀(n+1, m)(904c), 및 픽셀(n+1, m+1)(904d)을 포함한다. 픽셀들(904a~904d) 각각은 가이거 모드(GM) 마이크로셀들(906), 광학 필터(910)를 갖는 광다이오드(908), 및 광학 트렌치(912) 각각의 하나 이상의 영역을 포함한다.
일부 실시예들에서, SiPM 기반 센서(900)는 듀얼 출력 신호를 생성하기 위해 광다이오드(908)와 GM 마이크로셀(906) 둘 다를 독출함으로써 동작한다. 이러한 방식으로, 두 개의 개별 애노드들이 동시에 출력된다. 일부 실시예들에서, SiPM 기반 센서(900)의 출력은 연속적인 아날로그 출력(예를 들어, 전류 출력)이다. 이와 같이, SiPM의 복수의 픽셀들의 전류 출력이 병렬로 판독되는 동안 SiPM 기반 센서(900)는 아날로그 디바이스로서 동작한다. 일부 실시예들에서, SiPM 기반 센서(900)의 출력은 구별가능하고 이에 따라 카운트될 수 있는 개별 펄스들(예를 들어, 디지털 출력)이다. SiPM에 의해 출력되는 펄스들은 출력 신호를 생성하기 위해 카운트된다. 본 기술들에 따른 SiPM 기반 센서(900)의 출력은 GM 마이크로셀들(906)과 광다이오드(908)에 의해 검출되는 단일 광자 내지 수백 및 수천 개의 광자들의 동적 범위 내에서 신호들의 생성을 가능하게 한다. 전형적으로, GM 마이크로셀들(906, 908)은 상이한 광학 필터들, 예를 들어 RGB 필터를 갖는 광다이오드(908) 및 근적외선(NIR) 필터를 갖는 GM 마이크로셀들(906)을 가질 수 있다. GM 마이크로셀들(906)과 광다이오드(908)가 동일한 광학 필터, 예를 들어, 동일하거나 상이한 투과 특성을 갖는 NIR 필터를 가질 때, 광다이오드(908) 출력 신호는 동적 범위를 증가시키는 데 도움이 될 것이다.
예로서, SiPM 기반 센서(900)의 하나 이상의 SiPM 기반 픽셀(904)은 광학 필터(910)를 갖는 광 다이오드와 GM 마이크로셀(906)의 직렬 조합이다. SiPM 기반 센서(900)는 단일 광자 레벨까지 광(또는 광학) 신호를 감지하고, 시간 측정하고, 정량화하는 광검출기이다. 일반적으로, SiPM 픽셀(904)은 공통 출력(예를 들어, 애노드 및 캐소드)을 공유하는 어레이로 있는 복수의 마이크로셀들을 포함한다. 실시예에서, 각각의 마이크로셀은 단일 광자 애벌런치 광다이오드(SPAD)와 퀀칭(quenching) 회로(예를 들어, 저항기)의 직렬 조합이다. 모든 마이크로셀들은 병렬로 연결되고 독립적으로 광자들을 검출하며, 결과적인 SiPM 기반 센서(900)는 복수의 픽셀들(904)을 가지며, 그 중 일부는 다수의 애노드들을 갖는다. 일부 실시예들에서, SiPM 기반 센서(900)는 광자 또는 광학적 귀환 신호를 독립적으로 검출할 수 있는 하나 또는 다수의 SiPM 기반 픽셀(904)을 포함할 수 있다. 각각의 픽셀(904)은 복수의 GM 마이크로셀들(906)(예를 들어, SPAD) 및 하나(전형적으로) 또는 그 이상의 광다이오드(908) 서브 영역을 포함할 수 있다.
낮은 플럭스 이벤트 동안의 동작에서, 광자가 마이크로셀에 의해 검출될 때, 전자 정공 쌍이 생성된다. 공핍 영역 내에서 충분히 높은 전기장이 생성될 때, 생성된 전하 캐리어(전자 또는 정공)는 가속되어 2차 전자-정공 쌍(충격 이온화)을 생성하기에 충분한 운동 에너지를 운송한다. 마이크로셀이 수동 퀀칭(예컨대, ??칭 저항기) 또는 능동 회로부에 의해 퀀칭될 때까지 거시적(애벌런치) 전류가 마이크로셀을 통과한다. 각각의 소성된 마이크로셀로부터의 전류들의 합은 광자 플럭스의 크기를 계산하는 데 사용되는 의사(pseudo) 아날로그 출력(소성된 마이크로셀들의 전류 펄스들의 시간적(chronological) 중첩)을 형성하기 위해 결합된다. 퀀칭은 SiPM에 인가되는 역 전압을 항복 전압보다 낮은 값으로 낮추어, 전류의 애벌런치를 중단시킨다. 그런 후, SiPM은 바이어스 전압으로 다시 재충전되고, 후속 광자들을 검출하는 데 이용가능할 수 있다.
실시예에서, 광학 필터(910)를 갖는 광다이오드(908)는 RGB 색상(예를 들어, 이미징 센서와 유사) 중 하나를 수용하기 위해 필터링을 수행하도록 각각 구성된다. 도 9에서 도시된 광학 필터(910)를 갖는 광다이오드(908)의 배열에서, 광학 필터(910r)를 갖는 광다이오드(908)는 적색광을 수신하도록 구성되고, 광학 필터(910g)를 갖는 광다이오드(908)는 녹색광을 수신하도록 구성되며, 광다이오드(910b)는 청색광을 수신하도록 구성된다. 광학 트렌치(912)는 픽셀들(904a~904d) 각각에서 광다이오드(908)를 다른 감광 영역들(예를 들어, SPAD(906))로부터 분리시킨다. 실시예에서, 광학 트렌치(912)는 선택적이다.
RGB 필터를 갖는 광다이오드의 서브 영역을 각각의(또는 일부) SiPM 픽셀에 적용하는 것은 (예컨대, 도 10에 대해 설명된 프로세스에서) 동일한 하드웨어를 사용하여 포인트 클라우드 데이터와 동시에 카메라 유사 데이터를 캡처하게 할 수 있다. 본 개시의 기술들은 포인트 클라우드와 카메라 유형 데이터를 동시에 캡처하므로, 교정 프로세스가 변경된다. 예를 들어, 단일 센서를 사용하여 여러 유형들의 데이터를 캡처하면 교정을 간소화할 수 있다.
전통적으로, 포인트 3D 클라우드 유형 데이터와 2D 카메라 데이터 사이의 교정은 별개의 하드웨어 센서들에 의해 출력되는 데이터 사이의 대응관계를 생성하도록 수행된다. 예를 들어, 전통적인 교정은 데이터를 융합하는 데 사용되는 하나 이상의 변환을 종종 사용한다. 일반적으로, 데이터 융합은 환경 내의 물체들의 정확한 해석을 가능하게 한다. 본 기술들에 따른 SiPM 센서는 2D 이미징 데이터를 캡처하는 하드웨어와 동일한 기판 상에 공동위치될, 포인트 클라우드 데이터를 캡처하는 하드웨어를 포함한다. 동일한 기판 상에 공동위치됨으로써, SiPM 디바이스에 의해 출력되는 여러 데이터 유형들을 융합하는 데 사용되는 하나 이상의 변환이 제거된다. 특히, LiDAR 좌표계로부터 카메라 좌표계로 포인트들을 매핑하는 변환은 SiPM 기반 센서를 특성화하는 고유 파라미터들에 적어도 부분적으로 기초하는 것으로 알려져 있다.
예로서, 본 기술들에 따른 센서의 픽셀은 제1 유형의 광다이오드(예를 들어, 내부 이득을 갖는 GM 마이크로셀들(906)) 및 제2 유형의 광다이오드(예를 들어, 광학 필터(910)를 갖는 광다이오드(908))를 포함한다. 제2 유형의 광다이오드는 상이한 내부 이득을 가질 수 있다(예를 들어, PD, PIN PD, 또는 APD). 제1 및 제2 유형의 광다이오드들은 환경에서 방출되는 광을 캡처한다. 제1 유형의 광다이오드에 의해 캡처된 데이터는 센서에 의해 출력되고 3D 포지션(예컨대, 레인지 데이터) 및 반사율 데이터를 생성하도록 프로세싱된다. 예로서, 3차원 포지션 및 반사율 데이터는 포인트 클라우드 데이터일 수 있다. 일부 경우들에서, 제2 유형의 광다이오드는 컬러 필터(예컨대, 가시광선 또는 NIR)와 물리적으로 커플링된다. 예를 들어, 컬러 필터는 미리결정된 색상을 통과시키면서 다른 색상들을 반사로 제거함으로써, 대응하는 광다이오드가 색상 정보를 캡처할 수 있도록 하는 RGB 필터이다. 컬러 필터는 하나 이상의 광다이오드 위에 미리정의된 패턴의 필터들의 어레이를 사용하여 실현된다. 컬러 필터와 커플링된 제2 유형의 광다이오드들에 의해 캡처된 데이터는 센서에 의해 출력되고 2D 이미지 데이터를 생성하도록 프로세싱된다. 포지션 정보와 2D 컬러 이미지 정보는 외부 회로부에 의해 독출되기 전에, 픽셀 단위로 융합된다. 이러한 방식으로, 본 기술들은 센서 데이터를 출력하기 전에, 픽셀 단위로 로우 레벨 데이터 융합을 가능하게 한다.
광학 필터(910)를 갖는 광다이오드(908)는 노이즈 및/또는 광학 크로스토크를 도입할 수 있다. 예를 들어, 노이즈 및/또는 광학 크로스토크는 광 굴절 및 소수 캐리어에 의해 야기되는 전자 누출과 광자에 의해 도입되는 마이크로셀(906)과 광다이오드(908) 사이의 상호작용을 포함할 수 있다. 실시예에서, 기판 내에 제조된 트렌치들은 서브 픽셀들 사이의 노이즈 및/또는 크로스토크를 완화시킬 수 있다. 예를 들어, 트렌치(예를 들어, 광학 트렌치(912))는 인접한 서브 픽셀들 사이의 비발광 영역으로서 구현될 수 있다.
이제 도 10을 참조하면, 제1 및 제2 유형의 광다이오드들 각각으로부터 캡처된 3D 포지션 및 2D 이미지 정보를 융합하기 위한 프로세스(1000)가 설명된다. 일부 실시예들에서, 프로세스(1000)에 대해 설명되는 단계들 중 하나 이상은 자율주행 시스템(202)에 의해 (예를 들어, 완전히, 부분적으로, 및/또는 이와 유사한 방식으로) 수행된다. 추가적으로, 또는 대안적으로, 일부 실시예들에서, 프로세스(1000)에 대해 설명되는 하나 이상의 단계는 다른 디바이스 또는 디바이스들의 그룹에 의해 또는 디바이스(300)를 포함시켜서 (예를 들어, 완전히, 부분적으로, 및/또는 이와 유사한 방식으로) 수행된다. 제1 유형의 광다이오드(예컨대, SPAD 어레이의 서브 영역)는 3D 포지션(레인지) 및 반사율 정보 둘 다를 제공할 수 있다. 제1 유형의 광다이오드(예컨대, GM 마이크로셀들(906)) 및 제2 유형의 광다이오드(예컨대, 필터(910)를 갖는 광다이오드(908))를 사용한다. 3D 포지션, 반사율, 및 2D 이미지가 픽셀 단위로 융합될 수 있다.
1002에서, 포지션 및 반사율 정보를 획득하기 위해 환경(예를 들어, 도 1의 환경(100))에서 방출된 광으로부터의 반사들(예를 들어, 캡처된 정보)이 제1 유형의 광다이오드(예를 들어, GM 마이크로셀(906))로 캡처된다. 예를 들어, 인식 시스템(504a)은 차량(502)의 하드웨어를 사용하여 차량(502)의 환경에서 정보를 캡처할 수 있다. 일부 예시들에서, 캡처된 정보는 보행자, 자전거, 자동차, 교통 표지판 등과 같은 유형들로 그룹화된 물체와 관련된 정보를 포함할 수 있다. 캡처된 정보는 LiDAR 시스템(602)으로부터 방출된 반사광(804a~804d)과 같은 반사들을 포함할 수 있다. 이러한 예시들에서, 반사광은 물체(808)쪽으로 LiDAR 시스템(602)에 의해 방출되고 포인트들(810a~810b)로부터 반사된 광(804e~804f)일 수 있다. 일부 실시예들에서, 제1 유형의 광다이오드는 단일 광자 애벌런치 다이오드(SPAD)이다.
1004에서, 제2 유형의 광다이오드(예를 들어, 광학 필터들(910)을 갖는 광다이오드(908))로 색상 정보가 캡처된다. 제2 유형의 광다이오드는 (예를 들어, 적색광을 수신하도록 구성된 광학 필터(910r)를 갖는 광다이오드, 녹색광을 수신하도록 구성된 광학 필터(910g)를 갖는 광다이오드, 및 청색광을 수신하도록 구성된 광학 필터(910b)를 갖는 광다이오드로부터) 색상 정보를 획득하기 위해 컬러 필터와 커플링된다. 제1 유형의 광다이오드와 제2 유형의 광다이오드는 공통 기판, 예컨대, SiPM 기반 센서(900) 상에서 공동배치된다. 일부 실시예들에서, 제2 유형의 광다이오드(또는 광검출기)는 광다이오드(PD) 또는 PIN 광다이오드(PIN)이다.
1006에서, 레인지(3D 포지션) 정보와 색상(2D 이미지) 정보가 픽셀 단위로(예를 들어, 인식 시스템(504a)에 의해) 융합된다. 예를 들어, 레인지 및 반사율 데이터와 이미지 데이터는 인식 시스템(504a)에 의해 프로세싱되기 전에 SiPM 기반 센서(900)에 의해 융합될 수 있다.
일부 실시예들에서, 프로세스(1000)는, 상기 제2 유형의 광다이오드와 상기 제1 유형의 광다이오드 사이의 크로스토크가 감소되도록 딥 트렌치 패턴(예컨대, 광학 트렌치)을 상기 공통 기판에 적용하는 동작을 더 포함한다. 예를 들어, 광학 트렌치(912)는 광학 필터(910)를 갖는 광다이오드(908)와 GM 마이크로셀들(906) 사이의 크로스토크를 방지하기 위해 SiPM 기반 센서(900) 내에 구축될 수 있다.
일부 실시예들에서, 융합된 포지션 및 반사율 정보와 색상 정보는 자율주행 차량의 제어 시스템에 제공된다. 예를 들어, SiPM 기반 센서(900)는 제어 시스템(504c)에 의해 직접 액세스될 수 있다.
전술한 설명에서, 본 개시의 양태들과 실시예들은 구현마다 변할 수 있는 다수의 특정 세부사항들을 참조하여 설명되었다. 따라서, 상세한 설명과 도면은 제한적인 의미라기보다는 예시적인 것으로서 간주되어야 한다. 본 발명의 범위의 유일하고 배타적인 지표와, 출원인들이 본 발명의 범위인 것으로 의도하는 것은 임의의 후속 보정을 비롯하여, 그러한 청구항들이 이슈화하는 특정 형태로, 본 출원으로부터 이슈화되고 있는 청구항들의 세트의 문자 그대로의 그리고 등가적인 범위이다. 그러한 청구항들에서 포함된 용어들에 대해 본원에서 명시적으로 진술된 모든 정의들은 청구항들에서 사용된 그러한 용어들의 의미를 규율한다. 또한, 앞에서의 상세한 설명 또는 아래에서의 청구항들에서의 "더 포함하는"의 용어를 사용할 때, 이 문구 뒤에 오는 것은 추가적인 단계 또는 엔터티, 또는 이전에 기재된 단계 또는 엔터티의 하위 단계/하위 엔터티일 수 있다.

Claims (17)

  1. 센서 디바이스에 있어서,
    복수의 픽셀들
    을 포함하고,
    상기 복수의 픽셀들은 병렬로 연결되고,
    상기 복수의 픽셀들 중 적어도 하나의 픽셀은,
    제1 유형의 광다이오드 - 상기 제1 유형의 광다이오드는 환경에서 방출된 광으로부터의 반사들을 캡처하고 3차원(3D) 포지션 및 반사율 정보를 출력함 -; 및
    필터들을 갖는 제2 유형의 광다이오드 - 상기 제2 유형의 광다이오드는 상기 환경에서의 필터링된 반사들을 캡처하고, 상기 필터링된 반사들 내의 데이터를 컬러 필터(color filter)가 상기 제2 유형의 광다이오드에 의해 출력되는 색상 정보(color information)로 분리하고, 상기 제1 유형의 광다이오드와 상기 제2 유형의 광다이오드는 공통 기판 상에 공동위치됨(collocated) -
    를 포함하고,
    상기 복수의 픽셀들 중 상기 적어도 하나의 픽셀의 3D 포지션 정보와 색상 정보는 융합되고 상기 센서 디바이스에 의해 출력되는 것인 센서 디바이스.
  2. 제1항에 있어서,
    상기 제1 유형의 광다이오드는 내부 이득을 갖는 하나 이상의 단일 광자 애벌런치 다이오드(single photon avalanche diode; SPAD)인 것인 센서 디바이스.
  3. 제1항에 있어서,
    상기 제2 유형의 광다이오드는 제2 내부 이득을 갖는 광다이오드인 것인 센서 디바이스.
  4. 제1항에 있어서,
    상기 제2 유형의 광다이오드와 상기 제1 유형의 광다이오드 사이의 크로스토크가 감소되도록 딥 트렌치 패턴(deep trench pattern)이 상기 공통 기판에 적용된 것인 센서 디바이스.
  5. 제1항에 있어서,
    상기 3D 포지션 및 반사율 정보와 이미지 데이터가 외부 회로부에 의한 프로세싱 이전에 융합되는 것인 센서 디바이스.
  6. 제1항에 있어서,
    상기 센서 디바이스는 자율주행 차량 시스템의 일부인 것인 센서 디바이스.
  7. 제1항에 있어서,
    상기 센서 디바이스는 연속적인 출력 신호를 생성하기 위해 상기 제1 유형의 광다이오드와 상기 제2 유형의 광다이오드 중 하나 또는 둘 다를 출력시키는 것인 센서 디바이스.
  8. 제1항에 있어서,
    상기 컬러 필터는, 일반적으로 400나노미터(㎚)와 700㎚ 사이의 가시광선 범위를 갖는 적색/녹색/청색(red/green/blue; RGB) 필터이거나, 또는 일반적으로 700㎚와 2마이크로미터(㎛) 사이의 가시광선 범위를 갖는 근적외선(near-infrared; NIR) 필터인 것인 센서 디바이스.
  9. 제8항에 있어서,
    상기 NIR 필터는 SPAD 영역과 동일하거나 상이한 광학적 특성을 갖고,
    상기 광학적 특성은 적어도 전송 대역폭 및 감쇠 인자를 포함한 것인 센서 디바이스.
  10. 방법에 있어서,
    제1 유형의 광다이오드로, 포지션 및 반사율 정보를 획득하기 위해 환경에서 방출된 광으로부터의 반사들을 캡처하는 단계;
    제2 유형의 광다이오드로, 색상 정보를 캡처하는 단계 - 상기 제2 유형의 광다이오드는 상기 색상 정보를 획득하기 위해 컬러 필터와 커플링되고, 상기 제1 유형의 광다이오드와 상기 제2 유형의 광다이오드는 공통 기판 상에 공동위치됨 -; 및
    상기 포지션 및 반사율 정보와 상기 색상 정보를 픽셀 단위로 융합하는 단계
    를 포함하는 방법.
  11. 제10항에 있어서,
    상기 제1 유형의 광다이오드는 내부 이득을 갖는 하나 이상의 단일 광자 애벌런치 다이오드(SPAD)인 것인 방법.
  12. 제10항에 있어서,
    상기 제2 유형의 광다이오드는 제2 내부 이득을 갖는 광다이오드인 것인 방법.
  13. 제10항에 있어서,
    상기 제2 유형의 광다이오드와 상기 제1 유형의 광다이오드 사이의 크로스토크가 감소되도록 딥 트렌치 패턴을 상기 공통 기판에 적용하는 단계
    를 더 포함하는 방법.
  14. 제10항에 있어서,
    외부 회로부에 의한 프로세싱 이전에 상기 포지션 및 반사율 정보와 이미지 데이터를 융합하는 단계
    를 더 포함하는 방법.
  15. 제10항에 있어서,
    상기 융합된 포지션 및 반사율 정보와 상기 색상 정보를 자율주행 차량의 제어 시스템에 제공하는 단계
    를 더 포함하는 방법.
  16. 제10항에 있어서,
    연속적인 출력 신호를 생성하기 위해 상기 제1 유형의 광다이오드와 상기 제2 유형의 광다이오드 중 하나 또는 둘 다를 출력하는 단계
    를 더 포함하는 방법.
  17. 명령어들이 저장되어 있는 비일시적인 컴퓨터 판독가능 저장 매체에 있어서, 상기 명령어들은, 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금 제10항 내지 제16항 중 어느 한 항의 방법을 수행하게 하는 것인 비일시적인 컴퓨터 판독가능 저장 매체.
KR1020220012145A 2021-10-14 2022-01-27 로우 레벨 융합을 위한 sipm 기반 센서 KR20230053482A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/501,468 US11435451B1 (en) 2021-10-14 2021-10-14 SiPM based sensor for low level fusion
US17/501,468 2021-10-14

Publications (1)

Publication Number Publication Date
KR20230053482A true KR20230053482A (ko) 2023-04-21

Family

ID=80507306

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220012145A KR20230053482A (ko) 2021-10-14 2022-01-27 로우 레벨 융합을 위한 sipm 기반 센서

Country Status (5)

Country Link
US (2) US11435451B1 (ko)
KR (1) KR20230053482A (ko)
CN (1) CN115984079A (ko)
DE (1) DE102022102182A1 (ko)
GB (1) GB2612148A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11428791B1 (en) 2021-10-14 2022-08-30 Motional Ad Llc Dual-mode silicon photomultiplier based LiDAR
US11435451B1 (en) * 2021-10-14 2022-09-06 Motional Ad Llc SiPM based sensor for low level fusion

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006073875A2 (en) 2005-01-06 2006-07-13 Recon/Optical, Inc. Cmos active pixel sensor with improved dynamic range and method of operation, method for identifying moving objects and hybrid array with ir detector
US8476571B2 (en) 2009-12-22 2013-07-02 Siemens Aktiengesellschaft SiPM photosensor with early signal digitization
IT1402264B1 (it) 2010-09-16 2013-08-28 St Microelectronics Srl Array fotorilevatore multi-pixel di fotodiodi a valanga geiger-mode
ITTO20120501A1 (it) 2012-06-08 2013-12-09 St Microelectronics Srl Dispositivo diagnostico con fotorilevatore integrato e sistema diagnostico includente il medesimo
US10446700B2 (en) 2013-05-22 2019-10-15 W&Wsens Devices, Inc. Microstructure enhanced absorption photosensitive devices
US10468543B2 (en) 2013-05-22 2019-11-05 W&Wsens Devices, Inc. Microstructure enhanced absorption photosensitive devices
US9271694B2 (en) 2013-12-18 2016-03-01 General Electric Company System and method of simplifying a direct control scheme for a detector
US10036801B2 (en) 2015-03-05 2018-07-31 Big Sky Financial Corporation Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array
EP3289430B1 (en) * 2015-04-27 2019-10-23 Snap-Aid Patents Ltd. Estimating and using relative head pose and camera field-of-view
CN108027426B (zh) 2015-09-30 2021-08-27 天宝公司 具有改善的动态范围的大地测量仪
US10962647B2 (en) 2016-11-30 2021-03-30 Yujin Robot Co., Ltd. Lidar apparatus based on time of flight and moving object
US20180162632A1 (en) 2016-12-14 2018-06-14 Vincent Craig Flashlight cover assembly
US10585174B2 (en) 2017-03-10 2020-03-10 Sensl Technologies Ltd. LiDAR readout circuit
US10594965B2 (en) 2017-09-13 2020-03-17 Semiconductor Components Industries, Llc Avalanche photodiode image sensors
KR101936193B1 (ko) 2017-09-27 2019-01-08 한국과학기술원 수평형 실리콘 광증배소자 및 그 제조방법
US10458783B2 (en) 2017-10-13 2019-10-29 Faro Technologies, Inc. Three-dimensional scanner having pixel memory
US11415681B2 (en) 2018-01-10 2022-08-16 Velodyne Lidar Usa, Inc. LIDAR based distance measurements with tiered power control
WO2019199691A1 (en) 2018-04-08 2019-10-17 Artilux, Inc. Photo-detecting apparatus
WO2020021339A2 (en) 2018-07-26 2020-01-30 Innoviz Technologies Ltd. Lidar system having a mirror housing with a window
US10739189B2 (en) 2018-08-09 2020-08-11 Ouster, Inc. Multispectral ranging/imaging sensor arrays and systems
US10760957B2 (en) 2018-08-09 2020-09-01 Ouster, Inc. Bulk optics for a scanning array
US20200075652A1 (en) * 2018-09-05 2020-03-05 Facebook Technologies, Llc Pixel cell with multiple photodiodes
EP3633405B1 (de) 2018-10-03 2023-01-11 Hexagon Technology Center GmbH Messgerät zur geometrischen 3d-abtastung einer umgebung mit einer vielzahl sendekanäle und semiconductor-photomultiplier sensoren
KR20210089172A (ko) 2018-10-19 2021-07-15 이노비즈 테크놀로지스 엘티디 Lidar 시스템 및 방법
US11644549B2 (en) 2019-03-06 2023-05-09 The University Court Of The University Of Edinburgh Extended dynamic range and reduced power imaging for LIDAR detector arrays
US11604259B2 (en) 2019-10-14 2023-03-14 Infineon Technologies Ag Scanning LIDAR receiver with a silicon photomultiplier detector
US10901074B1 (en) 2020-02-17 2021-01-26 Hesai Technology Co., Ltd. Systems and methods for improving Lidar performance
US11428550B2 (en) * 2020-03-03 2022-08-30 Waymo Llc Sensor region of interest selection based on multisensor data
US11269075B2 (en) * 2020-04-17 2022-03-08 Samsung Electronics Co., Ltd. Hybrid sensor system and method for providing 3D imaging
US11536812B2 (en) 2020-06-23 2022-12-27 Aptiv Technologies Limited Increased dynamic range for time-of-flight (ToF) lidar systems
KR20240004882A (ko) 2021-05-14 2024-01-11 모셔널 에이디 엘엘씨 실리콘 광전자 증배관 기반 lidar
US11435451B1 (en) * 2021-10-14 2022-09-06 Motional Ad Llc SiPM based sensor for low level fusion
US11428791B1 (en) 2021-10-14 2022-08-30 Motional Ad Llc Dual-mode silicon photomultiplier based LiDAR

Also Published As

Publication number Publication date
US20230119438A1 (en) 2023-04-20
GB2612148A (en) 2023-04-26
DE102022102182A1 (de) 2023-04-20
US11435451B1 (en) 2022-09-06
CN115984079A (zh) 2023-04-18
GB202200730D0 (en) 2022-03-09
US11782140B2 (en) 2023-10-10

Similar Documents

Publication Publication Date Title
JP7246863B2 (ja) 受光装置、車両制御システム及び測距装置
US11397250B2 (en) Distance measurement device and distance measurement method
US11782140B2 (en) SiPM based sensor for low level fusion
US11796646B2 (en) Dual-mode silicon photomultiplier based LiDAR
US20220365179A1 (en) Silicon photomultiplier based lidar
US20230252678A1 (en) Universal sensor performance and calibration target for multi-sensor imaging systems
US20230160778A1 (en) Systems and methods for measurement of optical vignetting
US20240083421A1 (en) System and methods for time-of-flight (tof) lidar interference mitigation
US20240085536A1 (en) System and methods for time-of-flight (tof) lidar signal-to-noise improvement
US20230292021A1 (en) Optical metrology: repeatable qualitative analysis of flare and ghost artifacts in camera optical sytem
WO2024081594A1 (en) Lidar system and method for adaptive detection and emission control
US20240048853A1 (en) Pulsed-Light Optical Imaging Systems for Autonomous Vehicles
US20220414930A1 (en) Geometric intrinsic camera calibration using diffractive optical element
US20240129604A1 (en) Plenoptic sensor devices, systems, and methods
US20230051395A1 (en) Scout pulsing
WO2023178108A1 (en) False signal reducing lidar window
WO2024081258A1 (en) Plenoptic sensor devices, systems, and methods
JP2023181970A (ja) 光検出及び測距（ｌｉｄａｒ）デバイスにおける近くの物体検出のための光検出器
GB2615145A (en) Methods and systems for determination of boresight error in an optical system
WO2024054816A1 (en) Wavelength based v2x antenna

Legal Events

Date Code Title Description
E902 Notification of reason for refusal