KR20220058947A - 라이다 이미지의 처리 - Google Patents

라이다 이미지의 처리 Download PDF

Info

Publication number
KR20220058947A
KR20220058947A KR1020227011489A KR20227011489A KR20220058947A KR 20220058947 A KR20220058947 A KR 20220058947A KR 1020227011489 A KR1020227011489 A KR 1020227011489A KR 20227011489 A KR20227011489 A KR 20227011489A KR 20220058947 A KR20220058947 A KR 20220058947A
Authority
KR
South Korea
Prior art keywords
lidar
pixels
depth
pixel
image
Prior art date
Application number
KR1020227011489A
Other languages
English (en)
Inventor
안구스 파칼라
Original Assignee
아우스터, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아우스터, 인크. filed Critical 아우스터, 인크.
Publication of KR20220058947A publication Critical patent/KR20220058947A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

라이다 데이터를 처리하기 위한 시스템 및 방법이 제공된다. 라이다 데이터는 이미지 처리가 이미지마다 적용될 수 있는 직선 이미지의 재구성을 허용하는 특정 방식으로 얻을 수 있다. 예컨대, 커널 기반 이미지 처리 기술을 사용할 수 있다. 이러한 처리 기술은 이웃하는 라이다 및/또는 연관된 컬러 픽셀을 사용하여 라이다 신호와 연관된 다양한 값을 조정할 수 있다. 라이다 및 컬러 픽셀에 대한 이러한 이미지 처리는 동일한 집적 회로에 있을 수 있는 전용 회로에 의해 수행될 수 있다. 또한, 라이다 픽셀을 서로 상관시킬 수 있다. 예컨대, 분류 기술은 라이다 및/또는 연관된 컬러 픽셀들을 동일한 물체에 해당하는 것으로 식별할 수 있다. 분류는 인공 지능(AI) 보조 프로세서에서 수행할 수 있다. 이미지 처리 기술과 분류 기술을 단일 시스템에 결합시킬 수 있다.

Description

라이다 이미지의 처리
관련 출원의 교차 참조
본 출원은 2019년 9월 6일에 출원된 발명의 명칭이 "Processing Of Lidar Images"인 미국 임시 출원 62/897,122로부터 우선권을 주장하며 이의 PCT 출원이고, 이의 전체 내용은 모든 목적을 위해 본원에 원용되어 포함된다.
배경기술
광 검출 및 거리 측정(LIDAR: Light Detection And Ranging) 시스템은 예를 들어, 자동차, 트럭, 보트 등과 같은 차량을 위한 물체 검출 및 거리 측정을 위해 사용된다. 라이다(LIDAR) 시스템은 또한 모바일 애플리케이션(예를 들어, 얼굴 인식을 위해), 홈 엔터테인먼트(예를 들어, 비디오 게임 입력을 위한 제스처를 캡처하기 위해), 및 증강 현실에 사용된다. 라이다 시스템은 레이저로부터의 펄스로 경관(landscape)을 조사한 다음, 라이다 시스템의 수신기에 의해 측정되는 바와 같이, 광자들이 물체까지 이동하고 반사된 후에 돌아오는 시간을 측정함으로써 물체까지의 거리를 측정한다. 검출된 신호는, 배경 광 중에서 반사 신호 펄스의 존재를 검출하기 위해 분석된다. 물체까지의 거리는 펄스의 전송으로부터 해당하는 반사 펄스의 수신까지의 전파 시간(time-of-flight)에 기초하여 결정될 수 있다.
수 센티미터까지 낮추어진 강건한 거리 정확도(robust distance accuracy)를 모든 조건에서 제공한다는 것은, 특히 라이다 시스템의 경제적 비용 측면에서 어려울 수 있다. 주변 환경 전체, 특히 멀리 있는 물체에 대해 광범위한 정보를 제공하는 강건한 데이터(robust data)를 제공하는 것은 더 어려울 수 있다. 이러한 거리 물체에 대한 사전 지식을 얻는 것은 차량 내비게이션에 중요할 수 있다.
또한, 차량 내비게이션과 같은 애플리케이션에서, 깊이 정보(예를 들어, 환경 내의 물체까지의 거리)는 매우 유용하지만, 위험을 회피하고 안전하게 내비게이션하기에는 충분하지 않다. 또한, 특정 물체들, 예를 들어, 교통 신호, 차선 표시, 차량의 이동 경로와 교차할 수 있는 이동 물체 등을 식별하는 것 등이 필요하다. 그러나 3D 포인트 클라우드의 분석은 이러한 애플리케이션을 위해 실시간으로 수행되는 광범위한 계산 자원을 요구할 수 있다.
본 개시내용은 라이다 데이터를 분석하기 위한 시스템 및 방법을 제공한다. 예를 들어, 라이다 데이터는 이미지 처리가 이미지마다 적용될 수 있는 직선 이미지의 재구성을 허용하는 특정 방식으로 얻을 수 있다. 예컨대, 커널 기반 이미지 처리 기술을 사용할 수 있다. 이러한 처리 기술은 이웃하는 라이다 및/또는 연관된 컬러 픽셀을 사용하여 라이다 신호와 연관된 다양한 값을 조정할 수 있다. 라이다 및 컬러 픽셀에 대한 이러한 이미지 처리는 동일한 집적 회로에 있을 수 있는 전용 회로에 의해 수행될 수 있다.
일부 실시형태에서, 라이다 픽셀들은 서로 상관될 수 있다. 예컨대, 분류 기술은 라이다 및/또는 연관된 컬러 픽셀을 동일한 물체에 해당하는 것으로 식별할 수 있다. 분류는 인공 지능(AI) 보조 프로세서에서 수행할 수 있다. 이미지 처리 기술과 분류 기술을 단일 시스템에 결합시킬 수 있다.
본 개시내용의 이러한 그리고 다른 실시형태들이 아래에 상세히 설명된다. 예를 들어, 다른 실시형태들은 본원에 설명된 방법과 연관된 시스템, 장치, 및 컴퓨터 판독 가능 매체에 관한 것이다.
본 개시내용의 실시형태들의 특성 및 이점은 다음의 상세한 설명 및 첨부 도면을 참조하여 더 잘 이해할 수 있다.
도 1a 및 도 1b는 본 개시내용의 실시형태에 따른, 본원에서 또한 라이다 시스템으로 지칭되는 자동차 광 거리 측정 장치를 도시한다.
도 2는 다양한 실시형태를 구현하기 위한 예시적인 라이다 장치의 블록 다이어그램을 도시한다.
도 3은 실시형태에 의해 개선될 수 있는 일반적인 라이다 시스템의 동작을 예시한다.
도 4는 본 개시내용의 실시형태에 따른 광 거리 측정 시스템을 위한 광 전송 및 검출 과정의 예시적인 예를 도시한다.
도 5는 본 개시내용의 실시형태에 따른 센서 어레이 및 연관 전자장치의 다양한 단계를 도시한다.
도 6은 본 개시내용의 실시형태에 따른 히스토그램을 도시한다.
도 7은 본 개시내용의 실시형태에 따른 선택된 픽셀에 대한 다중 펄스 트레인에 대한 히스토그램의 누적을 도시한다.
도 8은 본 개시내용의 실시형태에 따른 정합 필터를 원시 히스토그램에 적용하기 위한 일련의 위치를 도시한다.
도 9는 본 개시내용의 다양한 실시형태에 따른 픽셀 센서로부터의 깊이 값이 할당된 파노라마 라이다 이미지를 예시한다.
도 10는 본 발명의 일 실시형태에 따른 센서 어레이의 단순화된 정면도를 도시한다.
도 11a 및 도 11b는 센서 어레이를 사용하는 스캐닝 시스템에서 포인팅 오류에 대한 가능성을 도시하는 단순화된 개념도이다.
도 12는 F tanθ 벌크 광학 모듈을 사용하는 이미징 시스템의 일 예를 예시한다.
도 13은 본 개시내용의 실시형태에 따라 히스토그램에서 신호를 식별하고 깊이 값의 직선 어레이를 형성하여 주기적으로 라이다 프레임을 생성하도록 구성된 제어기를 도시한다.
도 14는 본 개시내용의 실시형태에 따른 제어기 및 라이다 이미지 프로세서를 포함하는 광 거리 측정 시스템을 도시한다.
도 15는 본 개시내용의 실시형태에 따른 제어기 및 라이다 AI 보조 프로세서를 포함하는 광 거리 측정 시스템을 도시한다.
도 16은 본 개시내용의 실시형태에 따른 제어기, 라이다 이미지 프로세서, 및 라이다 AI 보조 프로세서를 포함하는 광 거리 측정 시스템을 도시한다.
도 17은 본 개시내용의 다양한 실시형태에 따른 모바일 장치에 설치된 광 거리 측정 시스템을 사용하여 거리 측정을 수행하기 위한 방법을 예시하는 흐름도이다.
도 18은 본 개시내용의 다양한 실시형태에 따른 모바일 장치에 설치된 광 거리 측정 시스템을 사용하여 거리 측정을 수행하는 방법을 예시하는 흐름도이다.
도 19는 모바일 장치에 설치된 광 거리 측정 시스템을 사용하여 거리 측정을 수행하는 방법을 예시하는 흐름도이다.
도 20은 본 개시내용의 다양한 실시형태에 따른 컬러 이미지를 보정하기 위한 방법을 예시하는 흐름도이다.
도 21은 본 발명의 실시형태에 따른 시스템 및 방법으로 사용 가능한 일례의 컴퓨터 시스템의 블록 다이어그램을 도시한다.
용어
용어 "거리 측정"은, 특히 주위 환경을 측정하거나 차량 동작을 보조하기 위한 방법 및 장치와 관련하여 사용될 때, 한 장소 또는 위치로부터 또 다른 장소 또는 위치까지의 거리 또는 거리 벡터를 결정하는 것을 지칭할 수 있다. "광 거리 측정"은 거리 측정 방법 또는 기능을 수행하기 위해 전자기파를 사용하는 한 유형의 거리 측정 방법을 지칭할 수 있다. 따라서, "광 거리 측정 장치"는 광 거리 측정 방법 또는 기능을 수행하기 위한 장치를 지칭할 수 있다. "라이다(Lidar)" 또는 "라이다(LIDAR)"는 펄스 레이저 광으로 타겟을 조사한 후 센서로 반사 펄스를 측정함으로써 표적까지의 거리를 측정하는 한 유형의 광 거리 측정 방법을 지칭할 수 있다. 따라서, "라이다 장치" 또는 "라이다 시스템"은 라이다 방법 또는 기능을 수행하기 위한 한 유형의 광 거리 측정 장치를 지칭할 수 있다. "광 거리 측정 시스템"은 적어도 하나의 광 거리 측정 장치, 예를 들어 라이다 장치를 포함하는 시스템을 지칭할 수 있다. 시스템은 다양한 배열의 하나 이상의 다른 장치 또는 구성요소를 더 포함할 수 있다.
"펄스 트레인(pulse train)"은 함께 전송되는 하나 이상의 펄스를 지칭할 수 있다. 펄스 트레인의 방출 및 검출은 "샷(shot)"이라고 지칭될 수 있다. 샷은 "검출 시간 간격"(또는 "검출 간격")에 걸쳐 발생할 수 있다.
"측정"은 각각이 검출 시간 간격동안 지속되는 N개의 샷에 걸쳐 방출되고 검출되는 N개의 다중 펄스 트레인을 포함할 수 있다. 전체 측정은 측정 시간 간격(또는 단순히 "측정 간격")에 걸쳐 있을 수 있으며, 이는 어느 하나의 측정의 N개의 검출 간격과 같거나, 예를 들어 검출 간격 사이에 일시 중지가 발생하는 경우, 더 길 수 있다.
"광센서(photosensor)"는 광을 전기 신호로 변환할 수 있다. 광센서는 복수의 "광검출기(photodetector)", 예를 들어 단일 광자 애벌란시 다이오드(SPAD)를 포함할 수 있다. 광센서는 거리 측정 측정에서 특정 분해능의 픽셀에 해당할 수 있다.
"히스토그램"은 시간 경과에 따른 일련의 값을 나타내는 임의의 데이터 구조를 지칭할 수 있으며, 시간 빈(time bin)들에 걸쳐 이산화될 수 있다. 히스토그램은 각 시간 빈에 할당된 값을 가질 수 있다. 예를 들어, 히스토그램은 하나 이상의 검출 간격 각각에서 특정 시간 빈 동안 발사된 다수의 광검출기의 카운터를 저장할 수 있다. 또 다른 예로서, 히스토그램은 상이한 시간에서의 아날로그 신호의 디지털화에 해당할 수 있다. 히스토그램은 신호(예를 들어, 펄스) 및 잡음을 포함할 수 있다. 따라서, 히스토그램은 광자 시계열 또는 광자 플럭스로서 신호와 잡음의 조합으로 간주될 수 있다. 원시/디지털화 히스토그램(또는 누적 광자 시계열)은 필터링 없이 메모리에 디지털화된 신호 및 잡음을 포함할 수 있다. "필터링된 히스토그램"은 원시 히스토그램이 필터를 통과한 후의 출력을 지칭할 수 있다.
방출된 신호/펄스는 왜곡되지 않은, "공칭의", "이상적인", 또는 "템플릿" 펄스 또는 펄스 트레인을 지칭할 수 있다. 반사된 신호/펄스는 물체로부터 반사된 레이저 펄스를 지칭할 수 있고 왜곡될 수 있다. 디지털화 신호/펄스(또는 원시 신호)는 메모리에 저장된 바와 같은 검출 간격의 하나 이상의 펄스 트레인의 검출에서 디지털화된 결과를 지칭할 수 있고, 따라서 히스토그램의 일부와 동등할 수 있다. 검출된 신호/펄스는 신호가 검출된 메모리에서의 위치를 지칭할 수 있다. 검출된 펄스 트레인은 정합 필터에 의해 발견된 실제 펄스 트레인을 지칭할 수 있다. 예상 신호 프로파일은 반사된 신호에서 특정 왜곡을 갖는 특정 방출 신호로부터 발생하는 디지털화 신호의 형태를 지칭할 수 있다.
라이다 이미지는 라이다 픽셀의 직선 그리드로 구성된 2차원(2D) 이미지를 형성할 수 있다. 행과 열의 개수는 한 이미지에서 또 다른 이미지로 재현할 수 있으므로, 한 세트의 이미지들은 동일한 수의 라이다 픽셀 행과 열을 갖는다. 한 예로, 라이다(깊이) 픽셀은 깊이 값, 피크 값(또한 신호 값이라고도 함) 및 잡음 값의 세 가지 값을 가질 수 있다. 일련의 라이다 이미지는 함께 재생 및/또는 분석할 수 있는 한 세트의 프레임들로 수집될 수 있다. 3차원 위치는 2D 이미지에서 픽셀의 행과 열 및 깊이 값에 기초하여 라이다 픽셀에 대해 정의될 수 있다.
상세한 설명
본 개시내용은 라이다 데이터를 분석하기 위한 시스템 및 방법을 제공한다. 예를 들어, 라이다 데이터는 이미지 처리가 이미지마다 적용될 수 있는 직선 이미지의 재구성을 허용하는 특정 방식으로 얻을 수 있다. 센서 ID(광 거리 측정 장치의 위치 정보를 가질 수 있음)는 이미지마다 라이다 픽셀에 대한 신호의 일관된 매핑을 가능하게 한다.
이미지 처리를 위해, 이미지에 커널 기반 이미지 처리 기술을 사용할 수 있다. 이러한 처리 기술은 반사 펄스를 검출하기 위해 사용될 수 있는 깊이 값, 피크 값 및 검출 임계값과 같은 라이다 신호와 연관된 다양한 값을 조정하기 위해 이웃하는 라이다 및/또는 연관된 컬러 픽셀을 사용할 수 있다. 라이다 및 컬러 픽셀에 대한 이러한 이미지 처리는 동일한 집적 회로에 있을 수 있는 전용 회로에 의해 수행될 수 있다.
일부 실시형태에서, 라이다 픽셀들은 서로 상관될 수 있다. 예컨대, 분류 기술은 라이다 및/또는 연관된 컬러 픽셀을 동일한 물체에 해당하는 것으로 식별할 수 있다. 분류는 인공 지능(AI) 보조 프로세서에서 수행할 수 있다. 이미지 처리 기술과 분류 기술을 단일 시스템에 결합시킬 수 있다. 추가의 예는 예를 들어 이미지 등록 또는 속도의 결정을 위해 물체의 핵심 포인트를 감지할 수 있다.
I. 예시적인 자동차 라이다 시스템
도 1a 및 도 1b는 일부 실시형태에 따른, 본원에서 또한 라이다 시스템으로 지칭되는 자동차 광 거리 측정 장치를 도시한다. 라이다 시스템을 위한 자동차 애플리케이션은 본원에서 단지 설명을 위해 선택되었으며, 본원에 설명된 센서는 다른 유형의 차량, 예를 들어 보트, 항공기, 기차 등등뿐만 아니라, 의료 영상, 이동 전화, 증강 현실, 측지학, 지형학, 고고학, 지리학, 지질학, 지형학, 지진학, 임업, 대기 물리학, 레이저 유도, 항공 레이저 스와스 매핑(ALSM), 및 레이저 고도측정과 같이 3D 깊이 이미지가 유용한 다양한 다른 애플리케이션에 이용될 수 있다. 일부 실시형태에 따르면, 라이다 시스템, 예를 들어 스캐닝 라이다 시스템(101) 및/또는 솔리드 스테이트 라이다 시스템(103)은 도 1a 및 도 1b에 도시된 바와 같이 차량(105)의 지붕에 장착될 수 있다.
도 1a에 도시된 스캐닝 라이다 시스템(101)은 라이다 광원(107) 및/또는 검출기 회로(109)의 방향이 차량(105) 외부에 있는 외부 필드 또는 장면 내의 하나 이상의 시야(110) 주위에서 스캐닝될 수 있는 스캐닝 아키텍처를 이용할 수 있다. 스캐닝 아키텍처의 경우, 방출된 광(111)은 도시된 바와 같이 주변 환경에 걸쳐 스캐닝될 수 있다. 예를 들어, 라이다 시스템(101)에 위치된 하나 이상의 광원(예컨대, 적외선 또는 근적외선 펄스 IR 레이저, 도시되지 않음)의 출력 빔(들)은 차량 주위의 장면을 조사하기 위해 스캐닝, 예를 들어 회전될 수 있다. 일부 실시형태에서, 회전 화살표(115)로 나타나는 스캐닝은, 예를 들어, 광 방출기를 회전 기둥 또는 플랫폼에 장착함으로써, 기계적 수단에 의해 구현될 수 있다. 일부 실시형태에서, 스캐닝은 검류계의 사용과 같은 다른 기계적 수단을 통해 구현될 수 있다. 칩 기반 조향 기술은 또한, 예를 들어, 디지털 마이크로미러(DMD: digital micromirror) 디바이스, 디지털 광 프로세싱(DLP: digital light processing) 디바이스 등과 같은 하나 이상의 MEMS 기반 반사기를 이용하는 마이크로칩을 사용함으로써 이용될 수 있다. 일부 실시형태에서, 스캐닝은 예를 들어, 하나 이상의 광학 위상 어레이를 조향하기 위해 전자 신호를 사용함으로써, 비기계적 수단을 통해 실시될 수 있다.
도 1b에 도시된 솔리드 스테이트 라이다 시스템(103)과 같은 고정식 아키텍처의 경우, 하나 이상의 솔리드 스테이트 라이다 서브시스템(예를 들어, 103a 및 103b)이 차량(105)에 장착될 수 있다. 각각의 솔리드 스테이트 라이다 유닛은 (가능하게는 유닛들 사이의 부분적으로 중첩되는 그리고/또는 중첩되지 않는 시야로) 상이한 방향을 향할 수 있어서, 각각의 유닛이 자체적으로 캡처할 수 있는 것보다 큰 복합 시야를 캡처할 수 있다.
스캐닝 또는 고정식 아키텍처에서, 장면 내의 물체는 라이다 광원에서 방출되는 광 펄스의 일부를 반사할 수 있다. 그 다음, 하나 이상의 반사된 부분은 다시 라이다 시스템으로 이동하고, 검출기 회로부에 의해 검출될 수 있다. 예를 들어, 반사된 부분(117)은 검출기 회로(109)에 의해 검출될 수 있다. 검출기 회로는 방출기와 동일한 하우징에 배치될 수 있다. 스캐닝 시스템 및 고정식 시스템의 양태는 상호 배타적이지 않으므로 조합하여 사용될 수 있다. 예를 들어, 도 1b의 개별 라이다 서브시스템(103a 및 103b)이 광학 위상 어레이와 같은 조향 가능한 방출기를 이용할 수 있거나 전체 복합 유닛이 기계적인 수단을 통해 회전함으로써, 라이다 시스템 전방의 전체 장면을, 예를 들어 시야(119)에서 시야(121)까지 스캐닝할 수 있다.
도 2는 일부 실시형태에 따른 회전식 라이다 시스템(200)의 더 상세한 블록 다이어그램을 예시한다. 보다 구체적으로, 도 2는 고정식 회로 기판으로부터 전력 및 데이터를 수신(이뿐만 아니라 전송도)할 수 있는, 회전식 회로 기판 상에 회전 액추에이터를 이용할 수 있는 회전식 라이다 시스템을 선택적으로 예시한다.
라이다 시스템(200)은 사용자 인터페이스(215)의 하나 이상의 인스턴스화(instantiation)와 상호 작용할 수 있다. 사용자 인터페이스(215)의 상이한 인스턴스화는 달라질 수 있으며, 예를 들어 모니터, 키보드, 마우스, CPU 및 메모리를 갖는 컴퓨터 시스템; 자동차의 터치 스크린; 터치 스크린을 갖는 휴대용 기기; 또는 임의의 다른 적절한 사용자 인터페이스를 포함할 수 있다. 사용자 인터페이스(215)는 라이다 시스템(200)이 장착되는 물체에 로컬로 위치할 수 있지만 원격으로 작동되는 시스템일 수도 있다. 예를 들어, 라이다 시스템(200)으로의/으로부터의 명령 및 데이터는 셀룰러 네트워크(LTE 등), 개인 영역 네트워크(블루투스, 지그비 등), 로컬 영역 네트워크(WiFi, IR 등), 또는 인터넷과 같은 광역 네트워크를 통해 라우팅될 수 있다.
하드웨어 및 소프트웨어의 사용자 인터페이스(215)는 장치로부터 사용자에게 라이다 데이터를 제공할 수 있지만, 또한 사용자로 하여금 하나 이상의 명령으로 라이다 시스템(200)을 제어하게 할 수 있다. 예시적인 명령은 라이다 시스템을 활성화 또는 비활성화하고, 광검출기 노출 레벨, 바이어스, 샘플링 지속 기간 및 다른 작동 파라미터(예를 들어, 방출된 펄스 패턴 및 신호 처리)를 특정하고, 밝기와 같은 광 방출기 파라미터를 특정하는 명령을 포함할 수 있다. 또한, 명령은 사용자가 결과를 표시하기 위한 방법을 선택하게 할 수 있다. 사용자 인터페이스는 예를 들어 단일 프레임 스냅샷 이미지, 지속적으로 업데이트된 비디오 이미지, 및/또는 일부 또는 모든 픽셀에 대한 다른 광 측정의 디스플레이를 포함할 수 있는 라이다 시스템 결과를 표시할 수 있다. 일부 실시형태에서, 사용자 인터페이스(215)는 차량으로부터의 물체들의 거리(근접성)를 추적하고, 잠재적으로 운전자에게 경보를 제공하거나 운전자의 수행 분석을 위해 이러한 추적 정보를 제공할 수 있다.
일부 실시형태에서, 라이다 시스템은 차량 제어 유닛(217)과 통신할 수 있고, 차량의 제어와 연관된 하나 이상의 파라미터가 수신된 라이다 데이터에 기초하여 수정될 수 있다. 예를 들어, 완전 자율 주행 차량에서, 라이다 시스템은 차를 둘러싼 환경의 실시간 3D 이미지를 제공하여 내비게이션을 지원할 수 있다. 다른 경우에, 라이다 시스템은, 예를 들어 임의의 개수의 상이한 시스템에, 예를 들어 적응형 크루즈 컨트롤, 자동 주차, 운전자 졸림 모니터링, 블라인드 스팟 모니터링, 충돌 방지 시스템 등에 3D 이미지 데이터를 제공할 수 있는 안전 시스템의 일부로서 또는 첨단 운전자 보조 시스템(ADAS)의 일부로서 이용될 수 있다. 차량 제어 유닛(217)이 광 거리 측정 장치(210)와 통신 가능하게 결합될 때, 운전자에게 경보를 제공하거나 물체의 근접성의 추적이 이루어질 수 있다.
도 2에 도시된 라이다 시스템(200)은 광 거리 측정 장치(210)를 포함한다. 광 거리 측정 장치(210)는 거리 측정 시스템 제어기(250), 광 전송(Tx) 모듈(240) 및 광 감지(Rx) 모듈(230)을 포함한다. 거리 측정 데이터는, 광 전송 모듈(240)로부터 하나 이상의 광 펄스(249)를 광 거리 측정 장치 주변의 시야 내의 물체로 전송함으로써, 광 거리 측정 장치에 의해 생성될 수 있다. 전송된 광의 반사 부분(239)은 약간의 지연 시간 후에 광 감지 모듈(230)에 의해 검출된다. 지연 시간에 기초하여, 반사 표면까지의 거리를 결정할 수 있다. 예를 들어, 연속파, 도플러 등과 같은 다른 거리 측정 방법도 이용할 수 있다.
Tx 모듈(240)은 방출기들의 1차원 또는 2차원 어레이일 수 있는 방출기 어레이(242), 및 함께 취해질 때 마이크로 광학 방출기 채널들의 어레이를 형성할 수 있는 Tx 광학 시스템(244)을 포함한다. 방출기 어레이(242) 또는 개별 방출기는 레이저 소스의 예이다. Tx 모듈(240)은 프로세서(245) 및 메모리(246)를 더 포함한다. 일부 실시형태에서, 펄스 코딩 기술, 예를 들어 바커 코드(Barker codes) 등을 사용할 수 있다. 그러한 경우에, 메모리(246)는 광이 언제 전송되어야 하는지를 나타내는 펄스 코드들을 저장할 수 있다. 일 실시형태에서, 펄스 코드들은 메모리에 저장된 정수들의 시퀀스로서 저장된다.
Rx 모듈(230)은 예를 들어, 광센서들의 1차원 또는 2차원 어레이일 수 있는 센서 어레이(236)를 포함할 수 있다. 각 광센서 또는 감광 요소(또한 센서라고 함)는 광검출기들의 집합, 예를 들어 APD 등을 포함할 수 있거나 센서는 단일 광자 검출기(예를 들어, SPAD)일 수 있다. Tx 모듈(240)과 마찬가지로, Rx 모듈(230)도 Rx 광학 시스템(237)을 포함한다. Rx 광학 시스템(237)과 센서 어레이(236)는 함께 구성되어 마이크로 광학 수신기 채널의 어레이를 형성할 수 있다. 각각의 마이크로 광학 수신기 채널은 주변 공간(volume)의 별개의 시야의 이미지 픽셀에 해당하는 광을 측정한다. 센서 어레이(236)의 각 센서(예를 들어, SPAD들의 집합)는 예를 들어, 광 감지 모듈(230) 및 광 전송 모듈(240)의 기하학적 구성의 결과로서 방출기 어레이(242)의 특정 방출기에 해당할 수 있다.
일 실시형태에서, Rx 모듈(230)의 센서 어레이(236)는, 광자 검출기들의 어레이 및 어레이 내의 개별 광자 검출기들(또는 검출기들의 그룹들)로부터 원시 히스토그램을 신호 처리하기 위한 ASIC(231) 모두를 포함하는 (예를 들어, CMOS 기술을 이용한) 단일 기판 상의 모놀리식 디바이스의 일부로서 제조된다. 신호 처리의 한 예로서, 각각의 광자 검출기 또는 광자 검출기들의 그룹에 대해, ASIC(231)의 메모리(234)(예를 들어, SRAM)는 연속적인 시간 빈에 걸쳐 검출된 광자의 카운트를 누적할 수 있고, 함께 고려된 이들 시간 빈은 반사된 광 펄스의 시계열(즉, 광자들의 카운트 대 시간)을 재생성하는 데 사용될 수 있다. 집계된 광자 수의 이러한 시계열은 본원에서 강도 히스토그램(또는 단지 히스토그램)으로 지칭된다. ASIC(231)은 정합 필터 및 피크 검출 처리를 구현하여 시간적으로 리턴 신호를 식별할 수 있다. 또한, ASIC(231)은 멀티 프로파일 정합 필터링과 같은 특정 신호 처리 기술을 (예를 들어, 신호 프로세서(238)에 의해) 달성하여 SPAD 포화 및 소광(quenching)으로 인해 발생할 수 있는 펄스 형태 왜곡에 덜 민감한 광자 시계열을 복구하는 데 도움을 줄 수 있다. 일부 실시형태에서, 이러한 필터링의 전부 또는 일부는 FPGA로 구현될 수 있는 프로세서(258)에 의해 수행될 수 있다. 일부 예에서, 신호 프로세서(238) 및 메모리(234)는 거리 측정 회로의 일부로 간주될 수 있다. 예를 들어, 신호 프로세서(238)는 범위(깊이) 값에 해당하는 피크를 검출하는 데 사용될 수 있는, 히스토그램을 형성하기 위해 측정 동안 광자를 검출하는 광검출기를 카운트할 수 있다.
일부 실시형태에서, Rx 광학 시스템(237)은 또한 ASIC과 동일한 모놀리식 구조의 일부일 수 있으며, 각 수신기 채널 층에 대해 별도의 기판 층을 가질 수 있다. 예를 들어, 개구 층, 시준 렌즈 층, 광학 필터 층 및 광자 검출기 층은 다이싱 전에 웨이퍼 레벨에서 적층 및 접합될 수 있다. 개구 층은 투명 기판의 상부에 불투명 기판을 배치하거나 투명 필름을 불투명 필름으로 코팅함으로써 형성될 수 있다. 또 다른 실시형태에서, Rx 모듈(230)의 하나 이상의 구성 요소는 모놀리식 구조의 외부에 있을 수 있다. 예를 들어, 개구 층은 핀-홀(pin-hole)들을 갖는 별도의 금속 시트로서 구현될 수 있다.
일부 실시형태에서, ASIC으로부터 출력된 광자 시계열은 추가 처리를 위해 거리 측정 시스템 제어기(250)로 전송되는데, 예를 들어, 데이터는 거리 측정 시스템 제어기(250)의 하나 이상의 인코더에 의해 인코딩된 다음, 데이터 패킷으로서 사용자 인터페이스(215)로 전송될 수 있다. 거리 측정 시스템 제어기(250)는 예를 들어, FPGA와 같은 프로그램 가능 논리 디바이스를 ASIC 또는 ASIC의 일부로서 사용함으로써, 메모리(254)를 갖는 프로세서(258)를 사용함으로써, 그리고 이상의 일부 조합을 포함하는 다양한 방식으로 구현될 수 있다. 거리 측정 시스템 제어기(250)는 고정식 베이스 제어기와 함께 작동하거나, (미리 프로그램된 명령을 통해) 베이스 제어기에 독립적으로 작동하여, 광 검출의 시작 및 정지와 광검출기 파라미터의 조정을 포함하는 명령을 전송함으로써 광 감지 모듈(230)을 제어할 수 있다. 유사하게, 거리 측정 시스템 제어기(250)는 다른 광 방출기 파라미터(예를 들어, 펄스 코드)를 조정할 수 있는 제어 및 광 방출 제어의 시작 및 정지를 포함하는 명령을 전송하거나, 베이스 제어기로부터 명령을 중계함으로써 광 전송 모듈(240)을 제어할 수 있다. 일부 실시형태에서, 거리 측정 시스템 제어기(250)는 광 감지 모듈(230) 및 광 전송 모듈(240)과 데이터를 교환하기 위한 하나 이상의 유선 인터페이스 또는 커넥터를 갖는다. 다른 실시형태에서, 거리 측정 시스템 제어기(250)는 광 통신 링크와 같은 무선 인터커넥트를 통해 광 감지 모듈(230) 및 광 전송 모듈(240)과 통신한다.
전기 모터(260)는 시스템 구성요소, 예를 들어, Tx 모듈(240) 및 Rx 모듈(230)이 회전할 필요가 있을 때 필요한 선택적인 구성요소일 수 있다. 시스템 제어기(250)는 전기 모터(260)를 제어하여, 회전을 시작하고, 회전을 정지하며 회전 속도를 변경할 수 있다.
광 거리 측정 장치(210)는 라이다 이미지 프로세서 및 AI 보조 프로세서를 더 포함할 수 있다. 스캐닝 시스템의 경우, 광 거리 측정 장치(210)는 예를 들어 소정 사이클(예를 들어, 360˚ 회전)에 걸쳐 이루어진 측정으로부터 2D 이미지를 생성할 수 있는 이미지 재구성 프로세서를 포함할 수 있다. 이러한 이미지 재구성 프로세서(예를 들어, 거리 측정 시스템 제어기(250))는 매핑 테이블/함수에 따라 수신 데이터를 버퍼링하고 라이다 픽셀을 이미지의 픽셀에 할당함으로써 이미지를 재구성할 수 있다. 이미지는 라이다 픽셀이 이미 존재하지만 이미지, 예를 들어 한 이미지에서 또 다른 이미지로 해상도가 일관된 직선 이미지를 형성하도록 배열되도록 구성될 수 있다. 다른 프로세서는 재구성된 이미지를 사용하여 최종 처리된 이미지를 제공하거나 다른 데이터를 제공할 수 있다. 이들 프로세서, 거리 측정 시스템 제어기(250), 광 감지 모듈(230), 및 광 전송 모듈(240)은 동일하거나 다양한 집적 회로 상에 있을 수 있다.
II. 반사 펄스의 검출
반사된 펄스를 검출하기 위해 광센서들이 다양한 방식으로 배열될 수 있다. 예를 들어, 광센서들은 어레이로 배열될 수 있고, 각각의 광센서는 광검출기들(예를 들어, SPAD들)의 어레이를 포함할 수 있다. 검출 간격 동안 전송되는 상이한 패턴의 펄스들(펄스 트레인들)도 아래에 설명되어 있다.
A. 전파 시간 측정 및 검출기
도 3은 일부 실시형태에 의해 개선될 수 있는 전형적인 라이다 시스템의 동작을 예시한다. 레이저는 짧은 지속 시간의 광 펄스(310)를 생성한다. 가로축은 시간을 나타내고, 세로축은 전력을 나타낸다. 반치전폭(FWHM: full-width half maximum)을 특징으로 하는 예시적인 레이저 펄스 지속 시간은 수 나노초이며, 단일 방출기의 피크 전력은 대략 수 와트이다. 측면 방출기 레이저 또는 광섬유 레이저를 사용하는 실시형태들은 훨씬 더 높은 피크 전력을 가질 수 있는 반면, 작은 직경의 VCSEL을 갖는 실시형태들은 수십 밀리와트에서 수백 밀리와트의 피크 전력을 가질 수 있다.
펄스의 전송을 위한 시작 시간(315)은 펄스의 리딩 에지와 일치할 필요가 없다. 도시된 바와 같이, 광 펄스(310)의 리딩 에지는 시작 시간(315) 이후일 수 있다. 예를 들어 코딩된 펄스들에 대해, 상이한 패턴의 펄스가 상이한 시간에 전송되는 상황에서 리딩 에지가 상이한 것을 원할 수 있다.
광학 수신기 시스템은 레이저가 시작될 때와 동시에, 즉 시작 시간에, 수신된 광을 검출하기 시작할 수 있다. 다른 실시형태에서, 광학 수신기 시스템은 펄스에 대한 시작 시간 이후의 소정의 시간인 나중에 시작될 수 있다. 광학 수신기 시스템은 초기에 배경 광(330)을 검출하고 얼마 후 레이저 펄스 반사(320)를 검출한다. 광학 수신기 시스템은 레이저 펄스 반사(320)를 식별하기 위해 검출된 광 강도를 임계값과 비교할 수 있다. 검출 임계값은 배경 광(330)을 레이저 펄스 반사(320)에 해당하는 광과 구별할 수 있다.
전파 시간(340)은 전송되는 펄스와 수신되는 펄스 간의 시간 차이이다. 시간 차이는 레이저 펄스 반사(320)의 수신 시간(예를 들어, 시작 시간과 관련해서 측정됨)으로부터 펄스의 전송 시간(예를 들어, 또한 시작 시간과 관련해서 측정됨)을 차감함으로써 측정될 수 있다. 표적까지의 거리는 전파 시간과 광의 속도의 곱의 절반으로 결정될 수 있다. 레이저 장치로부터의 펄스들은 상이한 시간에 장면 내의 물체들로부터 반사되며, 픽셀 어레이는 방사 반사의 펄스들을 검출한다.
B. 어레이 레이저들 및 광센서들의 어레이를 사용한 물체들의 검출
도 4는 일부 실시형태에 따른 광 거리 측정 시스템을 위한 광 전송 및 검출 과정의 예시적인 예를 도시한다. 도 4는 시스템을 둘러싸는 체적 또는 장면의 3차원 거리 데이터를 수집하는 광 거리 측정 시스템(예를 들어, 솔리드 스테이트 및/또는 스캐닝)을 도시한다. 도 4는 방출기와 센서 사이의 관계를 강조하기 위한 이상적인 도면이고, 따라서 다른 구성요소는 도시되지 않는다.
광 거리 측정 시스템(400)은 광 방출기 어레이(402) 및 광 센서 어레이(404)를 포함한다. 광 방출기 어레이(402)는 광 방출기들의 어레이, 예를 들어 방출기(403) 및 방출기(409)와 같은 VCSEL들의 어레이 등을 포함한다. 광 센서 어레이(404)는 광센서들, 예를 들어 센서들(413 및 415)의 어레이를 포함한다. 광센서는 각각의 픽셀에 대해 단일 광자 애벌란시 다이오드(SPAD) 등과 같은 한 세트의 이산된 광검출기들을 이용하는 픽셀화된 광 센서일 수 있다. 그러나, 다양한 실시형태는 임의의 유형의 광자 센서들을 배치할 수 있다.
각각의 방출기는 그 이웃으로부터 약간 오프셋될 수 있고, 광 펄스들을 그와 이웃하는 방출기들로부터 상이한 시야 내로 전송하도록 구성될 수 있으며, 그에 의해 단지 그 방출기와 연관된 각각의 시야를 조사할 수 있다. 예를 들어, 방출기(403)는 (하나 이상의 광 펄스로 형성된) 조사 빔(405)을 원형 시야(407)(이의 크기는 명확성을 위해 과장됨) 내로 방출한다. 마찬가지로, 방출기(409)는 원형 시야(410) 내로 조사 빔(406)(또한 방출기 채널이라고 함)을 방출한다. 복잡함을 피하기 위해 도 4에는 도시되지 않았지만, 각각의 방출기는 해당하는 조사 빔을 그 해당하는 시야로 방출하여, 결과적으로 시야들의 2D 어레이(이 예에서는 21개의 별개의 시야)가 조사된다.
방출기에 의해 조사되는 각각의 시야는 거리 측정 데이터로부터 생성되는 해당 3D 이미지 내의 픽셀 또는 스팟으로 생각될 수 있다. 각각의 방출기 채널은 각각의 방출기에 대해 구별되고 다른 방출기 채널들과 중첩되지 않을 수 있는데, 즉, 방출기들의 세트와 중첩되지 않은 시야들의 세트 사이에는 일대일 매핑이 존재한다. 따라서, 도 4의 예에서, 시스템은 3D 공간에서 21개의 별개의 포인트를 샘플링할 수 있다. 하나의 방출기가 공간 내의 여러 포인트를 샘플링할 수 있도록 시간 경과에 따라 방출기 빔의 각도 위치를 스캐닝함으로써 또는 더 밀집된 방출기 어레이를 가짐으로써 더 밀집된 포인트 샘플링을 달성할 수 있다. 전술한 바와 같이, 스캐닝은 전체 방출기/센서 어셈블리를 회전시킴으로써 달성될 수 있다.
각 센서는 그 이웃 센서로부터 약간 오프셋될 수 있으며, 전술한 방출기와 같이, 각 센서는 센서 전방의 장면의 다른 시야를 볼 수 있다. 또한, 각각의 센서의 시야는 각각의 방출기 채널의 시야와 실질적으로 일치하는데, 예를 들면 그와 중첩되고 동일한 크기이다.
도 4에서, 해당하는 방출기-센서 채널들 사이의 거리는 시야 내의 물체까지의 거리에 비해 과장되어 있다. 실제로, 시야의 물체까지의 거리는 해당하는 방출기-센서 채널 사이의 거리보다 훨씬 크므로, 방출기로부터 물체로의 광의 경로는 물체로부터 센서까지 돌아오는 반사 광의 경로와 대략 평행하다(즉, 거의 "후방 반사된다"). 따라서, 시스템(400) 전방에는 개별적인 센서와 방출기의 시야가 중첩되는 거리의 범위가 존재한다.
방출기들의 시야는 그들 각각의 센서들의 시야와 중첩되기 때문에, 각각의 센서 채널은 이상적으로 크로스토크 없이, 즉 다른 조사 빔으로부터 반사된 광이 검출되지 않는, 각각의 방출기 채널로부터 발생하는 반사된 조사 빔을 이상적으로 검출할 수 있다. 따라서, 각각의 광센서는 각각의 광원에 해당할 수 있다. 예를 들어, 방출기(403)는 원형 시야(407) 내로 조사 빔(405)을 방출하고 조사 빔 중 일부는 물체(408)로부터 반사된다. 이상적으로, 반사 빔(411)은 센서(413)에 의해서만 검출된다. 따라서, 방출기(403)와 센서(413)는 동일한 시야, 예를 들어 시야(407)를 공유하며, 방출기-센서 쌍을 형성한다. 마찬가지로, 방출기(409)와 센서(415)는 시야(410)를 공유하는 방출기-센서 쌍을 형성한다. 방출기-센서 쌍은 도 4에서는 그 각각의 어레이에서 동일한 상대 위치에 있는 것으로 도시되어 있지만, 임의의 방출기는 시스템에 사용된 광학 장치의 설계에 따라 임의의 센서와 쌍을 이룰 수 있다.
거리 측정 동안, 라이다 시스템을 둘러싸는 체적 주위에 분포된 상이한 시야로부터의 반사된 광은 다양한 센서에 의해 수집되고 처리되어, 각각의 시야 내의 임의의 물체에 대한 범위 정보를 생성한다. 상술한 바와 같이, 광 방출기가 정확하게 타이밍된 펄스를 방출하는 전파 시간(time-of-flight) 기술이 사용될 수 있고, 펄스의 반사는 어느 정도의 시간 경과 후에 각각의 센서에 의해 검출된다. 그 다음, 방출과 검출 사이의 경과 시간 및 알려진 광의 속도를 사용하여 반사 표면까지의 거리를 계산한다. 일부 실시형태에서, 센서에 의해 추가적인 정보를 얻어 해당 범위에 추가하여 반사 표면의 다른 특성을 결정할 수 있다. 예를 들어, 펄스의 도플러 시프트가 센서에 의해 측정되어, 센서와 반사 표면 사이의 상대 속도를 계산하는 데 사용될 수 있다. 펄스 강도를 사용하여 표적 반사율을 추정할 수 있고, 펄스 형상을 사용하여 표적이 경질 또는 확산 물질인지를 결정할 수 있다.
일부 실시형태에서, 라이다 시스템은 방출기 및 센서 채널들의 비교적 큰 2D 어레이로 구성될 수 있고, 솔리드 스테이트 라이다로서 동작할 수 있는데, 즉, 방출기 및/또는 센서의 방향을 스캔할 필요 없이 범위 데이터의 프레임을 얻을 수 있다. 다른 실시형태에서, 방출기 및 센서는 스캐닝되어, 예를 들어 축을 중심으로 회전하여, 방출기들 및 센서들의 세트의 시야가 주위 체적의 전체 360도 영역(또는 360도 영역의 일부 유용한 부분)을 샘플링하도록 보장할 수 있다. 그 다음, 예를 들어 어떤 미리 정의된 기간에 걸쳐, 스캐닝 시스템으로부터 수집된 범위 데이터는 데이터의 하나 이상의 프레임으로 후처리된 다음, 하나 이상의 깊이 이미지 또는 3D 포인트 클라우드로 추가 처리될 수 있다. 깊이 이미지 및/또는 3D 포인트 클라우드는 3D 맵핑 및 내비게이션 애플리케이션에 사용하기 위해 맵 타일로 추가 처리될 수 있다.
C. 각 광센서의 다수의 광검출기
도 5는 본 발명의 실시형태에 따른 센서 어레이 및 연관 전자장치의 다양한 단계를 도시한다. 어레이(510)는 각각 상이한 픽셀에 해당하는 광센서들(515)(또한 픽셀 센서라고 함)을 나타낸다. 어레이(510)는 엇갈린 배치 형태 어레이일 수 있다. 이러한 특정 예에서, 어레이(510)는 18x4 광센서이다. 어레이(510)는 해당 구현이 스위핑에 적합하기 때문에 고해상도(예를 들어, 72x1024)를 달성하는 데 사용될 수 있다.
어레이(520)는 어레이(510)의 일 부분의 확대도를 도시한다. 알 수 있는 바와 같이, 각각의 광센서(515)는 복수의 광 검출기(525)로 구성된다. 픽셀의 광검출기로부터의 신호는 집합적으로 해당 픽셀에 대한 측정에 기여한다. 도시된 바와 같이, 어레이(510)의 광센서들(515)은 엇갈리게 배치될 수 있고, 결과적으로 엇갈린 배치 형태 어레이가 된다. 어레이(510)가 한 번에 하나의 열에 대응하는 증분 단계로 (예를 들어, 회전과 같은 움직임, 또는 움직이는 거울의 사용에 의해) 스캔함에 따라, 광센서(515)는 행의 개수 곱하기 열의 개수의 수직 해상도를 제공한다. 엇갈린 배치 형태 어레이는 광센서가 동일한 수직 해상도에 대해 포함될 수 있는 것보다 더 많은 광검출기(525)를 포함할 수 있게 한다.
일부 실시형태에서, 각각의 픽셀은 픽셀 자체의 동적 범위를 증가시키는 다수의 단일 광자 애벌란시 다이오드(SPAD) 유닛을 갖는다. 각각의 SPAD는 바이어스, 소광 및 재충전을 위한 아날로그 전단 회로를 가질 수 있다. SPAD는 일반적으로 항복 전압 이상의 바이어스 전압으로 바이어스된다. 적합한 회로는 애벌란시 전류의 리딩 에지를 감지하고, 애벌란시 빌드업과 동기화된 표준 출력 펄스를 생성하며, 항복 전압 미만으로 바이어스를 낮춤으로써 애벌란시를 소광시키고, 광다이오드를 동작 레벨로 복원한다.
SPAD는 로컬 영역에서 충전율(fill factor)를 최대화하도록 위치되거나 마이크로렌즈 어레이가 사용될 수 있으며, 이는 픽셀 레벨에서 높은 광학적 충전율을 허용한다. 따라서, 이미지 픽셀은 픽셀 검출기의 효율을 증가시키기 위해 SPAD들의 어레이를 포함할 수 있다. 개구를 통과하여 마이크로 렌즈에 의해 시준된 광선을 확산시키기 위해 확산기가 사용될 수 있다. 캔 확산기는 동일한 픽셀에 속하는 모든 SPAD가 일부 방사를 수신하는 방식으로 시준된 광선을 확산시키는 역할을 한다.
도 5는 광자(532)를 검출하는 특정 광검출기(530)(예를 들어, SPAD)를 더 도시한다. 검출에 응답하여, 광검출기(530)는 전하 캐리어(전자 또는 정공)의 애벌란시 전류(534)를 생성한다. 임계값 회로(540)는 애벌란시 전류(534)를 임계값과 비교함으로써 애벌란시 전류를 조절한다. 광자가 검출되고 광검출기(530)가 적절하게 기능할 때, 애벌란시 전류(534)는 비교기 임계값 이상으로 상승하고 임계값 회로(540)는 SPAD 전류 애벌란시의 정확한 시간을 나타내는 시간적으로 정확한 이진 신호(545)를 생성하며, 이는 차례로 광자 도착의 정확한 측정치가 된다. 광자 도착에 대한 전류 애벌란시의 상관 관계는 나노초의 분해능으로 발생할 수 있어, 높은 타이밍 분해능을 제공한다. 이진 신호(545)의 상승 에지는 거리 측정 회로의 일부일 수 있는 픽셀 카운터들(550)에 의해 래치될 수 있다.
이진 신호(545), 애벌란시 전류(534), 및 픽셀 카운터들(550)은 하나 이상의 SPAD로 구성된 광센서에 의해 제공될 수 있는 데이터 값들의 예들이다. 데이터 값은 복수의 광검출기 각각으로부터의 각각의 신호로부터 결정될 수 있다. 각각의 신호 각각은 임계값과 비교되어 해당하는 광검출기가 트리거되는지 여부를 결정할 수 있다. 애벌란시 전류(534)는 아날로그 신호의 예이고, 따라서 각 신호는 아날로그 신호일 수 있다.
픽셀 카운터들(550)은 이진 신호(545)를 사용하여 주기 신호(560)에 의해 제어되는 것과 같이 특정 시간 빈(예를 들어, 1, 2, 3 나노초 등의 시간 윈도우) 동안 하나 이상의 광자에 의해 트리거된 소정의 픽셀에 대한 광검출기들의 개수를 카운트할 수 있다. 픽셀 카운터(550)는 소정의 측정을 위해 복수의 시간 빈 각각에 대한 카운터를 저장할 수 있다. 각각의 시간 빈에 대한 카운터의 값은 0에서 시작하여 광자의 검출을 나타내는 이진 신호(545)에 기초하여 증분될 수 있다. 카운터는 픽셀의 임의의 광검출기가 그러한 신호를 제공할 때 증분할 수 있다.
주기 신호(560)는 위상 고정 루프(PLL) 또는 지연 고정 루프(DLL) 또는 클록 신호를 생성하는 임의의 다른 방법에 의해 생성될 수 있다. 주기 신호(560) 및 픽셀 카운터(550)의 조정은, 이벤트를 인식하고 그들이 발생한 시간의 디지털 표현을 제공하기 위한 디바이스인 TDC(time-to-digital converter)로서 작용할 수 있다. 예를 들어, TDC는 각각의 검출된 광자 또는 광학 펄스에 대한 도착 시간을 출력할 수 있다. 측정 시간은 절대 시간이 아닌 2개의 이벤트(예를 들어, 시작 시간 및 검출된 광자 또는 광학 펄스) 사이의 경과 시간일 수 있다. 주기 신호(560)는 픽셀 카운터(550)를 포함하는 메모리의 뱅크 사이를 스위칭하는 비교적 빠른 클록일 수 있다. 메모리의 각 레지스터는 하나의 히스토그램 빈에 해당할 수 있으며, 클록은 샘플링 간격으로 그들 사이에서 스위칭할 수 있다. 따라서, 트리거링을 나타내는 이진 값은 각각의 신호가 임계값보다 클 때 히스토그램 회로로 전송될 수 있다. 히스토그램 회로는 복수의 광검출기에 걸쳐 이진 값을 집계하여 특정 시간 빈 동안 트리거된 다수의 광검출기를 결정할 수 있다.
시간 빈은 예를 들어 도 3의 시작 시점(315)에서 시작 신호와 관련해서 측정될 수 있다. 따라서, 시작 신호 직후의 시간 빈에 대한 카운터는 배경 신호, 예를 들어 배경 광(330)에 해당하는 낮은 값을 가질 수 있다. 마지막 시간 빈은 소정의 펄스 트레인에 대한 검출 시간 간격(또한 샷(shot)이라고 함)의 종료 부분에 해당할 수 있으며, 이는 다음 섹션에서 더 설명된다. 시작 시간 이후의 주기 신호(560)의 사이클 수는 애벌란시 전류(534)의 상승 에지가 검출된 광자를 나타낼 때에 대한 타임 스탬프로서 작용할 수 있다. 타임 스탬프는 픽셀 카운터(550)에서 특정 카운터에 대한 시간 빈에 해당한다. 이러한 작동은 광다이오드(예를 들어, 애벌란시 광다이오드(APD)의 경우)에 뒤따르는 단순한 아날로그-디지털 변환기(ADC)와 다르다. 시간 빈의 각각의 카운터는 히스토그램에 해당할 수 있으며, 이는 아래에서 더 상세히 설명된다. 따라서, APD는 제한된 이득을 갖는 입력 광신호를 위한 선형 증폭기인 반면, SPAD는 시간 윈도우에서 발생하는 트리거링 이벤트에 대해 예/아니오의 이진 출력을 제공하는 트리거 디바이스이다.
D. 펄스 트레인
또한, 거리 측정은 하나 이상의 펄스를 포함하는 것으로 정의된 펄스 트레인을 사용함으로써 달성될 수 있다. 펄스 트레인 내에서, 펄스 개수, 펄스 폭, 및 펄스 사이의 지속 기간(집합적으로 펄스 패턴으로 지칭됨)은 다수의 인자에 기초하여 선택될 수 있으며, 이들 중 일부는 다음을 포함한다:
1- 최대 레이저 듀티 사이클 - 듀티 사이클은 레이저가 켜져 있는 시간의 일부이다. 펄스 레이저의 경우, 이는 위에서 설명한 바와 같은 FWHM과 소정 기간 동안 방출된 펄스 개수에 의해 결정될 수 있다.
2- 눈 안전 한계 - 이는 라이다 시스템의 방향으로 바라보게 되는 행인의 눈을 손상시키지 않으면서 장치가 방출할 수 있는 방사의 최대량에 의해 결정된다.
3- 전력 소비 - 이는 방출기가 장면을 조사하기 위해 소비하는 전력이다.
예를 들어, 펄스 트레인에서의 펄스들 사이의 간격은 수 나노초 또는 수십 나노초 정도일 수 있다.
한 측정의 시간 범위 동안 다수의 펄스 트레인이 방출될 수 있다. 각각의 펄스 트레인은 상이한 시간 간격에 대응할 수 있으며, 예를 들어 이전 펄스 트레인의 반사 펄스를 검출하기 위한 시간 제한이 만료될 때까지 후속 펄스 트레인은 방출되지 않는다.
소정의 방출기 또는 레이저 장치에 대해, 펄스 트레인의 방출 사이의 시간은 최대 검출 가능 범위를 결정한다. 예를 들어, 펄스 트레인 A가 시간 t 0 = 0 ns 에서 방출되고, 펄스 트레인 B가 시간 t 1 = 1000 ns 에서 방출되면, t 1 이후에 검출된 반사 펄스 트레인을 펄스 트레인 A에 할당하지 않아야 하는데, 이는 이들이 펄스 트레인 B로부터의 반사일 가능성이 훨씬 더 크기 때문이다. 따라서, 펄스 트레인 사이의 시간과 광의 속도는 다음 방정식에 소정의 시스템 범위 상의 최대 경계를 정의한다.
Figure pct00001
샷들(펄스 트레인의 방출 및 검출) 사이의 시간은 전체 펄스 트레인이 대략 150 m 떨어진 먼 물체로 이동한 후 되돌아오는 데 충분한 시간을 허용하기 위해 1 μs 정도일 수 있다.
III. 광검출기로부터의 히스토그램 신호
라이다 시스템의 작동 모드 중 하나는 TCSPC(time-correlated single photon counting)이며, 이는 한 주기 신호에서 단일 광자들을 카운팅하는 것에 기초한다. 이러한 기술은 낮은 레벨의 주기 방사에 대해 잘 동작하며, 이는 라이다 시스템에 적합하다. 이러한 시간 상관 카운팅은 도 5의 주기 신호(560)에 의해 제어될 수 있으며, 도 5에 대해 논의된 바와 같이 시간 빈을 사용할 수 있다.
주기 신호의 주파수는 신호의 데이터 값이 측정되는 시간 분해능을 특정할 수 있다. 예를 들어, 주기 신호의 사이클마다 각각의 광센서에 대해 하나의 측정된 값을 얻을 수 있다. 일부 실시형태에서, 측정 값은 해당 사이클 동안 트리거된 광검출기의 개수일 수 있다. 주기 신호의 시간 주기는 시간 빈에 해당하며, 각각의 사이클은 상이한 시간 빈이다.
도 6은 본 발명의 실시형태에 따른 히스토그램(600)을 도시한다. 수평 축은 시작 시점(615)과 관련해서 측정된 시간 빈에 해당한다. 전술한 바와 같이, 시작 시점(615)은 펄스 트레인의 시작 시점에 해당할 수 있다. 펄스 트레인 및 검출 시간 간격 중 어느 하나 또는 모두에 대한 펄스 트레인의 제1 펄스 및 시작 시간의 상승 에지들 사이의 임의의 오프셋이 여기서 전파 시간 측정에 사용될 수신 시간을 결정하는 데 고려될 수 있다. 세로 축은 트리거된 SPAD의 개수에 해당한다. 특정 실시형태에서, 세로 축은 APD를 따르는 ADC의 출력에 해당할 수 있다. 예를 들어, APD는 SPAD의 데드타임 기반 효과보다는 일정한 최대 신호와 같은 전통적인 포화 효과를 나타낼 수 있다. 일부 효과는 SPAD 및 APD 모두에 대해 발생할 수 있으며, 예를 들어 SPAD 및 APD 모두에 대해 매우 경사진 표면의 펄스 번짐(smearing)이 발생할 수 있다.
각각의 시간 빈에 대한 카운터는 히스토그램(600)의 다른 막대에 해당한다. 초기 시간 빈에서의 카운터는 비교적 낮으며 배경 잡음(630)에 해당한다. 일부 포인트에서, 반사 펄스(620)가 검출된다. 해당 카운터는 훨씬 더 크며, 배경과 검출된 펄스를 구별하는 임계값 이상일 수 있다. (디지털화 후의) 반사 펄스(620)는 4개의 시간 빈에 해당하는 것으로 도시되어 있으며, 이는 유사한 폭의 레이저 펄스, 예를 들어 시간 빈이 각각 1 ns 일 때 4 ns 펄스로부터 생성될 수 있다. 그러나, 아래에서 더 상세히 설명되는 바와 같이, 시간 빈의 개수는 예를 들어 레이저 펄스의 입사각에서 특정 물체의 특성에 기초하여 변경될 수 있다.
반사 펄스(620)에 대응하는 시간 빈의 시간적 위치는 예를 들어 시작 시점(615)에 관련된 수신 시점을 결정하기 위해 사용될 수 있다. 아래에 더 상세히 설명되는 바와 같이, 정합 필터는 펄스 패턴을 식별하여 신호 대 잡음비를 효과적으로 증가시킬 뿐만 아니라 수신 시간을 보다 정확하게 결정하는 데 사용될 수 있다. 일부 실시형태에서, 수신 시간을 결정하는 정확도는 단일 시간 빈의 시간 분해능보다 작을 수 있다. 예컨대, 1 ns의 시간 빈의 경우, 해당 분해능은 약 15cm에 해당할 것이다. 그러나, 단지 수 센티미터의 정확도를 갖는 것이 바람직할 수 있다.
따라서, 검출된 광자는, 예를 들어 시작 시점(615)으로 나타낸 바와 같이 시작 신호에 관련된 그 광자의 도착 시점에 기초하여 히스토그램의 특정 시간 빈을 증분시키는 결과를 가져올 수 있다. 시작 신호는 측정 중에 다수의 펄스 트레인이 전송되도록 주기적일 수 있다. 각각의 시작 신호는 레이저 펄스 트레인에 동기화될 수 있으며, 다수의 시작 신호는 다수의 펄스 트레인으로 하여금 다수의 검출 간격에 걸쳐 전송되게 한다. 따라서, 시간 빈(예를 들어, 시작 신호 후 200 내지 201 ns)이 각각의 검출 간격에 대해 발생할 것이다. 히스토그램은 카운트를 누적할 수 있으며, 특정 시간 빈의 카운트는 모두가 다수의 샷에 걸쳐 해당 특정 시간 빈에서 발생하는 측정 데이터 값들의 합에 해당한다. 검출된 광자들이 이러한 기술에 기초하여 히스토그램화되는 경우, 그 결과로, 신호 대 잡음비가 단일 펄스 트레인으로부터 나오는 것에 비해 더 크되 취해진 샷의 개수의 제곱근만큼 더 큰 리턴 신호가 생성된다.
도 7은 본 개시내용의 실시형태에 따른 선택된 픽셀에 대한 다중 펄스 트레인에 대한 히스토그램의 누적을 도시한다. 도 7은 3개의 검출된 펄스 트레인(710, 720 및 730)을 도시한다. 각각의 검출된 펄스 트레인은 동일한 양의 시간에 의해 분리된 동일한 패턴의 2개의 펄스를 갖는 전송된 펄스 트레인에 해당한다. 따라서, 각각의 검출된 펄스 트레인은, 주목할 만한 값을 갖는 2개의 시간 빈에 의해 도시된 바와 같이, 동일한 펄스 패턴을 갖는다. 다른 시간 빈에 대한 카운터는 설명을 용이하게 하기 위해 도시되지 않았지만, 다른 시간 빈은 비교적 낮은 0이 아닌 값을 가질 수 있다.
제1 검출 펄스 트레인(710)에서, 시간 빈들(712 및 714)에 대한 카운터들은 동일하다. 이는 2개의 시간 빈 동안 광자를 검출하는 동일한 개수의 광검출기로부터 발생할 수 있다. 또는, 다른 실시형태에서, 2개의 시간 빈 동안 대략 동일한 개수의 광자가 검출된다. 다른 실시형태에서, 하나보다 많은 연속된 시간 빈이 연속적인 0이 아닌 값을 가질 수 있지만, 설명의 편의를 위해 개별적인 0이 아닌 시간 빈이 도시되었다.
시간 빈(712 및 714)은 시작 시점(715) 후에 각각 458 ns 및 478 ns에 발생한다. 다른 검출된 펄스 트레인들에 대해 표시된 카운터들은 그 카운터들 각각의 시작 시점에 관련된 동일한 시간 빈에서 발생한다. 이 예에서, 시작 시간(715)은 시간 0에서 발생하는 것으로 확인되지만, 실제 시간은 임의적이다. 제1 검출 펄스 트레인의 제1 검출 간격은 1 μs일 수 있다. 따라서, 시작 시점(715)으로부터 측정된 시간 빈의 개수는 1,000일 수 있다. 이러한 제1 검출 간격이 종료된 후에, 새로운 펄스 트레인이 전송되어 검출될 수 있다. 상이한 시간 빈의 시작 및 종료 부분은 클록 신호에 의해 제어될 수 있으며, 이는, 예를 들어 도 5에 도시된 바와 같이, TDC(time-to-digital converter)로서 작용하는 부분 회로일 수 있다.
제2 검출 펄스 트레인(720)의 경우, 예를 들어, 제2 펄스 트레인이 방출될 수 있는 시작 시간(725)은 1 μs이다. 이러한 별도의 검출 간격이 발생하여 제1 검출 간격의 시작 부분에서 전송된 임의의 펄스가 이미 검출되어서 제2 시간 간격에서 검출된 펄스에 대해 혼동을 야기하지 않도록 할 수 있다. 예를 들어, 샷들 사이에 여분의 시간이 없다면, 회로는 200 m에 있는 역반사 정지 신호를 50 m에 있는 훨씬 약한 반사형 물체와 혼동할 수 있다(약 1 us의 샷 주기를 가정). 펄스 트레인(710 및 720)에 대한 2개의 검출 시간 간격은 동일한 길이일 수 있고 각각의 시작 시간에 대해 동일한 관계를 가질 수 있다. 시간 빈들(722 및 724)은 시간 빈들(712 및 714)과 동일한 상대 시간 458 ns 및 478 ns에서 발생한다. 따라서, 누적 단계가 발생하면 해당 카운터들이 더해질 수 있다. 예컨대, 시간 빈들(712 및 722)의 카운터 값들이 함께 더해질 수 있다.
제3 검출 펄스 트레인(730)의 경우, 시작 시간(735)은, 예를 들어, 제3 펄스 트레인이 방출될 수 있는 2 μs이다. 시간 빈(732 및 734)은 또한 그 각각의 시작 시점(735)에 대해 458 ns 및 478 ns에서 발생한다. 상이한 시간 빈의 카운터는, 예를 들어 물체로부터의 광 펄스의 산란 과정의 확률적 특성으로 인해 방출된 펄스가 동일한 전력을 갖더라도 상이한 값을 가질 수 있다.
히스토그램(740)은 458ns 및 478ns에도 대응하는 시간 빈들(742 및 744)에서 3개의 검출된 펄스 트레인으로부터의 카운터의 누적을 도시한다. 히스토그램(740)은, 예를 들어 시작 부분 또는 종료 부분의 시간 빈 또는 임계값보다 작은 값을 갖는 시간 빈을 뺀 결과로서, 각각의 검출 간격 동안 측정된 더 적은 개수의 시간 빈을 가질 수 있다. 일부 구현예에서, 약 10개 내지 30개의 시간 빈이 펄스 트레인의 패턴에 따라 주목할 만한 값을 가질 수 있다.
예로서, 단일 히스토그램을 생성하기 위해 측정 동안 방출되는 펄스 트레인들의 개수는 1개 내지 40개(예를 들어, 24개)일 수 있지만, 예를 들어 50개, 100개, 또는 500개로 훨씬 더 많을 수도 있다. 측정이 완료되면 히스토그램에 대한 카운터가 재설정될 수 있고, 새로운 측정을 수행하기 위하여 한 세트의 펄스 트레인들이 방출될 수 있다. 다양한 실시형태에서 그리고 각각의 지속 기간에서의 검출 간격의 개수에 따라, 측정은 25, 50, 100, 또는 500 μs마다 수행될 수 있다. 일부 실시형태에서, 측정 간격은 중첩될 수 있어서, 예를 들어 소정의 히스토그램이 펄스 트레인의 특정 슬라이딩 윈도우에 해당할 수 있다. 이러한 예에서, 각각이 상이한 시간 윈도우에 해당하는 다수의 히스토그램을 저장하기 위한 메모리가 존재할 수 있다. 검출된 펄스에 적용된 모든 가중치는 각각의 히스토그램에 대해 동일할 수 있거나 이러한 가중치는 독립적으로 제어될 수 있다.
IV. 라이다(깊이) 이미지 생성
깊이 이미지(또는 라이다 이미지 또는 프레임)는 잠재적으로 상이한 시간들에 취해진 상이한 픽셀 센서들에 해당하는 히스토그램들의 세트에서 생성될 수 있다. 예를 들어, 도 5의 엇갈린 배치 형태 어레이(510)는 한 번의 측정을 위해 한 세트의 히스토그램들을 얻는 데 사용될 수 있으며, 어레이는 스캐닝(예를 들어, 선형 이동 또는 회전)된 다음 새로운 세트의 측정들을 취할 수 있다. 소정의 픽셀 센서에 대한 각 히스토그램은 라이다 이미지(예를 들어, 360˚를 포괄하는 픽셀들의 직선 어레이)의 픽셀에 대한 깊이 값을 결정하는 데 사용할 수 있다.
라이다 이미지를 결정하기 위해 정합 필터를 각 히스토그램에 적용하여 깊이 값을 결정할 수 있다. 깊이 값(및 잠재적인 피크/신호 값 및 잡음 값)은 라이다 이미지의 직선 2D 어레이의 특정 픽셀에 할당될 수 있다. 할당은 어레이의 위치와 회전 각도 위치에 기초하여 이루어질 수 있다. 라이다 이미지 생성에 대한 더 상세한 내용이 아래에 제공된다.
A. 정합 필터링 및 피크 검출
위에서 언급한 바와 같이, 정합 필터를 사용하여 검출된 펄스의 시간적 위치(수신 시간)를 결정할 수 있다. 그 다음, 수신 시간은 펄스의 총 전파 시간을 결정하는 데 사용될 수 있으며, 이는 그 다음에 거리로 변환될 수 있다.
도 8은 본 개시내용의 실시형태에 따른 정합 필터를 원시 히스토그램에 적용하기 위한 일련의 위치를 도시한다. 필터가 원시 히스토그램에 걸쳐 슬라이딩(이동)할 때 일련의 위치가 슬라이딩 위치로 간주될 수 있다. 원시 히스토그램(802)은 단일 픽셀에 대해 검출된 펄스 주변의 비교적 작은 시간 윈도우를 나타낸다. 필터(804)는 디지털화 펄스의 형태에 해당한다. 히스토그램(802) 및 필터(804) 모두는 제시의 용이성을 위해 이상적인 형태를 갖는다. 도 8의 좌측의 일련의 플롯은 히스토그램(802)에 관련된 필터(804)의 여러 위치들을 도시한다. 필터(804)는 각각의 연속적인 플롯에서 하나의 시간 빈 만큼 이동된다.
히스토그램(802)에 필터(804)를 적용한 결과 필터링된 출력이 도 8의 우측에 표시된다. 막대 차트는 각각의 위치에서 필터(804)와 히스토그램(802) 사이의 중첩 레벨을 도시한다. 필터링된 출력(810)은 필터(804)와 히스토그램(802) 사이의 중첩이 단지 하나의 시간 빈인 제1 위치에 해당한다. 필터링된 출력(810)의 수직 축은 임의의 단위의 중첩 량, 예를 들어, 히스토그램(802) 및 필터(804)의 해당 값들의 곱셈 결과의 합이다. 필터링된 출력(810)의 값은 필터(804)의 중심에 해당하는 시간 빈에 도시되어 있다. 이는 펄스 중심이 검출될 때 수행될 수 있다. 다른 실시형태에서, 필터링된 출력의 값은 필터의 가장 좌측 빈에 해당하는 시점에 도시될 수 있다. 이는 펄스의 상승 에지가 검출될 때 수행될 수 있다. 중심과 상승 에지에 대한 값들은 다른 값으로부터 유도할 수 있다. 예를 들어 펄스 트레인의 펄스가 상이한 폭일 때, 제1 필터 탭의 위치(기본적으로 상승 에지)를 정의하는 것이 더 쉬울 수 있다. 상이한 폭은 상이한 전송 폭으로 인해 또는 검출 강도가 상이하기 때문에 발생할 후 있다.
필터링된 출력(820)은 중첩이 2개의 시간 빈이고, 결과 값이 필터링된 출력(810)의 두 배인 제2 위치에 해당한다. 필터(804)가 하나의 시간 빈만큼 우측으로 이동됨에 따라, 값은 필터링된 출력(810)과 상이한 시간 빈에 표시된 것으로 도시되어 있다. 필터링된 출력(830)은 중첩이 3개의 시간 빈인 제3 위치에 해당한다. 필터링된 출력(840)은 중첩이 4개의 시간 빈인 제4 위치에 해당한다. 필터링된 출력(850)은 중첩이 5개의 시간 빈인 안전한 위치에 해당한다. 쉽게 알 수 있는 바와 같이, 제5 위치는 필터(804)와 히스토그램(802) 사이의 완전한 중첩에 해당하기 때문에 가장 높다.
최종 필터링된 출력(890)은 필터(804)와 히스토그램(802) 사이에 일정 레벨의 중첩을 갖는 9개 위치 각각의 값을 도시한다. 이러한 필터링된 출력은 검출 펄스의 수신된 시간에 해당하는 최대값을 식별하기 위해 분석될 수 있다. 다양한 구현예에서, 이 시간은 전파 시간 측정의 일부로서 직접 기록되거나 수정될 수 있다(예를 들어, 리딩 에지가 어디에 있을지를 식별할 수 있음).
필터링된 출력(890)의 최대값(또한 히스토그램이라고 지칭됨)은 피크(895)(피크 값 또는 신호 값이라고도 지칭됨)로 식별될 수 있다. 피크(895)의 시간 빈은 수신된 펄스의 검출된 시간에 해당한다. 일부 실시형태에서, 보간 필터는 시간 빈의 폭보다 더 미세한 분해능을 결정하는 데 사용될 수 있다. 이러한 검출된 시간은 펄스 트레인이 방출되는 시점을 기준으로 한 거리(깊이 값)에 해당할 수 있다.
B. 깊이 이미지에 대한 깊이 값 할당
히스토그램에서 결정된 깊이 값은 라이다 이미지로, 예를 들어 전체 360도 파노라마 라이다 이미지로, 구성될 수 있다. 위에서 언급한 바와 같이, 라이다 장치는 회전할 수 있으며 특정된 각도 위치에서 측정치를 얻을 수 있다. 다양한 각도 위치의 깊이 값을 집계하여 라이다 이미지를 제공할 수 있다. 깊이 값의 집계(할당)는 각각의 광센서의 특정 위치와 깊이 값을 생성하는 측정 시점(예를 들어, 각도 위치)을 설명할 수 있다.
도 9는 본 개시내용의 다양한 실시형태에 따른 픽셀 센서로부터의 깊이 값이 할당된 파노라마 라이다 이미지(903)를 예시한다. 픽셀 센서(910a)로부터의 깊이 값은 라이다 이미지(903)의 깊이 픽셀(911)(또한 라이다 픽셀이라고 함)에 할당된다. 도 9는 라이다 장치의 2개의 각도 위치에 대한 픽셀 센서들(910) 중 일부의 할당을 도시한다. 각도 위치는 회전식 인코더에 의해 생성될 수 있다. 소정의 위치에서 소정 픽셀 센서로부터의 측정의 할당은 매핑(할당) 테이블 또는 기능을 사용할 수 있으며, 이는 하드코딩되거나 메모리에 존재할 수 있다. 할당의 일 예가 아래에 제공된다.
상부 수평 축(902)은 스캐닝 라이다 장치의 방위 각도(각도 위치)를 기술한다. 도시된 바와 같이, 0˚와 1˚ 사이에 7개의 각도 위치가 있다. 엇갈리게 배치된 픽셀 센서들은 라이다 이미지의 한 열에 대응하는 각도 위치만큼 우측으로 이동한다. 측정 간격은 각도 위치 범위를 포괄할 수 있다.
단순화를 위해, 광 감지 모듈(예를 들어, 도 2의 도면 부호 230)은 각각 다수의 광검출기로 구성될 수 있는 2x4 엇갈린 배치 형태 어레이의 픽셀 센서들을 갖는다고 가정한다. 8개의 픽셀 센서의 측정은 8개의 행과 각도 위치의 개수에 해당하는 개수의 열을 갖는 이미지를 제공한다. 모든 각도에 대해 7개의 각도 위치를 가정하면 수평 해상도는 2,520이 된다. 픽셀 센서들의 다른 어레이 및 각도 위치에서의 측정 빈도는 각각 다른 수직 및 수평 해상도를 제공할 것이다.
도시된 예에서 할당은 다음과 같다. 각도 위치 #1에서, 엇갈린 배치 형태 어레이의 좌측 상단에 있는 픽셀 센서는 좌측 상단의 깊이 픽셀에 할당된다. 제2 열의 상단 픽셀은 제2 행과 제2 열의 픽셀에 할당된다(위치 2:2). 위치 #2로 이동한 후 좌측 상단 픽셀 센서는 깊이 픽셀 1:2로 이동하며, 이는 수직 상단 위치에 있지만 지금은 제2 열에 있기 때문이다.
라이다 장치가 최종 위치 예를 들어 위치 2,520에 있으면 제2 열의 상단 픽셀 센서가 라이다 이미지의 제1 열에 정렬되기 때문에 2:1의 깊이 픽셀이 할당된다.
위에서 언급한 바와 같이, 상이한 매핑(할당)을 사용할 수 있다. 예를 들어, 데이터는 특정 순서로 또는 어떤 데이터가 어떤 픽셀 센서와 어떤 위치에 해당하는지를 나타내는 식별자와 함께 센서 어레이로부터 순차적으로 스트리밍될 수 있다. 데이터는 데이터의 실제 공간 관계(예를 들어, 매핑 테이블에 의해 정의됨)에 따라 메모리 버퍼에서 직선 이미지로 재배열될 수 있으므로 해당 이미지는 하나의 이미지로 효율적으로 처리될 수 있다. 따라서 데이터의 스트리밍 소스에서 유도된 메모리의 라이다 이미지를 재구성하기 위해 다양한 기술이 사용될 수 있다.
생성된 라이다 이미지의 깊이 값은 정확도를 높이고 누락된 정보 또는 잡음이 있는 데이터 등을 수정하기 위해 필터링 및 처리될 수 있다. 깊이 픽셀들의 공간 관계는 특정된 위치에서의 광센서들의 공간 관계에 해당한다. 이러한 공간 관계는 라이다 이미지를 처리하는 데, 예를 들어 필터 커널이 사용되는 방식뿐만 아니라 머신 러닝을 사용하여 한 그룹의 깊이 픽셀들을 동일한 물체에 해당하는 것으로 분류할 수 있는 AI 보조 프로세서에 의해 사용될 수 있다.
C. 색상 및 깊이
깊이를 측정하는 것 외에도, 실시형태는 주변광의 색상을 측정할 수 있다. 이러한 컬러 센서들은 동일한 센서 상에 있을 수 있다. 가시 스펙트럼 안팎의 파장을 포함하여 주변광의 다양한 파장을 측정할 수 있다. 본원에서, 색상이라는 용어는 모든 파장 범위를 포괄하도록 광범위하게 해석되어야 한다. 예를 들어 근복굴절, 원형 복굴절(또한 광학 회전 또는 광학 회전 분산이라고 알려짐), 선형 이색성 및 원형 이색성과 같은 편광 데이터와 같은 색상 외에 광학 특성의 다른 측정도 사용할 수 있다. 색상은 단지 하나의 예로서 사용되며, 색상에 대한 설명은 광학 특성의 다른 측정에도 적용될 수 있다.
도 10는 본 발명의 일 실시형태에 따른 센서 어레이(1000)의 단순화된 정면도를 도시한다. 센서 어레이(1000)는 다수의 라이다 센서 채널(1002)을 포함할 수 있고, 이러한 예는 16개의 라이다 센서 (1002)를 보여주지만, 임의의 개수의 라이다 센서(1002)가 포함될 수 있다. 이 예에서, 라이다 센서들(1002)은 엇갈린 방식으로 배열되지만, 이는 필수적이지 않으며, 일부 실시형태에서, 라이다 센서들(1002)은 하나의 열로 배열될 수 있다(이 예에서, 열들은 도 10의 좌측에 도시된 z축에 평행하게 진행됨).
이 예에서, 각각의 라이다 센서들(1002)은 센서 어레이(1000)의 "행(1004)"과 연관된다. ("행" 이라는 용어는 요소의 선형 또는 대략 선형인 배열을 나타내는 데 사용되고, 도 10에서 행은 점선으로 표시된다.) 라이다 센서(1002)에 더하여, 센서 어레이(1000)의 각각의 행은 하나 이상의 주변광 센서(1006)를 포함한다. 이 예에서, 주변광 센서(1006R)는 적색 광을 검출하고, 주변광 센서(1006G)는 녹색 광을 검출하며, 주변광 센서(1006B)는 청색 광을 검출하지만, 임의의 수 및 조합의 주변광 센서가 사용될 수 있다. 추가적인 예들이 아래에 설명된다. 각각의 행은 다중 스펙트럼 픽셀을 생성하기 위한 온전한 한 세트의 센서들을 포함할 수 있다. 센서 어레이(1000)와 같은 센서 어레이들은 본원에서 "행 기반" 또는 "1D" 센서 어레이들로 지칭될 수 있다.
다른 예는 단일 행으로 있는 것과는 대조적으로 2D 어레이로 있는 온전한 한 세트의 센서들을 가질 수 있다. 이러한 2D 어레이는 라이다 장치의 움직임이 한 방향보다 많을 때 발생할 수 있다. 센서 배열에 관계없이, 모든 위치에서 다양한 유형의 광학 데이터를 캡처할 수 있다. 추가적으로, 데이터의 일부는 메인 라이다 센서에 대해 공간적으로 교정된 완전히 다른 센서 시스템에서 가져올 수 있으므로 위치에 대해 측정된 데이터를 이미지의 특정 픽셀에 매핑할 수 있다. 따라서 데이터는 상이한 시간에 이미지 버퍼로 스트리밍될 수 있다. 이미지 처리는 버퍼링된 이미지가 완전히 재구성될 때까지, 이미지의 해당 부분이 처리되기 전에 해당 이미지 영역의 모든 픽셀에 대해 버퍼에 모든 데이터 레이어가 채워질 때까지 기다릴 수 있다.
라이다 센서들 및 주변광 센서들이 도 9와 유사한 방식으로 할당될 수 있다. 그러나 주변광 센서들을 컬러 이미지에 할당하고 라이다 센서들을 라이다 이미지에 할당할 수 있다. 따라서 동일한 행에 있거나 매핑 테이블을 사용하는 센서들에 기초하여 컬러 픽셀을 라이다 픽셀과 상관시킬 수 있다.
D. 라이다 이미지에서 픽셀의 재현 가능한 직선 그리드 형성
위에서 기재된 바와 같이, 어레이가 다수의 열을 포함하고 센서 어레이가 이미지를 생성하기 위해 다양한 위치 사이를 이동하는 경우에도 센서들의 어레이는 픽셀들의 직선 그리드를 생성하는 데 사용될 수 있다.
일부 실시형태에서, 전술한 종류의 센서 어레이는 한 행의 센서 어레이에 있는 상이한 센서 채널들이 시야 내의 특정 영역을 연속적으로 이미지화(즉, 광자들을 감지)하도록 각도 스캐닝 또는 회전 모드에서 사용될 수 있다. 이러한 설명을 위해, 스캐닝 작동 동안, 센서 시스템은 행들을 가로지르는 축을 중심으로 회전하고, 센서 채널들은 센서 시스템이 상이한 각도로 회전함에 따라 작동하는 것으로 가정한다. (예를 들어, 상이한 시간에 어레이 상에 물체 공간의 상이한 영역들로부터의 광을 반사시키도록 MEMS 미러를 사용함으로써, 센서 어레이를 움직이지 않고도 스캐닝 동작이 또한 달성될 수 있음을 이해해야 한다.) 또한, 센서 어레이 및 벌크 광학 모듈은 센서 시스템에서 서로 고정된 관계로 유지되어, 소정의 센서 채널은 벌크 이미징 광학계의 광학 축에 대해 고정된 공간 관계를 갖고, 공간에서의 시스템의 배향에 관계없이 벌크 광학 모듈의 동일한 부분을 통해 "보는" 것으로 가정된다.
이미지 분석을 단순화하기 위해, 스캐닝 센서 시스템이 물체 공간을 균일하게 샘플링하는 것이 일반적으로 바람직하다. 이와 관련하여, 물체 공간 픽셀들의 그리드는 스캐닝 방향을 따른 행들 및 스캐닝 방향을 가로지르는 방향으로의 열들로 배열되는 것으로 간주된다. 스캐닝 방향에서, 동일한 행 내의 상이한 센서 채널(예를 들어, 도 10의 센서 어레이(1002)의 동일한 행(1004) 내의 모든 센서 채널)은 센서 어레이가 회전할 때 동일한 물체 공간 픽셀을(다소 상이한 시간에) 샘플링하는 것이 바람직하다. 이는, 후술하는 바와 같이, 센서 어레이의 회전으로 샘플링 간격을 조정함으로써 부분적으로 달성될 수 있다. 그러나, 벌크 광학 모듈의 광학 축에 대한 다양한 센서 채널들의 위치들의 차이로 인한 포인팅 오류를 피하는 것도 또한 중요하다. 따라서 일부 실시형태에서, 스캐닝 센서 시스템에서 센서 어레이와 함께 사용되는 벌크 광학 모듈은 스캐닝 및 비-스캐닝 방향 모두에서 균일한 샘플링을 제공하도록 설계된다.
도 11a 및 도 11b는 센서 어레이를 사용하는 스캐닝 시스템에서 포인팅 오류에 대한 가능성을 도시하는 단순화된 개념도이다.
도 11a는, 예를 들어 도 10의 센서 어레이(1000)의 행(1004)의 센서 채널들에 해당할 수 있는, 균일하게 이격된 센서 채널들(1102a 내지 1102d)을 갖는 센서 어레이(1100)의 행을 도시한다. 각각의 센서 채널은 점선으로 표시된 바와 같이, 벌크 광학계(1110)를 통한 채널 시야를 갖는다. 타원으로 표시된, 균일하게 이격된 물체 공간 픽셀들(1104a 내지 1104d)은 센서 채널들(1102a 내지 1102d)의 채널 시야들과 정렬된다.
도 11b는 센서 채널(1102a)이 물체 공간 픽셀(1104b)을 대략 포인팅하도록 특정 각도로 회전한 후의 센서 어레이(1100)를 도시한다. 센서 채널(1102b)은 물체 공간 픽셀(1104c)의 좌측을 포인팅하고, 센서 채널(1102c)은 물체 공간 픽셀(1104d)을 대략 포인팅한다.
도 11b에서 알 수 있는 바와 같이, 포인팅 오류가 있다. 예컨대, 센서 채널(1102b)의 시야는 물체 공간 픽셀(1104c)을 포인팅하지 않고, 센서 채널(1102c)의 시야는 물체 공간 픽셀(1104d)과 정확하게 정렬되지 않는다. 용어 "픽셀 내(intrapixel) 포인팅 오류"는 본원에서 동일한 물체 공간 픽셀을 명목상 포인팅하는 센서 채널들 간의 시야의 차이를 지칭하는 데에 사용된다. (이러한 차이는 물체 공간 픽셀에 대하여 "픽셀 내부에" 있다.) 일부 실시형태에서, 다중 스펙트럼 픽셀 데이터를 수집할 때, 픽셀 내 포인팅 오류를 제어하는 것이 바람직하다.
픽셀 내 포인팅 오류에 더하여, 센서 시스템은 행(스캐닝) 방향 또는 열(비-스캐닝) 방향으로의 물체 공간 픽셀들 사이의 불균일한 간격을 지칭하는 "픽셀 간(interpixel) 포인팅 오류"를 가질 수 있다. 스캐닝 센서 시스템에서, 스캐닝 방향에서의 픽셀 간격의 균일성은 (예를 들어, 후술하는 바와 같이) 센서 시스템의 회전 각도에 대한 셔터 간격을 제어하고, 픽셀 내 포인팅 오류를 제한하거나 픽셀 내 오류를 완전히 제거하기 위해 각각의 픽셀에 대해 독립적인 셔터 제어를 함으로써 달성될 수 있다. 비-스캐닝 방향에서, 열을 따른 물체 공간 픽셀들은 균일하게 이격되고, 물체 공간 맵 내의 열들은 이미지 공간 내의 열들에 맵핑되는 것이 바람직하다. 이러한 연결에서, 일부 센서 어레이들(예를 들어, 센서 어레이(1000))은 한 세트의 엇갈리게 배치된 센서들(예를 들어, 라이다 센서들(1002))을 포함할 수 있다는 점에 또한 유의해야 한다. 이 경우, 어레이를 스캔하고 셔터 간격을 제어하여 열 정렬을 생성함으로써, 단일 열의 물체 공간 픽셀들이 이미지화될 수 있다. 예를 들어, 센서 어레이(1000)의 경우에, 위에 기재된 바와 같이 16개의 센서 채널들(1002)이 센서 어레이(1000)의 열에 정렬되지 않더라도, 이미지의 열은 16개의 픽셀들을 가질 수 있다. 이러한 정렬이 없거나 일부 정렬 오류가 있는 구현예에서, 라이다 시스템은 이미지 버퍼에 저장하기 위한 가장 가까운 정수 직선 픽셀 좌표를 식별할 수 있다. 일부 예에서, 포인팅 오류는 정량화되고 저장될 수 있으며, 예를 들어 직선 픽셀 좌표로부터의 포인팅 오류 및 측정된 값(예를 들어, 깊이, 색상 등)을 사용하는 보간 또는 회귀를 거쳐 추후 수정에 사용될 수 있다.
일부 실시형태에서, 바람직한 이미징 동작은 광선의 입사각 θ의 탄젠트의 변화에 따라 광선의 변위가 선형인 초점 길이 왜곡 프로파일을 갖는 벌크 광학 모듈을 제공함으로써 달성된다. 이러한 유형의 초점 길이 왜곡 프로파일을 갖는 렌즈(또는 렌즈 시스템)는 보통 "F tanθ" 렌즈(이미지 평면에서의 변위 거리가 tanθ의 선형 함수임을 나타냄), 또는 "평시야(flat field)" 렌즈로 지칭된다. 작은 각도 θ의 경우, F tanθ 렌즈는 이미지 평면 상의 광선의 변위(즉, 센서 어레이)가 광선의 입사각 θ의 변화에 대략 선형이라는 특성을 갖는다. 스캐닝 방향에서, 이는 픽셀 내 포인팅 오류를 감소시키는 바람직한 동작을 제공한다. 비-스캐닝 방향에서, 이는 물체 공간에서 균일한 샘플링을 제공하고, 또한 센서들이 엇갈린 방식으로 배열되는 경우에도 물체 공간 픽셀의 열이 이미지 공간 픽셀의 열에 맵핑되게 한다.
도 12는 F tanθ 벌크 광학 모듈을 사용하는 이미징 시스템의 일 예를 예시한다. 이미지 평면(1202)은 균일한 거리 p(또한 본원에서 "선형 피치(linear pitch)"라고 함)에 의해 분리된 한 행의 센서들(1204a 내지 1204g)들을 포함한다. 센서들(1204a 내지 1204g)은, 예를 들어 전술한 다중 스펙트럼 센서 어레이들 중 임의의 어레이에서의 센서 채널들, 또는 소정의 방향으로부터의 광자를 검출하는 다른 센서들의 행(또는 행의 일부)일 수 있다. 벌크 광학 모듈(1206)은 이미지 평면(1202) 위의 거리 f에 위치하며, 여기서 f는 벌크 광학 모듈(1206)의 초점 길이이다. 이 예에서, 벌크 광학 모듈(1206)은 단일 양볼록 렌즈로서 나타나지만, 다른 렌즈들 또는 다중-렌즈 시스템이 사용될 수 있음을 이해해야 한다.
벌크 광학 모듈(1206)은 광을 시야(또는 물체 공간)로부터 이미지 평면(1202)으로 포커싱하도록 설계될 수 있다. 예컨대, 광선(1220a 내지 1220g)은 센서들(1204a 내지 1204g)에 대한 주요 광선들을 나타낸다. (벌크 광학 모듈(1206)을 통한 광의 실제 경로는 도시되지 않은 것으로 이해되어야 한다.)
벌크 광학 모듈(1206)은 F tan θ의 초점 길이 왜곡 프로파일을 갖는다. (당업자는 이러한 프로파일을 갖는 벌크 광학 모듈을 생성하는 방법을 이해할 것이어서, 상세한 설명은 생략한다.) 그 결과, 적어도 작은 각도의 경우, 광선의 입사각의 균일한 변화에 의해, 굴절된 광선이 이미지 평면과 교차하는 지점이 원래의 입사각과 무관하게 균일한 거리만큼 이동하는 결과가 생긴다. 예컨대, 광선(1220a, 1220b)의 경우, 입사각의 차이는 α이고, 광선(1220a, 1220b)은 선형 피치 p만큼 이미지 평면에서 이격된다. 광선(1220b, 1220c)은 또한 α의 입사각의 차이를 가지며, 대응하는 굴절된 광선(1220b, 1220c)은 또한 선형 피치 p만큼 이미지 평면에서 이격된다. 따라서, 이미지 평면(1202) 및 벌크 광학 모듈(1206)이 함께 각도 α만큼 회전되는 경우, 포인트(1230a)로부터 발생하는 광선(1220a)은 (대략) 센서(1204b)에 대한 주요 광선이 될 것이고, 포인트(1230b)로부터 발생하는 광선(1220b)은 (대략) 센서(1204c)에 대한 주요 광선이 되는 식 등이 될 것이다.
이미지 평면에서의 선형 피치 p에 대응하는 회전 각도α는 본원에서 스캐닝 시스템의 "각도 피치"로 지칭되고, α의 값은 센서 피치 p 및 벌크 광학 모듈의 특성에 기초하여 결정된다. 시스템을 각도 α로 스캔하는 것에 의해 입사 광선이 하나의 선형 피치 단위 p만큼 이동하는 결과가 일어나도록 벌크 광학 모듈이 각도 피치 α를 제공하는 스캐닝 거리 측정/이미징 시스템에서, 행 내의 상이한 센서 채널들은 일련의 시간 단계들에서 이미지들을 획득함으로써 시야의 동일한 부분을 이미지화할 수 있으며, 여기서 센서 어레이는 각각의 시간 단계에서 각도 피치 α만큼(또는, α가 스캐닝 피치의 정수배가 되도록 더 작은 각도로) 회전된다.
E. 직선형 라이다 프레임 생성을 위한 제어기
위에 기재된 바와 같이, 다수의 픽셀이 동일한 벌크 광학 장치를 공유하고 광 감지 모듈이 회전하거나 다른 수단으로 스캔하는 경우에도 직선형 라이다 프레임이 생성될 수 있다. 따라서, 히스토그램으로부터 깊이 픽셀의 이미지를 생성하고 직선 어레이의 픽셀에 할당할 수 있다. 따라서 라이다 픽셀의 상대 위치는 이미지 처리 기술이 적용될 수 있는 패턴을 형성할 수 있다. 대조적으로, 라이다 데이터는 일반적으로 프레임 버퍼에 저장될 때 일관되게 구조화되지 않는 독립적인 포인트 클라우드로 형성된다.
도 13은 본 개시내용의 실시형태에 따라 히스토그램에서 신호를 식별하고 깊이 값의 직선 어레이를 형성하여 주기적으로 라이다 프레임을 생성하도록 구성된 제어기(1350)를 도시한다. 제어기(1350)는 광 감지 모듈(예를 들어, 도 2의 230)과 동일한 집적 회로 또는 다른 집적 회로 상에 있을 수 있다. 다른 예에서, 하나 이상의 구성요소가 광 감지 모듈에 있을 수 있다. 또 다른 예들에서, 제어기(1350)의 상이한 구성요소들은 상이한 집적 회로들 상에 있을 수 있다. 제어기(1350)는 도 2의 거리 측정 시스템 제어기(250)와 유사하거나 동일한 기능을 수행할 수 있다. 후술하는 바와 같이, 제어기(1350)는 이미지 재구성 프로세서로서 작용할 수 있다.
전술한 바와 같이, 광 감지 모듈(예를 들어, 도 2의 230)은 측정 간격 동안 다수의 샷에 걸쳐 검출된 광자 수의 히스토그램을 생성할 수 있다. 측정 동안, 광 감지 모듈의 센서 어레이(예를 들어, 도 5의 510)에서 각각의 센서(예를 들어, 도 5의 515)에 대하여 히스토그램이 생성될 수 있다. 각각의 센서에 특정 ID를 할당할 수 있다. 전류 측정이 끝난 후, 히스토그램은 제어기(1350)로 전송될 수 있다. 히스토그램은 직렬로 전송되거나(예를 들어, 센서 ID 1에 대한 히스토그램을 먼저 보내고 센서 ID2에 대한 히스토그램을 제2로 보내는 식 등) 일괄적으로(예를 들어, 모두 병렬로) 전송할 수 있다.
히스토그램은 센서 ID를 포함하는 데이터 구조의 일부로 전송될 수 있다. 또 다른 예에서, 히스토그램은 데이터 스트림에서 히스토그램의 위치가 센서 ID를 나타낼 수 있도록 특정된 순서로 전송될 수 있다(예를 들어, 히스토그램 길이 N을 알 수 있으므로 데이터의 다음 시간 빈(N+1)은 다음 센서 ID에 해당할 수 있다). 그 다음, 새로운 이미지의 재구성이 시작될 때 센서 ID의 할당이 1에서 다시 시작할 수 있다. 따라서, 검출 회로(예를 들어, 광 감지 모듈의 전체 또는 일부)는 깊이 값들을 특정된 순서로 제공할 수 있고, 이미지 재구성 회로는 특정된 순서에 기초하여 특정 깊이 값에 대한 센서 ID를 할당할 수 있다.
히스토그램은 도 8에 도시된 바와 같이 필터링된 히스토그램을 제공하기 위해 필터를 적용할 수 있는 정합 필터(1310)에 제공될 수 있다. 예를 들어, 검출된 펄스의 상이한 형상을 검출하기 위해 다양한 매치 필터를 사용하여 다양한 필터링된 히스토그램을 제공할 수 있다. 필터링된 히스토그램은 피크 검출기(1320)에 제공될 수 있다. 일부 예에서, 정합 필터(1310) 및 피크 검출기(1320)의 일부 또는 전부는 거리 측정 회로의 일부일 수 있다.
피크 검출기(1320)는 필터링된 출력을 분석하고 피크에 대응하는 위치(예를 들어, 시간 빈 또는 더 큰 분해능)를 결정할 수 있다. 그 다음, 이러한 범위(깊이) 값은 예를 들어 라이다 장치의 현재 스캔을 위해 이미지를 형성하는 데 사용될 수 있다. 채워지는 제1 이미지가 제시된다. 제1 이미지는 하나의 버퍼에 있을 수 있다. 버퍼가 채워지거나 버퍼의 적어도 특정된 부분(예를 들어, 보조 프로세서의 커널 크기에 해당하는 픽셀들의 서브세트)이 채워지면 추가 분석을 위해 프레임을 하나 이상의 보조 프로세서에 전송할 수 있다. 프레임 버퍼는 FIFO로 작동하는 메모리 뱅크일 수 있다. 따라서, 이미지 재구성 회로는 제1 라이다 픽셀의 특정된 서브세트가 제1 라이다 이미지에 대해 저장된 시점을 결정할 수 있고 제1 라이다 픽셀의 특정된 서브세트를 커널 기반 보조 프로세서에 전송할 수 있다.
피크 검출기(1320)는 또한 신호 값 및 잡음 값을 측정하여 라이다 픽셀에 대한 일부 신호 대 잡음 측정을 효과적으로 제공할 수 있다. 신호 값은 히스토그램의 피크에서 광자 수의 합계에 해당할 수 있으며, 잡음 값은 피크 영역 외부에 있는 시간 빈의 배경 레벨에 해당할 수 있다. 다양한 실시형태에서, (예를 들어, 방출된 광원의) 동작 파장에서의 광량이 잡음을 추정하기 위해 사용되거나 다른 파장이 사용될 수 있다. 따라서, 라이다 픽셀은 범위(깊이) 값, 신호 값 및 잡음 값을 포함할 수 있다. 신호 값은 장면의 물체에서 반사된 광량에 해당한다. 잡음 값은 라이다 시스템이 작동하는 것과 동일한 파장에서 장면의 주변광 레벨의 측정 값에 해당한다.
다른 실시형태에서, 정합 필터는 잡음을 측정하여 신호의 범위를 검출하기 위해 정보를 사용하는 피크 검출기에 일부 신호 대 잡음 측정을 제공할 수 있다. 일부 경우에, 피크 검출기는 신호가 충분히 강하지 않다고 결정할 수 있으며, 따라서 예를 들어 이미지에 저장할 NULL 값을 제공함으로써 이미지에서 라이다 픽셀을 생략할 수 있다. 다른 경우에, 해당 값은 초기에 저장되어 파이프라인의 이후 단계가 소정의 픽셀에 대한 특정 깊이 값을 사용자에게 제공할지 여부를 결정할 수 있게 한다.
광 전송 모듈의 위치(예를 들어, 각도 위치)가 또한 수신될 수 있으며, 여기서 각각의 위치는 광 감지 모듈의 센서 어레이를 사용하는 상이한 측정에 해당한다. 스캔(예를 들어, 회전)은 한 세트의 위치들에 대한 일련의 측정으로 구성된다. 다양한 예에서, 위치는 새로운 측정의 시작 부분에 제어기에 의해 수신될 수 있거나, 광 감지 모듈로부터 수신될 수 있거나, 다른 모듈(예를 들어, 인코딩 모듈)로부터 또는 히스토그램뿐만 아니라 적합한 이러한 옵션의 조합으로 수신될 수 있다.
소정의 측정에 대해 다수의 픽셀 센서가 각각 히스토그램을 제공할 수 있다. 히스토그램 데이터와 함께 픽셀 센서는 센서 회로의 특정 센서를 식별하는 픽셀 ID를 제공할 수 있다. 픽셀 ID는 해당 히스토그램에서 결정된 소정의 깊이 값으로 추가할 이미지의 픽셀을 결정하는 데 사용할 수 있다. 픽셀에 대한 데이터의 할당은 본원에 설명된 바와 같이 직선 프레임 버퍼로의 픽셀의 매핑을 갖는 룩업 테이블을 사용할 수 있다. 픽셀에 대한 데이터의 할당은 이미지 재구성 회로(1325)를 사용하여 수행될 수 있으며, 이는 피크 검출기(1320)로부터 분리되어 있거나 그 일부일 수 있고 거리 측정 회로의 일부일 수 있는 있다. 상술한 바와 같이, 검출 회로는 각각의 깊이 값에 대한 센서 ID를 이미지 재구성 회로에 제공할 수 있다.
매핑 테이블(1330)은 어느 픽셀 ID가 라이다 이미지의 어떤 픽셀에 대응하는지 특정할 수 있다. 매핑 테이블(1330)은 센서 ID 및 광 감지 장치(모듈)의 현재 위치에 기초하여 소정의 깊이 값으로 추가할 이미지의 해당 픽셀을 식별할 수 있다. 광 감지 장치가 새로운 위치로 이동하면, 제어기(1350)는 제공될 다음 세트의 히스토그램들에 대한 새로운 할당을 제공할 수 있다. 예를 들어, 할당은 매핑 테이블(1330)로부터 피크 검출기로 로드될 수 있다. 매핑은 도 9에 도시된 것과 유사한 방식으로 수행될 수 있다. 예를 들어, 매핑 테이블의 각 행은 센서 ID에 대한 열과 라이다 픽셀, 예를 들어 X 및 Y로 특정될 수 있는 2D 좌표를 특정하는 또 다른 열을 가질 수 있다.
제1 스캔에 대해 도시된 바와 같이, 정합 필터(1310)는 각각이 특정 픽셀에 대응하는 히스토그램을 수신한다. 픽셀은 히스토그램을 생성하는 데 사용된 어레이의 센서를 특정하는 숫자와 같은 픽셀 ID를 사용하여 결정할 수 있다. 일부 실시형태에서, 제어기는 히스토그램들이 광 감지 장치로부터의 데이터 스트림으로 수신되는 순서에 기초하여 픽셀 ID를 할당하는 것이 가능하다. 예를 들어, 제어기(1350)는 예를 들어 가득 차있는 기존 이미지 버퍼에 기초하여 또는 광 감지 장치로부터 수신된 측정값 예를 들어 회전식 인코더 위치에 기초하여 새로운 이미지가 시작될 시점을 추적할 수 있다. 제1 히스토그램은 픽셀 ID #1에 해당한다. 다음의 N-1개의 히스토그램의 대응은 히스토그램들을 특정된 순서로 출력하는 광 감지 장치에 기초하여 알 수 있다.
센서 어레이가 64개의 센서를 갖는 예의 경우, 제2 각도 위치는 65 내지 128의 센서 ID 범위를 갖는다. 도 9와 유사한 매핑의 경우, 센서 ID 65는 제1 (상단) 픽셀이 될 것이지만, 도시된 바와 같이 한 열을 우측(또는 회전이 시계 반대 방향인 경우 좌측)으로 이동한다. 센서 어레이가 16개의 센서로 구성된 4개의 열을 갖는 경우, 센서 어레이가 엇갈리게 배치되기 때문에 센서 ID 17은 제2 열의 제2 행에 있는 픽셀에 해당한다. 센서 어레이의 모양에 따라 다양한 매핑을 사용할 수 있다.
일부 구현예에서, 제1 이미지가 완료(재구성)되면 아래에서 상세히 설명하는 바와 같이 출력될 수 있다. 제어기(1350)는 이미지 버퍼 크기 및/또는 이미지 버퍼가 가득 찼음을 나타내는 이미지 버퍼로부터의 신호에 기초하여 제1 이미지가 완료될 시점을 결정할 수 있다. 다른 실시형태에서, 제어기(1350)는 예를 들어 회전식 인코더에 의해 이루어진 측정에 기초하여 광 감지 장치가 회전을 했다는 신호를 수신할 수 있다. 이러한 측정은 광 감지 장치, 제어기(1350), 또는 시스템의 다른 구성요소에서 발생할 수 있다. 다른 구현예에서, 제1 이미지는 부분적으로 출력될 수 있다. 예를 들어, 한 부분이 완성되면 제1 이미지의 다른 부분에 깊이 값이 아직 할당되지 않은 상태에서 해당 부분을 출력할 수 있다. 이러한 구현예에서, 특정 처리 기술(예를 들어, 로컬 커널)은 메모리에서 한 부분만 완전히 재구성되더라도 제1 이미지의 처리를 시작할 수 있다. 이러한 로컬 처리는 메모리 요구 사항과 대기 시간을 줄일 수 있다. 그러나, 시스템이 전체 이미지가 완료되는 것을 기다릴 때 처리 기술(예를 들어, 머신 러닝 모델)을 사용할 수 있다. 일부 예에서, 일부 초기 로컬 처리가 수행될 수 있고, 그 다음 초기 로컬 처리 후에 전체 이미지 처리가 수행될 수 있다.
도시된 바와 같이, 제1 회전과 마찬가지로 제2 회전에 대해서도 유사한 매핑이 센서 ID에 적용된다. 일부 실시형태에서, 2개의 버퍼가 사용될 수 있으며, 한 버퍼의 이미지는 일단 가득 차면 전송되고 제어는 다른 버퍼를 다음 이미지로 즉시 채우므로 제1 버퍼의 전송이 다음 이미지의 생성을 시작할 수 있기 전에 완료될 필요가 없다.
데이터 값의 히스토그램을 사용하는 것과는 대조적으로, 픽셀 값을 센서 값으로 직접 가져올 수 있다는 점을 제외하고 유사한 방식으로 컬러 이미지를 생성할 수 있다. 도 10의 예의 경우, 각각 라이다 이미지와 동일한 해상도를 갖는 3개의 컬러 이미지가 생성될 수 있다. 라이다 및 컬러 이미지는 함께 또는 독립적으로 분석할 수 있다.
제어기(1350)는 버퍼링된 라이다 이미지를 보조 프로세서(예를 들어, 라이다 이미지 프로세서 또는 AI 보조 프로세서)에 전달할 수 있으며, 이는 이미지를 분석하여 동일한 물체에 속하는 특정 라이다 픽셀의 분류와 같은 개선된 라이다 이미지 또는 특성화 데이터를 다시 전송할 수 있다. 보조 프로세서(들)는 예를 들어 필터링 및 의미 분류(semantic classification)와 같은 다양한 기능을 수행하도록 프로그래밍될 수 있다. 개선된 라이다 이미지와 특성화 데이터는 사용자에게 전송될 수 있다. 라이다 이미지 프로세서 또는 AI 보조 프로세서를 사용하는 예는 아래에 설명되어 있다.
따라서, 시스템은 광 거리 측정 장치(예를 들어, 도 2의 210)를 포함할 수 있으며, 이는 이동하여 복수의 위치에서 측정을 수행하는 스캐닝 장치일 수 있으며, 여기서 스캔(예를 들어, 360˚의 회전)에 대한 측정값은 결합되어 이미지를 생성할 수 있다. 광 거리 측정 장치는 광 펄스를 방출하는 복수의 광원을 포함할 수 있는 전송 회로(예를 들어, 도 2의 240) 및 반사된 광 펄스를 검출하고 시간 경과에 따라 측정된 신호를 출력하는 광센서들의 어레이를 포함하는 검출 회로(예를 들어, 도 2의 230)를 포함할 수 있다.
신호 프로세서(예를 들어, 도 2의 프로세서(238) 및/또는 정합 필터(1310) 및 피크 검출기(1320))는 광센서들의 어레이를 사용한 측정으로부터 깊이 값을 결정할 수 있다. 이미지 재구성 회로(예를 들어, 1325)는 스캐닝 광 거리 측정 장치의 스캔을 위한 각각의 깊이 값에 센서 ID를 할당하고 깊이 값을 사용하여 라이다 이미지를 구성할 수 있다. 예를 들어, 매핑 테이블(1330)은 깊이 값을 라이다 이미지의 라이다 픽셀에 매핑하기 위해 센서 ID를 사용하여 액세스될 수 있으며, 여기서 매핑 테이블은 대응하는 센서 ID에 기초하여 라이다 픽셀을 특정한다. 그 다음, 라이다 이미지의 라이다 픽셀이 로컬 이미지 버퍼에 저장된 후 로컬 프레임(이미지의 일부) 또는 완성된 프레임(전체 이미지)의 라이다 픽셀을 동일하거나 다른 집적 회로에 있을 수 있는 커널 기반 보조 프로세서로 전송할 수 있다.
후술하는 바와 같이, 커널 기반 보조 프로세서는 광 거리 측정 장치와 통신 가능하게 결합되고 이미지 재구성 회로에 의해 출력된 라이다 이미지를 수신하고, 라이다 이미지의 라이다 픽셀에서 깊이 값을 분석하고, 한 세트의 라이다 픽셀들을 라이다 픽셀들의 세트의 해당 깊이 값에 기초하여 상관시키고, 상관 관계에 기초하여 라이다 픽셀들의 세트의 분류 정보를 출력하도록 구성된 분류기 회로를 포함할 수 있다.
아래에서 설명되는 또 다른 예에서, 커널 기반 보조 프로세서는 광 거리 측정 장치와 통신 가능하게 결합되고 제1 라이다 픽셀을 수신하고 하나 이상의 필터 커널을 제1 라이다 픽셀들의 서브세트에 적용하여 라이다 픽셀의 필터링된 이미지를 생성하도록 구성된 깊이 이미징 회로를 포함할 수 있다.
V. 필터 커널 적용
라이다 이미지가 생성되면, 제어기는 이미지를 이미지 신호 프로세서로 전송할 수 있다. 라이다 이미지는 직선이기 때문에 다양한 이미지 처리 기술을 사용할 수 있다. 이미지 처리는 필터링을 수행할 픽셀들의 서브세트를 식별하기 위해 근접 기준(예를 들어, 공간 위치, 색상, 대비 등의 유사성)을 사용할 수 있다. 유사성은 2개의 값이 서로 임계값 차이 내에 있는 것으로 정의할 수 있다. 이미지 신호 프로세서는 프로세서가 픽셀들의 집합에 대해 작동하는 경우 커널 기반 프로세서일 수 있다.
도 14는 본 개시내용의 실시형태에 따른 제어기(1450) 및 라이다 이미지 프로세서(1410)를 포함하는 광 거리 측정 시스템(1400)을 도시한다. 제어기(1450)는 본원에 설명된 다른 제어기에 해당할 수 있다. 광 거리 측정 시스템(1400)의 다양한 구성요소는 동일하거나 상이한 집적 회로 상에 있을 수 있다.
제어기(1450)는 초기 라이다 이미지(1405)(예를 들어, 도 13의 이미지 #1 및 #1)를 깊이 이미징 회로라고도 하는 라이다 이미지 프로세서(1410)에 전송한다. 전술한 바와 같이, 제어기(1450)는 센서들로부터 스트리밍되고 있는 히스토그램 데이터를 결정된 깊이 값으로 캐싱하여 초기 라이다 이미지들을 라이다 이미지들의 스트림의 프레임으로 생성할 수 있다. 라이다 이미지들의 스트림은 광 감지 모듈이 상이한 위치를 스캔함에 따라 라이다 이미지 프로세서(1410)에 제공될 수 있다. 도시된 바와 같이, 제공될 수 있는 라이다 이미지의 스트림을 예시하기 위해 2개의 라이다 이미지가 도시된다. 이미지의 스트림은 생성된 순서, 예를 들어 위치들의 순서로 될 수 있다. 일부 구현예에서, 위치는 라이다 이미지와 함께 제공되는 메타데이터의 일부로 제공될 수 있다.
따라서, 제어기(1450)(또는 다른 거리 측정 회로)는 광센서들의 어레이에 연결될 수 있고 광센서들의 어레이를 사용한 측정으로부터 깊이 값을 결정하여 라이다 픽셀의 그리드를 포함하는 라이다 이미지를 형성하고(예를 들어, 측정 간격 동안 환경의 직선 프레임을 형성함) 주기적으로 라이다 이미지를 출력하도록 구성될 수 있다. 각각의 라이다 이미지는 상이한 측정 간격 동안 생성될 수 있으며 라이다 픽셀의 행과 열을 포함할 수 있다.
라이다 이미지 프로세서(1410)에서, 입력 버퍼(1412)는 초기 라이다 이미지들(1405)을 한 번에 하나씩 또는 한 번에 다수로 필터 커널(1414)로 전송하기 전에 캐싱할 있는데, 필터 커널은 하나 이상의 필터 커널을 포함할 수 있다. 한 프레임의 픽셀들이 (적어도 측면으로, 즉, 2D 이미지에서) 기지의 공간 관계를 갖기 때문에, 실시형태는 한 그룹의 라이다 픽셀들, 예를 들어 5x5 서브그룹(또는 다른 크기의 그룹), 또는 전체 프레임의 모든 라이다 이미지에 대해 그룹 기능을 수행함으로써 이러한 기지의 공간 관계를 활용하는 처리를 수행할 수 있다. 예컨대, 단지 단일 픽셀과는 대조적으로 그룹의 깊이 값들에 대한 통계를 사용할 수 있다. 통계 값은 정확도를 개선하고 누락된 데이터를 채우며 더 높은 해상도를 제공할 수 있다. 후술하는 바와 같이, 다양한 커널을 사용할 수 있다. 하나보다 많은 커널을 적용할 수 있으며, 그 결과를 결합할 수 있다.
필터 커널(1414)은 필터링된 라이다 이미지를 신호 프로세서(1416)에 제공할 수 있으며, 신호 프로세서는 선택 사항일 수 있거나 아니면 대신에 필터 커널(1414)에서 구현되는 기능을 가질 수 있다. 필터링된 라이다 이미지는 새로운 깊이 값뿐만 아니라 라이다 이미지에 포함된 다른 값(예를 들어, 새로운 신호 및 잡음 값)에 대한 업데이트를 포함할 수 있다. 신호 프로세서(1416)는 깊이 값이 파이프라인의 이후 단계로 보고하기에 충분한 정확도를 갖는지 여부를 결정하거나 새로운 값에 기초하여 제2 패스 결정을 내릴 수 있다. 일부 실시형태에서, 신호 프로세서(1416)는 동일한 라이다 이미지에 적용되는 상이한 필터 커널로 생성된 다수의 필터링된 이미지를 분석하고, 필터링된 이미지들의 세트를 사용하여 라이다 픽셀에 대한 새로운(업데이트된) 값을 결정할 수 있다. 예를 들어, 상이한 크기의 그리드의 필터 커널을 동일한 라이다 이미지에 적용할 수 있다.
출력 버퍼(1418)는 처리된 라이다 이미지를, 처리된 라이다 이미지(1407)로서 제어기(1450) 또는 다른 장치로 다시 전송하기 위해, 수신하고 캐싱할 수 있다. 일부 구현예에서, 신호 프로세서(1416)는, 예를 들어 이전 프레임의 처리된 이미지가 다음 프레임의 필터링된 이미지를 처리하기 위해 필요할 때, 추가 분석을 위해 출력 버퍼(1418)로부터 처리된 이미지를 검색할 수 있다. 그러한 캐싱은 또한 신호 프로세서(1416)에 대해 내부적으로 수행될 수 있다. 그 다음, 하나 이상의 처리된 이미지는 해당 이미지가 출력할 준비가 되었음을 식별하는 플래그와 함께 출력 버퍼로 전달할 수 있다.
상술한 바와 같이, 컬러 영상은 라이다 영상과 동시에 얻을 수 있다. 초기 컬러 이미지(1425)는 컬러 이미지 프로세서(1430)로 전송될 수 있다. 입력 버퍼(1432)는 초기 컬러 이미지들(1425)을 필터 커널(1434)에 한 번에 하나 또는 한 번에 다수로 전송하기 전에 캐싱할 수 있다. 한 프레임의 픽셀들이 (적어도 측면으로, 즉, 2D 이미지에서) 기지의 공간 관계를 갖기 때문에, 실시형태는 한 그룹의 컬러 픽셀들, 예를 들어 5x5 서브그룹(또는 다른 크기의 그룹), 또는 전체 프레임의 모든 라이다 이미지에 대해 그룹 기능을 수행함으로써 이러한 기지의 공간 관계를 활용하는 처리를 수행할 수 있다. 후술하는 바와 같이, 다양한 커널을 사용할 수 있다. 하나보다 많은 커널을 적용할 수 있으며, 그 결과를 결합할 수 있다.
신호 프로세서(1436)는 필터 커널(1434)로부터 필터링된 컬러 이미지를 분석할 수 있다. 필터링된 색상 이미지는 컬러 픽셀을 정의하는 색상(예를 들어, 빨강, 녹색 및 파랑)에 대한 새로운(업데이트된) 값을 포함될 수 있다. 신호 프로세서(1436)는 동일한 초기 컬러 이미지에서 다양한 필터 커널을 사용하여 생성된 다수의 필터링된 이미지를 분석할 수 있다. 신호 프로세서(1436)는 예를 들어 물체의 에지를 정의할 목적으로 컬러 이미지에 대한 새로운 컬러 값을 결정하기 위해 이웃하는 픽셀의 값 및/또는 동일한 픽셀의 다수의 필터링된 컬러 값을 사용하는 로직을 포함할 수 있다. 신호 프로세서(1436)는 일련의 프레임에 대해 (예를 들어, 광 감지 모듈의 다른 위치에 대해) 필터링된 이미지들의 그룹을 분석할 수 있다.
일부 구현예에서, 신호 프로세서(1436) 및 신호 프로세서(1416)는 해당하는 픽셀의 깊이 값 및 색상 값에 대한 정보를 교환하여 라이다 및 컬러 픽셀뿐만 아니라 이웃하는 픽셀의 해당 값을 설명할 수 있는 결합 처리를 수행할 수 있다. 이러한 결합 분석은 또한 AI 보조 프로세서를 사용할 수 있다. 버스(1460)는 일반적으로 라이다 이미지 프로세서(1410)와 컬러 이미지 프로세서(1430) 사이에서, 특히 신호 프로세서(1416)와 신호 프로세서(1436) 사이에서 정보를 전달할 수 있다. 라이다 이미지 프로세서(1410) 및/또는 컬러 이미지 프로세서(1430)는 별도로 또는 집합적으로 이미지 처리 회로일 수 있다.
출력 버퍼(1438)는 처리된 라이다 이미지를, 처리된 컬러 이미지(1427)로서 제어기(1450) 또는 다른 장치로 다시 전송하기 위해, 수신하고 캐싱할 수 있다. 일부 구현예에서, 신호 프로세서(1436)는, 예를 들어 이전 프레임의 처리된 이미지가 다음 프레임의 필터링된 이미지를 처리하기 위해 필요할 때, 추가 분석을 위해 출력 버퍼(1438)로부터 처리된 이미지를 검색할 수 있다. 그러한 캐싱은 또한 신호 프로세서(1436)에 대해 내부적으로 수행될 수 있다. 그 다음, 하나 이상의 처리된 이미지는 해당 이미지가 출력할 준비가 되었음을 식별하는 플래그와 함께 출력 버퍼로 전달할 수 있다.
후처리 프로세서(1440)는 처리된 라이다 이미지(1407) 및/또는 처리된 컬러 이미지(1427)를 분석할 수 있다. 후처리 프로세서(1440)는 라이다 이미지 및 컬러 이미지의 임의의 결합 분석뿐만 아니라, 예를 들어 동일한 물체에 대응하는 픽셀의 분류, 픽셀 단위 의미 분할(semantic segmentation), 인스턴스 분할, 경계 상자 추정, 깊이 보간 등을 수행하는 AI 보조 프로세서로부터 임의의 분류를 수행할 수 있다.
A. 라이다 필터링 및 처리
필터 커널은 라이다 프레임을 압도할 수 있다. 예로서, 필터 커널의 적용은 이웃한 범위 픽셀에 대한 범위 평활화 및/또는 현재 라이다 픽셀에 대한 범위 값의 시계열, 가장자리 평활화 또는 잡음의 감소를 (예를 들어, 통계를 사용하여) 제공할 수 있다. 한 예로, 범위 평활화는 그렇지 않은 경우보다 더 매끄러운 도로를 제공할 수 있고, 그 결과 사용자에게 보다 사실적인 깊이 이미지를 제공하게 된다. 이러한 필터는 범위 데이터, 신호 데이터 및 기타 수동 이미징 채널(예를 들어, 색상)의 조합을 사용하는 양방향 필터링을 포함할 수 있다. 에지 인식 블러링(edge-aware blurring) 필터는 공간적으로나 깊이 값(또는 색상 값)에서 서로 유사한 값을 매끄럽게(흐리게 처리)하여 에지가 보존되지만 평활화가 에지(예를 들어, 상이한 깊이에 있는 2개의 물체 사이의 에지)에서 멀리 떨어져 발생할 수 있다.
필터 커널은 중심 픽셀에 대해 필터링된 값을 제공하기 위해 중심 픽셀에 대하여 각 픽셀에 대한 커널 가중치 또는 "동일성"을 결정할 수 있다. 필터 커널은 중심 픽셀까지의 거리에 기초하여 이웃하는 픽셀에 대한 데이터 값에 가중치를 줄 수 있다. 더 멀리 떨어진 값은 공간적으로 덜 상관된다. 인접하는 픽셀의 위치는 이미지 프레임의 직선 배열을 사용하여 식별할 수 있다. 일례는 중심 픽셀에서 측면(XY) 거리에 가중치를 주는 2D 가우시안과 같은 가우시안 가중치이다. 범위 값을 사용하면, Z 방향으로 가우스 가중치를 적용할 수도 있다. 필터링된 값은 중앙 픽셀에 적용된 커널의 가중 합으로부터 픽셀에 대해 결정될 수 있고, 누적된(집계된) 값(예를 들어, 범위, 신호, 잡음 또는 색상)은 해당 값을 유지할 것인지(예를 들어, 임계값 이상의 충분한 신뢰도) 결정하는 데 사용되며, 사용자 또는 파이프라인의 다음 단계로 전달될 수 있다.
필터를 적용한 결과, 신호의 잡음에 대한 신호의 강도를 증가시켜 깊이 값을 유지할 수 있다. 이러한 처리는 신호 프로세서(1416)에 의해 수행될 수 있다. 예컨대, XY 평면에서 서로 옆에 2개의 픽셀이 있고 양쪽 픽셀이 유사한 거리에서 피크를 갖는 경우(예를 들어, 거리 임계값 내 또는 임계값 이상의 누적 값) 피크는 실제 값으로 식별될 수 있다. 정점. 이러한 방식으로, 피크 감지는 이웃하는 픽셀의 신호에 기초하여 가변(조정된) 임계값을 사용할 수 있다. 임계값(들) 및/또는 기저 데이터는 변경(조정)될 수 있다. 신호 처리기는 이러한 식별을 할 수 있다. 피크 값 또는 검출 임계값의 조정은 서브세트의 집계된 정보에 기초할 수 있다.
따라서, 일부 구현예에서 필터 커널(1414)의 하나 이상의 필터 커널은 소정의 픽셀에 이웃하는 다른 라이다 픽셀의 신호를 사용하여 소정의 픽셀에 대한 신호의 피크 값 또는 검출 임계값을 조정하는 필터 커널을 포함할 수 있다. 추가의 예로서, 필터 커널(1414)의 하나 이상의 필터 커널은 소정의 픽셀에 이웃하는 다른 라이다 픽셀의 신호를 사용하여 소정의 픽셀에 대한 깊이 값을 조정하는 필터 커널을 포함할 수 있다. 다양한 구현예에서, 픽셀을 (예를 들어, 특정 서브세트에서) 이웃하는 픽셀로 고려하기 위한 기준은 측면 위치, 깊이 값, 및/또는 색상 값을 사용할 수 있다.
B. 색상 필터링 및 처리
하나 이상의 필터 커널은 색상 프레임을 압도할 수 있다. 예를 들어, 필터 커널의 적용은 이웃한 범위 픽셀에 대한 색상 평활화(또는 블러링) 및/또는 현재 색상 픽셀에 대한 색상 값의 시계열, 가장자리 평활화 또는 잡음의 감소(예를 들어, 통계 사용)를 제공할 수 있다. 한 예로, 색상 평활화는 그렇지 않은 경우보다 더 매끄럽거나 더 균일한 색상을 제공할 수 있고, 그 결과 사용자에게 보다 사실적인 색상 이미지를 제공하게 된다. 필터 커널은 라이다 이미지에 사용되는 필터 커널과 유사한 방식으로 중심 픽셀까지의 거리에 기초하여 이웃하는 픽셀에 대한 데이터 값에 가중치를 줄 수 있다.
필터링 및/또는 처리를 통해 스퓨리어스 잡음(spurious noise)이 있는 색상 값을 수정할 수 있다. 예를 들어, 광자가 거의 감지되지 않는 저조도에서는 잡음이 실제 신호를 압도할 수 있다. 적색일 수 있는 물체(예를 들어, 계단 표시)가 일부 녹색 픽셀을 가진 것처럼 보일 수 있다. 평균적으로, 픽셀은 적색이지만 신호가 너무 낮아 일부 픽셀이 환경에서 녹색 물체로 등록되고 있기 때문에 모든 픽셀이 실제로 적색으로 등록되는 것은 아니다. 그러나 필터링은 이웃하는 픽셀의 값을 누적하여 적색 기여도를 높일 수 있다.
처리는 주변 픽셀을 적색(예를 들어, 주변 픽셀의 대부분)으로 식별할 수 있으므로 시스템은 공간적으로 인식하는 누적 필터를 사용하여 오류로 인해 녹색인 픽셀을 무시(폐기)하고 픽셀들의 그룹을 모두 적색으로 식별할 수 있다. 따라서, 색상의 조정은 문제의 컬러 픽셀을 사용하거나 예를 들어 이웃하는 픽셀을 사용하여 측정된 색상을 무시할 수 있다. 따라서, 제1 컬러 픽셀을 조정하는 단계는 깊이 픽셀의 서브세트와 상관된 컬러 픽셀의 가중 평균을 결정하는 단계를 포함할 수 있다. 가중 평균은 제1 컬러 픽셀을 포함하거나 포함하지 않을 수 있다. 가중치는 제1 깊이 값과 다른 깊이 값들과의 차이에 기초하여 결정될 수 있다.
C. 라이다와 컬러 필터링 및 처리의 결합
상술한 바와 같이, 라이다 이미지 프로세서(1410)와 컬러 이미지 프로세서(1430)는 라이다 및 컬러 이미지에 대한 값을 포함하는 정보를 서로에 대해 전송하여 결합 처리를 수행할 수 있다. 예를 들어 일부 구현예에서, 임의의 컬러 이미지(예를 들어, 초기의, 필터링된 또는 처리된)의 컬러 값은 잡음을 추정하는 데 사용될 수 있으며, 이는 그 다음에 깊이 값, 깊이 값의 정확도, 및/또는 예를 들어 사용자에게 제공되는 최종 라이다 이미지의 깊이 값을 보고할지 여부를 결정하는 데 사용될 수 있다. 예를 들어, 주변광의 레벨이 낮을 때, 특히 배경광이 시간 경과에 따라 균일하지 않을 때, 광원의 파장에서 단지 잡음을 측정하는 것은 부정확을 초래할 수 있다. 컬러 픽셀의 강도를 대신 사용하여 잡음 측정을 보완할 수 있다.
또 다른 예로서, 주변 데이터는 라이다 데이터보다 더 높은 해상도를 가질 수 있으며, 예를 들어 컬러 픽셀은 더 높은 해상도를 가질 수 있다. 이는 회전하지 않을 수 있는 다른 센서에 컬러 센서가 있을 때 발생할 수 있다. PCT 공개공보 WO 2018/213338호(이는 모든 목적을 위해 그 전체가 원용되어 포함됨)는 컬러 픽셀과 라이다 픽셀이 정렬되는 회전하는 라이다 센서에 의해 트리거되는 고정 카메라의 이러한 예를 제공한다. 컬러 픽셀에서 컬러 변화의 경향은 예를 들어 컬러 픽셀에서 컬러 값들의 임의의 세트에 대한 보간된 또는 기능적 맞춤으로서 결정될 수 있다. 이러한 기능을 측정된 라이다 픽셀 사이의 깊이 값을 결정하는 데 사용함으로써, 더 높은 해상도로 라이다 데이터의 업샘플링을 가능하게 한다.
따라서, 검출 회로가 주변광을 검출하여 컬러 픽셀들의 어레이를 생성하는 컬러 센서들을 포함하는 경우, 깊이 이미징 회로는 깊이 픽셀 중 하나 이상을 컬러 픽셀 각각에 상관시킬 수 있다. 필터 커널(1414)의 하나 이상의 필터 커널은 소정의 컬러 픽셀과 이웃하는 다른 라이다 픽셀과 상관된 컬러 픽셀을 사용하여 소정의 컬러 픽셀에 대한 색상 값을 조정하는 필터 커널을 포함할 수 있다. 다른 라이다 픽셀은 소정의 컬러 픽셀과 상관된 제1 깊이 값과 다른 라이다 픽셀의 다른 깊이 값 사이의 차이를 포함하는 하나 이상의 근접 기준을 충족시킬 수 있다.
따라서 유사한 색상 또는 공간 위치에 기초하여 깊이(거리 측정) 값을 조정할 수 있다.
VI. 분류
라이다 및 컬러 이미지에 기초하는 깊이 및 색상 값을 업데이트하는 것 외에 또는 이에 더하여, 실시형태는 머신 러닝 모델 및 기타 인공 지능(AI) 모델을 사용하여 이러한 이미지를 분석하여 물체를 식별하고 분류할 수 있다. 이러한 분류 정보는 다양한 방식으로 사용될 수 있다. 예를 들어, AI 보조 프로세서는 일련의 이미지에 의미 라벨링(semantic labeling)을 수행할 수 있다. 물체가 분류되고 특정 라이다 및/또는 컬러 픽셀에 할당되면 이러한 정보를 사용하여 이러한 이미지를 업데이트할 수 있다. AI 보조 프로세서(또는 분류 회로)는 프로세서가 픽셀들의 집합에 대해 작동하는 경우 커널 기반 프로세서일 수 있다.
도 15는 본 개시내용의 실시형태에 따른 제어기(1550) 및 라이다 AI 보조 프로세서(1510)를 포함하는 광 거리 측정 시스템(1500)을 도시한다. 제어기(1550)는 본원에 설명된 다른 제어기에 해당할 수 있다. 광 거리 측정 시스템(1500)의 다양한 구성요소는 동일하거나 상이한 집적 회로 상에 있을 수 있다.
제어기(1550)는 초기 라이다 이미지(1505)(예를 들어, 도 13의 이미지 #1 및 #2)를 라이다 AI 보조 프로세서(1510)에 전송한다. 전술한 바와 같이, 제어기(1550)는 센서들로부터 스트리밍되고 있는 히스토그램 데이터를 결정된 깊이 값으로 캐싱하여 초기 라이다 이미지들을 라이다 이미지들의 스트림의 프레임으로 생성할 수 있다. 라이다 이미지의 스트림은 광 감지 모듈이 상이한 위치를 스캔함에 따라 라이다 AI 프로세서(1510)에 제공될 수 있다. 도시된 바와 같이, 제공될 수 있는 라이다 이미지의 스트림을 예시하기 위해 2개의 라이다 이미지가 도시된다. 이미지의 스트림은 생성된 순서, 예를 들어 위치들의 순서로 될 수 있다. 일부 구현예에서, 위치는 라이다 이미지와 함께 제공되는 메타데이터의 일부로 제공될 수 있다.
라이다 AI 보조 프로세서(1510)에서, 입력 버퍼(1512)는 초기 라이다 이미지들(1505)을 분류기(1514)로 한 번에 하나 또는 한 번에 다수로 전송하기 전에 캐싱할 수 있다. 한 프레임의 픽셀들이 (적어도 측면으로) 기지의 공간 관계를 갖기 때문에, 실시형태는 한 그룹의 라이다 픽셀들, 예를 들어 5x5 서브그룹(또는 다른 크기의 그룹), 또는 전체 프레임의 모든 라이다 이미지를 분석할 때 이러한 기지의 공간 관계를 활용하는 처리를 수행할 수 있다. 개별적인 픽셀과는 대조적으로 상이한 픽셀에 대한 깊이 값들의 그룹의 특성을 사용할 수 있다. 예컨대, 그룹의 깊이 값들에 대한 통계를 사용하여 어느 픽셀이 동일한 물체에, 예를 들어 서로 임계값 내의 깊이 값을 갖는 픽셀들의 그룹에, 해당하는 픽셀인지 결정할 수 있다. 동일한 물체에 해당하는 것은 2개의 픽셀을 상관시키는 한 가지 방식이다. 그룹에 대한 이러한 분류는 최종 라이다 이미지의 깊이 값의 정확도를 높이고 누락된 데이터를 채우고 더 높은 해상도를 제공하는 데 사용할 수 있다. 후술하는 바와 같이, 다양한 분류 모델을 사용할 수 있다. 하나보다 많은 분류 모델을 적용할 수 있으며, 결과를 결합할 수 있다.
분류기(1514)는 분류 정보(예를 들어, 동일한 물체에 대응하는 것으로 식별되는 특정 픽셀을 갖는 분류된 라이다 이미지)를 선택사항일 수 있거나 대신 분류기(1514)에서 구현되는 기능을 가질 수 있는 신호 프로세서(1516)에 제공할 수 있다. 필터 커널(예를 들어, 도 14의 1414)에 의해 구현될 수 있는 컨볼루션 커널을 포함할 수 있는 컨볼루션 신경망을 포함하는 다양한 모델이 분류기(1514)에 사용될 수 있다. 분류된 컬러 이미지는 동일한 물체에 해당하는 모든 픽셀이 분류된 라이다 이미지의 콘텐츠를 통해 결정될 수 있도록 (예를 들어, ID를 사용하여) 각각의 라이다 픽셀을 물체에 할당할 수 있다. 따라서, 분류 정보는 라이다 이미지의 어떤 라이다 픽셀이 동일한 물체에 해당하는지 나타낼 수 있다.
신호 프로세서(1516)는 동일한 물체에 할당되는 이웃하는 픽셀에 기초하여 깊이 값이 파이프라인의 이후 단계로 보고하기에 충분한 정확도를 갖는지 여부를 결정할 수 있다. 일부 실시형태에서, 신호 프로세서(1516)는 동일한 라이다 이미지의 상이한 분류로부터 생성된 다수의 분류된 이미지를 분석하고, 분류를 사용하여 라이다 픽셀에 대한 새로운(업데이트된) 값을 결정할 수 있다. 추가로 또는 대신에, 신호 프로세서(1516)는 광 감지 모듈의 상이한 위치에 대응하는 다수의 분류 이미지를 사용할 수 있다. 예를 들어, 다양한 모델을 사용하는 분류(예를 들어 의사결정 분지도 및 신경망, 또는 이러한 모델의 다른 유형, 또는 노드 또는 은닉층의 개수와 같은 동일한 모델에 대해 상이한 파라미터의 사용)이 동일한 라이다 이미지에 적용될 수 있다.
출력 버퍼(1518)는 처리된 라이다 이미지를, 처리된 라이다 이미지(1507)로서 제어기(1550) 또는 다른 장치로 다시 전송하기 위해, 수신하고 캐싱할 수 있다. 일부 구현예에서, 신호 프로세서(1516)는 예를 들어, 이전 프레임의 처리된 이미지가 다음 프레임의 분류된 이미지를 처리하기 위해 필요할 때 추가 분석을 위해 출력 버퍼(1518)로부터 처리된 이미지를 검색할 수 있다. 그러한 캐싱은 또한 신호 프로세서(1516)에 대해 내부적으로 수행될 수 있다. 그 다음, 하나 이상의 처리된 이미지는 해당 이미지가 출력할 준비가 되었음을 식별하는 플래그와 함께 출력 버퍼로 전달할 수 있다.
따라서, 분류기 회로(예를 들어, 라이다 AI 보조 프로세서(1510))는 광 거리 측정 장치와 통신 가능하게 결합되고 거리 측정 회로에 의해 출력된 라이다 이미지를 수신하고, 라이다 이미지의 라이다 픽셀에서 깊이 값을 분석하고, 한 세트의 라이다 픽셀들을 라이다 픽셀들의 세트의 해당 깊이 값에 기초하여 상관시키고, 상관 관계에 기초하여 라이다 픽셀들의 세트의 분류 정보를 출력하도록 구성될 수 있다. 본원에 기술된 바와 같이, 상관된 라이다 픽셀들의 세트는 환경에서 물체의 동일한 지점에 해당하는 제2 라이다 이미지의 제2 라이다 픽셀과 상관되는 제1 라이다 이미지의 제1 라이다 픽셀을 포함할 수 있다.
상술한 바와 같이, 컬러 영상은 라이다 영상과 동시에 얻을 수 있다. 초기 컬러 이미지(1525)는 컬러 AI 보조 프로세서(1530)로 전송될 수 있다. 입력 버퍼(1532)는 초기 컬러 이미지들(1525)을 분류기(1534)에 한 번에 하나 또는 한 번에 다수로 전송하기 전에 캐싱할 수 있다. 한 프레임의 컬러 픽셀들이 (적어도 측면으로) 기지의 공간 관계를 갖기 때문에, 라이다 이미지에 대해 설명한 바와 같이, 실시형태는 한 그룹의 컬러 픽셀들, 예를 들어 5x5 서브그룹(또는 다른 크기의 그룹) 또는 전체 프레임의 모든 라이다 이미지에 대해 그룹 기능을 수행함으로써 이러한 기지의 공간 관계를 활용하는 처리를 수행할 수 있다.
신호 프로세서(1536)는 분류기(1534)로부터 분류된 컬러 이미지를 분석할 수 있다. 분류된 컬러 이미지는 분류된 컬러 이미지의 내용을 통해 동일한 물체에 해당하는 모든 픽셀이 결정될 수 있도록 (예를 들어, ID를 사용하여) 각 컬러 픽셀을 물체에 할당할 수 있다. 신호 프로세서(1536)는 동일한 초기 컬러 이미지에서 다양한 분류 모델을 사용하여 생성된 다수의 분류된 이미지를 분석할 수 있다. 신호 프로세서(1536)는 예를 들어 물체의 에지를 정의할 목적으로 컬러 이미지에 대한 새로운 컬러 값을 결정하기 위해 이웃하는 픽셀의 분류 및/또는 동일한 픽셀의 다수의 분류를 사용하는 로직을 포함할 수 있다. 신호 프로세서(1536)는 일련의 프레임에 대해 (예를 들어, 광 감지 모듈의 다른 위치에 대해) 분류된 이미지들의 그룹을 분석할 수 있다.
일부 구현예에서, 분류기(1514 및 1534)(및/또는 신호 프로세서(1516 및 1536))는 해당하는 픽셀의 깊이 값 및 색상 값에 대한 정보(이뿐만 아니라 이들의 분류에 대한 정보도)를 교환하여 이미지에 대해 분류를 하거나 새로운 값을 결정할 때 라이다 및 컬러 픽셀뿐만 아니라 이웃하는 픽셀의 해당 값을 설명할 수 있는 결합 처리를 수행할 수 있다. 예를 들어, 색상 및/또는 깊이의 유사도(예를 들어, 각각의 임계값 내에 있음)는 픽셀을 동일한 물체에 해당하는 것으로 분류하기 위한 기준으로 사용될 수 있다. 이러한 결합 분석은 또한 라이다 및 컬러 이미지 프로세서를 사용할 수 있다. 버스(1560)는 일반적으로 라이다 AI 보조 프로세서(1510)와 컬러 AI 보조 프로세서(1530) 사이에서, 특히 신호 프로세서(1516)와 신호 프로세서(1536) 사이에서 정보를 전달할 수 있다.
출력 버퍼(1538)는 처리된 라이다 이미지를, 처리된 컬러 이미지(1527)로서 제어기(1550) 또는 다른 장치로 다시 전송하기 위해, 수신하고 캐싱할 수 있다. 일부 구현예에서, 신호 프로세서(1536)는 예를 들어, 이전 프레임의 처리된 이미지가 다음 프레임의 분류된 이미지를 처리하기 위해 필요할 때 추가 분석을 위해 출력 버퍼(1538)로부터 처리된 이미지를 검색할 수 있다. 그러한 캐싱은 또한 신호 프로세서(1536)에 대해 내부적으로 수행될 수 있다. 그 다음, 하나 이상의 처리된 이미지는 해당 이미지가 출력할 준비가 되었음을 식별하는 플래그와 함께 출력 버퍼로 전달할 수 있다.
후처리 프로세서(1540)는 처리된 라이다 이미지(1507) 및/또는 처리된 컬러 이미지(1527)를 분석할 수 있다. 후처리 프로세서(1540)는 분류된 라이다 이미지 및 컬러 이미지의 임의의 결합 분석을 수행할 수 있다.
물체에 대한 픽셀의 분류는 디스플레이 상에서 사용자에게 출력될 수 있다. 예를 들어, 경계 상자(bounding box)는 동일한 물체에 해당하는 것으로 식별된 라이다 픽셀을 예시할 수 있다.
A. 사전의미 식별 마스크(Presemantically Identified Masks)
분류기(1514 및 1534)는 특정 라이다 시스템, 예를 들어 표준 도로를 주행하는 승용차에 설치된 시스템이 마주할 수 있는 물체의 유형에 대한 지식을 사용할 수 있다. 예를 들어, 도로는 승용차에 설치된 시스템에 대해 항상 존재하며, 여기서 도로는 환경의 하반부로 제한되고 제한된 폭을 가질 수 있다. 또 다른 예로서, 이웃하는 차량의 크기는 초기에 인지된 높이에 기초하여 분류를 위해 제한되어, 그 높이가 훨씬 높을 수 있는 트레일러가 있는 대형 세미 트럭의 검출을 허용하면서 각각 옆에 있는 2 대의 차량을 구별할 수 있다.
일부 실시형태에서, 사용자는 특정 물체, 예를 들어 도로에 대한 이미지의 영역을 정의할 수 있다. 예컨대, 라이다 장치는 차량의 범퍼에 장착될 수 있으며, 차량의 제조사는 범퍼의 높이에 대한 지식에 기초하여 도로에 해당할 수 있는 환경의 특정 부분을 특정할 수 있다. 이러한 사용자 입력은 사용자 인터페이스에서 그림을 통해 제공되거나 물체가 제한되는 직사각형 또는 다른 형상의 점들에 대한 수치 입력으로 제공될 수 있다.
따라서 라이다 픽셀에 대한 검출 기준은 라이다 이미지에서 픽셀이 존재하는 위치에 기초하여 달라질 수 있다. 차량의 앞에 그리고 이미지의 하반부에 있는 라이다 픽셀은 차도에 해당할 가능성이 있다. 이러한 픽셀은 시야가 예를 들어 특정된 피치만큼 아래로 기울어진 센서에 의해 검출될 수 있다. 따라서, 잡음에 대한 신호에 대해 덜 엄격한 임계값이 허용될 수 있으며, 이에 의해 약한 검출이 여전히 특정 픽셀에 대한 깊이 값을 제공할 수 있게 한다. 대조적으로, 이미지의 다른 부분에 있는 라이다 픽셀은 출력하기에 충분한 정확도로 결정되어야 하는 깊이 값의 결정 및 피크 검출에 대해 더 엄격한 요구 사항을 가질 수 있다.
B. 라이다 분류 및 처리
분류기(1514)는 하나 이상의 라이다 이미지로부터의 깊이 값을 사용하여 동일한 물체에 대응하는 픽셀을 결정할 수 있다. 동일한 물체의 이웃하는 지점에 대한 깊이 값은 한 픽셀에서 이웃하는 픽셀(예를 들어, 직선 그리드의 이웃하는 위치)로 크게 변경되지 않기 때문에, 깊이 값의 사용은 분류기의 정확도를 높일 수 있다. 이웃하는 라이다 픽셀의 깊이 값의 사용은, 예를 들어 색상 값을 사용하는 것과 비교하여, 2개의 픽셀을 동일한 물체에서 나온 것으로 식별하는 데 있어 증가된 신뢰도를 제공한다.
한 그룹의 라이다 픽셀들이 동일한 물체에 해당하는 것으로 식별되면, 예를 들어 라이다 AI 보조 프로세서(1510)로부터 분류 정보를 수신할 수 있는 라이다 이미지 프로세서(1410)에 의해 수행되는 바와 같이, 깊이 값은 해당 그룹의 픽셀들에 대해서만 평활화될 수 있다. 유사하게, 컬러 이미지 프로세서(1430)는 동일한 물체의 모든 컬러 픽셀을 유사한 컬러로 만들거나 단지 해당 물체에 해당하는 것으로 식별된 픽셀의 컬러를 혼합할 수 있다.
분류는 또한 깊이 값의 결정, 또는 적어도 깊이 값이 최종 라이다 이미지에 포함되는지 여부를 결정하는 데 사용할 수 있는 깊이 값의 신뢰도를 알려줄 수 있다. 라이다 픽셀이 이웃하는 픽셀과 동일한 물체로 식별되고 깊이 값이 유사하면, 히스토그램의 광자 수의 합계가 상대적으로 낮아서 초기 신뢰도가 낮더라도 해당 픽셀에 대한 깊이 값을 포함할 수 있다. 분류로부터의 증가된 신뢰도는 특히 필터 커널이 적용된 후, 예를 들어 물체에 대한 깊이 값을 평활화하기 위해 깊이 값이 정확한지 결정하기에 충분할 수 있다. 분류(예를 들어, 의미 라벨링)의 사용은 본원에 설명된 커널 함수(예를 들어, 가우시안)에 의해 정의된 가중치에 따라 신호 값을 누적하는 필터 커널을 사용하여 제2 패스로 수행될 수 있다. 이러한 누적(예를 들어, 필터 커널(1414) 및 신호 프로세서(1416)를 사용한 제1)의 제2 패스는, 예를 들어, 제1 패스에서 수행될 수 있는 것처럼 측면 근접에 기초하여 사용되는 것보다 더 많은 픽셀의 깊이 값을 사용할 수 있다. 따라서, 공간정보와 의미(분류) 정보를 모두 사용하여 누적이 수행될 수 있다.
분류 모델은 미리 결정된 유형의 물체(예를 들어, 전면유리, 헤드라이트, 도어, 후드 등과 같은 다수의 구성요소를 갖는 차량)를 설명할 수 있다. 각 구성요소는 이웃하는 지점 간에 예상되는 관계를 가질 수 있으며, 이는 필터링 단계에서 사용되는 커널 기능을 알려주거나 예상되는 깊이 및/또는 색상 관계에 기초한 분류 정보(예를 들어, 전면유리는 후드와 다른 색상이지만 동일한 차량 물체의 일부임)를 알려줄 수 있다.
일부 실시형태에서, 물체의 유형은 예를 들어 필터 커널(1414)에 의해 사용되는 필터 커널의 유형을 결정하는 데 사용될 수 있다. 예를 들어, 일부 유형의 물체에 평활 커널(smoothing kernel)이 적용되고 다른 유형에는 적용되지 않을 수 있다. 예컨대, 도로에 해당하는 것으로 분류된 한 그룹의 픽셀들은 평활화 필터에 의해 평활화될 수 있다. 그러나, 나무 또는 기타 거친 표면에 해당하는 것으로 식별된 픽셀들의 그룹에는 평활 필터가 적용되지 않는다. 또 다른 예로서, 정지 신호는 3D 위치(예를 들어, 차도 위 높이) 및 모양(팔각형)에 기초하여 분류될 수 있으며, 이는 라이다 이미지의 깊이 값에서 결정할 수 있다. 연관된 픽셀들의 범위 값은 물체 유형이 평면이라는 사실에 기초하여 조정될 수 있다. 어떤 필터 커널이 적용되는지 뿐만 아니라 파라미터에 대한 특정 값을 사용할 수 있으며, 예를 들어 가우스 커널의 모양과 높이는 물체의 유형에 따라 달라질 수 있다.
물체의 유형은 특정 예상 크기를 가질 수 있으며, 이는 최종 라이다 이미지에 깊이 값을 포함하기에 충분한 신뢰도가 있는지 여부를 결정하기 위한 검출 기술에 사용될 수 있다. 예를 들어, 도로는 환경의 제한된 부분을 차지할 수 있다. 차도의 예상 위치에 해당하는 픽셀의 깊이 값을 포함하는 데 더 낮은 신뢰도를 허용할 수 있으며, 이는 정확도를 손상시키지 않고 최종 라이다 이미지의 거리 범위를 증가시킬 수 있다. 따라서, 라이다 픽셀이 특정 물체에 대해 미리 정의된 위치에 해당하는 경우, 보다 관대한 기준(예를 들어, 피크 및/또는 잡음 임계값)을 사용함으로써, 최종 라이다 이미지에 픽셀을 보다 적극적으로 포함시킬 수 있다.
C. 색상 분류 및 처리
더 높은 해상도 컬러 데이터에 기초한 라이다 데이터의 업샘플링은 위에 설명하였다. 추가적으로 또는 대신에, 분류 데이터에 기초하여 라이다 데이터를 업샘플링할 수 있다. 예를 들어, 특정 유형의 물체는 형상에 대해 알려진 파라미터를 가지거나, 적어도, 형상에 대해 추정된 파라미터를 가질 수 있다. 예컨대, 차량 유형은 색상 및/또는 라이다 데이터로부터, 예를 들어 물체의 일반적인 윤곽에 기초하여 결정될 수 있다. 그 다음, 차량 유형의 형상은 예를 들어 데이터베이스로부터 식별될 수 있다. 형상은 예를 들어 문에 있는 핀(fin)이나 선과 같은 작은 특정한 특징을 가질 수 있다. 라이다 데이터는, 예를 들어 3차원(3D) 보기에서, 최종 라이다 이미지에 이러한 특징을 보여주도록 업샘플링될 수 있다. 또한, 누락된 라이다 데이터(예를 들어, 잡음 또는 낮은 신호로 인해 일부 라이다 픽셀이 누락될 수 있음)는 물체의 추정 형상에 기초하여 채워질 수 있다.
물체의 형상(예를 들어, 동일한 물체에 속하는 컬러 픽셀들의 그룹의 분류에서 결정됨)은 비가 오는 동안 발생할 수 있는, 예를 들어 스퓨리어스 렌즈로 인한, 라이다 데이터의 이상을 식별하는 데에도 사용될 수 있다. 차량에 할당된 컬러 픽셀의 개수에 기초하여 차량의 일반적인 거리를 추정할 수 있다. 차량에 할당된 적은 수의 컬러 픽셀은 차량이 상대적으로 멀리 떨어져 있음(예를 들어, 50m 초과)을 나타낼 것이다. 그러나, 해당 라이다 픽셀(즉, 이미지에서 동일한 위치에 있는 라이다 픽셀)에 대한 범위 값이 차량이, 예를 들어 10m 이내와 같이, 상대적으로 가깝다는 것을 나타내는 경우, 컬러 데이터 또는 라이다 데이터에서 이상을 식별할 수 있다. 날씨가 비(예를 들어, 날씨 정보 또는 습도 센서에 의해 결정됨)인 경우, 라이다 데이터는 이상으로 식별될 수 있다. 이러한 경우, 잘못된 데이터를 사용자에게 보여주지 않도록 해당 라이다 데이터를 등록하지 않으므로, 이는 운전자에게 돌발적인 반응을 초래하여 어쩌면 사고로 이어지게 할 수 있다.
D. 결합 필터링 및 분류
상술한 바와 같이, 도 15의 분류 및 도 14의 필터링/처리를 조합하여 사용할 수 있다. 예를 들어, 분류 정보를 사용하여 동일한 물체의 다른 라이다 픽셀에 기초하여 누락된 라이다 픽셀을 채울 수 있다.
도 16은 본 개시내용의 실시형태에 따른 제어기(1650), 라이다 이미지 프로세서(1610), 및 라이다 AI 보조 프로세서(1630)를 포함하는 광 거리 측정 시스템(1600)을 도시한다. 제어기(1650)는 본원에 설명된 다른 제어기에 해당할 수 있다. 광 거리 측정 시스템(1600)의 다양한 구성요소는 동일하거나 상이한 집적 회로 상에 있을 수 있다.
광 거리 측정 시스템(1600)은 광 거리 측정 시스템(1400 및 1500)과 유사한 방식으로 작동할 수 있다. 제어기(1650)는 초기 라이다 이미지(1605)를 라이다 이미지 프로세서(1410)와 유사한 방식으로 동작할 수 있는 라이다 이미지 프로세서(1610)에 전송할 수 있다. 제어기(1650)는 또한 초기 라이다 이미지(1625)를 라이다 AI 보조 프로세서(1510)와 유사한 방식으로 작동할 수 있는 라이다 AI 보조 프로세서(1630)에 전송할 수 있다. 초기 라이다 이미지(1605)는 초기 라이다 이미지(1625)와 동일할 수 있다.
버스(1670)는 일반적으로 라이다 이미지 프로세서(1610)와 라이다 AI 보조 프로세서(1630) 사이에 정보를 전달할 수 있으며, 이러한 프로세서 내의 개별 구성요소를 포함한다. 하나의 프로세서에서 다른 프로세서로의 중간 또는 최종 결과의 통신은 처리된 라이다 이미지(1607) 또는 분류 정보(1627)를 출력하기 위한 처리를 완료하는 데 사용될 수 있으며, 분류 정보는 동일한 물체에 해당하는 픽셀들의 그룹이 식별되는 분류된 이미지를 포함할 수 있다. 이러한 분류를 알리기 위한 처리된 라이다 이미지의 사용 또는 (예를 들어, 깊이 값을 업데이트하거나 추가하기 위해) 라이다 이미지의 처리를 알리기 위한 분류된 이미지의 사용은 위에 설명하였다.
유사한 구성을 색상 처리에 사용할 수 있다. 예를 들어, 컬러 이미지 프로세서와 컬러 AI 보조 프로세서는 서로 통신할 수 있을 뿐만 아니라 라이다 이미지 프로세서(1610)와 라이다 AI 보조 프로세서(1630)와도 통신할 수 있다. 컬러 프로세서(1660)는 이러한 구성을 구현할 수 있다.
후처리 프로세서(1640)는 처리된 라이다 이미지(1607) 및/또는 분류 정보(1627)를 분석할 수 있다. 후처리 프로세서(1640)는 분류된 라이다 이미지 및 컬러 이미지의 임의의 결합 분석을 수행할 수 있다.
따라서, 분류기 회로를 가진 시스템은 또한 광 거리 측정 장치 및 분류기 회로와 통신 가능하게 결합된 깊이 이미징 회로를 포함할 수 있으며, 깊이 이미징 회로는 라이다 픽셀의 라이다 이미지를 수신하고, 동일한 물체에 해당하는 라이다 픽셀들의 그룹에 대한 분류 정보를 수신하고, 분류 정보에 기초하여 라이다 프레임의 라이다 픽셀의 서브세트에 하나 이상의 필터 커널을 적용하도록 구성된다.
VII. 키 포인트(이미지 등록)
일부 실시형태에서, 분류(예를 들어, 분류기(1514)에 의한 분류)는 이미지에서 키 포인트를 식별하는 단계, 및 한 프레임의 특정 키 포인트가 일련의 라이다 이미지의 다른 프레임에 있는 특정 키포인트에 해당하는 것을 식별하는 단계를 포함할 수 있다. 키 포인트는 로컬 이미지 주변에서 깊이 값(및/또는 색상 값)의 변화의 크기와 방향을 분석하여 깊이/색상 값이 상당한 변화를 나타내는 고대비 모서리 및 가장자리를 검출함으로써 식별할 수 있다.
키 포인트는 차량(예를 들어, 자동차 또는 로봇)이 3D 공간에서 어떻게 이동하고 있는지를 결정하기 위해 매핑 또는 주행 거리 측정 문제에 사용할 수 있다. 시스템은 라이다의 2개의 이미지를 사용하여, 고정되어 있을 수 있는 키 포인트에 대해 차량이 위치를 어떻게 변경하는지를 결정할 수 있다. 이미지 등록은 2개의 이미지에서 물체의 동일한 지점에 해당하는 2개의 키 포인트를 상관시킴으로써 2D 또는 3D로 수행될 수 있다. 키 포인트는 예를 들어 건물의 가장자리와 같은 고유한 시그니처를 가질 수 있다. 건물의 가장자리는 가장자리 전후에 새로운 방향(또는 비율)으로 변화하는 깊이 값을 통해 식별할 수 있으며, 이는 유사한 변화를 나타내는 일련의 점으로 정의될 수 있다.
따라서 물체의 동일한 지점에 대한 2개의 키 포인트의 상관 관계는 인접한 깊이(라이다) 픽셀 사이의 깊이 값의 차이를 사용할 수 있다. 2개의 이미지 각각에서 하나 이상의 이웃하는 픽셀에 대한 유사한 차이(예를 들어, 임계값 내)는 2개의 키 포인트가 동일한 물체의 동일한 지점에 대한 것임을 나타낼 수 있다.
또 다른 예로서, 특정 시간 빈에 대한 피크 값을 사용할 수 있다. 예컨대, 물체 상의 특정 지점이 이웃하는 지점에 대한 깊이 값의 고유한 차이를 갖는 경우, 피크 값들의 고유한 패턴이 또한 존재할 수 있다. 소정의 시간 빈에 대해 해당 지점에서의 신호는 인접 픽셀의 신호보다 높을 것이며, 여기서 신호 값의 차이는 2개의 지점 간의 깊이 차이에 따라 달라질 것이다. 각각의 이웃하는 픽셀(들)에 대한 신호 값의 유사한 차이는 키 포인트가 각 이미지에서 동일함을 나타낼 수 있다.
2개의 키 포인트가 2개의 이미지 간에 상관되어 동일한 키 포인트로 식별되면 키 포인트에 대한 차량의 상대적 3D 위치 변화를 제공하기 위해 해당 3D 위치(그리드의 측면 위치와 결합된 깊이)를 차감할 수 있다. 키 포인트가 고정되어 있는 경우, 2개의 측정의 시간 간격과 결합할 때 차감된 값을 사용하여 속도를 결정할 수 있다. 이러한 연산은 차량에 장착된 라이다 시스템의 평균 움직임을 얻기 위해 영상 사이의 수많은 키 포인트에 대해 수행될 수 있다.
따라서, 라이다 AI 보조 프로세서(예를 들어, 1510 또는 1610)는 다수의 라이다 이미지를 분석하여 라이다 이미지의 프레임 간의 상관된 키 포인트를 식별할 수 있다. 라이다 AI 보조 프로세서는 한 프레임에서 키 포인트를 식별하고, 키 포인트에 해당하는 라이다 픽셀을 버퍼링하고(이는 전체 라이다 프레임 또는 깊이 값 및 픽셀 위치를 포함한 특정 픽셀만 저장하여 수행될 수 있음), 다음의 프레임에서 키 포인트를 결정한 다음, 2 세트의 키 포인트들 간의 상관관계를 도출한다. 따라서, 제1 라이다 이미지 이후에 제2 라이다 이미지를 획득할 수 있으며, 여기서 제1 라이다 이미지는 제2 라이다 이미지를 획득하는 동안 버퍼링된다.
분류 정보(1627)는 키 포인트의 상관관계를 포함할 수 있다. 예를 들어, 분리된 프레임(예를 들어, 연속 프레임)의 라이다 픽셀의 번들은 키 포인트로 번들링될 수 있으며, 여기서 후처리 프로세서(1640)는 평균 속도를 결정하기 위해 이러한 번들링된 키 포인트를 사용할 수 있다. 파이프라인의 다른 나중 구성요소는, 예를 들어 도 2의 차량 제어 유닛(217)과 같은 독립형 컴퓨터의 구성요소는, 또한 평균 속도를 결정하기 위해 계산을 수행할 수 있다. 시간 경과에 따른 속도 값을 함께 사용하여 주행 거리를 결정할 수 있다. 추가로 분리된 프레임(예를 들어, 제1 및 제3 프레임)의 연속되는 프레임과의 차이를 사용하여 속도를 결정할 수 있다. 프레임들의 2개 이상의 쌍의 라이다 픽셀 간의 복합적인 차이를 사용하여 높은 정확도를 얻을 수 있다.
키 포인트는 또한 시각화에도 사용될 수 있으며, 예를 들어 특정 색상을 사용하여 키 포인트에 해당하는 라이다 픽셀을 묘사할 수 있다. 또한 상대 속도를 보여주는 화살표를 표시할 수 있다. 이러한 묘사는 고정 물체 및 기타 이동 물체와 비교하여 차량의 상대적인 움직임을 전달할 수 있다.
일부 실시형태에서, 키 포인트의 분류는 각각의 물체에 대응하는 픽셀들의 그룹의 의미 분류와 결합될 수 있다. 이러한 상이한 유형의 분류는 분류기(1514)의 별도의 분류 엔진에 의해 수행될 수 있다.
한 예로, 키 포인트는 동일한 이동 물체의 일부로 함께 그룹화되는 키 포인트의 픽셀에 기초하여 이동 물체에 할당될 수 있다. 이동 물체에 할당된 키 포인트는 이동 물체의 속도를 결정하는 데 사용될 수 있으며, 여기서 이러한 속도는 라이다 시스템에 대해 상대적이거나 절대적일 수 있다. 이러한 절대 속도는 먼저 하나 이상의 고정된 물체에 대한 라이다 시스템의 속도를 결정함으로써 결정될 수 있다. 그 다음, 이동 물체의 키 포인트의 변화를 사용하여 라이다 시스템과 비교하여 상대 속도를 결정할 수 있다. 라이다 시스템의 속도와 이동 물체의 상대 속도를 차감하여 고정된 물체에 대한 이동 물체의 절대 속도를 결정할 수 있다. 이동 물체의 모든 픽셀은 이동 물체에 할당된 키 포인트로부터 결정된 동일한 평균 속도가 할당될 수 있다.
다양한 기술을 사용하여 키 포인트를 상관시킬 수 있다. 키 포인트의 픽셀 ID(예를 들어, 라이다 이미지의 2D 그리드에서의 위치)는 후속 프레임에서 물체의 동일한 위치를 식별하기 위한 시작점이 될 수 있다. 주변 라이다 픽셀에 관련된 유사한 깊이 값은 동일한 가장자리 또는 모서리가 다음 라이다 이미지의 새 픽셀 ID에 반영되었음을 나타낼 수 있다. 2개의 프레임에 대한 이러한 2개의 픽셀 ID는 키 포인트로 그룹화될 수 있다. 예를 들어 신경망과 같은 머신 러닝 기술이 사용될 수 있다. 상관 관계는 컬러 데이터를 또한 사용할 수 있으므로, 어떤 컬러 픽셀에서 주변 컬러 픽셀로의 색상의 시그니처 변화는 주변 라이다 픽셀에 대한 해당 라이다 픽셀의 깊이와 조합으로 사용될 수 있다. 예컨대, 2개의 픽셀은 적색(근접 색상)으로 식별되고 공간적으로 서로 가깝고 주변 픽셀과 관련된 유사한 대비 메트릭(contrast metric)을 가질 수 있다.
상관 관계가 시도되기 전에 먼저 라이다 픽셀을 추적하기 위해 특정 기준(예를 들어, 주변 픽셀 간의 충분한 깊이 값 변화)을 사용할 수 있다. 픽셀의 깊이 값에 대한 높은 신뢰도가 또한 요구될 수 있다. 예컨대, 도로의 질감이 키 포인트를 충족시키기에 불충분할 수 있다.
따라서, 보조 프로세서(예를 들어, 분류 회로)는 검출 회로로부터 제1 프레임의 깊이 픽셀들을 수신할 수 있고 인접한 깊이 픽셀 간의 깊이 값의 차이 및/또는 인접한 깊이 픽셀 간의 피크 값의 차이를 사용하여 제1 프레임의 깊이 픽셀들에서 제1 세트의 키 포인트들을 식별할 수 있다. 키 포인트 및 깊이 픽셀의 측면(2D) 위치에 의해 형성된 3차원 위치 및 대응하는 깊이 값을 식별하는 데 사용되는 차이를 포함하는 제1 세트의 키 포인트들은 제1 버퍼에 저장될 수 있다.
보조 프로세서 검출 회로로부터 제2 프레임의 깊이 픽셀들을 수신할 수 있고 인접한 깊이 픽셀 간의 깊이 값의 차이 및/또는 인접한 깊이 픽셀 간의 피크 값의 차이를 사용하여 제2 프레임의 깊이 픽셀들에서 제2 세트의 키 포인트들을 식별할 수 있다. 그 다음, 제1 세트의 키 포인트들 중 하나 이상은 차이 및 3차원 위치를 사용하여 제2 세트의 키 포인트들 중 하나 이상에 상관될 수 있다. 예를 들어, 이미지가 연속적인 경우 깊이 값과 측면 위치는 임계값 내에 있어야 한다. 키 포인트의 속도는 상관된 쌍들의 키 포인트들 간의 차이를 사용하여 계산할 수 있다. 속도는 라이다 장치의 속도에 비례할 수 있다. 속도는 다양한 방식으로, 예를 들어 임계값보다 높은 속도를 갖는 물체를 식별하거나 물체에 대한 이미지에 숫자를 제공함으로써, 출력될 수 있다.
VIII. 방법
예를 들어, 라이다 이미지를 재구성하고 이미지 분석(예를 들어, 라이다 이미지 및/또는 컬러 이미지와 연관된 값을 조정함)을 위한 다양한 기술이 위에 설명되었다. 이러한 기술은 위에서 설명한 시스템을 사용할 수 있다.
A. 라이다 이미지의 재구성
이미지의 재구성은 픽셀과 연관된 값에 적용된 커널을 사용하여 예를 들어 분류 또는 이미지 분석과 같은 다운스트림 분석을 용이하게 할 수 있다.
도 17은 본 개시내용의 다양한 실시형태에 따른 모바일 장치에 설치된 광 거리 측정 시스템을 사용하여 거리 측정을 수행하기 위한 방법(1700)을 예시하는 흐름도이다. 모바일 장치는 자동차, 농기구, 건설 장비 등 다양한 유형이 될 수 있다.
블록 1710에서, 전송 회로는 펄스를 광 거리 측정 시스템의 하나 이상의 광원으로부터 전송한다. 펄스는 하나 이상의 물체에서 반사될 수 있다. 전송 회로는 예를 들어 레이저와 같이 위에서 설명된 다양한 회로를 포함할 수 있다.
블록 1720에서, 검출 회로는 광센서들의 어레이의 각 광선세에 대해 사용하는 펄스의 광자를 검출함으로써 신호를 측정한다. 검출 회로는 위에서 설명된 다양한 회로를 포함할 수 있으며, 예를 들어 각각의 광센서는 한 그룹의 SPAD들이다.
블록 1730에서, 센서 ID가 신호들 각각에 할당된다. 각각의 센서 ID는 광센서들의 어레이 중 하나에 해당한다. 센서 ID는 파이프라인에서 다양한 방식으로 다양한 지점에 할당될 수 있다. 예를 들어, 센서 ID는 신호와 함께 감지 회로로부터 수신될 수 있으므로, 센서 ID는 그 때 할당될 수 있다. 또 다른 예에서, 센서 ID는 전술한 바와 같이 검출 회로에 의해 신호들이 제공되는 특정된 순서에 기초하여 할당된다. 또 다른 예에서, 센서 ID는 제1 깊이 값에 센서 ID를 할당함으로써 신호 각각에 할당된다. 이러한 할당은 이미지 재구성 회로(예를 들어, 도 13의 1325)에 의해 수행될 수 있다. 따라서, 센서 ID는 제1 깊이 값들이 이미지 재구성 회로에 제공되는 특정된 순서에 기초하여 할당될 수 있다.
블록 1740에서, 신호는 분석되어 제1 깊이 값을 결정한다. 신호는 본원에 설명된 바와 같이 분석될 수 있다.
블록 1750에서, 제1 깊이 값을 사용하여 제1 라이다 이미지가 구성된다. 라이다 이미지는 위에서 설명한 매핑 테이블을 사용하여 구성될 수 있다. 센서 ID는 제1 라이다 이미지(예를 들어, 직선 이미지)의 제1 라이다 픽셀에 제1 깊이 값을 매핑하는 데 사용할 수 있다. 매핑 테이블은 해당 센서 ID에 기초하여 라이다 픽셀을 특정할 수 있다. 예를 들어, 매핑 테이블은 해당 센서 ID와 신호가 측정될 때 광 거리 측정 시스템의 위치에 기초하여 라이다 픽셀을 특정할 수 있다. 위치는 광 거리 측정 시스템의 각도 위치일 수 있다. 센서 ID 및 위치는, 예를 들어 도 9에서 전술한 바와 같이, 이미지 내의 고유한 픽셀을 특정할 수 있다.
블록 1760에서, 광 거리 측정 시스템의 이미지 버퍼는 제1 라이다 이미지의 제1 라이다 픽셀을 저장할 수 있다. 이미지 버퍼가 검출 회로와 동일한 집적 회로에 있을 때 이미지 버퍼는 로컬로 간주될 수 있다.
블록 1770에서, 제1 라이다 이미지의 로컬 프레임 또는 제1 라이다 이미지의 완성된 프레임의 제1 라이다 픽셀이 광 거리 측정 시스템의 커널 기반 보조 프로세서로 전송된다. 위에 기재된 바와 같이, 예를 들어 커널이 해당 로컬 프레임에 적용될 수 있으므로, 더 밝은 이미지의 일부(로컬 프레임)만 전송되기 전에 값을 가질 필요가 있을 것이다. 따라서, 필터 커널은 제1 라이다 이미지의 일부에 적용될 수 있으며, 여기서 필터 커널은 제1 라이다 이미지가 온전히 구성되기 전에 적용된다.
유사한 방식으로 추가 라이다 이미지를 구성하고 분석할 수 있다. 예를 들어, 제2 라이다 이미지는 제2 깊이 값을 사용하여 구성될 수 있다. 제2 라이다 이미지는 또한 이미지 버퍼에, 예를 들어 제1 라이다 이미지가 저장된 것과 다른 메모리 뱅크에, 저장될 수 있다. 제1 라이다 이미지의 하나 이상의 값은 제1 라이다 이미지 및 제2 라이다 이미지의 분석에 기초하여 조정됨으로써, 하나 이상의 조정된 값을 얻을 수 있다. 이러한 조정의 예는 도 14 및 도 15에 설명되어 있다. 하나 이상의 조정된 값은 제1 라이다 이미지의 컬러 값을 포함할 수 있으며, 예를 들어 여기서 컬러 픽셀은 라이다 픽셀과 연관된다.
B. 피크 값 또는 검출 임계값 조정
라이다 픽셀 및 라이다 이미지와 연관된 다양한 값은 다른 픽셀의 값 및 라이다 픽셀에 대한 근접도에 기초하여 조정될 수 있다. 예를 들어, 이러한 값은 피크 값 또는 검출 임계값을 포함할 수 있다. 조정 값은, 예를 들어 섹션 V에 설명된 바와 같이, 필터 커널에 기초할 수 있다.
도 18은 본 개시내용의 다양한 실시형태에 따른 모바일 장치에 설치된 광 거리 측정 시스템을 사용하여 거리 측정을 수행하는 방법(1800)을 예시하는 흐름도이다.
블록 1810에서, 전송 회로는 펄스를 광 거리 측정 시스템의 하나 이상의 광원으로부터 전송한다. 펄스는 하나 이상의 물체에서 반사될 수 있다. 전송 회로는 예를 들어 레이저와 같이 위에서 설명된 다양한 회로를 포함할 수 있다.
블록 1820에서, 펄스의 광자는 광 거리 측정 시스템의 하나 이상의 광센서에 의해 검출됨으로써, 깊이(라이다) 픽셀 어레이의 각 깊이 픽셀에 대해 복수의 지점에서 데이터 값을 생성한다. 하나 이상의 광센서는 광센서들의 어레이를 포함할 수 있다. 광센서의 예가 본원에 제공되며, 예를 들어 각각의 광센서는 한 그룹의 SPAD들이다. 복수의 시점에서의 데이터 값은 해당 어레이의 깊이 픽셀들의 각각의 깊이 픽셀에 대한 히스토그램을 형성할 수 있다. 특정 시간 빈에서 히스토그램의 카운터는, 상술한 바와 같이, 특정 시간 빈 내의 하나 이상의 시점에서의 하나 이상의 데이터 값에 해당할 수 있다.
하나 이상의 광원 중 제1 광원과, 하나 이상의 광센서 중 제1 광센서가 이동함으로써, 깊이 픽셀들의 어레이의 적어도 2개의 깊이 픽셀에 대한 데이터 값을 제공하는 데 사용될 수 있다. 이러한 동작의 예가 도 9에 제공된다.
블록 1830에서, 깊이 픽셀들의 어레이의 제1 깊이 픽셀에 관련된 하나 이상의 근접 기준을 충족시키는 깊이 픽셀들의 서브세트가 식별된다. 하나 이상의 근접 기준은 제1 깊이 픽셀과 또 다른 깊이 픽셀 사이의 측면 거리를 포함할 수 있다. 하나 이상의 근접 기준은 제1 깊이 픽셀의 제1 예비 깊이 값과 또 다른 깊이 픽셀의 또 다른 예비 깊이 값 사이의 차이를 더 포함할 수 있다.
블록 1840에서, 깊이 픽셀들의 서브세트의 데이터 값 들로부터의 정보가 집계됨으로써, 집계된 정보를 얻을 수 있다. 예로서, 데이터 값의 정보는 데이터 값 또는 데이터 값에서 유도된 수치 값을 포함할 수 있다. 집계하는 단계는 해당하는 시간 빈들로부터 데이터 값들의 합(예를 들어, 가중 합)을 결정하는 단계를 포함할 수 있다. 위에서 설명한 바와 같이, 집계된 정보는 소정의 픽셀에 대한 신호가 이후 단계에서 분석하기 위한 값이 될 만큼 충분히 강한지 여부를 결정하는 데 사용할 수 있다.
블록 1850에서, 제1 깊이 픽셀에 대한 데이터 값의 제1 피크 값 및/또는 검출 임계값은 집계된 정보를 사용하여 조정된다.
블록 1860에서, 제1 피크 값은 검출 임계값과 비교된다. 제1 피크 값이 감지 임계값을 초과하는 경우, 반사하는 펄스가 환경에 있는 물체로부터 오는 것으로 식별될 수 있다.
블록 1870에서, 검출 임계값을 초과하는 제1 피크 값에 기초하여, 제1 피크 값이 모바일 장치 주변 환경에 있는 물체에 해당한다고 결정된다. 검출 임계값은 고정 값 또는 동적 값일 수 있다.
블록 1880에서, 제1 깊이 픽셀에 대한 제1 깊이 값은 제1 피크 값과 연관된 제1 시점에 기초하여 결정된다. 이러한 깊이 값은 본원에 기술된 바와 같이 결정될 수 있다.
피크 값과 검출 임계값은 반사하는 펄스를 검출하는 데 사용될 수 있으며, 다양한 방식으로 조정될 수 있다. 광자의 배경 레벨은 깊이 픽셀의 서브세트에서 결정될 수 있고, 데이터 값의 피크 값은 깊이 픽셀의 서브세트에서 결정될 수 있다. 제1 피크 값은 피크 값을 사용하여 조정할 수 있으며, 감지 임계값은 배경 레벨을 사용하여 조정할 수 있다.
일부 예에서, 주변광은 컬러 픽셀들의 어레이를 생성하기 위해 컬러 센서들을 사용하여 측정될 수 있다. 컬러 픽셀들 중 하나 이상이, 예를 들어 본원에 설명된 바와 같이, 깊이 픽셀들 각각에 상관될 수 있다. 이러한 예에서, 하나 이상의 근접 기준은 다른 깊이 픽셀에 관련된 제1 깊이 픽셀에 대한 컬러 픽셀들 중 하나 이상의 색상 유사도를 포함할 수 있다.
C. 깊이 값 조정
피크 값 또는 검출 임계값 외에, 깊이 값을 조정할 수 있다. 조정 값은, 예를 들어 섹션 V 또는 섹션 VI에 설명된 대로, 필터 커널에 기초할 수 있다.
도 19는 모바일 장치에 설치된 광 거리 측정 시스템을 사용하여 거리 측정을 수행하는 방법(1900)을 예시하는 흐름도이다.
블록 1910에서, 전송 회로는 펄스를 광 거리 측정 시스템의 하나 이상의 광원으로부터 전송한다. 펄스는 하나 이상의 물체에서 반사될 수 있다. 전송 회로는 예를 들어 레이저와 같이 위에서 설명된 다양한 회로를 포함할 수 있다. 블록 1910은 블록 1810 및 본원의 다른 검출 개시내용과 유사한 방식으로 수행될 수 있다.
블록 1920에서, 펄스의 광자는 광 거리 측정 시스템의 하나 이상의 광센서에 의해 검출됨으로써, 깊이(라이다) 픽셀 어레이의 각 깊이 픽셀에 대해 복수의 지점에서 데이터 값을 생성할 수 있다. 블록 1920은 블록 1820 및 본원의 다른 검출 개시내용과 유사한 방식으로 수행될 수 있다.
블록 1930에서, 데이터 값의 제1 피크 값은 제1 깊이 픽셀에 대해 결정된다. 피크 값은, 예를 들어 본원에 기재된 바와 같이, 다양한 방식으로 결정될 수 있다. 예컨대, 정합 필터는 특정 펄스 패턴을 검출하는 데 사용될 수 있으며, 정합 시간의 신호(예를 들어, 히스토그램에 정의된 바와 같음)는 제1 피크 값을 결정하는 데 사용될 수 있다.
블록 1940에서, 제1 피크 값과 연관된 제1 시점에 기초하여 제1 깊이 픽셀에 대한 제1 깊이 값이 결정된다. 제1 깊이 값은, 예를 들어 본 명세서에 설명된 바와 같이, 다양한 방식으로 결정될 수 있다. 예컨대, 보간 방법을 사용하여 시간 빈의 폭보다 더 큰 분해능으로 시간을 결정할 수 있다.
블록 1950에서, 깊이 픽셀들의 어레이의 제1 깊이 픽셀에 관련된 하나 이상의 근접 기준을 충족시키는 깊이 픽셀들의 서브세트가 식별된다. 본원에 설명된 바와 같이, 다양한 근접 기준이 사용될 수 있다. 다양한 구현예에서, 이러한 이웃하는 깊이 픽셀은 어떤 깊이 픽셀과 연관된 값을 개선하거나 파이프라인의 효율성 및 이후 단계를 위해 이러한 측정을 폐기하는 데 사용될 수 있다.
블록 1960에서, 데이터 값의 각각의 피크 값은 깊이 픽셀의 서브세트에 대해 결정된다. 각각의 피크 값은 제1 깊이 값과 유사한 방식으로 결정될 수 있다.
블록 1970에서, 각각의 피크 값과 연관된 시점에 기초하여 깊이 픽셀들의 서브세트에 대해 다른 깊이 값이 결정된다. 다른 깊이 값은 제1 깊이 값과 유사한 방식으로 결정될 수 있다.
블록 1980에서, 제1 깊이 값은 다른 깊이 값에 기초하여 조정된다. 예컨대, 조정된 제1 깊이 값은 다른 깊이 값들 중 제1 값의 평균으로 결정될 수 있다. 다른 예는 다른 커널 기반 기술의 사용뿐만 아니라 동일한 물체에 해당하는 픽셀의 분류를 포함할 수 있다.
추가적으로, 분류가 수행될 수 있다. 따라서, 방법(1900)은 깊이 픽셀들의 어레이의 일부를 동일한 물체에 해당하는 것으로 분류하는 단계를 포함할 수 있다. 분류하는 단계는 유사한 색상 값 또는 유사한 이웃하는 라이다 픽셀의 깊이 값(예를 들어, 로컬 부근의 임계값 내)과 같은 다양한 인자에 기초할 수 있다. 하나 이상의 근접 기준은 동일한 물체에 대응하는 것으로 분류되는 깊이 픽셀의 서브세트를 포함할 수 있다.
사전 결정된 물체를 분류하기 위해 한 세트의 깊이 픽셀들의 어레이가 식별될 수 있다. 예컨대, 라이다 이미지의 특정 부분(예컨대, 하단)은 노면 감지를 위해 남겨둘 수 있다.
분류에 색상을 사용하는 예의 경우, 컬러 센서를 사용하여 주변광을 측정하여 컬러 픽셀들의 어레이를 생성할 수 있다. 컬러 픽셀들 중 하나 이상이 깊이 픽셀들 각각에 상관될 수 있다. 상기 하나 이상의 컬러 픽셀은, 예를 들어 색상이 유사한 것에 기초하여, 동일한 물체에 해당하는 것으로 깊이 픽셀을 분류하는 데 사용될 수 있으며, 이는 당업자에 의해 이해되는 바와 같이 측색법을 사용하여 거리로서 측정될 수 있다.
컬러 픽셀들의 어레이는 깊이 픽셀들의 어레이보다 더 높은 해상도를 가질 수 있다. 이러한 예에서, 방법은 해당 어레이의 깊이 픽셀들 사이에 놓이는 가상 깊이 픽셀에 대한 추가적인 깊이 값을 생성함으로써 거리 측정 해상도를 증가시키는 단계를 더 포함할 수 있다. 컬러 픽셀을 사용하여 추가적인 깊이 값을 생성할 수 있다. 이러한 업샘플링의 더 상세한 내용이 위에 제공된다.
D. 컬러 픽셀 조정
깊이 값 외에, 색상 값도 또한 조정할 수 있다. 조정 값은, 예를 들어 섹션 V 또는 섹션 VI에 설명된 대로, 필터 커널에 기초할 수 있다.
도 20은 본 개시내용의 다양한 실시형태에 따른 컬러 이미지를 보정하기 위한 방법(2000)을 예시하는 흐름도이다.
블록 2010에서, 전송 회로는 펄스를 광 거리 측정 시스템의 하나 이상의 광원으로부터 전송한다. 펄스는 하나 이상의 물체에서 반사될 수 있다. 블록 2010은 블록 1810 및 본원의 다른 검출 개시내용과 유사한 방식으로 수행될 수 있다.
블록 2020에서, 펄스의 광자는 광 거리 측정 시스템의 하나 이상의 광센서에 의해 검출됨으로써, 한 어레이의 깊이(라이다) 픽셀들 각각에 대해 복수의 지점에서 데이터 값을 생성할 수 있다. 블록 2020은 블록 1820 및 본원의 다른 검출 개시내용과 유사한 방식으로 수행될 수 있다.
블록 2030에서, 컬러 센서들을 사용하여 주변광을 측정하여 컬러 픽셀들의 어레이를 생성할 수 있다. 컬러 센서들은 광센서들과 동일하거나 다른 집적 회로에 있을 수 있다. 예를 들어, 컬러 센서들은 예를 들어 도 10에 도시된 바와 같이 별도의 카메라 또는 동일한 센서 어레이에 있을 수 있다.
블록 2040에서, 깊이 픽셀들 중 하나 이상이 컬러 픽셀 각각에 상관된다. 깊이 픽셀들은 위에서 기재된 바와 같이, 예를 들어 도 9 또는 도 10에 대해 설명된 바와 같이, 상관될 수 있다.
블록 2050에서, 제1 컬러 픽셀에 대해, 제1 컬러 픽셀과 상관된 제1 깊이 픽셀에 대해 데이터 값의 제1 피크 값이 결정된다. 피크 값의 결정은 본원에 설명된 바와 같이, 예를 들어 블록 1930에 대해 설명된 바와 같이, 수행될 수 있다.
블록 2060에서, 제1 깊이 픽셀에 대한 제1 깊이 값은 제1 피크 값과 연관된 제1 시점에 기초하여 결정된다. 제1 깊이 값은 본원에 설명된 바와 같이, 예를 들어 블록 1940에 대해 설명된 바와 같이, 결정될 수 있다.
블록 2070에서, 데이터 값의 각각의 피크 값은 다른 깊이 픽셀에 대해 결정된다. 각각의 피크 값은 제1 깊이 값과 유사한 방식으로 결정될 수 있다.
블록 2080에서, 다른 깊이 픽셀에 대한 다른 깊이 값은 각각의 피크 값과 연관된 시점에 기초하여 결정된다. 각각의 피크 값은 제1 깊이 값과 유사한 방식으로 결정될 수 있다.
블록 2090에서, 깊이 픽셀들의 어레이의 제1 깊이 픽셀에 관련된 하나 이상의 근접 기준을 충족시키는 깊이 픽셀들의 서브세트가 식별된다. 하나 이상의 근접 기준의 예는 예를 들어 방법(1800 및 1900)에 대해 그리고 섹션 V 및 VI에 제공된다. 하나 이상의 근접 기준은 제1 깊이 값과 기타의 깊이 값들 중 하나 사이의 차이를 포함할 수 있다. 또 다른 예로서, 근접 기준은 동일한 물체의 일부인 깊이 픽셀들의 서브세트의 분류일 수 있다.
블록 2095에서, 제1 컬러 픽셀은 깊이 픽셀들의 서브세트와 상관된 컬러 픽셀을 사용하여 조정된다. 제1 컬러 픽셀을 조정하는 단계는 깊이 픽셀의 서브세트와 상관된 컬러 픽셀의 가중 평균을 결정하는 단계를 포함할 수 있다. 가중 평균은 제1 컬러 픽셀을 포함하거나 포함하지 않을 수 있다. 가중치는 제1 깊이 값과 다른 깊이 값들과의 차이에 기초하여 결정될 수 있다.
일부 예에서, 제1 컬러 픽셀을 조정하는 단계는 제1 컬러 픽셀과 깊이 픽셀들의 서브세트에 상관된 컬러 픽셀들 사이의 차이에 기초하여 제1 컬러 픽셀을 폐기하는 단계를 포함할 수 있다. 예를 들어, 다른 색상들이 매우 상이한 경우 제1 컬러 픽셀은 오류로 폐기될 수 있다. 이러한 경우에, 제1 컬러 픽셀을 조정하는 단계는 깊이 픽셀들의 서브세트와 상관된 컬러 픽셀들의 가중 평균을 결정하는 단계를 포함할 수 있으며, 여기서 가중 평균은 제1 컬러를 포함하지 않는다
IX. 컴퓨터 시스템
임의의 컴퓨터 시스템(예를 들어, 도 2의 사용자 인터페이스(215) 또는 차량 제어 유닛(217)) 또는 본원에 언급된 라이다 시스템의 구성요소는 임의의 적절한 개수의 서브시스템을 활용할 수 있다. 이러한 서브시스템의 예는 도 21에서 컴퓨터 시스템(10)으로 도시된다. 일부 실시형태에서, 컴퓨터 시스템은 단일 컴퓨터 장치를 포함하며, 여기서 서브시스템은 컴퓨터 장치의 구성요소일 수 있다. 다른 구현예에서, 컴퓨터 시스템은 내부 구성요소와 함께, 각각 서브시스템인 다수의 컴퓨터 장치를 포함할 수 있다. 컴퓨터 시스템은 데스크탑 및 랩탑 컴퓨터, 태블릿, 휴대 전화 및 다른 모바일 기기를 포함할 수 있다.
도 21에 도시된 서브시스템은 시스템 버스(75)를 통해 서로 연결되어 있다. 디스플레이 어댑터(82)에 결합되는 프린터(74), 키보드(78), 저장 디바이스(들)(79), 모니터(76)(예를 들어, LED와 같은 디스플레이 스크린)와 같은 추가 서브시스템, 및 다른 장치가 도시된다. I/O 제어기(71)에 결합되는 주변 장치 및 입력/출력 (I/O) 디바이스가 당해 분야에 공지된 임의의 개수의 수단, 예컨대 입력/출력 (I/O) 포트(77) (예를 들면, USB, FireWire®)에 의해 컴퓨터 시스템에 연결될 수 있다. 예를 들어, I/O 포트(77) 또는 외부 인터페이스(81)(예를 들어, 이더넷, Wi-Fi 등)는 컴퓨터 시스템(10)을 인터넷, 마우스 입력 디바이스 또는 스캐너와 같은 광역 네트워크에 연결시키도록 사용될 수 있다. 시스템 버스(75)를 통한 상호연결은 중앙 처리 장치(73)로 하여금 각각의 서브시스템과 통신하게 하고 시스템 메모리(72) 또는 저장 디바이스(들)(79)(예를 들어, 하드 드라이브 또는 광 디스크와 같은 고정 디스크)로부터의 복수의 명령어의 실행뿐만 아니라 서브시스템들 사이의 정보의 교환을 제어하게 한다. 시스템 메모리(72) 및/또는 저장 디바이스(들)(79)는 컴퓨터 판독 가능한 매체를 구현할 수 있다. 다른 서브시스템은 카메라, 마이크로폰, 가속도계 등과 같은 데이터 수집 디바이스(85)이다. 본원에 언급된 모든 데이터는 한 구성 요소에서 다른 구성 요소로 출력될 수 있으며 사용자에게 출력될 수 있다.
컴퓨터 시스템은, 예를 들어 외부 인터페이스(81)에 의해, 내부 인터페이스에 의해 또는 하나의 구성요소로부터 다른 구성요소로 연결 및 제거될 수 있는 착탈식 저장 디바이스를 통해 함께 연결되는 복수의 동일한 구성요소 또는 서브시스템을 포함할 수 있다. 일부 실시형태에서, 컴퓨터 시스템, 서브시스템, 또는 장치는 네트워크를 통해 통신할 수 있다. 이러한 경우, 한 컴퓨터는 클라이언트로 간주될 수 있고 또 다른 컴퓨터는 서버로 간주될 수 있으며, 여기서 각각은 동일한 컴퓨터 시스템의 일부일 수 있다. 클라이언트 및 서버는 각각 다수의 시스템, 서브시스템, 또는 구성요소를 포함할 수 있다.
실시예의 양태는 하드웨어 회로(예를 들어, 특정 애플리케이션 집적 회로 또는 필드 프로그램 가능 게이트 어레이)를 사용하고/하거나 일반적으로 프로그램 가능 프로세서와 함께 모듈식 또는 통합된 방식으로 컴퓨터 소프트웨어를 사용하여 제어 로직의 형태로 구현될 수 있다. 본원에 사용된 바와 같이, 프로세서는 전용 하드웨어뿐만 아니라, 단일 코어 프로세서, 동일한 집적 칩 상의 멀티 코어 프로세서, 또는 단일 회로 기판 상의 또는 네트워크화된 다수의 프로세싱 유닛을 포함할 수 있다. 본원에 제공된 개시내용 및 교시내용에 기초하여, 당업자는 하드웨어 및 하드웨어와 소프트웨어의 조합을 사용하여 본 발명의 실시형태를 실행하는 다른 방식 및/또는 방법을 알고 인식할 것이다.
본 출원에 설명된 모든 소프트웨어 구성요소 또는 기능은 예를 들어 기존 또는 객체 지향 기술을 사용하여, 예를 들어 Java, C, C++, C#, Objective-C, Swift 또는 Perl 또는 Python과 같은 스크립팅 언어와 같은 임의의 적합한 컴퓨터 언어를 사용하여, 프로세서에 의해 실행되는 소프트웨어 코드로 구현될 수 있다. 소프트웨어 코드는 저장 및/또는 전송을 위해 컴퓨터 판독 가능 매체 상에 일련의 지시 또는 명령으로서 저장될 수 있다. 적합한 비일시적 컴퓨터 판독 가능 매체는 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 하드 드라이브 또는 플로피 디스크와 같은 자기 매체, 또는 컴팩트 디스크(CD) 또는 DVD(디지털 다목적 디스크) 또는 Blu-ray 디스크, 플래시 메모리 등과 같은 광학 매체를 포함할 수 있다. 컴퓨터 판독 가능 매체는 이러한 저장 또는 전송 디바이스의 임의의 조합일 수 있다.
그러한 프로그램은 또한 인터넷을 포함하는 다양한 프로토콜을 따르는 유선, 광학, 및/또는 무선 네트워크를 통해 전송에 적합한 캐리어 신호를 사용하여 인코딩 및 전송될 수 있다. 이와 같이, 컴퓨터 판독 가능 매체는 이러한 프로그램으로 인코딩된 데이터 신호를 사용하여 생성될 수 있다. 프로그램 코드로 인코딩된 컴퓨터 판독 가능 매체는 호환 가능한 디바이스에 패키징되거나 (예를 들어, 인터넷 다운로드를 통해) 다른 디바이스와 별도로 제공될 수 있다. 임의의 이러한 컴퓨터 판독 가능 매체는 단일 컴퓨터 제품(예를 들어, 하드 드라이브, CD 또는 전체 컴퓨터 시스템) 상에 또는 내부에 있을 수 있고, 시스템 또는 네트워크 내의 상이한 컴퓨터 제품 상에 또는 내부에 존재할 수 있다. 컴퓨터 시스템은 모니터, 프린터, 또는 본원에 언급된 결과 중 임의의 결과를 사용자에게 제공하기에 적합한 다른 디스플레이를 포함할 수 있다.
본원에 설명된 모든 방법은 단계를 수행하도록 구성될 수 있는 하나 이상의 프로세서를 포함하는 컴퓨터 시스템으로 전체적으로 또는 부분적으로 수행될 수 있다. 그러므로, 실시형태는 잠재적으로는 각각의 단계 또는 각각의 그룹의 단계들을 수행하는 상이한 구성요소와 함께, 본원에 설명된 방법 중 임의의 방법의 단계를 수행하도록 구성된 컴퓨터 시스템에 관한 것일 수 있다. 번호가 표시된 단계로서 제시되지만, 본원의 방법의 단계는 동시에 또는 다른 시간에 또는 다른 순서로 수행될 수 있다. 또한, 이들 단계의 일부는 다른 방법으로부터의 다른 단계의 일부와 함께 사용될 수 있다. 또한, 단계의 전부 또는 일부는 선택적일 수 있다. 또한, 임의의 방법 중 임의의 단계는 이들 단계를 수행하기 위한 시스템의 모듈, 유닛, 회로, 또는 다른 수단에 의해 수행될 수 있다.
특정 실시형태의 특정 세부 사항들은 본 발명의 실시형태의 사상 및 범위를 벗어나지 않고 임의의 적합한 방식으로 결합될 수 있다. 그러나, 본 발명의 다른 실시형태는 각각의 개별적인 양태, 또는 이들 개별적인 양태들의 특정 조합에 관련되는 특정 실시형태에 관한 것일 수 있다.
본 개시내용의 예시적인 실시형태에 대한 상기 설명은 예시 및 설명의 목적으로 제시되었다. 이는 본 개시내용을 설명된 정확한 형태로 모두 망라하거나 제한하려는 것이 아니며, 상기의 교시내용을 고려하여 많은 수정 및 변형이 가능하다.
단수로 기재한 것은 구체적으로 다르게 나타내지 않는 한 "하나 이상"을 의미하도록 의도되어 있다. "또는"의 사용은 구체적으로 다르게 나타내지 않는 한 "배타적인 또는"이 아니라 "포함하는 또는"을 의미하도록 의도되어 있다. "제1" 구성요소라는 언급은 반드시 제2 구성요소가 제공되어야 하는 것을 필요로 하지 않는다. 또한, "제1" 또는 "제2" 구성요소라는 언급은 명시적으로 언급되지 않는 한 언급된 구성요소를 특정 위치로 제한하지 않는다. "기초한"이라는 용어는 "적어도 부분적으로 기초한"을 의미하는 것으로 의도되어 있다.
본원에 언급된 모든 특허, 특허 출원, 간행물 및 설명은 모든 목적을 위해 그 전체가 원용되어 포함된다. 그 어느 것도 선행 기술로서 인정하는 것은 아니다.

Claims (54)

  1. 시스템으로서,
    커널 기반 보조 프로세서; 및
    스캐닝 광 거리 측정 장치를 포함하고,
    상기 스캐닝 광 거리 측정 장치는, 상기 광 펄스를 방출하는 복수의 광원을 포함하는 전송 회로;
    검출 회로; 및 상기 검출 회로와 통신 가능하게 결합된 이미지 재구성 회로를 포함하고,
    상기 검출 회로는, 반사된 광 펄스를 검출하고 시간 경과에 따라 측정된 신호를 출력하는 광센서들의 어레이; 및
    상기 광센서들의 어레이에 연결된 신호 프로세서로서, 상기 광센서들의 어레이를 사용한 측정으로부터 깊이 값을 결정하도록 구성된, 신호 프로세서를 포함하고,
    상기 이미지 재구성 회로는, 상기 스캐닝 광 거리 측정 장치의 제1 스캔에 대한 제1 깊이 값 각각에 센서 ID를 할당하도록;
    상기 제1 깊이 값을 사용하여 제1 라이다 이미지를 구성하되, 센서 ID를 사용하여 상기 제1 깊이 값을 제1 라이다 이미지의 제1 라이다 픽셀에 매핑함으로써, 구성하도록 - 상기 매핑은 해당 센서 ID에 기초하여 라이다 픽셀을 특정하는 매핑 테이블을 사용함 -;
    상기 제1 라이다 이미지의 상기 제1 라이다 픽셀을 상기 스캐닝 광 거리 측정 장치의 로컬 이미지 버퍼에 저장하도록; 그리고
    상기 제1 라이다 이미지의 로컬 프레임 또는 상기 제1 라이다 이미지의 완성된 프레임의 상기 제1 라이다 픽셀을 상기 커널 기반 보조 프로세서로 전송하도록 구성된, 시스템.
  2. 제1항에 있어서, 상기 스캐닝 광 거리 측정 장치는 회전하는, 시스템.
  3. 제1항에 있어서, 상기 커널 기반 보조 프로세서와 상기 스캐닝 광 거리 측정 장치가 동일한 집적 회로 상에 있는, 시스템.
  4. 제1항에 있어서, 상기 검출 회로는 상기 깊이 값들 각각에 대한 센서 ID를 상기 이미지 재구성 회로에 제공하도록 구성된, 시스템.
  5. 제1항에 있어서, 상기 검출 회로는 깊이 값들을 특정된 순서로 제공하도록 구성되고, 상기 이미지 재구성 회로는 상기 특정된 순서에 기초하여 특정 깊이 값에 대해 센서 ID를 할당하도록 구성된, 시스템.
  6. 제1항에 있어서, 상기 매핑 테이블의 행은 센서 ID에 대한 열과, 라이다 이미지에서 상기 라이다 픽셀의 좌표를 특정하는 또 다른 열을 포함하는, 시스템.
  7. 제1항에 있어서, 상기 이미지 재구성 회로는 상기 제1 라이다 픽셀들의 특정된 서브세트가 상기 제1 라이다 이미지에 대해 저장된 시점을 결정하고 상기 제1 라이다 픽셀들의 특정된 서브세트를 상기 커널 기반 보조 프로세서로 전송하도록 구성된, 시스템.
  8. 제1항에 있어서, 상기 커널 기반 보조 프로세서는 상기 스캐닝 광 거리 측정 장치와 통신 가능하게 결합된 분류기 회로를 포함하고,
    상기 분류기 회로는, 상기 이미지 재구성 회로에 의해 출력된 라이다 이미지를 수신하도록;
    상기 라이다 이미지의 상기 라이다 픽셀에서 상기 깊이 값을 분석하도록;
    한 세트의 라이다 픽셀들을 그 한 세트의 라이다 픽셀들의 해당하는 깊이 값에 기초하여 상관시키도록; 그리고
    상기 상관 관계에 기초하여 상기 한 세트의 라이다 픽셀들의 분류 정보를 출력하도록 구성된, 시스템.
  9. 제1항에 있어서, 상기 커널 기반 보조 프로세서는 상기 스캐닝 광 거리 측정 장치와 통신 가능하게 결합된 깊이 이미징 회로를 포함하고,
    상기 깊이 이미징 회로는, 상기 제1 라이다 픽셀을 수신하도록; 그리고
    하나 이상의 필터 커널을 상기 제1 라이다 픽셀들의 서브세트에 적용하여 라이다 픽셀의 필터링된 이미지를 생성하도록 구성된, 시스템.
  10. 시스템으로서,
    광 거리 측정 장치; 및 상기 광 거리 측정 장치와 통신 가능하게 결합된 분류기 회로를 포함하고,
    상기 광 거리 측정 장치는, 광 펄스를 방출하는 복수의 광원을 포함하는 전송 회로; 및 검출 회로를 포함하고,
    상기 검출 회로는, 반사된 광 펄스를 검출하고 시간 경과에 따라 측정된 신호를 출력하는 광센서들의 어레이; 및
    상기 광센서들의 어레이에 연결된 거리 측정 회로를 포함하고,
    상기 거리 측정 회로는, 상기 광센서들의 어레이를 사용하여 측정으로부터 깊이 값을 결정하여, 라이다 픽셀들의 그리드를 포함하는 라이다 이미지를 형성하도록 구성되며 - 여기서 라이다 픽셀은 깊이 값을 포함하고, 상기 라이다 픽셀들의 그리드는 측정 간격 동안 환경의 직선 프레임을 형성함 -; 그리고
    라이다 이미지를 주기적으로 출력하도록 구성되고 - 여기서 각각의 라이다 이미지는 각기 다른 측정 간격 동안 생성되고, 라이다 픽셀의 행과 열을 포함함 -;
    상기 분류기 회로는, 상기 거리 측정 회로에 의해 출력된 라이다 이미지를 수신하도록;
    상기 라이다 이미지의 상기 라이다 픽셀에서 상기 깊이 값을 분석하도록;
    한 세트의 라이다 픽셀들을 그 한 세트의 라이다 픽셀들의 해당하는 깊이 값에 기초하여 상관시키도록; 그리고
    상기 상관 관계에 기초하여 상기 한 세트의 라이다 픽셀들의 분류 정보를 출력하도록 구성된, 시스템.
  11. 제10항에 있어서, 상기 라이다 픽셀들의 세트는 환경 내 물체의 동일한 지점에 해당하는 제2 라이다 이미지의 제2 라이다 픽셀과 상관되는 제1 라이다 이미지의 제1 라이다 픽셀을 포함하는, 시스템.
  12. 제11항에 있어서, 상기 제2 라이다 이미지는 상기 제1 라이다 이미지 이후에 획득되고, 상기 제1 라이다 이미지는 상기 제2 라이다 이미지가 획득되는 동안 버퍼링되는, 시스템.
  13. 제12항에 있어서, 상기 제1 라이다 픽셀은, 인접한 라이다 픽셀들 간의 깊이 값의 차이를, 그리고/또는 상기 제1 라이다 이미지 및 상기 제2 라이다 이미지에서 상기 제1 라이다 픽셀 및 상기 제2 라이다 픽셀과 각각 관련된 인접한 라이다 픽셀들 간의 피크 값의 차이를 사용하여, 제2 라이다 픽셀과 상관되는, 시스템.
  14. 제10항에 있어서,
    보조 프로세서로서,
    상기 검출 회로로부터 라이다 픽셀들의 제1 프레임을 수신하도록;
    (1) 인접한 라이다 픽셀 간의 깊이 값의 차이 및/또는 (2) 인접한 라이다 픽셀 간의 피크 값의 차이를 사용하여 라이다 픽셀들의 상기 제1 프레임에서 제1 세트의 키 포인트들을 식별하도록;
    상기 제1 세트의 키 포인트들을 식별하는 데 사용되는 차이를 포함하여 상기 제1 세트의 키 포인트들을 제1 버퍼에 저장하도록;
    상기 검출 회로로부터 라이다 픽셀들의 제2 프레임을 수신하도록;
    (3) 인접한 라이다 픽셀 간의 깊이 값의 차이 및/또는 (4) 인접한 라이다 픽셀 간의 피크 값의 차이를 사용하여 라이다 픽셀들의 상기 제2 프레임에서 제2 세트의 키 포인트들을 식별하도록;
    상기 차이를 사용하여 상기 제1 세트의 키 포인트들 중 하나 이상을 상기 제2 세트의 키 포인트들 중 하나 이상에 상관시키도록;
    상관된 키 포인트들의 쌍 간의 차이를 사용하여 키 포인트들의 속도를 계산하도록; 그리고
    상기 속도를 출력하도록 구성된 보조 프로세서를 더 포함하는 시스템.
  15. 제14항에 있어서, 상기 보조 프로세서는, 추가로,
    키 포인트들의 상기 제1 세트의 키 포인트들에 대한 상기 제1 버퍼에, 상기 인접한 라이다 픽셀들의 측면 위치에 의해 형성된 3차원 위치 및 해당하는 깊이 값을 저장하도록; 그리고
    상기 3차원 위치를 더 사용하여 상기 제1 세트의 키 포인트들 중 하나 이상을 상기 제2 세트의 키 포인트들 중 하나 이상에 상관시키도록 구성된, 시스템.
  16. 제14항에 있어서, 상기 보조 프로세서는 분류 회로인, 시스템.
  17. 제10항에 있어서, 상기 라이다 픽셀들의 상기 세트는 동일한 물체에 대응하는 것으로 식별되는 제1 라이다 이미지의 라이다 픽셀들의 그룹을 포함하고, 상기 분류 정보는 라이다 이미지의 어느 라이다 픽셀들이 상기 동일한 물체에 해당하는지를 나타내는, 시스템.
  18. 제17항에 있어서,
    상기 광 거리 측정 장치 및 상기 분류기 회로와 통신 가능하게 결합된 깊이 이미징 회로를 더 포함하고, 상기 깊이 이미지 회로는,
    상기 라이다 이미지의 라이다 픽셀들을 수신하도록;
    상기 동일한 물체에 해당하는 라이다 픽셀들의 그룹에 대한 상기 분류 정보를 수신하도록; 그리고
    상기 분류 정보에 기초하여 상기 라이다 이미지의 라이다 픽셀들의 서브세트에 하나 이상의 필터 커널을 적용하도록 구성된, 시스템.
  19. 시스템으로서,
    광 거리 측정 장치; 및 상기 광 거리 측정 장치와 통신 가능하게 결합된 깊이 이미징 회로를 포함하고,
    상기 광 거리 측정 장치는 광 펄스를 방출하는 복수의 광원을 포함하는 전송 회로; 및 검출 회로를 포함하고,
    상기 검출 회로는, 반사된 광 펄스를 검출하고 시간 경과에 따라 측정된 신호를 출력하는 광센서들의 어레이; 및 상기 광센서들의 어레이에 연결된 거리 측정 회로를 포함하고,
    상기 거리 측정 회로는, 상기 광센서들의 어레이를 사용하여 측정으로부터 깊이 값을 결정하여, 라이다 픽셀들의 그리드를 포함하는 라이다 이미지를 형성하도록 구성되며 - 여기서 라이다 픽셀은 깊이 값을 포함하고, 상기 라이다 픽셀들의 그리드는 측정 간격 동안 환경의 직선 프레임을 형성함 -; 그리고
    라이다 이미지를 주기적으로 출력하도록 구성되고 - 여기서 각각의 라이다 이미지는 각기 다른 측정 간격 동안 생성되고 라이다 픽셀의 행과 열을 포함함 -;
    상기 깊이 이미지 회로는, 상기 라이다 이미지의 라이다 픽셀들을 수신하도록; 그리고
    하나 이상의 필터 커널을 라이다 이미지의 라이다 픽셀들의 서브세트에 적용하여 라이다 픽셀들의 필터링된 이미지를 생성하도록 구성된, 시스템.
  20. 제19항에 있어서, 상기 광센서들의 어레이의 각 광센서는 센서 ID를 갖고, 상기 검출 회로는 해당하는 센서 ID에 기초하여 라이다 픽셀을 특정하는 매핑 테이블을 더 포함하고, 상기 거리 측정 회로는, 추가로,
    상기 신호들 및 해당하는 깊이 값들 각각에 센서 ID를 할당하도록; 그리고
    상기 매핑 테이블 및 센서 ID를 사용하여 상기 깊이 값을 상기 라이다 이미지의 라이다 픽셀들의 상기 그리드에 매핑함으로써 상기 깊이 값을 사용하여 상기 라이다 이미지를 구성하도록 구성된, 시스템.
  21. 제19항에 있어서, 상기 하나 이상의 필터 커널은 소정의 라이다 픽셀에 이웃하는 다른 라이다 픽셀의 신호를 사용하여 상기 소정의 라이다 픽셀에 대한 신호의 피크 값 또는 검출 임계값을 조정하는 필터 커널을 포함하는, 시스템.
  22. 제19항에 있어서, 상기 하나 이상의 필터 커널은 소정의 라이다 픽셀에 이웃하는 다른 라이다 픽셀의 신호를 사용하여 상기 소정의 라이다 픽셀에 대한 깊이 값을 조정하는 필터 커널을 포함하는, 시스템.
  23. 제19항에 있어서, 상기 검출 회로는 주변광을 검출하여 컬러 픽셀들의 어레이를 생성하는 컬러 센서들을 더 포함하고, 상기 깊이 이미징 회로는, 추가로, 상기 라이다 픽셀들 중 하나 이상을 상기 컬러 픽셀들의 어레이의 각 컬러 픽셀에 상관시키도록 구성되고,
    상기 하나 이상의 필터 커널은 상기 소정의 컬러 픽셀과 이웃하는 다른 라이다 픽셀과 상관된 컬러 픽셀을 사용하여 소정의 컬러 픽셀에 대한 컬러 값을 조정하는 필터 커널을 포함하며, 상기 다른 라이다 픽셀은 상기 소정의 컬러 픽셀과 상관된 제1 깊이 값과 상기 다른 라이다 픽셀의 다른 깊이 값 사이의 차이를 포함하는 하나 이상의 근접 기준을 충족시키는, 시스템.
  24. 모바일 장치에 설치된 광 거리 측정 시스템을 사용하여 거리 측정을 수행하는 방법으로서,
    전송 회로를 사용하여, 상기 광 거리 측정 시스템의 하나 이상의 광원에서 펄스를 전송하는 단계 - 상기 펄스는 하나 이상의 물체에서 반사됨;
    광센서들의 어레이의 각 광센서에 대해, 검출 회로를 사용하여 상기 펄스의 광자를 검출함으로써 신호를 측정하는 단계;
    상기 신호 각각에 센서 ID를 할당하는 단계 - 상기 센서 ID는 상기 광센서들의 어레이 중의 하나의 광센서에 해당됨 -;
    상기 신호를 분석하여 제1 깊이 값을 결정하는 단계;
    상기 센서 ID를 사용하여 상기 제1 깊이 값을 상기 제1 라이다 이미지의 제1 라이다 픽셀에 매핑함으로써 상기 제1 깊이 값을 사용하여 상기 제1 라이다 이미지를 구성하는 단계 - 상기 매핑은 해당 센서 ID에 기초하여 라이다 픽셀을 특정하는 매핑 테이블을 사용함 -;
    상기 제1 라이다 이미지의 상기 제1 라이다 픽셀을 상기 광 거리 측정 시스템의 이미지 버퍼에 저장하는 단계; 및
    상기 제1 라이다 이미지의 로컬 프레임 또는 상기 제1 라이다 이미지의 완성된 프레임의 상기 제1 라이다 픽셀을 상기 광 거리 측정 시스템의 커널 기반 보조 프로세서로 전송하는 단계를 포함하는, 거리 측정을 수행하는 방법.
  25. 제24항에 있어서, 상기 센서 ID는 상기 신호와 함께 상기 검출 회로로부터 수신되는, 거리 측정을 수행하는 방법.
  26. 제24항에 있어서, 상기 센서 ID는 상기 검출 회로에 의해 상기 신호들이 제공되는 특정된 순서에 기초하여 할당되는, 거리 측정을 수행하는 방법.
  27. 제24항에 있어서, 상기 센서 ID는 상기 제1 깊이 값에 할당됨으로써 상기 신호 각각에 할당되고, 상기 센서 ID는 상기 제1 깊이 값들이 이미지 재구성 회로로 제공되는 특정된 순서에 따라 할당되는, 거리 측정을 수행하는 방법.
  28. 제24항에 있어서,
    제2 깊이 값을 사용하여 제2 라이다 이미지를 구성하는 단계;
    상기 제2 라이다 이미지를 상기 이미지 버퍼에 저장하는 단계; 및
    상기 제1 라이다 이미지의 하나 이상의 값을 상기 제1 라이다 이미지 및 상기 제2 라이다 이미지의 분석에 기초하여 조정함으로써, 하나 이상의 조정된 값을 얻는 단계를 더 포함하는, 거리 측정을 수행하는 방법.
  29. 제28항에 있어서, 상기 하나 이상의 조정된 값은 상기 제1 라이다 이미지의 색상 값을 포함하는, 거리 측정을 수행하는 방법.
  30. 제24항에 있어서,
    상기 제1 라이다 이미지가 온전히 구성되기 전에 적용되는 필터 커널을 상기 제1 라이다 이미지의 일부에 적용하는 단계를 더 포함하는, 거리 측정을 수행하는 방법.
  31. 제24항에 있어서, 상기 매핑 테이블은 상기 신호 측정 시 상기 해당 센서 ID 및 상기 광 거리 측정 시스템의 위치에 기초하여 라이다 픽셀을 특정하는, 거리 측정을 수행하는 방법.
  32. 모바일 장치에 설치된 광 거리 측정 시스템을 사용하여 거리 측정을 수행하는 방법으로서,
    상기 광 거리 측정 시스템의 하나 이상의 광원에서 펄스를 전송하는 단계 - 상기 펄스는 하나 이상의 물체에서 반사됨;
    상기 광 거리 측정 시스템의 하나 이상의 광센서에 의해 펄스의 광자를 검출함으로써, 깊이 픽셀들의 어레이의 각 깊이 픽셀에 대해 복수의 시점에서 데이터 값을 생성하는 단계;
    상기 깊이 픽셀들의 어레이의 제1 깊이 픽셀에 관련된 하나 이상의 근접 기준을 충족시키는 깊이 픽셀들의 서브세트를 식별하는 단계;
    상기 깊이 픽셀들의 서브세트의 상기 데이터 값들로부터 정보를 집계함으로써, 집계된 정보를 얻는 단계;
    상기 집계된 정보를 사용하여, (1) 상기 제1 깊이 픽셀에 대한 상기 데이터 값의 제1 피크 값 및/또는 (2) 검출 임계값을 조정하는 단계;
    상기 제1 피크 값을 상기 검출 임계값과 비교하는 단계;
    상기 검출 임계값을 초과하는 상기 제1 피크 값에 기초하여, 상기 제1 피크 값이 상기 모바일 장치 주변 환경에 있는 물체에 해당한다고 결정하는 단계; 및
    상기 제1 피크 값과 연관된 제1 시점에 기초하여 상기 제1 깊이 픽셀에 대한 제1 깊이 값을 결정하는 단계를 포함하는, 거리 측정을 수행하는 방법.
  33. 제32항에 있어서, 상기 복수의 시점에서의 상기 데이터 값은 깊이 픽셀들의 어레이의 깊이 픽셀 각각에 대한 히스토그램을 형성하고, 특정 시간 빈에서의 히스토그램의 카운터는 상기 특정 시간 빈 내의 하나 이상의 시점에서의 하나 이상의 데이터 값에 해당하는, 거리 측정을 수행하는 방법.
  34. 제32항에 있어서, 상기 하나 이상의 광센서는 광센서들의 어레이를 포함하는, 거리 측정을 수행하는 방법.
  35. 제32항에 있어서, 상기 하나 이상의 광원 중 제1 광원과, 상기 하나 이상의 광센서 중 제1 광센서가 이동함으로써, 상기 깊이 픽셀들의 어레이의 적어도 2개의 깊이 픽셀에 대한 데이터 값을 제공하는 데 사용되는, 거리 측정을 수행하는 방법.
  36. 제32항에 있어서, 상기 데이터 값들로부터의 정보는 상기 데이터 값들을 포함하고, 상기 집계하는 단계는 대응하는 시간 빈으로부터 데이터 값들의 합을 결정하는 단계를 포함하는, 거리 측정을 수행하는 방법.
  37. 제32항에 있어서, 상기 데이터 값들로부터의 정보는 상기 데이터 값들로부터 유도된 수치 값들을 포함하는, 거리 측정을 수행하는 방법.
  38. 제37항에 있어서,
    상기 깊이 픽셀들의 서브세트에서 광자의 배경 레벨들을 결정하는 단계; 및
    상기 깊이 픽셀들의 서브세트에서 상기 데이터 값들의 피크 값을 결정하는 단계를 더 포함하고, 상기 제1 피크 값은 상기 피크 값들을 사용하여 조정되고, 상기 검출 임계값은 상기 배경 레벨들을 사용하여 조정되는, 거리 측정을 수행하는 방법.
  39. 제32항에 있어서, 상기 하나 이상의 근접 기준은 상기 제1 깊이 픽셀과 또 다른 깊이 픽셀 사이의 측면 거리를 포함하는, 거리 측정을 수행하는 방법.
  40. 제39항에 있어서, 상기 하나 이상의 근접 기준은 상기 제1 깊이 픽셀의 제1 예비 깊이 값과 또 다른 깊이 픽셀의 또 다른 예비 깊이 값 사이의 차이를 더 포함하는, 거리 측정을 수행하는 방법.
  41. 제39항에 있어서,
    컬러 센서들을 사용하여 주변광을 측정하여 컬러 픽셀들의 어레이를 생성하는 단계; 및
    상기 컬러 픽셀 중 하나 이상을 상기 깊이 픽셀들 각각에 상관시키는 단계를 더 포함하고, 상기 하나 이상의 근접 기준은 다른 깊이 픽셀에 관련된 상기 제1 깊이 픽셀에 대한 상기 하나 이상의 컬러 픽셀의 컬러 유사도를 더 포함하는, 거리 측정을 수행하는 방법.
  42. 모바일 장치에 설치된 광 거리 측정 시스템을 사용하여 거리 측정을 수행하는 방법으로서,
    상기 광 거리 측정 시스템의 하나 이상의 광원에서 펄스를 전송하는 단계 - 상기 펄스는 하나 이상의 물체에서 반사됨;
    상기 광 거리 측정 시스템의 하나 이상의 광센서에 의해 펄스의 광자를 검출함으로써, 깊이 픽셀들의 어레이의 각 깊이 픽셀에 대해 복수의 시점에서 데이터 값을 생성하는 단계;
    제1 깊이 픽셀에 대한 상기 데이터 값들의 제1 피크 값을 결정하는 단계;
    상기 제1 피크 값과 연관된 제1 시점에 기초하여 상기 제1 깊이 픽셀에 대한 제1 깊이 값을 결정하는 단계;
    상기 깊이 픽셀들의 어레이의 제1 깊이 픽셀에 관련된 하나 이상의 근접 기준을 충족시키는 깊이 픽셀들의 서브세트를 식별하는 단계;
    상기 깊이 픽셀들의 서브세트에 대한 상기 데이터 값들의 각각의 피크 값을 결정하는 단계;
    상기 각각의 피크 값과 연관된 시점에 기초하여 상기 깊이 픽셀들의 서브세트에 대해 다른 깊이 값을 결정하는 단계; 및
    상기 다른 깊이 값에 기초하여 상기 제1 깊이 값을 조정하는 단계를 포함하는, 거리 측정을 수행하는 방법.
  43. 제42항에 있어서,
    상기 깊이 픽셀들의 어레이 중의 일부 깊이 픽셀을 동일한 물체에 해당하는 것으로 분류하는 단계를 더 포함하고, 상기 하나 이상의 근접 기준은 동일한 물체에 해당하는 것으로 분류되는 상기 깊이 픽셀들의 서브세트를 포함하는, 거리 측정을 수행하는 방법.
  44. 제43항에 있어서,
    컬러 센서들을 사용하여 주변광을 측정하여 컬러 픽셀들의 어레이를 생성하는 단계; 및
    상기 컬러 픽셀들 중 하나 이상을 상기 깊이 픽셀들 각각에 상관시키는 단계를 더 포함하고, 상기 하나 이상의 컬러 픽셀은 깊이 픽셀을 상기 동일한 물체에 해당하는 것으로 분류하는 데 사용되는, 거리 측정을 수행하는 방법.
  45. 제44항에 있어서, 상기 컬러 픽셀들의 어레이는 상기 깊이 픽셀들의 어레이보다 더 높은 해상도를 가지며,
    당해 방법은, 상기 어레이의 상기 깊이 픽셀들 사이에 있는 가상 깊이 픽셀들에 대한 추가 깊이 값들을 생성함으로써, 거리 측정 해상도를 증가시키는 단계를 더 포함하고, 상기 추가 깊이 값들은 컬러 픽셀들을 사용하여 생성되는, 거리 측정을 수행하는 방법.
  46. 제43항에 있어서, 상기 깊이 픽셀들의 어레이의 세트가 사전 결정된 물체를 분류하기 위해 식별되는, 거리 측정을 수행하는 방법.
  47. 제46항에 있어서, 상기 사전 결정된 물체는 노면인, 거리 측정을 수행하는 방법.
  48. 제42항에 있어서, 상기 복수의 시점에서의 상기 데이터 값들은 깊이 픽셀들의 어레이의 깊이 픽셀 각각에 대한 히스토그램을 형성하고, 특정 시간 빈에서의 히스토그램의 카운터는 상기 특정 시간 빈 내의 하나 이상의 시점에서의 하나 이상의 데이터 값에 해당하는, 거리 측정을 수행하는 방법.
  49. 컬러 이미지 보정 방법으로서,
    상기 광 거리 측정 시스템의 하나 이상의 광원에서 펄스를 전송하는 단계 - 상기 펄스는 하나 이상의 물체에서 반사됨;
    상기 광 거리 측정 시스템의 하나 이상의 광센서에 의해 펄스의 광자를 검출함으로써, 깊이 픽셀들의 어레이의 각 깊이 픽셀에 대해 복수의 시점에서 데이터 값을 생성하는 단계;
    컬러 센서들을 사용하여 주변광을 측정하여 컬러 픽셀들의 어레이를 생성하는 단계;
    상기 깊이 픽셀들 중 하나 이상을 상기 컬러 픽셀들 각각에 상관시키는 단계;
    제1 컬러 픽셀에 대해, 상기 데이터 값들의 제1 피크 값을 상기 제1 컬러 픽셀과 상관된 제1 깊이 픽셀에 대해 결정하는 단계;
    상기 제1 피크 값과 연관된 제1 시점에 기초하여 상기 제1 깊이 픽셀에 대한 제1 깊이 값을 결정하는 단계;
    다른 깊이 픽셀들에 대한 상기 데이터 값들의 각각의 피크 값을 결정하는 단계;
    상기 각각의 피크 값과 연관된 시점에 기초하여 상기 다른 깊이 픽셀들에 대해 다른 깊이 값들을 결정하는 단계;
    상기 깊이 픽셀들의 어레이의 상기 제1 깊이 픽셀에 관련된 하나 이상의 근접 기준을 충족시키는 상기 깊이 픽셀들의 서브세트를 식별하는 단계 - 상기 하나 이상의 근접 기준은 상기 제1 깊이 값과 상기 다른 깊이 값들 중 한 깊이 값 사이의 차이를 포함함 -; 및
    상기 제1 컬러 픽셀을 상기 깊이 픽셀들의 서브세트와 상관된 상기 컬러 픽셀들을 사용하여 조정하는 단계를 포함하는, 컬러 이미지 보정 방법.
  50. 제49항에 있어서, 상기 제1 컬러 픽셀을 조정하는 단계는,
    상기 깊이 픽셀들의 서브세트와 상관된 상기 컬러 픽셀들의 가중 평균을 결정하는 단계를 포함하는, 컬러 이미지 보정 방법.
  51. 제50항에 있어서, 상기 가중 평균에 상기 제1 컬러 픽셀이 포함되는, 컬러 이미지 보정 방법.
  52. 제50항에 있어서, 상기 제1 깊이 값과 상기 다른 깊이 값들과의 차이에 기초하여 가중치가 결정되는, 컬러 이미지 보정 방법.
  53. 제49항에 있어서, 상기 제1 컬러 픽셀을 조정하는 단계는 상기 깊이 픽셀들의 서브세트와 상관된 상기 컬러 픽셀들과 상기 제1 컬러 픽셀 간의 차이에 기초하여 상기 제1 컬러 픽셀을 폐기하는 단계를 포함하는, 컬러 이미지 보정 방법.
  54. 제53항에 있어서, 상기 제1 컬러 픽셀을 조정하는 단계는,
    상기 깊이 픽셀들의 서브세트와 상관된 상기 컬러 픽셀들의 가중 평균을 결정하는 단계를 포함하고, 상기 가중 평균에 상기 제1 컬러 픽셀은 포함되지 않는, 컬러 이미지 보정 방법.
KR1020227011489A 2019-09-06 2020-09-08 라이다 이미지의 처리 KR20220058947A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962897122P 2019-09-06 2019-09-06
US62/897,122 2019-09-06
PCT/US2020/049770 WO2021046547A1 (en) 2019-09-06 2020-09-08 Processing of lidar images

Publications (1)

Publication Number Publication Date
KR20220058947A true KR20220058947A (ko) 2022-05-10

Family

ID=74852420

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227011489A KR20220058947A (ko) 2019-09-06 2020-09-08 라이다 이미지의 처리

Country Status (6)

Country Link
US (2) US11624835B2 (ko)
EP (1) EP4025934A4 (ko)
JP (1) JP2022546591A (ko)
KR (1) KR20220058947A (ko)
CN (1) CN114616489A (ko)
WO (1) WO2021046547A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102638549B1 (ko) * 2022-12-15 2024-02-20 주식회사 에스오에스랩 고해상도 라이다 데이터를 생성하기 위한 이용하는 라이다 장치
KR20240030503A (ko) 2022-08-31 2024-03-07 주식회사 솔리드뷰 거리 측정 장치

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9992477B2 (en) * 2015-09-24 2018-06-05 Ouster, Inc. Optical system for collecting distance information within a field
US11679635B2 (en) * 2019-12-09 2023-06-20 Magna Electronics Inc. Vehicular trailer hitching assist system with coupler height and location estimation
KR20220128787A (ko) * 2021-03-15 2022-09-22 현대자동차주식회사 라이다 센서를 이용한 객체 추적 방법 및 장치와, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체
US11822016B2 (en) 2021-03-26 2023-11-21 Aeye, Inc. Hyper temporal lidar using multiple matched filters to orient a lidar system to a frame of reference
US11686845B2 (en) 2021-03-26 2023-06-27 Aeye, Inc. Hyper temporal lidar with controllable detection intervals based on regions of interest
CN115267801A (zh) * 2021-04-30 2022-11-01 上海禾赛科技有限公司 光探测装置及探测方法
CN113406665B (zh) * 2021-06-15 2022-11-08 哈尔滨工业大学 一种基于多回波提取的激光雷达三维距离像高分辨重构方法及装置
CN113591777B (zh) * 2021-08-11 2023-12-08 宁波未感半导体科技有限公司 激光雷达信号处理方法、电子设备及存储介质
CN113822210B (zh) * 2021-09-27 2022-10-14 山东睿思奥图智能科技有限公司 一种基于激光技术的人腿检测方法
CN115902835B (zh) * 2021-09-30 2024-02-27 深圳市速腾聚创科技有限公司 一种雷达数据收发装置、测距方法及激光雷达
KR102505602B1 (ko) * 2021-11-12 2023-03-03 주식회사 에스오에스랩 라이다 데이터 처리 방법
KR102488500B1 (ko) * 2021-11-12 2023-01-13 주식회사 에스오에스랩 라이다 데이터 처리 방법
WO2023085466A1 (ko) * 2021-11-12 2023-05-19 주식회사 에스오에스랩 라이다 데이터 처리 방법.
CN116359885A (zh) * 2021-12-28 2023-06-30 上海禾赛科技有限公司 激光雷达的探测方法以及激光雷达
CN115393496B (zh) * 2022-10-25 2023-03-24 之江实验室 一种多激光雷达仿真点云的快速绘制方法和装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10203399B2 (en) * 2013-11-12 2019-02-12 Big Sky Financial Corporation Methods and apparatus for array based LiDAR systems with reduced interference
US10036801B2 (en) * 2015-03-05 2018-07-31 Big Sky Financial Corporation Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array
US10466714B2 (en) * 2016-09-01 2019-11-05 Ford Global Technologies, Llc Depth map estimation with stereo images
US10019803B2 (en) * 2016-10-17 2018-07-10 Conduent Business Services, Llc Store shelf imaging system and method using a vertical LIDAR
CN110832349B (zh) 2017-05-15 2023-10-10 奥斯特公司 全景彩色lidar系统和用于lidar系统的方法
EP3633320A4 (en) * 2017-05-31 2021-03-17 Pioneer Corporation OUTPUT DEVICE, CONTROL PROCESS, PROGRAM AND INFORMATION MEDIA
US11016193B2 (en) 2017-07-05 2021-05-25 Ouster, Inc. Light ranging device having an electronically scanned emitter array
US10969490B2 (en) 2017-12-07 2021-04-06 Ouster, Inc. Light ranging system with opposing circuit boards
US10901428B2 (en) 2017-12-29 2021-01-26 Intel IP Corporation Working condition classification for sensor fusion
US11624830B2 (en) * 2019-06-20 2023-04-11 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for laser mapping imaging

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240030503A (ko) 2022-08-31 2024-03-07 주식회사 솔리드뷰 거리 측정 장치
KR102638549B1 (ko) * 2022-12-15 2024-02-20 주식회사 에스오에스랩 고해상도 라이다 데이터를 생성하기 위한 이용하는 라이다 장치

Also Published As

Publication number Publication date
EP4025934A1 (en) 2022-07-13
WO2021046547A1 (en) 2021-03-11
US20230213656A1 (en) 2023-07-06
US11624835B2 (en) 2023-04-11
CN114616489A (zh) 2022-06-10
US20220291387A1 (en) 2022-09-15
JP2022546591A (ja) 2022-11-04
EP4025934A4 (en) 2023-08-16

Similar Documents

Publication Publication Date Title
US11624835B2 (en) Processing of LIDAR images
US11209544B2 (en) Accurate photo detector measurements for LIDAR
US20220043118A1 (en) Processing time-series measurements for lidar accuracy
US10884126B2 (en) Accurate photo detector measurements for LIDAR
US20230176223A1 (en) Processing system for lidar measurements
JP7203217B2 (ja) 構造化光照明付き飛行時間型センサ
US9964643B2 (en) Vehicle occupancy detection using time-of-flight sensor
US20200341144A1 (en) Independent per-pixel integration registers for lidar measurements
US20220035011A1 (en) Temporal jitter in a lidar system
US20210333371A1 (en) Lidar system with fog detection and adaptive response
US20240161319A1 (en) Systems, methods, and media for estimating a depth and orientation of a portion of a scene using a single-photon detector and diffuse light source