KR102277447B1 - 동기화된 회전식 lidar 및 롤링 셔터 카메라 시스템 - Google Patents

동기화된 회전식 lidar 및 롤링 셔터 카메라 시스템 Download PDF

Info

Publication number
KR102277447B1
KR102277447B1 KR1020207011860A KR20207011860A KR102277447B1 KR 102277447 B1 KR102277447 B1 KR 102277447B1 KR 1020207011860 A KR1020207011860 A KR 1020207011860A KR 20207011860 A KR20207011860 A KR 20207011860A KR 102277447 B1 KR102277447 B1 KR 102277447B1
Authority
KR
South Korea
Prior art keywords
row
lidar sensor
camera
sensor
lidar
Prior art date
Application number
KR1020207011860A
Other languages
English (en)
Other versions
KR20200046131A (ko
Inventor
블라이세 가센드
벤자민 인그람
안드레아스 웬델
마크 알렉산더 샨드
Original Assignee
웨이모 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 웨이모 엘엘씨 filed Critical 웨이모 엘엘씨
Priority to KR1020217021495A priority Critical patent/KR102454144B1/ko
Publication of KR20200046131A publication Critical patent/KR20200046131A/ko
Application granted granted Critical
Publication of KR102277447B1 publication Critical patent/KR102277447B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H04N5/3532—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Stroboscope Apparatuses (AREA)
  • Studio Devices (AREA)

Abstract

하나의 예시적인 시스템은 LIDAR 센서의 환경을 스캔하기 위해 축 주위로 회전하는 LIDAR 센서를 포함한다. 시스템은 하나 이상의 외부 광원으로부터 발생하는 외부 광을 검출하는 하나 이상의 카메라를 또한 포함한다. 하나 이상의 카메라는 감지 엘리먼트들의 복수의 행들을 함께 제공한다. 감지 엘리먼트들의 행들은 LIDAR 센서의 회전 축과 정렬된다. 시스템은 이미지 픽셀 행들의 시퀀스를 획득하기 위해 하나 이상의 카메라를 동작시키는 제어기를 또한 포함한다. 시퀀스의 제1 이미지 픽셀 행은 제1 노출 시간 기간 동안 감지 엘리먼트들의 제1 행에 의해 검출된 외부 광을 나타낸다. 시퀀스의 제2 이미지 픽셀 행은 제2 노출 시간 기간 동안 감지 엘리먼트들의 제2 행에 의해 검출된 외부 광을 나타낸다.

Description

동기화된 회전식 LIDAR 및 롤링 셔터 카메라 시스템
본 출원은 2017년 9월 28일자로 출원된 미국 특허 출원 제15/719,366호에 대한 우선권을 주장하며, 그 전체 내용이 본 명세서에 참조로 포함된다.
특히, 라이다(light detection and ranging)(LIDAR) 센서들, 레이더(radio detection and ranging)(RADAR) 센서들 및 소나(sound navigation and ranging)(SONAR) 센서들과 같은 능동 센서들은 환경을 향해 신호들을 방출하고 방출된 신호들의 반사들을 검출함으로써 환경을 스캔할 수 있다. 특히, 이미지 센서들 및 마이크로폰들과 같은 수동 센서들은 환경의 소스로부터 발생하는 신호들을 검출할 수 있다.
예시적인 LIDAR 센서는 반사 표면들을 나타내는 "포인트 클라우드(point cloud)"를 어셈블링하도록 장면을 스캐닝하는 동안 환경 피처들까지의 거리들을 결정할 수 있다. 포인트 클라우드의 개별 포인트들은, 예를 들어, 레이저 펄스를 송신하고, 환경의 객체로부터 반사되는 리턴 펄스가 있는 경우 이를 검출한 후, 펄스의 송신과 그 반사의 수신 사이의 시간 지연에 따라 객체까지의 거리를 결정함으로써 결정될 수 있다. 따라서, 환경의 반사 피처들의 위치들을 나타내는 포인트들의 3차원 맵이 생성될 수 있다.
예시적인 이미지 센서는 이미지 센서가 볼 수 있는 장면의 이미지를 캡처할 수 있다. 예를 들어, 이미지 센서는 상보형 금속 산화물 반도체(complementary metal oxide semiconductor)(CMOS) 능동 픽셀 센서들의 어레이, 또는 다른 타입들의 광 센서들을 포함할 수 있다. 각각의 CMOS 센서는 어레이에 입사하는 장면으로부터의 광의 일부를 수신할 수 있다. 그 후, 각각의 CMOS 센서는 CMOS 센서가 장면으로부터의 광에 노출될 때의 노출 시간 동안 CMOS 센서에 입사하는 광의 양의 측정을 출력할 수 있다. 이러한 배열에 의하면, 장면의 이미지가 생성될 수 있으며, 여기서 이미지의 각각의 픽셀은 CMOS 센서들의 어레이로부터의 출력들에 기초하여 하나 이상의 값(예를 들어, 컬러 등)을 나타낸다.
일례에서, 시스템은 송신기 및 수신기를 포함하는 라이다(light detection and ranging)(LIDAR) 센서를 포함한다. 송신기는 LIDAR 센서의 환경을 향해 광 펄스들을 방출한다. 수신기는 방출된 광 펄스들의 반사들을 검출한다. LIDAR 센서는 축 주위의 LIDAR 센서의 회전에 기초하여 환경을 스캔한다. 시스템은 또한 하나 이상의 외부 광원으로부터 발생하는 외부 광을 검출하는 하나 이상의 카메라를 포함한다. 하나 이상의 카메라는 감지 엘리먼트들의 복수의 행들을 함께 제공한다. 감지 엘리먼트들의 각각의 행은 LIDAR 센서의 회전 축과 정렬된다. 시스템은 또한 이미지 픽셀 행들의 시퀀스를 획득하기 위해 하나 이상의 카메라를 동작시키는 제어기를 포함한다. 시퀀스의 제1 이미지 픽셀 행은 제1 노출 시간 기간 동안 감지 엘리먼트들의 제1 행에 의한 외부 광의 측정을 나타낸다. 시퀀스의 제2 이미지 픽셀 행은 제2 노출 시간 기간 동안 감지 엘리먼트들의 제2 행에 의한 외부 광의 측정을 나타낸다.
다른 예에서, 디바이스는 라이다(LIDAR) 센서 - 상기 LIDAR 센서는 복수의 광 빔들을 방출하고, 복수의 광 빔들을 LIDAR 센서의 포인팅 방향에 의해 정의되는 시야(field-of-view)(FOV)를 향해 지향시키고, 방출된 광 빔들의 반사들을 검출함 - 를 포함한다. 디바이스는 또한 하나 이상의 외부 광원으로부터 발생하는 외부 광을 검출하는 이미지 센서를 포함한다. 이미지 센서는 감지 엘리먼트들의 인접한 행들의 어레이를 포함한다. 어레이의 감지 엘리먼트들의 주어진 행은 LIDAR 센서의 주어진 포인팅 방향에 대해 LIDAR 센서에 의해 지향되는 주어진 광 빔들의 배열에 따라 배열된다. 디바이스는 또한 LIDAR 센서의 포인팅 방향을 조정하기 위해 축 주위로 LIDAR 센서를 회전시키는 액추에이터를 포함한다. LIDAR 센서에 의해 방출된 복수의 광 빔들의 배열은 적어도 포인팅 방향의 조정에 기초한다. 디바이스는 또한 적어도 LIDAR 센서에 의해 방출된 복수의 광 빔들의 배열에 기초하는 특정 순서로 이미지 픽셀들의 시퀀스를 획득하도록 이미지 센서를 동작시키는 제어기를 포함한다. 이미지 픽셀들의 시퀀스는 외부 광에 대한 각각의 감지 엘리먼트들의 각각의 노출 시간 기간들에 따라 어레이의 각각의 감지 엘리먼트들에 의한 측정들을 나타낸다. 각각의 노출 시간 기간들은 적어도 특정 순서에 기초한다.
또 다른 예에서, 방법은 라이다(LIDAR) 센서의 환경을 스캔하기 위해 축 주위로 LIDAR 센서를 회전시키는 단계를 포함한다. LIDAR 센서는 환경을 향해 광 펄스들을 방출하고, 방출된 광 펄스들의 반사들을 검출한다. 방법은 또한, 하나 이상의 외부 광원으로부터 발생하는 외부 광을 검출하는 하나 이상의 카메라를 사용하여 이미지 픽셀 행들의 시퀀스를 획득하는 단계를 포함한다. 하나 이상의 카메라는 감지 엘리먼트들의 복수의 행들을 함께 제공한다. 감지 엘리먼트들의 각각의 행은 LIDAR 센서의 회전 축과 정렬된다. 시퀀스의 제1 이미지 픽셀 행은 제1 노출 시간 기간 동안 감지 엘리먼트들의 제1 행에 의한 외부 광의 측정을 나타낸다. 시퀀스의 제2 이미지 픽셀 행은 제2 노출 시간 기간 동안 감지 엘리먼트들의 제2 행에 의한 외부 광의 측정을 나타낸다.
또 다른 예에서, 시스템은 라이다(LIDAR) 센서의 환경을 스캔하기 위해 축 주위로 LIDAR 센서를 회전시키기 위한 수단을 포함한다. LIDAR 센서는 환경을 향해 광 펄스들을 방출하고, 방출된 광 펄스들의 반사들을 검출한다. 시스템은 또한, 하나 이상의 외부 광원으로부터 발생하는 외부 광을 검출하는 하나 이상의 카메라를 사용하여 이미지 픽셀 행들의 시퀀스를 획득하기 위한 수단을 포함한다. 하나 이상의 카메라는 감지 엘리먼트들의 복수의 행들을 함께 제공한다. 감지 엘리먼트들의 각각의 행은 LIDAR 센서의 회전 축과 정렬된다. 시퀀스의 제1 이미지 픽셀 행은 제1 노출 시간 기간 동안 감지 엘리먼트들의 제1 행에 의한 외부 광의 측정을 나타낸다. 시퀀스의 제2 이미지 픽셀 행은 제2 노출 시간 기간 동안 감지 엘리먼트들의 제2 행에 의한 외부 광의 측정을 나타낸다.
이들 및 다른 양태들, 이점들 및 대안들이 적절한 경우 첨부 도면들을 참조하여 이하의 상세한 설명을 읽음으로써 본 기술분야의 통상의 기술자에게 명백해질 것이다. 또한, 본 요약 섹션 및 본 문헌의 다른 곳에서 제공되는 설명은 제한이 아닌 예로서 청구 대상을 예시하기 위해 의도된다는 것이 이해되어야 한다.
도 1은 예시적인 실시예들에 따른 시스템의 간략화된 블록도이다.
도 2a는 예시적인 실시예들에 따른 회전식 LIDAR 센서 및 롤링 셔터 카메라 구성을 포함하는 디바이스를 예시한다.
도 2b는 도 2a의 롤링 셔터 카메라 배열의 단면도이다.
도 2c는 도 2a의 디바이스의 동작의 개념도이다.
도 2d는 도 2a의 디바이스의 평면도를 예시한다.
도 2e는 도 2a의 디바이스의 다른 평면도를 예시한다.
도 3은 예시적인 실시예들에 따른 다른 롤링 셔터 카메라 배열의 단면도를 예시한다.
도 4는 예시적인 실시예들에 따른 방법의 흐름도이다.
예시적인 구현들이 여기에 설명된다. 본 명세서에서 "예시적인"이라는 단어는 "예, 인스턴스 또는 예시로서 역할하는"을 의미하는 것으로 사용된다는 것이 이해되어야 한다. 본 명세서에서 "예시적인" 또는 "예시적으로" 설명되는 임의의 구현 또는 피처는 다른 구현들 또는 피처들보다 바람직하거나 유리한 것으로 해석될 필요는 없다. 도면들에서, 문맥상 달리 지시되지 않는 한, 유사한 심볼들은 통상적으로 유사한 컴포넌트들을 식별한다. 본 명세서에 설명된 예시적인 구현들은 제한적인 것을 의미하지 않는다. 본 명세서에서 일반적으로 설명되고 도면들에서 예시되는 바와 같은 본 개시내용의 양태들은 매우 다양한 상이한 구성들로 배열, 대체, 결합, 분리 및 설계될 수 있다는 것이 쉽게 이해될 것이다.
I. 개요
센서 융합 알고리즘들은, 예를 들어, 스캔된 환경의 표현을 생성하기 위해 이미지 센서 및 LIDAR 센서와 같은 다수의 센서들로부터의 데이터를 병합하기 위해 채택될 수 있다. 예를 들어, 스캔된 환경의 3D 표현은 LIDAR 센서를 사용하여 결정된 다른 정보(예를 들어, 거리, 깊이, 강도, 텍스처, 반사 광 펄스 길이 등)와 결합된 이미지 센서를 사용하여 결정된 컬러 정보를 나타낼 수 있다.
본 명세서의 예시적인 디바이스들, 시스템들 및 방법들은 주변 환경을 감지하는 2개 이상의 센서의 공간적 및/또는 시간적 동기화에 관한 것이다. 하나의 예시적인 디바이스는 회전식 LIDAR 센서 및 하나 이상의 카메라를 포함할 수 있다. 하나 이상의 카메라는 이미지 감지 엘리먼트들의 인접한 행들의 어레이를 함께 제공할 수 있다. 어레이의 행들은 LIDAR 센서의 회전 축과 정렬될 수 있다(예를 들어, 실질적으로 평행할 수 있다). 예를 들어, LIDAR 센서가 수직 축 주위로 회전하는 경우, 감지 엘리먼트들의 각각의 행은 LIDAR 센서의 수직 축에 평행한 감지 엘리먼트들의 수직 라인으로서 배열될 수 있다.
예를 들어, 이러한 배열에 의하면, 디바이스는 (i) 하나 이상의 카메라에 의해 캡처된 이미지 픽셀들 및 (ii) LIDAR 센서에 의해 검출된 반사된 광 펄스들과 연관된 타이밍 및 뷰잉 방향들의 동기화를 향상시킬 수 있다.
예로서, LIDAR 센서는 실질적으로 수직인 회전 축을 가질 수 있고, LIDAR 센서가 회전함에 따라, 수직 패턴(예를 들어, LIDAR 센서의 회전 축에 평행)으로 광 펄스들을 반복적으로 방출하도록 구성될 수 있다. 수직 패턴으로 방출된 광 펄스들은 LIDAR 센서의 회전 레이트에 비해 매우 빠르게 방출될 수 있다. 따라서, 이 예에서, 수직 방향은 LIDAR 센서의 "고속 축"으로서 기술될 수 있고, LIDAR 센서의 수평 회전 방향은 LIDAR 센서의 "저속 축"으로서 기술될 수 있다. 예를 들어, LIDAR 센서의 고속 축은 LIDAR 센서를 사용하여 생성된 데이터 포인트 클라우드에서의 수직 방향에 대응할 수 있고, LIDAR 센서의 저속 축은 데이터 포인트 클라우드에서의 수평 방향에 대응할 수 있다.
디바이스의 제어기는 LIDAR 센서가 광 펄스들을 방출(및 검출)하는 순서와 유사한 순서로 이미지 픽셀들의 시퀀스를 획득하도록 하나 이상의 카메라를 동작시킬 수 있다. 예를 들어, 시퀀스의 제1 이미지 픽셀 라인은, LIDAR 센서에 의해 광 펄스들이 방출되는 순서와 유사한 순서(예를 들어, 위에서 아래로 등)로, 어레이의 감지 엘리먼트들의 제1 행(예를 들어, 수직 행)을 사용하여 측정될 수 있다. 그 후, (제1 라인에 후속하는) 시퀀스의 제2 이미지 픽셀 라인이 어레이의 감지 엘리먼트들의 인접한 수직 행을 사용하여 측정될 수 있고, 기타 등등 마찬가지이다.
시퀀스의 각각의 이미지 픽셀 라인은 어레이의 감지 엘리먼트들의 각각의 행의 각각의 노출 시간 기간에 따라 측정될 수 있다. 예를 들어, 제1 이미지 픽셀 라인은 제1 노출 시간 기간 동안 감지 엘리먼트들의 제1 행에 입사하는 외부 광의 양을 나타낼 수 있고, 제2 후속하는 이미지 픽셀 라인은 (제1 노출 시간 기간이 시작한 후에 시작하는) 제2 노출 시간 기간 동안 감지 엘리먼트들의 제2 (인접한) 행에 입사하는 외부 광의 양을 나타낼 수 있다. 일부 구현들에서, 제2 노출 시간 기간은 제1 노출 시간 기간이 시작된 후 그러나 제1 노출 시간 기간이 종료되기 전에 시작될 수 있다. 대안적으로, 다른 구현들에서, 제2 노출 시간 기간은 제1 노출 시간 기간이 종료된 후에 시작될 수 있다.
이 프로세스를 통해, 하나 이상의 카메라의 "고속 축"은 LIDAR 센서의 고속 축에 대응할 수 있고, 하나 이상의 카메라의 "저속 축"은 LIDAR 센서의 저속 축에 대응할 수 있다. 예를 들어, 예시적인 디바이스에 하나 이상의 카메라를 장착할 때, 카메라(들)는 잇따라 측정되는 감지 엘리먼트들의 행들(즉, 카메라(들)의 고속 축)이 LIDAR 센서의 회전 축(즉, LIDAR 센서의 고속 축)에 대해 평행할 때까지 LIDAR 센서에 대해 (예를 들어, 수평 배향으로부터 수직 배향으로 등과 같이) 물리적으로 회전될 수 있다.
일부 구현들에서, 디바이스의 제어기는 제어기에 의해 제공된 타이밍 구성에 따라 이미지 픽셀들의 시퀀스를 획득하도록 하나 이상의 카메라를 동작시킬 수 있다. 타이밍 구성은, 예를 들어, LIDAR 센서의 회전 축에 관한 LIDAR 센서의 배향(예를 들어, 뷰잉 방향, 포인팅 방향, 각도 포지션 등)에 기초할 수 있다.
예를 들어, 제어기는 LIDAR 센서의 현재 시야(field-of-view)(FOV) 근처 또는 (적어도 부분적으로) 이와 중첩되는 FOV를 촬상하는 이미지 감지 엘리먼트들의 행을 사용하여 측정된 이미지 픽셀들을 획득할 수 있다. 예를 들어, 이미지 감지 엘리먼트들의 행은 환경의 특정 영역으로부터의 외부 광을 검출하도록 구성될 수 있다. 이미지 픽셀들의 모음을 LIDAR 데이터의 모음과 동기화시키기 위해, 디바이스는 LIDAR 센서가 또한 환경의 특정 영역을 스캐닝하고 있는 때(회전식 LIDAR의 FOV가 환경의 특정 영역과 중첩할 때)의 시간을 포함하는 노출 시간 기간 동안 외부 광에 감지 엘리먼트들의 행을 노출시킬 수 있다. 그렇게 함으로써, 예를 들어, 디바이스는 유사한 시간 프레임 동안 유사한 뷰잉 방향으로부터 LIDAR 센서에 의해 검출된 대응하는 광 펄스 반사들과 이미지 픽셀들의 시퀀스를 매칭시킬 가능성을 향상시킬 수 있다.
이 프로세스를 통해, LIDAR 센서 및 카메라(들)로부터의 센서 데이터가 보다 효과적으로 결합될 수 있다. 보다 일반적으로, 본 명세서에서의 예시적인 구현들은 시간 도메인 및/또는 공간 도메인에서 2개(또는 그 이상)의 센서의 센서 데이터 수집 동작들을 동기화시킴으로써 2개(또는 그 이상)의 센서로부터의 센서 데이터를 결합하는 것과 관련된 컴퓨터 동작들의 정확도 및 효율성을 향상시킬 수 있다.
II. 예시적인 센서들
본 명세서에 설명된 예시적인 센서들은 LIDAR 센서들 및 카메라들(또는 이미지 센서들)을 포함하지만, 다른 타입들의 센서들도 가능하다. 본 개시내용의 범위를 벗어나지 않고 본 명세서에서 대안적으로 채택될 수 있는 예시적인 센서들의 비-포괄적인 리스트는 RADAR 센서들, SONAR 센서들, 사운드 센서들(예를 들어, 마이크로폰들 등), 모션 센서들, 온도 센서들, 압력 센서들 등을 포함한다.
이를 위해, 본 명세서의 예시적인 센서들은 센서에 제공된 변조된 전력에 기초하여 신호(예를 들어, 펄스들의 시퀀스 또는 임의의 다른 변조된 신호)를 방출 한 후, 주변 환경의 객체들로부터 방출된 신호의 반사들을 검출하는 능동 센서들을 포함할 수 있다. 대안적으로 또는 추가적으로, 본 명세서의 예시적인 센서들은 환경의 외부 소스(들)로부터 발생하는 외부 신호들(예를 들어, 배경 신호들 등)을 검출하는 수동 센서들(예를 들어, 카메라들, 마이크로폰들, 안테나들, 압력 센서들 등)을 포함할 수 있다.
이제 도면들을 참조하면, 도 1은 예시적인 실시예에 따른 동기화된 센서들을 포함하는 시스템(100)의 단순화된 블록도이다. 도시된 바와 같이, 시스템(100)은 전력 공급 장치(102), 제어기(104), 하나 이상의 센서(106), 하나 이상의 센서(108), 회전 플랫폼(110), 하나 이상의 액추에이터(112), 고정 플랫폼(114), 회전 링크(116), 하우징(118) 및 디스플레이(140)를 포함한다.
다른 실시예들에서, 시스템(100)은 더 많거나, 더 적거나, 또는 상이한 컴포넌트들을 포함할 수 있다. 또한, 도시된 컴포넌트들은 임의의 수의 방식들로 결합되거나 분할될 수 있다. 예를 들어, 센서(들)(108)는 단일 물리적 컴포넌트(예를 들어, 카메라 링)로서 구현될 수 있다. 대안적으로, 예를 들어, 센서(들)(108)는 별도의 물리적 컴포넌트들의 배열로서 구현될 수 있다. 다른 예들도 가능하다. 따라서, 도 1의 기능 블록들은 설명의 편의상 도시된 바와 같이 예시되어 있다. 다른 예시적인 컴포넌트들, 배열들 및 구성들은 본 개시내용의 범위를 벗어나지 않으면서도 가능하다.
전력 공급 장치(102)는 시스템(100)의 다양한 컴포넌트들에 전력을 공급, 수신 및/또는 분배하도록 구성될 수 있다. 이를 위해, 전력 공급 장치(102)는 임의의 실행 가능한 방식으로 시스템(100) 내에 배치되고 시스템(100)의 다양한 컴포넌트들에 연결되어 해당 컴포넌트들에 전력을 공급하는 전원(예를 들어, 배터리들 등)의 형태를 포함할 수도 있고 또는 다른 방식으로 이를 취할 수도 있다. 추가적으로 또는 대안적으로, 전력 공급 장치(102)는 하나 이상의 외부 전원으로부터(예를 들어, 시스템(100)이 장착된 차량에 배열된 전원 등으로부터) 전력을 수신하고 수신된 전력을 시스템(100)의 다양한 컴포넌트들에 송신하도록 구성되는 전력 어댑터의 형태를 포함할 수도 있고 또는 다른 방식으로 이를 취할 수도 있다.
제어기(104)는 시스템(100)의 특정 동작들을 용이하게 하도록 배열된 하나 이상의 전자 컴포넌트 및/또는 시스템을 포함할 수 있다. 제어기(104)는 임의의 실행 가능한 방식으로 시스템(100) 내에 배치될 수 있다. 일 실시예에서, 제어기(104)는 회전 링크(116)의 중심 공동 영역 내에 적어도 부분적으로 배치될 수 있다. 다른 실시예에서, 제어기(104)의 하나 이상의 기능은 각각 시스템(100)의 각각의 컴포넌트(예를 들어, 센서(들)(106, 108) 등) 내에 배치되는 하나 이상의 물리적으로 분리된 제어기에 의해 대안적으로 수행될 수 있다.
일부 예들에서, 제어기(104)는 제어 신호들을 시스템(100)의 다양한 컴포넌트들에 전송하기 위해 및/또는 시스템(100)의 다양한 컴포넌트들로부터 제어기(104)로 데이터를 전송하기 위해 사용되는 배선을 포함할 수도 있고 또는 다른 방식으로 이에 커플링될 수도 있다. 일반적으로, 제어기(104)가 수신하는 데이터는 특히 LIDAR(106) 및/또는 카메라(들)(108)에 의한 광의 검출들에 기초한 센서 데이터를 포함할 수 있다. 또한, 제어기(104)에 의해 전송된 제어 신호들은, 특히, 센서(들)(106)(예를 들어, LIDAR 등)에 의한 광 또는 다른 신호의 방출 및/또는 검출을 제어하고/하거나, 카메라(예를 들어, 센서(들)(108)에 포함됨)를 통해 이미지 픽셀 캡처 레이트 또는 시간들을 제어하고/하거나, 회전 플랫폼(110)을 회전시키도록 액추에이터(들)(112)를 제어하는 등에 의해 시스템(100)의 다양한 컴포넌트들을 동작시킬 수 있다.
이를 위해, 일부 예들에서, 제어기(104)는 하나 이상의 프로세서, 데이터 스토리지, 및 시스템(100)으로 하여금 본 명세서에 설명된 다양한 동작들을 수행하게 하기 위해 하나 이상의 프로세서에 의해 실행 가능한 (데이터 스토리지에 저장된) 프로그램 명령어들을 포함할 수 있다. 일부 인스턴스들에서, 제어기(104)는 제어 신호들 및/또는 외부 제어기와 시스템(100)의 다양한 컴포넌트들 사이의 데이터의 용이한 전송을 돕기 위해 외부 제어기 등(예를 들어, 차량에 배열된 컴퓨팅 시스템, 로봇, 또는 시스템(100)이 장착된 다른 기계적 디바이스)과 통신할 수 있다.
추가적으로 또는 대안적으로, 일부 예들에서, 제어기(104)는 본 명세서에 설명된 다양한 기능들을 수행하도록 유선 회로를 포함할 수 있다. 추가적으로 또는 대안적으로, 일부 예들에서, 제어기(104)는 하나 이상의 특수 목적 프로세서, 서보, 또는 다른 타입들의 제어기를 포함할 수 있다. 예를 들어, 제어기(104)는 특정 주파수 또는 위상에 따라 회전 플랫폼(110)의 회전을 변조시키도록 액추에이터(들)(112)를 동작시키는 비례-적분-미분(proportional-integral-derivative)(PID) 제어기 또는 다른 제어 루프 피드백 장치를 포함할 수 있다. 다른 예들도 가능하다.
센서들(106 및 108)은 시스템(100)의 주변 환경을 스캔하는 LIDAR들, 카메라들, 자이로스코프들, 가레이트계들, 인코더들, 마이크로폰들, RADAR들, SONAR들, 온도계들 등과 같은 하나 이상의 센서를 임의적으로 포함할 수 있다.
센서(들)(106)는 신호를 방출하고 방출된 신호의 반사들을 검출함으로써 주변 환경을 스캔하도록 구성되는 임의의 디바이스를 포함할 수 있다. 예를 들어, 센서(들)(106)는 임의의 타입의 능동 센서를 포함할 수 있다. 이를 위해, 도시된 바와 같이, 센서(106)는 송신기(120) 및 수신기(122)를 포함한다. 일부 구현들에서, 센서(106)는 하나 이상의 광학 엘리먼트(124)를 또한 포함할 수 있다.
송신기(120)는 시스템(100)의 환경을 향해 신호를 송신하도록 구성될 수 있다.
센서(106)가 LIDAR 센서로서 구성되는 제1 예에서, 송신기(120)는 파장 범위 내의 파장들을 갖는 하나 이상의 광 빔 및/또는 광 펄스를 방출하는 하나 이상의 광원(도시 생략)을 포함할 수 있다. 파장 범위는, 예를 들어, 광원들의 구성에 따라 전자기 스펙트럼의 자외선, 가시광 및/또는 적외선 부분들에 있을 수 있다. 일부 예들에서, 파장 범위는 레이저들 및/또는 일부 발광 다이오드들에 의해 제공되는 것과 같은 좁은 파장 범위일 수 있다. 일부 예들에서, 송신기(120)의 광원(들)은 레이저 다이오드들, 다이오드 바들, 발광 다이오드(light emitting diode)(LED)들, 수직 공동 표면 방출 레이저(vertical cavity surface emitting laser)(VCSEL)들, 유기 발광 다이오드(organic light emitting diode)(OLED)들, 폴리머 발광 다이오드(polymer light emitting diode)(PLED)들, 발광 폴리머(light emitting polymer)(LEP)들, 액정 디스플레이(liquid crystal display)(LCD)들, 마이크로 전자 기계 시스템(microelectromechanical system)(MEMS)들, 섬유 레이저들, 및/또는 복수의 방출된 광 빔들 및/또는 광 펄스들을 제공하기 위해 광을 선택적으로 투과, 반사 및/또는 방출하도록 구성되는 임의의 다른 디바이스를 포함할 수 있다.
센서(106)가 능동 적외선(infrared)(IR) 카메라로서 구성되는 제2 예에서, 송신기(120)는 장면을 조명하기 위해 IR 방사선을 방출하도록 구성될 수 있다. 이를 위해, 송신기(120)는 IR 방사선을 제공하도록 구성되는 임의의 타입의 디바이스(예를 들어, 광원 등)를 포함할 수 있다.
센서(106)가 RADAR 센서로서 구성되는 제3 예에서, 송신기(120)는 시스템(100)의 환경을 향해 변조된 라디오-주파수(radio-frequency)(RF) 신호를 방출하도록 구성되는 하나 이상의 안테나를 포함할 수 있다.
센서(106)가 SONAR 센서로서 구성되는 제4 예에서, 송신기(120)는 시스템(100)의 환경을 향해 변조된 사운드 신호를 방출하도록 구성되는 압전 트랜스듀서들, 자기 변형 트랜스듀서들, 정전기 트랜스듀서들 등과 같은 하나 이상의 음향 트랜스듀서를 포함할 수 있다. 일부 구현들에서, 음향 트랜스듀서들은 특정 파장 범위(예를 들어, 적외선, 초음파 등) 내에서 사운드 신호들을 방출하도록 구성될 수 있다. 다른 예들도 가능하다.
수신기(122)는 송신기(120)에 의해 방출된 신호의 반사들을 검출하도록 구성되는 하나 이상의 검출기를 포함할 수 있다.
센서(106)가 RADAR 센서로서 구성되는 제1 예에서, 수신기(122)는 송신기(120)에 의해 송신된 RF 신호의 반사들을 검출하도록 구성되는 하나 이상의 안테나를 포함할 수 있다. 이를 위해, 일부 구현들에서, 송신기(120) 및 수신기(122)의 하나 이상의 안테나는 동일한 물리적 안테나 구조로서 물리적으로 구현될 수 있다.
센서(106)가 SONAR 센서로서 구성되는 제2 예에서, 수신기(122)는 송신기(120)에 의해 방출된 사운드 신호들의 반사들을 검출하도록 구성되는 하나 이상의 사운드 센서(예를 들어, 마이크로폰 등)를 포함할 수 있다.
센서(106)가 능동 IR 카메라로서 구성되는 제3 예에서, 수신기(122)는 송신기(120)에 의해 송신되고 수신기(122)를 향해 장면에서 반사된 IR 광의 소스 파장을 검출하도록 구성되는 하나 이상의 광 검출기(예를 들어, 능동 픽셀 센서들 등)를 포함할 수 있다.
센서(106)가 LIDAR 센서로서 구성되는 제4 예에서, 수신기(122)는 송신기(120)에 의해 방출되고 시스템(100)의 주변 환경의 하나 이상의 객체로부터 반사된 광 펄스들의 반사들을 가로채서 검출하도록 배열되는 하나 이상의 광 검출기(예를 들어, 포토다이오드들, 애벌랜치 포토다이오드(avalanche photodiode)들 등)를 포함할 수 있다. 이를 위해, 수신기(122)는 송신기(120)에 의해 방출된 광과 동일한 파장 범위의 파장들을 갖는 광을 검출하도록 구성될 수 있다. 이러한 방식으로, 예를 들어, 센서(106)(예를 들어, LIDAR)는 송신기(120)에 의해 발생된 반사된 광 펄스들을 환경의 외부 광원들로부터 발생하는 다른 광과 구별할 수 있다.
일부 인스턴스들에서, 수신기(122)는 광 검출기 어레이를 포함할 수 있으며, 광 검출기 어레이는 검출된 광을 (예를 들어, 송신기(120)에 의해 방출된 광의 파장 범위에서) 검출된 광을 나타내는 전기 신호로 변환하도록 각각 구성되는 하나 이상의 검출기를 포함할 수 있다. 실제로, 이러한 광 검출기 어레이는 다양한 방식들 중 하나로 배열될 수 있다. 예를 들어, 검출기들은 하나 이상의 기판(예를 들어, 인쇄 회로 기판(printed circuit board)(PCB)들, 가요성 PCB들 등) 상에 배치되고 들어오는 광을 검출하도록 배열될 수 있다. 또한, 이러한 광 검출기 어레이는 임의의 실행 가능한 방식으로 정렬된 임의의 실행 가능한 수의 검출기들을 포함할 수 있다. 또한, 어레이의 검출기들은 다양한 형태들을 취할 수 있다. 예를 들어, 검출기들은 포토다이오드들, 애벌랜치 포토다이오드들(예를 들어, 가이거(Geiger) 모드 및/또는 선형 모드 애벌랜치 포토다이오드들), 실리콘 포토 멀티 플라이어(silicon photomultiplier)(SiPM), 포토 트랜지스터들, 카메라들, 능동 픽셀 센서들(active pixel sensors)(APS), 전하 결합 디바이스들(charge coupled devices)(CCD), 극저온 검출기들, 및/또는 방출된 광의 파장 범위의 파장들을 갖는 집광된 광을 수신하도록 구성되는 임의의 다른 광 센서의 형태를 취할 수 있다.
일부 구현들에서, (예를 들어, LIDAR 구성에서의) 센서(106)는 LIDAR의 회전 레이트를 변경하고/하거나 송신기(120)에 의해 방출된 광 펄스들의 펄스 레이트를 조정함으로써 수평 스캐닝 해상도를 선택 또는 조정할 수 있다. 특정 예로서, 송신기(120)는 초당 15,650개의 광 펄스의 펄스 레이트로 광 펄스들을 방출하도록 구성될 수 있다. 이 예에서, LIDAR(106)는 10Hz(즉, 초당 10회의 완전한 360° 회전)로 회전하도록 구성될 수 있다. 이와 같이, 수신기(122)는 0.23° 수평 각도 해상도로 광을 검출할 수 있다. 또한, 0.23°의 수평 각도 해상도는 LIDAR(106)의 회전 레이트를 변경함으로써 또는 펄스 레이트를 조정함으로써 조정될 수 있다. 예를 들어, LIDAR(106)가 대신 20Hz로 회전되는 경우, 수평 각도 해상도는 0.46°가 될 수 있다. 대안적으로, 송신기(120)가 10Hz의 회전 레이트를 유지하면서 초당 31,300개의 광 펄스의 레이트로 광 펄스들을 방출하는 경우, 수평 각도 해상도는 0.115°가 될 수 있다. 다른 예들도 가능하다. 또한, 일부 예들에서, LIDAR(106)는 LIDAR(106)의 완전한 360°미만의 회전 내에서 특정 범위의 뷰들을 스캔하도록 대안적으로 구성될 수 있다.
광학 엘리먼트(들)(124)는 송신기(120) 및/또는 수신기(122)에 임의적으로 포함될 수도 있고 또는 다른 방식으로 이에 커플링될 수도 있다. 일례(예를 들어, 센서(106)가 LIDAR 센서를 포함하는 경우)에서, 광학 엘리먼트(들)(124)는 송신기(120)의 광원으로부터 환경을 향해 광을 지향시키도록 배열될 수 있다. 다른 예에서, 광학 엘리먼트(들)(124)는 환경으로부터 수신기(122)를 향해 광을 집광 및/또는 가이드하도록 배열될 수 있다. 따라서, 광학 엘리먼트(들)(124)는 거울(들), 도파관(들), 광 필터들, 렌즈(들), 또는 물리적 공간을 통해 광의 전파를 가이드하고/하거나 특정 광 특성들을 조정하도록 배열된 임의의 다른 광학 컴포넌트들의 임의의 실행 가능한 조합을 포함할 수 있다. 예를 들어, 광학 엘리먼트들(124)은 송신기(120)에 의해 방출된 광의 파장 범위 밖의 파장들을 갖는 광이 수신기(122)를 향해 전파되는 것을 감소시키거나 방지하도록 배열된 광 필터를 포함할 수 있다. 예를 들어, 이러한 배열에 의하면, 광 필터는 스캔된 환경으로부터 전파되고 송신기(120)의 광원들과 상이한 외부 광원으로부터 발생하는 배경 광으로 인한 노이즈를 감소시킬 수 있다.
센서(들)(108)는 주변 환경을 스캔하도록 구성되는 임의의 타입의 센서를 포함할 수 있다. 도시된 바와 같이, 센서들(108)은 감지 엘리먼트들(128)의 어레이를 포함한다. 또한, 도시된 바와 같이, 센서들(108)은 하나 이상의 광학 엘리먼트(130)를 임의적으로 포함할 수 있다.
일부 예들에서, 센서(들)(108)는 신호들을 송신하고 그 반사들을 검출하는 능동 센서들(예를 들어, LIDAR, RADAR, SONAR 등)을 포함할 수 있다. 따라서, 도시되지는 않았지만, 센서들(108)은 각각 송신기(120) 및 수신기(122)와 유사한 송신기 및 수신기를 포함할 수 있다. 다른 예에서, 센서(들)(108)는 하나 이상의 외부 소스로부터 발생하는 외부 신호들을 검출하는 수동 센서들(예를 들어, 마이크로폰들, 카메라들, 이미지 센서들, 온도계들 등)을 포함할 수 있다.
센서(108)가 사운드 센서로서 구성되는 제1 예에서, 감지 엘리먼트들(128)은 어레이의 각각의 마이크로폰들에 입사하는 사운드들(예를 들어, 외부 신호들)을 각각 검출하는 마이크로폰들의 어레이를 포함할 수 있다.
센서(들)(108)가 하나 이상의 카메라로서 구성되는 제2 예에서, 카메라(들)는 시스템(100)이 위치한 환경의 이미지들을 캡처하도록 구성되는 임의의 카메라(예를 들어, 스틸 카메라, 비디오 카메라 등)를 포함할 수 있다. 예를 들어, 센서(108)의 카메라는 이미지를 나타내는 데이터를 검출하고 제공하는 임의의 촬상 디바이스를 포함할 수 있다. 예를 들어, 감지 엘리먼트들(128)은 각각이 그에 입사하는 광의 측정을 제공하는 광 감지 엘리먼트들의 하나 이상의 배열을 포함할 수 있다. 이를 위해, 감지 엘리먼트들(128)은, 특히, 전하-결합 디바이스들(CCD), 능동 픽셀 센서들, 상보형 금속-산화물-반도체(CMOS) 광 검출기들, N-형 금속-산화물-반도체(N-type metal-oxide-semiconductor)(NMOS) 광 검출기들을 포함할 수 있다.
또한, 일부 예들에서, 감지 엘리먼트들(128)로부터의 데이터는 이미지를 생성하기 위해 감지 엘리먼트들(128)의 배열에 따라 결합될 수 있다. 일례에서, 감지 엘리먼트들의 2차원(2D) 어레이로부터의 데이터는 이미지 내의 이미지 픽셀들의 2D 어레이에 대응할 수 있다. 다른 예에서는, 감지 엘리먼트들의 3D 배열(예를 들어, 곡면을 따라 배열된 감지 엘리먼트들)이 이미지에서 이미지 픽셀들의 2D 어레이를 생성하기 위해 유사하게 사용될 수 있다. 다른 예들도 가능하다.
일부 예들에서, 감지 엘리먼트는 다수의 인접한 광 검출기들(또는 다른 타입들의 신호들의 검출기들)을 임의적으로 포함할 수 있으며, 여기서 각각의 검출기는 특정 파장 또는 파장 범위를 갖는 광(또는 다른 신호)을 검출하도록 구성된다. 예를 들어, 이미지 픽셀은 적색 광의 강도를 검출하는 제1 검출기, 녹색 광의 강도를 검출하는 제2 검출기, 및 청색 광의 강도를 검출하는 제3 검출기로부터의 데이터의 결합에 기초하여 컬러 정보(예를 들어, 적색-녹색-청색 또는 RGB)를 나타낼 수 있다. 다른 예들도 가능하다.
일 실시예에서, 센서(들)(108)는 장면으로부터 전파되는 가시광을 검출하도록 구성될 수 있다. 또한, 이 실시예에서, 센서(106)의 수신기(122)(예를 들어, LIDAR 수신기)는 송신기(120)에 의해 방출된 광의 파장 범위 내에서 보이지 않는 광(예를 들어, 적외선 등)을 검출하도록 구성될 수 있다. 이 실시예에서, 시스템(100)(또는 제어기(104))은 센서(106)(예를 들어, LIDAR)로부터의 데이터를 센서(108)(예를 들어, 카메라)로부터의 데이터와 결합하여, 스캔된 환경의 컬러 3-차원(3D) 표현(예를 들어, 포인트 클라우드)을 생성할 수 있다.
일부 예들에서, 센서(들)(108)는 센서(106)(예를 들어, LIDAR)의 회전 축 주위에 원형 배열로 배치된 복수의 카메라들(예를 들어, 카메라 링)을 포함할 수 있다. 예를 들어, 제1 카메라는, 센서(106)가 축 주위로 회전할 때(또는 송신기(120)에 의해 송신된 신호들이 축 주위의 상이한 포인팅 방향들로 다른 방식으로 스티어링될 때), 센서(106)의 포인팅 방향들의 범위와 적어도 부분적으로 중첩되는 환경의 제1 시야(FOV)를 촬상하도록 배열될 수 있다. 또한, 제1 카메라에 인접하고/하거나 이에 중첩되는 제2 카메라는 제1 카메라의 제1 FOV에 인접한 제2 FOV 등을 촬상할 수 있고, 기타 등등 마찬가지이다. 이러한 방식으로, 예를 들어, 시스템(100)은, 센서(106)가 축 주위로 회전함에 따라, 센서(106)에 의한 환경의 스캔과 동시에(및/또는 동기하여) 각각의 FOV들의 이미지들의 시퀀스를 캡처하도록 구성될 수 있다.
일부 예들에서, 센서(들)(108)는 롤링 셔터 모드에서 동작하도록 구성될 수 있다.
센서(들)(108)가 마이크로폰 어레이를 포함하는 제1 예에서, 어레이의 마이크로폰으로부터의 각각의 출력은 센서(108)에 입사하는 외부 사운드들에 대한 대응하는 감지 엘리먼트(예를 들어, 마이크로폰)의 각각의 노출 시간 기간과 연관될 수 있다.
센서(들)(108)가 하나 이상의 카메라를 포함하는 제2 예에서, 카메라(들)에 의해 출력된 각각의 픽셀 또는 픽셀들의 그룹은 외부 광에 대한 대응하는 감지 엘리먼트 또는 감지 엘리먼트들의 그룹의 각각의 노출 시간 기간과 연관될 수 있다. 예로서, 카메라(들)(108)는 감지 엘리먼트들(128)의 인접한 행들의 어레이를 함께 제공할 수 있다. 또한, 카메라(들)(108)는 어레이의 대응하는 감지 엘리먼트들에 의한 외부 광의 측정에 대응하는 이미지 픽셀들의 시퀀스를 출력하도록 구성될 수 있다. 예를 들어, 카메라(들)(108)는 어레이의 감지 엘리먼트들의 제1 행으로부터의 데이터에 기초하여 이미지 픽셀들의 제1 행을 출력할 수 있고, 이어서 어레이의 감지 엘리먼트들의 제2 인접한 행으로부터의 데이터에 기초하여 이미지 픽셀들의 제2 행을 출력할 수 있고, 기타 등등 마찬가지이다.
이러한 방식으로, 제1 이미지 픽셀 행은 감지 엘리먼트들의 제1 행이 광에 노출된 제1 노출 시간 기간과 연관될 수 있고, 제2 이미지 픽셀 행은 감지 엘리먼트들의 제2 인접한 행이 광에 노출된 제2 노출 시간 기간과 연관될 수 있고, 기타 등등 마찬가지이다. 제1 노출 시간 기간은 제2 노출 시간 기간이 시작되기 전에 시작될 수 있다. 예를 들어, 제1 노출 시간 기간의 시작 시간으로부터의 시간 지연 후에(및 임의적으로는 제1 노출 시간 기간이 경과하기 전에), 카메라(들)(108)는 감지 엘리먼트들의 제2 인접한 행의 노출을 시작할 수 있다. 또한, 제1 노출 시간 기간은 제2 노출 시간 기간이 종료되기 전에 종료될 수 있다. 예를 들어, 제어기(104)는 제1 노출 시간 기간이 종료된 후 그리고 감지 엘리먼트들의 제2 행이 여전히 외부 광에 노출되고 있는 동안 감지 엘리먼트들의 제1 행으로부터의 출력들을 판독한 다음, 제2 노출 기간이 종료된 후 그리고 감지 엘리먼트들의 제3 행이 여전히 외부 광에 노출되고 있는 동안 감지 엘리먼트들의 제2 행으로부터의 출력들을 판독할 수 있고, 기타 등등 마찬가지이다.
일부 예들에서, 센서(106)가 이미지 센서를 포함하는 경우, 시스템(100)은 송신기(120)가 광 펄스들(또는 다른 신호들)을 방출하는 순서에 기초하여 롤링 셔터 모드에서 감지 엘리먼트들(128)로부터 이미지 픽셀들의 시퀀스가 획득되는 순서를 선택하도록 구성될 수 있다. 예를 들어, 감지 엘리먼트들의 어레이(128)의 감지 엘리먼트들의 주어진 행은 LIDAR(예를 들어, 센서(106))의 회전 축과 정렬될 수 있다(예를 들어, 평행 등). 예를 들어, LIDAR의 회전 축이 수직 축인 경우, 주어진 행은 감지 엘리먼트들의 수직 행(예를 들어, LIDAR의 회전 축에 평행한 수직 라인 배열)에 대응할 수 있다. 또한, 송신기(120)는, LIDAR(예를 들어, 센서(106))가 축 주위로 회전함에 따라, 하나 이상의 수직 라인의 배열로 복수의 광 빔들을 반복적으로 출력하도록 구성될 수 있다. 이와 같이, 예를 들어, 센서(들)(108)(예를 들어, 카메라(들))는 송신기(120)에 의해 방출된 복수의 광 빔들의 배열과 유사하게(예를 들어, 수직으로 등) 배열되는 감지 엘리먼트들의 제1 행을 사용하여 이미지 픽셀들의 제1 행을 출력할 수 있다. 다음으로, 카메라(들)(108)는 LIDAR(또는 다른 센서(106))의 회전 방향으로 감지 엘리먼트들의 제2 인접한 행을 사용하여 이미지 픽셀들의 제2 행을 출력할 수 있다. 따라서, 예를 들어, 이미지 픽셀들의 제2 행은 센서(106)가 감지 엘리먼트들의 제2 행을 향해 회전한 후에 송신기(120)에 의해 방출된 광 빔들의 제2 수직 라인과 정렬될 수 있고, 기타 등등 마찬가지이다.
감지 엘리먼트들의 수직 행들을 잇따라 스캐닝함으로써, 예를 들어, 카메라(들)(108)로부터 획득된 이미지 픽셀들의 시퀀스는 (예를 들어, 송신기(120)가 수직 축 주위로 회전함에 따라) 송신기(120)에 의해 방출된 LIDAR 광 펄스들(또는 다른 신호들)의 시간들 및 방향들과 유사한 시간들에서(및 뷰잉 방향들로부터) 캡처된 충분한 수의 픽셀들을 포함할 수 있다. 예를 들어, 카메라(들)(예를 들어, 센서(들)(108))가 대신에 감지 엘리먼트들의 제1 수평 행에 이어 감지 엘리먼트들의 제2 수평 행을 사용하여 또한 기타 등등 마찬가지로 이미지 픽셀들의 시퀀스를 캡처한 경우, LIDAR 광 펄스들의 시간들 및 방향들과 유사한 시간들(및 뷰잉 방향들)에서 더 적은 수의 이미지 픽셀들이 캡처될 수 있다.
광학 엘리먼트(들)(130)는 광학 엘리먼트(들)(124)와 유사하게 렌즈(들), 거울(들), 도파관(들), 광 필터(들) 또는 임의의 다른 타입의 광학 컴포넌트와 같은 광학 컴포넌트들의 임의의 조합을 포함할 수 있다. 또한, 광학 엘리먼트들(130)은 감지 엘리먼트들(128)를 향해 전파하기 위해 입사광의 광 특성을 집광, 지향 및/또는 조정하도록 배열될 수 있다. 또한, 센서(들)(108)가, 예를 들어, 복수의 카메라들을 포함하는 경우, 광학 엘리먼트(들)(130)는 외부 광을 카메라들의 각각의 이미지 센서들에 집광시키는 복수의 각각의 카메라 렌즈들을 포함할 수 있다.
일부 예들에서, 광학 엘리먼트(들)(130)는 센서(106)의 하나 이상의 특정 감지 엘리먼트를 향해 특정 파장의 광을 선택적으로 투과시키는 하나 이상의 광 필터를 포함할 수 있다.
제1 예에서, 광학 엘리먼트(들)(130)는 송신기(120)에 의해 방출된 광의 광 파장들을 감쇠시키는 하나 이상의 광 필터를 포함할 수 있다. 예를 들어, 이러한 배열에 의하면, 시스템(100)은 송신기(120)에 의해 방출된 고강도의 광 펄스들(또는 다른 신호들)과 연관되는 (감지 엘리먼트(들)(128)에 의한) 잡음 측정들을 감소시킬 수 있다.
제2 예에서, 센서(108)는 입사광의 컬러들을 나타내도록 구성되는 컬러 이미지 센서들(예를 들어, 베이어 필터 센서, 계층화 픽셀 센서 어레이 등)을 포함할 수 있다. 이 예에서, 광학 엘리먼트(들)(130)는 컬러 필터 어레이를 포함할 수 있고, 여기서 어레이의 각각의 컬러 필터는 적색, 녹색 또는 청색 광을 컬러 필터에 인접한 특정 감지 엘리먼트에 송신한다(그리고 다른 파장들의 광을 감쇠시킨다). 시스템(100)은 (예를 들어, 상이한 컬러들을 갖는 광을 감지하는 다수의 감지 엘리먼트들로부터의 출력들을 결합함으로써) 컬러 정보(예를 들어, 적색, 녹색 및 청색 등)를 나타내는 이미지 픽셀들을 생성할 수 있다.
제3 예에서, 광학 엘리먼트(들)(130)는 송신기(120)에 의해 방출된 광(또는 다른 신호)의 파장들을 감쇠시키는 하나 이상의 필터 및 이들 파장들의 송신을 허용하는 하나 이상의 다른 필터를 포함할 수 있다. 예를 들어, 광학 엘리먼트(들)(130)는 녹색, 적색 및 청색 광 필터들을 포함하는 컬러 필터 어레이를 포함할 수 있다. 이 경우, 송신기(120)에 의해 방출된 고강도 신호들의 효과들을 감소시키기 위해 송신기(120)의 방출된 광의 파장들을 감쇠시키도록 상대적으로 많은 수의 컬러 필터들이 구성될 수 있다. 또한, 송신기(120)에 의해 방출된 광(또는 다른 신호)의 파장들의 송신을 (적어도 부분적으로) 허용하도록 상대적으로 적은 수의 컬러 필터들(예를 들어, 녹색 광 필터들 등 중 하나 이상)이 구성될 수 있다. 이 배열에 의하면, (시스템(100)의 환경의 객체들을 반사시키는) 송신기(120)의 고강도 광은 어두운 외부 광 조건들(예를 들어, 야간 시간)에서 하나 이상의 감지 엘리먼트를 조명하는 데 사용될 수 있다.
회전 플랫폼(110)은 축 주위로 회전하도록 구성될 수 있다. 예를 들어, 센서(106)(및/또는 그것의 송신기(120) 및 수신기(122))는 이들 컴포넌트들 각각이 회전 플랫폼(110)의 회전에 응답하여 환경에 대해 이동하도록 플랫폼(110)을 회전시킴으로써 (직접적으로 또는 간접적으로) 지지될 수 있다. 특히, 이들 컴포넌트들 각각은 센서(106)가 다양한 방향들부터 정보를 획득할 수 있도록 축에 대해 (동시에) 회전될 수 있다. 일부 예들에서, 회전 플랫폼(110)의 회전 축은 수직이고, 센서(106)의 포인팅 방향은 회전 플랫폼(110)의 수직 회전 축 주위의 회전에 의해 수평으로 조정될 수 있다. 회전 플랫폼(110)은 그 위에 장착된 하나 이상의 컴포넌트(예를 들어, 센서(106))를 지지하기에 적절한 임의의 고체 재료로 형성될 수 있다.
이러한 방식으로 플랫폼(110)을 회전시키기 위해, 하나 이상의 액추에이터(112)가 회전 플랫폼(110)을 액추에이팅시킬 수 있다. 이를 위해, 액추에이터들(112)은, 특히, 모터들, 공압 액추에이터들, 유압 피스톤들 및/또는 압전 액추에이터들을 포함할 수 있다.
이러한 배열에 의하면, 제어기(104)는 환경에 관한 정보를 획득하기 위해 다양한 방식들로 회전 플랫폼(110)을 회전시키도록 액추에이터(112)를 동작시킬 수 있다. 일례에서, 회전 플랫폼(110)은 어느 방향으로든 회전될 수 있다. 다른 예에서, 회전 플랫폼(110)은 센서(106)(예를 들어, LIDAR)가 환경의 360° 수평 FOV를 제공하도록 완전한 회전들을 수행할 수 있다. 또한, 회전 플랫폼(110)은 센서(106)가 다양한 리프레시 레이트들 및/또는 스캐닝 해상도들에서 환경을 스캔할 수 있도록 다양한 주파수들에서 회전할 수 있다.
대안적으로 또는 추가적으로, 시스템(100)은 (송신기(120)에 의해 방출된) 방출된 신호의 포인팅 방향을 다양한 방식들로 조정하도록 구성될 수 있다. 일부 예들에서, 송신기(120)의 신호 소스들(예를 들어, 광원들, 안테나들, 음향 트랜스듀서들 등)은 위상 어레이 구성 또는 다른 타입의 빔 스티어링 구성에 따라 동작될 수 있다.
센서(106)가 LIDAR 센서로서 구성되는 제1 예에서, 송신기(120)의 광원들은 광원들에 의해 방출된 광파들의 위상을 제어하는 위상 배열 광학계들(예를 들어, 광학 엘리먼트들(124))에 커플링될 수 있다. 예를 들어, 제어기(104)는 (예를 들어, 회전 플랫폼(110)이 회전하지 않는 경우에도) 송신기(120)에 의해 방출된 광 신호의 유효 포인팅 방향을 변경하도록 위상 어레이 광학(예를 들어, 위상 어레이 빔 스티어링)을 조정하도록 구성될 수 있다.
센서(106)가 RADAR 센서로서 구성되는 제2 예에서, 송신기(120)는 안테나들의 어레이를 포함할 수 있고, 제어기(104)는 어레이로부터의 결합된 RF 신호의 포인팅 방향을 수정하기 위해 어레이의 각각의 개별 안테나에 대해 각각의 위상-시프트 제어 신호들을 제공할 수 있다(예를 들어, 위상 어레이 빔 스티어링).
센서(106)가 SONAR 센서로서 구성되는 제3 예에서, 송신기(120)는 음향 트랜스듀서들의 어레이를 포함할 수 있고, 제어기(104)는 (예를 들어, 회전 플랫폼(110)이 회전하지 않는 경우 등에도) 어레이에 의해 방출된 결합된 사운드 신호의 타겟 포인팅 방향을 달성하기 위해 (예를 들어, 위상-시프트 제어 신호들 등을 통해) 음향 트랜스듀서들의 어레이를 유사하게 동작시킬 수 있다.
다른 예들에서, 센서(들)(106)의 포인팅 방향은 송신기(120)에 의해 방출된 신호들의 스티어링 방향을 조정하기 위해 제어기(104)로부터의 제어 신호에 응답하여 변형될 수 있는 변형 가요성 구조(예를 들어, MEM들 등)를 사용하여 제어될 수 있다. 다른 예들도 가능하다.
고정 플랫폼(114)은 임의의 형상 또는 형태를 취할 수 있고, 예를 들어, 차량의 상부와 같은 다양한 구조들에 커플링하도록 구성될 수 있다. 또한, 고정 플랫폼(114)의 커플링은 임의의 실행 가능한 커넥터 배열(예를 들어, 볼트들 및/또는 나사들)을 통해 수행될 수 있다. 이러한 방식으로, 시스템(100)은 본 명세서에 설명된 것들과 같은 다양한 목적들로 사용되도록 구조에 커플링될 수 있다. 일례에서, 센서(들)(108)는 고정 플랫폼(114)에 커플링될 수 있다. 이 예에서, 센서(들)(108)는 센서(들)(106)의 회전 모션(또는 송신기(120)에 의해 방출된 신호들의 빔 방향들에 대한 다른 방식의 변화)에 대해 정지 상태로 유지될 수 있다. 다른 예에서, 센서(들)(108)는 고정 플랫폼(114)과 상이한 다른 물리적 구조에 장착될 수 있다.
회전 링크(116)는 고정 플랫폼(114)을 회전 플랫폼(110)에 직접적으로 또는 간접적으로 커플링시킨다. 이를 위해, 회전 링크(116)는 고정 플랫폼(114)에 대한 축 주위로 회전 플랫폼(110)의 회전을 제공하는 임의의 형상, 형태 및 재료를 취할 수 있다. 일부 예들에서, 회전 링크(116)는 액추에이터(112)로부터의 액추에이션에 기초하여 회전하는 샤프트 등의 형태를 취할 수 있어서, 액추에이터(112)로부터 회전 플랫폼(110)으로 기계적 힘들을 전달할 수 있다. 일 구현에서, 회전 링크(116)는 시스템(100)의 하나 이상의 컴포넌트가 배치될 수 있는 중심 공동을 가질 수 있다. 일부 예들에서, 회전 링크(116)는 또한 고정 플랫폼(114)과 회전 플랫폼(110)(및/또는 센서(들)(106) 등과 같은 그 위의 컴포넌트들) 사이에서 데이터 및/또는 명령들을 전송하기 위한 통신 링크를 제공할 수 있다.
하우징(118)은 임의의 형상, 형태 및 재료를 취할 수 있고, 시스템(100)의 하나 이상의 컴포넌트를 수용하도록 구성될 수 있다. 일례에서, 하우징(118)은 돔-형상 하우징일 수 있다. 또한, 일부 예들에서, 하우징(118)은 적어도 부분적으로 불투명한 재료로 구성될 수 있으며, 이는 적어도 일부 광이 하우징(118)의 내부 공간으로 진입하는 것을 차단할 수 있고, 따라서 시스템(100)의 하나 이상의 컴포넌트에 대한 주변 광의 열 및 잡음 영향들을 완화시키는 것을 도울 수 있다. 하우징(118)의 다른 구성들도 가능하다. 일부 구현들에서, 하우징(118)은 회전 플랫폼(110)의 회전에 기초하여 하우징(118)이 전술한 축 주위로 회전하도록 구성되도록 회전 플랫폼(110)에 커플링될 수 있다. 이러한 구현들에서, 센서(들)(106)는 하우징(118)과 함께 회전할 수 있다. 다른 구현들에서, 하우징(118)은 센서(들)(106)가 하우징(118) 내에서 회전하는 동안 정지 상태로 유지될 수 있다. 시스템(100)은 시스템(100)의 특정 서브-시스템들 또는 컴포넌트들의 조합들을 수용하기 위해 하우징(118)과 유사한 다수의 하우징들을 포함할 수 있다. 예를 들어, 시스템(100)은 센서(들)(106)를 위한 제1 하우징 및 센서(들)(108)를 위한 별도의 하우징을 포함할 수 있다. 다른 예들도 가능하다.
디스플레이(140)는 시스템(100)의 하나 이상의 컴포넌트에 관한 정보를 디스플레이하기 위해 시스템(100)에 임의적으로 포함될 수 있다. 예를 들어, 제어기(104)는 카메라(예를 들어, 센서(108))를 사용하여 캡처된 이미지들, 센서(106)로부터의 LIDAR 데이터에 의해 지시된 시스템(100)의 환경의 표현(예를 들어, 3D 포인트 클라우드 등), 및/또는 센서들(106 및 108)로부터의 데이터의 결합에 기초한 환경의 표현(예를 들어, 컬러 포인트 클라우드, 수퍼임포즈된 온도 지시자들을 갖는 이미지들 등)을 디스플레이하도록 디스플레이(140)를 동작시킬 수 있다. 이를 위해, 디스플레이(140)는 임의의 타입의 디스플레이(예를 들어, 액정 디스플레이, LED 디스플레이, 음극선 관 디스플레이, 프로젝터 등)를 포함할 수 있다. 또한, 일부 예들에서, 디스플레이(140)는 센서(108)에 의해 캡처된 이미지들, 센서(106)를 사용하여 캡처된 LIDAR 데이터, 및/또는 시스템(100)의 다양한 컴포넌트들에 관한 임의의 다른 정보(예를 들어, 전력 공급 장치(102)를 통해 남은 전력)를 디스플레이하고/하거나 이와 상호 작용하기 위한 그래픽 사용자 인터페이스(graphical user interface)(GUI)를 가질 수 있다. 예를 들어, 사용자는 센서들(106 및/또는 108)의 스캐닝 구성(예를 들어, 스캐닝 리프레시 레이트, 스캐닝 해상도 등)을 조정하기 위해 GUI를 조작할 수 있다.
시스템(100)의 다양한 컴포넌트들은 매우 다양한 상이한 배열들로 결합될 수도 있고 또는 분리될 수도 있다는 것에 유의하도록 한다. 예를 들어, 센서들(106 및 108)이 별도의 컴포넌트들로서 예시되어 있지만, 센서들(106 및 108)의 하나 이상의 컴포넌트는 대안적으로 단일 디바이스 내에 물리적으로 구현될 수 있다. 따라서, 시스템(100)의 이러한 배열은 단지 예시적인 목적으로 설명되며, 제한하는 것을 의미하지 않는다.
도 2a는 예시적인 실시예들에 따른 회전식 LIDAR 센서(206) 및 카메라 링(208)을 포함하는 디바이스(200)를 예시한다. 도시된 바와 같이, 디바이스(200)는 LIDAR(206), 카메라 링(208)(예를 들어, 롤링 셔터 카메라 배열 등), 회전 플랫폼(210), 고정 플랫폼(214), 하우징(218), LIDAR 렌즈(224) 및 카메라 렌즈들(230, 232, 234)를 포함하며, 이들은, 예를 들어, 센서(들)(106), 센서(들)(108), 회전 플랫폼(110), 고정 플랫폼(114), 하우징(118), 광학 엘리먼트(124) 및 광학 엘리먼트(130)와 각각 유사할 수 있다.
도시된 바와 같이, LIDAR(206)에 의해 방출된 광 빔들(250)은 LIDAR(206)의 환경을 향해 LIDAR(206)의 포인팅 방향을 따라 렌즈(224)로부터 전파되고, 반사된 광(260)으로서 환경의 하나 이상의 객체(도시 생략)를 반사시킨다. 또한, 도시된 바와 같이, LIDAR(206)는 (예를 들어, 렌즈(224)를 통해) 반사된 광(290)을 수신할 수 있다. 따라서, 예를 들어, LIDAR(206)는 센서(106)에 대한 위의 논의와 유사하게 반사된 광(290)의 검출(들)에 기초하여 하나 이상의 객체와 LIDAR(206) 사이의 거리들을 나타내는 데이터(예를 들어, 데이터 포인트 클라우드 등)를 제공할 수 있다.
또한, 도시된 바와 같이, 카메라 링(208)의 각각의 카메라는 각각의 카메라에 입사하는 외부 광(270)의 각각의 부분을 수신하고 검출할 수 있다. 이를 위해, 외부 광(270)은, 특히, 태양과 같은 하나 이상의 외부 광원, 가로등으로부터 발생하는 광을 포함할 수 있다. 예를 들어, 외부 광(270)은 외부 광원으로부터 카메라 렌즈들(230, 232 및/또는 234)을 향해 직접 전파되는 광을 포함할 수 있다. 대안적으로 또는 추가적으로, 외부 광(270)은 외부 광원으로부터 발생하고 렌즈들(230, 232 및/또는 234)을 향해 전파되기 전에 디바이스(200)의 환경의 하나 이상의 객체(도시 생략)를 반사시키는 광을 포함할 수 있다. 따라서, 예를 들어, 카메라 링(208)의 카메라들은 외부 광(270)에 기초하여 환경의 하나 이상의 이미지를 생성할 수 있다. 또한, 특정 카메라에 의해 생성된 각각의 이미지는 디바이스(200)에 대한 특정 카메라의 특정 FOV에 대응할 수 있다.
이를 위해, 일부 예들에서, 카메라 링(208)은 서로에 대해 링 형상(예를 들어, 원형 배열, 타원형 배열 등)으로 배열된 복수의 카메라들을 포함할 수 있다. 복수의 카메라들의 각각의 카메라는 특정 각도 및/또는 배향으로 위치 결정될 수 있다(예를 들어, 디바이스(200) 및/또는 카메라 링(208)에 장착될 수 있다). 따라서, 예를 들어, 제1 카메라의 FOV는 2개의 다른 인접 카메라의 FOV에 인접하고/하거나 부분적으로 중첩될 수 있다. 예를 들어, 이러한 배열에 의하면, 개별 카메라들로부터의 이미지들은 디바이스(200)의 360도 FOV의 이미지로 결합될 수 있다. 또한, 예를 들어, 디바이스(200)의 어셈블링 또는 캘리브레이션 동안, 각각의 카메라의 각각의 각도 및/또는 배향은 사각 지대들(예를 들어, 카메라 링(208) 내의 모든 카메라들의 FOV들 내에 있지 않은 주변 환경 영역들)을 감소시키거나 방지하도록 조정될 수 있다. 예를 들어, 2개의 인접한 카메라의 각각의 FOV들은 2개의 카메라의 FOV들 사이의 환경의 영역(예를 들어, "사각 지대")이 디바이스(200)로부터의 임계 거리보다 작아지도록 (예를 들어, 2개의 카메라의 상대적인 장착 포지션들 등을 이동, 회전 및/또는 다른 방식으로 조정함으로써) 정렬된다.
이를 용이하게 하기 위해, 일 구현에서, 카메라 링(208)은 임의적으로 특정 각각의 장착 포지션들(예를 들어, 각도, 배향 등)에서 카메라들을 수용 및/또는 지지하는 하나 이상의 압입부를 갖는 하우징(예를 들어, 링-형상 등)을 포함할 수 있다. 다른 구현에서, 예시적인 시스템(예를 들어, 시스템(100), 캘리브레이션 시스템 등)은 카메라들에 의해 캡처된 이미지들을 비교하고, 비교에 기초하여 각각의 카메라들에 대한 각각의 타겟 FOV들을 달성하는 정렬 오프셋들을 결정하도록 구성될 수 있다. 예시적인 시스템은 또한 결정된 정렬 오프셋에 따라 카메라 링(208)에서 카메라들의 포지션들을 조정하기 위해 로봇 팔, 액추에이터 및/또는 임의의 다른 정렬 장치를 포함 및/또는 동작할 수 있다. 다른 예들도 가능하다.
일부 예들에서, 디바이스(200)(또는 이에 커플링된 다른 컴퓨팅 디바이스)는 카메라 링(208)의 카메라들을 동작시키고/거나 그로부터 캡처된 이미지들을 프로세싱하여(예를 들어, 캡처된 이미지들의 부분들을 결합하는 등 하여) 디바이스(200)의 환경의 응집형 원형 비전을 형성할 수 있다. 예를 들어, 디바이스(200) 또는 다른 디바이스의 컴퓨팅 시스템(도시 생략)은 카메라 링(208)에 의해 캡처된 이미지의 피처들을 매칭하여 카메라들의 FOV들의 결합에 걸친 결합된 이미지를 생성할 수 있다.
일 구현에서, 렌즈(230)는 디바이스(200)의 제1 90도 FOV로부터의 광을 집광시킬 수 있고, 렌즈(232)는 제2 인접한 90도 FOV로부터의 광을 집광시킬 수 있고, 기타 등등 마찬가지이다. 제1 FOV는 임의적으로 제1 FOV와 부분적으로 중첩될 수 있다. 다른 구현들에서, 각각의 카메라에 의해 촬상되는 FOV는 90도보다 크거나 작을 수 있다. 또한, 상기 논의에 따라, 카메라 링(208)의 카메라들 중 임의의 것에 의해 캡처된 이미지는, 특히, 외부 광(270)에서의 상이한 파장들(예를 들어, 컬러들 등)에 대한 광 강도들과 같은 다양한 타입들의 정보를 나타낼 수 있다.
일부 예들에서, LIDAR(206)(및/또는 하우징(218))은, 예를 들어, LIDAR(206)를 지지하는 회전 플랫폼(210)의 회전에 기초하여 실질적으로 원통형 형상을 갖고 축(242) 주위로 회전하도록 구성될 수 있다. 또한, 일부 예들에서, 회전 축(242)은 실질적으로 수직일 수 있다. 따라서, 예를 들어, 디바이스(200)(및/또는 디바이스(200)를 동작시키는 컴퓨팅 시스템)는 축(242) 주위로 LIDAR(206)를 회전시킴으로써, 디바이스(200)의 환경의 360도 뷰의 LIDAR(206)로부터의 데이터에 기초하여 3차원 맵을 결정할 수 있다. 추가적으로 또는 대안적으로, 일부 예들에서, 디바이스(200)는 회전 플랫폼(210)의 회전 축을 (고정 플랫폼(214)에 대해) 기울여서, LIDAR(206)의 FOV를 조정하도록 구성될 수 있다. 예를 들어, 회전 플랫폼(210)은 하나 이상의 방향으로 기울어지는 경사 플랫폼을 포함한다.
일부 예들에서, 도시된 바와 같이, LIDAR 렌즈(224)는 방출된 광 빔들(250)을 LIDAR(206)의 환경을 향해 시준하고(및/또는 지향시키고), 환경으로부터 수신된 반사된 광(260)을 LIDAR(206)의 LIDAR 수신기(도시 생략)에 집광하는 둘 모두를 위한 광 전력을 가질 수 있다. 일례에서, 렌즈(224)는 대략 120mm의 초점 길이를 갖는다. 다른 예시적인 초점 거리들도 가능하다. 동일한 렌즈(224)를 사용하여 이들 기능 모두를 수행함으로써, 시준을 위한 투과 렌즈 및 집광을 위한 수광 렌즈 대신에, 사이즈, 비용 및/또는 복잡성에 관한 이점들이 제공될 수 있다. 그러나, 대안적으로, LIDAR(206)는 별도의 투과 및 수광 렌즈를 포함할 수 있다. 따라서, 도시되지는 않았지만, LIDAR(206)는 대안적으로 방출된 광(250)을 환경을 향해 지향시키는 투과 렌즈, 및 LIDAR(206)의 수신기에 의한 검출을 위해 반사된 광(260)을 집광시키는 별도의 수광 렌즈를 포함할 수 있다.
디바이스(200)는 도시된 것들보다 더 많거나 더 적거나 상이한 컴포넌트들을 포함할 수 있으며, 도시된 컴포넌트들 중 하나 이상은 상이한 방식들로 결합될 수도 있고 또는 분리될 수도 있다는 것에 유의하도록 한다. 일례에서, 다수의 카메라 렌즈들(230, 232, 234) 대신에, 디바이스(200)는 대안적으로 카메라 링(208)의 원주 둘레로 연장되는 단일 카메라 렌즈를 포함할 수 있다. 다른 예에서, 카메라 링(208)은 고정 플랫폼(214)에 커플링되는 것으로 도시되어 있지만, 카메라 링(208)은 별개의 물리적 구조로서 대안적으로 구현될 수 있다. 또 다른 예에서, 카메라 링(208)은 회전 플랫폼(214)에 의해 회전되지 않고 LIDAR(206) 위에 위치 결정될 수 있다. 또 다른 예에서, 카메라 링(208)은 도시된 것보다 많거나 적은 카메라들을 포함할 수 있다. 다른 예들도 가능하다.
도 2b는 예시적인 실시예에 따른 카메라 링(208)의 단면도를 예시한다. 도 2b의 단면도에서, 축(242)(즉, LIDAR(206)의 회전 축)은 페이지를 통해 연장된다. 도시된 바와 같이, 카메라 링(208)은 회전 축(242) 주위에 배열되는 4개의 카메라(208a, 208b, 208c, 208d)를 포함한다. 따라서, 도시된 예에서, 각각의 카메라들은 디바이스(200)의 환경의 각각의 90도 FOV를 촬상하도록 구성될 수 있다. 그러나, 다른 실시예들에서, 카메라 링(208)은 도시된 것보다 더 적거나 더 많은 카메라들을 포함할 수 있다. 하나의 특정 실시예에서, 카메라 링(208)은 대안적으로 8개의 카메라를 포함할 수 있으며, 여기서 각각의 카메라는 (적어도) 환경의 각각의 45도 FOV로부터의 광을 카메라의 이미지 센서에 집광시키는 각각의 렌즈에 커플링된다. 다른 예들도 가능하다. 따라서, 카메라 링(208)은 매우 다양한 상이한 구성들을 가질 수 있고, 도시된 구성은 설명의 편의상 단지 4개의 카메라를 포함한다.
또한, 도시된 바와 같이, 카메라(208a)는 디바이스(200)의 환경으로부터의 외부 광(예를 들어, 광(270))의 제1 부분을 카메라(208a)의 이미지 센서(226)에 집광시키는 렌즈(230)를 포함한다. 또한, 도시된 바와 같이, 카메라(208b)는 외부 광의 제2 부분을 카메라(232)의 이미지 센서(246)에 집광시키는 렌즈(232)를 포함한다. 유사하게, 카메라들(208c 및 208d)은 외부 광의 각각의 부분들을 카메라들의 각각의 이미지 센서들에 집광시키도록 구성될 수 있다.
또한, 도시된 바와 같이, 각각의 이미지 센서는, 예를 들어, 감지 엘리먼트들(128)과 유사한 감지 엘리먼트들의 어레이를 포함할 수 있다. 예를 들어, 카메라(208a)의 이미지 센서(226)는 감지 엘리먼트들(228a-228f)(예를 들어, 감지 엘리먼트들(128)과 유사할 수 있음)에 의해 예시된 감지 엘리먼트들의 인접한 행들의 어레이를 포함할 수 있다. 예로서, 이미지 센서(226)의 감지 엘리먼트들의 제1 행은 감지 엘리먼트(228a), 및 페이지를 통해 수직으로 배열되는(예를 들어, 축(242)에 평행한) 하나 이상의 다른 감지 엘리먼트(도시 생략)를 포함할 수 있다. 또한, 제1 행에 인접한 감지 엘리먼트들의 제2 행은 감지 엘리먼트(228b) 및 페이지를 통해 수직으로 배열되는 하나 이상의 다른 감지 엘리먼트(도시 생략)를 포함할 수 있고, 기타 등등 마찬가지이다.
이러한 방식으로, 예를 들어, 카메라들(208a, 208b, 208c, 208d)은 축(242) 주위에 배열되는 감지 엘리먼트들의 인접한 행들의 어레이를 함께 제공하여, 디바이스(200) 주위의 360도(수평) FOV의 다양한 대응하는 부분들을 촬상할 수 있다. 예를 들어, 카메라(204b)의 이미지 센서(246)에서의 감지 엘리먼트들의 주어진 행은 감지 엘리먼트(248a)(및 페이지를 통해 축(242)에 평행하게 배열된 하나 이상의 다른 센서)를 포함할 수 있다. 또한, 이 인스턴스에서, 카메라(208b)의 감지 엘리먼트들의 주어진 행은 감지 엘리먼트(228f)를 포함하는 카메라(208a)의 감지 엘리먼트들의 행과 인접할 수 있다. 따라서, 예시적인 시나리오에서, 카메라 링(208)으로부터 획득된 이미지 픽셀들의 시퀀스는 감지 엘리먼트(228f)를 포함하는 감지 엘리먼트들의 행으로부터의 데이터를 사용하여 획득된 이미지 픽셀들의 행에 이어, 감지 엘리먼트(248a)를 포함하는 감지 엘리먼트들의 행으로부터의 데이터를 사용하여 획득된 이미지 픽셀들의 행을 포함할 수 있다.
각각의 이미지 센서들(예를 들어, 센서들(226, 246 등))에서의 감지 엘리먼트들의 행들의 수는 단지 설명의 편의상 도시된 바와 같이 예시된다는 것에 유의하도록 한다. 그러나, 일부 실시예들에서, 이미지 센서(226)(및/또는 246)는 도시된 것보다 많거나 적은 감지 엘리먼트들의 행들을 포함할 수 있다. 일 특정 실시예에서, 이미지 센서(226)는 대안적으로 감지 엘리먼트들의 3000개의 행들을 포함할 수 있고, 각각의 행은 1000개의 감지 엘리먼트들(페이지를 통해 연장됨)을 포함할 수 있다. 이 실시예에서, 카메라(208a)는 3000x1000 픽셀 이미지를 출력하도록 구성될 수 있다. 또한, 이 실시예에서, 카메라(208a)는 60Hz의 레이트로 이미지를 캡처하도록 구성될 수 있다. 다른 카메라 구성 파라미터들도 가능하다.
디바이스(200)의 다양한 컴포넌트들의 사이즈들, 형상들 및 포지션들은 반드시 스케일링될 필요는 없으며, 단지 설명의 편의상 도시된 바와 같이 예시된다는 것에 유의하도록 한다. 일례에서, 도 2b에 도시된 렌즈들(230, 232, 234, 236) 및 센서들(226, 246) 등의 사이즈들은 도시된 사이즈들과 상이할 수 있다. 다른 예에서, 렌즈(230)와 이미지 센서(226) 사이의 거리는 도시된 거리와 상이할 수 있다. 일 실시예에서, 렌즈(230)로부터 센서(226)까지의 거리는 렌즈(230)의 직경의 대략 2배에 대응할 수 있다. 그러나, 다른 실시예들에서, 이미지 센서(226) 및 카메라 렌즈(230)는 서로에 대한 다른 사이즈들, 형상들 및/또는 포지션들을 가질 수 있다.
도 2c는 예시적인 실시예에 따른 디바이스(200)의 동작의 개념도이다. 도 2c의 예시에서는, 카메라(208a)의 이미지 센서(226)의 감지 엘리먼트들이 페이지의 평면에 있다. 예를 들어, 카메라 렌즈(230) 및 LIDAR(206)와 같은 디바이스(200)의 컴포넌트들 중 일부는 설명의 편의상 도 2c의 예시에서 생략된다는 것에 유의하도록 한다.
일부 구현들에서, 디바이스(200)는 이미지 픽셀들의 시퀀스들을 획득하기 위해 롤링 셔터 구성에서 카메라들(208a, 208b, 208c, 및/또는 208d)을 동작시키도록 구성될 수 있다. 예를 들어, 도 2c의 시나리오에서, 감지 엘리먼트들(228a 및 228g)을 포함하는 감지 엘리먼트들의 제1 행은 제1 노출 시간 기간 동안 그에 입사하는 외부 광의 양을 측정하도록 구성될 수 있다. 디바이스(200)는 또한 디바이스(200)의 제어기(예를 들어, 제어기(104))의 송신을 위해 (제1 노출 시간 기간이 경과된 후에) 감지 엘리먼트들의 제1 행에 의한 측정들을 판독 및 변환하는 아날로그-디지털 변환기(도시 생략)를 포함할 수 있다. 제1 노출 시간 기간의 시작 시간으로부터의 시간 지연 후에(및 임의적으로 제1 노출 시간 기간이 종료되기 전에), 디바이스(200)는 제2 노출 시간 기간 동안 감지 엘리먼트들(228b 및 228h)을 포함하는 감지 엘리먼트들의 제2 행의 노출을 시작할 수 있다. 따라서, 일부 예들에서, 감지 엘리먼트들의 다수의 행들의 노출 시간 기간들은 부분적으로 중첩될 수 있다(예를 들어, 제1 및 제2 노출 시간 기간들의 시작 시간들 사이의 시간 지연은 제1 노출 시간 기간보다 작을 수 있고, 기타 등등 마찬가지이다). 이러한 방식으로, 롤링 셔터 구성의 카메라는 (예를 들어, 감지 엘리먼트들의 다수의 행들을 그들 각각의 노출 시간 기간들의 중첩 부분들 동안 동시에 노출시킴으로써) 이미지 리프레시 레이트를 증가시키기 위해 노출 시간 기간들의 시작 시간들을 스태거시킬 수 있다.
시나리오를 계속하자면, 제2 노출 시간 기간이 경과한 후, 디바이스(200)는 유사하게 감지 엘리먼트들의 제2 행에 의한 측정들을 측정하고 이를 제어기에 송신할 수 있다. 그 후, 이 프로세스는 감지 엘리먼트들의 모든 행들(즉, 완전한 이미지 프레임)이 스캔될 때까지 반복될 수 있다. 예를 들어, 제2 노출 시간 기간의 시작 시간 후에(및 임의적으로 제2 노출 시간 기간이 경과하기 전에), 디바이스(200)는(제2 행에 인접한) 감지 엘리먼트들의 제3 행을 외부 광(270)에 노출시키기 시작할 수 있고, 기타 등등 마찬가지이다.
또한, 위에서 언급된 바와 같이, 디바이스(200)는 LIDAR(206)에 의해 광 펄스들이 방출되는 순서와 유사한 순서로 이미지 픽셀들의 시퀀스를 획득하도록 구성될 수 있다. 그렇게 함으로써, 예를 들어, 카메라들(208a-d)에 의해 캡처된 더 많은 이미지 픽셀들이 이미지 픽셀들의 시퀀스가 상이한 순서로 획득되는 구현에서보다 LIDAR 데이터(예를 들어, 방출된 광 펄스들의 검출된 반사들)과 (시간 및 뷰잉 방향 모두에서) 중첩될 수 있다.
예를 들어, 도 2c의 시나리오를 계속하자면, LIDAR(206)가 축(242)에 관한 제1 포인팅 방향 또는 배향에 있을 때, 광 빔들(250a, 250b, 250c)은 도 2a에 도시된 방출된 광(250)에 대응할 수 있다. 시나리오에서, 디바이스(200)는 (예를 들어, 엘리먼트들(228b 및 228h)을 포함하는) 제2 (수직) 행의 감지 엘리먼트들을 스캐닝하기 전에 (예를 들어, 엘리먼트들(228a 및 228g)을 포함하는) 감지 엘리먼트들의 제1 (수직) 행을 스캔하도록 구성될 수 있다. 그렇게 함으로써, 감지 엘리먼트들의 제1 행을 사용하여 캡처된 이미지 픽셀들은 시간 및 뷰잉 방향 모두의 측면에서 광 빔들(250a-250c)의 검출된 반사들과 매칭될 가능성이 더 클 수 있다. 시나리오에서, LIDAR(206)는 축(242) 주위로 회전(예를 들어, 반시계 방향)하고, 광 빔들(252a-252c)을 방출할 수 있다. 그 후, 디바이스(200)는 (예를 들어, 감지 엘리먼트들(228b 및 228h)을 포함하는) 감지 엘리먼트들의 제2 행을 사용하여 이미지 픽셀들의 제2 행을 획득할 수 있고, 이것은 광 빔들(252a-252c)의 검출된 반사들과 (시간 및 뷰잉 방향 모두에서) 정렬될 가능성이 더 클 수 있으며, 기타 등등 마찬가지이다.
한편, 디바이스(200)가 대신에 감지 엘리먼트들(228a-228f)(예를 들어, 수평 행)을 포함하는 행에 이어 감지 엘리먼트들의 인접한 (수평) 행 등과 같은 순서로 이미지 픽셀들의 시퀀스를 획득한 경우, 이미지 픽셀들의 시퀀스는 광 빔들(250a-250c 및 252a-252c)의 검출된 반사들과 매칭될 가능성이 더 낮을 것이다. 예를 들어, 이미지 센서(226)가 수평 (행별) 스캐닝 순서를 사용하여 60Hz 리프레시 레이트(즉, 초당 60개의 이미지)로 동작되는 경우, 획득된 시퀀스의 감지 엘리먼트(228g)와 연관된 이미지 픽셀은 광 빔(250c)의 방출 시간과 비교하여 대략 16밀리 초의 시간 지연을 가질 수 있다. 다른 예시적인 리프레시 레이트들 및/또는 시간 지연들도 가능하다.
일부 구현들에서, 디바이스(200)는 또한 LIDAR(206)에 의한 광 펄스들/빔들의 방출 순서에 따라 시퀀스의 이미지 픽셀들의 행을 획득하도록 구성될 수 있다. 예를 들어, 위 시나리오의 변형으로서, LIDAR(206)가 광 빔들(250a, 250b, 250c)을 그 순서대로 방출하는 경우, 디바이스(200)는 유사한 순서로(예를 들어, 감지 엘리먼트(228a)에서 시작하고 감지 엘리먼트(228g)에서 종료됨) 감지 엘리먼트들의 제1 행과 연관된 이미지 픽셀 행을 획득하도록 구성될 수 있다. 반면에, 예를 들어, LIDAR(206)가 광 빔들(250c, 250b, 250a)을 그 순서대로 방출하는 경우, 디바이스(200)는 대신에 반대 순서로(예를 들어, 감지 엘리먼트(228g)에서 시작하고 감지 엘리먼트(228a)에서 종료됨) 이미지 픽셀 행을 획득하도록 구성될 수 있다.
또한, 일부 구현들에서, 디바이스(200)는 LIDAR(206)의 회전 레이트에 기초하여 이미지 픽셀들의 시퀀스의 후속 이미지 픽셀 행들을 캡처하는 것 사이의 시간 지연을 조정하도록 구성될 수 있다. 예를 들어, LIDAR(206)가 (예를 들어, 액추에이터(들)(112) 등을 통해) 그 회전 레이트를 증가시키는 경우, 디바이스(200)는 (예를 들어, 감지 엘리먼트들(228a 및 228g)을 포함하는) 감지 엘리먼트들의 제1 행과 연관된 이미지 픽셀들의 제1 행을 획득하는 것과 감지 엘리먼트들의 제2 인접한 행과 연관된 이미지 픽셀들의 제2 행을 획득하는 것 사이의 시간 지연을 감소시킬 수 있다. 위에서 언급된 바와 같이, 예를 들어, 감지 엘리먼트들의 각각의 행과 연관된 노출 시작 시간은 대응하는 이미지 픽셀들을 획득하는 순서 및 시간에 의존할 수 있고, 따라서 시간 지연을 조정하는 것은 이미지 픽셀 캡처 시간들(및 뷰잉 방향들)과 대응하는 LIDAR 펄스 방출 시간들(및/또는 대응하는 반사들의 검출들)의 매칭 정도를 향상시킬 수 있다.
도 2d는 디바이스(200)의 평면도를 예시한다. 도 2d의 예시에서, LIDAR(206)는 축(242)에 관해(예를 들어, 페이지의 바닥을 향해) 0°의 각도 포지션에 대응하는 제1 포인팅 방향을 가질 수 있다. 예를 들어, 이 구성에서, LIDAR(206)는 렌즈(234)를 포함하는 카메라(208c)(도 2b에 가장 잘 도시됨)를 사용하여 캡처된 이미지의 중심에 대응하는 주변 환경의 영역을 스캔할 수 있다.
도 2e는 디바이스(200)의 다른 평면도를 예시한다. 도 2e의 예시에서, LIDAR(206)는 축(242)에 관해(예를 들어, 페이지의 상부를 향해) 180°의 각도 포지션에 대응하는 제2 포인팅 방향을 가질 수 있다. 예를 들어, LIDAR(206)가 축(242) 주위로 완전한 회전의 절반만큼 도 2d의 제1 포인팅 방향으로부터 회전된 후에, LIDAR(206)는 도 2e의 제2 포인팅 방향을 가질 수 있다. 또한, 예를 들어, 이 구성에서, LIDAR(206)는 렌즈(230)를 포함하는 카메라(208a)(도 2b에 가장 잘 도시됨)를 사용하여 캡처된 이미지의 중심에 대응하는 환경 영역을 스캔할 수 있다.
일부 시나리오들에서, LIDAR(206)가 축(242) 주위로 회전함에 따라, LIDAR(206)의 FOV들이 카메라(208a)의 FOV와 중첩되는 시간 기간은 카메라(208a)를 사용하여 이미지를 캡처하는 데 적절한 노출 시간 기간(및 판독 시간 기간)보다 짧을 수 있다.
카메라(208a)가 롤링 셔터 구성(예를 들어, 카메라(208a)의 감지 엘리먼트들의 행들이 상이한 노출 시작 시간들에 따라 노출됨)에서 동작되는 예시적인 시나리오에서, 카메라(208a)의 이미지 센서(226)는 60ms의 기간에 걸쳐 이미지 프레임(즉, 이미지 센서(226)의 모든 감지 엘리먼트들로부터의 픽셀 데이터)을 측정 및 출력할 수 있다. 또한, 시나리오에서, LIDAR(206)는 10Hz의 회전 레이트(즉, 100ms마다 축(242) 주위로의 한 번의 완전한 회전)로 회전하도록 구성될 수 있다. 따라서, LIDAR(206)는 100ms/4=25ms의 시간 기간(예를 들어, t=37.5ms 내지 t=62.5ms) 내에서 카메라(208a)의 FOV와 중첩되는 FOV들의 범위를 스캔할 수 있다. 카메라와 LIDAR의 스캐닝 지속 시간들 사이의 차이를 설명하기 위해, 일부 구현들에서, 디바이스(200)는 LIDAR(206)에 의해 방출된 LIDAR 광 펄스들을 카메라의 일부 이미지 감지 엘리먼트들(전부는 아님)에 의해 캡처된 이미지 픽셀들과 동기화시키도록 구성될 수 있다.
예를 들어, 디바이스(200)는, LIDAR(206)가 이미지의 특정 영역과 정렬된 특정 포인팅 방향을 가리킬 때, 이미지의 특정 영역(예를 들어, 이미지의 중심 또는 그 근처의 이미지 픽셀들의 수직 행(들) 등)이 외부 광에 노출되도록 특정 카메라에 의한 이미지 캡처를 트리거하도록 구성될 수 있다.
예를 들어, 상기 시나리오(LIDAR(206)가 10Hz의 주파수로 회전하는 경우)를 계속하자면, 시간 t=0ms에서, (도 2d에 도시된 바와 같은) LIDAR(206)는 제1 포인팅 방향(예를 들어, 축(242)에 관한 각도 포지션 = 0°)을 가질 수 있다. 또한, 시간 t=50ms에서, (도 2e에 도시된 바와 같은) LIDAR(206)는 제2 포인팅 방향(예를 들어, 축(242)에 관한 각도 포지션 = 180°)을 가질 수 있다.
이 시나리오에서, 디바이스(200)는 (카메라(208a) 내부의) 이미지 센서(226)의 노출 시간 기간의 중심을 LIDAR(206)의 FOV가 카메라(208a)의 FOV의 중심과 중첩되는 시간(예를 들어, t=50ms)과 동기화시키도록 구성될 수 있다. 예를 들어, 이미지 센서(226)의 노출 시간 기간이 60ms인 경우, 시간 t=30ms에서, 이미지 센서(226)의 감지 엘리먼트들의 중심 수직 행들이 외부 광에 노출될 수 있다. 이 예에서, 카메라(208a)는 이미지 센서(226)의 중심 근처에 있는 감지 엘리먼트들의 수직 행(들)의 노출을 LIDAR(206)가 (예를 들어, t=50ms에서) 이미지의 중심에 대응하는 FOV를 스캐닝할 때 방출되는 LIDAR 광 펄스들과 (시간 도메인 및 공간 도메인 모두에서) 정렬시키기 위해 시간 t = 50-30 = 20ms에서 이미지 캡처를 트리거할 수 있다.
이러한 배열에 의하면, 이미지의 중심 근처에 있는 이미지 픽셀들(예를 들어, 감지 엘리먼트(228c)를 포함하는 수직 행 또는 감지 엘리먼트(228d)를 포함하는 행을 사용하여 캡처됨)은 이들 이미지 픽셀들이 측정되었을 때 방출/검출된 LIDAR 광 펄스들과 (타이밍 및 뷰잉 방향에 대해) 상대적으로 더 정렬될 수 있다. 반면에, 이미지 센서의 중심으로부터 더 멀리 떨어져 있는 감지 엘리먼트들의 행들을 사용하여 캡처된 이미지 픽셀들들은 이러한 이미지 픽셀들이 측정되었을 때 방출/검출된 LIDAR 광 펄스들과 (시간 또는 뷰잉 방향에서) 상대적으로 잘못 정렬될 수 있다. 예로서, 회전식 LIDAR의 FOV들은 시간 t=37.5ms와 t=62.5ms 사이에서 카메라(208a)의 카메라 FOV와 중첩될 수 있다. 그러나, 상기 시나리오에서, 카메라(208a)는 시간 t=20ms(즉, LIDAR의 FOV가 카메라의 FOV와 중첩될 때의 시간 범위 밖)에서 감지 엘리먼트(228a)(도 2c에 가장 잘 도시됨)를 포함하는 감지 엘리먼트들의 행을 노출시키기 시작할 수 있다.
이러한 오정렬을 완화시키기 위해, 일부 예들에서, 카메라들(208a, 208b, 208c, 208d)은 부분적으로 중첩되는 FOV들을 갖도록 구성될 수 있다. 예를 들어, 카메라(208d)(도 2b에 가장 잘 도시됨)는 인접한 카메라(208a)의 FOV와 부분적으로 중첩되는 FOV를 갖도록 구성될 수 있다. 또한, 카메라(208d)를 사용하여 캡처된 이미지의 중심 영역과 연관된 노출 시간 기간은 LIDAR(206)가 카메라(208d)를 사용하여 캡처된 이미지의 중심과 연관된 FOV를 향해 가리키는 시간(예를 들어, t=25ms)과 동기화될 수 있다. 따라서, 이들 예들에서, 디바이스(200)(또는 다른 컴퓨터)는 LIDAR 데이터와의 매핑을 위해 카메라(208a)를 사용하여 캡처된 오정렬된 이미지 픽셀 데이터(예를 들어, 이미지의 중심으로부터 더 멀리 있는 이미지 픽셀들) 대신에 카메라(208d)로부터 정렬된 이미지 픽셀 데이터(예를 들어, 캡처된 이미지의 중심 근처의 이미지 픽셀들)를 사용할 수 있다.
도 3은 예시적인 실시예들에 따른 다른 롤링 셔터 카메라 배열(308)(예를 들어, 카메라 링)의 단면도를 예시한다. 카메라 링(308)은 도 2b에 도시된 카메라 링(208)과 유사할 수 있다. 도시된 바와 같이, 예를 들어, 축(342)은 축(242)과 유사하게 LIDAR의 회전 축일 수 있다. 또한, 예를 들어, 이미지 센서(326)는 이미지 센서(226)(및/또는 246)와 유사할 수 있고, 감지 엘리먼트들(228a-228f)과 유사할 수 있는 감지 엘리먼트들(328a-328e)에 의해 예시된 감지 엘리먼트들의 어레이를 포함할 수 있다. 예를 들어, 이미지 센서(326)는 선형 배열(예를 들어, 페이지에 수직)로 감지 엘리먼트(328a) 및 하나 이상의 다른 감지 엘리먼트(도시 생략)를 포함하는 감지 엘리먼트들의 제1 행, 및 선형 배열(예를 들어, 페이지에 수직)로 감지 엘리먼트(328b) 및 하나 이상의 다른 감지 엘리먼트(도시 생략)를 포함하는 감지 엘리먼트들의 제2 인접한 행을 포함할 수 있다.
도시되지는 않았지만, 카메라 링(308)은 또한 카메라 링(308)에 입사하는 외부 광의 일부들을 이미지 센서(326)의 각각의 감지 엘리먼트들을 향해 집광시키는 하나 이상의 카메라 렌즈(예를 들어, 카메라 렌즈들(230, 232, 234, 236 등)과 유사))를 포함할 수 있다. 추가적으로 또는 대안적으로, 카메라 링(308)은 시스템(100) 및/또는 디바이스(200) 중 어느 하나에 도시된 컴포넌트들 중 하나 이상을 포함할 수 있다.
도시된 바와 같이, 카메라 링(308)은 축(342) 주위에 곡면(예를 들어, 원형 표면)을 따라 배치되는 이미지 센서(326)를 포함한다. 일례에서, 이미지 센서(326)는 (감지 엘리먼트들(328a-328e) 등을 포함하는) 감지 엘리먼트들의 배열을 장착하는 가요성 기판(예를 들어, 가요성 PCB 등) 상에 구현될 수 있다. 따라서, 이러한 배열에 의하면, 이미지 센서(326)의 감지 엘리먼트들의 각각의 행들은 회전 축(342)에 대해 동일한 주어진 거리에 있을 수 있다(예를 들어, 감지 엘리먼트들의 원형 또는 원통형 배열). 다른 예에서, 이미지 센서(326)는 회전 축(342) 주위에 서로 인접하여 배열되는 복수의 물리적으로 분리된 감지 엘리먼트들의 행들로서 구현될 수 있다. 예를 들어, 각각의 물리적으로 분리된 감지 엘리먼트들의 행은 다른 행들의 회전 축에 대해 동일한 주어진 거리에 위치할 수 있다. 다른 예들도 가능하다. 구현에 관계없이, 카메라 링(308)의 구성에서, 이미지 센서(326)의 감지 엘리먼트들의 각각의 행이 장착되는 곡면은 감지 엘리먼트들에 의해 캡처된 이미지 픽셀들과 축(342) 주위로 회전하는 LIDAR 센서에 의해 방출되는 광 빔들 사이의 (예를 들어, 뷰잉 방향 측면에서의) 중첩을 향상시킬 수 있다.
예를 들어, LIDAR 센서가 축(342) 주위로 회전함에 따라, LIDAR 디바이스의 시점(예를 들어, LIDAR 렌즈의 위치)은 원형 경로로 이동할 수 있다. 따라서, 이러한 배열에 의하면, 이미지 센서(326)의 곡면이 방출/검출된 LIDAR 광 펄스들의 원형 경로와 유사하여, 센서(326)에 의해 수집된 이미지 픽셀들이 (LIDAR 센서의 회전의 수평 방향으로 유사한 곡선 경로를 따라 검출되는) LIDAR 광 펄스들과 매칭될 가능성을 향상시킬 수 있다.
III. 예시적인 방법들 및 컴퓨터 판독 가능 매체
도 4는 예시적인 실시예들에 따른 방법(400)의 흐름도이다. 방법(400)은, 예를 들어, 시스템(100), 디바이스(200) 및/또는 카메라 링(308) 중 임의의 것과 함께 사용될 수 있는 방법의 실시예를 제시한다. 방법(400)은 블록들(402 내지 404) 중 하나 이상에 의해 예시된 바와 같은 하나 이상의 동작, 기능 또는 액션들을 포함할 수 있다. 블록들이 순차적인 순서로 예시되어 있지만, 이들 블록들은 일부 인스턴스들에서 병렬로 및/또는 본 명세서에 설명된 것들과 상이한 순서로 수행될 수 있다. 또한, 다양한 블록들은 더 적은 수의 블록으로 결합되고/되거나, 추가 블록들로 분할되고/되거나, 원하는 구현에 기초하여 제거될 수 있다.
또한, 방법(400) 및 본 명세서에 개시된 다른 프로세스들 및 방법들에 대해, 흐름도는 본 실시예들의 하나의 가능한 구현의 기능 및 동작을 도시한다. 이와 관련하여, 각각의 블록은 모듈, 세그먼트, 제조 또는 동작 프로세스의 일부, 또는 프로세스의 특정 논리 기능들 또는 단계들을 구현하기 위해 프로세서에 의해 실행 가능한 하나 이상의 명령어를 포함하는 프로그램 코드의 일부를 나타낼 수 있다. 프로그램 코드는, 예를 들어, 디스크 또는 하드 드라이브를 포함하는 스토리지 디바이스와 같은 임의의 타입의 컴퓨터 판독 가능 매체 상에 저장될 수 있다. 컴퓨터 판독 가능 매체는, 예를 들어, 레지스터 메모리, 프로세서 캐시 및 랜덤 액세스 메모리(Random Access Memory)(RAM)와 같이 짧은 시간 동안 데이터를 저장하는 컴퓨터 판독 가능 매체와 같은 비-일시적 컴퓨터 판독 가능 매체를 포함할 수 있다. 컴퓨터 판독 가능 매체는 또한, 예를 들어, 판독 전용 메모리(read only memory)(ROM), 광학 또는 자기 디스크, 콤팩트-디스크 판독 전용 메모리(compact-disc read only memory)(CD-ROM)와 같은 2차 또는 영구 장기 스토리지와 같은 비-일시적 매체를 포함할 수 있다. 컴퓨터 판독 가능 매체는 또한 임의의 다른 휘발성 또는 비-휘발성 스토리지 시스템일 수 있다. 컴퓨터 판독 가능 매체는, 예를 들어, 컴퓨터 판독 가능 스토리지 매체 또는 유형의 스토리지 디바이스로 간주될 수 있다. 또한, 방법(400) 및 본 명세서에 개시된 다른 프로세스들 및 방법들에 대해, 도 4의 각각의 블록은 프로세스에서 특정 논리 기능들을 수행하도록 배선되는 회로를 나타낼 수 있다.
블록(402)에서, 방법(400)은 LIDAR 센서의 환경을 스캔하기 위해 축 주위로 LIDAR 센서를 회전시키는 단계를 포함한다. 예를 들어, LIDAR 센서(206)는 LIDAR 센서(206)의 포인팅 방향을 조정하기 위해 축(242) 주위로 회전하는 회전 플랫폼(210) 상에 장착될 수 있다. 또한, LIDAR 센서(206)는, 회전하는 동안, LIDAR(206)의 포인팅 방향에 의해 정의되는 환경의 시야를 향패 하나 이상의 광 빔 도는 광 펄스(250)를 방출한 다음, 방출된 광(250)의 반사들(예를 들어, 반사들(260))을 검출할 수 있다. 또한, 예시적인 시스템은 LIDAR 센서(206)의 환경에서의 하나 이상의 객체에 관한 정보(예를 들어, 거리, 텍스처, 재료 등)를 결정하기 위해 (예를 들어, 제어기(104)를 통해) 검출된 반사들을 프로세싱할 수 있다.
일부 예들에서, LIDAR 센서에 의해 환경을 향해 지향되는 하나 이상의 광 빔의 배열은 LIDAR 센서의 회전 특성들에 기초할 수 있다. 예를 들어, 도 2c를 다시 참조하면, LIDAR 센서는 LIDAR 센서가 축(242)에 관한 제1 포인팅 방향에 있을 때에는 광 빔들(250a, 250b, 250c)을 방출할 수 있고, LIDAR 센서가 축(242)에 관한 제2 포인팅 방향에 있을 때에는 광 빔들(252a, 252b, 252c)을 방출할 수 있다. LIDAR 센서의 회전 특성들이 수정되는 경우, 광 빔들(250a, 250b, 250c, 252a, 252b, 252c)의 배열은 반응적으로 변할 수 있다. 예를 들어, LIDAR 센서가 더 빠른 레이트로 회전되는 경우, 광 빔들(250a, 250b, 250c)과 광 빔들(252a, 252b, 252c) 사이의 거리가 증가할 수 있다. 다른 예로서, LIDAR 센서가 반대 방향으로 회전되는 경우, 광 빔들(250a, 250b, 250c)의 방향들에 대한 광 빔들(252a, 252b, 252c)의 방향들은 도 2c에 도시된 것과 상이할 수 있다. 다른 예들도 가능하다.
블록(404)에서, 방법(400)은, LIDAR 센서를 회전시키면서, 하나 이상의 외부 광원으로부터 발생하는 외부 광을 검출하는 하나 이상의 카메라를 사용하여 이미지 픽셀들의 시퀀스를 획득하는 단계를 포함한다. 예를 들어, 하나 이상의 카메라는 (도 2b에 도시된) 카메라들(208a, 208b, 208c, 208d)에서의 감지 엘리먼트들의 배열과 유사하게 감지 엘리먼트들의 복수의 인접한 행들을 함께 제공할 수 있다. 또한, LIDAR 센서의 회전 축의 방향에 따라 감지 엘리먼트들의 행들 중 하나 이상이 배열될 수 있다. 예를 들어, 도 2c를 다시 참조하면, 엘리먼트들(228a 및 228g)을 포함하는 감지 엘리먼트들의 제1 행은 축(242)의 수직 방향과 유사한 수직 배열로 있을 수 있고, 엘리먼트(228b 및 228h)를 포함하는 감지 엘리먼트들의 제2 행은 또한 축(242)의 수직 방향과 유사한 수직 배열로 있을 수 있고, 기타 등등 마찬가지이다.
또한, 일부 예들에서, 시퀀스의 제1 이미지 픽셀 행은 제1 노출 시간 기간 동안 감지 엘리먼트들의 제1 행에 의한 외부 광의 측정을 나타낼 수 있고, 시퀀스의 제2 이미지 픽셀 행은 제2 노출 시간 기간 동안 감지 엘리먼트들의 제2 행에 의한 외부 광의 측정을 나타낼 수 있다. 예를 들어, 하나 이상의 카메라는 이미지 픽셀들의 시퀀스를 획득하기 위해 이미지 감지 엘리먼트들(또는 행들)이 순차적으로 측정(예를 들어, 판독)되는 롤링 셔터 구성에서 동작될 수 있다. 또한, 상기 논의에 따라, 감지 엘리먼트들의 제1 행의 제1 노출 시간 기간은 감지 엘리먼트들의 제2 (후속) 행의 제2 노출 시간 기간이 시작되기 전에 시작될 수 있다.
예를 들어, 제1 노출 시간 기간의 시작 시간은 시작 시간 이전의 제2 노출 시간 기간일 수 있다. 이 인스턴스에서, (블록(404)에서 획득된) 시퀀스의 이미지 픽셀들의 제1 라인 또는 행은 (제1 노출 시간 기간 동안 노출된) 감지 엘리먼트들의 제1 행으로부터의 데이터에 기초할 수 있고, 시퀀스의 이미지 픽셀들의 제2 후속 라인 또는 행은 (제2 노출 시간 기간 동안 노출된) 감지 엘리먼트의 제2 행으로부터의 데이터에 기초할 수 있다.
이러한 배열에 의하면, 예를 들어, 감지 엘리먼트들의 제1 행은, 제2 행이 제2(예를 들어, 수평으로 인접한) 환경 영역의 촬상을 시작하기 전에, 제1 행의 제1 FOV 내에서 환경의 제1 영역의 촬상을 시작할 수 있다. 또한, LIDAR 센서는, LIDAR 센서가, 감지 엘리먼트들의 제2 행에 의해 촬상되는 제2 FOV를 스캐닝하기 전에, 감지 엘리먼트들의 제1 행에 의해 촬상되는 제1 FOV를 스캔하게 하는 회전 방향으로 축 주위로 회전될 수 있다.
따라서, 일부 구현들에서, 이미지 픽셀들의 시퀀스(또는 이미지 픽셀 행들)를 획득하는 단계는 LIDAR 센서의 적어도 하나 이상의 회전 특성(및/또는 LIDAR 센서에 의해 환경을 향해 지향되는 광 빔들의 배열)에 기초하여 하나 이상의 카메라들을 동작시키기 위한 타이밍 구성을 결정하는 단계를 포함할 수 있다. 이들 구현들에서, 방법(400)은 또한 결정된 타이밍 구성에 따라 블록(404)에서 이미지 픽셀들의 시퀀스를 획득하기 위해 하나 이상의 카메라를 동작시키는 단계를 포함할 수 있다.
예를 들어, 도 2c를 다시 참조하면, 디바이스(200)는 대응하는 광 빔들이 LIDAR 센서에 의해 방출되는 순서에 기초하여 감지 엘리먼트들의 특정 행에 대한 시퀀스의 이미지 픽셀들의 순서를 선택할 수 있다. 예를 들어, LIDAR(206)가 광 빔들(250c, 250b, 250a)을 (그 순서대로) 방출하는 경우, 디바이스(200)는 감지 엘리먼트(228g)와 연관된 픽셀에서 시작하고 감지 엘리먼트(228a)와 연관된 픽셀에서 종료되는 시퀀스의 이미지 픽셀들의 제1 행을 획득할 수 있다. 반면에, LIDAR(206)가 광 빔들(250a, 250b, 250c)을 (그 순서대로) 방출하는 경우, 디바이스(200)는 감지 엘리먼트(228a)와 연관된 픽셀에서 시작하고 감지 엘리먼트(228g)와 연관된 픽셀에서 종료되는 시퀀스의 이미지 픽셀들의 제1 행을 획득할 수 있다. 따라서, 일부 구현들에서, 방법(400)은 LIDAR 센서에 의해 방출된 복수의 광 빔들의 배열(및/또는 방출 순서)에 기초하여 특정 순서로 측정되는 이미지 픽셀들의 시퀀스를 획득하도록 (예를 들어, 하나 이상의 카메라의) 이미지 센서를 동작시키는 단계를 포함할 수 있다.
다른 예로서, 디바이스(200)는 LIDAR(206)의 배향 또는 포인팅 방향에 따라 이미지 픽셀들에 대해 판독할 센서(226)의 감지 엘리먼트들의 행을 선택할 수 있다. 예를 들어, 디바이스(200)는, 이미지 센서(226)의 노출 시간 기간의 중심이 LIDAR(206)의 FOV가 이미지의 중심과 중첩되는 시간(예를 들어, LIDAR(206)가 도 2e에 도시된 배향에 있는 시간)과 동기화되도록 (도 2b에 도시된) 이미지 센서(226)의 노출을 트리거할 수 있다.
따라서, 일부 구현들에서, 방법(400)은 적어도 LIDAR 센서의 각도 방향(예를 들어, 포인팅 방향, 뷰잉 방향 등)에 기초하여 이미지 픽셀들의 시퀀스를 획득하는 단계를 포함한다. 또한, 일부 구현들에서, 방법(400)은 LIDAR 센서와 연관된 시간이 회전 축에 관해 특정 배향에 있는 것에 기초하여 하나 이상의 카메라 중 특정 카메라의 카메라 노출 시간 기간의 시작 시간을 결정하는 단계를 포함할 수 있다. 일부 예들에서, 특정 배향은 특정 카메라를 사용하여 캡처된 이미지의 일부에 표현된 환경의 영역(예를 들어, 카메라의 중심 영역 등)을 적어도 부분적으로 중첩시키는 LIDAR 센서의 특정 FOV를 정의할 수 있다.
예를 들어, 도 2b를 다시 참조하면, 카메라(208a)는 카메라(208a)의 FOV로부터 이미지 센서(226)를 향해 외부 광을 집광시킬 수 있다. 또한, 카메라(208a)는 롤링 셔터 모드에서 동작될 수 있는데, 이 모드에서, 카메라는 엘리먼트(228a)를 포함하는 감지 엘리먼트들의 제1 행을 노출시키기 시작한 다음, 시간 지연 후에, 엘리먼트(228b)를 포함하는 제2 행을 노출시키기 시작하며, 기타 등등 마찬가지이다. 카메라(208a)의 카메라 노출 시간 기간은 이미지 센서(226) 내의 감지 엘리먼트들의 모든 행들의 각각의 노출 시간 기간들을 포함할 수 있다. 또한, 이 예에서, 방법(400)의 시스템은 카메라 노출 시간 기간의 중심이 LIDAR(206)가 카메라(208a)의 FOV의 중심을 향해 가리키고 있는 주어진 시간(예를 들어, LIDAR(206)가 도 2e에 도시된 배향에 있을 때의 주어진 시간)에 대응하도록 카메라(208a)에 의한 이미지 캡처를 트리거할 수 있다.
일부 구현들에서, 방법(400)은 LIDAR 센서에 의해 방출된 하나 이상의 광 펄스(또는 빔)의 하나 이상의 방출 시간에 기초하여 (감지 엘리먼트들의 제1 행의) 제1 노출 기간에 대한 시작 시간을 결정하는 단계, 및 상기 논의에 따라, 결정된 시작 시간에 기초하여 하나 이상의 카메라를 동작시키는 단계를 포함한다(예를 들어, 광 빔들(250a-250c 및/또는 252a-252c)의 방출 시간들, 및 각각의 광 빔들을 방출할 때의 LIDAR 센서의 포인팅 방향에 따라 적절한 행을 선택한다).
일부 구현들에서, 방법(400)은 적어도 LIDAR 센서의 회전 방향에 기초하여 외부 광에 대한 감지 엘리먼트들의 인접한 행들의 각각의 노출 시작 시간들의 순서를 결정하는 단계, 및 결정된 순서에 기초하여 하나 이상의 카메라를 동작시키는 단계를 포함한다. 예를 들어, 도 2c를 다시 참조하면, LIDAR(206)가 시계 방향으로 회전하고 있는 경우, 디바이스(200)는 엘리먼트들(228b 및 228h)과 연관된 이미지 픽셀 행을 획득한 후, 감지 엘리먼트들(228a 및 228g)과 연관된 이미지 픽셀 행을 다음에 획득할 수 있다. 한편, LIDAR(207)가 반시계 방향으로 회전하고 있는 경우, 디바이스(200)는 대신에 엘리먼트(228c)를 포함하는 감지 엘리먼트들의 행과 연관된 이미지 픽셀 행을 획득할 수 있다.
일부 구현들에서, 방법(400)은 LIDAR 센서의 회전 레이트에 기초하여 시간 지연을 결정하는 단계, 감지 엘리먼트들의 제1 행을 사용하여 제1 이미지 픽셀 행을 획득하는 단계, 및 제1 이미지 픽셀 행을 획득하는 것으로부터 결정된 시간 지연의 경과 후에, 감지 엘리먼트들의 제2 행을 사용하여 제2 이미지 픽셀 행을 획득하는 단계를 포함한다. 예를 들어, 도 2c를 다시 참조하면, 디바이스(200)는, LIDAR(206)의 회전 레이트가 감소하는 경우에는, 제1 이미지 픽셀 행(엘리먼트들(228a 및 228g) 포함) 및 제2 이미지 픽셀 행(엘리먼트들(228b 및 228h) 포함)을 획득하는 것 사이의 시간 지연을 증가시킬 수 있고, 또는 LIDAR 디바이스(206)의 회전 레이트가 증가하는 경우에는, 시간 지연을 감소시킬 수 있다.
상기 예의 변형으로서, 디바이스(200)는 제1 시작 시간에서 (엘리먼트들(228a 및 228g)을 포함하는) 감지 엘리먼트들의 제1 행의 제1 노출 시간 기간을 시작한 다음, 제2 시작 시간에서(즉, 결정된 시간 지연의 경과 후에) (엘리먼트들(228b 및 228h)을 포함하는) 감지 엘리먼트들의 제2 행의 제2 노출 시간 기간을 시작할 수 있다. 따라서, 일부 구현들에서, 방법(400)은 LIDAR 센서의 회전 특성들(예를 들어, 회전 레이트 등)에 기초하여 제1 노출 시간 기간의 시작 시간과 제2 노출 시간 기간의 시작 시간 사이의 시간 지연을 결정하는 단계, 및 결정된 시간 지연에 따라 하나 이상의 카메라를 동작시키는 단계를 포함한다.
일부 구현들에서, 방법(400)은 LIDAR 센서의 포인팅 방향(및/또는 회전 특성들)에 기초하여 하나 이상의 카메라의 각각의 카메라 노출 시간 기간들을 제어하는 단계를 포함한다. 다른 구현들에서, 방법(400)은 하나 이상의 카메라의 각각의 카메라 노출 시간 기간들에 기초하여 LIDAR 센서의 하나 이상의 회전 특성을 수정하는 단계를 포함한다. 예를 들어, 도 2b를 다시 참조하면, 카메라들(208a, 208b, 208c, 208d)은 블록(404)에서 획득된 이미지 픽셀들의 시퀀스에서 이미지 픽셀들의 순서를 정의하는 특정 롤링 셔터 구성에서 그들의 각각의 이미지 센서들을 사용하여 이미지를 캡처하도록 동작될 수 있다. 이 예에서, 방법(400)의 시스템은 카메라들에 의해 측정된 이미지 픽셀들의 순서 및 배열과 매칭되는 순서 및 배열로 광 빔들을 방출하도록 LIDAR 센서를 동작시킬 수 있다.
예를 들어, 도 2c를 다시 참조하면, 방법(400)의 시스템은 엘리먼트들(228a 및 228g)을 포함하는 감지 엘리먼트들의 제1 행이 (예를 들어, 위에서 아래로 또는 아래에서 위로) 측정되는 순서와 매칭되도록 방출된 광 빔들(250a, 250b, 250c)의 순서를 제어할 수 있다. 다른 예로서, 시스템은 제1 행과 연관된 이미지 픽셀들의 측정과 감지 엘리먼트들(228b 및 228h)을 포함하는 제2 행과 연관된 이미지 픽셀들의 측정 사이의 시간 지연에 따라 LIDAR(206)의 회전 주파수를 조정할 수 있다. 또 다른 예로서, 시스템은 카메라(208a)의 "저속 축"의 방향과 매칭되도록 LIDAR(206)의 회전 방향을 조정할 수 있다. 다른 예들도 가능하다.
일부 구현들에서, 방법(400)은 적어도 타이밍 구성에 기초하여 LIDAR 센서로부터의 데이터를 이미지 픽셀들(또는 이미지 픽셀 행들)의 시퀀스의 하나 이상의 이미지 픽셀과 연관시키는 단계를 포함한다. 예를 들어, 예시적인 시스템은 개별 이미지 픽셀들이 캡처된 시간들 및 반사된 LIDAR 펄스들이 검출되는 시간들을 계속 추적할 수 있다. 또한, 예시적인 시스템은 임계 시간 기간에서 캡처된 이미지 픽셀들을 대응하는 LIDAR 펄스 검출에 매핑할 수 있다.
대안적으로 또는 추가적으로, 일부 구현들에서, 방법(400)은 적어도 LIDAR 센서의 포인팅 방향들 및 어레이의 감지 엘리먼트들의 뷰잉 방향들에 기초하여 LIDAR 센서로부터의 데이터를 이미지 픽셀들의 시퀀스의 하나 이상의 이미지 픽셀과 연관시키는 단계를 포함한다. 예를 들어, 도 2c를 다시 참조하면, LIDAR(206)가 제1 포인팅 방향에 있을 때 LIDAR(206)가 광 펄스들(250a, 250b, 250c)의 반사들을 검출하는 것에 기초한 데이터는 감지 엘리먼트들(228a 및 228g)(예를 들어, 광 펄스들(250a, 250b, 250c)이 방출된 LIDAR 포인팅 방향과 동일하거나 유사한 뷰잉 방향을 갖는 이미지 감지 엘리먼트들에 대응)을 포함하는 행의 이미지 감지 엘리먼트들 중 하나 이상을 사용하여 수집된 이미지 픽셀들과 매칭될 수 있다. 따라서, 일부 구현들에서, 방법(400)은, LIDAR 센서에 의해 주어진 데이터가 수집되었을 때, 시퀀스의 주어진 이미지 픽셀 행을, 감지 엘리먼트들의 제1 행의 시야(FOV)와 LIDAR 센서의 FOV의 비교에 적어도 기초하여 LIDAR 센서에 의해 수집된 주어진 데이터와 연관시키는 단계를 포함한다.
일부 구현들에서, 방법(400)은 LIDAR 센서로부터의 데이터 및 이미지 픽셀들(또는 이미지 픽셀 행들)의 시퀀스에 기초하여 환경의 3차원(3D) 표현을 결정하는 단계를 포함한다. 예를 들어, 예시적인 시스템은 LIDAR-기반 정보(예를 들어, 환경의 하나 이상의 객체까지의 거리들 등)와 카메라-기반 정보(예를 들어, 컬러 등)와 결합하여 3D 표현을 생성할 수 있다. LIDAR 및 이미지 데이터의 결합에 기초한 다른 타입들의 표현들(예를 들어, 2D 이미지, 태그들이 있는 이미지, 음영 또는 텍스처 정보를 나타내는 강화된 이미지 등)이 가능하다. 따라서, 일부 구현들에서, 방법(400)은 이미지 픽셀들(또는 이미지 픽셀 행들)의 시퀀스에 의해 지시된 컬러 정보 및 LIDAR 센서에 의해 지시된 정보(예를 들어, 거리, 깊이, 텍스처, 반사율, 흡광도, 반사 광 펄스 길이 등)에 기초하여 환경의 표현을 결정하는 단계를 포함한다.
제1 예에서, 방법(400)의 시스템은 LIDAR 센서로부터의 데이터에 기초하여 시퀀스의 이미지 픽셀들에 대한 깊이 정보를 결정할 수 있다. 예를 들어, 시스템은 이미지의 이미지 픽셀들에 대한 깊이 값을 할당할 수 있다. 추가적으로, 예를 들어, 시스템은 (예를 들어, 디스플레이(140)를 통해) 환경의 하나 이상의 객체의 3D 객체 데이터 모델(예를 들어, 3D 렌더링)(예를 들어, 환경에서의 3D 피처들을 나타내는 컬러형 3D 모델 등)을 생성할 수 있다. 다른 인스턴스에서, 이미지 프로세싱 시스템은 각각의 객체들의 깊이 정보(연관된 LIDAR 데이터에 의해 지시됨)를 비교함으로써 이미지 내의 다수의 객체들을 식별하고 구별할 수 있다. 다른 응용들도 가능하다. 따라서, 일부 구현들에서, 방법(400)은 LIDAR 센서를 사용하여 수집된 LIDAR 데이터 포인트들을 하나 이상의 카메라를 사용하여 수집된 이미지 픽셀들에 매핑하는 단계를 포함한다. 예를 들어, LIDAR 데이터는 이미지 센서 또는 카메라에 의해 출력된 이미지의 좌표 시스템에 매핑될 수 있다.
제2 예에서, 방법(400)의 시스템은 (하나 이상의 카메라로부터의 데이터에 기초하여) LIDAR 포인트 클라우드의 개별 포인트들에 컬러들을 할당할 수 있다. 그 후, 예시적인 시스템은 하나 이상의 카메라의 이미지 센서(들)에 의해 지시된 컬러(예를 들어, 컬러 포인트 클라우드 등) 정보와 함께 환경의 피처들까지의 거리들을 나타내는 스캔된 환경의 3D 렌더링을 (예를 들어, 디스플레이(140)를 통해) 생성할 수 있다. 따라서, 일부 구현들에서, 방법(400)은 시퀀스로부터의 이미지 픽셀들을 LIDAR 센서를 사용하여 획득된 대응하는 LIDAR 데이터 포인트들에 매핑하는 단계를 포함한다. 예를 들어, 이미지 픽셀 데이터는 LIDAR 센서에 의해 출력된 LIDAR 데이터의 좌표 시스템에 매핑될 수 있다.
제3 예에서, 방법(400)의 시스템은 특정 LIDAR 데이터 포인트(들) 및 특정 이미지 픽셀(들)을 식별하고 이를 다른 공간(예를 들어, 3D 공간 등)의 특정 위치(들)에 할당할 수 있다. 예를 들어, 시스템은 LIDAR 센서, 하나 이상의 카메라, 및/또는 시스템에 액세스 가능한 다른 센서들(예를 들어, RADAR들, SONAR들 등)로부터의 데이터를 사용하여 환경의 표현을 (예를 들어, 디스플레이(140)를 통해) 디스플레이 및 업데이트할 수 있다. 따라서, 일부 구현들에서, 방법(400)은 시퀀스로부터의 이미지 픽셀들 및 LIDAR 센서로부터의 LIDAR 데이터 포인트들을 주어진 3D 공간에 매핑하는 단계를 포함한다. 따라서, 예를 들어, LIDAR 데이터 및 이미지 픽셀 데이터는 LIDAR 및 카메라(들)에 의해 정의되는 좌표 시스템들 이외의 좌표 시스템에 매핑될 수 있다.
일부 구현들에서, 방법(400)은 하나 이상의 카메라를 링 배열로 장착하는 단계를 포함한다. 예를 들어, 도 2b를 다시 참조하면, 카메라들(208a, 208b, 208c, 208d)은 카메라 링(208)의 환경의 각각의 부분들을 촬상하기 위해 (예를 들어, 축(242) 주위에) 링 또는 원형 배열로 장착될 수 있다.
제1 구현에서, 하나 이상의 카메라를 장착하는 단계는 링 배열에서의 하나 이상의 카메라의 주어진 카메라의 하나 이상의 특성에 기초할 수 있다. 예를 들어, 주어진 카메라에 의해 촬상된 주어진 FOV의 범위가 타겟 FOV(예를 들어, 90도, 45도 등)로부터의 임계 범위 내에 있는 것을 보장하기 위해 주어진 카메라는 개별적으로 테스트될 수 있다. 이를 용이하게 하기 위해, 예를 들어, 예시적인 시스템은 주어진 카메라에 의해 획득된 이미지들을 목표 FOV 등의 저장된 이미지 등과 비교할 수 있다. 따라서, 일부 예들에서, 방법(400)은 또한 결정된 하나 이상의 특성에 기초하여 하나 이상의 카메라를 조정하는 단계를 포함할 수 있다.
제2 구현에서, 하나 이상의 카메라를 장착하는 단계는 링 배열에서의 하나 이상의 카메라의 상대적 장착 포지션들과 연관된 하나 이상의 특성에 기초할 수 있다. 일례에서, 방법(400)의 시스템은 2개의 인접한 카메라에 의해 촬상된 FOV들이 교차하거나 중첩되는 (카메라들을 포함하는 디바이스로부터의) 거리를 결정할 수 있다. 결정된 거리 내의 환경의 객체들은 인접한 카메라들을 사용하는 시스템에 의해 검출되지 않을 수 있다(예를 들어, "사각 지대"). 또한, 예를 들어, 거리의 결정은 카메라들을 사용하여 캡처된 이미지들, 환경의 동일한 영역을 촬상하는 다른 센서들에 의해 캡처된 센서 데이터(예를 들어, LIDAR 데이터 등) 등에 기초할 수 있다. 다른 예에서, 시스템은 하나 이상의 카메라의 상대적 회전 배향들을 결정하도록 구성될 수 있다. 예를 들어, 카메라들의 롤, 피치 등의 각각의 오프셋들, 방향들은 (예를 들어, 카메라들에 의해 캡처된 이미지들 등에 기초하여) 결정되고/되거나 서로 비교될 수 있다. 따라서, 일부 예들에서, 방법(400)은 또한 결정된 하나 이상의 특성에 기초하여 하나 이상의 카메라의 상대적 장착 포지션들을 조정하는 단계를 포함할 수 있다.
제3 구현에서, 하나 이상의 카메라를 장착하는 단계는 링 배열에서의 하나 이상의 카메라에 의해 촬상된 환경을 스캔하는 하나 이상의 다른 센서와 연관된 하나 이상의 특성을 결정하는 단계를 포함할 수 있다. 예를 들어, 시스템은 하나 이상의 카메라의 FOV들을 LIDAR의 FOV, RADAR의 FOV 또는 시스템의 임의의 다른 센서의 FOV와 비교할 수 있다. 또한, 일부 인스턴스들에서, 시스템은 하나 이상의 카메라의 FOV들과 하나 이상의 센서의 FOV들 사이의 타겟 중첩을 달성하기 위해 특정 장착 포지션들에서 링 배열로 하나 이상의 카메라를 장착할 수 있다. 따라서, 일부 예들에서, 방법(400)은 또한 하나 이상의 센서와 연관된 결정된 하나 이상의 특성에 기초하여 하나 이상의 카메라의 장착 포지션들을 조정하는 단계를 포함할 수 있다.
제4 구현에서, 하나 이상의 카메라를 장착하는 단계는 링 배열에서의 하나 이상의 카메라를 사용하여 캡처된 이미지들이 환경의 하나 이상의 객체를 나타내는 지 여부를 결정하는 단계를 포함할 수 있다. 예를 들어, 시스템은 카메라(들)의 FOV들이 시스템에 대한 특정 포지션들에서 객체들(예를 들어, 다양한 조명 조건들 하의 신호등들, 보행자들, 건설 콘(construction cone)들 등)을 검출하는 데 적절한지 여부를 결정할 수 있다. 또한, 일부 예들에서, 방법(400)은 또한 캡처된 이미지들이 하나 이상의 객체를 나타내는지 여부에 대한 결정에 기초하여 하나 이상의 카메라의 장착 포지션들 또는 다른 특성(예를 들어, 노출 시간, 이미지 밝기 등)을 조정하는 단계를 포함할 수 있다.
IV. 결론
도면들에 도시된 특정 배열들은 제한적인 것으로 간주되어서는 안된다. 다른 구현들이 주어진 도면에 도시된 각각의 엘리먼트을 더 많이 또는 더 적게 포함할 수 있다는 것이 이해되어야 한다. 또한, 예시된 엘리먼트들 중 일부는 결합되거나 생략될 수 있다. 또한, 예시적인 구현은 도면들에 예시되지 않은 엘리먼트들을 포함할 수 있다. 추가적으로, 다양한 양태들 및 구현들이 본 명세서에 개시되었지만, 다른 양태들 및 구현들이 본 기술분야의 통상의 기술자에게 명백할 것이다. 본 명세서에 개시된 다양한 양태들 및 구현들은 예시의 목적을 위한 것이고 제한하려고 의도되지 않으며, 진정한 범위 및 사상은 다음의 청구 범위에 의해 지시된다. 본 명세서에 제시된 주제의 사상 또는 범위를 벗어나지 않고, 다른 구현들이 활용될 수 있고, 다른 변경들이 이루어질 수 있다. 본 명세서에 일반적으로 설명되고 도면들에 예시된 바와 같이, 본 개시내용의 양태들은 매우 다양한 상이한 구성들로 배열, 대체, 결합, 분리 및 설계될 수 있다는 것이 용이하게 이해될 것이다.

Claims (20)

  1. 시스템으로서,
    송신기 및 수신기를 포함하는 라이다(light detection and ranging)(LIDAR) 센서 - 상기 송신기는 상기 LIDAR 센서의 환경을 향해 광 펄스들을 방출하고, 상기 수신기는 상기 방출된 광 펄스들의 반사들을 검출하고, 상기 LIDAR 센서는 축 주위의 상기 LIDAR 센서의 회전에 기초하여 상기 환경을 스캔하고, 상기 축 주위의 상기 LIDAR 센서의 회전은 상기 LIDAR 센서의 시야(field-of-view)(FOV)를 조정함 - ;
    카메라 노출 기간 동안 카메라의 FOV 내로부터 수신되는 외부 광을 검출하도록 구성된 카메라 - 상기 카메라는 감지 엘리먼트들의 복수의 행들을 포함하고, 감지 엘리먼트들의 각각의 행은 상기 LIDAR 센서의 회전 축과 정렬되고, 상기 카메라 노출 기간은 감지 엘리먼트들의 각 행에 대한 각각의 노출 기간을 포함함 -; 및
    상기 카메라 노출 기간이 상기 LIDAR 센서의 FOV가 적어도 부분적으로 상기 카메라의 FOV와 중첩될 때의 시간을 포함하도록 상기 카메라를 동작하여, 이미지 픽셀 행들의 시퀀스를 획득하도록 구성된 제어기 - 상기 시퀀스의 제1 이미지 픽셀 행은 제1 노출 기간 동안 감지 엘리먼트들의 제1 행에 의한 상기 외부 광의 측정을 나타내고, 상기 시퀀스의 제2 이미지 픽셀 행은 제2 노출 기간 동안 감지 엘리먼트들의 제2 행에 의한 상기 외부 광의 측정을 나타냄 -
    를 포함하고,
    상기 제어기는, 적어도 상기 LIDAR 센서의 회전 방향에 기초하여, 상기 외부 광에 대한 감지 엘리먼트들의 인접한 행들의 각각의 노출 시작 시간들의 순서를 결정하고, 상기 제어기는 상기 결정된 순서에 기초하여 상기 카메라를 동작시키는,
    시스템.
  2. 제1항에 있어서, 감지 엘리먼트들의 각각의 행은 상기 LIDAR 센서의 회전 축에 실질적으로 평행한 시스템.
  3. 제1항에 있어서, 상기 감지 엘리먼트들의 제1 행은 상기 LIDAR 센서의 회전 축에 대해 주어진 거리에 위치하고, 상기 감지 엘리먼트들의 제2 행은 상기 회전 축에 대해 상기 주어진 거리에 위치하는 시스템.
  4. 제1항에 있어서, 상기 카메라는 상기 LIDAR 센서의 회전 축 주위에 실질적으로 원형 배열로 배치된 복수의 카메라들 중 하나인 시스템.
  5. 제1항에 있어서, 상기 제어기는 상기 카메라 노출 기간의 중심을, 상기 LIDAR 센서의 FOV가 상기 카메라의 FOV의 중심과 적어도 부분적으로 중첩될 때의 특정 시간과 정렬시키는 시스템.
  6. 삭제
  7. 제1항에 있어서, 상기 제어기는 적어도 상기 축 주위의 상기 LIDAR 센서의 회전 레이트에 기초하여 상기 제1 노출 기간의 시작 시간과 상기 제2 노출 기간의 시작 시간 사이의 시간 지연을 결정하고, 상기 제어기는 상기 결정된 시간 지연에 기초하여 상기 카메라를 동작시키는 시스템.
  8. 제1항에 있어서, 상기 제어기는 적어도 상기 감지 엘리먼트들의 제1 행의 시야(FOV)를 향해 상기 LIDAR 센서에 의해 방출된 하나 이상의 광 펄스의 하나 이상의 방출 시간에 기초하여 상기 제1 노출 기간에 대한 시작 시간을 결정하고, 상기 제어기는 상기 결정된 시작 시간에 기초하여 상기 카메라를 동작시키는 시스템.
  9. 제1항에 있어서, 상기 이미지 픽셀들의 시퀀스는 상기 제어기에 의해 결정된 타이밍 구성에 따라 측정되고, 상기 제어기는 적어도 상기 축 주위의 상기 LIDAR 센서의 배향에 기초하여 상기 타이밍 구성을 결정하는 시스템.
  10. 제9항에 있어서, 상기 제어기는 적어도 상기 타이밍 구성에 기초하여 상기 LIDAR 센서로부터의 데이터를 상기 이미지 픽셀 행들의 시퀀스의 하나 이상의 이미지 픽셀과 연관시키는 시스템.
  11. 제1항에 있어서, 상기 제어기는, 상기 LIDAR 센서에 의해 주어진 데이터가 수집되었을 때, 적어도 상기 감지 엘리먼트들의 제1 행의 시야(FOV)와 상기 LIDAR 센서의 FOV의 비교에 기초하여 상기 제1 이미지 픽셀 행을 상기 LIDAR 센서에 의해 수집된 주어진 데이터와 연관시키는 시스템.
  12. 제1항에 있어서, 상기 제어기는 상기 LIDAR 센서로부터의 데이터 및 상기 이미지 픽셀 행들의 시퀀스에 기초하여 상기 환경의 3차원(3D) 표현을 결정하는 시스템.
  13. 제1항에 있어서, 상기 제어기는 상기 이미지 픽셀 행들의 시퀀스에 의해 지시된 컬러 정보 및 상기 LIDAR 센서에 의해 지시된 거리 정보에 기초하여 상기 환경의 표현을 결정하는 시스템.
  14. 디바이스로서,
    라이다(LIDAR) 센서 - 상기 LIDAR 센서는 복수의 광 빔들을 방출하고, 상기 복수의 광 빔들을 상기 LIDAR 센서의 포인팅 방향에 의해 정의되는 시야(FOV)를 향해 지향시키고, 상기 방출된 광 빔들의 반사들을 검출함 -;
    하나 이상의 외부 광원으로부터 발생하는 외부 광을 검출하는 이미지 센서 - 상기 이미지 센서는 감지 엘리먼트들의 인접한 행들의 어레이를 포함하고, 상기 어레이의 감지 엘리먼트들의 주어진 행은 상기 LIDAR 센서의 주어진 포인팅 방향에 대해 상기 LIDAR 센서에 의해 지향되는 주어진 광 빔들의 배열에 따라 배열됨 -;
    상기 LIDAR 센서의 포인팅 방향을 조정하기 위해 축 주위로 상기 LIDAR 센서를 회전시키는 액추에이터 - 상기 LIDAR 센서에 의해 방출된 상기 복수의 광 빔들의 배열은 적어도 상기 포인팅 방향의 조정에 기초함 -; 및
    적어도 상기 LIDAR 센서에 의해 방출된 상기 복수의 광 빔들의 배열에 기초하는 특정 순서로 이미지 픽셀들의 시퀀스를 획득하도록 상기 이미지 센서를 동작시키는 제어기 - 상기 이미지 픽셀들의 시퀀스는 상기 외부 광에 대한 각각의 감지 엘리먼트들의 각각의 노출 기간들에 따라 상기 어레이의 각각의 감지 엘리먼트들에 의한 측정들을 나타내고, 상기 각각의 노출 기간들은 적어도 상기 특정 순서에 기초함 -
    를 포함하고, 상기 이미지 픽셀들의 시퀀스의 특정 순서는 상기 축 주위의 상기 LIDAR 센서의 회전 방향에 추가로 기초하는, 디바이스.
  15. 삭제
  16. 제14항에 있어서, 상기 이미지 픽셀들의 시퀀스는 복수의 연속적인 이미지 픽셀 행들을 포함하고, 상기 제어기는 상기 어레이의 감지 엘리먼트들의 제1 행을 사용하여 제1 이미지 픽셀 행을 획득하도록 상기 이미지 센서를 동작시키고, 상기 제어기는 상기 어레이의 감지 엘리먼트들의 제1 행에 인접한 감지 엘리먼트들의 제2 행을 사용하여 상기 시퀀스의 상기 제1 이미지 픽셀 행에 후속하는 제2 이미지 픽셀 행을 획득하도록 상기 이미지 센서를 동작시키는 디바이스.
  17. 제14항에 있어서, 상기 제어기는, 상기 감지 엘리먼트들의 주어진 행의 주어진 노출 기간이, 상기 LIDAR 센서의 FOV가 상기 감지 엘리먼트들의 주어진 행의 주어진 FOV와 적어도 부분적으로 중첩될 때의 주어진 시간을 포함하게 하는 디바이스.
  18. 방법으로서,
    라이다(LIDAR) 센서의 환경을 스캔하기 위해 축 주위로 상기 LIDAR 센서를 회전시키는 단계 - 상기 LIDAR 센서는 상기 환경을 향해 광 펄스들을 방출하고, 상기 방출된 광 펄스들의 반사들을 검출하고, 상기 축 주위의 상기 LIDAR 센서의 회전은 상기 LIDAR 센서의 시야(field-of-view)(FOV)를 조정함 - ;
    상기 LIDAR 센서를 회전시키면서, 카메라 노출 기간 동안 카메라의 FOV 내로부터 수신되는 외부 광을 검출하도록 카메라를 동작시키는 단계 - 상기 카메라 노출 기간은 상기 LIDAR 센서의 FOV가 적어도 부분적으로 상기 카메라의 FOV와 중첩될 때의 시간을 포함하고, 상기 카메라는 감지 엘리먼트들의 복수의 행들을 포함하고, 감지 엘리먼트들의 각각의 행은 상기 LIDAR 센서의 회전 축과 정렬되고, 상기 카메라 노출 기간은 감지 엘리먼트들의 각 행에 대한 각각의 노출 기간을 포함함 -; 및
    적어도 상기 LIDAR 센서의 하나 이상의 회전 특성에 기초하여 타이밍 구성을 결정하는 단계 - 상기 타이밍 구성은 상기 카메라의 감지 엘리먼트들의 각각의 행들의 각각의 노출 기간들의 시작 시간들을 나타냄 -
    를 포함하고,
    상기 카메라 노출 기간 동안 카메라의 FOV 내로부터 수신되는 외부 광을 검출하도록 카메라를 동작시키는 단계는 상기 결정된 타이밍 구성에 따라 이미지 픽셀 행들의 시퀀스를 획득하는 단계를 포함하고, 상기 시퀀스의 제1 이미지 픽셀 행은 제1 노출 기간 동안 감지 엘리먼트들의 제1 행에 의한 상기 외부 광의 측정을 나타내고, 상기 시퀀스의 제2 이미지 픽셀 행은 제2 노출 기간 동안 감지 엘리먼트들의 제2 행에 의한 상기 외부 광의 측정을 나타내는, 방법.
  19. 삭제
  20. 삭제
KR1020207011860A 2017-09-28 2018-07-13 동기화된 회전식 lidar 및 롤링 셔터 카메라 시스템 KR102277447B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020217021495A KR102454144B1 (ko) 2017-09-28 2018-07-13 동기화된 회전식 lidar 및 롤링 셔터 카메라 시스템

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/719,366 US10523880B2 (en) 2017-09-28 2017-09-28 Synchronized spinning LIDAR and rolling shutter camera system
US15/719,366 2017-09-28
PCT/US2018/042095 WO2019067068A1 (en) 2017-09-28 2018-07-13 SYNCHRONIZED ROTARY LIDAR AND ROLLING SHUTTER CAMERA SYSTEM

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020217021495A Division KR102454144B1 (ko) 2017-09-28 2018-07-13 동기화된 회전식 lidar 및 롤링 셔터 카메라 시스템

Publications (2)

Publication Number Publication Date
KR20200046131A KR20200046131A (ko) 2020-05-06
KR102277447B1 true KR102277447B1 (ko) 2021-07-14

Family

ID=65808450

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020217021495A KR102454144B1 (ko) 2017-09-28 2018-07-13 동기화된 회전식 lidar 및 롤링 셔터 카메라 시스템
KR1020207011860A KR102277447B1 (ko) 2017-09-28 2018-07-13 동기화된 회전식 lidar 및 롤링 셔터 카메라 시스템

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020217021495A KR102454144B1 (ko) 2017-09-28 2018-07-13 동기화된 회전식 lidar 및 롤링 셔터 카메라 시스템

Country Status (10)

Country Link
US (4) US10523880B2 (ko)
EP (1) EP3688489B1 (ko)
JP (2) JP6854387B2 (ko)
KR (2) KR102454144B1 (ko)
CN (2) CN118033649A (ko)
AU (2) AU2018341833B2 (ko)
CA (2) CA3077071C (ko)
IL (4) IL299642A (ko)
SG (1) SG11202002584YA (ko)
WO (1) WO2019067068A1 (ko)

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12123950B2 (en) 2016-02-15 2024-10-22 Red Creamery, LLC Hybrid LADAR with co-planar scanning and imaging field-of-view
US10761195B2 (en) 2016-04-22 2020-09-01 OPSYS Tech Ltd. Multi-wavelength LIDAR system
JP7037830B2 (ja) 2017-03-13 2022-03-17 オプシス テック リミテッド 眼安全性走査ｌｉｄａｒシステム
CN110832349B (zh) * 2017-05-15 2023-10-10 奥斯特公司 全景彩色lidar系统和用于lidar系统的方法
KR20220119769A (ko) 2017-07-28 2022-08-30 옵시스 테크 엘티디 작은 각도 발산을 갖는 vcsel 어레이 lidar 송신기
US10523880B2 (en) 2017-09-28 2019-12-31 Waymo Llc Synchronized spinning LIDAR and rolling shutter camera system
IL255559A0 (en) * 2017-11-09 2017-12-31 Eshel Aviv Ltd A system and method for electro-optical photography and event detection in large format and wide sectorial coverage
EP3710855A4 (en) 2017-11-15 2021-08-04 Opsys Tech Ltd. NOISE ADAPTIVE SOLID-STATE LIDAR SYSTEM
US11195353B2 (en) * 2018-01-17 2021-12-07 Uatc, Llc Methods, devices, and systems for communicating autonomous-vehicle status
US11019326B2 (en) * 2018-02-09 2021-05-25 Jenoptik Optical Systems, Llc Light-source characterizer and associated methods
JP7324518B2 (ja) 2018-04-01 2023-08-10 オプシス テック リミテッド 雑音適応型固体ライダシステム
US20190331756A1 (en) * 2018-04-25 2019-10-31 Honeywell International Inc. Apparatus and method for risley prism based star tracker and celestial navigation system
US11971485B2 (en) * 2018-06-19 2024-04-30 Analog Devices, Inc. Metasurface array for lidar systems
WO2020041075A1 (en) * 2018-08-20 2020-02-27 Zodiac Pool Systems Llc Mapping and tracking methods and systems principally for use in connection with swimming pools and spas
US11169271B2 (en) * 2018-09-27 2021-11-09 Cyngn, Inc. Obstacle detection systems
US10531075B1 (en) * 2018-09-27 2020-01-07 Honda Motor Co., Ltd. Synchronization controller unit for sensor node
US11086018B2 (en) * 2018-10-22 2021-08-10 The Government of the United States of America, as represented by the Secretary of Homeland Security Orbiting actuated three-dimensional spinning sensor
DE102018221530A1 (de) * 2018-12-12 2020-06-18 Robert Bosch Gmbh LiDAR-System sowie Kraftfahrzeug
US11182630B2 (en) * 2019-03-29 2021-11-23 Advanced New Technologies Co., Ltd. Using an illumination sequence pattern for biometric authentication
JP7535313B2 (ja) 2019-04-09 2024-08-16 オプシス テック リミテッド レーザ制御を伴うソリッドステートｌｉｄａｒ送光機
CN109991617B (zh) * 2019-04-26 2020-08-07 上海禾赛光电科技有限公司 激光雷达
CN113906316A (zh) 2019-05-30 2022-01-07 欧普赛斯技术有限公司 使用致动器的眼睛安全的长范围lidar系统
JP7438564B2 (ja) 2019-06-10 2024-02-27 オプシス テック リミテッド 眼に安全な長距離固体ｌｉｄａｒシステム
US10510155B1 (en) * 2019-06-11 2019-12-17 Mujin, Inc. Method and processing system for updating a first image generated by a first camera based on a second image generated by a second camera
JP2022539706A (ja) 2019-06-25 2022-09-13 オプシス テック リミテッド 適応型多重パルスｌｉｄａｒシステム
US11835627B2 (en) * 2019-07-05 2023-12-05 WeRide Corp. Image capturing method and device
US11227194B2 (en) * 2019-07-16 2022-01-18 Baidu Usa Llc Sensor synchronization offline lab validation system
CN112308783B (zh) * 2019-07-24 2024-06-28 株式会社理光 一种卷帘效应校正方法、装置及计算机可读存储介质
CN113866784B (zh) * 2019-08-08 2023-02-03 上海禾赛科技有限公司 激光雷达及其控制方法
CN110488318A (zh) * 2019-08-16 2019-11-22 长沙行深智能科技有限公司 环视相机与雷达同步的曝光控制方法、装置、介质及设备
US11556000B1 (en) 2019-08-22 2023-01-17 Red Creamery Llc Distally-actuated scanning mirror
CN112449086A (zh) * 2019-08-30 2021-03-05 Oppo广东移动通信有限公司 一种成像装置及成像方法
US11287530B2 (en) 2019-09-05 2022-03-29 ThorDrive Co., Ltd Data processing system and method for fusion of multiple heterogeneous sensors
US11310451B1 (en) 2019-09-05 2022-04-19 Waymo Llc Smart sensor with region of interest capabilities
CN110703265B (zh) * 2019-09-25 2023-04-28 上海工程技术大学 一种机械旋转式激光雷达测试系统及方法
JP7408334B2 (ja) 2019-10-03 2024-01-05 Thk株式会社 画像処理装置及び移動体制御システム
USD959305S1 (en) * 2019-10-31 2022-08-02 Hesai Technology Co., Ltd. Lidar
KR20210054920A (ko) * 2019-11-06 2021-05-14 삼성전자주식회사 전자 장치 및 그 제어 방법
US11252366B2 (en) 2019-11-19 2022-02-15 Waymo Llc Sensor read out mode for high resolution and low light imaging in-sync with LIDAR timing
WO2021113147A1 (en) * 2019-12-04 2021-06-10 Waymo Llc Efficient algorithm for projecting world points to a rolling shutter image
US11557127B2 (en) 2019-12-30 2023-01-17 Waymo Llc Close-in sensing camera system
US11493922B1 (en) * 2019-12-30 2022-11-08 Waymo Llc Perimeter sensor housings
CN111231842A (zh) * 2020-01-14 2020-06-05 北京小马智行科技有限公司 检测平台及具有其的智能驾驶车辆
CN113138393B (zh) * 2020-01-17 2024-05-31 浙江菜鸟供应链管理有限公司 环境感测系统、控制装置以及环境感测数据融合装置
US11428550B2 (en) 2020-03-03 2022-08-30 Waymo Llc Sensor region of interest selection based on multisensor data
GB202004950D0 (en) * 2020-04-03 2020-05-20 Secr Defence Computer implemented method for detecting pulsed radiation
US11836420B1 (en) * 2020-06-29 2023-12-05 Amazon Technologies, Inc. Constructing a 3D model of a facility based on video streams from cameras at the facility
US12055632B2 (en) * 2020-10-13 2024-08-06 Waymo Llc LIDAR based stereo camera correction
US11346923B1 (en) 2020-11-13 2022-05-31 Lyteloop Technologies, Llc LiDAR system implementing wavelength conversion
US11211707B1 (en) 2020-11-13 2021-12-28 Lyteloop Technologies, Llc Apparatus for broadband wavelength conversion of dual-polarization phase-encoded signal
US11756283B2 (en) 2020-12-16 2023-09-12 Waymo Llc Smart sensor implementations of region of interest operating modes
GB2602154A (en) * 2020-12-21 2022-06-22 Nissan Motor Mfg Uk Ltd Lidar sensor assembly and mount
US11706507B2 (en) 2020-12-30 2023-07-18 Waymo Llc Systems, apparatus, and methods for generating enhanced images
CN112819877B (zh) * 2021-01-12 2024-07-09 深圳辰视智能科技有限公司 一种激光线点云生成方法、装置及计算机可读存储介质
WO2022271752A1 (en) * 2021-06-21 2022-12-29 Cyngn, Inc. Self-adaptive lidar-camera synchronization system
KR102490526B1 (ko) * 2021-09-30 2023-01-27 주식회사 모빌테크 회전형 라이다와 카메라의 동기화 방법 및 그 장치
KR102490525B1 (ko) * 2021-09-30 2023-01-27 주식회사 모빌테크 카메라의 반응시간을 고려한 회전형 라이다와 카메라의 동기화 방법 및 그 장치
CN114089373B (zh) * 2022-01-20 2022-05-17 探维科技(北京)有限公司 基于图像融合激光的雷达系统扫描方法及装置
CN114895280A (zh) * 2022-04-27 2022-08-12 深圳玩智商科技有限公司 图像传感器、光学测距方法及装置
KR102631376B1 (ko) * 2022-12-15 2024-02-01 한국전자기술연구원 이종 디바이스 융복합 센서 장치
ES2956935A1 (es) * 2023-08-04 2024-01-04 Oliva Rossello Gabriel Juan Sistema de captación y transmisión de imágenes de eventos deportivos
CN116709035B (zh) * 2023-08-07 2023-11-21 深圳市镭神智能系统有限公司 图像帧的曝光调节方法、装置和计算机存储介质
CN118091609A (zh) * 2024-04-29 2024-05-28 深圳阜时科技有限公司 接收模组、mems振镜激光雷达系统及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160282453A1 (en) * 2015-03-27 2016-09-29 Google Inc. Methods and Systems for LIDAR Optics Alignment
JP2016534346A (ja) * 2013-08-20 2016-11-04 グーグル インコーポレイテッド 共用伝送／受光経路を備えたｌｉｄａｒプラットフォームを回転させる装置及び方法
JP2016537613A (ja) * 2013-09-24 2016-12-01 ファロ テクノロジーズ インコーポレーテッド ３次元グレイスケール走査画像に重畳されるカラーカメラ画像の改良されたダイナミックレンジ
JP2017101965A (ja) * 2015-11-30 2017-06-08 京セラ株式会社 装置
US20170269209A1 (en) * 2016-03-21 2017-09-21 Velodyne Lidar, Inc. LIDAR Based 3-D Imaging With Varying Pulse Repetition

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10160835A (ja) * 1996-11-29 1998-06-19 Sumitomo Electric Ind Ltd 先行車両認識方法
US8965677B2 (en) 1998-10-22 2015-02-24 Intelligent Technologies International, Inc. Intra-vehicle information conveyance system and method
ES2250636T3 (es) 2001-04-04 2006-04-16 Instro Precision Limited Equipo de analisis de imagenes.
JP2004265396A (ja) * 2003-02-13 2004-09-24 Vingo:Kk 映像生成システム及び映像生成方法
JP3879848B2 (ja) * 2003-03-14 2007-02-14 松下電工株式会社 自律移動装置
JP2005215917A (ja) * 2004-01-29 2005-08-11 Hitachi Plant Eng & Constr Co Ltd 施工図作成支援方法およびリプレースモデル作成方法
US7544945B2 (en) 2006-02-06 2009-06-09 Avago Technologies General Ip (Singapore) Pte. Ltd. Vertical cavity surface emitting laser (VCSEL) array laser scanner
US8139109B2 (en) 2006-06-19 2012-03-20 Oshkosh Corporation Vision system for an autonomous vehicle
KR20080113982A (ko) * 2007-06-26 2008-12-31 주식회사 뉴크론 입체 지형 및 지물 정보 제공장치 및 그 제공방법
KR101188584B1 (ko) * 2007-08-28 2012-10-05 주식회사 만도 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별장치
US7697126B2 (en) * 2008-04-02 2010-04-13 Spatial Integrated Systems, Inc. Three dimensional spatial imaging system and method
JP2010128792A (ja) * 2008-11-27 2010-06-10 Mitsubishi Electric Corp 表示装置および表示システム
US20100157280A1 (en) * 2008-12-19 2010-06-24 Ambercore Software Inc. Method and system for aligning a line scan camera with a lidar scanner for real time data fusion in three dimensions
JP2011099683A (ja) 2009-11-04 2011-05-19 Hitachi Automotive Systems Ltd 物体検出装置
JP2011191253A (ja) * 2010-03-16 2011-09-29 Sanpa Kogyo Kk レーザ形状認識センサ及び計測装置
EP3901653A3 (en) 2010-05-17 2022-03-02 Velodyne Lidar USA, Inc. High definition lidar system
US20130021474A1 (en) 2011-07-20 2013-01-24 Raytheon Company Rolling-shutter imaging system with synchronized scanning illumination and methods for higher-resolution imaging
US8797512B2 (en) 2011-09-15 2014-08-05 Advanced Scientific Concepts, Inc. Automatic range corrected flash ladar camera
US8958911B2 (en) 2012-02-29 2015-02-17 Irobot Corporation Mobile robot
KR102144521B1 (ko) * 2012-05-29 2020-08-14 브라이트웨이 비젼 엘티디. 적응 피사계심도를 이용한 게이트된 영상 획득 방법 및 영상 시스템
DE102012109481A1 (de) 2012-10-05 2014-04-10 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
WO2014078735A1 (en) * 2012-11-16 2014-05-22 Molecular Devices, Llc System and method of acquiring images with a rolling shutter camera while asynchronously sequencing microscope devices
JP2014134475A (ja) * 2013-01-11 2014-07-24 Chiyuugai Technos Kk 座標測定方法
FR3010221A1 (fr) 2013-09-03 2015-03-06 Rizze Dispositif d'identification d'infractions routieres par lidar
US9831630B2 (en) 2014-02-06 2017-11-28 GM Global Technology Operations LLC Low cost small size LiDAR for automotive
US9098754B1 (en) * 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using laser point clouds
DE102014211071A1 (de) 2014-06-11 2015-12-17 Robert Bosch Gmbh Fahrzeug-Lidar-System
US10078133B2 (en) 2014-08-15 2018-09-18 Aeye, Inc. Method and system for ladar transmission with closed loop feedback control of dynamic scan patterns
KR20160034719A (ko) 2014-09-22 2016-03-30 한화테크윈 주식회사 라이다 시스템
US9625582B2 (en) 2015-03-25 2017-04-18 Google Inc. Vehicle with multiple light detection and ranging devices (LIDARs)
US9880263B2 (en) * 2015-04-06 2018-01-30 Waymo Llc Long range steerable LIDAR system
JP2017026487A (ja) * 2015-07-23 2017-02-02 株式会社東芝 形状測定装置、形状測定システムおよび形状測定方法
US10048058B2 (en) 2015-07-29 2018-08-14 Microsoft Technology Licensing, Llc Data capture system for texture and geometry acquisition
JP5962830B2 (ja) 2015-09-03 2016-08-03 株式会社ニコン 焦点検出装置
US10656275B1 (en) * 2015-09-25 2020-05-19 Apple Inc. Remote sensing for detection and ranging of objects
JP6579706B2 (ja) * 2015-10-06 2019-09-25 株式会社トプコン 画像処理装置、画像処理方法および画像処理用プログラム
US10267908B2 (en) * 2015-10-21 2019-04-23 Waymo Llc Methods and systems for clearing sensor occlusions
EP3165874B1 (en) 2015-11-04 2020-08-19 Hexagon Technology Center GmbH Method and device for triangulation-based distance measurement
JP6620563B2 (ja) * 2016-01-15 2019-12-18 株式会社Ihi 計測装置
JP2017139691A (ja) * 2016-02-05 2017-08-10 ソニー株式会社 画像処理装置および画像処理方法
US20190004178A1 (en) * 2016-03-16 2019-01-03 Sony Corporation Signal processing apparatus and signal processing method
EP3433634B8 (en) * 2016-03-21 2021-07-21 Velodyne Lidar USA, Inc. Lidar based 3-d imaging with varying illumination field density
US20180136314A1 (en) * 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system for analyzing the distance to an object in an image
US10261513B2 (en) * 2016-12-19 2019-04-16 drive.ai Inc. Methods for communicating state, intent, and context of an autonomous vehicle
CN110832349B (zh) 2017-05-15 2023-10-10 奥斯特公司 全景彩色lidar系统和用于lidar系统的方法
US10678260B2 (en) * 2017-07-06 2020-06-09 GM Global Technology Operations LLC Calibration methods for autonomous vehicle operations
US10523880B2 (en) 2017-09-28 2019-12-31 Waymo Llc Synchronized spinning LIDAR and rolling shutter camera system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016534346A (ja) * 2013-08-20 2016-11-04 グーグル インコーポレイテッド 共用伝送／受光経路を備えたｌｉｄａｒプラットフォームを回転させる装置及び方法
JP2016537613A (ja) * 2013-09-24 2016-12-01 ファロ テクノロジーズ インコーポレーテッド ３次元グレイスケール走査画像に重畳されるカラーカメラ画像の改良されたダイナミックレンジ
US20160282453A1 (en) * 2015-03-27 2016-09-29 Google Inc. Methods and Systems for LIDAR Optics Alignment
JP2017101965A (ja) * 2015-11-30 2017-06-08 京セラ株式会社 装置
US20170269209A1 (en) * 2016-03-21 2017-09-21 Velodyne Lidar, Inc. LIDAR Based 3-D Imaging With Varying Pulse Repetition
JP2019512704A (ja) * 2016-03-21 2019-05-16 ベロダイン ライダー， インク． 可変パルス繰返し数を有するｌｉｄａｒに基づく三次元撮像

Also Published As

Publication number Publication date
US10939057B2 (en) 2021-03-02
EP3688489B1 (en) 2023-11-08
JP7146004B2 (ja) 2022-10-03
CN111149015A (zh) 2020-05-12
EP3688489A1 (en) 2020-08-05
KR102454144B1 (ko) 2022-10-14
US11558566B2 (en) 2023-01-17
CN111149015B (zh) 2024-01-23
US12133005B2 (en) 2024-10-29
IL291712A (en) 2022-05-01
AU2018341833B2 (en) 2020-11-19
CA3077071A1 (en) 2019-04-04
JP6854387B2 (ja) 2021-04-07
US20210203864A1 (en) 2021-07-01
IL273524A (en) 2020-05-31
US20190098233A1 (en) 2019-03-28
IL299642A (en) 2023-03-01
CA3077071C (en) 2023-10-03
IL273524B (en) 2021-08-31
EP3688489A4 (en) 2021-01-06
US20230147270A1 (en) 2023-05-11
AU2018341833A1 (en) 2020-04-23
WO2019067068A1 (en) 2019-04-04
JP2021105611A (ja) 2021-07-26
IL284730A (en) 2021-08-31
KR20210089792A (ko) 2021-07-16
US20200404197A1 (en) 2020-12-24
KR20200046131A (ko) 2020-05-06
IL291712B2 (en) 2023-06-01
AU2021200905A1 (en) 2021-03-04
SG11202002584YA (en) 2020-04-29
AU2021200905B2 (en) 2021-11-11
US10523880B2 (en) 2019-12-31
IL284730B (en) 2022-05-01
CA3209232A1 (en) 2019-04-04
JP2020535407A (ja) 2020-12-03
CN118033649A (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
KR102277447B1 (ko) 동기화된 회전식 lidar 및 롤링 셔터 카메라 시스템
US20210208283A1 (en) Efficient algorithm for projecting world points to a rolling shutter image
KR20220006638A (ko) 전자 스캐닝 lidar 시스템을 위한 동기화된 이미지 캡처
US11867841B2 (en) Methods and systems for dithering active sensor pulse emissions
JP2018152632A (ja) 撮像装置および撮像方法
JP2021534415A (ja) 視野の光学捕捉のためのｌｉｄａｒセンサ、ｌｉｄａｒセンサを備えた作動装置または車両、および視野の光学捕捉のための方法
JP2021148667A (ja) 光学装置及び測距装置
WO2022006718A1 (zh) Tof测量系统
Choudhury et al. High Speed Imaging with Wide Field-of-View Laser Scanning for a MEMS Mirror-based Lidar

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant