KR20230113097A - 멀티 센서 이미징 시스템의 범용 센서 성능 및 교정 타겟 - Google Patents

멀티 센서 이미징 시스템의 범용 센서 성능 및 교정 타겟 Download PDF

Info

Publication number
KR20230113097A
KR20230113097A KR1020220022769A KR20220022769A KR20230113097A KR 20230113097 A KR20230113097 A KR 20230113097A KR 1020220022769 A KR1020220022769 A KR 1020220022769A KR 20220022769 A KR20220022769 A KR 20220022769A KR 20230113097 A KR20230113097 A KR 20230113097A
Authority
KR
South Korea
Prior art keywords
calibration target
slots
region
calibration
target element
Prior art date
Application number
KR1020220022769A
Other languages
English (en)
Inventor
니주무드힌 무하씬
유 쾅 로우
제이에쉬 드위베디
Original Assignee
모셔널 에이디 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모셔널 에이디 엘엘씨 filed Critical 모셔널 에이디 엘엘씨
Publication of KR20230113097A publication Critical patent/KR20230113097A/ko

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02—Testing optical properties
    • G01M11/0207—Details of measuring devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/08—Optical arrangements
    • G01J5/0887—Integrating cavities mimicking black bodies, wherein the heat propagation between the black body and the measuring element does not occur within a solid; Use of bodies placed inside the fluid stream for measurement of the temperature of gases; Use of the reemission from a surface, e.g. reflective surface; Emissivity enhancement by multiple reflections
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/52—Radiation pyrometry, e.g. infrared or optical thermometry using comparison with reference sources, e.g. disappearing-filament pyrometer
    • G01J5/53—Reference sources, e.g. standard lamps; Black bodies
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02—Testing optical properties
    • G01M11/0292—Testing optical properties of objectives by measuring the optical modulation transfer function
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

카메라/센서 시스템의 교정을 위해 사용되는 시스템 및 방법이 제공된다. 교정 타겟 시스템은 적어도 하나의 교정 타겟 엘리먼트 및 적어도 하나의 흑체 소스를 포함할 수 있다. 교정 타겟 엘리먼트는 외부 경계, MTF(modular transfer function) 테스팅 영역, 적어도 하나의 교정 타겟을 통해 연장되는 관통 구멍, 및 적어도 하나의 교정 타겟을 통해 연장되는 복수의 슬롯을 포함할 수 있다. MTF 테스팅 영역은 외부 경계의 임의의 측에 대해 직교하지 않는 적어도 하나의 경사 엣지 및 광 흡수 표면을 포함할 수 있다. 흑체 소스는 적어도 하나의 교정 타겟 엘리먼트 뒤에 위치 결정되고 흑체 방사선이 관통 구멍 및 복수의 슬롯을 통과하게 흑체 방사선을 방출하도록 구성된다.

Description

멀티 센서 이미징 시스템의 범용 센서 성능 및 교정 타겟{UNIVERSAL SENSOR PERFORMANCE AND CALIBRATION TARGET FOR MULTI-SENSOR IMAGING SYSTEMS}
도 1은 자율 주행 시스템의 하나 이상의 콤포넌트를 포함하는 차량이 구현될 수 있는 예시적 환경이다.
도 2는 자율 주행 시스템을 포함하는 차량의 하나 이상의 시스템의 다이어그램이다.
도 3은 도 1 및 도 2의 하나 이상의 디바이스 및/또는 하나 이상의 시스템의 콤포넌트의 다이어그램이다.
도 4는 자율 주행 시스템의 특정 콤포넌트의 다이어그램이다.
도 5a 및 5b는 교정 타겟(calibration target)의 예시적 실시형태이다.
도 6은 흑체 소스(black body source)를 포함하는 예시적 교정 타겟 시스템의 측면도이다.
도 7은 다수의 교정 타겟을 포함하는 교정 격자의 예시적 실시형태이다.
도 8은 예시적 교정 프로세스를 나타낸다.
도 9는 다른 예시적 교정 프로세스를 나타낸다.
도 10은 센서를 캘리브레이팅하거나 성능 측정을 결정하는 예시적 방법이다.
이하의 설명에서는, 설명 목적으로 본 개시에 대한 완전한 이해를 제공하기 위해 다수의 특정 세부 사항들이 제시된다. 그렇지만, 본 개시에 의해 기술되는 실시예들이 이러한 특정 세부 사항들이 없더라도 실시될 수 있음이 명백할 것이다. 일부 경우에, 본 개시의 양태들을 불필요하게 모호하게 하는 것을 피하기 위해 잘 알려진 구조들 및 디바이스들은 블록 다이어그램 형태로 예시되어 있다.
시스템들, 디바이스들, 모듈들, 명령어 블록들, 데이터 요소들 등을 나타내는 것들과 같은, 개략적인 요소들의 특정 배열들 또는 순서들이 설명의 편의를 위해 도면들에 예시되어 있다. 그렇지만, 본 기술 분야의 통상의 기술자라면 도면들에서의 개략적인 요소들의 특정 순서 또는 배열이, 그러한 것으로 명시적으로 기술되지 않는 한, 프로세스들의 특정 프로세싱 순서 또는 시퀀스, 또는 프로세스들의 분리가 필요하다는 것을 암시하는 것으로 의미되지 않음을 이해할 것이다. 게다가, 도면에 개략적인 요소를 포함시키는 것은, 그러한 것으로 명시적으로 기술되지 않는 한 일부 실시예들에서, 그러한 요소가 모든 실시예들에서 필요하다는 것 또는 그러한 요소에 의해 표현되는 특징들이 다른 요소들에 포함되지 않을 수 있거나 다른 요소들과 결합되지 않을 수 있다는 것을 암시하는 것으로 의미되지 않는다.
게다가, 2 개 이상의 다른 개략적인 요소 사이의 연결, 관계 또는 연관을 예시하기 위해 실선 또는 파선 또는 화살표와 같은 연결 요소들이 도면들에서 사용되는 경우에, 임의의 그러한 연결 요소들의 부재는 연결, 관계 또는 연관이 존재할 수 없음을 암시하는 것으로 의미되지 않는다. 환언하면, 본 개시를 모호하게 하지 않기 위해 요소들 사이의 일부 연결들, 관계들 또는 연관들이 도면들에 예시되어 있지 않다. 추가적으로, 예시의 편의를 위해, 요소들 사이의 다수의 연결들, 관계들 또는 연관들을 나타내기 위해 단일의 연결 요소가 사용될 수 있다. 예를 들어, 연결 요소가 신호들, 데이터 또는 명령어들(예를 들면, "소프트웨어 명령어들")의 통신을 나타내는 경우에, 본 기술 분야의 통상의 기술자라면 그러한 요소가, 통신을 수행하기 위해 필요하게 될 수 있는, 하나 또는 다수의 신호 경로(예를 들면, 버스)를 나타낼 수 있다는 것을 이해할 것이다.
제1, 제2, 제3 등의 용어들이 다양한 컴포넌트들을 기술하는 데 사용되지만, 이러한 요소들이 이러한 용어들에 의해 제한되어서는 안된다. 제1, 제2, 제3 등의 용어들은 하나의 요소를 다른 요소와 구별하는 데만 사용된다. 예를 들어, 기술된 실시예들의 범위를 벗어나지 않으면서, 제1 접촉은 제2 접촉이라고 지칭될 수 있고, 유사하게 제2 접촉은 제1 접촉이라고 지칭될 수 있다. 제1 접촉과 제2 접촉은 둘 모두 접촉이지만, 동일한 접촉은 아니다.
본원에서의 다양한 기술된 실시예들에 대한 설명에서 사용되는 전문용어는 특정 실시예들을 기술하기 위해서만 포함되어 있으며, 제한하는 것으로 의도되지 않는다. 다양한 기술된 실시예들에 대한 설명 및 첨부된 청구항들에서 사용되는 바와 같이, 단수 형태들("a", "an" 및 "the")은 복수 형태들도 포함하는 것으로 의도되고, 문맥이 달리 명확히 나타내지 않는 한, "하나 이상" 또는 "적어도 하나"와 상호 교환 가능하게 사용될 수 있다. "및/또는"이라는 용어가, 본원에서 사용되는 바와 같이, 연관된 열거된 항목들 중 하나 이상의 항목의 임의의 및 모든 가능한 조합들을 지칭하고 포괄한다는 것이 또한 이해될 것이다. "포함한다(includes)", 포함하는(including), 포함한다(comprises)" 및/또는 "포함하는(comprising)"이라는 용어들이, 본 설명에서 사용될 때, 언급된 특징들, 정수들, 단계들, 동작들, 요소들, 및/또는 컴포넌트들의 존재를 명시하지만, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 컴포넌트, 및/또는 이들의 그룹들의 존재 또는 추가를 배제하지 않는다는 것이 추가로 이해될 것이다.
본원에서 사용되는 바와 같이, "통신" 및 "통신하다"라는 용어들은 정보(또는, 예를 들어, 데이터, 신호들, 메시지들, 명령어들, 커맨드들 등에 의해 표현되는 정보)의 수신, 접수, 송신, 전달, 제공 등 중 적어도 하나를 지칭한다. 하나의 유닛(예를 들면, 디바이스, 시스템, 디바이스 또는 시스템의 컴포넌트, 이들의 조합들 등)이 다른 유닛과 통신한다는 것은 하나의 유닛이 직접 또는 간접적으로 다른 유닛으로부터 정보를 수신하고/하거나 다른 유닛으로 정보를 전송(예를 들면, 송신)할 수 있음을 의미한다. 이것은 본질적으로 유선 및/또는 무선인 직접 또는 간접 연결을 지칭할 수 있다. 추가적으로, 송신되는 정보가 제1 유닛과 제2 유닛 사이에서 수정, 프로세싱, 중계 및/또는 라우팅될 수 있을지라도 2 개의 유닛은 서로 통신하고 있을 수 있다. 예를 들어, 제1 유닛이 정보를 수동적으로 수신하고 정보를 제2 유닛으로 능동적으로 송신하지 않을지라도 제1 유닛은 제2 유닛과 통신하고 있을 수 있다. 다른 예로서, 적어도 하나의 중간 유닛(예를 들면, 제1 유닛과 제2 유닛 사이에 위치하는 제3 유닛)이 제1 유닛으로부터 수신되는 정보를 프로세싱하고 프로세싱된 정보를 제2 유닛으로 송신하는 경우 제1 유닛은 제2 유닛과 통신하고 있을 수 있다. 일부 실시예들에서, 메시지는 데이터를 포함하는 네트워크 패킷(예를 들면, 데이터 패킷 등)을 지칭할 수 있다.
본원에서 사용되는 바와 같이, "~ 경우"라는 용어는, 선택적으로, 문맥에 따라 "~할 때", 또는 "~시에" 또는 "~라고 결정하는 것에 응답하여", "~을 검출하는 것에 응답하여" 등을 의미하는 것으로 해석된다. 유사하게, 문구 "~라고 결정되는 경우" 또는 "[언급된 조건 또는 이벤트]가 검출되는 경우"는, 선택적으로, 문맥에 따라, "~라고 결정할 시에", "~라고 결정하는 것에 응답하여", "[언급된 조건 또는 이벤트]를 검출할 시에", "[언급된 조건 또는 이벤트]를 검출하는 것에 응답하여" 등을 의미하는 것으로 해석된다. 또한, 본원에서 사용되는 바와 같이, "갖는다"(has, have), "갖는(having)" 등의 용어들은 개방형(open-ended) 용어들인 것으로 의도된다. 게다가, 문구 "~에 기초하여"는, 달리 명시적으로 언급되지 않는 한, "~에 적어도 부분적으로 기초하여"를 의미하는 것으로 의도된다.
그 예가 첨부 도면들에 예시되어 있는 실시예들이 이제 상세하게 언급될 것이다. 이하의 상세한 설명에서, 다양한 기술된 실시예들에 대한 완전한 이해를 제공하기 위해 수많은 특정 세부 사항들이 기재된다. 그렇지만, 다양한 기술된 실시예들이 이러한 특정 세부 사항들이 없더라도 실시될 수 있다는 것이 본 기술 분야의 통상의 기술자에게 명백할 것이다. 다른 경우에, 실시예들의 양태들을 불필요하게 모호하게 하지 않기 위해 잘 알려진 방법들, 절차들, 컴포넌트들, 회로들, 및 네트워크들은 상세하게 기술되지 않았다.
[일반 개요]
일부 양태 및/또는 실시형태에서, 본원에 개시된 시스템, 방법, 및 컴퓨터 프로그램 제품은 단일 교정 타겟의 사용으로 하나 이상의(예컨대, 5개) 상이한 카메라/센서 시스템의 교정 및 성능 테스팅을 위한 시스템 및 방법을 제공한다. 일부 실시예에서, 타겟은 타겟의 중심에 있는 관통 구멍, 수직 슬롯을 갖는 영역, 수평 슬롯을 갖는 영역, 광 흡수 표면을 갖는 영역, 및/또는 이웃하는 영역 사이의 각진 또는 경사진 엣지를 포함할 수 있다. 흑체 소스는 타겟 뒤에 위치 결정되고 관통 구멍 및 슬롯을 통해 흑체 방사선을 방출하도록 구성된다. 체커보드 스타일 타겟(checkerboard style target)은 다수의 개별 타겟을 포함하여 사용될 수 있다. 사용 중에, 타겟은 교정 및/또는 성능 테스팅을 위해 상이한 포지션(위치, 각도 등)으로 이동될 수 있다.
본원에 개시된 시스템 및 방법의 구현의 장점은 단일 교정 타겟의 사용을 통한 다수의 센서 교정의 복잡도의 감소를 포함한다. 단일 타겟의 사용은 또한, 다수의 타겟 간의 변동 가능성이 제거되기 때문에 외부 교정 정확도를 향상시킬 수 있다. 타겟은 또한 다양한 타입의 광학 시스템의 광학 성능을 측정할 수 있으므로 추가 데이터 수집이 필요하지 않다.
이제 도 1을 참조하면, 자율 주행 시스템들을 포함하는 차량들은 물론 그렇지 않은 차량들이 작동되는 예시적인 환경(100)이 예시되어 있다. 예시된 바와 같이, 환경(100)은 차량들(102a 내지 102n), 대상체들(104a 내지 104n), 루트들(106a 내지 106n), 영역(108), 차량 대 인프라스트럭처(vehicle-to-infrastructure, V2I) 디바이스(110), 네트워크(112), 원격 자율 주행 차량(AV) 시스템(114), 플릿 관리 시스템(fleet management system)(116), 및 V2I 시스템(118)을 포함한다. 차량들(102a 내지 102n), 차량 대 인프라스트럭처(V2I) 디바이스(110), 네트워크(112), 자율 주행 차량(AV) 시스템(114), 플릿 관리 시스템(116), 및 V2I 시스템(118)은 유선 연결들, 무선 연결들, 또는 유선 또는 무선 연결들의 조합을 통해 상호연결한다(예를 들면, 통신 등을 위해 연결을 확립한다). 일부 실시예들에서, 대상체들(104a 내지 104n)은 유선 연결들, 무선 연결들 또는 유선 또는 무선 연결들의 조합을 통해 차량들(102a 내지 102n), 차량 대 인프라스트럭처(V2I) 디바이스(110), 네트워크(112), 자율 주행 차량(AV) 시스템(114), 플릿 관리 시스템(116), 및 V2I 시스템(118) 중 적어도 하나와 상호연결한다.
차량들(102a 내지 102n)(개별적으로 차량(102)이라고 지칭되고 집합적으로 차량들(102)이라고 지칭됨)은 상품 및/또는 사람을 운송하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 실시예들에서, 차량들(102)은 네트워크(112)를 통해 V2I 디바이스(110), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된다. 일부 실시예들에서, 차량들(102)은 자동차들, 버스들, 트럭들, 기차들 등을 포함한다. 일부 실시예들에서, 차량들(102)은 본원에 기술된 차량들(200)(도 2 참조)과 동일하거나 유사하다. 일부 실시예들에서, 일단의 차량들(200) 중의 차량(200)은 자율 주행 플릿 관리자와 연관된다. 일부 실시예들에서, 차량들(102)은, 본원에 기술된 바와 같이, 각자의 루트들(106a 내지 106n)(개별적으로 루트(106)라고 지칭되고 집합적으로 루트들(106)이라고 지칭됨)을 따라 주행한다. 일부 실시예들에서, 하나 이상의 차량(102)은 자율 주행 시스템(예를 들면, 자율 주행 시스템(202)과 동일하거나 유사한 자율 주행 시스템)을 포함한다.
대상체들(104a 내지 104n)(개별적으로 대상체(104)라고 지칭되고 집합적으로 대상체들(104)이라고 지칭됨)은, 예를 들어, 적어도 하나의 차량, 적어도 하나의 보행자, 적어도 하나의 자전거 타는 사람, 적어도 하나의 구조물(예를 들면, 건물, 표지판, 소화전(fire hydrant) 등) 등을 포함한다. 각각의 대상체(104)는 정지해 있거나(예를 들면, 일정 시간 기간 동안 고정 위치에 위치하거나) 이동하고 있다(예를 들면, 속도를 가지며 적어도 하나의 궤적과 연관되어 있다). 일부 실시예들에서, 대상체들(104)은 영역(108) 내의 대응하는 위치들과 연관되어 있다.
루트들(106a 내지 106n)(개별적으로 루트(106)라고 지칭되고 집합적으로 루트들(106)이라고 지칭됨)은 각각 AV가 운행할 수 있는 상태들을 연결하는 행동들의 시퀀스(궤적이라고도 함)와 연관된다(예를 들면, 이를 규정한다). 각각의 루트(106)는 초기 상태(예를 들면, 제1 시공간적 위치, 속도 등에 대응하는 상태)에서 시작되고 최종 목표 상태(예를 들면, 제1 시공간적 위치와 상이한 제2 시공간적 위치에 대응하는 상태) 또는 목표 영역(예를 들면, 허용 가능한 상태들(예를 들면, 허용 가능한 상태들의 부분 공간(subspace)(예컨대, 종료 상태들(terminal states))에서 종료된다. 일부 실시예들에서, 제1 상태는 개인 또는 개인들이 AV에 의해 픽업(pick-up)되어야 하는 위치를 포함하고 제2 상태 또는 영역은 AV에 의해 픽업된 개인 또는 개인들이 하차(drop-off)해야 하는 위치 또는 위치들을 포함한다. 일부 실시예들에서, 루트들(106)은 복수의 허용 가능한 상태 시퀀스들(예를 들면, 복수의 시공간적 위치 시퀀스들)을 포함하며, 복수의 상태 시퀀스들은 복수의 궤적들과 연관된다(예를 들면, 이를 정의한다). 일 예에서, 루트들(106)은, 도로 교차로들에서의 회전 방향들을 지시하는 일련의 연결된 도로들과 같은, 상위 레벨 행동들 또는 부정확한 상태 위치들만을 포함한다. 추가적으로 또는 대안적으로, 루트들(106)은, 예를 들어, 특정 목표 차선들 또는 차선 영역들 내에서의 정확한 위치들 및 해당 위치들에서의 목표 속력과 같은, 보다 정확한 행동들 또는 상태들을 포함할 수 있다. 일 예에서, 루트들(106)은 중간 목표들에 도달하기 위해 제한된 룩어헤드 호라이즌(lookahead horizon)을 갖는 적어도 하나의 상위 레벨 행동 시퀀스를 따른 복수의 정확한 상태 시퀀스들을 포함하며, 여기서 제한된 호라이즌 상태 시퀀스들의 연속적인 반복들의 조합은 누적되어 복수의 궤적들에 대응하며 이 복수의 궤적들은 집합적으로 최종 목표 상태 또는 영역에서 종료하는 상위 레벨 루트를 형성한다.
영역(108)은 차량들(102)이 운행할 수 있는 물리적 영역(예를 들면, 지리적 영역)을 포함한다. 실시예에서, 영역(108)은 적어도 하나의 주(state)(예컨대, 국가, 지방, 국가에 포함된 복수의 주 중 개별 주 등), 주의 적어도 하나의 부분, 적어도 하나의 도시, 도시의 적어도 한 부분 등을 포함한다. 일부 실시예들에서, 영역(108)은 간선 도로, 주간 간선 도로, 공원 도로, 도시 거리 등과 같은 적어도 하나의 명명된 주요 도로(thoroughfare)(본원에서 "도로"라고 지칭됨)를 포함한다. 추가적으로 또는 대안적으로, 일부 실시예에서, 영역(108)은 진입로, 주차장 구역, 공터 및/또는 미개발 구역, 흙길 등과 같은 적어도 하나의 이름 없는 도로를 포함한다. 일부 실시예들에서, 도로는 적어도 하나의 차선(예를 들면, 차량(102)에 의해 횡단될 수 있는 도로의 일 부분)을 포함한다. 일 예에서, 도로는 적어도 하나의 차선 마킹과 연관된(예를 들면, 이에 기초하여 식별되는) 적어도 하나의 차선을 포함한다.
차량 대 인프라스트럭처(V2I) 디바이스(110)(때때로 차량 대 인프라스트럭처(V2X) 디바이스라고 지칭됨)는 차량들(102) 및/또는 V2I 인프라스트럭처 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 실시예들에서, V2I 디바이스(110)는 네트워크(112)를 통해 차량들(102), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된다. 일부 실시형태에서, V2I 디바이스(110)는 무선 주파수 식별(RFID) 디바이스, 간판(signage), 카메라(예컨대, 2차원(2D) 및/또는 3차원(3D) 카메라), 차선 마커, 가로등, 주차 미터기 등을 포함한다. 일부 실시예들에서, V2I 디바이스(110)는 차량들(102)과 직접 통신하도록 구성된다. 추가적으로 또는 대안적으로, 일부 실시예들에서, V2I 디바이스(110)는 V2I 시스템(118)을 통해 차량들(102), 원격 AV 시스템(114), 및/또는 플릿 관리 시스템(116)과 통신하도록 구성된다. 일부 실시예들에서, V2I 디바이스(110)는 네트워크(112)를 통해 V2I 시스템(118)과 통신하도록 구성된다.
네트워크(112)는 하나 이상의 유선 및/또는 무선 네트워크를 포함한다. 일 예에서, 네트워크(112)는 셀룰러 네트워크(예를 들면, LTE(long term evolution) 네트워크, 3G(third generation) 네트워크, 4G(fourth generation) 네트워크, 5G(fifth generation) 네트워크, CDMA(code division multiple access) 네트워크 등), PLMN(public land mobile network), LAN(local area network), WAN(wide area network), MAN(metropolitan area network), 전화 네트워크(예를 들면, PSTN(public switched telephone network)), 사설 네트워크, 애드혹 네트워크, 인트라넷, 인터넷, 광섬유 기반 네트워크, 클라우드 컴퓨팅 네트워크 등, 이러한 네트워크들의 일부 또는 전부의 조합 등을 포함한다.
원격 AV 시스템(114)은 네트워크(112)를 통해 차량들(102), V2I 디바이스(110), 네트워크(112), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일 예에서, 원격 AV 시스템(114)은 서버, 서버들의 그룹, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, 원격 AV 시스템(114)은 플릿 관리 시스템(116)과 동일 위치에 배치된다(co-located). 일부 실시예들에서, 원격 AV 시스템(114)은 자율 주행 시스템, 자율 주행 차량 컴퓨터, 자율 주행 차량 컴퓨터에 의해 구현되는 소프트웨어 등을 포함한, 차량의 컴포넌트들의 일부 또는 전부의 설치에 관여된다. 일부 실시예들에서, 원격 AV 시스템(114)은 차량의 수명 동안 그러한 컴포넌트들 및/또는 소프트웨어를 유지 관리(예를 들면, 업데이트 및/또는 교체)한다.
플릿 관리 시스템(116)은 차량들(102), V2I 디바이스(110), 원격 AV 시스템(114), 및/또는 V2I 인프라스트럭처 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일 예에서, 플릿 관리 시스템(116)은 서버, 서버들의 그룹, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, 플릿 관리 시스템(116)은 라이드 셰어링(ridesharing) 회사(예를 들면, 다수의 차량들(예를 들면, 자율 주행 시스템들을 포함하는 차량들 및/또는 자율 주행 시스템들을 포함하지 않는 차량들)의 작동을 제어하는 조직 등)와 연관된다.
일부 실시예들에서, V2I 시스템(118)은 네트워크(112)를 통해 차량들(102), V2I 디바이스(110), 원격 AV 시스템(114), 및/또는 플릿 관리 시스템(116)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, V2I 시스템(118)은 네트워크(112)와 상이한 연결을 통해 V2I 디바이스(110)와 통신하도록 구성된다. 일부 실시예들에서, V2I 시스템(118)은 서버, 서버들의 그룹, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, V2I 시스템(118)은 지자체 또는 사설 기관(예를 들면, V2I 디바이스(110) 등을 유지 관리하는 사설 기관)과 연관된다.
도 1에 예시된 요소들의 수 및 배열은 예로서 제공된다. 도 1에 예시된 것보다, 추가적인 요소들, 더 적은 요소들, 상이한 요소들 및/또는 상이하게 배열된 요소들이 있을 수 있다. 추가적으로 또는 대안적으로, 환경(100)의 적어도 하나의 요소는 도 1의 적어도 하나의 상이한 요소에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다. 추가적으로 또는 대안적으로, 환경(100)의 적어도 하나의 요소 세트는 환경(100)의 적어도 하나의 상이한 요소 세트에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다.
이제 도 2를 참조하면, 차량(200)은 자율 주행 시스템(202), 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 및 브레이크 시스템(208)을 포함한다. 일부 실시예들에서, 차량(200)은 차량(102)(도 1 참조)과 동일하거나 유사하다. 일부 실시예들에서, 차량(200)은 자율 주행 능력을 갖는다(예를 들면, 완전 자율 주행 차량들(예를 들면, 인간 개입에 의존하지 않는 차량들), 고도 자율 주행 차량들(예를 들면, 특정 상황들에서 인간 개입에 의존하지 않는 차량들) 등을, 제한 없이, 포함한, 차량(200)이 인간 개입 없이 부분적으로 또는 완전히 작동될 수 있게 하는 적어도 하나의 기능, 특징, 디바이스 등을 구현한다). 완전 자율 주행 차량들 및 고도 자율 주행 차량들에 대한 상세한 설명에 대해서는, 그 전체가 참고로 포함되는, SAE International's standard J3016: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems를 참조할 수 있다. 일부 실시예들에서, 차량(200)은 자율 주행 플릿 관리자 및/또는 라이드 셰어링 회사와 연관된다.
자율 주행 시스템(202)은 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 및 마이크로폰들(202d)과 같은 하나 이상의 디바이스를 포함하는 센서 스위트(sensor suite)를 포함한다. 일부 실시예들에서, 자율 주행 시스템(202)은 보다 많거나 보다 적은 디바이스들 및/또는 상이한 디바이스들(예를 들면, 초음파 센서들, 관성 센서들, GPS 수신기들(아래에서 논의됨), 차량(200)이 주행한 거리의 표시와 연관된 데이터를 생성하는 주행 거리 측정 센서들 등)을 포함할 수 있다. 일부 실시예들에서, 자율 주행 시스템(202)은 자율 주행 시스템(202)에 포함된 하나 이상의 디바이스를 사용하여 본원에서 기술되는 환경(100)과 연관된 데이터를 생성한다. 자율 주행 시스템(202)의 하나 이상의 디바이스에 의해 생성되는 데이터는 차량(200)이 위치하는 환경(예를 들면, 환경(100))을 관측하기 위해 본원에 기술된 하나 이상의 시스템에 의해 사용될 수 있다. 일부 실시형태에서, 자율 주행 시스템(202)은 통신 디바이스(202e), 자율 주행 차량 컴퓨트(202f), 및 DBW(drive-by-wire) 시스템(202h)을 포함한다.
카메라들(202a)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f) 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 카메라들(202a)은 물리적 대상체들(예를 들면, 자동차들, 버스들, 연석들, 사람들 등)을 포함하는 이미지들을 캡처하기 위한 적어도 하나의 카메라(예를 들면, CCD(charge-coupled device)와 같은 광 센서를 사용하는 디지털 카메라, 열 카메라, 적외선(IR) 카메라, 이벤트 카메라 등)를 포함한다. 일부 실시예들에서, 카메라(202a)는 카메라 데이터를 출력으로서 생성한다. 일부 예들에서, 카메라(202a)는 이미지와 연관된 이미지 데이터를 포함하는 카메라 데이터를 생성한다. 이 예에서, 이미지 데이터는 이미지에 대응하는 적어도 하나의 파라미터(예를 들면, 노출, 밝기 등과 같은 이미지 특성들, 이미지 타임스탬프 등)를 명시할 수 있다. 그러한 예에서, 이미지는 한 형식(예를 들면, RAW, JPEG, PNG 등)으로 되어 있을 수 있다. 일부 실시예들에서, 카메라(202a)는 입체시(stereopsis)(스테레오 비전(stereo vision))를 위해 이미지들을 캡처하도록 차량 상에 구성된(예를 들면, 차량 상에 위치된) 복수의 독립적인 카메라들을 포함한다. 일부 예들에서, 카메라(202a)는 복수의 카메라들을 포함하고, 이 복수의 카메라들은 이미지 데이터를 생성하고 이미지 데이터를 자율 주행 차량 컴퓨터(202f) 및/또는 플릿 관리 시스템(예를 들면, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템)으로 전송한다. 그러한 예에서, 자율 주행 차량 컴퓨터(202f)는 적어도 2 개의 카메라로부터의 이미지 데이터에 기초하여 복수의 카메라들 중 적어도 2 개의 카메라의 시야(field of view) 내의 하나 이상의 대상체까지의 깊이를 결정한다. 일부 실시예들에서, 카메라들(202a)은 카메라들(202a)로부터 일정 거리(예를 들면, 최대 100 미터, 최대 1 킬로미터 등) 내의 대상체들의 이미지들을 캡처하도록 구성된다. 그에 따라, 카메라들(202a)은 카메라들(202a)로부터 하나 이상의 거리에 있는 대상체들을 인지하도록 최적화된 센서들 및 렌즈들과 같은 특징부들을 포함한다.
일 실시예에서, 카메라(202a)는 시각적 내비게이션 정보를 제공하는 하나 이상의 교통 신호등, 거리 표지판 및/또는 다른 물리적 대상체와 연관된 하나 이상의 이미지를 캡처하도록 구성된 적어도 하나의 카메라를 포함한다. 일부 실시예들에서, 카메라(202a)는 하나 이상의 이미지와 연관된 교통 신호등 데이터를 생성한다. 일부 예들에서, 카메라(202a)는 한 형식(예를 들면, RAW, JPEG, PNG 등)을 포함하는 하나 이상의 이미지와 연관된 TLD 데이터를 생성한다. 일부 실시예들에서, TLD 데이터를 생성하는 카메라(202a)는, 카메라(202a)가 가능한 한 많은 물리적 대상체들에 관한 이미지들을 생성하기 위해 넓은 시야를 갖는 하나 이상의 카메라(예를 들면, 광각 렌즈, 어안 렌즈, 대략 120도 이상의 시야각을 갖는 렌즈 등)를 포함할 수 있다는 점에서, 카메라들을 포함하는 본원에 기술된 다른 시스템들과 상이하다.
LiDAR(Laser Detection and Ranging) 센서들(202b)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f), 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. LiDAR 센서들(202b)은 광 방출기(예를 들면, 레이저 송신기)로부터 광을 송신하도록 구성된 시스템을 포함한다. LiDAR 센서들(202b)에 의해 방출되는 광은 가시 스펙트럼 밖에 있는 광(예를 들면, 적외선 광 등)을 포함한다. 일부 실시예들에서, 작동 동안, LiDAR 센서들(202b)에 의해 방출되는 광은 물리적 대상체(예를 들면, 차량)와 조우하고 LiDAR 센서들(202b)로 다시 반사된다. 일부 실시예들에서, LiDAR 센서들(202b)에 의해 방출되는 광은 광이 조우하는 물리적 대상체들을 투과하지 않는다. LiDAR 센서들(202b)은 광 방출기로부터 방출된 광이 물리적 대상체와 조우한 후에 그 광을 검출하는 적어도 하나의 광 검출기를 또한 포함한다. 일부 실시예들에서, LiDAR 센서들(202b)과 연관된 적어도 하나의 데이터 프로세싱 시스템은 LiDAR 센서들(202b)의 시야에 포함된 대상체들을 나타내는 이미지(예를 들면, 포인트 클라우드, 결합된 포인트 클라우드(combined point cloud) 등)를 생성한다. 일부 예들에서, LiDAR 센서(202b)와 연관된 적어도 하나의 데이터 프로세싱 시스템은 물리적 대상체의 경계들, 물리적 대상체의 표면들(예를 들면, 표면들의 토폴로지) 등을 나타내는 이미지를 생성한다. 그러한 예에서, 이미지는 LiDAR 센서들(202b)의 시야 내의 물리적 대상체들의 경계들을 결정하는 데 사용된다.
레이더(radar, Radio Detection and Ranging) 센서들(202c)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f) 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 레이더 센서들(202c)은 전파(radio wave)들을 (펄스형으로 또는 연속적으로) 송신하도록 구성된 시스템을 포함한다. 레이더 센서(202c)에 의해 송신된 전파들은 미리 결정된 스펙트럼 내에 있는 전파들을 포함한다. 일부 실시예들에서, 작동 동안, 레이더 센서들(202c)에 의해 송신되는 전파들은 물리적 대상체와 조우하고 레이더 센서들(202c)로 다시 반사된다. 일부 실시예들에서, 레이더 센서들(202c)에 의해 전송되는 전파들이 일부 대상체들에 의해 반사되지 않는다. 일부 실시예들에서, 레이더 센서들(202c)과 연관된 적어도 하나의 데이터 프로세싱 시스템은 레이더 센서들(202c)의 시야에 포함된 대상체들을 나타내는 신호들을 생성한다. 예를 들어, 레이더 센서(202c)와 연관된 적어도 하나의 데이터 프로세싱 시스템은 물리적 대상체의 경계들, 물리적 대상체의 표면들(예를 들면, 표면들의 토폴로지) 등을 나타내는 이미지를 생성한다. 일부 예들에서, 이미지는 레이더 센서들(202c)의 시야 내의 물리적 대상체들의 경계들을 결정하는 데 사용된다.
마이크로폰들(202d)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f) 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 마이크로폰들(202d)은 오디오 신호들을 캡처하고 오디오 신호들과 연관된(예를 들면, 이를 나타내는) 데이터를 생성하는 하나 이상의 마이크로폰(예를 들면, 어레이 마이크로폰, 외부 마이크로폰 등)을 포함한다. 일부 예들에서, 마이크로폰들(202d)은 트랜스듀서 디바이스들 및/또는 유사 디바이스들을 포함한다. 일부 실시예들에서, 본원에 기술된 하나 이상의 시스템은 마이크로폰들(202d)에 의해 생성되는 데이터를 수신하고 데이터와 연관된 오디오 신호들에 기초하여 차량(200)을 기준으로 한 대상체의 위치(예를 들면, 거리 등)를 결정할 수 있다.
통신 디바이스(202e)는 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 자율 주행 차량 컴퓨터(202f), 안전 제어기(202g), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 예를 들어, 통신 디바이스(202e)는 도 3의 통신 인터페이스(314)와 동일하거나 유사한 디바이스를 포함할 수 있다. 일부 실시예들에서, 통신 디바이스(202e)는 차량 대 차량(vehicle-to-vehicle, V2V) 통신 디바이스(예를 들면, 차량들 간의 데이터의 무선 통신을 가능하게 하는 디바이스)를 포함한다.
자율 주행 차량 컴퓨터(202f)는 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 통신 디바이스(202e), 안전 제어기(202g), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 자율 주행 차량 컴퓨터(202f)는 클라이언트 디바이스, 모바일 디바이스(예를 들면, 셀룰러 전화, 태블릿 등), 서버(예를 들면, 하나 이상의 중앙 프로세싱 유닛, 그래픽 프로세싱 유닛 등을 포함하는 컴퓨팅 디바이스) 등과 같은 디바이스를 포함한다. 일부 실시예들에서, 자율 주행 차량 컴퓨터(202f)는 본원에 기술된 자율 주행 차량 컴퓨터(400)와 동일하거나 유사하다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 자율 주행 차량 컴퓨터(202f)는 자율 주행 차량 시스템(예를 들면, 도 1의 원격 AV 시스템(114)과 동일하거나 유사한 자율 주행 차량 시스템), 플릿 관리 시스템(예를 들면, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템), V2I 디바이스(예를 들면, 도 1의 V2I 디바이스(110)와 동일하거나 유사한 V2I 디바이스), 및/또는 V2I 시스템(예를 들면, 도 1의 V2I 시스템(118)과 동일하거나 유사한 V2I 시스템)과 통신하도록 구성된다.
안전 제어기(202g)는 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 안전 제어기(202g)는 차량(200)의 하나 이상의 디바이스(예를 들면, 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 브레이크 시스템(208) 등)를 작동시키기 위한 제어 신호들을 생성 및/또는 송신하도록 구성된 하나 이상의 제어기(전기 제어기, 전기기계 제어기 등)를 포함한다. 일부 실시예들에서, 안전 제어기(202g)는 자율 주행 차량 컴퓨터(202f)에 의해 생성 및/또는 송신되는 제어 신호들보다 우선하는(예를 들면, 이를 무시하는) 제어 신호들을 생성하도록 구성된다.
DBW 시스템(202h)은 통신 디바이스(202e) 및/또는 자율 주행 차량 컴퓨터(202f)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, DBW 시스템(202h)은 차량(200)의 하나 이상의 디바이스(예를 들면, 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 브레이크 시스템(208) 등)를 작동시키기 위한 제어 신호들을 생성 및/또는 송신하도록 구성된 하나 이상의 제어기(예를 들면, 전기 제어기, 전기기계 제어기 등)를 포함한다. 추가적으로 또는 대안적으로, DBW 시스템(202h)의 하나 이상의 제어기는 차량(200)의 적어도 하나의 상이한 디바이스를 동작시키기 위한 제어 신호(예컨대, 턴 신호, 헤드라이트, 도어 락, 방풍 와이퍼, 및/또는 기타)를 생성 및/또는 송신하도록 구성된다.
파워트레인 제어 시스템(204)은 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 파워트레인 제어 시스템(204)은 적어도 하나의 제어기, 액추에이터 등을 포함한다. 일부 실시예들에서, 파워트레인 제어 시스템(204)은 DBW 시스템(202h)으로부터 제어 신호들을 수신하고, 파워트레인 제어 시스템(204)은 차량(200)이 전진하는 것을 시작하게 하고, 전진하는 것을 중지하게 하며, 후진하는 것을 시작하게 하고, 후진하는 것을 중지하게 하며, 한 방향으로 가속하게 하고, 한 방향으로 감속하게 하며, 좌회전을 수행하게 하고, 우회전을 수행하게 하는 등을 한다. 일 예에서, 파워트레인 제어 시스템(204)은 차량의 모터에 제공되는 에너지(예를 들면, 연료, 전기 등)가 증가하게 하거나, 동일하게 유지되게 하거나, 또는 감소하게 하여, 이에 의해 차량(200)의 적어도 하나의 바퀴가 회전하거나 회전하지 않게 한다.
조향 제어 시스템(206)은 차량(200)의 하나 이상의 바퀴를 회전시키도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 조향 제어 시스템(206)은 적어도 하나의 제어기, 액추에이터 등을 포함한다. 일부 실시예들에서, 조향 제어 시스템(206)은 차량(200)이 좌측 또는 우측으로 방향 전환하게 하기 위해 차량(200)의 전면 2 개의 바퀴 및/또는 후면 2 개의 바퀴가 좌측 또는 우측으로 회전하게 한다.
브레이크 시스템(208)은 차량(200)이 속력을 감소시키게 하고/하거나 정지해 있는 채로 유지하게 하기 위해 하나 이상의 브레이크를 작동시키도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 브레이크 시스템(208)은 차량(200)의 대응하는 로터(rotor)에서 차량(200)의 하나 이상의 바퀴와 연관된 하나 이상의 캘리퍼(caliper)가 닫히게 하도록 구성되는 적어도 하나의 제어기 및/또는 액추에이터를 포함한다. 추가적으로 또는 대안적으로, 일부 예들에서, 브레이크 시스템(208)은 자동 긴급 제동(automatic emergency braking, AEB) 시스템, 회생 제동 시스템 등을 포함한다.
일부 실시예들에서, 차량(200)은 차량(200)의 상태 또는 조건의 속성들을 측정 또는 추론하는 적어도 하나의 플랫폼 센서(명시적으로 예시되지 않음)를 포함한다. 일부 예들에서, 차량(200)은 GPS(global positioning system) 수신기, IMU(inertial measurement unit), 휠 속력 센서, 휠 브레이크 압력 센서, 휠 토크 센서, 엔진 토크 센서, 조향각 센서 등과 같은 플랫폼 센서들을 포함한다.
이제 도 3을 참조하면, 디바이스(300)의 개략 다이어그램이 예시되어 있다. 예시된 바와 같이, 디바이스(300)는 프로세서(304), 메모리(306), 저장 컴포넌트(308), 입력 인터페이스(310), 출력 인터페이스(312), 통신 인터페이스(314), 및 버스(302)를 포함한다. 일부 실시형태에서, 디바이스(300)는, 차량(102)의 적어도 하나의 디바이스(예컨대, 차량(102)의 시스템의 적어도 하나의 디바이스), V2I 디바이스(110)의 적어도 하나의 디바이스, 원격 AV 시스템(114)의 적어도 하나의 디바이스, 플릿 관리 시스템(116)의 적어도 하나의 디바이스, V2I 시스템(118)의 적어도 하나의 디바이스, 차량(200)의 적어도 하나의 디바이스(예컨대, 자율 주행 시스템(202)의 적어도 하나의 디바이스), DBW 시스템(202h)의 적어도 하나의 디바이스, 파워트레인 제어 시스템(204)의 적어도 하나의 디바이스, 조향 제어 시스템(206)의 적어도 하나의 디바이스, 및/또는 네트워크(112)의 하나 이상의 디바이스(예컨대, 네트워크(112)의 시스템의 하나 이상의 디바이스)에 대응한다. 일부 실시형태에서, 차량(102)의 하나 이상의 디바이스(예컨대, 차량(102)의 시스템의 하나 이상의 디바이스), 적어도 하나의 V2I 디바이스(110), 원격 AV 시스템(114)의 적어도 하나의 디바이스, 플릿 관리 시스템(116)의 적어도 하나의 디바이스, V2I 시스템(118)의 적어도 하나의 디바이스, 차량(200)의 적어도 하나의 디바이스(예컨대, 자율 주행 시스템(202)의 적어도 하나의 디바이스), DBW 시스템(202h)의 적어도 하나의 디바이스, 파워트레인 제어 시스템(204)의 적어도 하나의 디바이스, 조향 제어 시스템(206)의 적어도 하나의 디바이스, 및/또는 네트워크(112)의 하나 이상의 디바이스(예컨대, 네트워크(112)의 시스템의 하나 이상의 디바이스)는 적어도 하나의 디바이스(300) 및/또는 디바이스(300)의 적어도 하나의 콤포넌트를 포함한다. 도 3에 도시된 바와 같이, 디바이스(300)는 버스(302), 프로세서(304), 메모리(306), 저장 컴포넌트(308), 입력 인터페이스(310), 출력 인터페이스(312), 및 통신 인터페이스(314)를 포함한다.
버스(302)는 디바이스(300)의 컴포넌트들 간의 통신을 가능하게 하는 컴포넌트를 포함한다. 일부 실시예들에서, 프로세서(304)는 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로 구현된다. 일부 예들에서, 프로세서(304)는 적어도 하나의 기능을 수행하도록 프로그래밍될 수 있는, 프로세서(예를 들면, 중앙 프로세싱 유닛(CPU), 그래픽 프로세싱 유닛(GPU), 가속 프로세싱 유닛(APU) 등), 마이크로폰, 디지털 신호 프로세서(DSP), 및/또는 임의의 프로세싱 컴포넌트(예를 들면, FPGA(field-programmable gate array), ASIC(application specific integrated circuit) 등)를 포함한다. 메모리(306)는 프로세서(304)가 사용할 데이터 및/또는 명령어들을 저장하는, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 및/또는 다른 유형의 동적 및/또는 정적 저장 디바이스(예를 들면, 플래시 메모리, 자기 메모리, 광학 메모리 등)를 포함한다.
저장 컴포넌트(308)는 디바이스(300)의 작동 및 사용에 관련된 데이터 및/또는 소프트웨어를 저장한다. 일부 예들에서, 저장 컴포넌트(308)는 하드 디스크(예를 들면, 자기 디스크, 광학 디스크, 광자기 디스크, 솔리드 스테이트 디스크 등), CD(compact disc), DVD(digital versatile disc), 플로피 디스크, 카트리지, 자기 테이프, CD-ROM, RAM, PROM, EPROM, FLASH-EPROM, NV-RAM 및/또는 다른 유형의 컴퓨터 판독 가능 매체를, 대응하는 드라이브와 함께, 포함한다.
입력 인터페이스(310)는 디바이스(300)가, 예컨대, 사용자 입력(예를 들면, 터치스크린 디스플레이, 키보드, 키패드, 마우스, 버튼, 스위치, 마이크로폰, 카메라 등)을 통해, 정보를 수신할 수 있게 하는 컴포넌트를 포함한다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 입력 인터페이스(310)는 정보를 감지하는 센서(예를 들면, GPS(global positioning system) 수신기, 가속도계, 자이로스코프, 액추에이터 등)를 포함한다. 출력 인터페이스(312)는 디바이스(300)로부터의 출력 정보를 제공하는 컴포넌트(예를 들면, 디스플레이, 스피커, 하나 이상의 발광 다이오드(LED) 등)를 포함한다.
일부 실시예들에서, 통신 인터페이스(314)는 디바이스(300)가 유선 연결, 무선 연결, 또는 유선 연결과 무선 연결의 조합을 통해 다른 디바이스들과 통신할 수 있게 하는 트랜시버 유사 컴포넌트(예를 들면, 트랜시버, 개별 수신기 및 송신기 등)를 포함한다. 일부 예들에서, 통신 인터페이스(314)는 디바이스(300)가 다른 디바이스로부터 정보를 수신하고/하거나 다른 디바이스에 정보를 제공할 수 있게 한다. 일부 예들에서, 통신 인터페이스(314)는 이더넷 인터페이스, 광학 인터페이스, 동축 인터페이스, 적외선 인터페이스, RF(radio frequency) 인터페이스, USB(universal serial bus) 인터페이스, Wi-Fi® 인터페이스, 셀룰러 네트워크 인터페이스 등을 포함한다.
일부 실시예들에서, 디바이스(300)는 본원에 기술된 하나 이상의 프로세스를 수행한다. 디바이스(300)는 프로세서(304)가, 메모리(305) 및/또는 저장 컴포넌트(308)와 같은, 컴퓨터 판독 가능 매체에 의해 저장된 소프트웨어 명령어들을 실행하는 것에 기초하여 이러한 프로세스들을 수행한다. 컴퓨터 판독 가능 매체(예를 들면, 비일시적 컴퓨터 판독 가능 매체)는 본원에서 비일시적 메모리 디바이스로서 정의된다. 비일시적 메모리 디바이스는 단일의 물리 저장 디바이스 내부에 위치한 메모리 공간 또는 다수의 물리 저장 디바이스들에 걸쳐 분산된 메모리 공간을 포함한다.
일부 실시예들에서, 소프트웨어 명령어들은 통신 인터페이스(314)를 통해 다른 컴퓨터 판독 가능 매체로부터 또는 다른 디바이스로부터 메모리(306) 및/또는 저장 컴포넌트(308)로 판독된다. 실행될 때, 메모리(306) 및/또는 저장 컴포넌트(308)에 저장된 소프트웨어 명령어들은 프로세서(304)로 하여금 본원에 기술된 하나 이상의 프로세스를 수행하게 한다. 추가적으로 또는 대안적으로, 고정 배선(hardwired) 회로는 본원에 기술된 하나 이상의 프로세스를 수행하기 위해 소프트웨어 명령어들 대신에 또는 소프트웨어 명령어들과 결합하여 사용된다. 따라서, 본원에 기술된 실시예들은, 달리 명시적으로 언급되지 않는 한, 하드웨어 회로와 소프트웨어의 임의의 특정 조합으로 제한되지 않는다.
메모리(306) 및/또는 저장 컴포넌트(308)는 데이터 스토리지 또는 적어도 하나의 데이터 구조(예를 들면, 데이터베이스 등)를 포함한다. 디바이스(300)는 데이터 스토리지 또는 메모리(306) 또는 저장 컴포넌트(308) 내의 적어도 하나의 데이터 구조로부터 정보를 수신하는 것, 그에 정보를 저장하는 것, 그에게로 정보를 통신하는 것, 또는 그에 저장된 정보를 검색하는 것을 할 수 있다. 일부 예들에서, 정보는 네트워크 데이터, 입력 데이터, 출력 데이터, 또는 이들의 임의의 조합을 포함한다.
일부 실시예들에서, 디바이스(300)는 메모리(306)에 그리고/또는 다른 디바이스(예를 들면, 디바이스(300)와 동일하거나 유사한 다른 디바이스)의 메모리에 저장된 소프트웨어 명령어들을 실행하도록 구성된다. 본원에서 사용되는 바와 같이, "모듈"이라는 용어는, 프로세서(304)에 의해 그리고/또는 다른 디바이스(예를 들면, 디바이스(300)와 동일하거나 유사한 다른 디바이스)의 프로세서에 의해 실행될 때, 디바이스(300)(예를 들면, 디바이스(300)의 적어도 하나의 컴포넌트)로 하여금 본원에 기술된 하나 이상의 프로세스를 수행하게 하는 메모리(306)에 그리고/또는 다른 디바이스의 메모리에 저장된 적어도 하나의 명령어를 지칭한다. 일부 실시예들에서, 모듈은 소프트웨어, 펌웨어, 하드웨어 등으로 구현된다.
도 3에 예시된 컴포넌트들의 수 및 배열은 예로서 제공된다. 일부 실시예들에서, 디바이스(300)는 도 3에 예시된 것보다, 추가적인 컴포넌트들, 더 적은 컴포넌트들, 상이한 컴포넌트들, 또는 상이하게 배열된 컴포넌트들을 포함할 수 있다. 추가적으로 또는 대안적으로, 디바이스(300)의 컴포넌트 세트(예를 들면, 하나 이상의 컴포넌트)는 디바이스(300)의 다른 컴포넌트 또는 다른 컴포넌트 세트에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다.
이제 도 4를 참조하면, 자율 주행 차량 컴퓨터(400)(때때로 "AV 스택"이라고 지칭됨)의 예시적인 블록 다이어그램이 예시되어 있다. 예시된 바와 같이, 자율 주행 차량 컴퓨터(400)는 인지 시스템(402)(때때로 인지 모듈이라고 지칭됨), 계획 시스템(404)(때때로 계획 모듈이라고 지칭됨), 로컬화 시스템(406)(때때로 로컬화 모듈이라고 지칭됨), 제어 시스템(408)(때때로 제어 모듈이라고 지칭됨) 및 데이터베이스(410)를 포함한다. 일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408) 및 데이터베이스(410)는 차량의 자율 주행 내비게이션 시스템(예를 들면, 차량(200)의 자율 주행 차량 컴퓨터(202f))에 포함되고/되거나 구현된다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408), 및 데이터베이스(410)는 하나 이상의 독립형 시스템(예를 들면, 자율 주행 차량 컴퓨터(400) 등과 동일하거나 유사한 하나 이상의 시스템)에 포함된다. 일부 예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408), 및 데이터베이스(410)는 본원에 기술된 바와 같이 차량 및/또는 적어도 하나의 원격 시스템에 위치하는 하나 이상의 독립형 시스템에 포함된다. 일부 실시예들에서, 자율 주행 차량 컴퓨터(400)에 포함된 시스템들 중 일부 및/또는 전부는 소프트웨어(예를 들면, 메모리에 저장된 소프트웨어 명령어들), 컴퓨터 하드웨어(예를 들면, 마이크로프로세서, 마이크로컨트롤러, ASIC(application-specific integrated circuit), FPGA(Field Programmable Gate Array) 등), 또는 컴퓨터 소프트웨어와 컴퓨터 하드웨어의 조합으로 구현된다. 일부 실시예들에서, 자율 주행 차량 컴퓨터(400)가 원격 시스템(예를 들면, 원격 AV 시스템(114)과 동일하거나 유사한 자율 주행 차량 시스템, 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템, V2I 시스템(118)과 동일하거나 유사한 V2I 시스템 등)과 통신하도록 구성된다는 것이 또한 이해될 것이다.
일부 실시예들에서, 인지 시스템(402)은 환경에서의 적어도 하나의 물리적 대상체와 연관된 데이터(예를 들면, 적어도 하나의 물리적 대상체를 검출하기 위해 인지 시스템(402)에 의해 사용되는 데이터)를 수신하고 적어도 하나의 물리적 대상체를 분류한다. 일부 예들에서, 인지 시스템(402)은 적어도 하나의 카메라(예를 들면, 카메라들(202a))에 의해 캡처되는 이미지 데이터를 수신하고, 이미지는 적어도 하나의 카메라의 시야 내의 하나 이상의 물리적 대상체와 연관되어 있다(예를 들면, 이를 표현한다). 그러한 예에서, 인지 시스템(402)은 물리적 대상체들(예를 들면, 자전거들, 차량들, 교통 표지판들, 보행자들 등)의 하나 이상의 그룹화에 기초하여 적어도 하나의 물리적 대상체를 분류한다. 일부 실시예들에서, 인지 시스템(402)이 물리적 대상체들을 분류하는 것에 기초하여 인지 시스템(402)은 물리적 대상체들의 분류와 연관된 데이터를 계획 시스템(404)으로 송신한다.
일부 실시예들에서, 계획 시스템(404)은 목적지와 연관된 데이터를 수신하고 차량(예를 들면, 차량들(102))이 목적지를 향해 주행할 수 있는 적어도 하나의 루트(예를 들면, 루트들(106))와 연관된 데이터를 생성한다. 일부 실시예들에서, 계획 시스템(404)은 인지 시스템(402)으로부터의 데이터(예를 들면, 위에서 기술된, 물리적 대상체들의 분류와 연관된 데이터)를 주기적으로 또는 연속적으로 수신하고, 계획 시스템(404)은 인지 시스템(402)에 의해 생성되는 데이터에 기초하여 적어도 하나의 궤적을 업데이트하거나 적어도 하나의 상이한 궤적을 생성한다. 일부 실시예들에서, 계획 시스템(404)은 로컬화 시스템(406)으로부터 차량(예를 들면, 차량들(102))의 업데이트된 위치와 연관된 데이터를 수신하고, 계획 시스템(404)은 로컬화 시스템(406)에 의해 생성되는 데이터에 기초하여 적어도 하나의 궤적을 업데이트하거나 적어도 하나의 상이한 궤적을 생성한다.
일부 실시예들에서, 로컬화 시스템(406)은 한 영역에서의 차량(예를 들면, 차량들(102))의 한 위치와 연관된(예를 들면, 이를 나타내는) 데이터를 수신한다. 일부 예들에서, 로컬화 시스템(406)은 적어도 하나의 LiDAR 센서(예를 들면, LiDAR 센서들(202b))에 의해 생성되는 적어도 하나의 포인트 클라우드와 연관된 LiDAR 데이터를 수신한다. 특정 예들에서, 로컬화 시스템(406)은 다수의 LiDAR 센서들로부터의 적어도 하나의 포인트 클라우드와 연관된 데이터를 수신하고 로컬화 시스템(406)은 포인트 클라우드들 각각에 기초하여 결합된 포인트 클라우드를 생성한다. 이러한 예들에서, 로컬화 시스템(406)은 적어도 하나의 포인트 클라우드 또는 결합된 포인트 클라우드를 데이터베이스(410)에 저장되어 있는 해당 영역의 2차원(2D) 및/또는 3차원(3D) 맵과 비교한다. 로컬화 시스템(406)이 적어도 하나의 포인트 클라우드 또는 결합된 포인트 클라우드를 맵과 비교하는 것에 기초하여 로컬화 시스템(406)은 이어서 해당 영역에서의 차량의 위치를 결정한다. 일부 실시예들에서, 맵은 차량의 운행 이전에 생성되는 해당 영역의 결합된 포인트 클라우드를 포함한다. 일부 실시예들에서, 맵은, 제한 없이, 도로 기하학적 특성들의 고정밀 맵, 도로 네트워크 연결 특성들을 기술하는 맵, 도로 물리적 특성들(예컨대, 교통 속력, 교통량, 차량 교통 차선과 자전거 타는 사람 교통 차선의 수, 차선 폭, 차선 교통 방향, 또는 차선 마커 유형 및 위치, 또는 이들의 조합)을 기술하는 맵, 및 도로 특징물, 예컨대, 횡단보도, 교통 표지판 또는 다양한 유형의 다른 주행 신호들의 공간적 위치들을 기술하는 맵을 포함한다. 일부 실시예들에서, 맵은 인지 시스템에 의해 수신되는 데이터에 기초하여 실시간으로 생성된다.
다른 예에서, 로컬화 시스템(406)은 GPS(global positioning system) 수신기에 의해 생성되는 GNSS(Global Navigation Satellite System) 데이터를 수신한다. 일부 예들에서, 로컬화 시스템(406)은 해당 영역 내에서의 차량의 위치와 연관된 GNSS 데이터를 수신하고 로컬화 시스템(406)은 해당 영역 내에서의 차량의 위도 및 경도를 결정한다. 그러한 예에서, 로컬화 시스템(406)은 차량의 위도 및 경도에 기초하여 해당 영역에서의 차량의 위치를 결정한다. 일부 실시예들에서, 로컬화 시스템(406)은 차량의 위치와 연관된 데이터를 생성한다. 일부 예들에서, 로컬화 시스템(406)이 차량의 위치를 결정하는 것에 기초하여 로컬화 시스템(406)은 차량의 위치와 연관된 데이터를 생성한다. 그러한 예에서, 차량의 위치와 연관된 데이터는 차량의 위치에 대응하는 하나 이상의 시맨틱 특성과 연관된 데이터를 포함한다.
일부 실시예들에서, 제어 시스템(408)은 계획 시스템(404)으로부터 적어도 하나의 궤적과 연관된 데이터를 수신하고 제어 시스템(408)은 차량의 작동을 제어한다. 일부 예들에서, 제어 시스템(408)은 계획 시스템(404)으로부터 적어도 하나의 궤적과 연관된 데이터를 수신하고, 제어 시스템(408)은 파워트레인 제어 시스템(예를 들면, DBW 시스템(202h), 파워트레인 제어 시스템(204) 등), 조향 제어 시스템(예를 들면, 조향 제어 시스템(206)) 및/또는 브레이크 시스템(예를 들면, 브레이크 시스템(208))이 작동하게 하는 제어 신호들을 생성하여 송신하는 것에 의해 차량의 작동을 제어한다. 궤적이 좌회전을 포함하는 예에서, 제어 시스템(408)은 조향 제어 시스템(206)으로 하여금 차량(200)의 조향각을 조정하게 함으로써 차량(200)이 좌회전하게 하는 제어 신호를 송신한다. 추가적으로 또는 대안적으로, 제어 시스템(408)은 차량(200)의 다른 디바이스들(예를 들면, 헤드라이트, 방향 지시등, 도어록, 윈도실드 와이퍼 등)로 하여금 상태들을 변경하게 하는 제어 신호들을 생성하여 송신한다.
일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 적어도 하나의 머신 러닝 모델(예를 들면, 적어도 하나의 다층 퍼셉트론(MLP), 적어도 하나의 콘볼루션 신경 네트워크(CNN), 적어도 하나의 순환 신경 네트워크(RNN), 적어도 하나의 오토인코더, 적어도 하나의 트랜스포머(transformer) 등)을 구현한다. 일부 예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 단독으로 또는 위에서 언급된 시스템들 중 하나 이상과 조합하여 적어도 하나의 머신 러닝 모델을 구현한다. 일부 예에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 파이프라인(예를 들면, 환경에 위치한 하나 이상의 대상체를 식별하기 위한 파이프라인 등)의 일부로서 적어도 하나의 머신 러닝 모델을 구현한다.
데이터베이스(410)는 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406) 및/또는 제어 시스템(408)으로 송신되며, 이들로부터 수신되고/되거나 이들에 의해 업데이트되는 데이터를 저장한다. 일부 예들에서, 데이터베이스(410)는 작동에 관련된 데이터 및/또는 소프트웨어를 저장하고 자율 주행 차량 컴퓨터(400)의 적어도 하나의 시스템을 사용하는 저장 컴포넌트(예를 들면, 도 3의 저장 컴포넌트(308)와 동일하거나 유사한 저장 컴포넌트)를 포함한다. 일부 실시예들에서, 데이터베이스(410)는 적어도 하나의 영역의 2D 및/또는 3D 맵과 연관된 데이터를 저장한다. 일부 예들에서, 데이터베이스(410)는 도시의 일 부분, 다수의 도시들의 다수의 부분들, 다수의 도시들, 카운티, 주, 국가(State)(예를 들면, 나라(country)) 등의 2D 및/또는 3D 맵과 연관된 데이터를 저장한다. 그러한 예에서, 차량(예를 들면, 차량들(102) 및/또는 차량(200)과 동일하거나 유사한 차량)은 하나 이상의 운전 가능한 영역(예를 들면, 단일 차선 도로, 다중 차선 도로, 간선도로, 시골 길(back road), 오프로드 트레일 등)을 따라 운전할 수 있고, 적어도 하나의 LiDAR 센서(예를 들면, LiDAR 센서들(202b)과 동일하거나 유사한 LiDAR 센서)로 하여금 적어도 하나의 LiDAR 센서의 시야에 포함된 대상체들을 나타내는 이미지와 연관된 데이터를 생성하게 할 수 있다.
일부 실시예들에서, 데이터베이스(410)는 복수의 디바이스들에 걸쳐 구현된다. 일부 예들에서, 데이터베이스(410)는 차량(예를 들면, 차량들(102) 및/또는 차량(200)과 동일하거나 유사한 차량), 자율 주행 차량 시스템(예를 들면, 원격 AV 시스템(114)과 동일하거나 유사한 자율 주행 차량 시스템), 플릿 관리 시스템(예를 들면, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템), V2I 시스템(예를 들면, 도 1의 V2I 시스템(118)과 동일하거나 유사한 V2I 시스템) 등에 포함될 수 있다.
자율 주행 시스템(자율 주행 차량(AV) 등)에서, 센서 융합(sensor fusion)은 상이한 센서가 조화롭게 작동하는 데 중요한 측면이 될 수 있다. 성공적인 센서 융합 알고리즘을 위해서는 두 개 이상의 센서 간의 내부 및 외부 교정이 중추적일 수 있다. 외부 교정은 두 개의 센서 사이의 회전 행렬 및 병진 벡터와 같은 강성 관계를 정의하는 외부 파라미터, 즉 두 개의 좌표계를 얻는 프로세스이다.
AV는, VIS(Visible Cameras), NIR(Near Infrared Cameras), SWIR(Short Wave Infrared Cameras), MWIR(Middle Wavelength Infrared Cameras), 및/또는 LWIR(Long Wavelength Infrared Cameras)를 포함하는 상이한 광학 시스템의 어레이를 포함할 수 있지만, 이것에 한정되지 않는다. 이들 카메라(예컨대, 도 2에 도시된 바와 같은 카메라(202a))는 상이한 스펙트럼 파장 하에서 동작할 수 있다. 따라서, 모든 센서의 내부 및 외부 교정을 수행하기 위해, 일반적인 교정 타겟, 예를 들어 일반적인 체스판 외부 교정 타겟을 사용할 수 없다. 일반적인 체스판 교정 타겟은 예컨대 단일 특정 카메라 또는 센서의 교정을 위해 의도되고 디자인될 수 있다. 대조적으로, 여기에 제공된 타겟은 하나 이상의 타입의 카메라/센서 시스템의 교정을 허용하는 요소 또는 특징을 포함할 수 있다. 상이한 요소 또는 특징은 여기에 개시된 바와 같은 상이한 카메라/센서에 대응할 수 있다. 또한, 모든 센서의 MTF(Modular Transfer Function)를 측정할 수 있는 교정 타겟이 필요하다. MTF는 광학 시스템의 핵심 지표이며 여기에서는 센서의 광학 성능으로 지칭될 수 있다. 여기에 개시된 교정 타겟/격자는 MTF를 측정하는 것뿐만 아니라 교정에 대해 사용될 수 있다.
도 5a 및 도 5b는 교정 엘리먼트(500a, 500b)으로도 지칭되는 교정 타겟의 예시적 실시형태이다. 예시적 교정 타겟(500a, 500b)은, 유사한 피쳐들을 공유하거나 임의의 실시형태를 참조하여 여기에 설명된 피쳐들의 임의 조합을 가질 수 있다. 도 5a를 참조하면, 교정 타겟(500a)은 외부 둘레(502) 내에 위치된 내부 타겟(501)과 함께 외부 둘레(502)를 포함할 수 있다. 배경 영역(503)은 내부 타겟(501)을 적어도 부분적으로 둘러쌀 수 있다. 일부의 경우에, 배경 영역(503)은 밝은 컬러 또는 화이트 컬러일 수 있다(예컨대, 도 5a에 도시된 바와 같음). 일부의 경우에, 배경 영역(503)은 어두운 컬러 또는 블랙 컬러일 수 있다(예컨대, 도 5b에 도시된 바와 같음). 배경 영역(503)은 내부 타겟(501)과 상이한 컬러일 수 있다. 내부 타겟(501)은 관통 구멍(504)을 포함할 수 있다. 관통 구멍(504)은 교정 타겟(500a)을 통해 연장될 수 있다. 관통 구멍(504)은 내부 타겟(501)의 중심에 또는 그 근방에 위치 결정될 수 있다.
내부 타겟(501)은 제1 영역(506), 제2 영역(507), 제3 영역(508), 및 제4 영역(509)을 포함할 수 있다. 이 영역들(506, 507, 508, 509)은 전체 내부 타겟(501)을 채울 수 있다. 일부 실시형태에서, 개별 영역들(506, 507, 508, 509)은 일반적으로 평행사변형 형상을 가질 수 있다. 일부 실시형태에서, 제1 영역(506) 및 제3 영역(508)만이 일반적으로 평행사변형 형상을 갖는다. 일부 실시형태에서, 제2 영역(507) 및 제4 영역(509)은 배경 영역(503)의 일부일 수 있다(예컨대, 도 5b에 도시된 바와 같음). 일부 실시형태에서, 내부 타겟(501)은 4개 미만의 규정된 영역을 포함할 수 있다. 일부 실시형태에서, 내부 타겟(501)은 4개보다 많은 규정된 영역을 포함할 수 있다. 일부 실시형태에서, 내부 타겟(501)은 체크판 패턴과 유사하게 교번할 수 있고 밝은 영역과 어두운 영역을 교변하는 것을 포함할 수 있다.
일부 실시형태에서, 도 5a 및 도 5b에 도시된 바와 같이, 제1 영역(506)은 외부 둘레(502)의 제1 코너와 정렬된 제1 코너 또는 엣지를 가질 수 있다. 제1 영역(506)은 관통 구멍(504)으로 연장되는 제1 코너와 반대편 또는 맞은편에 있는 제2 코너 또는 엣지를 가질 수 있다. 일부 실시형태에서, 제3 영역(508)은 외부 둘레(502)의 제2 코너와 정렬된 제1 코너 또는 엣지를 가질 수 있다. 제1 영역(506)은 관통 구멍(504)으로 연장되는 제1 코너와 반대편 또는 맞은편에 있는 제2 코너 또는 엣지를 가질 수 있다. 제1 영역(506) 및 제2 영역(508)은 관통 구멍(504)의 양측(opposite sides) 상에 있을 수 있다.
제1 영역(506)은 복수의 슬롯(510)을 포함할 수 있다. 임의의 수의 슬롯(510)이 사용될 수 있다. 예컨대, 1개, 2개, 3개, 4개, 또는 그 이상의 슬롯(510). 각각의 개별 슬롯(510)은 그 높이를 초과하는 폭을 가질 수 있다. 슬롯(510)은 교정 타겟(500a)을 통해 연장될 수 있다. 슬롯(510)은 전체적으로 직사각 형상을 가질 수 있다. 제1 영역(506)은 밝은 컬러 또는 화이트 컬러일 수 있다. 복수의 슬롯(510)(똔느 여기에 개시된 임의의 다른 복수의 슬롯, 예컨대 슬롯(512))은, 복수의 슬롯(510)을 통해 흑체 소스(상세히 후술됨)를 보는 것(viewing)에 의한 MRTD(minimum resolvable temperature) 테스팅을 위해 구성될 수 있다. 슬롯(510, 512)의 사이즈는 테스트되고 있는 특정 센서의 시야(field of view)에 의존할 수 있다. 타겟(예컨대, 교정 타겟(500a, 500b))은 센서의 시야의 8 퍼센트 이상을 커버하도록 구성될 수 있다. 슬롯(510, 512)의 사이즈는 센서의 해상도에 의존할 수 있다. 예컨대, 센서가 낮은 해상도를 갖는 경우, 슬롯(510, 512)의 사이즈는 더 클 수 있다.
제2 영역(507)은 제1 영역(506)과 제1 엣지(514a)를 공유할 수 있다. 제1 엣지(514a)는 수평 또는 수직 평면에 대해 경사질 수 있다. 제2 영역(507)은 광 흡수 표면을 포함할 수 있다. 제2 영역(507)은 어두운 컬러 또는 블랙 컬러일 수 있다. 광 흡수 표면 및 여기에 개시된 임의의 광 흡수 표면은 가시광 근적외선, 및/또는 단파장 적외선을 흡수하도록 구성될 수 있다. 광 흡수 표면은 Lux 단위로 측정할 때 낮은 조도(illuminance)를 가질 수 있다. 일부 실시형태에서, 광 흡수 표면은 약 20 퍼센트 미만의 흡수, 약 10 퍼센트 미만의 흡수, 약 5 퍼센트 미만의 흡수, 또는 그 사이의 임의의 값을 가질 수 있다.
제3 영역(508)은 제2 영역(507)과 제2 엣지(514b)를 공유할 수 있다. 제2 엣지(514b)는 수평 또는 수직 평면에 대해 경사질 수 있다. 제3 영역(508)은 제2 복수의 슬롯(512)을 포함할 수 있다. 임의의 수의 슬롯(512)이 사용될 수 있다. 예컨대, 1개, 2개, 3개, 4개, 또는 그 이상의 슬롯(512). 각각의 개별 슬롯(512)은 그 폭을 초과하는 높이를 가질 수 있다. 슬롯은 교정 타겟(500a)을 통해 연장될 수 있다. 슬롯(512)은 전체적으로 직사각 형상을 가질 수 있다. 제3 영역(508)은 밝은 컬러 또는 화이트 컬러일 수 있다.
제4 영역(509)은 제3 영역(508)과 제3 엣지(514c)를 그리고 제1 영역(506)과 제4 엣지(514d)를 공유할 수 있다. 제3 및 제4 엣지(514c, 514d)는 수평 또는 수직 평면에 대해 경사질 수 있다. 제4 영역(509)은 광 흡수 표면을 포함할 수 있다. 제4 영역(509)은 어두운 컬러 또는 블랙 컬러일 수 있다.
여기에 개시된 바와 같이, 엣지(514a, 514b, 514c, 514d)는 외부 둘레(502)의 임의의 측면에 대하여 직교하지 않을 수 있다.
슬롯(510, 512)은, 도 6을 참조하여 상세히 후술하는 바와 같이, 타겟 뒤에 위치 결정된 흑체 방사선 소스로부터 슬롯(510, 512)을 통해 흑체 방사선의 이미션(emission)이 통과하게 할 수 있다. 슬롯(510, 512)은, 흑체 방사선이 교정 타겟(500a, 500b)을 통과하게 할 수 있는 교정 타겟(500a, 500b) 내의 구멍 또는 빈 공간을 생성할 수 있다. 전술한 바와 같이, 슬롯(510)은 높이를 초과하는 폭을 가질 수 있고, 이에 따라 일반적으로 수평이 될 수 있다. 슬롯(512)은 폭을 초과하는 높이를 가질 수 있고, 이에 따라 일반적으로 수직이 될 수 있다. 수평 슬롯(510) 및 수직 슬롯(512)의 사용은, X 방향 및 Y 방향 모두에서, MRTD(Minimum resolvable temperature difference)를 측정할 수 있게 한다.
도 5b는 교정 타겟(500b)의 다른 예시적 실시형태를 도시한다. 교정 타겟(500b)은 교정 타겟(500a)과 유사한 피쳐 및 엘리먼트를 공유할 수 있다. 교정 타겟(500b)은 외부 둘레(502)를 포함할 수 있다. 교정 타겟(500b)은 관통 구멍(504)을 포함할 수 있다. 관통 구멍(504)은 교정 타겟(500b)을 통해 연장될 수 있다. 관통 구멍(504)은 교정 타겟(500b)의 중심에 또는 그 근방에 위치 결정될 수 있다.
교정 타겟(500b)은 제1 영역(506) 또는 제3 영역(508)으로도 지칭되는 적어도 하나의 교정 타겟 엘리먼트를 포함할 수 있다. 교정 타겟 엘리먼트(506, 508)은 외부 둘레(502) 내에 위치 결정될 수 있다. 교정 타겟 엘리먼트(506, 508)은 밝은 컬러 또는 화이트 컬러일 수 있다. 교정 타겟(500b)은 제2 영역(507) 또는 제4 영역(509)으로도 지칭되는 적어도 하나의 광 흡수 표면을 포함할 수 있다. 광 흡수 표면은 어두운 컬러 또는 블랙 컬러일 수 있다. 복수의 슬롯(예컨대, 슬롯(510, 512))은 적어도 하나의 교정 타겟 엘리먼트(506, 508)를 통해 연장될 수 있다. 일부 실시형태에서, 복수의 슬롯은 높이를 초과하는 폭을 가질 수 있다(예컨대, 슬롯(510)). 일부 실시형태에서, 복수의 슬롯은 폭을 초과하는 높이를 가질 수 있다(예컨대, 슬롯(512)).
일부 실시형태에서, 교정 타겟(500b)은, 도 5b에 도시된 바와 같이, 하나 이상의 교정 타겟 엘리먼트(예컨대, 제1 영역(506) 및 제2 영역(508) 모두를 포함함)를 포함할 수 있다.
도 6은 흑체 소스(520)를 포함하는 예시적 교정 타겟(500)(예컨대, 교정 타겟(500a, 500b))의 측면도이다. 흑체 소스(520)는 교정 타겟(500) 뒤에 위치 결정될 수 있다. 흑체 소스(520)는 교정 타겟(500) 뒤로 거리(D1)에 위치 결정될 수 있다. 흑체 소스(520)는 교정 타겟(500) 바로 뒤에 위치 결정될 수 있다. 거리(D1)는 교정되는 센서 및 대응 초점 거리(focus distance)에 의존할 수 있다. 거리(D1)는 교정되는 모든 센서의 과초점 거리(hyperfocal distance)에 의존할 수 있다. 교정 타겟(500)의 설정은, 센서의 해상도, 센서의 시야, 및 센서의 초점 거리를 포함하는 다수의 인자에 의존할 수 있지만, 이것에 한정되지 않는다.
흑체 소스(520)는 흑체 방사선을 방출하도록 구성될 수 있다. 흑체 소스(520)는 타겟(500)을 통한 이미션(emission)을 생성할 수 있다. 예컨대, 이미션은 관통 구멍(504) 및 슬롯(510, 512)을 통과할 수 있다. 예를 들어, 이미션(504a)은 관통 구멍(504)과 상관된다. 이미션(510a)은 복수의 슬롯(510)과 상관된다. 이미션(512a)은 복수의 슬롯(512)과 상관된다. 이미션은 센서 또는 카메라의 교정을 지원(assist)하는데 사용된다. 이미션(504a, 510a, 및 512a)은 다크 그레이 영역(dark gray area)(515)으로 표시된다. 다크 그레이 영역(515)은 교정 타겟(예컨대, 교정 타겟(500a, 500b))의 대응 관통 구멍(504) 및 슬롯(510, 512)을 통과하는 이미션(504a, 510a, 및 512a)을 나타낸다.
교정 타겟(500a, 500b)은, VIS(Visible Cameras), NIR(Near Infrared Cameras), SWIR(Short Wave Infrared Cameras), MWIR(Middle Wavelength Infrared Cameras), 및 LWIR(Long Wavelength Infrared Cameras)와 같은, 모든 다수(예컨대, 2개, 3개, 4개, 5개, 또는 그 이상)의 상이한 카메라 시스템(예컨대, 도 2에 도시된 바와 같은 카메라(202a))이 타겟을 볼 수 있도록 하고 교정 및 성능 테스트를 위해 타겟으로부터 중요한 정보를 추론할 수 있도록 디자인된다. 모든 카메라 시스템을 한 번에 보정 및/또는 테스트할 수 있지만, 모든 시스템을 동시에 보정/테스트할 필요는 없다. 임의의 수의 카메라가 한번 테스트/교정될 수 있다. 예컨대, 1개, 2개, 3개, 4개, 또는 5개.
흑체 이미션을 가진 관통 구멍(504)은 MWIR 및 LWIR 카메라에 관한 포지션 참조를 위해 사용될 수 있다. MRTD(minimum resolvable temperature difference) 테스팅은 복수의 슬롯(510, 512) 및 대응하는 이미션(510a, 512a)을 통해 가능하다. 경사진 엣지(514a, 514b, 514c, 514d)는 VIS, NIR, 및 SWIR 카메라를 사용하여 MTF 테스팅을 위해 사용될 수 있다. 광 흡수 표면은 NIR 및 SWIR 카메라에 의해 사용될 수 있다.
교정 타겟(500a, 500b)은, 단일 교정 타겟이 사용될 수 있으므로 다중 센서 교정의 복잡성을 감소시킬 수 있다. 단일 타겟의 사용은 또한, 다수의 타겟 간의 변동 가능성이 제거되기 때문에 외부 교정 정확도를 향상시킨다. 타겟은 또한 다양한 타입의 광학 시스템의 광학 성능을 측정할 수 있으므로 추가 데이터 수집이 필요하지 않다.
도 7은 다수의 교정 타겟 또는 교정 타겟 엘리먼트(500a, 500b)를 포함하는 교정 격자(524)의 예시적 실시형태이다. 교정 격자(524)는 임의의 수의 교정 타겟(500a, 500b)을 포함할 수 있다. 예컨대, 1개, 5개, 10개, 15개, 20개, 또는 그 이상의 교정 타겟(500a, 500b). 교정 타겟(500a, 500b)의 수는 시야가 교정되는 카메라 및/또는 센서에 기초하여 결정될 수 있다. 교정 타겟(500a, 500b)은 동일하거나 상이할 수 있다. 교정 타겟(500a, 500b)은 예컨대, 도 7에 도시된 바와 같이 교번할 수 있다. 교정 격자(524)는, 체스판 패턴과 유사하게 교번할 수 있으며, 밝은 배경 영역과 어두운 배경 영역이 교번하는 것을 포함할 수 있다. 예컨대, 인접한 교정 타겟들은 밝은 배경 영역과 어두운 배경 영역 사이에서 교번할 수 있다. 교정 격자(524)는 높이를 초과하는 폭, 높이와 동일한 폭, 또는 폭을 초과하는 높이를 가질 수 있다.
도 8 -10은 예시적 교정 또는 성능 측정 프로세스 또는 방법을 나타낸다. 카메라 또는 카메라들에 대한 성능 측정을 교정하거나 결정하는 경우, 교정 타겟(예컨대, 교정 타겟(500a, 500b)) 또는 교정 격자(예컨대, 교정 격자(524))는 예컨대 도 8 및 도 9에 도시된 바와 같이, 다수의 포지션(position)들, 포즈(pose)들, 또는 위치(location)들에 위치 결정될 수 있다. 다수의 포지션의 사용은 전체 카메라의 모든 또는 거의 모든 필드 포인트의 뷰(view) 내에 타겟이 있는 것을 보장할 수 있다. 교정 격자는 임의의 방향 예컨대, 상방, 하방, 좌측, 또는 우측으로 기울어질 수 있다.
도 8 및 도 9는 2개의 카메라(526a, 526b)의 사용을 나타낸다. 카메라(526a, 526b)는 여기에 개시된 카메라들의 임의의 조합을 나타낼 수 있다. 2개의 카메라(526a, 526b)는 동일하거나 상이할 수 있다. 2개의 카메라(526a, 526b)가 도시되어 있지만, 임의의 수의 카메라 및 카메라들의 조합이 본원에 개시된 바와 같이 한번 교정되거나 측정될 수 있다. 예컨대, 1개, 2개, 3개, 4개, 5개, 또는 그 이상의 카메라들. 일부 실시형태에서, 카메라(526a 및/또는 526b)는 차량(예컨대, 차량(102) 및/또는 차량(200)과 동일하거나 유사한 차량)에 설치될 수 있다. 예컨대, 카메라(526a 및/또는 526b)는 도 2의 카메라(202a)와 동일하거나 유사할 수 있다.
도 8은 교정 격자(524)에 대한 다수의 포지션들, 포즈들, 및/또는 위치들을 나타낸다. 도시된 바와 같이, 교정 격자(524)는 격자(530)의 모든 평면에 대해 다수의 각도로 위치 결정될 수 있다. 교정 및 성능 측정 동안, 카메라(526a, 526b)는 교정 격자(524)가 포지션들 사이에서 이동되는 동안 정지 상태로 유지될 수 있다. 교정 격자(524)는 교정되는 카메라(526a, 526b)에 따라 필요한 만큼의 포지션들/포즈들/위치들로 이동될 수 있다. 필요한 포지션들의 수는 카메라(526a, 526b)의 시야에 의존할 수 있다. 임의의 수의 포즈들 또는 포지션들이 사용될 수 있다. 예컨대, 5개의 포즈들, 25개의 포즈들, 35개의 포즈들, 45개의 포즈들, 55개의 포즈들, 또는 그 이상. 포즈 또는 포지션의 수가 증가하면 결과 교정 및/또는 측정의 정확도가 증가할 수 있다. 교정 타겟은 피치(pitch), 요(yaw) 및/또는 롤 각도(roll angle)로 위치 결정될 수 있다. 교정 타겟은 약 70 퍼센트 이상의 시야 커버리지, 약 80 퍼센트 이상의 시야 커버리지, 약 90 퍼센트 이상의 시야 커버리지, 또는 그 사이의 임의의 값을 제공하는 포즈들 또는 포지션들에 위치 결정될 수 있다.
도 9는 카메라(526a, 526b)의 시야를 나타낸다. 시야(527a)는 카메라(526a)에 대응하고, 시야(527b)는 카메라(526b)에 대응한다. 도시된 바와 같이, 하나 이상의 시야(527a, 527b)는 교정 격자(524)를 초과할 수 있다. 따라서, 교정 또는 성능 측정 프로세스 동안 교정 격자(425)의 이동은 전체 시야(527a, 527b)를 커버하는 데 필요할 수 있다. 포즈 또는 포지션의 증가 및 이러한 포즈 또는 포지션의 변화는 교정의 결과를 개선하고 보다 정확한 측정을 제공할 수 있다.
도 10은 카메라 또는 카메라들에 대한 성능 측정을 교정 또는 결정하는 프로세스를 나타내는 플로우 차트이다. 일부 실시형태에서, 도 10에 예시된 프로세스의 하나 이상의 기능은 자율 주행 시스템(202)(예컨대, 자율 주행 시스템(202)의 하나 이상의 콤포넌트)에 의해 수행될 수 있다(예컨대, 완전히, 부분적으로, 그리고/또는 기타). 일부 실시형태에서, 도 10에 의해 예시된 프로세스의 하나 이상의 기능은 차량(102), 원격 AV 시스템(114), 및/또는 플릿 관리 시스템(116)과 같은 자율 주행 시스템(202)과는 별도의 그리고/또는 이들을 포함하는 디바이스의 그룹 또는 다른 디바이스에 의해 수행될 수 있다(예컨대, 완전히, 부분적으로, 및/또는 기타).
블록(600)에서 시작하여, 카메라 및 또는 비전 센서(예컨대, 카메라(526a, 526b))는 고정된 포지션(예컨대, 도 8에 도시된 포지션들 중 하나 이상)에 설정될 수 있다. 테스팅은 제어되거나 고정된 환경 또는 랩(lab)에서 실행될 수 있다.
블록(602)로 이동하면, 시야가 교정 및/또는 MTF 타겟을 포함하는 것을 확인하기 위해 카메라/비전 센서가 체크된다.
블록(604)로 이동하면, 교정 및/또는 MTF 타겟은 다수의 포지션, 위치 및/또는 포즈(예컨대, 도 8에 도시된 포지션들 중 하나 이상)에 있을 수 있다. 예컨대, 이것은 다중 피치 및 요 각도를 사용하여 수행될 수 있다. 포지션, 위치, 및/또는 포즈의 수는 테스트되는 카메라 및 카메라의 시야에 따를 수 있다. 임의의 수, 예컨대, 2개, 4개, 6개, 8개, 10개 이상의 포즈 또는 그 사이의 임의의 수의 포지션들이 필요할 수 있다.
블록(606)으로 이동하면, 카메라/비전 센서 및/또는 열적 이미징 센서는 교정 격자의 코너 포인트를 획득할 수 있다. 본원에 개시된 임의의 센서는 열적 이미징 센서를 포함할 수 있다. 블록(608)으로 이동하면, 코너 포인트는 일반적인 내부/외부 교정 알고리즘(예컨대, Open CV) 또는 MTF 성능 측정 알고리즘을 통해 추출 및 프로세싱된다. 블록(610)으로 이동하면, 수집된 데이터와 값은 예를 들어 yaml 파일에 저장되고 AV 스택으로 전송될 수 있다.
전술한 설명에서, 본 개시의 양태들 및 실시예들은 구현마다 달라질 수 있는 다수의 특정 세부 사항들을 참조하여 기술되었다. 그에 따라, 설명 및 도면들은 제한적인 의미가 아니라 예시적인 의미로 간주되어야 한다. 본 발명의 범위의 유일한 독점적인 지표, 및 출원인들이 본 발명의 범위이도록 의도한 것은, 본 출원에서 특정 형태로 나오는 일련의 청구항들의 문언적 등가 범위이며, 임의의 후속 보정을 포함한다. 그러한 청구항들에 포함된 용어들에 대한 본원에서 명시적으로 기재된 임의의 정의들은 청구항들에서 사용되는 그러한 용어들의 의미를 결정한다. 추가적으로, 전술한 설명 및 이하의 청구항들에서 "더 포함하는"이라는 용어가 사용될 때, 이 문구에 뒤따르는 것은 추가적인 단계 또는 엔티티, 또는 이전에 언급된 단계 또는 엔티티의 서브단계/서브엔티티일 수 있다.
본원의 다수의 추가적인 예시적 실시형태가 이하의 조항들에 의해 설명될 수 있다:
조항 1: 교정 타겟 시스템으로서,
적어도 하나의 교정 타겟 엘리먼트; 및
적어도 하나의 흑체 소스(black body source)
를 포함하고,
상기 적어도 하나의 교정 타겟 엘리먼트는,
외부 경계(outer perimeter),
상기 외부 경계 내의 상기 적어도 하나의 교정 타겟 엘리먼트 상에 위치 결정된 MTF(modular transfer function) 테스팅 영역 - 상기 MTF 테스팅 영역은 상기 외부 경계의 임의의 측(side)에 대해 직교하지 않는 적어도 하나의 경사 엣지(slant edge) 및 광 흡수 표면을 포함함 - , 및
상기 적어도 하나의 교정 타겟 엘리먼트를 통해 연장되는 관통 구멍, 및
상기 적어도 하나의 교정 타겟 엘리먼트를 통해 연장되는 복수의 슬롯
을 포함하고,
상기 적어도 하나의 흑체 소스는 상기 적어도 하나의 교정 타겟 엘리먼트 뒤에 위치 결정되고, 상기 흑체 소스는 상기 복수의 슬롯 및 상기 관통 구멍을 통해 흑체 방사선이 통과하도록, 상기 흑체 방사선을 방출하도록 구성되는 것인, 교정 타겟 시스템.
조항 2: 조항 1에 있어서,
상기 MTF 테스팅 영역은 교번하는 밝은 영역과 어두운 영역을 포함하는 체커보드 패턴(checkerboard pattern)을 포함하는 것인, 교정 타겟 시스템.
조항 3: 조항 2에 있어서,
상기 관통 구멍은 상기 체커보드 패턴의 중심 교차점에 위치 결정되는 것인, 교정 타겟 시스템.
조항 4: 조항 2 또는 조항 3에 있어서,
상기 복수의 슬롯은 상기 체커보드 패턴의 밝은 영역을 통해 연장되는 것인, 교정 타겟 시스템.
조항 5: 조항 1 내지 조항 4 중 어느 하나에 있어서,
상기 복수의 슬롯은,
제1 복수의 슬롯 - 상기 제1 복수의 슬롯 각각은 폭을 초과하는 높이를 갖고 상기 외부 경계의 제1 측에 전체적으로 평행하게 연장됨 - ; 및
제2 복수의 슬롯 - 상기 제2 복수의 슬롯 각각은 높이를 초과하는 폭을 갖고 상기 외부 경계의 제2 측에 전체적으로 평행하게 연장됨 -
을 포함하는 것인, 교정 타겟 시스템.
조항 6: 조항 1 내지 조항 5 중 어느 하나에 있어서,
상기 적어도 하나의 교정 타겟 엘리먼트는 격자로 배열된 복수의 교정 타겟 엘리먼트를 포함하고;
상기 격자 내의 각각의 교정 타겟 엘리먼트에 대해, 상기 외부 경계와 상기 MTF 테스팅 영역 사이에 형성된 배경 영역의 제1 컬러는 상기 격자 내의 인접한 교정 타겟 엘리먼트의 배경 영역의 제2 컬러와 상이한 것인, 교정 타겟 시스템.
조항 7: 조항 6에 있어서,
상기 제1 컬러는 밝은 컬러를 포함하고, 상기 제2 컬러는 블랙(black)을 포함하는 것인, 교정 타겟 시스템.
조항 8: 조항 1 내지 조항 7 중 어느 하나에 있어서,
상기 광 흡수 표면은 가시광, 근적외선, 및 단파장 적외선을 흡수하도록 구성되는 것인, 교정 타겟 시스템.
조항 9: 조항 1 내지 조항 8 중 어느 하나에 있어서,
상기 복수의 슬롯은, 상기 복수의 슬롯을 통해 상기 흑체 소스를 보는 것(viewing)에 의한 최소 해상 가능 온도(minimum resolvable temperature; MRTD) 테스팅을 위해 구성되는 것인, 교정 타겟 시스템.
조항 10: 교정 타겟 시스템으로서,
외부 경계 내에 위치 결정된 내부 타겟을 포함하는 적어도 하나의 교정 타겟 엘리먼트; 및
적어도 하나의 흑체 소스
를 포함하고,
상기 내부 타겟은,
제1 복수의 슬롯을 가진 제1 영역 - 상기 제1 복수의 슬롯 각각은 높이를 초과하는 폭을 가짐 - ,
상기 제1 영역과 제1 엣지를 공유하는 제2 영역 - 상기 제2 영역은 광 흡수 표면을 포함함 - ,
상기 제2 영역과 제2 엣지를 공유하는 제3 영역 - 상기 제3 영역은 제2 복수의 슬롯을 갖고, 상기 제2 복수의 슬롯 각각은 폭을 초과하는 높이를 가짐 - ,
상기 제3 영역과 제3 엣지를 공유하고 상기 제1 영역과 제4 엣지를 공유하는 제4 영역 - 상기 제4 영역은 광 흡수 표면을 포함함 - , 및
상기 적어도 하나의 교정 타겟 엘리먼트를 통해 연장되는 관통 구멍 - 상기 관통 구멍은 상기 내부 타겟의 중심에 위치 결정됨 -
를 포함하고,
상기 제1, 제2, 제3, 및 제4 엣지는 상기 적어도 하나의 교정 타겟 엘리먼트의 수평축 및 수직축에 대해 직교하지 않고,
상기 적어도 하나의 흑체 소스는 상기 적어도 하나의 교정 타겟 엘리먼트 뒤에 위치 결정되고, 상기 흑체 소스는 상기 관통 구멍, 상기 제1 복수의 슬롯, 및 상기 제2 복수의 슬롯을 통해 검출 가능한 흑체 방사선을 방출하도록 구성되는 것인, 교정 타겟 시스템.
조항 11: 조항 10에 있어서,
상기 광 흡수 표면은 가시광, 근적외선, 및 단파장 적외선을 흡수하도록 구성되는 것인, 교정 타겟 시스템.
조항 12: 조항 10 또는 조항 11에 있어서,
상기 제1 및 제2 복수의 슬롯은, 상기 제1 및 제2 복수의 슬롯을 통해 상기 흑체 소스를 보는 것에 의한 최소 해상 가능 온도(minimum resolvable temperature; MRTD) 테스팅을 위해 구성되는 것인, 교정 타겟 시스템.
조항 13: 조항 10 내지 조항 12 중 어느 하나에 있어서,
상기 제2 및 제4 영역은 블랙(black)인 것인, 교정 타겟 시스템.
조항 14: 조항 10 내지 조항 13 중 어느 하나에 있어서,
상기 제1 및 제3 영역은 밝은 컬러 또는 화이트(white) 컬러인 것인, 교정 타겟 시스템.
조항 15: 조항 10 내지 조항 14 중 어느 하나에 있어서,
상기 적어도 하나의 교정 타겟 엘리먼트는 격자로 배열된 복수의 교정 타겟 엘리먼트를 포함하는 것인, 교정 타겟 시스템.
조항 16: 조항 15에 있어서,
상기 격자 내의 각각의 교정 타겟 엘리먼트에 대해, 배경 영역의 제1 컬러는 상기 격자 내의 인접한 교정 타겟 엘리먼트의 배경 영역의 제2 컬러와 상이한 것인, 교정 타겟 시스템.
조항 17: 카메라 또는 센서 시스템을 교정하는 방법으로서,
적어도 하나의 프로세서를 사용하여, 교정 타겟으로부터 반사된 광에 기초하는 제1 이미지 데이터를 제1 카메라 시스템으로부터 수신하는 단계 - 상기 교정 타겟은,
외부 경계,
상기 외부 경계 내의 적어도 하나의 교정 타겟 엘리먼트 상에 위치 결정된 MTF(modular transfer function) 테스팅 영역 - 상기 MTF 테스팅 영역은 상기 외부 경계의 임의의 측에 대하여 직교하지 않는 적어도 하나의 경사 엣지 및 광 흡수 표면을 포함함 - ,
상기 적어도 하나의 교정 타겟 엘리먼트를 통해 연장되는 관통 구멍, 및
상기 적어도 하나의 교정 타겟 엘리먼트를 통해 연장되는 복수의 슬롯
을 포함함 - ; 및
상기 적어도 하나의 프로세서를 사용하여, 상기 교정 타겟의 슬롯을 통해 방출되는 흑체 방사선에 기초하는 제2 이미지 데이터를 제2 카메라 시스템으로부터 수신하는 단계; 및
상기 적어도 하나의 프로세서를 사용하여, 상기 제1 및 제2 이미지 데이터에 기초하여 상기 제1 및 제2 카메라 시스템을 교정하는 단계
를 포함하는, 방법.
조항 18: 조항 17에 있어서,
상기 교정 타겟은 제1 포지션으로부터 제2 포지션으로 이동되는 것인, 방법.
조항 19: 조항 17 또는 조항 18에 있어서,
상기 카메라 또는 센서 시스템은 고정되어 있는 것인, 방법.
조항 20: 조항 17 내지 조항 19 중 어느 하나에 있어서,
상기 MTF 테스팅 영역은 교번하는 밝은 영역과 어두운 영역을 포함하는 체커보드 패턴을 포함하는 것인, 방법.

Claims (20)

  1. 교정 타겟 시스템으로서,
    적어도 하나의 교정 타겟 엘리먼트; 및
    적어도 하나의 흑체 소스(black body source)
    를 포함하고,
    상기 적어도 하나의 교정 타겟 엘리먼트는,
    외부 경계(outer perimeter),
    상기 외부 경계 내의 상기 적어도 하나의 교정 타겟 엘리먼트 상에 위치 결정된 MTF(modular transfer function) 테스팅 영역 - 상기 MTF 테스팅 영역은 상기 외부 경계의 임의의 측(side)에 대해 직교하지 않는 적어도 하나의 경사 엣지(slant edge) 및 광 흡수 표면을 포함함 - , 및
    상기 적어도 하나의 교정 타겟 엘리먼트를 통해 연장되는 관통 구멍, 및
    상기 적어도 하나의 교정 타겟 엘리먼트를 통해 연장되는 복수의 슬롯
    을 포함하고,
    상기 적어도 하나의 흑체 소스는 상기 적어도 하나의 교정 타겟 엘리먼트 뒤에 위치 결정되고, 상기 흑체 소스는 상기 복수의 슬롯 및 상기 관통 구멍을 통해 흑체 방사선이 통과하도록, 상기 흑체 방사선을 방출하도록 구성되는 것인, 교정 타겟 시스템.
  2. 제1항에 있어서,
    상기 MTF 테스팅 영역은 교번하는 밝은 영역과 어두운 영역을 포함하는 체커보드 패턴(checkerboard pattern)을 포함하는 것인, 교정 타겟 시스템.
  3. 제2항에 있어서,
    상기 관통 구멍은 상기 체커보드 패턴의 중심 교차점에 위치 결정되는 것인, 교정 타겟 시스템.
  4. 제2항 또는 제3항에 있어서,
    상기 복수의 슬롯은 상기 체커보드 패턴의 밝은 영역을 통해 연장되는 것인, 교정 타겟 시스템.
  5. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 복수의 슬롯은,
    제1 복수의 슬롯 - 상기 제1 복수의 슬롯 각각은 폭을 초과하는 높이를 갖고 상기 외부 경계의 제1 측에 전체적으로 평행하게 연장됨 - ; 및
    제2 복수의 슬롯 - 상기 제2 복수의 슬롯 각각은 높이를 초과하는 폭을 갖고 상기 외부 경계의 제2 측에 전체적으로 평행하게 연장됨 -
    을 포함하는 것인, 교정 타겟 시스템.
  6. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 적어도 하나의 교정 타겟 엘리먼트는 격자로 배열된 복수의 교정 타겟 엘리먼트를 포함하고;
    상기 격자 내의 각각의 교정 타겟 엘리먼트에 대해, 상기 외부 경계와 상기 MTF 테스팅 영역 사이에 형성된 배경 영역의 제1 컬러는 상기 격자 내의 인접한 교정 타겟 엘리먼트의 배경 영역의 제2 컬러와 상이한 것인, 교정 타겟 시스템.
  7. 제6항에 있어서,
    상기 제1 컬러는 밝은 컬러를 포함하고, 상기 제2 컬러는 블랙(black)을 포함하는 것인, 교정 타겟 시스템.
  8. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 광 흡수 표면은 가시광, 근적외선, 및 단파장 적외선을 흡수하도록 구성되는 것인, 교정 타겟 시스템.
  9. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 복수의 슬롯은, 상기 복수의 슬롯을 통해 상기 흑체 소스를 보는 것(viewing)에 의한 최소 해상 가능 온도(minimum resolvable temperature; MRTD) 테스팅을 위해 구성되는 것인, 교정 타겟 시스템.
  10. 교정 타겟 시스템으로서,
    외부 경계 내에 위치 결정된 내부 타겟을 포함하는 적어도 하나의 교정 타겟 엘리먼트; 및
    적어도 하나의 흑체 소스
    를 포함하고,
    상기 내부 타겟은,
    제1 복수의 슬롯을 가진 제1 영역 - 상기 제1 복수의 슬롯 각각은 높이를 초과하는 폭을 가짐 - ,
    상기 제1 영역과 제1 엣지를 공유하는 제2 영역 - 상기 제2 영역은 광 흡수 표면을 포함함 - ,
    상기 제2 영역과 제2 엣지를 공유하는 제3 영역 - 상기 제3 영역은 제2 복수의 슬롯을 갖고, 상기 제2 복수의 슬롯 각각은 폭을 초과하는 높이를 가짐 - ,
    상기 제3 영역과 제3 엣지를 공유하고 상기 제1 영역과 제4 엣지를 공유하는 제4 영역 - 상기 제4 영역은 광 흡수 표면을 포함함 - , 및
    상기 적어도 하나의 교정 타겟 엘리먼트를 통해 연장되는 관통 구멍 - 상기 관통 구멍은 상기 내부 타겟의 중심에 위치 결정됨 -
    를 포함하고,
    상기 제1, 제2, 제3, 및 제4 엣지는 상기 적어도 하나의 교정 타겟 엘리먼트의 수평축 및 수직축에 대해 직교하지 않고,
    상기 적어도 하나의 흑체 소스는 상기 적어도 하나의 교정 타겟 엘리먼트 뒤에 위치 결정되고, 상기 흑체 소스는 상기 관통 구멍, 상기 제1 복수의 슬롯, 및 상기 제2 복수의 슬롯을 통해 검출 가능한 흑체 방사선을 방출하도록 구성되는 것인, 교정 타겟 시스템.
  11. 제10항에 있어서,
    상기 광 흡수 표면은 가시광, 근적외선, 및 단파장 적외선을 흡수하도록 구성되는 것인, 교정 타겟 시스템.
  12. 제10항 또는 제11항에 있어서,
    상기 제1 및 제2 복수의 슬롯은, 상기 제1 및 제2 복수의 슬롯을 통해 상기 흑체 소스를 보는 것에 의한 최소 해상 가능 온도(minimum resolvable temperature; MRTD) 테스팅을 위해 구성되는 것인, 교정 타겟 시스템.
  13. 제10항 또는 제11항에 있어서,
    상기 제2 및 제4 영역은 블랙(black)인 것인, 교정 타겟 시스템.
  14. 제10항 또는 제11항에 있어서,
    상기 제1 및 제3 영역은 밝은 컬러 또는 화이트(white) 컬러인 것인, 교정 타겟 시스템.
  15. 제10항 또는 제11항에 있어서,
    상기 적어도 하나의 교정 타겟 엘리먼트는 격자로 배열된 복수의 교정 타겟 엘리먼트를 포함하는 것인, 교정 타겟 시스템.
  16. 제15항에 있어서,
    상기 격자 내의 각각의 교정 타겟 엘리먼트에 대해, 배경 영역의 제1 컬러는 상기 격자 내의 인접한 교정 타겟 엘리먼트의 배경 영역의 제2 컬러와 상이한 것인, 교정 타겟 시스템.
  17. 카메라 또는 센서 시스템을 교정하는 방법으로서,
    적어도 하나의 프로세서를 사용하여, 교정 타겟으로부터 반사된 광에 기초하는 제1 이미지 데이터를 제1 카메라 시스템으로부터 수신하는 단계 - 상기 교정 타겟은,
    외부 경계,
    상기 외부 경계 내의 적어도 하나의 교정 타겟 엘리먼트 상에 위치 결정된 MTF(modular transfer function) 테스팅 영역 - 상기 MTF 테스팅 영역은 상기 외부 경계의 임의의 측에 대하여 직교하지 않는 적어도 하나의 경사 엣지 및 광 흡수 표면을 포함함 - ,
    상기 적어도 하나의 교정 타겟 엘리먼트를 통해 연장되는 관통 구멍, 및
    상기 적어도 하나의 교정 타겟 엘리먼트를 통해 연장되는 복수의 슬롯
    을 포함함 - ; 및
    상기 적어도 하나의 프로세서를 사용하여, 상기 교정 타겟의 슬롯을 통해 방출되는 흑체 방사선에 기초하는 제2 이미지 데이터를 제2 카메라 시스템으로부터 수신하는 단계; 및
    상기 적어도 하나의 프로세서를 사용하여, 상기 제1 및 제2 이미지 데이터에 기초하여 상기 제1 및 제2 카메라 시스템을 교정하는 단계
    를 포함하는, 방법.
  18. 제17항에 있어서,
    상기 교정 타겟은 제1 포지션으로부터 제2 포지션으로 이동되는 것인, 방법.
  19. 제17항 또는 제18항에 있어서,
    상기 카메라 또는 센서 시스템은 고정되어 있는 것인, 방법.
  20. 제17항 또는 제18항에 있어서,
    상기 MTF 테스팅 영역은 교번하는 밝은 영역과 어두운 영역을 포함하는 체커보드 패턴을 포함하는 것인, 방법.
KR1020220022769A 2022-01-21 2022-02-22 멀티 센서 이미징 시스템의 범용 센서 성능 및 교정 타겟 KR20230113097A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/581,637 2022-01-21
US17/581,637 US20230252678A1 (en) 2022-01-21 2022-01-21 Universal sensor performance and calibration target for multi-sensor imaging systems

Publications (1)

Publication Number Publication Date
KR20230113097A true KR20230113097A (ko) 2023-07-28

Family

ID=80820887

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220022769A KR20230113097A (ko) 2022-01-21 2022-02-22 멀티 센서 이미징 시스템의 범용 센서 성능 및 교정 타겟

Country Status (5)

Country Link
US (1) US20230252678A1 (ko)
KR (1) KR20230113097A (ko)
CN (1) CN116519268A (ko)
DE (1) DE102022104056A1 (ko)
GB (1) GB2614928B (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117911540A (zh) * 2024-03-18 2024-04-19 安徽大学 一种用于事件相机标定装置与方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9621823B2 (en) * 2010-09-16 2017-04-11 Honeywell International Inc. Thermal camera calibration
US11295540B2 (en) * 2020-03-30 2022-04-05 GM Cruise Holdings, LLC Combined sensor calibration target for calibrating multiple types of sensors, including infrared cameras and visible light cameras
CN113628280A (zh) * 2021-08-04 2021-11-09 西北工业大学 一种红外及可见光摄像机同步标定装置及其标定方法

Also Published As

Publication number Publication date
DE102022104056A1 (de) 2023-07-27
US20230252678A1 (en) 2023-08-10
CN116519268A (zh) 2023-08-01
GB202202036D0 (en) 2022-03-30
GB2614928A (en) 2023-07-26
GB2614928B (en) 2024-01-17

Similar Documents

Publication Publication Date Title
KR102628736B1 (ko) 딥 러닝 기반 카메라 교정
US20230334701A1 (en) Systems and methods for camera alignment using pre-distorted targets
KR20230037002A (ko) 머신 러닝 기반의 포인트 클라우드 정렬 분류
KR20230113097A (ko) 멀티 센서 이미징 시스템의 범용 센서 성능 및 교정 타겟
US20230160778A1 (en) Systems and methods for measurement of optical vignetting
KR20230042614A (ko) 교정 코스 및 타깃
US20220414930A1 (en) Geometric intrinsic camera calibration using diffractive optical element
US20230236432A1 (en) Correcting multi-zone motion blur
US20240046605A1 (en) Visibility determinations in physical space using evidential illumination values
US20230292021A1 (en) Optical metrology: repeatable qualitative analysis of flare and ghost artifacts in camera optical sytem
US20230403471A1 (en) Multiple position rolling shutter imaging device
KR20230112516A (ko) 차량에 장착된 이미지 센서의 성능 검증
KR20230020934A (ko) 효율적인 차량 크기 추정을 위한 시스템 및 방법
WO2024081246A1 (en) Aggregation of data representing geographical areas
KR20230113100A (ko) 광학 시스템에서의 보어사이트 오차 결정을 위한 방법 및 시스템
KR20230113101A (ko) 내부 교정을 사용한 광학 어셈블리의 능동 정렬
WO2024030531A1 (en) Pulsed-light optical imaging systems for autonomous vehicles
GB2611126A (en) Calibration courses and targets
WO2024081259A1 (en) Region of interest detection for image signal processing
WO2024044079A2 (en) Maintaining intrinsic calibration of cameras with in-body image stabilization systems
GB2619120A (en) Image based lidar-camera synchronization
GB2616684A (en) Light-based object localization
WO2024081118A1 (en) Color map layer for annotation
GB2617911A (en) Predicting and controlling object crossings on vehicle routes
KR20230110145A (ko) 아이트래커 디바이스 및 라이다 포인트 클라이드 데이터를 사용하는 목표 결정

Legal Events

Date Code Title Description
E902 Notification of reason for refusal