KR102665624B1 - 근접 감지 카메라 시스템 - Google Patents

근접 감지 카메라 시스템 Download PDF

Info

Publication number
KR102665624B1
KR102665624B1 KR1020227021850A KR20227021850A KR102665624B1 KR 102665624 B1 KR102665624 B1 KR 102665624B1 KR 1020227021850 A KR1020227021850 A KR 1020227021850A KR 20227021850 A KR20227021850 A KR 20227021850A KR 102665624 B1 KR102665624 B1 KR 102665624B1
Authority
KR
South Korea
Prior art keywords
vehicle
sensor
lidar
image sensor
view
Prior art date
Application number
KR1020227021850A
Other languages
English (en)
Other versions
KR20220102658A (ko
Inventor
킴벌리 토쓰
제레미 디트머
기울리아 구이디
피터 아브람
Original Assignee
웨이모 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 웨이모 엘엘씨 filed Critical 웨이모 엘엘씨
Publication of KR20220102658A publication Critical patent/KR20220102658A/ko
Application granted granted Critical
Publication of KR102665624B1 publication Critical patent/KR102665624B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0005—Devices preventing the lights from becoming dirty or damaged, e.g. protection grids or cleaning by air flow
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017—Devices integrating an element dedicated to another function
    • B60Q1/0023—Devices integrating an element dedicated to another function the element being a sensor, e.g. distance sensor, camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0029—Spatial arrangement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/56—Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

본 기술은 자율 주행 모드에서 동작하도록 구성되는 차량을 위한 외부 센서 시스템(232)에 관한 것이다. 본 기술은 차량 주위의 사각 지대들을 해결하기 위해 근접 감지(CIS) 카메라 시스템(1404)을 포함한다. CIS 시스템은 차량으로부터 몇 미터 이내의 객체들을 검출하는 데 사용된다(1808). 객체 분류에 기초하여, 시스템은 실시간 주행 결정들을 내릴 수 있다(1810, 1812). 라이다 센서들과 함께 카메라들을 채택함으로써 분류가 향상된다(700). 단일 센서 하우징에서의 다수의 센서들의 특정 배열 또한 객체 검출 및 분류에 중요하다. 따라서, 센서들 및 지지 컴포넌트들의 포지셔닝은 폐색을 피하고 다르게는 다양한 센서 하우징 요소들(712, 1414) 사이의 간섭을 방지하도록 선택된다.

Description

근접 감지 카메라 시스템
관련 출원들에 대한 상호 참조
본 출원은 2019년 12월 30일에 출원된 미국 가출원 번호 제62/954,930호의 출원일의 이익을 주장하는 2020년 1월 8일에 출원된 미국 특허 출원 번호 제16/737,263호의 계속 출원(continuation)이며, 그 전체 개시내용은 본 명세서에서 참조로 포함된다.
셀프-드라이빙(self-driving)(자율) 차량들은 일부 또는 모든 상황들에서 인간 운전자를 필요로 하지 않는다. 이러한 차량들은 하나의 위치로부터 다른 위치로 승객들 또는 화물을 운송할 수 있다. 이들은 완전 자율 모드 또는 사람이 일부 주행 입력을 제공할 수 있는 부분 자율 모드에서 동작할 수 있다. 자율 모드에서 동작하기 위해, 차량은 그 외부 환경에서 차량들 및 다른 객체들을 검출하기 위한 센서들을 채택할 수 있고, 센서들로부터 수신된 정보를 사용하여 다양한 주행 동작들을 수행할 수 있다. 그러나, 차량에 바로 인접한 객체들 및 센서의 시야들에 있는 폐색(occlusion)들은 주행 동작들에 부정적인 영향을 미칠 수 있다.
본 기술은 셀프-드라이빙(자율) 모드에서 동작하도록 구성되는 차량을 위한 외부 센서 시스템에 관한 것이다. 일반적으로, 센서들은 차량 주위의 환경에서 객체들을 검출하는 데 사용된다. 이들은 라이다, 레이더, 카메라들, 소나 및/또는 다른 센서들을 포함할 수 있다. 상이한 센서들은 다양한 이점들을 가지며, 다수의 센서들로부터의 센서 융합이 채택되어 환경의 보다 완전한 이해를 획득하여 차량이 주행 결정들을 내릴 수 있게 한다. 그러나, 차량의 사이즈, 형상 등 및 환경의 객체들에 따라, 주행 결정들 및 다른 자율 동작들에 영향을 미칠 수 있는 사각 지대들이 존재할 수 있다. 이들은 차량에 바로 인접한 사각 지대들을 포함한다. 이러한 이슈들은 통합 유닛에 상이한 타입들의 센서들을 코-로케이팅(co-locate)할 수 있는 센서 하우징들의 신중한 선택 및 포지셔닝에 의해 상당히 완화될 수 있다. 이것은 라이다 센서와 통합된 근접 카메라 시스템(close-in camera system), 레이더 및/또는 다른 센서들과 코-로케이팅된 주변 뷰 카메라들 등을 포함할 수 있다.
일 양태에 따르면, 자율 주행 모드(autonomous driving mode)에서 동작하도록 구성되는 차량을 위한 외부 감지 시스템이 제공된다. 외부 감지 시스템은 라이다 센서, 이미지 센서 및 제어 시스템을 포함한다. 라이다 센서는 차량의 임계 거리 내에서 적어도 차량 주위의 외부 환경의 주어진 영역에서 객체들을 검출하도록 구성되는 시야를 갖는다. 이미지 센서는 라이다 센서에 인접하게 배치되고 차량의 임계 거리 내에서 외부 환경의 영역의 중첩되는 시야를 갖도록 차량을 따라 배열된다. 이미지 센서는 임계 거리 내의 객체들에 대해 선택된 해상도를 제공하도록 구성된다. 제어 시스템은 이미지 센서 및 라이다 센서에 동작 가능하게 커플링된다. 제어 시스템은 하나 이상의 프로세서를 포함하고, 하나 이상의 프로세서는 차량의 임계 거리 내의 영역에서 라이다 데이터를 획득하기 위해 라이다 센서의 동작을 개시하고, 차량이 주행 액션을 수행하기 전에 이미지 센서에 의해 이미지 캡처를 개시하고, 라이다 센서로부터 라이다 데이터를 그리고 이미지 센서로부터 캡처된 이미저리(imagery)를 수신하도록 구성된다. 제어 시스템은 라이다 데이터의 프로세싱을 수행하여 차량의 임계 거리 내의 영역에서 객체를 검출하고, 캡처된 이미저리의 프로세싱을 수행하여 검출된 객체를 분류하도록 추가로 구성된다. 제어 시스템은 또한 검출된 객체의 분류에 기초하여 차량의 하나 이상의 시스템으로 하여금 주행 액션을 수행하게 할지 여부를 결정하도록 구성된다. 검출된 객체의 분류는 검출된 객체의 사이즈, 근접도 또는 방위(orientation) 중 적어도 하나의 것의 결정을 포함할 수 있다.
이미지 센서는 검출된 객체에 의해 차지되는 최소 임계 부피를 관찰하도록 구성될 수 있다. 예를 들어, 최소 임계 부피는 검출된 객체를 둘러싸는 3D 형상의 적어도 50%일 수 있다. 이미지 센서는 라이다 센서로부터 0.3미터 이하에 배치될 수 있다. 이미지 센서 및 라이다 센서는 차량의 외부 표면에 배열되는 것과 동일한 센서 하우징 내에 배치될 수 있다. 임계 거리는 차량으로부터 3미터 이하일 수 있다. 이미지 센서의 렌즈는 소수성 코팅을 포함할 수 있다.
하나의 시나리오에서, 이미지 센서는 근거리 감지 카메라 시스템(close sensing camera system)의 일부이다. 여기서, 근거리 감지 카메라 시스템은 이미지 센서의 시야를 조명하도록 구성되는, 적외선 조명기와 같은, 적어도 하나의 조명기를 포함한다. 적어도 하나의 조명기는 이미지 센서의 측면에 인접하게 배열될 수 있다. 적어도 하나의 조명기는 대안적으로 이미지 센서 위에 배열될 수 있다. 적어도 하나의 조명기는 이미지 센서의 대향하는 측면들에 배열되는 조명기들의 쌍을 포함할 수 있다. 근거리 감지 카메라 시스템은 이미지 센서 및/또는 적어도 하나의 조명기를 세정(clean)하도록 구성되는 적어도 하나의 세정 메커니즘(cleaning mechanism)을 추가로 포함할 수 있다. 일 예에서, 이미지 센서는 라이다 센서 아래에 수직으로 정렬된다. 다른 예에서, 이미지 센서는 라이다 센서 위에 수직으로 정렬된다.
다른 양태에 따르면, 차량이 자율 주행 모드에서 동작하도록 구성된다. 차량은 주행 시스템 및 외부 감지 시스템을 포함한다. 주행 시스템은 차량의 제동(braking)을 제어하도록 구성되는 감속 시스템; 차량의 가속을 제어하도록 구성되는 가속 시스템; 및 휠 방위 및 차량의 방향을 제어하도록 구성되는 스티어링 시스템을 포함한다. 외부 감지 시스템은 라이다 센서, 이미지 센서 및 제어 시스템을 포함한다. 라이다 센서는 차량의 임계 거리 내에서 적어도 차량 주위의 외부 환경의 영역에서 객체들을 검출하도록 구성되는 시야를 갖는다. 이미지 센서는 라이다 센서에 인접하게 배치되고 차량의 임계 거리 내에서 외부 환경의 영역의 중첩되는 시야를 갖도록 차량을 따라 배열된다. 이미지 센서는 임계 거리 내의 객체들에 대해 선택된 해상도를 제공한다. 제어 시스템은 이미지 센서 및 라이다 센서에 동작 가능하게 커플링된다. 제어 시스템은 하나 이상의 프로세서를 포함하고, 하나 이상의 프로세서는 차량의 임계 거리 내의 영역에서 라이다 데이터를 획득하기 위해 라이다 센서의 동작을 개시하고, 주행 시스템이 주행 액션을 수행하기 전에 이미지 센서에 의해 이미지 캡처를 개시하고, 라이다 센서로부터 라이다 데이터를 그리고 이미지 센서로부터 캡처된 이미저리를 수신하도록 구성된다. 이것은 또한 라이다 데이터의 프로세싱을 수행하여 차량의 임계 거리 내의 영역에서 객체를 검출하고, 캡처된 이미저리의 프로세싱을 수행하여 검출된 객체를 분류하도록 구성된다. 따라서, 제어 시스템은 검출된 객체의 분류에 기초하여 차량의 하나 이상의 시스템으로 하여금 주행 액션을 수행하게 할지 여부를 결정할 수 있다.
이미지 센서는 검출된 객체에 의해 차지되는 최소 임계 부피를 관찰하도록 구성될 수 있다. 이미지 센서는 라이다 센서로부터 0.3미터 이하에 배치될 수 있다. 이미지 센서 및 라이다 센서는 차량의 외부 표면에 배열되는 것과 동일한 센서 하우징 내에 배치될 수 있다.
추가 양태에 따르면, 방법은, 자율 주행 모드에서 동작하도록 구성되는 차량의 제어 시스템에 의해, 차량 주위의 영역에서 임계 거리 내의 라이다 데이터를 획득하기 위해 차량의 인지 시스템(perception system)의 라이다 센서의 동작을 개시하는 단계; 제어 시스템에 의해, 차량이 주행 액션을 수행하기 전에 인지 시스템의 이미지 센서에 의해 이미지 캡처를 개시하는 단계 - 이미지 센서는 라이다 센서에 인접하게 배치되고 임계 거리 내에서 차량 주위의 영역의 중첩되는 시야를 갖도록 차량을 따라 배열되고, 이미지 센서는 임계 거리 내의 객체들에 대해 선택된 해상도를 제공함 -; 제어 시스템에 의해, 라이다 센서로부터 라이다 데이터를 그리고 이미지 센서로부터 캡처된 이미저리를 수신하는 단계; 제어 시스템에 의해, 라이다 데이터를 프로세싱하여 차량의 임계 거리 내의 영역에서 객체를 검출하는 단계; 제어 시스템에 의해, 캡처된 이미저리를 프로세싱하여 검출된 객체를 분류하는 단계; 및 제어 시스템에 의해, 검출된 객체의 분류에 기초하여 차량의 하나 이상의 시스템으로 하여금 주행 액션을 수행하게 할지 여부를 결정하는 단계를 포함한다. 검출된 객체의 분류는 검출된 객체의 사이즈, 근접도 또는 방위 중 적어도 하나의 것의 결정을 포함할 수 있다.
도 1a 및 도 1b는 본 기술의 양태들과 함께 사용하도록 구성되는 예시적인 차량을 예시한다.
도 1c는 본 기술의 양태들과 함께 사용하도록 구성되는 다른 예시적인 차량을 예시한다.
도 1d 및 도 1e는 본 기술의 양태들과 함께 사용하도록 구성되는 예시적인 화물 차량을 예시한다.
도 2a는 본 기술의 양태들에 따른 예시적인 차량의 시스템들의 블록도이다.
도 2b 및 도 2c는 본 기술의 양태들에 따른 예시적인 화물-타입 차량의 시스템들의 블록도들이다.
도 3은 본 개시내용의 양태들에 따른 차량 주위의 영역들의 예들을 예시한다.
도 4는 본 개시내용의 양태들에 따른 예시적인 센서 시야들을 예시한다.
도 5는 본 개시내용의 양태들에 따른 예시적인 주변 카메라 시야들을 예시한다.
도 6a 내지 도 6c는 본 개시내용의 양태들에 따른 주변 카메라들 및 적외선 조명기들의 예시적인 배열들을 예시한다.
도 7a 내지 도 7f는 본 개시내용의 양태들에 따른 예시적인 주변 센서 하우징 어셈블리를 예시한다.
도 8은 본 개시내용의 양태들에 따른 폐색들을 최소화하기 위한 예시적인 센서 배열을 예시한다.
도 9는 본 개시내용의 양태들에 따른 주변 센서 시야들의 예를 예시한다.
도 10은 본 기술의 양태들에 따른 예시적인 폐색 시나리오를 예시한다.
도 11a 내지 도 11c는 본 개시내용의 양태들에 따른 예시적인 주변 센서 하우징 어셈블리를 예시한다.
도 12는 본 개시내용의 양태들에 따른 폐색들을 최소화하기 위한 예시적인 센서 배열을 예시한다.
도 13은 본 개시내용의 양태들에 따른 주변 센서 시야들의 예를 예시한다.
도 14a 내지 도 14e는 본 개시내용의 양태들에 따른 다른 예시적인 주변 센서 하우징 어셈블리를 예시한다.
도 15는 도 14a 내지 도 14e의 주변 센서 하우징 어셈블리의 변형을 예시한다.
도 16a 내지 도 16e는 본 개시내용의 양태들에 따른 또 다른 예시적인 주변 센서 하우징 어셈블리를 예시한다.
도 17은 도 16a 내지 도 16e의 주변 센서 하우징 어셈블리의 변형을 예시한다.
도 18은 본 개시내용의 양태들에 따른 동작의 방법을 예시한다.
본 기술의 양태들은 차량 주위의 사각 지대들을 해결하기 위해 근접 감지(close-in sensing)(CIS) 카메라 시스템을 포함한다. CIS 시스템은 차량의 몇 미터(예를 들어, 3미터 미만) 내에서 검출된 객체들의 분류를 돕는 데 사용된다. 객체 분류에 기초하여, 시스템은 "주행 가능"할 수 있는 객체들(차량이 지나갈 수 있는 것)과 "주행 가능하지 않을" 수 있는 객체들을 구별할 수 있다. 예를 들어, 주행 가능한 객체는 초목, 나뭇잎 더미, 종이 또는 비닐 봉지 등이 될 수 있는 반면, 주행 가능하지 않은 객체들은 피해야 하거나(예를 들어, 보행자들, 자전거 타는 사람들, 애완 동물들 등) 또는 지나갈 경우 차량을 손상시킬 수 있는(예를 들어, 높은 연석들, 깨진 유리, 깊은 포트홀(pothole)들, 소화전 등) 해당 타입들의 객체들을 포함할 것이다. 하나의 시나리오에서, 라이다 센서들과 함께 카메라들을 채택함으로써 분류가 향상된다. 이것은 사람이 차량 옆에 있는지 여부를 결정하려고 시도할 때 매우 중요할 수 있다. 카메라들은 각각 하나 이상의 이미지 센서를 포함할 수 있다. 이미지 센서들은 CMOS 센서들일 수 있지만, CCD 또는 다른 타입들의 이미징 요소들이 채택될 수 있다.
본 기술의 다른 양태들은 단일 센서 하우징 내의 다수의 센서들의 배열들 및 구성들에 관한 것이다. 아래에서 더 논의되는 바와 같이, 예를 들어, 센서 융합을 돕기 위해 동일한 하우징에 상이한 센서 타입들을 코-로케이팅하는 이점들이 있다. 그러나, 센서들의 포지셔닝은, 예를 들어, 하나의 센서가 다른 센서에 의해 폐색되는 것을 피하고/피하거나, 센서들 사이의 캘리브레이션이 더 정확하도록 보장하고/하거나, 다르게는 센서들 사이의 간섭을 방지하기 위해 매우 중요할 수 있다. 예를 들어, 적외선(IR) 또는 광학 조명기와 같은 조명기는 그 광이 카메라, 예를 들어, IR 광에 민감한 카메라의 렌즈에 직접 비추어지는 것을 피하도록 배열되어야 한다.
예시적인 차량 시스템들
도 1a는 미니밴, 세단 또는 스포츠 유틸리티 차량과 같은 승용차(passenger vehicle)(100)의 사시도를 예시한다. 도 1b는 승용차(100)의 평면도를 예시한다. 승용차(100)는 차량의 외부 환경에 대한 정보를 획득하기 위한 다양한 센서들을 포함할 수 있다. 예를 들어, 루프 탑 하우징(102)은 라이다 센서뿐만 아니라 다양한 카메라들, 레이더 유닛들, 적외선 및/또는 음향 센서들을 포함할 수 있다. 차량(100)의 전방 단부에 위치되는 하우징(104) 및 차량의 운전자 및 승객 측들에 있는 하우징들(106a, 106b)은 각각 라이다 및/또는 다른 센서들을 포함할 수 있다. 예를 들어, 하우징(106a)은 차량의 쿼터 패널을 따라 운전자 측의 도어의 전방에 위치될 수 있다. 도시된 바와 같이, 승용차(100)는 또한 차량의 후방 루프 부분을 향해 또한 위치되는 레이더 유닛들, 라이다 및/또는 카메라들을 위한 하우징들(108a, 108b)을 포함한다. 다른 하우징들(110a, 110b)은 후방 쿼터 패널들을 따라, 예를 들어, 후방 휠들의 위 및 뒤에 위치될 수 있다.
추가적인 라이다, 레이더 유닛들 및/또는 카메라들(도시 생략)이 차량(100)을 따라 다른 장소들에 위치될 수 있다. 예를 들어, 화살표(112)는 센서 유닛(도 1b의 112)이 차량(100)의 후방을 따라, 예를 들어, 범퍼 또는 트렁크 도어/리드(lid) 상에 또는 이에 인접하게 포지셔닝될 수 있음을 나타낸다. 그리고, 화살표(114)는 차량의 앞쪽을 향하는(forward-facing) 방향을 따라 배열되는 일련의 센서 유닛들(116)을 나타낸다. 별도로 도시되어 있지만, 일 예에서, 센서 유닛들(116)은 루프 탑 하우징(102)의 전방을 향하는(front-facing) 섹션에 통합될 수 있다. 일부 예들에서, 승용차(100)는 또한 차량의 내부 공간들에 대한 정보를 획득하기 위한 다양한 센서들을 포함할 수 있다. 내부 센서(들)는 카메라 센서, 청각 센서 및 적외선 센서 중 적어도 하나를 포함할 수 있다.
차량 타입 및 구성에 따라, 차량 주위에 더 많거나 또는 더 적은 수의 센서 하우징들이 배치될 수 있다. 예를 들어, 도 1c의 예시적인 차량(150)에 도시된 바와 같이, 차량(100)과 유사하게, 루프 탑 센서 하우징(152), 전방 센서 하우징(154), 전방 쿼터 패널들을 따른 측면 하우징들(156a 및 156b), 후방 쿼터 패널들을 따른 측면 하우징들(158), 및 화살표(160)에 의해 표시된 후방 센서 하우징이 있을 수 있다. 본 개시내용의 특정 양태들은 특정 타입들의 차량들과 관련하여 특히 유용할 수 있지만, 차량은 자동차들, 트럭들, 오토바이들, 버스들, 레저용 차량들 등을 포함하되, 이에 제한되지 않는 임의의 타입의 차량일 수 있다.
도 1d 및 도 1e는 트랙터-트레일러 트럭과 같은 예시적인 화물 차량(170)을 예시한다. 트럭은, 예를 들어, 단일, 이중 또는 삼중 트레일러를 포함할 수도 있고, 또는 상업용 중량 등급들 4 내지 8과 같은 다른 중형 또는 대형 듀티 트럭일 수도 있다. 도시된 바와 같이, 트럭은 트랙터 유닛(172) 및 단일 화물 유닛 또는 트레일러(174)를 포함한다. 트레일러(174)는 운송될 화물의 타입에 따라 완전히 밀폐되거나, 플랫 베드와 같이 개방되거나, 또는 부분적으로 개방될 수 있다. 이 예에서, 트랙터 유닛(172)은 엔진 및 스티어링 시스템들(도시 생략) 및 운전자 및 임의의 승객들을 위한 캡(176)을 포함한다.
트레일러(174)는 킹핀(kingpin)(178)으로서 알려진 히칭 포인트(hitching point)를 포함한다. 킹핀(178)은 통상적으로 트랙터 유닛(172)에 피봇식으로 부착되도록 구성되는 단단한 강철 샤프트로서 형성된다. 특히, 킹핀(178)은 캡의 후방쪽으로 마운팅되는, 피프스-휠(fifth-wheel)로서 알려진, 트레일러 커플링(180)에 부착된다. 이중 또는 삼중 트랙터-트레일러의 경우, 제2 및/또는 제3 트레일러들은 선두 트레일러에 대한 간단한 히치 연결부들을 가질 수 있다. 또는, 대안적으로, 각각의 트레일러는 그 자신의 킹핀을 가질 수 있다. 이 경우에, 적어도 제1 및 제2 트레일러들은 다음 트레일러에 커플링되도록 배열되는 피프스-휠 타입 구조물을 포함할 수 있다.
도시된 바와 같이, 트랙터는 이를 따라 배치되는 하나 이상의 센서 유닛(182, 184 및/또는 186)을 가질 수 있다. 예를 들어, 하나 이상의 센서 유닛(182)은 캡(176)의 루프 또는 상부 부분에 배치될 수 있고, 하나 이상의 측면 센서 유닛(184)은 캡(176)의 좌측면 및/또는 우측면에 배치될 수 있다. 센서 유닛들은 또한 캡(176)의 다른 영역들을 따라, 예를 들어, 전방 범퍼 또는 후드 영역을 따라, 캡의 후방에, 피프스-휠에 인접하게, 섀시 아래 등에 위치될 수 있다. 트레일러(174)는 또한 이를 따라, 예를 들어, 트레일러(174)의 측면 패널, 전방, 후방, 루프 및/또는 차대(undercarriage)를 따라 배치되는 하나 이상의 센서 유닛(186)을 가질 수 있다.
도 1a 및 도 1b의 승용차의 센서 유닛들에서와 같이, 화물 차량의 각각의 센서 유닛은 라이다, 레이더, 카메라(예를 들어, 광학 또는 적외선), 음향(예를 들어, 마이크로폰 또는 소나-타입 센서), 관성(예를 들어, 가속도계, 자이로스코프 등) 또는 다른 센서들(예를 들어, GPS 센서들과 같은 포지셔닝 센서들)과 같은 하나 이상의 센서를 포함할 수 있다. 본 개시내용의 특정 양태들은 특정 타입들의 차량들과 관련하여 특히 유용할 수 있지만, 차량은 자동차들, 트럭들, 오토바이들, 버스들, 레저용 차량들 등을 포함하되, 이에 제한되지 않는 임의의 타입의 차량일 수 있다.
도 2a는 완전 또는 반-자율 동작 모드에서 동작하도록 구성되는, 차량들(100 및 150)과 같은, 예시적인 차량들의 다양한 컴포넌트들 및 시스템들을 갖는 블록도(200)를 예시한다. 예를 들어, 부분 또는 완전 자율 주행 모드에서 동작하는 차량에 대해 발생할 수 있는 상이한 정도들의 자율성(autonomy)이 있다. 미국 도로 교통 안전국(National Highway Traffic Safety Administration) 및 자동차 엔지니어 협회(Society of Automotive Engineers)는 차량이 주행을 얼마나 제어하는지 또는 얼마나 적게 제어하는지를 나타내기 위한 상이한 레벨들을 식별하였다. 예를 들어, 레벨 0은 자동화가 없으며, 운전자가 모든 주행-관련 결정들을 내린다. 가장 낮은 반-자율 모드인 레벨 1은 크루즈 제어와 같은 일부 주행 어시스턴스를 포함한다. 레벨 2는 특정 주행 동작들의 부분 자동화를 갖는 반면, 레벨 3은 운전석에 앉은 사람이 보증된 대로 제어할 수 있도록 할 수 있는 조건부 자동화를 포함한다. 대조적으로, 레벨 4는 선택 조건들에서 차량이 어시스턴스 없이 주행할 수 있는 높은 자동화 레벨이다. 그리고, 레벨 5는 차량이 모든 상황들에서 어시스턴스 없이 주행할 수 있는 완전 자율 모드이다. 본 명세서에서 설명되는 아키텍처들, 컴포넌트들, 시스템들 및 방법들은 반 또는 완전-자율 모드들, 예를 들어, 본 명세서에서 "자율(autonomous)" 주행 모드들로서 지칭되는 레벨들 1-5 중 임의의 것에서 기능할 수 있다. 따라서, 자율 주행 모드에 대한 참조는 부분 및 완전 자율 둘 다를 포함한다.
도 2에 예시된 바와 같이, 블록도(200)는 하나 이상의 프로세서(204), 메모리(206) 및 범용 컴퓨팅 디바이스들에 통상적으로 존재하는 다른 컴포넌트들을 포함하는 컴퓨팅 디바이스들과 같은 하나 이상의 컴퓨팅 디바이스(202)를 포함한다. 메모리(206)는 프로세서(들)(204)에 의해 실행되거나 또는 다른 방식으로 사용될 수 있는 명령어들(208) 및 데이터(210)를 포함하여 하나 이상의 프로세서(204)에 의해 액세스 가능한 정보를 저장한다. 컴퓨팅 시스템은, 자율 모드에서 동작할 때, 차량의 전반적인 동작을 제어할 수 있다.
메모리(206)는 프로세서(204)에 의해 실행되거나 또는 다른 방식으로 사용될 수 있는 명령어들(208) 및 데이터(210)를 포함하여 프로세서들(204)에 의해 액세스 가능한 정보를 저장한다. 메모리(206)는 컴퓨팅 디바이스 판독가능 매체를 포함하여 프로세서에 의해 액세스 가능한 정보를 저장할 수 있는 임의의 타입의 것일 수 있다. 메모리는 하드-드라이브, 메모리 카드, 광학 디스크, 솔리드-스테이트 등과 같은 비-일시적 매체이다. 시스템들은 전술한 것들의 상이한 조합들을 포함할 수 있으며, 이에 의해 명령어들 및 데이터의 상이한 부분들이 상이한 타입들의 매체들에 저장된다.
명령어들(208)은 프로세서에 의해 직접적으로(예를 들어, 머신 코드) 또는 간접적으로(예를 들어, 스크립트들) 실행될 명령어들의 임의의 세트일 수 있다. 예를 들어, 명령어들은 컴퓨팅 디바이스 판독가능 매체에 컴퓨팅 디바이스 코드로서 저장될 수 있다. 이와 관련하여, "명령어들", "모듈들" 및 "프로그램들"이라는 용어들은 본 명세서에서 상호교환 가능하게 사용될 수 있다. 데이터(210)는 명령어들(208)에 따라 하나 이상의 프로세서(304)에 의해 리트리브, 저장 또는 수정될 수 있다. 일 예에서, 메모리(206)의 일부 또는 전부는 차량 진단(vehicle diagnostics), 검출된 센서 데이터 및/또는 객체 검출 및 분류와 함께 사용되는 하나 이상의 행동/분류 모델을 저장하도록 구성되는 이벤트 데이터 레코더 또는 다른 보안 데이터 스토리지 시스템일 수 있으며, 이는 구현에 따라 차량에 온보드될 수도 있고 또는 원격일 수도 있다. 예를 들어, 모델들은 객체가 차량에 인접한 사람(예를 들어, 보행자), 자전거, 공 또는 건설 표지판인지 여부를 분류하는 데 사용될 수 있다. 분류에 기초하여, 시스템은 해당 객체에 대한 행동을 예측 또는 할당할 수 있고, 주행-관련 결정을 내릴 때 분류/행동을 사용할 수 있다. 이것은, 예를 들어, 차량 옆에 있는 보행자에게 차량이 동작 중이고 주차 공간에서 나갈 계획을 하고 있음을 알리는 것을 포함할 수 있다.
프로세서들(204)은 상업적으로 이용가능한 CPU들과 같은 임의의 종래의 프로세서들일 수 있다. 대안적으로, 각각의 프로세서는 ASIC 또는 다른 하드웨어-기반 프로세서와 같은 전용 디바이스일 수 있다. 도 2는 프로세서들, 메모리, 및 컴퓨팅 디바이스들(202)의 다른 요소들이 동일한 블록 내에 있는 것으로 기능적으로 예시하지만, 이러한 디바이스들은 실제로 동일한 물리적 하우징 내에 수용될 수도 수용되지 않을 수도 있는 다수의 프로세서들, 컴퓨팅 디바이스들, 또는 메모리들을 포함할 수 있다. 유사하게, 메모리(206)는 프로세서(들)(204)의 것과 상이한 하우징에 위치되는 하드 드라이브 또는 다른 저장 매체들일 수 있다. 따라서, 프로세서 또는 컴퓨팅 디바이스에 대한 참조들은 병렬로 동작할 수도 또는 동작하지 않을 수도 있는 프로세서들 또는 컴퓨텅 디바이스들 또는 메모리들의 모음에 대한 참조들을 포함하는 것으로 이해될 것이다.
일 예에서, 컴퓨팅 디바이스들(202)은 차량에 통합되는 자율 주행 컴퓨팅 시스템을 형성할 수 있다. 자율 주행 컴퓨팅 시스템은 차량의 다양한 컴포넌트들과 통신할 수 있다. 예를 들어, 컴퓨팅 디바이스들(202)은 (차량의 제동을 제어하기 위한) 감속 시스템(212), (차량의 가속을 제어하기 위한) 가속 시스템(214), (휠들의 방위 및 차량의 방향을 제어하기 위한) 스티어링 시스템(216), (턴 시그널(turn signal)들을 제어하기 위한) 시그널링 시스템(218), (소정의 위치 또는 객체들 주위로 차량을 내비게이션하기 위한) 내비게이션 시스템(220) 및 (차량의 포지션을 결정하기 위한) 포지셔닝 시스템(222)을 포함하는 주행 시스템을 포함하여 차량의 다양한 시스템들과 통신할 수 있다. 자율 주행 컴퓨팅 시스템은, 예를 들어, 출발점으로부터 목적지까지의 루트를 결정하기 위해 내비게이션 시스템(220) 및 포지셔닝 시스템(222)에 따라 부분적으로 플래너(planner)로서 동작할 수 있다.
컴퓨팅 디바이스들(202)은 또한 차량의 승객으로부터 연속적 또는 주기적 입력을 요구하거나 또는 필요로 하지 않는 자율 주행 모드에서 메모리(206)의 명령어들(208)에 따라 차량의 이동, 속도 등을 제어하기 위해 (차량의 환경에서 객체들을 검출하기 위한) 인지 시스템(224), 전력 시스템(226)(예를 들어, 배터리 및/또는 가스 또는 디젤 동력 엔진) 및 송신 시스템(230)에 동작 가능하게 커플링된다. 휠들/타이어들(228)의 일부 또는 전부는 송신 시스템(230)에 커플링되고, 컴퓨팅 디바이스들(202)은 타이어 압력, 밸런스 및 자율 모드에서 주행에 영향을 미칠 수 있는 다른 팩터들에 대한 정보를 수신할 수 있다. 전력 시스템(226)은 하나 이상의 전력 분배 요소를 가질 수 있으며, 이들 각각은 선택된 컴포넌트들 및 차량의 다른 시스템들에 전력을 공급할 수 있다.
컴퓨팅 디바이스들(202)은 다양한 컴포넌트들을 제어함으로써 차량의 방향 및 속도를 제어할 수 있다. 예를 들어, 컴퓨팅 디바이스들(202)은 맵 정보 및 내비게이션 시스템(220)으로부터의 데이터를 사용하여 완전히 자율적으로 차량을 목적지 위치로 내비게이션할 수 있다. 컴퓨팅 디바이스들(202)은 포지셔닝 시스템(222)을 사용하여 차량의 위치를 결정하고, 인지 시스템(224)을 사용하여 객체들을 검출하고 위치에 안전하게 도달하기 위해 필요할 때 객체들에 반응할 수 있다. 그렇게 하기 위해, 컴퓨팅 디바이스들(202)은 차량으로 하여금 (예를 들어, 가속 시스템(214)에 의해 엔진에 제공되는 연료 또는 다른 에너지를 증가시킴으로써) 가속되게 하고, (예를 들어, 감속 시스템(212)에 의해 엔진에 공급되는 연료를 감소시키고, 및/또는 기어들을 변경하고, 및/또는 브레이크들을 적용함으로써) 감속되게 하고, (예를 들어, 스티어링 시스템(216)에 의해 차량의 전방 또는 다른 휠들을 턴함으로써) 방향을 변경하게 하고, (예를 들어, 시그널링 시스템(218)의 턴 시그널들을 켬으로써) 이러한 변경들을 시그널링하게 할 수 있다. 따라서, 가속 시스템(214) 및 감속 시스템(212)은 차량의 엔진과 차량의 휠들 사이에 다양한 컴포넌트들을 포함하는 구동계 또는 다른 타입의 송신 시스템(230)의 일부일 수 있다. 다시 말하자면, 이러한 시스템들을 제어함으로써, 컴퓨팅 디바이스들(202)은 차량을 자율적으로 조종하기 위해 차량의 송신 시스템(230)을 제어할 수도 있다.
내비게이션 시스템(220)은 소정의 위치에 대한 루트를 결정하고 따르기 위해 컴퓨팅 디바이스들(202)에 의해 사용될 수 있다. 이와 관련하여, 내비게이션 시스템(220) 및/또는 메모리(206)는 맵 정보, 예를 들어, 컴퓨팅 디바이스들(202)이 차량을 내비게이션 또는 제어하기 위해 사용할 수 있는 매우 상세한 맵들을 저장할 수 있다. 예로서, 이러한 맵들은 도로들, 레인 마커(lane marker)들, 교차로들, 횡단보도들, 속도 제한들, 교통 신호등들, 건물들, 표지판들, 실시간 교통 정보, 초목, 또는 다른 이러한 객체들 및 정보의 형상 및 고도를 식별할 수 있다. 레인 마커들은 실선 또는 이중 파선 또는 단일 레인 라인들, 실선 또는 파선 레인 라인들, 반사경(reflector)들 등과 같은 피처들을 포함할 수 있다. 주어진 레인은 좌측 및/또는 우측 레인 라인들 또는 레인의 경계를 정의하는 다른 레인 마커들과 연관될 수 있다. 따라서, 대부분의 레인들은 한 레인 라인의 좌측 에지와 다른 레인 라인의 우측 에지에 의해 경계가 지정될 수 있다.
인지 시스템(224)은 차량 외부의 객체들을 검출하기 위한 센서 유닛들을 포함한다. 검출된 객체들은 다른 차량들, 도로의 장애물들, 교통 신호들, 표지판들, 나무들, 보행자들, 자전거 타는 사람들 등일 수 있다. 아래에서 더 논의되는 바와 같이, 외부 센서 제품군(exterior sensor suite)(232)은 다양한 하우징들을 포함하며, 이들 각각은 차량 외부 환경에서 객체들 및 조건들을 검출하기 위한 하나 이상의 센서를 갖는다. 그리고, 내부 센서 제품군(interior sensor suite)(234)은 승객들, 승객 컴파트먼트(passenger compartment)의 애완동물들 및 패키지들, 트렁크 영역의 패키지들 또는 다른 화물 등과 같이 차량 내의 객체들 및 조건들을 검출하기 위한 하나 이상의 다른 센서를 채택할 수 있다. 외부 센서 제품군(232) 및 내부 센서 제품군(234) 둘 다에 대해, 다양한 환경 조건들에서 객체 검출을 제공할 뿐만 아니라 검출된 객체들의 신속한 분류를 가능하게 하기 위해 차량 주위에 상이한 센서들을 갖는 하우징들이 배치된다. 이것은 차량이 효과적인 실시간 주행 결정들을 내리게 할 수 있다.
센서들로부터의 미가공(raw) 데이터 및 전술한 특성들은 인지 시스템(224)에 의해 프로세싱될 수 있고, 및/또는 인지 시스템(224)에 의해 데이터가 생성될 때, 추가 프로세싱을 위해 컴퓨팅 디바이스들(202)에 주기적으로 및 연속적으로 전송될 수 있다. 컴퓨팅 디바이스들(202)은 포지셔닝 시스템(222)을 사용하여 차량의 위치를 결정하고, 인지 시스템(224)을 사용하여 객체들을 검출하고 위치에 안전하게 도달하기 위해 필요할 때 객체들에 반응할 수 있다. 또한, 컴퓨팅 디바이스들(202)은 개별 센서들, 특정 센서 어셈블리(하우징)의 모든 센서들, 또는 상이한 센서 어셈블리들 또는 다른 물리적 하우징들의 센서들 사이의 캘리브레이션을 수행할 수 있다.
일 예에서, 외부 센서 하우징은 차량의 사이드-뷰 미러에 통합된 센서 타워로서 배열될 수 있다. 다른 예에서, 다른 센서들은 루프 탑 하우징(102 또는 152), 또는 도 1a 내지 도 1c에 예시된 다른 하우징들의 일부일 수 있다. 컴퓨팅 디바이스들(202)은 차량 상에 위치되거나 또는 다른 방식으로 차량을 따라 분포되는 센서 어셈블리들과 통신할 수 있다. 각각의 어셈블리는 위에서 설명된 것들과 같은 하나 이상의 타입의 센서를 가질 수 있다.
도 2로 돌아가서, 컴퓨팅 디바이스들(202)은 위에서 설명된 프로세서 및 메모리뿐만 아니라 사용자 인터페이스 서브시스템(236)과 같은 컴퓨팅 디바이스와 관련하여 일반적으로 사용되는 모든 컴포넌트들을 포함할 수 있다. 사용자 인터페이스 서브시스템(236)은 하나 이상의 사용자 입력(238)(예를 들어, 마우스, 키보드, 터치 스크린 및/또는 마이크로폰) 및 하나 이상의 디스플레이 디바이스(240)(예를 들어, 정보를 디스플레이하도록 동작 가능한 스크린 또는 임의의 다른 전기 디바이스를 갖는 모니터)를 포함할 수 있다. 이와 관련하여, 내부 전자 디스플레이는 차량의 캐빈(도시 생략) 내에 위치될 수 있고, 차량 내의 승객들에게 정보를 제공하기 위해 컴퓨팅 디바이스들(202)에 의해 사용될 수 있다. 스피커(들)(242)와 같은 다른 출력 디바이스들, 및 터치 스크린 또는 버튼들과 같은 입력 디바이스들(244)도 승용차 내에 위치될 수 있다.
차량은 또한 통신 시스템(246)을 포함한다. 예를 들어, 통신 시스템(246)은 또한 차량 내의 승객 컴퓨팅 디바이스들, 및 도로의 다른 근처 차량 또는 원격 서버 시스템에서와 같은 차량 외부의 컴퓨팅 디바이스들과 같은 다른 컴퓨팅 디바이스들과의 통신을 용이하게 하기 위해 하나 이상의 네트워크 연결을 포함할 수 있다. 네트워크 연결들은 BluetoothTM, BluetoothTM 저에너지(low energy)(LE), 셀룰러 연결들과 같은 단거리 통신 프로토콜들뿐만 아니라, 인터넷, 월드 와이드 웹(World Wide Web), 인트라넷들, 가상 사설 네트워크들, 광역 네트워크들, 로컬 네트워크들, 하나 이상의 회사 소유의 통신 프로토콜들을 사용하는 사설 네트워크들, 이더넷, WiFi 및 HTTP, 및 이들의 다양한 조합들을 포함하는 다양한 구성들 및 프로토콜들을 포함할 수 있다.
도 2b는 차량, 예를 들어, 도 1d 및 도 1e의 차량(170)의 다양한 컴포넌트들 및 시스템들을 갖는 블록도(250)를 예시한다. 예를 들어, 차량은 하나 이상의 부분 자율 동작 모드에서 동작하도록 구성되는 트럭, 농장 장비 또는 건설 장비일 수 있다. 블록도(250)에 도시된 바와 같이, 차량은 하나 이상의 프로세서(204') 및 차량 진단, 검출된 센서 데이터 및/또는 객체 검출 및 분류와 함께 사용되는 하나 이상의 행동/분류 모델과 같은 명령어들(208') 및 데이터(210')를 저장하는 메모리(206')를 포함하는 컴퓨팅 디바이스들(202')과 같은 위에서 설명된 것과 유사한 하나 이상의 컴퓨팅 디바이스의 제어 시스템을 포함한다. 이 예에서, 제어 시스템은 화물 차량의 트랙터 유닛의 전자 제어 유닛(electronic control unit)(ECU)을 구성할 수 있다.
일 예에서, 컴퓨팅 디바이스들은 차량(170)에 통합된 주행 컴퓨팅 시스템을 형성할 수 있다. 도 2a와 관련하여 위에서 논의된 배열과 유사하게, 블록도(250)의 주행 컴퓨팅 시스템은 주행 동작들을 수행하기 위해 차량의 다양한 컴포넌트들과 통신할 수 있다. 예를 들어, 컴퓨팅 디바이스들(202')은 감속 시스템(212'), 가속 시스템(214'), 스티어링 시스템(216'), 시그널링 시스템(218'), 내비게이션 시스템(220') 및 포지셔닝 시스템(222')을 포함하는 주행 시스템과 같은 차량의 다양한 시스템들과 통신할 수 있으며, 이들 각각은 도 2a와 관련하여 위에서 논의된 바와 같이 기능할 수 있다.
컴퓨팅 디바이스들(302)은 또한 인지 시스템(224'), 전력 시스템(226') 및 송신 시스템(230')에 동작 가능하게 커플링된다. 휠들/타이어들(228')의 일부 또는 전부는 송신 시스템(230')에 커플링되고, 컴퓨팅 디바이스들(202')은 타이어 압력, 밸런스, 회전 레이트 및 주행에 영향을 미칠 수 있는 다른 팩터들에 대한 정보를 수신할 수 있다. 컴퓨팅 디바이스들(202)에서와 같이, 컴퓨팅 디바이스들(202')은 다양한 컴포넌트들을 제어함으로써 차량의 방향 및 속도를 제어할 수 있다. 예를 들어, 컴퓨팅 디바이스들(202')은 맵 정보 및 내비게이션 시스템(220')으로부터의 데이터를 사용하여 목적지 위치까지 차량을 내비게이션하는 것을 도울 수 있다.
인지 시스템(224)과 유사하게, 인지 시스템(224')도 차량 외부의 객체들, 차량 내부의 객체들 또는 조건들, 및/또는 휠들 및 감속 시스템(212')과 같은 특정 차량 장비의 동작을 검출하기 위해 위에서 설명된 것들과 같은 하나 이상의 센서 또는 다른 컴포넌트들을 포함한다. 예를 들어, 도 2b에 나타낸 바와 같이, 인지 시스템(224')은 하나 이상의 센서 어셈블리(252)를 포함한다. 각각의 센서 어셈블리(252)는 하나 이상의 센서를 포함한다. 일 예에서, 센서 어셈블리들(252)은 트럭, 농장 장비, 건설 장비 등의 사이드-뷰 미러들에 통합된 센서 타워들로서 배열될 수 있다. 센서 어셈블리들(252)은 또한 도 1d 및 도 1e와 관련하여 위에서 언급된 바와 같이 트랙터 유닛(172) 또는 트레일러(174) 상의 상이한 위치들에 포지셔닝될 수 있다. 컴퓨팅 디바이스들(202')은 트랙터 유닛(172) 및 트레일러(174) 둘 다에 위치되는 센서 어셈블리들과 통신할 수 있다. 각각의 어셈블리는 위에서 설명된 것들과 같은 하나 이상의 타입의 센서들을 가질 수 있다.
트랙터 유닛과 트레일러 사이의 연결을 위한 커플링 시스템(254)이 또한 도 2b에 도시되어 있다. 커플링 시스템(254)은 하나 이상의 전력 및/또는 공압 연결부들(도시 생략), 및 트레일러의 킹핀에 연결하기 위한 트랙터 유닛의 피프스-휠(256)을 포함할 수 있다. 통신 시스템(246)과 동등한 통신 시스템(246')이 또한 차량 시스템(250)의 일부로서 도시되어 있다. 유사하게, 사용자 인터페이스(236)와 동등한 사용자 인터페이스(236')가 또한 차량의 운전자 및 임의의 승객들과의 상호작용을 위해 포함될 수 있다.
도 2c는 도 1d 및 도 1e의 트레일러(174)와 같은 트레일러의 시스템들의 예시적인 블록도(260)를 예시한다. 도시된 바와 같이, 시스템은 하나 이상의 프로세서(264), 메모리(266) 및 범용 컴퓨팅 디바이스들에 통상적으로 존재하는 다른 컴포넌트들을 포함하는 컴퓨팅 디바이스들과 같은 하나 이상의 컴퓨팅 디바이스의 ECU(262)를 포함한다. 메모리(266)는 프로세서(들)(264)에 의해 실행되거나 또는 다른 방식으로 사용될 수 있는 명령어들(268) 및 데이터(270)를 포함하여 하나 이상의 프로세서(264)에 의해 액세스 가능한 정보를 저장한다. 도 2a 및 도 2b로부터의 프로세서들, 메모리, 명령어들 및 데이터에 대한 설명들은 도 2c의 이러한 요소들에 적용된다.
ECU(262)는 트레일러 유닛으로부터 정보 및 제어 신호들을 수신하도록 구성된다. ECU(262)의 온-보드 프로세서들(264)은 감속 시스템(272), 시그널링 시스템(274), 및 포지셔닝 시스템(276)을 포함하는 트레일러의 다양한 시스템들과 통신할 수 있다. ECU(262)는 또한 트레일러 환경의 객체들을 검출하기 위한 하나 이상의 센서를 갖는 인지 시스템(278) 및 로컬 컴포넌트들에 전력을 제공하기 위한 전력 시스템(280)(예를 들어, 배터리 전력 공급기)에 동작가능하게 커플링될 수 있다. 트레일러의 휠들/타이어들(282)의 일부 또는 전부는 감속 시스템(272)에 커플링될 수 있고, 프로세서들(264)은 타이어 압력, 밸런스, 휠 속도 및 자율 모드에서 주행에 영향을 미칠 수 있는 다른 팩터들에 대한 정보를 수신하고, 해당 정보를 트랙터 유닛의 프로세싱 시스템에 중계할 수 있다. 감속 시스템(272), 시그널링 시스템(274), 포지셔닝 시스템(276), 인지 시스템(278), 전력 시스템(280) 및 휠들/타이어들(282)뿐만 아니라 센서 어셈블리들(284)은 도 2a 및 도 2b와 관련하여 위에서 설명된 것과 같은 방식으로 동작할 수 있다.
트레일러는 또한 랜딩 기어(286)의 세트뿐만 아니라 커플링 시스템(288)을 포함한다. 랜딩 기어는, 트랙터 유닛으로부터 디커플링될 때, 트레일러를 위한 지지 구조물을 제공한다. 커플링 시스템(254)의 일부일 수 있는 커플링 시스템(288)은 트레일러와 트랙터 유닛 사이의 연결을 제공한다. 따라서, 커플링 시스템(288)은 (예를 들어, 전력 및/또는 공압 링크들을 위한) 연결 섹션(290)을 포함할 수 있다. 커플링 시스템은 또한 트랙터 유닛의 피프스-휠과의 연결을 위해 구성되는 킹핀(292)을 포함한다.
예시적인 구현들
위에서 설명되고 도면들에 예시된 구조들 및 구성들의 관점에서, 이제 기술의 양태들에 따라 다양한 구현들이 설명될 것이다.
차량 주변의 환경은 상이한 사분면들 또는 영역들을 갖는 것으로 보일 수 있다. 일 예(300)가 도 3에 예시되어 있으며, 이는 전방, 후방, 우측 측면 및 좌측 측면 영역들뿐만 아니라 차량 주위의 전방 우측, 전방 좌측, 우측 후방 및 좌측 후방 영역들에 대한 인접 영역들을 도시한다. 이러한 영역들은 예시에 불과하다. 차량의 인지 시스템은 차량의 외부 환경에 있는 객체들에 대해 가능한 한 많은 정보를 제공하기 위해 차량 주위의 영역들 중 일부 또는 전체를 커버할 수 있다.
예를 들어, 다양한 센서들이 차량 주위의 상이한 장소들에 위치되어(도 1a 내지 도 1c 참조) 이러한 영역들 중 일부 또는 전부로부터 데이터를 수집할 수 있다. 예를 들어, 도 1의 3개의 센서(116)는 주로 차량 주위의 전방, 전방 좌측 및 전방 우측 영역들로부터 데이터를 수신할 수 있다. 대조적으로, 루프 탑 하우징(102)은 차량 주위에 360°시야(field of view)(FOV)를 제공하기 위해 다수의 카메라들 및/또는 회전하는 라이다 또는 레이더 센서들과 같은 다른 센서들을 포함할 수 있다.
특정 센서들은 차량 주위에서의 그들의 배치 및 그들이 수집하도록 설계되는 정보의 타입에 따라 상이한 시야들을 가질 수 있다. 예를 들어, 상이한 라이다 센서들은 차량에 인접한 객체들(예를 들어, 2-10미터 미만)의 근거리(단거리) 검출에 사용될 수 있는 반면, 다른 라이다 센서들은 차량 전방의 수백 미터(또는 그 이상 또는 그 이하)의 객체들의 원거리(장거리) 검출에 사용될 수 있다. 예를 들어, 차량으로부터 10-100미터 사이의 객체들을 검출하기 위해 중거리 라이다들도 채택될 수 있다. 단거리 또는 장거리 객체 검출을 위해 다수의 레이더 유닛들이 차량의 전방, 후방 및/또는 측면들을 향해 포지셔닝될 수 있다. 차량 주위에 대한 양호한 가시성을 제공하도록 카메라들이 배열될 수 있다. 구성에 따라, 특정 센서 하우징들은 중첩되는 시야들을 갖는 다수의 개별 센서들을 포함할 수 있다. 대안적으로, 다른 센서들은 중복된 360˚시야들을 제공할 수 있다.
도 4는 도 1a 및 도 1b에 예시된 센서들에 관한 센서 시야들의 일 예(400)를 제공한다. 여기서, 루프 탑 하우징(102)이 라이다 센서뿐만 아니라 다양한 카메라들, 레이더 유닛들, 적외선 및/또는 음향 센서들을 포함하는 경우, 해당 센서들 각각은 상이한 시야를 가질 수 있다. 따라서, 도시된 바와 같이, 라이다 센서는 360°FOV(402)를 제공할 수 있는 반면, 하우징(102) 내에 배열된 카메라들은, 예를 들어, 도 3에 도시된 바와 같이 차량 주위의 하나 이상의 영역을 커버하기 위해 개별 FOV들(404)을 가질 수 있다. 차량의 전방 단부에 있는 하우징(104) 내의 센서는 앞쪽을 향하는 FOV(406)를 갖는다. 차량의 운전자 및 승객 측들에 있는 하우징들(106a, 106b)은 각각 라이다, 레이더, 카메라 및/또는 다른 센서들을 통합할 수 있다. 예를 들어, 하우징들(106a 및 106b) 내의 라이다들은 개개의 FOV들(406a 및 406b)을 가질 수 있는 반면, 하우징들(106a 및 106b) 내의 레이더 유닛들, 카메라들 및/또는 다른 센서들은 개개의 FOV(407a 및 407b)를 가질 수 있다. 유사하게, 차량의 후방 루프 부분을 향해 위치되는 하우징들(108a, 108b) 내의 센서들도 각각 개개의 FOV를 갖는다. 예를 들어, 하우징들(108a 및 108b) 내의 라이다들은 개개의 FOV(408 및 408b)를 가질 수 있는 반면, 하우징들(108a 및 108b) 내의 레이더 유닛들, 카메라들 및/또는 다른 센서들은 개개의 FOV(409a 및 409b)를 가질 수 있다. 차량의 후방을 향하는 하우징들(110a 및 110b) 내의 센서들은 개개의 시야들(410a 및 410b)을 가질 수 있다. 후방 단부에 있는 하우징(112) 내의 센서들은 뒤쪽을 향하는(rearward facing) FOV(412)를 가질 수 있다. 그리고, 차량의 앞쪽을 향하는 방향을 따라 배열된 일련의 센서 유닛들(116)은 개개의 FOV들(414, 416 및 418)을 가질 수 있다. 이들 시야들 각각은 예시에 불과하며, 커버리지 범위의 측면에서 축척대로 도시되지 않는다. 하나 또는 2개의 FOV만이 주어진 센서 하우징과 연관되어 도시되어 있지만, 센서들의 수 및 그들의 구성에 따라, 더 많은(또는 더 적은) 시야들이 해당 센서 하우징과 연관될 수 있다.
아래에서 더 논의되는 바와 같이, 동일한 하우징에 상이한 타입들의 센서들을 코-로케이팅하면 향상된 객체 검출을 제공하고, 온보드 시스템이 검출된 객체들을 신속하게 분류하게 할 수 있다. 코-로케이팅된 센서들은 동일하거나 또는 실질적으로 중첩되는 시야들일 수도 있고, 또는 다르게는 상보적인 시야들을 제공할 수도 있다.
예시적인 시나리오들
카메라, 라이다, 레이더 및/또는 다른 센서 서브시스템들의 고도 및 방위는 차량 상의 다양한 하우징들의 배치뿐만 아니라 차량의 타입에 따라 다를 것이다. 예를 들어, 센서 하우징이 대형 SUV(예를 들어, 차량(100))의 루프 상에 또는 그 위에 마운팅되는 경우, 고도는 통상적으로 하우징이 세단 또는 스포츠카(예를 들어, 차량(150)의 루프 상에 마운팅될 때보다 더 높을 것이다. 또한, 배치 및 구조적 제한들로 인해 차량의 모든 영역들 주위에서 가시성이 동일하지 않을 수 있다. 차량 상의 배치를 변경함으로써, 각각의 하우징의 센서들에 대해 적절한 시야가 획득될 수 있다. 이것은 차량에 바로 인접한 객체들(예를 들어, 차량으로부터 1-2미터 내 또는 3미터 이하)뿐만 아니라 차량으로부터 멀리 떨어진 객체들을 검출하는 데 매우 중요할 수 있다. 주차 공간으로부터 빠져나오기 전에 바로 인근을 체크하고, 비보호 좌회전을 할지 여부를 결정하는 등과 같은 다양한 시나리오들에서 인접한 객체들 및 멀리 떨어진 객체들을 검출하기 위한 요구 사항들이 있을 수 있다.
근거리 감지 카메라 시스템
위의 관점에서, 기술의 양태들은 차량의 임계 거리 내에 있는 객체들에 대한 센서 제품군의 일부로서 근거리 감지 카메라 시스템을 제공한다. 이 카메라 시스템은 차량이 (이동 중이지 않을 때) 꼼짝도 못하는 것을 방지하거나 또는 셀프-드라이빙 시스템이 차량의 특정 거리 내에서 주행 가능한 객체와 주행 불가능한 객체를 구분할 수 없는 경우들에 서투르게 작동하는 것을 방지하도록 설계된다. 예를 들어, 근거리 감지 카메라 시스템은, 예를 들어, 차량으로부터 6-10미터 이하의 임계 거리 내에 있는 객체들에 대한 센서 정보를 제공하도록 구성된다. 일부 인스턴스들에서, 임계 거리는 차량으로부터 2-3미터 이하일 수 있다. 이 정보는 차량 옆에 서 있는 보행자들, 차량에 인접하게 주차된 자전거들 또는 오토바이들, 근처 인근에 있을 수 있는 공들, 건설 표지판들 또는 다른 객체들과 같은 객체들을 검출 및 분류하는 것을 돕는 데 사용된다.
사각 지대들을 최소화하고 객체들을 검출하기 위해 차량 주위에 라이다 센서들이 배열될 수 있다. 이러한 센서들은 객체들의 존재를 매우 잘 검출할 수 있다. 그러나, 라이다로부터의 센서 데이터(예를 들어, 라이다 포인트 클라우드) 자체는 셀프-드라이빙 시스템이 어떤 종류의 객체가 존재하는지를 결정하기에 충분하지 않을 수 있다. 어떤 타입의 객체가 근처에 있는지 불명확할 때, 차량은 차량 주위를 관찰하기 위해 몇 분을 대기하거나, 그것의 경적을 울리거나, 그것의 라이트들을 깜박이거나, 기타 등등을 수행하여 객체가 어떻게 반응하는지를 보거나, 또는 천천히 후진하거나 조금씩 앞으로 이동하여 주변의 더 선명한 그림을 획득하는 것과 같은 보수적인 행동을 채택할 수 있다. 그러나, 이것은 객체에 대한 추가적인 유용한 정보를 제공하지 않을 수 있으며, 승객들, 근처 보행자들 및 다른 도로 사용자들에게 짜증을 일으키거나 혼란을 야기할 수 있다.
따라서, 본 기술의 일 양태에 따르면, 하나 이상의 카메라가 단일 센서 하우징에 라이다 센서와 함께 배열되어 객체의 신속한 분류가 가능하도록 하여, 예를 들어, 이것이 보행자인지, 자전거인지 또는 트래픽 콘인지를 결정할 수 있다. 카메라 시야는 라이다 시야를 포함할 수 있으며, 특정 예들에서는, 이보다 더 클 수 있다. 이것은 하나의 카메라 또는 상보적이거나 또는 다른 방식으로 중첩되는 시야들을 갖는 다수의 카메라들에 의해 달성될 수 있다. 예를 들어, 사람이 차량 옆에 서 있거나 또는 앉아 있을 수 있다. 이것은, 예를 들어, 사람이 차량에서 내리거나, 근처에 주차된 차 뒤에서 나타나거나, 또는 차량이 턴온되거나 주차 공간에서 나갈 준비를 하기 전에 이미 사각 지대에 있을 때 발생할 수 있다. 이 카메라 시스템이 유용한 다른 시나리오들은 비보호 회전들, 고속 레인 변경들, 다른 객체들에 의한 다가오는 교통의 폐색들, (고속도로의 진입 차선(on-ramp)에서와 같은) 낮게 마운팅된 미터링 라이트들, 도로 콘들 및 다른 건설 아이템들의 식별, 및 작은 이물질(foreign object debris)(FOD) 검출을 포함한다.
검출된 객체의 분류는 검출된 객체의 사이즈, 근접도 및 방위를 결정하는 것을 포함할 수 있다. 시스템은 카메라들이 관심 있는 객체에 의해 차지되는 최소 임계 부피(예를 들어, 직육면체 또는 다른 3D 형상의 최소 50%)을 볼 수 있도록 구성된다. 일 예에서, 근거리 감지 시스템의 각각의 카메라는 짝을 이루는(companion) 라이다 센서와 코-로케이팅된다. 예를 들어, 카메라는, 예를 들어, 시차(parallax)를 피하기 위해 라이다 센서로부터 1피트 또는 0.3미터 이하에 있을 수 있다. 카메라는 라이다와 동일한 브래킷 또는 하우징을 사용하여 차량에 마운팅될 수도 있고, 또는 별도로 마운팅될 수도 있다. 일반적인 동작에서, 시스템 FOV는 최대 3미터 떨어진 차량 주위의 360°뷰를 제공해야 한다.
카메라 해상도는 최소 픽셀 수에 기초한 임계값 분류를 충족하기에 충분해야 한다. 예를 들어, 하나의 분류 임계값은, 객체가 차량의 3미터 내에 있을 때, 32-64개 이하의 픽셀을 사용하여 선택된 직육면체 형상의 특정 객체를 분류하는 능력일 수 있다. 또는, 대안적으로, 임계값 분류는 0.1 - 0.4 mrad/픽셀 사이의 해상도 요구 사항을 갖는 카메라를 필요로 할 수 있다. 임계값 분류 요구 사항들은, 예를 들어, 객체의 타입 및 시나리오에 따라 다를 수 있다(예를 들어, 성인 또는 어린이가 차량 옆에 서 있거나 앉아 있는지, 100m 이상 떨어진 차량 뒤에서 오토바이 운전자가 접근하고 있는지 등).
도 5의 예(500)에 도시된 바와 같이, 카메라들은 상이하고 잠재적으로 중첩되는 커버리지 존들을 제공할 수 있다. 이 예에서, 전방, 측면 및 후방을 향하는 FOV들을 제공하기 위해 최대 8대(또는 그 이상)의 카메라가 사용될 수 있다. 예를 들어, FOV들(502a 및 502b)은 차량 주위의 전방 좌측 및 전방 우측 영역들의 부분들을 포함한다. FOV들(504a 및 504b)은 FOV들(502a 및 502b)과 중첩되어, 전방, 전방 좌측 및 전방 우측 영역들을 따라 추가 커버리지를 제공한다. FOV(506)는 차량의 전방 영역에서 커버들을 제공한다. FOV들(508a 및 508b)은, 예를 들어, 좌측/우측 영역들 및 후방 좌측 및 후방 우측 영역들을 따라 차량의 후방을 향하는 커버리지를 제공한다. 그리고, FOV(510)는 차량의 후방 영역을 따라 커버리지를 제공한다.
카메라는 모든 주변 조명 상황들에서 동작하도록 요구될 수 있다. 이와 같이, 상이한 카메라들은 차량 소스들(예를 들어, 헤드라이트들, 주차 라이트들, 백업 라이트들, 주행 라이트들) 및 환경 소스들(예를 들어, 다른 차량들, 가로등들 등)로부터의 조명에 의존할 수 있다. 대안적으로 또는 추가적으로, IR 및/또는 광학 광 조명기가 카메라에 조명을 제공하도록 배열될 수 있다. 예를 들어, 하나 이상의 조명기가 센서 하우징 상의 카메라에 인접하게 배열될 수 있다.
예를 들어, 전방 및 후방을 향하는 FOV들을 갖는 카메라들은, 헤드라이트들 및 브레이크 라이트들 또는 백업 라이트들이 일부 시나리오들에서 충분한 조명을 제공할 수 있기 때문에, 별도의 조명을 필요로 하지 않을 수 있다. 그러나, 측면 FOV들을 갖는 카메라들은 저조도 조건(low-light condition)들에서 보조 조명(supplemental illumination)을 필요로 할 수 있다. 이러한 보조 조명은 카메라 근처에 배치되는 근적외선(near-infrared)(NIR) 방출기를 통해 제공될 수 있다. 아래에서 더 논의되는 바와 같이, 하나의 구성에서, "새들(saddle)" 조명기 모듈들(예를 들어, NIR 모듈들)의 쌍이 카메라의 양쪽에 채택될 수 있으며, 여기서 각각의 조명기 모듈은 다른 모듈의 폐색들을 보상한다. 대안적으로, 단일 모놀리식 조명기 모듈이 사용될 수 있다.
도 6a 내지 도 6c는 예시적인 카메라 및 조명기 구성들을 예시한다. 특히, 도 6a는 조명기들이 개개의 카메라들의 측면에 배치되는 제1 구성(600)을 예시한다. 여기서, 4개의 카메라: 전방을 향하는 카메라(602), 후방을 향하는 카메라(604) 및 좌측 및 우측 측면을 향하는 카메라들(606a 및 606b)이 각각 차량 주위에 도시되어 있다. 도시된 바와 같이, 조명기들(608a 및 608b)의 쌍이 전방 카메라(602)의 양쪽에 배열된다. 유사하게, 새들 조명기들(610a 및 610b)의 쌍이 후방 카메라(604)의 양쪽에 배열된다. 그러나, 대안적인 구성에서는, 단 하나의 조명기가 전방 카메라(602) 및/또는 후방 카메라(604)의 측면에 배열될 수 있다. 측면 카메라들(606a 및 606b)은 각각 그 측면에 배치되는 개개의 조명기(612a, 612b)를 갖는 것으로 도시되어 있다. 이러한 예들에서, 조명기들(612)은 측면 카메라들(606)의 뒤쪽에 포지셔닝된다. 여기서, 측면 카메라들(606)은 조명기들(612a, 612b)로부터의 IR 조명을 보완할 수 있는 전방 조명기들(608a 및 608b)로부터 일부 조명을 수신할 수 있다.
도 6b는 단일 조명기가 개개의 카메라 위에 배치되는 제2 구성(650)을 예시한다. 도 6a에서와 같이, 4개의 카메라: 전방을 향하는 카메라(652), 후방을 향하는 카메라(654) 및 좌측 및 우측 측면을 향하는 카메라들(656a 및 656b)이 각각 차량 주위에 도시되어 있다. 도시된 바와 같이, 조명기(658)는 전방 카메라(652) 위에 배치된다. 유사하게, 조명기(660)는 후방 카메라(654) 위에 배치된다. 측면 카메라들(656a 및 656b)은 각각 그 위에 배치되는 개개의 조명기(662a, 662b)를 갖는 것으로 도시되어 있다. 대안적인 구성에서, 조명기들은 개개의 카메라들 아래에 배치될 수 있다. 또 다른 예에서, 방출기(들)는, 예를 들어, 루프를 따라 카메라들과 코-로케이팅되지 않는 차량 주위의 다른 위치들에 배치될 수 있다. 예를 들어, 루프 상에 배치되는 조명기는 차량의 주어진 측면에 대한 카메라의 전체 시야를 조명하는 데 사용될 수 있다.
이러한 예들에서, 단일 조명기 모듈이 카메라의 임의의 측면에 배치될 수 있다. 그러나, 투영되는 광의 일부 중 어느 정도 폐색되는 양이 있을 것이다. 예를 들어, 카메라의 측면에 단일 조명 모듈이 있으면, 카메라의 다른 측면에서 광이 크게 폐색되어, 저조도 상황들에서 불리할 수 있다. 카메라 위에 단일 모듈이 있으면, 폐색을 감소시키기 위해, 이것은 모듈을 카메라의 위 및 앞쪽으로 이동시켜야 할 수 있다. 차량 주위의 일부 위치들에서, 예를 들어, 차량의 전방 및 후방이되, 측면들에서, 차량 폭에 대한 제약들 및 다른 측면 센서들의 잠재적인 영향이 있을 수 있다. 그리고, 카메라 아래에 단일 모듈이 있으면, 폐색으로 인해, 위쪽으로 향하는 조명이 감소될 수 있다. 이것은 차량 옆에 서 있는 사람과 같은 근처 객체들을 분류하기 위한 센서 제품군의 능력에 영향을 미칠 수 있다. 따라서, 대응하는 카메라의 시야가 가장 작은 곳에 조명기 모듈을 두는 것이 바람직한데, 그 이유는 이렇게 하면 시야 폐색들에 대한 가능성이 감소되기 때문이다. 수직 시야가 수평 시야보다 더 작은 상황들에서는, 조명기를 카메라의 상부 및/또는 아래에 배치하는 것이 바람직할 수 있다. 그러나, 이것은 센서 제품군, 차량 사이즈 등에 대한 다른 제약들로 인해 일부 상황들에서는 가능하지 않을 수 있다.
이에 비추어, 도 6c는 조명기들의 쌍들이 각각의 개개의 카메라들의 양쪽에 배치되는 제3 구성(680)을 예시한다. 도 6a 및 도 6b에서, 4개의 카메라: 전방을 향하는 카메라(682), 후방을 향하는 카메라(684) 및 좌측 및 우측 측면을 향하는 카메라들(686a 및 686b)이 각각 차량 주위에 도시되어 있다. 도시된 바와 같이, 조명기들(688a 및 688b)의 쌍이 전방 카메라(602)의 양쪽에 배열된다. 유사하게, 새들 IR 조명기들(690a 및 690b)의 쌍이 후방 카메라(684)의 양쪽에 배열된다. 이 예에서, 측면 카메라들(686a 및 686b)은 각각 그 측면들에 배치되는 개개의 쌍의 조명기(692a, 692b 또는 694a, 694b)를 갖는 것으로 도시되어 있다. 이러한 배열은 대응하는 카메라의 측면, 상부 또는 바닥에 하나의 조명기 모듈만이 배치될 때 발생할 수 있는 폐색들을 최소화하는 데 도움이 된다. 아래에서 논의되는 도 7f는 각각의 카메라(682, 684 및 686)에 대한 측면 조명기들의 쌍에 대한 하나의 배열을 도시한다.
이러한 구성들 중 임의의 것에서, 카메라 렌즈는 물을 밀어내기 위해 소수성으로 코팅될 수 있다. 그리고, 차량 외부를 따라 카메라들이 배치되어, 렌즈들이 온보드 세정 시스템을 사용하여 쉽게 세정될 수 있다. 이러한 피처들은 아래에서 더 논의된다.
주변 센서 하우징들
기술의 양태들에 따르면, 다수의 상이한 센서들(예를 들어, 라이다, 카메라, 레이더 등)을 포함하는 통합된 센서 어셈블리들을 갖는 하우징들이 차량을 따라 다양한 장소들에 위치될 수 있다. 도 1a 내지 도 1c는 이러한 통합된 센서 어셈블리들을 위한 예시적인 하우징 배치들을 예시한다. 위에서 논의된 바와 같이, 각각의 위치는 차량 주위의 특정 커버리지를 특정 시야를 갖는 그것의 센서들로부터 제공한다. 하우징을 따라 다른 센서들에 대한 각각의 센서의 배열은 중요한데, 왜냐하면 상이한 배열들에 대한 상당한 이점들(또는 단점들)이 있을 수 있기 때문이다. 센서 하우징 중 하나 이상은 위에서 설명된 바와 같은 근거리 감지 카메라 어셈블리를 가질 수 있다. 몇 가지 예들이 아래에서 논의된다.
도 7a에 도시된 제1 예에서, 센서 제품군은 운전자 또는 승객 측 도어의 전방에서 차량의 좌측 또는 우측 측면을 따라 측면 주변 하우징에 배열된다. 특히, 도 7a는 좌측 전방 쿼터 패널을 따른 제1 하우징(700a) 및 우측 전방 쿼터 패널을 따른 제2 하우징(700b)을 도시하는 도면을 예시한다. 하우징(700b)은 하우징(700a)의 미러 이미지일 수 있다. 도 7b 내지 도 7f는 측면 주변 하우징(700)의 다양한 도면들을 예시한다. 도 7b의 사시도 및 도 7c의 정면도에 도시된 바와 같이, 측면 주변 하우징(700)의 센서들의 제품군은 라이다 유닛(702), 근거리 감지 카메라 어셈블리(704), 레이더 유닛(706), 앞쪽을 향하는 주변 뷰 카메라(708) 및 측면을 향하는 주변 뷰 카메라(710)를 포함한다.
도 7b 및 도 7c에 도시된 바와 같이, 레이더 유닛(706)은 일 측에서는 전방 및 측면을 향하는 카메라들, 다른 측에서는 라이다 및 근거리 감지 카메라 어셈블리 사이에 배치된다. 레이더 유닛 및 정렬된 라이다 및 근거리 감지 카메라 어셈블리 사이를 분리하면 간섭 및 잠재적인 폐색을 피한다.
근거리 감지 카메라 어셈블리(704)는 라이다 유닛(702) 아래에 배치되어, 예를 들어, 라이다 유닛에 의한 객체 검출을 보완하기 위해 객체 분류를 가능하게 한다. 라이다 유닛(702) 아래에 정렬되는 것으로 도시되어 있지만, 근거리 감지 카메라 어셈블리(704)의 카메라는 라이다 유닛(702)의 대략 0.25 - 0.4m 내의 다른 곳에 위치될 수 있다. 이미지 분류에 부정적인 영향을 미칠 수 있는 시차를 피하기 위해, 카메라는 센서들 사이에 폐색들을 생성하지 않고 라이다 유닛에 가능한 한 가까이 있어야 한다. 그리고, 라이다 유닛(702) 아래에 정렬되는 것으로 도시되어 있지만, 근거리 감지 카메라 어셈블리(704)의 카메라는 라이다 유닛(702) 위에 배치될 수 있다. 어느 배열이든 폐색 및 시차의 우도(likelihood)를 최소화한다. 하우징 유닛의 공간적 제약들 및/또는 차량의 전반적인 치수들은 센서들의 서로에 대한 배치를 제한할 수도 있다.
도 7d 및 도 7e의 좌측면도 및 우측면도에 각각 도시된 바와 같이, 라이다 유닛(702)과 근거리 감지 카메라 어셈블리(704) 사이에는 분리 표면(712)이 존재한다. 분리 표면은 아래쪽으로 향하는 경사각으로 배열될 수 있다. 바깥쪽으로 경사진 표면은 물, 눈 등이 미끄러지도록 하여, 센서들의 방해 또는 폐색 우도를 최소화한다. 라이다 센서는 그 바로 아래에 제한된 뷰를 가질 수 있으므로, 그 바로 아래에 카메라 어셈블리를 정렬하면 라이다는 잠재적으로 라이다에 의해 폐색되는 객체들의 객체 검출에 도움이 된다. 예를 들어, 측면도들에 도시된 바와 같이, 근거리 감지 카메라 어셈블리(704)는 차량 주위의 바로 인근을 커버하도록 아래쪽으로 기울어져 있다.
도 7f의 확대도는 어셈블리(704)가 카메라(714), 조명기 모듈들(716a 및 716b)의 쌍, 및 세정 메커니즘들(718a, 718b 및 718c)의 세트를 포함하는 것을 예시한다. 카메라(714)의 렌즈로 광이 누출되지 않도록 보장하기 위해 하우징 표면으로부터 연장되는 연장부들(720)이 포함될 수 있다. 각각의 모듈(716a 및 716b)은 하나 이상의 원하는 영역을 따라 광, 예를 들어, IR 광을 포커싱하기 위해 채택될 수 있는 하나 이상의 세컨더리 렌즈(secondary lens)(722)를 포함할 수 있다. 예를 들어, 이러한 세컨더리 렌즈들(722)은 조명기 모듈에 대한 시야의 폭을 증가시킬 수 있다. 세정 메커니즘들(718)은 카메라 및/또는 조명기 모듈들을 세정하기 위한 유체 및/또는 강제 공기 스프레이들을 포함할 수 있다. 대안적으로 또는 추가적으로, 렌즈들을 깨끗하게 유지하기 위해 하나 이상의 와이퍼(도시 생략)가 채택될 수 있다.
도 8은 예시적인 폐색 시나리오(800)를 예시한다. 라이다 센서는, 예를 들어, 180°의 넓은 커버리지 방위각을 가질 수 있지만, 도시된 바와 같이, 라이다 센서 아래에 있는 차량에 바로 인접한 폐색 영역(802)을 가질 수 있으며, 이는 음영 삼각형 영역으로서 예시되어 있다. 근거리 감지 카메라 어셈블리는 라이다 센서에 의해 획득된 인지 정보를 보완하도록 구성되고 아래쪽으로 기울어져 있기 때문에, 라이다 센서의 폐색 영역(802)을 완화할 수 있다. 예를 들어, 전방 타이어에 인접한 객체가 있는 경우, 근거리 감지 카메라 어셈블리의 카메라는 음영 영역 내의 선형 요소들(804)에 의해 도시된 바와 같이 이를 검출하도록 구성된다. 카메라가 차량의 측면에 대해 몇 센티미터 이내를 보는 것은 실현가능하지 않을 수 있지만, 카메라는 차량에 가까운 객체가 적어도 50% 보이도록 포지셔닝된다. 일 예에서, 카메라는 대략 170°- 200°의 방위각 시야를 가질 수 있다.
도 7b로 돌아가서, 위에서 언급된 바와 같이, 예시적인 측면 주변 하우징(700)에는 전방을 향하는 주변 뷰 카메라(708) 및 측면을 향하는 주변 뷰 카메라(710)가 있다. 이러한 카메라들은 도 9의 예(900)에 도시된 바와 같이 최소 방위각 커버리지로 전방 및 측면 이미저리를 제공하도록 구성된다. 예를 들어, 측면을 향하는 카메라(710)는 차량의 측면에 최소 +/-15°의 FOV(902)를 제공하도록 구성될 수 있지만, 이것은 최대 +/-30-40°이상을 제공할 수 있다. 일 예에서, 차량의 후방을 향해 15°의 최소 FOV(904)가 있을 수 있고, 차량의 전방을 향해 25-35°의 최소 FOV(906)가 있을 수 있다. 전방을 향하는 카메라(들)(708)는 대략 10-20°의 외부 방위각 FOV(908) 및 대략 20-40°의 내부 방위각 FOV(910)를 가질 수 있다. 일부 예들에서, 운전자의 측면 전방을 향하는 카메라는 승객의 측면 전방을 향하는 카메라보다 더 넓은 FOV를 가질 수 있어, 예를 들어, 좌회전시 증가된 가시성을 제공할 수 있다. 도 7b에 예시된 바와 같이, 전방을 향하는 카메라(708)는 측면을 향하는 카메라(710)보다 더 높게(또는 더 낮게) 배치될 수 있다. 이것은 하우징(700) 내에 다양한 센서 유닛들을 수용하기 위해 수행될 수 있다.
이 카메라들의 쌍은 다른 센서들과 함께 사용될 수 있는데, 예를 들어, 어려운 폐색된 통행 교통(cross traffic) 및 비보호 회전 시나리오들에서 레이더 검출 및 분류를 강화하기 위해 사용될 수 있다. 하나의 시나리오에서, 카메라들(708 및 710)은 주로 근접 감지를 위해 사용되지는 않으며, IR 조명기 없이 주변광을 사용한다. 차량이 교차로에 진입하거나 또는 급회전하는 동안, 측면을 향하는 주변 뷰 카메라(710)는 폐색되고 있는 우도를 감소시키기 위해 하우징(700) 또는 차량 상의 다른 곳에서 최대한 전방에 위치될 수 있다. 전방을 향하는 주변 뷰 카메라(708)는 또한 차량 전방의 폐색되는 객체들 주위를 더 잘 볼 수 있도록 가능한 한 전방에 위치될 수 있다.
도 10은 회전 시나리오(1000)에 대한 폐색 예를 예시한다. 이 시나리오에서, 차량(1002)은 파선 화살표에 의해 도시된 바와 같이 좌회전을 할 준비를 하고 있다. 여기서, 트럭(1004) 또는 다른 객체가 차량(1002) 상의 센서들 중 하나의 것의 시야로부터 다른 차량(1006)을 폐색할 수 있다. 예를 들어, 루프-마운트형 센서(1008)는 트럭(1004)에 의해 영역(1012)에서 부분적으로 폐색되는 FOV(1010)를 가질 수 있다. 그러나, 주변을 향하는 카메라(1014)는 다른 차량(1006)의 적어도 일부를 볼 수 있는 상이한 FOV(1016)를 가지고 있다. 주변을 향하는 카메라들은, 예를 들어, 다가오는 교통이 있을 수 있을 때 다른 차량 주위로 조종하는 것, 자율 차량 뒤에 폐색되는 차량이 있을 때 뒤쪽으로 인접한 레인들을 보는 것, 예를 들어, 고속도로의 진입 차선을 통해 고속 교통에 합류할 때와 같은 매우 다양한 다른 시나리오들에서 유용하다.
주변 하우징 어셈블리의 다른 예가 도 11a 내지 도 11c에 도시되어 있다. 특히, 도 11a 및 도 11b는 후방 하우징 어셈블리(1100)를 예시하며, 이는 도 11c의 세단 또는 다른 차량의 후방 페시아(rear fascia) 상의 예시적인 포지션(1110)에 도시되어 있다. 포지션(1110)이 차량의 후방 좌측 측면에 도시되어 있지만, 다른 후방 하우징 어셈블리가 차량의 우측 측면에 배치될 수도 있다. 도 11a 및 도 11b에 나타낸 바와 같이, 제1 센서(1102) 및 제2 센서(1104)가 하우징(1100)에 배치된다. 예를 들어, 제1 센서(1102)는 레이더 센서이고, 제2 센서는 카메라이다. 이러한 센서들은, 예를 들어, 우측 또는 좌측으로의 고속 레인 변경들을 설명하기 위해 후방으로부터 접근하는 다른 차량들에 대한 정보를 제공할 수 있다.
도 12의 예(1200)에 도시된 바와 같이, 후방을 향하는 주변 뷰 카메라들은 최소 방위각 커버리지를 갖는 후방 이미저리를 제공하도록 구성된다. 예를 들어, 후방을 향하는 카메라(1100)는 차량의 후방에 30-60°사이의 FOV(1202)를 제공하도록 구성될 수 있다. 예를 들어, 후방을 향하는 카메라는 (예를 들어, 인접 레인들에서 접근하는 자동차들을 보기 위해) 대략 15-35°의 외부 방위각, 및 (예를 들어, 동일한 레인에 있는 다음 차량들을 보기 위해) 대략 10-25°의 내부 방위각을 가질 수 있다. 도 13은 후방을 향하는 카메라가 트럭에 의해 다른 방식으로 폐색되는 인접한 (좌측) 레인에서 접근하는 자동차를 볼 수 있음을 보여주는 시나리오(1300)를 예시한다.
도 14a에 도시된 다른 예에서, 전방 센서 하우징(1400)은, 예를 들어, 차량의 바로 전방에 있는 객체들을 검출 및 분류하기 위해 전방 범퍼를 따라 또는 이에 인접하게 배열된다. 도 14b 내지 도 14e는 전방 센서 하우징(1400)의 다양한 도면들을 예시한다. 도 14b의 사시도 및 도 14c의 정면도에 도시된 바와 같이, 전방 센서 하우징(1400)의 센서들의 제품군은 라이다 유닛(1402) 및 근거리 감지 카메라 어셈블리(1404)를 포함한다.
근거리 감지 카메라 어셈블리(1404)는 라이다 유닛(1402) 바로 위에 배치되어, 예를 들어, 라이다 유닛에 의한 객체 검출을 보완하기 위해 객체 분류를 가능하게 한다. 라이다 유닛(1402) 위에 정렬되는 것으로 도시되어 있지만, 근거리 감지 카메라 어셈블리(1404)의 카메라는 라이다 유닛(1402)의 대략 0.25 - 0.4m 이내의 다른 곳에 위치될 수 있다. 이미지 분류에 부정적인 영향을 미칠 수 있는 시차를 피하기 위해, 카메라는 센서들 사이에 폐색들을 생성하지 않고 라이다 유닛에 가능한 한 가까이 있어야 한다. 그리고, 라이다 유닛(1402) 위에 도시되어 있지만, 근거리 감지 카메라 어셈블리(1404)의 카메라는 라이다 유닛(1402) 아래에 배치될 수 있다. 어느 배열이든 폐색을 최소화한다. 하우징 유닛의 공간적 제약들 및/또는 차량의 전반적인 치수들도 센서들의 배치를 제한할 수 있다.
도 14d의 측면도에 도시된 바와 같이, 라이다 유닛(1402)과 근거리 감지 카메라 어셈블리(1404) 사이에 분리 표면(1406)이 존재한다. 분리 표면은, 예를 들어, 물, 눈 등이 미끄러질 수 있도록 비스듬히 배열되어, 센서들의 방해 또는 폐색 우도를 최소화할 수 있다. 또한, 측면도에 도시된 바와 같이, 근거리 감지 카메라 어셈블리(1404)는 차량 바로 인근을 커버하도록 아래쪽으로 기울어져 있다. 도 14e의 확대도는 어셈블리(1404)가 카메라(1408), 조명기 모듈들(1410a 및 1410b)의 쌍, 및 세정 메커니즘들(1412a, 1412b 및 1412c)의 세트를 포함하는 것을 예시한다. 카메라(1408)의 렌즈로 광이 누출되지 않도록 보장하기 위해 하우징 표면으로부터 연장되는 연장부들(1414)이 포함될 수 있다. 도시된 바와 같이, 각각의 모듈(1410a 및 1410b)은 하나 이상의 원하는 영역을 따라 광을 포커싱하기 위해 채택될 수 있는 하나 이상의 세컨더리 렌즈(1416)를 포함할 수 있다. 세정 메커니즘들(1412)은 카메라 및/또는 조명기 모듈들을 세정하기 위한 유체 및/또는 강제 공기 스프레이들을 포함할 수 있다.
도 15는 전방 센서 하우징(1400)의 변형(1500)을 예시한다. 이 변형에서, 하우징(1500)은 라이다 유닛(1402) 및 근거리 감지 카메라(1502)를 포함하며, IR 조명 모듈들 및 세정 메커니즘들을 생략한다. 조명이 없는 다른 변형에서는, 세정 메커니즘들이 포함될 수 있다. 유사하게, 세정 메커니즘들이 없는 추가 변형에서는, 조명이 포함될 수 있다.
도 16a에 도시된 다른 예에서, 후방 센서 하우징(1600)은, 예를 들어, 차량 바로 뒤에 있는 객체들을 검출 및 분류하기 위해 후방 범퍼를 따라 또는 이에 인접하게 배열된다. 도 16b 내지 도 16e는 후방 센서 하우징(1600)의 다양한 도면들을 예시한다. 도 16b의 사시도 및 도 16c의 정면도에 도시된 바와 같이, 전방 센서 하우징(1600)의 센서들의 제품군은 라이다 유닛(1602) 및 근거리 감지 카메라 어셈블리(1604)를 포함한다.
근거리 감지 카메라 어셈블리(1604)는 라이다 유닛(1602) 바로 위에 배치되어, 예를 들어, 라이다 유닛에 의한 객체 검출을 보완하기 위해 객체 분류를 가능하게 한다. 라이다 유닛(1602) 위에 정렬되는 것으로 도시되어 있지만, 근거리 감지 카메라 어셈블리(1604)의 카메라는 라이다 유닛(1602)의 대략 0.25 - 0.4m 내의 다른 곳에 위치될 수 있다. 이미지 분류에 부정적인 영향을 미칠 수 있는 시차를 피하기 위해, 카메라는 센서들 사이에 폐색들을 생성하지 않고 라이다 유닛에 가능한 한 가까이 있어야 한다. 그리고, 라이다 유닛(1602) 위에 도시되어 있지만, 근거리 감지 카메라 어셈블리(1604)의 카메라는 라이다 유닛(1602) 아래에 배치될 수 있다. 어느 배열이든 폐색을 최소화한다. 하우징 유닛의 공간적 제약들 및/또는 차량의 전반적인 치수들은 센서들의 배치를 제한할 수도 있다.
도 16d의 측면도에 도시된 바와 같이, 라이다 유닛(1602)과 근거리 감지 카메라 어셈블리(1604) 사이에 분리 표면(1606)이 존재한다. 분리 표면은, 예를 들어, 물, 눈 등이 미끄러질 수 있도록 비스듬히 배열되어, 센서들의 방해 또는 폐색 우도를 최소화할 수 있다. 또한, 측면도에 도시된 바와 같이, 근거리 감지 카메라 어셈블리(1604)는 차량 바로 인근을 커버하도록 아래쪽으로 기울어져 있다. 도 16e의 확대도는 어셈블리(1604)가 카메라(1608), 조명기 모듈들(1610a 및 1610b)의 쌍, 및 세정 메커니즘들(1612a, 1612b 및 1612c)의 세트를 포함하는 것을 예시한다. 카메라(1608)의 렌즈로 광이 누출되지 않도록 보장하기 위해 하우징 표면으로부터 연장되는 연장부들(1614)이 포함될 수 있다. 도시된 바와 같이, 각각의 모듈(1610a 및 1610b)은 하나 이상의 원하는 영역을 따라 광을 포커싱하기 위해 채택될 수 있는 하나 이상의 세컨더리 렌즈(1616)를 포함할 수 있다. 세정 메커니즘들(1612)은 카메라 및/또는 조명기 모듈들을 세정하기 위한 유체 및/또는 강제 공기 스프레이들을 포함할 수 있다.
도 17은 전방 센서 하우징(1600)의 변형(1700)을 예시한다. 이 변형에서, 하우징(1700)은 라이다 유닛(1602) 및 근거리 감지 카메라(1702)를 포함하며, 조명 모듈들 및 세정 메커니즘들을 생략한다. 조명이 없는 다른 변형에서는, 세정 메커니즘들이 포함될 수 있다. 유사하게, 세정 메커니즘들이 없는 추가 변형에서는, 조명이 포함될 수 있다.
위에서 언급된 바와 같이, 다양한 센서 하우징들의 근거리 감지 카메라들은 아래쪽으로 향하는 각도로 배열된다. 예를 들어, 이들은 더 낮은 시야 커버리지를 최대화하고 카운터파트 라이다의 FOV를 최대한 커버하기 위해 대략 20-40°의 아래쪽으로 향하는 각도를 가질 수 있는데, 왜냐하면 이러한 카메라들이 라이다의 검출 및 분류를 강화하기 때문이다. 근거리 감지 카메라 어셈블리들 및 라이다 유닛들의 코-로케이션을 위해 상이한 배열들이 도시되었지만, 일반적으로, 각각의 카메라는 모든 인스턴스들에서 라이다에 대한 폐색들을 최소화하도록 그 라이다 유닛에 대해 배치된다.
센서 세정은 인지 시스템의 적절한 효과적인 동작에 중요하다. 차량이 자율 주행 모드에서 동작하고 있기 때문에, 다양한 센서들을 세정하기 위한 상이한 옵션들이 있다. 예를 들어, 세정 시스템은 세정 유체(cleaning fluid)를 카메라(및 IR 방출기)에 분사하고, 와이퍼 및/또는 공기 흡입기(air puffer)를 사용할 수 있다. 분무기(sprayer) 또는 다른 세정 유닛은 센서에 대해 고정된 포지션에 있을 수도 있고, 또는 필요에 따라 유닛을 세정하기 위해 압축하도록(telescope out) 구성될 수도 있다. 세정 유닛은 센서 하우징의 센서들 중 임의의 것의 폐색을 피하도록 또는 다른 방식으로 센서 FOV에 영향을 미치지 않도록 배열되어야 한다. 예를 들어, 세정 메커니즘들(718, 1412 및 1612)의 분무기 팁들은 카메라들을 폐색하지 않고 카메라들로 광을 다시 반사하지 않도록 포지셔닝된다.
세정에 더하여, 센서들은, 예를 들어, 카메라 또는 다른 센서로부터 응결(condensation) 또는 성애(frost)를 제거하기 위해 열을 제공함으로써 컨디셔닝될 수 있다. 예를 들어, 제상 히터(defrosting heater)들은 전방 유리와 카메라 유닛의 하우징 사이에 끼워지는 가열 요소와 같이 각각의 주변 뷰 카메라의 전방 윈도우 요소를 따라 포지셔닝될 수 있다.
센서를 덮는 먼지 및 다른 이물질들을 제한하기 위해 슈라우드(shroud) 또는 다른 구조물이 채택될 수 있다. 그러나, 세정 요소들과 마찬가지로, 슈라우드는 센서들을 폐색하거나 또는 다른 방식으로 그들의 FOV에 영향을 주어서는 안된다. 카메라 또는 조명 방출기의 경우, 습기 축적을 최소화하기 위해 유리 또는 플라스틱 커버에 소수성 코팅이 적용될 수 있다.
세정 유닛의 타입 및 배치를 선택할 때, 차량을 따른 하우징 내의 센서들의 포지션들이 고려되어야 한다. 예를 들어, 사이드 미러 어셈블리에 위치되는 카메라를 세정하기는 어려울 수 있다. 예를 들어, 유체를 특정 지점에 분사하는 것이 어려울 수도 있고, 또는 유체를 차량을 통해 세정 유닛으로 라우팅하는 방법에 대한 제한들이 있을 수도 있다(예를 들어, 세정 유닛이 도어 내부에 위치되는 경우 대 도어 외부에 위치되는 경우). 센서가 자율 주행에 얼마나 중요한지에 따라 세정 메커니즘의 타입이 선택될 수 있다. 예를 들어, 전방 센서 하우징 유닛의 세정은 후방 센서 하우징 유닛의 세정보다 더 중요할 수 있는데, 왜냐하면 선두 차량의 명확한 뷰가 후행 차량들의 뷰보다 특정 주행 동작들과 더 관련이 있는 것으로 결정될 수 있기 때문이다. 따라서, 더 중요한 센서 하우징들에는 중복(예를 들어, 스프레이 시스템 플러스 와이퍼) 세정 모듈들이 채택될 수 있다. 다른 센서 하우징의 경우, 중복 세정 메커니즘이 없을 수도 있다. 이 경우, 세정 메커니즘은 특정 속도들(예를 들어, 35-45mph 미만)에서만 또는 차량이 정지 상태일 때만 액추에이팅될수 있는데, 왜냐하면 세정이 다른 센서 하우징들보다 시간에 덜 민감할 수 있기 때문이다.
도 18은 위에서 설명된 특정 액션들에 따른 방법의 흐름도(1800)를 예시한다. 블록(1802)에서, 자율 주행 모드에서 동작하도록 구성되는 차량의 제어 시스템은 차량 주위 영역에서 임계 거리 내의 라이다 데이터를 획득하기 위해 차량의 인지 시스템의 라이다 센서의 동작을 개시한다(imitate). 예를 들어, 임계 거리는 차량으로부터 1-3미터 이내일 수 있다. 블록(1804)에서, 제어 시스템은 차량이 주행 액션을 수행하기 전에 인지 시스템의 이미지 센서에 의한 이미지 캡처를 개시한다. 이미지 센서는 라이다 센서에 인접하게 배치되고, 임계 거리 내에서 차량 주위 영역의 중첩되는 시야를 갖도록 차량을 따라 배열된다. 이미지 센서는 임계 거리 내의 객체들에 대해 선택된 해상도를 제공한다. 블록(1806)에서, 제어 시스템은 라이다 센서로부터 라이다 데이터를 그리고 이미지 센서로부터 캡처된 이미저리를 수신한다. 이것은 동시에 또는 순차적으로 수행될 수 있다. 블록(1808)에서, 제어 시스템은 라이다 데이터를 프로세싱하여 차량의 임계 거리 내의 영역에서 객체를 검출한다. 블록(1810)에서, 제어 시스템은 캡처된 이미저리를 프로세싱하여 검출된 객체를 분류한다. 그리고, 블록(1812)에서, 제어 시스템은 검출된 객체의 분류에 기초하여 차량의 하나 이상의 시스템으로 하여금 주행 액션을 수행하게 할지 여부를 결정한다.
달리 언급되지 않는 한, 전술한 예들 및 실시예들은 상호 배타적이지 않고, 고유한 이점들을 달성하기 위해 다양한 조합들로 구현될 수 있다. 위에서 논의된 피처들의 이들 및 다른 변형들 및 조합들이 청구범위에 의해 정의되는 주제를 벗어나지 않고 활용될 수 있기 때문에, 실시예들에 대한 전술한 설명은 청구범위에 의해 정의되는 주제를 제한하는 방식이 아니라 예시의 방식으로 취해져야 한다. 또한, 본 명세서에서 설명되는 예들뿐만 아니라 "~와 같은", "포함하는" 등과 같은 문구들의 절들의 제공은 청구범위의 주제를 특정 예들 또는 실시예들로 제한하는 것으로 해석되어서는 안된다. 또한, 상이한 도면들에서 동일한 참조 번호들은 동일하거나 또는 유사한 요소들을 식별할 수 있다. 본 명세서에서 달리 나타내지 않는 한, 프로세스들 또는 다른 동작들은 상이한 순서로 또는 동시에 수행될 수 있다.

Claims (21)

  1. 자율 주행 모드(autonomous driving mode)에서 동작하도록 구성되는 차량을 위한 외부 감지 시스템으로서,
    상기 차량으로부터 3미터 이하의 임계 거리 내에서 적어도 상기 차량 주위의 외부 환경의 영역에서 객체들을 검출하도록 구성되는 제1 시야를 갖는 라이다 센서;
    상기 라이다 센서에 인접하게 배치되고 상기 차량의 임계 거리 내에서 상기 외부 환경의 영역의 제2 시야를 갖도록 상기 차량을 따라 배열되는 이미지 센서 - 상기 제2 시야는 제1 영역 및 제2 영역을 갖고, 상기 제1 영역은 상기 제1 시야와 중첩되고 상기 제2 영역은 상기 제1 시야 내에 있지 않은 상기 임계 거리 내에서 상기 차량의 바로 인근을 커버하도록 지향되고, 상기 이미지 센서는 상기 바로 인근 내의 객체들의 분류에 대해 선택된 해상도를 제공함 -; 및
    상기 이미지 센서 및 상기 라이다 센서에 동작 가능하게 커플링되는 제어 시스템
    을 포함하고,
    상기 제어 시스템은 하나 이상의 프로세서를 포함하고, 상기 하나 이상의 프로세서는,
    상기 차량의 임계 거리 내의 영역에서 라이다 데이터를 획득하기 위해 상기 라이다 센서의 동작을 개시하고,
    상기 차량이 주행 액션을 수행하기 전에 상기 이미지 센서에 의해 이미지 캡처를 개시하고,
    상기 라이다 센서로부터 상기 라이다 데이터를 그리고 상기 이미지 센서로부터 캡처된 이미저리(imagery)를 수신하고,
    상기 라이다 데이터의 프로세싱을 수행하여 상기 차량의 임계 거리 내의 영역에서 객체를 검출하고,
    상기 캡처된 이미저리의 프로세싱을 수행하여 상기 검출된 객체를 분류하고,
    상기 검출된 객체의 분류에 기초하여 상기 차량의 하나 이상의 시스템으로 하여금 상기 주행 액션을 수행하게 할지 여부를 결정하도록
    구성되는, 외부 감지 시스템.
  2. 제1항에 있어서, 상기 검출된 객체의 분류는 상기 검출된 객체의 사이즈, 근접도 또는 방위(orientation) 중 적어도 하나의 것의 결정을 포함하는, 외부 감지 시스템.
  3. 제1항에 있어서, 상기 이미지 센서는 상기 검출된 객체에 의해 차지되는 최소 임계 부피를 관찰하도록 구성되는, 외부 감지 시스템.
  4. 제3항에 있어서, 상기 최소 임계 부피는 상기 검출된 객체를 둘러싸는 3D 형상의 적어도 50%인, 외부 감지 시스템.
  5. 제1항에 있어서, 상기 이미지 센서는 상기 라이다 센서로부터 0.3미터 이하에 배치되는, 외부 감지 시스템.
  6. 제1항에 있어서, 상기 이미지 센서 및 상기 라이다 센서는 상기 차량의 외부 표면에 배열되는 것과 동일한 센서 하우징 내에 배치되는, 외부 감지 시스템.
  7. 삭제
  8. 제1항에 있어서, 상기 이미지 센서의 렌즈는 소수성 코팅을 갖는, 외부 감지 시스템.
  9. 제1항에 있어서, 상기 이미지 센서는 근거리 감지 카메라 시스템(close sensing camera system)의 일부이고, 상기 근거리 감지 카메라 시스템은 상기 이미지 센서의 시야를 조명하도록 구성되는 적어도 하나의 조명기를 추가로 포함하고, 상기 적어도 하나의 조명기는 상기 라이다 센서와 별개인, 외부 감지 시스템.
  10. 제9항에 있어서, 상기 적어도 하나의 조명기는 상기 이미지 센서의 측면에 인접하게 배열되는, 외부 감지 시스템.
  11. 제9항에 있어서, 상기 적어도 하나의 조명기는 상기 이미지 센서 위에 배열되는, 외부 감지 시스템.
  12. 제9항에 있어서, 상기 적어도 하나의 조명기는 상기 이미지 센서의 대향하는 측면들에 배열되는 조명기들의 쌍을 포함하는, 외부 감지 시스템.
  13. 제9항에 있어서, 상기 근거리 감지 카메라 시스템은 상기 이미지 센서 또는 상기 적어도 하나의 조명기 중 적어도 하나를 세정하도록 구성되는 적어도 하나의 세정 메커니즘(cleaning mechanism)을 추가로 포함하는, 외부 감지 시스템.
  14. 제1항에 있어서, 상기 이미지 센서는 상기 라이다 센서 아래에 수직으로 정렬되는, 외부 감지 시스템.
  15. 제1항에 있어서, 상기 이미지 센서는 상기 라이다 센서 위에 수직으로 정렬되는, 외부 감지 시스템.
  16. 자율 주행 모드에서 동작하도록 구성되는 차량으로서,
    주행 시스템 - 상기 주행 시스템은,
    상기 차량의 제동을 제어하도록 구성되는 감속 시스템;
    상기 차량의 가속을 제어하도록 구성되는 가속 시스템; 및
    휠 방위 및 상기 차량의 방향을 제어하도록 구성되는 스티어링 시스템
    을 포함함 -; 및
    외부 감지 시스템
    을 포함하고, 상기 외부 감지 시스템은,
    상기 차량으로부터 3미터 이하의 임계 거리 내에서 적어도 상기 차량 주위의 외부 환경의 영역에서 객체들을 검출하도록 구성되는 제1 시야를 갖는 라이다 센서;
    상기 라이다 센서에 인접하게 배치되고 상기 차량의 임계 거리 내에서 상기 외부 환경의 영역의 제2 시야를 갖도록 상기 차량을 따라 배열되는 이미지 센서 - 상기 제2 시야는 제1 영역 및 제2 영역을 갖고, 상기 제1 영역은 상기 제1 시야와 중첩되고 상기 제2 영역은 상기 제1 시야 내에 있지 않은 상기 임계 거리 내에서 상기 차량의 바로 인근을 커버하도록 지향되고, 상기 이미지 센서는 상기 바로 인근 내의 객체들의 분류에 대해 선택된 해상도를 제공함 -; 및
    상기 이미지 센서 및 상기 라이다 센서에 동작 가능하게 커플링되는 제어 시스템
    을 포함하고,
    상기 제어 시스템은 하나 이상의 프로세서를 포함하고, 상기 하나 이상의 프로세서는,
    상기 차량의 임계 거리 내의 영역에서 라이다 데이터를 획득하기 위해 상기 라이다 센서의 동작을 개시하고,
    상기 주행 시스템이 주행 액션을 수행하기 전에 상기 이미지 센서에 의해 이미지 캡처를 개시하고,
    상기 라이다 센서로부터 상기 라이다 데이터를 그리고 상기 이미지 센서로부터 캡처된 이미저리를 수신하고,
    상기 라이다 데이터의 프로세싱을 수행하여 상기 차량의 임계 거리 내의 영역에서 객체를 검출하고,
    상기 캡처된 이미저리의 프로세싱을 수행하여 상기 검출된 객체를 분류하고,
    상기 검출된 객체의 분류에 기초하여 상기 차량의 하나 이상의 시스템으로 하여금 상기 주행 액션을 수행하게 할지 여부를 결정하도록
    구성되는, 차량.
  17. 제16항에 있어서, 상기 이미지 센서는 상기 검출된 객체에 의해 차지되는 최소 임계 부피를 관찰하도록 구성되는, 차량.
  18. 제16항에 있어서, 상기 이미지 센서는 상기 라이다 센서로부터 0.3미터 이하에 배치되는, 차량.
  19. 제16항에 있어서, 상기 이미지 센서 및 상기 라이다 센서는 상기 차량의 외부 표면에 배열되는 것과 동일한 센서 하우징 내에 배치되는, 차량.
  20. 방법으로서,
    자율 주행 모드에서 동작하도록 구성되는 차량의 제어 시스템에 의해, 상기 차량 주위의 영역에서 3미터 이하의 임계 거리 내의 라이다 데이터를 획득하기 위해 상기 차량의 인지 시스템(perception system)의 라이다 센서의 동작을 개시하는 단계 - 상기 라이다 센서는 제1 시야를 가짐 -;
    상기 제어 시스템에 의해, 상기 차량이 주행 액션을 수행하기 전에 상기 인지 시스템의 이미지 센서에 의해 이미지 캡처를 개시하는 단계 - 상기 이미지 센서는 상기 라이다 센서에 인접하게 배치되고 상기 임계 거리 내에서 상기 차량 주위의 영역의 제2 시야를 갖도록 상기 차량을 따라 배열되고, 상기 제2 시야는 제1 영역 및 제2 영역을 갖고, 상기 제1 영역은 상기 제1 시야와 중첩되고 상기 제2 영역은 상기 제1 시야 내에 있지 않은 상기 임계 거리 내에서 상기 차량의 바로 인근을 커버하도록 지향되고, 상기 이미지 센서는 상기 바로 인근 내의 객체들의 분류에 대해 선택된 해상도를 제공함 -;
    상기 제어 시스템에 의해, 상기 라이다 센서로부터 상기 라이다 데이터를 그리고 상기 이미지 센서로부터 캡처된 이미저리를 수신하는 단계;
    상기 제어 시스템에 의해, 상기 라이다 데이터를 프로세싱하여 상기 차량의 임계 거리 내의 영역에서 객체를 검출하는 단계;
    상기 제어 시스템에 의해, 상기 캡처된 이미저리를 프로세싱하여 상기 검출된 객체를 분류하는 단계; 및
    상기 제어 시스템에 의해, 상기 검출된 객체의 분류에 기초하여 상기 차량의 하나 이상의 시스템으로 하여금 상기 주행 액션을 수행하게 할지 여부를 결정하는 단계
    를 포함하는, 방법.
  21. 제20항에 있어서, 상기 검출된 객체의 분류는 상기 검출된 객체의 사이즈, 근접도 또는 방위 중 적어도 하나의 것의 결정을 포함하는, 방법.
KR1020227021850A 2019-12-30 2020-11-19 근접 감지 카메라 시스템 KR102665624B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962954930P 2019-12-30 2019-12-30
US62/954,930 2019-12-30
US16/737,263 2020-01-08
US16/737,263 US11557127B2 (en) 2019-12-30 2020-01-08 Close-in sensing camera system
PCT/US2020/061260 WO2021137964A1 (en) 2019-12-30 2020-11-19 Close-in sensing camera system

Publications (2)

Publication Number Publication Date
KR20220102658A KR20220102658A (ko) 2022-07-20
KR102665624B1 true KR102665624B1 (ko) 2024-05-20

Family

ID=76547020

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227021850A KR102665624B1 (ko) 2019-12-30 2020-11-19 근접 감지 카메라 시스템

Country Status (7)

Country Link
US (3) US11557127B2 (ko)
EP (1) EP4061683A4 (ko)
JP (1) JP7454674B2 (ko)
KR (1) KR102665624B1 (ko)
CN (1) CN115066360A (ko)
CA (1) CA3164984A1 (ko)
WO (1) WO2021137964A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11247616B2 (en) * 2019-07-25 2022-02-15 Ford Global Technologies, Llc Sensor airflow apparatus
US11453348B2 (en) * 2020-04-14 2022-09-27 Gm Cruise Holdings Llc Polyhedral sensor calibration target for calibrating multiple types of sensors
US11743564B2 (en) * 2020-10-22 2023-08-29 Uatc, Llc Sensor platform for autonomous vehicles
JP7283461B2 (ja) * 2020-11-19 2023-05-30 トヨタ自動車株式会社 車両制御装置
CN112455353A (zh) * 2021-01-07 2021-03-09 蔚来汽车科技(安徽)有限公司 一种支架、支架总成、车顶装置以及车辆
CN112671499B (zh) * 2021-03-16 2022-04-01 深圳安途智行科技有限公司 多传感器同步方法及系统、以及主控制设备
US20230202395A1 (en) * 2021-12-23 2023-06-29 Stoneridge Electronics Ab Camera monitor system including integrated range sensor
US12008681B2 (en) * 2022-04-07 2024-06-11 Gm Technology Operations Llc Systems and methods for testing vehicle systems
US20240059311A1 (en) * 2022-08-18 2024-02-22 Gm Cruise Holdings Llc Automated window closure
US20240106987A1 (en) * 2022-09-20 2024-03-28 Waymo Llc Multi-Sensor Assembly with Improved Backward View of a Vehicle
WO2024119169A2 (en) * 2022-12-02 2024-06-06 United Sensing Technology Inc Lens assembly for a vehicle camera and method of designing the same

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170176597A1 (en) * 2015-03-25 2017-06-22 Google Inc. Vehicle with Multiple Light Detection and Ranging Devices (LIDARs)
CN108189777A (zh) * 2017-12-27 2018-06-22 江苏远洋车灯有限公司 一种带有全景摄像的车灯
US20190139258A1 (en) * 2017-11-08 2019-05-09 Worldcam Llc Determining vehicle dwell time within predetermined zones

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7796081B2 (en) 1997-10-22 2010-09-14 Intelligent Technologies International, Inc. Combined imaging and distance monitoring for vehicular applications
JP4312880B2 (ja) 1999-06-03 2009-08-12 エルベックスビデオ株式会社 テレビカメラ
JP4285092B2 (ja) 2003-05-23 2009-06-24 市光工業株式会社 カメラユニット付きアウターミラー
WO2005088962A1 (ja) 2004-03-16 2005-09-22 Hiroshi Arisawa 追尾装置、及びモーションキャプチャ装置
JP2007187618A (ja) 2006-01-16 2007-07-26 Omron Corp 物体識別装置
US8330647B2 (en) * 2006-06-08 2012-12-11 Vista Research, Inc. Sensor suite and signal processing for border surveillance
US20100157280A1 (en) * 2008-12-19 2010-06-24 Ambercore Software Inc. Method and system for aligning a line scan camera with a lidar scanner for real time data fusion in three dimensions
DE102009002626A1 (de) 2009-04-24 2010-10-28 Robert Bosch Gmbh Sensoranordnung für Fahrerassistenzsysteme in Kraftfahrzeugen
US9495876B2 (en) * 2009-07-27 2016-11-15 Magna Electronics Inc. Vehicular camera with on-board microcontroller
MX2012008878A (es) 2010-02-01 2012-11-06 Youngkook Electronics Co Ltd Dispositivo de camara de seguimiento y supervision y sistema remoto de supervision que usa el mismo.
IL204089A (en) * 2010-02-21 2014-06-30 Elbit Systems Ltd A method and system for detection and tracking based on frequency multiplicity and multiplicity
US8671504B2 (en) * 2010-04-28 2014-03-18 Denso Corporation Cover of vehicle optical sensor and vehicle optical sensor device
KR101030763B1 (ko) 2010-10-01 2011-04-26 위재영 이미지 획득 유닛, 방법 및 연관된 제어 유닛
US8958911B2 (en) 2012-02-29 2015-02-17 Irobot Corporation Mobile robot
CN103608696B (zh) 2012-05-22 2016-05-11 韩国生产技术研究院 3d扫描系统和获得3d图像的方法
US9234618B1 (en) 2012-09-27 2016-01-12 Google Inc. Characterizing optically reflective features via hyper-spectral sensor
GB201303076D0 (en) * 2013-02-21 2013-04-10 Isis Innovation Generation of 3D models of an environment
US9831630B2 (en) 2014-02-06 2017-11-28 GM Global Technology Operations LLC Low cost small size LiDAR for automotive
JP6645984B2 (ja) 2014-04-16 2020-02-14 ディエルエイチ・ボウルズ・インコーポレイテッドｄｌｈＢＯＷＬＥＳ Ｉｎｃ． 画像センサの支持部及びレンズの統合的洗浄アセンブリ
KR101644370B1 (ko) * 2014-10-23 2016-08-01 현대모비스 주식회사 물체 검출 장치 및 그 동작 방법
KR101957794B1 (ko) * 2015-10-05 2019-03-13 엘지전자 주식회사 카메라 모듈 및 카메라 모듈의 결로방지 시스템
US10254215B2 (en) * 2016-04-07 2019-04-09 Verifood, Ltd. Spectrometry system applications
US20170297488A1 (en) 2016-04-19 2017-10-19 GM Global Technology Operations LLC Surround view camera system for object detection and tracking
CN107444264A (zh) * 2016-05-31 2017-12-08 法拉第未来公司 使用相机检测车辆附近的物体
US20170357267A1 (en) 2016-06-10 2017-12-14 Cnh Industrial America Llc Autonomous work vehicle obstacle detection system
US10093311B2 (en) * 2016-07-06 2018-10-09 Waymo Llc Testing predictions for autonomous vehicles
WO2018017395A1 (en) 2016-07-18 2018-01-25 Uber Technologies, Inc. Sensor cleaning system for vehicles
US10203696B2 (en) * 2016-07-26 2019-02-12 Waymo Llc Determining drivability of objects for autonomous vehicles
US20180032822A1 (en) 2016-08-01 2018-02-01 Ford Global Technologies, Llc Vehicle exterior monitoring
KR102462502B1 (ko) 2016-08-16 2022-11-02 삼성전자주식회사 스테레오 카메라 기반의 자율 주행 방법 및 그 장치
US10852418B2 (en) 2016-08-24 2020-12-01 Magna Electronics Inc. Vehicle sensor with integrated radar and image sensors
US10210760B2 (en) * 2016-09-21 2019-02-19 Dura Operating, Llc System and method for autonomous parking of a vehicle
US20180095473A1 (en) 2016-10-03 2018-04-05 Navya Autonomous electric vehicle for transportation of goods and/or people
CN110036308B (zh) 2016-12-06 2023-04-18 本田技研工业株式会社 车辆周边信息获取装置以及车辆
EP3545337B1 (en) 2017-01-26 2024-07-03 Mobileye Vision Technologies Ltd. Vehicle navigation based on aligned image and lidar information
US10406972B2 (en) 2017-02-24 2019-09-10 Tesla, Inc. Vehicle technologies for automated turn signaling
US20180288320A1 (en) * 2017-04-03 2018-10-04 Uber Technologies, Inc. Camera Fields of View for Object Detection
US10677897B2 (en) 2017-04-14 2020-06-09 Luminar Technologies, Inc. Combining lidar and camera data
WO2018196001A1 (en) 2017-04-28 2018-11-01 SZ DJI Technology Co., Ltd. Sensing assembly for autonomous driving
US20180372875A1 (en) 2017-06-27 2018-12-27 Uber Technologies, Inc. Sensor configuration for an autonomous semi-truck
US10447973B2 (en) 2017-08-08 2019-10-15 Waymo Llc Rotating LIDAR with co-aligned imager
KR102058050B1 (ko) 2017-08-16 2019-12-20 엘지전자 주식회사 운행 보조 시스템 및 차량
US10523880B2 (en) 2017-09-28 2019-12-31 Waymo Llc Synchronized spinning LIDAR and rolling shutter camera system
CN109709530A (zh) 2017-10-26 2019-05-03 株式会社小糸制作所 传感系统及车辆
GB2569654B (en) 2017-12-22 2022-09-07 Sportlight Tech Ltd Apparatusses, systems and methods for object tracking
US20190204845A1 (en) 2017-12-29 2019-07-04 Waymo Llc Sensor integration for large autonomous vehicles
JP6947849B2 (ja) 2018-01-18 2021-10-13 本田技研工業株式会社 車両制御装置
CN108332716A (zh) 2018-02-07 2018-07-27 徐州艾特卡电子科技有限公司 一种自动驾驶汽车环境感知系统
JP2019158662A (ja) 2018-03-14 2019-09-19 トヨタ自動車株式会社 物標認識装置及び車両走行制御システム
JP6926020B2 (ja) 2018-03-29 2021-08-25 ヤンマーパワーテクノロジー株式会社 障害物検知システム
CN208238805U (zh) 2018-03-30 2018-12-14 郑州宇通客车股份有限公司 一种自动驾驶客车环境感知系统及自动驾驶客车
CN111971724B (zh) 2018-04-24 2022-05-10 三菱电机株式会社 行动选择装置、计算机能读取的存储介质和行动选择方法
US11181619B2 (en) 2018-06-14 2021-11-23 Waymo Llc Camera ring structure for autonomous vehicles
DE102018004782A1 (de) * 2018-06-15 2019-12-19 Daimler Ag Verfahren und Vorrichtung zum Erfassen einer Umgebung, sowie Fahrzeug mit einer solchen Vorrichtung
CN109308714A (zh) 2018-08-29 2019-02-05 清华大学苏州汽车研究院（吴江） 基于分类惩罚的摄像头和激光雷达信息配准方法
US10674052B1 (en) 2018-12-12 2020-06-02 Valeo North America, Inc. Common cover lens for camera and illuminators
KR101998298B1 (ko) 2018-12-14 2019-07-09 위고코리아 주식회사 카메라 및 라이다 센서를 이용한 차량 자율주행방법
US10793094B2 (en) * 2019-02-20 2020-10-06 Ford Global Technologies, Llc Communication grille assembly
US11161502B2 (en) * 2019-08-13 2021-11-02 Zoox, Inc. Cost-based path determination

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170176597A1 (en) * 2015-03-25 2017-06-22 Google Inc. Vehicle with Multiple Light Detection and Ranging Devices (LIDARs)
US20190139258A1 (en) * 2017-11-08 2019-05-09 Worldcam Llc Determining vehicle dwell time within predetermined zones
CN108189777A (zh) * 2017-12-27 2018-06-22 江苏远洋车灯有限公司 一种带有全景摄像的车灯

Also Published As

Publication number Publication date
WO2021137964A1 (en) 2021-07-08
US11557127B2 (en) 2023-01-17
US11887378B2 (en) 2024-01-30
KR20220102658A (ko) 2022-07-20
EP4061683A4 (en) 2023-12-06
JP7454674B2 (ja) 2024-03-22
US20210201054A1 (en) 2021-07-01
JP2023507940A (ja) 2023-02-28
US20230186643A1 (en) 2023-06-15
EP4061683A1 (en) 2022-09-28
US20240144697A1 (en) 2024-05-02
CA3164984A1 (en) 2021-07-08
CN115066360A (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
KR102649924B1 (ko) 주변 센서 하우징
KR102665624B1 (ko) 근접 감지 카메라 시스템
US11772719B2 (en) Efficient autonomous trucks
US11822011B2 (en) Mirrors to extend sensor field of view in self-driving vehicles
CN111566511A (zh) 大型自主车辆的传感器集成
US20210109523A1 (en) Sensor field of view in a self-driving vehicle

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant