KR102452887B1 - 자율 차량들을 위한 카메라 링 구조체 - Google Patents

자율 차량들을 위한 카메라 링 구조체 Download PDF

Info

Publication number
KR102452887B1
KR102452887B1 KR1020207035483A KR20207035483A KR102452887B1 KR 102452887 B1 KR102452887 B1 KR 102452887B1 KR 1020207035483 A KR1020207035483 A KR 1020207035483A KR 20207035483 A KR20207035483 A KR 20207035483A KR 102452887 B1 KR102452887 B1 KR 102452887B1
Authority
KR
South Korea
Prior art keywords
camera
subset
vehicle
sensor
image sensors
Prior art date
Application number
KR1020207035483A
Other languages
English (en)
Other versions
KR20200144147A (ko
Inventor
킴벌리 제네바 토쓰
브랜든 허말린
셰인 맥과이어
펠릭스 호세 알바레즈 리베라
제레미 디트머
안드레아스 웬델
Original Assignee
웨이모 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 웨이모 엘엘씨 filed Critical 웨이모 엘엘씨
Publication of KR20200144147A publication Critical patent/KR20200144147A/ko
Application granted granted Critical
Publication of KR102452887B1 publication Critical patent/KR102452887B1/ko

Links

Images

Classifications

    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4813—Housing arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/52—Elements optimising image sensor operation, e.g. for electromagnetic interference [EMI] protection or temperature control by heat transfer or cooling elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/23238—
    • H04N5/247—
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K9/00—Screening of apparatus or components against electric or magnetic fields
    • H05K9/0073—Shielding materials
    • H05K9/0081—Electromagnetic shielding materials, e.g. EMI, RFI shielding
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Cameras Adapted For Combination With Other Photographic Or Optical Apparatuses (AREA)
  • Cameras In General (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

기술은 차량의 주변들에서의 객체들 및 특징부들을 검출하기 위하여 지각 시스템(224)을 이용하는 자율 차량들에 관한 것이다. 지각 시스템에 차량 주위의 전체적인 360° 시야를 부여하는, 링-유형 구조체를 가지는 카메라 조립체(310)가 제공된다. 이미지 센서들은 심리스 파노라마 시야를 제공하기 위하여 조립체 주위의 카메라 모듈들에서 배열된다. 하나의 서브시스템은 전체적인 360° 시야를 제공하도록 위치결정된 다수의 쌍들의 이미지 센서들(402, 404)을 가지는 반면, 또 다른 서브시스템은 증대된 객체 식별을 제공하기 위하여 차량의 전방을 향해 일반적으로 대면하는 이미지 센서들(406)의 세트를 제공한다. 카메라 조립체는 차량의 상단 상에 위치된 하우징(302)에서 배열될 수 있다. 하우징은 LIDAR 및 레이더와 같은 다른 센서들(306, 308)을 포함할 수 있다. 조립체는 하우징에서 배치된 다른 센서들로부터의 EMI 보호를 제공할 수 있는 샤시(1002) 및 상단(1004) 및 기저 판들(1102)을 포함한다.

Description

자율 차량들을 위한 카메라 링 구조체
관련 출원들에 대한 상호 참조
이 출원은 2018년 6월 14일자로 출원된 미국 특허 출원 제16/008,462호의 출원일의 이익을 주장하고, 이 미국 특허 출원의 개시내용은 참조에 의해 본원에 편입된다.
자율 차량들, 특히, 인간 운전자를 요구하지 않는 차량들은 승객들, 화물, 또는 다른 항목들을 하나의 위치로부터 또 다른 위치로 수송하기 위하여 이용될 수 있다. 이러한 차량들은 승객으로부터의 임의의 운전 입력을 갖지 않는 완전 자율 모드, 또는 차량에서의 사람이 일부 운전 입력을 제공할 수 있는 부분적 자율 모드에서 동작할 수 있다. 자율 모드에서의 운전을 보조하기 위하여, 센서들은 차량 주위의 환경에서 특징부들 및 객체들을 검출하기 위하여 이용된다. 센서들은 주변 환경에 대한 정보를 수집하기 위하여 차량 주변의 상이한 위치들에서 하나 이상의 카메라들을 포함할 수 있다. 그러나, 이용된 카메라들의 유형들, 그 배치, 및 감지 능력들은 차량이 부분적 또는 완전 자율 모드에서 효과적으로 동작할 수 있는지 여부에 영향을 줄 수 있다.
개시내용의 양태들은 자율 운전 모드에서 동작하도록 구성된 차량들을 위하여 특히 유익한 카메라 링 구조체를 제공한다. 카메라 링 구조체는 차량 주위의 심리스(seamless) 및 막힘 없는 시야(field of view)들을 제공하도록 설계된 카메라 조립체에서 다양한 이미지 센서들을 공동-위치(co-locate)시킨다. 구조체는 희망된 공차들 내에서 이미지 센서 동작을 보장하기 위하여 기계적 강성도(stiffness) 및 감쇠(dampening)를 또한 제공한다. 다른 유형들의 센서들은 포괄적 센서 시스템의 일부로서, 카메라 이미지 센서들과 공동-위치될 수 있다. 구조체는 예를 들어, 광 검출 및 레인징(light detection and ranging)(LIDAR) 센서들 및 레이더 센서들과 같은 다른 센서들로부터의 전자기 간섭(electromagnetic interference)(EMI)에 대한 보호를 제공할 수 있다. 추가적으로, 구조체는 열적 히트싱크(thermal heatsink)를 포함할 수 있거나, 그렇지 않을 경우에는, 온도 조절의 정도를 센서 시스템의 카메라들 및 다른 컴포넌트들에 제공할 수 있다.
하나의 양태에 따르면, 카메라 조립체는 자율 운전 모드에서 동작하도록 구성된 차량 상에서의 이용을 위하여 제공된다. 카메라 조립체는 제1 면 및 제2 면을 가지는 샤시(chassis), 및 샤시의 제2 면에 고착된 상단 판(top plate)을 포함한다. 샤시는 샤시를 따라 분포되고 제2 면으로부터 멀어지도록 연장되는 일련의 카메라 마운트(camera mount)들을 포함한다. 카메라 모듈들의 세트는 일련의 카메라 마운트들 중의 하나에 각각 고착된다. 카메라 모듈들의 세트는 제1 서브세트 및 제2 서브세트를 포함한다. 제1 서브세트의 카메라 모듈들은 각각 한 쌍의 이미지 센서들을 포함하고, 제2 서브세트의 카메라 모듈들은 각각 하나의 이미지 센서를 포함한다. 제1 서브세트의 카메라 모듈들은 차량 주위의 360° 시야를 제공하도록 배열된다. 카메라 조립체는 카메라 모듈들의 세트에 고착된 기저 판(base plate), 및 상단 판과 기저 판 사이에서 배치된 외부 커버를 또한 포함한다. 외부 커버는 제1 및 제2 서브세트들의 이미지 센서들의 시야들에 대응하는 일련의 개방부들을 포함한다. 제2 서브세트의 카메라 모듈들은 차량의 전방을 따라 60 내지 135° 사이의 시야를 제공하도록 배열될 수 있다.
하나의 예에서, 제1 서브세트의 각 개개의 카메라 모듈에서의 한 쌍의 이미지 센서들은 공동-위치되고, 공통 수직 축을 따라 정렬된다. 여기서, 한 쌍의 이미지 센서들의 둘다의 이미지 센서들은 실질적으로 동등한 시야들을 가질 수 있다. 이 경우에, 실질적으로 동등한 시야들은 대략 45°일 수 있다.
또 다른 예에서, 제1 서브세트에서의 각각의 카메라 모듈의 이미지 센서들은 제1 서브세트의 각각의 인접한 카메라 모듈로부터의 이미지 센서들과의 중첩하는 시야들을 가지고, 제2 서브세트에서의 각각의 카메라 모듈의 이미지 센서는 제2 서브세트의 각각의 인접한 카메라 모듈로부터의 이미지 센서와의 중첩하는 시야들을 가진다. 이 경우에, 카메라 모듈들의 제1 서브세트의 이미지 센서들에 대한 중첩하는 시야들은 0.5 내지 4° 사이일 수 있고, 카메라 모듈들의 제2 서브세트의 이미지 센서들에 대한 중첩하는 시야들은 3 내지 4° 사이일 수 있다.
상단 판, 기저 판, 및 외부 커버는 다른 센서들에 의한 방출들로부터의 카메라 모듈들을 위한 전자기 간섭 보호, 및 카메라 모듈들에 의한 방출들로부터의 다른 센서들을 위한 전자기 간섭 보호 중의 적어도 하나를 제공하도록 구성될 수 있다. 카메라 조립체는 상단 판과 기저 판 사이에서 배치된 적어도 하나의 팬(fan)을 또한 포함할 수 있다.
또 다른 양태에 따르면, 자율 운전 모드에서 동작하도록 구성된 차량 상에서의 이용을 위한 센서 조립체가 제공된다. 센서 조립체는 차량의 표면에 부착하도록 구성된 기저 영역, 기저 영역에 대향하는 상단 영역, 및 기저 영역과 상단 영역 사이에서 연장되는 측벽을 가지는 하우징(housing)을 포함한다. 제1 센서는 하우징 내에 배치된다. 카메라 조립체는 하우징 내에서 배치되고 측벽에 결합된다. 카메라 조립체는 제1 면 및 제2 면을 가지는 샤시를 포함한다. 샤시는 샤시를 따라 분포되고 제2 면으로부터 멀어지도록 연장되는 일련의 카메라 마운트들을 포함한다. 상단 판은 샤시의 제2 면에 고착된다. 카메라 모듈들의 세트는 일련의 카메라 마운트들 중의 하나에 각각 고착되고, 카메라 모듈들의 세트는 제1 서브세트 및 제2 서브세트를 포함한다. 제1 서브세트의 카메라 모듈들은 각각 한 쌍의 이미지 센서들을 포함하고, 제2 서브세트의 카메라 모듈들은 각각 하나의 이미지 센서를 포함한다. 제1 서브세트의 카메라 모듈들은 차량 주위의 360° 시야를 제공하도록 배열된다. 기저 판은 카메라 모듈들의 세트에 고착된다. 그리고 외부 커버는 상단 판과 기저 판 사이에서 배치된다. 외부 커버는 제1 및 제2 서브세트들의 이미지 센서들의 시야들에 대응하는 일련의 개방부들을 포함한다.
하나의 대안에서는, 센서 조립체가 하우징 내에서 배치된 제2 센서를 더 포함한다. 제1 센서는 카메라 조립체의 상단 판과 하우징의 상단 영역 사이에서 배열되고, 제2 센서는 카메라 조립체의 기저 판과 하우징의 기저 영역 사이에서 배열된다. 제1 및 제2 센서들 중의 적어도 하나는 광 검출 및 레인징(LIDAR) 센서일 수 있다.
하나의 예에서, 카메라 모듈들의 세트에 인접한 측벽의 적어도 부분은 광학적으로 투명하다. 또 다른 예에서, 센서 조립체는 하우징 내에서 배치된 하나 이상의 프로세서들을 더 포함한다. 하나 이상의 프로세서들은 제1 센서 및 카메라 모듈들의 제1 및 제2 서브세트들에 동작가능하게 결합된다.
추가의 양태에 따르면, 자율 모드에서 동작하도록 구성된 차량이 제공된다. 차량은 운전 동작들을 수행하도록 구성된 운전 시스템, 차량을 포위하는 환경에서 객체들을 검출하도록 구성된 지각 시스템(perception system), 및 운전 시스템 및 지각 시스템에 동작가능하게 결합된 제어 시스템을 포함한다. 제어 시스템은 지각 시스템으로부터 데이터를 수신하고 자율 모드에서 동작할 때에 운전 시스템을 지시하도록 구성된 하나 이상의 컴퓨터 프로세서들을 가진다. 지각 시스템은, 제1 면 및 제2 면을 가지는 샤시 및 샤시의 제2 면에 고착된 상단 판을 포함하는 카메라 조립체를 포함한다. 샤시는 샤시를 따라 분포되고 제2 면으로부터 멀어지도록 연장되는 일련의 카메라 마운트들을 포함한다. 카메라 조립체는 일련의 카메라 마운트들 중의 하나에 각각 고착된 카메라 모듈들의 세트를 또한 포함한다. 카메라 모듈들의 세트는 제1 서브세트 및 제2 서브세트를 포함한다. 제1 서브세트의 카메라 모듈들은 각각 한 쌍의 이미지 센서들을 포함하고, 제2 서브세트의 카메라 모듈들은 각각 하나의 이미지 센서를 포함한다. 제1 서브세트의 카메라 모듈들은 차량 주위의 360° 시야를 제공하도록 배열된다. 추가적으로, 기저 판은 카메라 모듈들의 세트에 고착되고, 외부 커버는 상단 판과 기저 판 사이에서 배치된다. 외부 커버는 제1 및 제2 서브세트들의 이미지 센서들의 시야들에 대응하는 일련의 개방부들을 포함한다.
하나의 예에서, 제2 서브세트의 카메라 모듈들은 차량의 전방을 따라 60 내지 135° 사이의 시야를 제공하도록 배열된다. 또 다른 예에서, 제1 서브세트의 각 개개의 카메라 모듈에서의 한 쌍의 이미지 센서들은 공동-위치되고, 공통 수직 축을 따라 정렬된다.
추가의 예에서, 제1 서브세트에서의 각각의 카메라 모듈의 이미지 센서들은 제1 서브세트의 각각의 인접한 카메라 모듈로부터의 이미지 센서들과의 중첩하는 시야들을 가지고, 제2 서브세트에서의 각각의 카메라 모듈의 이미지 센서는 제2 서브세트의 각각의 인접한 카메라 모듈로부터의 이미지 센서와의 중첩하는 시야들을 가진다.
또 다른 예에서, 지각 시스템은 차량의 지붕에 부착하도록 구성된 기저 영역, 기저 영역에 대향하는 상단 영역, 및 기저 영역과 상단 영역 사이에서 연장되는 측벽을 가지는 하우징을 더 포함한다. 지각 시스템은 하우징 내에서 배치된 제1 센서를 또한 포함한다. 카메라 조립체는 하우징 내에서 배치되고 측벽에 결합된다. 이 경우에, 지각 시스템은 하우징 내에서 배치된 제2 센서를 더 포함할 수 있다. 여기서, 제1 센서는 카메라 조립체의 상단 판과 하우징의 상단 영역 사이에서 배열되고, 제2 센서는 카메라 조립체의 기저 판과 하우징의 기저 영역 사이에서 배열된다.
도 1은 개시내용의 양태들에 따른 카메라 링 구조체들과의 이용을 위한 일 예의 자율 차량을 예시한다.
도 2는 개시내용의 양태들에 따라, 자율 차량의 시스템 도면을 예시한다.
도 3은 개시내용의 양태들에 따라, 일 예의 센서 조립체를 예시한다.
도 4는 개시내용의 양태들에 따라, 카메라 링 구조체에서의 이용을 위한 이미지 센서들의 배열을 예시한다.
도 5a 내지 도 5b는 개시내용의 양태들에 따라, 다양한 유형들의 이미지 센서들의 시야들을 예시한다.
도 6a 내지 도 6c는 개시내용의 양태들에 따라, 중첩하는 시야들을 예시한다.
도 7a 내지 도 7b는 개시내용의 양태들에 따라, 카메라 조립체의 도면들을 예시한다.
도 8a 내지 도 8b는 개시내용의 양태들에 따라, 카메라 모듈을 예시한다.
도 9a 내지 도 9b는 카메라 모듈의 피치(pitch) 및 롤(roll)을 예시한다.
도 10a 내지 도 10c는 개시내용의 양태들에 따라, 카메라 조립체의 부분들을 예시한다.
도 11a 내지 도 11c는 개시내용의 양태들에 따라, 도 10a 내지 도 10c의 카메라 조립체의 추가의 엘리먼트들을 예시한다.
도 12a 내지 도 12b는 개시내용의 양태들에 따라, 카메라 조립체의 샤시 및 상단 판을 예시한다.
도 13a 내지 도 13c는 개시내용의 양태들에 따라, 기저 판을 예시한다.
도 14a 내지 도 14c는 개시내용의 양태들에 따라, 카메라 조립체의 엘리먼트들을 갖는 센서 하우징을 예시한다.
개요
기술은 완전 자율 또는 반-자율 모드에서 운전하면서, 위치들 사이에서 사람, 화물, 또는 다른 항목들을 수송할 수 있는 차량들에 관한 것이다. 개시내용의 어떤 양태들은 특정 유형들의 차량들과 관련하여 특히 유용하지만, 기술은 승용차들, 트럭들, 오토바이들, 버스들, 보트들, 잔디깍기 기계들, 레저 차량들, 농장 장비, 건설 장비, 트램(tram)들, 골프 카트들, 트롤리(trolley)들 등을 포함하지만, 이것으로 제한되지는 않는 다양한 유형들의 차량들로 채용될 수 있다.
부분적 또는 완전 자율 운전 시스템을 가지는 차량에 의해 채용될 수 있는 상이한 자율성의 정도들이 있다. 미국 도로교통 안전국(U.S. National Highway Traffic Safety Administration) 및 자동차 공학자들 협회(Society of Automotive Engineers)는 차량이 얼마나 많이 또는 얼마나 적게 운전을 제어하는지를 표시하기 위한 상이한 레벨들을 식별하였다. 예를 들어, 레벨 0은 자동화를 가지지 않고, 운전자는 모든 운전-관련된 판정들을 행한다. 최저 반-자율 모드, 레벨 1은 크루즈 제어(cruise control)와 같은 일부 운전 보조를 포함한다. 여기서, 진보된 운전자 보조 시스템(advanced driver assistance system)(ADAS)은 조향 또는 제동/가속의 어느 하나로, 그러나 동시에 둘다는 아닌 것으로 인간 운전자를 보조할 수 있다. 레벨 2는 어떤 운전 동작들의 부분적인 자동화를 가진다. 특히, ADAS는 어떤 상황들 하에서 조향 및 제동/가속의 둘다를 동시에 제어할 수 있다. 그럼에도 불구하고, 운전자는 이러한 상황들에서 운전 환경을 모니터링해야 하고, 운전 작업(들)의 나머지를 수행해야 한다. 레벨 3은 운전자의 좌석에서의 사람이 보증된 바와 같이 제어를 행하는 것을 가능하게 할 수 있는 조건적 자동화를 수반한다. 여기서, 차량의 자동화된 운전 시스템(Automated Driving System)(ADS)은 어떤 상황들 하에서 운전의 모든 양태들을 수행하도록 구성된다. 이 경우에, 운전자는 그렇게 행하도록 ADS에 의해 요청될 때에 언제든지 제어를 행할 수 있어야 한다. 모든 다른 상황들에서, 운전자는 운전을 수행한다. 대조적으로, 레벨 4는 차량이 선택 조건들에서의 보조 없이 운전할 수 있는 높은 자동화 레벨이다. 여기서, ADS는 모든 운전 동작들을 수행하고, 특정한 상황들에서 운전 환경을 모니터링한다. 그리고 레벨 5는 차량이 승객 보조 없이 모든 상황들에서 모든 운전 동작들을 수행할 수 있는 완전 자율 모드이다. 본원에서 설명된 아키텍처들, 컴포넌트들, 시스템들, 및 방법들은 "자율" 운전 모드들로서 본원에서 지칭되는 반 또는 완전-자율 모드들, 예컨대, 레벨들 1 내지 5 중의 임의의 것에서 기능할 수 있다. 이에 따라, 자율 운전 모드에 대한 참조는 부분적 및 완전 자율성 둘다를 포함하고, 자율 차량은 자율 운전 모드에서 동작하도록 구성된 차량이다.
세단(sedan)들, SUV들, 미니밴(minivan)들, 쿠페(coupe)들, 및 크로스오버(crossover)들과 같은 어떤 차량들에서는, 단일의 유리한 지점으로부터 360° 가시성(visibility)을 달성하는 것이 가능하다. 예를 들어, 도 1은 지붕 상에 위치된 센서 조립체(102) 뿐만 아니라, 측부 센서들(104) 및 전방 대면 센서(106)를 가지는 일 예의 승용차(100)를 예시한다. 후방 대면 센서(도시되지 않음)와 같은 다른 센서들이 또한 채용될 수 있다. 예로서, 센서 조립체(102)는 차량 주위의 360° 가시성을 제공할 수 있는 반면, 다른 센서들은 환경에 관한 보충적인 정보를 제공할 수 있다. 본원에서 설명된 카메라 링 구조체들 및 관련된 컴포넌트들은 센서 조립체(102)의 일부로서 채용될 수 있다.
예시적인 시스템들
도 2는 자율 운전 모드에서 동작할 수 있는 승용차와 같은 차량의 다양한 컴포넌트들 및 시스템들을 갖는 블록도(200)를 예시한다. 블록도에서 도시된 바와 같이, 차량은 하나 이상의 프로세서들(204), 메모리(206), 및 범용 컴퓨팅 디바이스들에서 전형적으로 존재하는 다른 컴포넌트들을 포함하는 컴퓨팅 디바이스들(202)과 같은 하나 이상의 컴퓨팅 디바이스들의 제어 시스템을 가질 수 있다.
메모리(206)는 프로세서들(204)에 의해 실행될 수 있거나, 또는 그렇지 않을 경우에 프로세서(204)에 의해 이용될 수 있는 명령들(208) 및 데이터(210)를 포함하는, 하나 이상의 프로세서들(204)에 의해 액세스가능한 정보를 저장한다. 메모리(206)는 컴퓨팅 디바이스-판독가능 매체를 포함하는, 프로세서에 의해 액세스가능한 정보를 저장할 수 있는 임의의 유형일 수 있다. 메모리는 하드-드라이브, 메모리 카드, 광학 디스크, 솔리드-스테이트, 테이프 메모리 등과 같은 비-일시적 매체(non-transitory medium)이다. 시스템들은 상기한 것의 상이한 조합들을 포함할 수 있음으로써, 명령들 및 데이터의 상이한 부분들은 상이한 유형들의 매체들 상에서 저장된다.
명령들(208)은 프로세서에 의해 (머신 코드와 같이) 직접적으로 또는 (스크립트(script)들과 같이) 간접적으로 실행되어야 할 명령들의 임의의 세트일 수 있다. 예를 들어, 명령들은 컴퓨팅 디바이스-판독가능 매체 상에서 컴퓨팅 디바이스 코드로서 저장될 수 있다. 그와 관련하여, 용어들 "명령들" 및 "프로그램들"은 본원에서 상호 교환가능하게 이용될 수 있다. 명령들은 프로세서에 의한 직접적인 프로세싱을 위한 오브젝트 코드 포맷(object code format)으로, 또는 요구에 따라 해석(interpret)되거나 미리 컴파일링(compile)되는 독립적인 소스 코드 모듈들의 스크립트들 또는 집합들을 포함하는 임의의 다른 컴퓨팅 디바이스 언어로 저장될 수 있다. 데이터(210)는 명령들(208)에 따라 하나 이상의 프로세서들(204)에 의해 검색(retrieve)될 수 있거나, 저장될 수 있거나, 또는 수정될 수 있다. 예로서, 메모리(206)의 데이터(210)는 상이한 유형들의 센서들을 교정할 때에 이용되어야 할 교정 정보와 같은 정보를 저장할 수 있다.
하나 이상의 프로세서(204)는 상업적으로 입수가능한 CPU들과 같은 임의의 기존의 프로세서들일 수 있다. 대안적으로, 하나 이상의 프로세서들은 ASIC 또는 다른 하드웨어-기반 프로세서와 같은 전용 디바이스일 수 있다. 도 2는 컴퓨팅 디바이스들(202)의 프로세서(들), 메모리, 및 다른 엘리먼트들을 동일한 블록 내에 있는 것으로서 기능적으로 예시하지만, 이러한 디바이스들은 동일한 물리적 하우징 내에 보관될 수 있거나 보관되지 않을 수 있는 다수의 프로세서들, 컴퓨팅 디바이스들, 또는 메모리들을 실제적으로 포함할 수 있다. 유사하게, 메모리(206)는 프로세서(들)(204)의 하우징과는 상이한 하우징에서 위치된 하드 드라이브 또는 다른 저장 매체들일 수 있다. 따라서, 프로세서 또는 컴퓨팅 디바이스에 대한 참조들은 병렬로 동작할 수 있거나 동작할 수 없는 프로세서들 또는 컴퓨팅 디바이스들 또는 메모리들의 집합에 대한 참조들을 포함하도록 이해될 것이다.
하나의 예에서, 컴퓨팅 디바이스들(202)은 차량(100) 또는 다른 차량들 내로 편입된 자율 운전 컴퓨팅 시스템을 구현할 수 있다. 자율 운전 컴퓨팅 시스템은 차량의 다양한 컴포넌트들과 통신할 수 있을 수 있다. 예를 들어, 컴퓨팅 디바이스들(202)은, (차량의 제동을 제어하기 위한) 감속 시스템(212), (차량의 가속을 제어하기 위한) 가속 시스템(214), (휠(wheel)들의 방위 및 차량의 방향을 제어하기 위한) 조향 시스템(216), (선회 신호들을 제어하기 위한) 시그널링 시스템(218), (차량을 위치까지 객체들 주위에서 내비게이팅하기 위한) 내비게이션 시스템(220), 및 (차량의 포지션을 결정하기 위한) 위치결정 시스템(222)을 포함하는 운전 시스템을 포함하는, 차량의 다양한 시스템들과 통신할 수 있다.
컴퓨팅 디바이스들(202)은 또한, 차량의 승객으로부터의 연속적인 또는 주기적인 입력을 요구하거나 필요로 하지 않는 자율 운전 모드에서, 메모리(206)의 명령들(208)에 따라 차량(100)의 이동, 속력 등을 제어하기 위하여, (차량의 환경에서 객체들을 검출하기 위한) 지각 시스템(224), 동력 시스템(226)(예를 들어, 배터리 및/또는 가스 또는 디젤 동력식 엔진), 및 변속 시스템(230)에 동작가능하게 결합된다. 휠들/타이어들(228)은 변속 시스템(230)에 결합되고, 컴퓨팅 디바이스들(202)은 자율 모드에서 운전에 영향을 줄 수 있는 압력, 균형, 및 다른 인자들에 대한 정보를 수신할 수 있을 수 있다.
컴퓨팅 디바이스들(202)은 다양한 컴포넌트들을 제어함으로써 차량의 방향 및 속력을 제어할 수 있다. 예로서, 컴퓨팅 디바이스들(202)은 지도 정보 및 내비게이션 시스템(220)으로부터의 데이터를 이용하여 완전히 자율적으로 차량을 목적지 위치로 내비게이팅할 수 있다. 컴퓨팅 디바이스들(202)은 차량의 위치를 결정하기 위한 위치결정 시스템(222), 및 위치에 안전하게 도달하기 위하여 필요할 때에 객체들을 검출하고 객체들에 반응하기 위한 지각 시스템(224)을 이용할 수 있다. 그렇게 행하기 위하여, 컴퓨팅 디바이스들(202)은 차량으로 하여금, (예컨대, 가속 시스템(214)에 의해 엔진에 제공된 연료 또는 다른 에너지를 증가시킴으로써) 가속시키고, (예컨대, 엔진에 공급된 연료를 감소시키고, 기어들을 변경하고, 및/또는 감속 시스템(212)에 의해 브레이크들을 적용함으로써) 감속시키고, (예컨대, 조향 시스템(216)에 의해 차량(100 또는 120)의 전방 또는 다른 휠들을 선회시킴으로써) 방향을 변경하고, (예컨대, 시그널링 시스템(218)의 선회 신호들을 점등함으로써) 이러한 변경들을 시그널링하게 할 수 있다. 이에 따라, 가속 시스템(214) 및 감속 시스템(212)은 차량의 엔진과 차량의 휠들 사이에서 다양한 컴포넌트들을 포함하는 구동트레인(drivetrain) 또는 다른 변속 시스템(230)의 일부일 수 있다. 다시, 이 시스템들을 제어함으로써, 컴퓨팅 디바이스들(202)은 차량을 자율적으로 조종하기 위하여 차량의 변속 시스템(230)을 또한 제어할 수 있다.
예로서, 컴퓨팅 디바이스들(202)은 차량의 속력을 제어하기 위하여 감속 시스템(212) 및 가속 시스템(214)과 상호작용할 수 있다. 유사하게, 조향 시스템(216)은 차량의 방향을 제어하기 위하여 컴퓨팅 디바이스들(202)에 의해 이용될 수 있다. 예를 들어, 세단, 미니밴, 또는 SUV와 같이, 차량이 도로 상에서의 이용을 위하여 구성될 경우, 조향 시스템(216)은 차량을 선회시키기 위하여 휠들의 각도를 제어하기 위한 컴포넌트들을 포함할 수 있다. 시그널링 시스템(218)은 예를 들어, 필요할 때에 선회 신호들 또는 브레이크 등들을 점등함으로써, 차량의 의도를 다른 운전자들 또는 차량들에 시그널링하기 위하여 컴퓨팅 디바이스들(202)에 의해 이용될 수 있다.
내비게이션 시스템(220)은 위치까지의 경로를 결정하고 따르기 위하여 컴퓨팅 디바이스들(202)에 의해 이용될 수 있다. 이와 관련하여, 내비게이션 시스템(220) 및/또는 데이터(210)는 컴퓨팅 디바이스들(202)이 차량을 내비게이팅하거나 제어하기 위하여 이용할 수 있는 지도 정보, 예컨대, 고도로 상세한 지도들을 저장할 수 있다. 예로서, 이 지도들은 차도들의 형상 및 앙각(elevation), 차선 표지들, 교차로들, 횡단보도들, 교통 신호들, 건물들, 간판들, 초목(vegetation), 또는 다른 이러한 객체들을 식별할 수 있다. 지도들은 속력 제한들 및 실시간 교통 정보를 포함하는 다른 정보를 또한 제공할 수 있다.
지각 시스템(224)은 다른 차량들, 차도에서의 장애물들, 교통 신호들, 간판들, 나무들 등과 같은, 차량 외부의 객체들을 검출하기 위한 하나 이상의 컴포넌트들을 또한 포함한다. 예를 들어, 지각 시스템(224)은 이미지 센서들을 포함하는 카메라들, 하나 이상의 LIDAR 센서들, 레이더 유닛들, 소나 디바이스들, 카메라들, 관성(예컨대, 자이로스코픽) 센서들, 및/또는 컴퓨팅 디바이스들(202)에 의해 프로세싱될 수 있는 데이터를 레코딩하는 임의의 다른 검출 디바이스들의 하나 이상의 세트들을 포함할 수 있다. 지각 시스템의 센서들은 객체들, 및 위치, 방위, 크기, 형상, 유형(예를 들어, 차량, 보행자, 자전거 타는 사람 등), 진로, 및 이동의 속력 등과 같은 그 특성들을 검출할 수 있다. 센서들로부터의 원시 데이터(raw data) 및/또는 전술한 특성들은 그것이 지각 시스템(224)에 의해 생성될 때, 추가의 프로세싱을 위하여 주기적으로 그리고 연속적으로 컴퓨팅 디바이스들(202)로 전송될 수 있다. 컴퓨팅 디바이스들(202)은 차량의 위치를 결정하기 위한 위치결정 시스템(222), 및 위치에 안전하게 도달하기 위하여 필요할 때에 객체들을 검출하고 객체들에 반응하기 위한 지각 시스템(224)을 이용할 수 있다. 추가적으로, 컴퓨팅 디바이스들(202)은 개별적인 센서들, 특정한 센서 조립체에서의 모든 센서들, 또는 상이한 센서 조립체들에서의 센서들 사이의 교정을 수행할 수 있다.
도 2에서 표시된 바와 같이, 지각 시스템(224)은 하나 이상의 센서 조립체들(232)을 포함한다. 하나의 예에서, 센서 조립체는 차량 주위의 360° 가시성을 제공할 수 있는 차량 상의 포지션에서 위치된 중앙 하우징일 수 있다. 또 다른 예에서, 다수의 센서 조립체들은 차량을 따라 선택된 지점들에서 분포될 수 있다. 접속(도시되지 않음)은 차량의 센서 조립체와 하나 이상의 다른 시스템들 사이의 전력, 통신, 및/또는 다른 접속들을 제공할 수 있다. 예를 들어, 데이터 통신 버스는 센서 조립체의 카메라들 및 다른 센서들과 컴퓨팅 디바이스들(202) 사이의 양방향 통신을 제공할 수 있다. 전력 라인은 직접적으로 또는 간접적으로 동력 시스템(226)에, 또는 컴퓨팅 디바이스들(202)에 의해 제어된 배터리와 같은 별도의 전원에 접속될 수 있다.
도 3은 개시내용의 양태들에 따라, 센서 조립체의 예(300)를 제시한다. 도시된 바와 같이, 센서 조립체는 파선에 의해 도시된 바와 같은 차량의 지붕의 부분(304)에 장착되는 하우징(302)을 포함한다. 하우징(302)은 도시된 바와 같은 돔-형상, 원통형, 반구형일 수 있거나, 상이한 기하학적 형상을 가질 수 있다. 하우징(302) 내에서, 제1 센서(306)는 원격으로 또는 지붕으로부터 멀어지도록 배열되고, 제2 센서(308)는 지붕에 더 근접하게 배열된다. 센서들(306 및 308) 중의 하나 또는 둘다는 LIDAR들 또는 다른 유형들의 센서들일 수 있다. 카메라 링 구조체와 같은 카메라 조립체(310)는 제1 센서(306)와 제2 센서(308) 사이에서 배치된다. 카메라 조립체(310)는 카메라 조립체(310)를 따라 배열된 카메라들의 하나 이상의 세트들을 포함한다. 하우징(302)은 적어도, 카메라들이 배열되는 장소들을 따라 광학적으로 투명할 수 있다. 도 3에서 예시되지 않았지만, 도 2의 프로세서들(204)과 같은 하나 이상의 프로세서들은 센서 조립체의 일부로서 포함될 수 있다. 프로세서들은 카메라 조립체의 다양한 이미지 센서들로부터 수신된 원시 화상(raw imagery) 뿐만 아니라, 전체적인 센서 조립체의 다른 센서들로부터 수신된 정보를 프로세싱하도록 구성될 수 있다.
예시적인 구현예들
위에서 설명되고 도면들에서 예시된 구조체들 및 구성들에 추가적으로, 다양한 구현예들이 지금부터 설명될 것이다.
카메라 조립체(310)는 차량 주위의 전체적인 360° 시야를 제공하도록 위치결정된 다수의 쌍들의 이미지 센서들을 가지는 제1 서브시스템을 포함할 수 있다. 카메라 조립체(310)는 예를 들어, 대략 90° 시야를 제공하기 위하여, 예컨대, 도로 상의 객체들을 미리 더 양호하게 식별하기 위하여, 차량의 전방을 향해 일반적으로 대면하는 이미지 센서들의 제2 서브시스템을 또한 포함할 수 있다. 이 서브시스템의 시야는 또한, 90°보다 더 클 수 있거나 더 작을 수 있고, 예를 들어, 약 60 내지 135° 사이일 수 있다. 도 4는 제1 및 제2 서브시스템들의 다양한 이미지 센서들의 방위들의 예(400)를 제공한다. CCD 또는 다른 유형들의 이미징 엘리먼트들이 채용될 수 있지만, 이미지 센서들은 CMOS 센서들일 수 있다.
카메라 서브시스템들의 앙각은 차량 상의 카메라 조립체의 배치 및 차량의 유형에 종속될 것이다. 예를 들어, 카메라 조립체가 대형 SUV의 지붕 상에 또는 그 위에 장착될 경우에, 앙각은 전형적으로, 카메라 조립체가 세단 또는 스포츠카의 지붕 상에서 장착될 때보다 더 높을 것이다. 또한, 가시성은 배치 및 구조적 제한들로 인해 차량의 모든 에어리어(area)들 주위에서 동일하지 않을 수 있다. 카메라 링 구조체의 직경 및 차량 상의 배치를 변동시킴으로써, 적당한 360° 시야가 획득될 수 있다. 예를 들어, 카메라 링 구조체의 직경은 예컨대, 대략 0.25 내지 1.0 미터 사이로부터 변동될 수 있다. 직경은 카메라 조립체가 배치되어야 하는 차량의 유형, 및 카메라 조립체가 차량 상에서 위치될 특정 위치에 따라, 더 크도록 또는 더 작도록 선택될 수 있다.
도 4에서 도시된 바와 같이, 제1 서브시스템의 각각의 이미지 센서 쌍은 제1 이미지 센서(402) 및 제2 이미지 센서(404)를 포함한다. 제1 및 제2 이미지 센서들은 별도의 카메라 엘리먼트들의 일부일 수 있거나, 하나의 카메라 모듈 내에 함께 포함될 수 있다. 이 시나리오에서, 제1 이미지 센서들(402)은 자동 노출(auto exposure)로 설정되는 반면, 제2 이미지 센서들(404)은 예컨대, 다크(dark) 또는 중립 밀도(neutral density)(ND) 필터를 이용하여 고정된 노출(fixed exposure)로 설정된다. 여기서, 더 많거나 더 적은 쌍들이 채용될 수 있지만, 8 개의 쌍들의 이미지 센서들이 도시된다. 제2 이미지 서브시스템은 제1 및 제2 이미지 센서들의 해상도들보다 더 높은 해상도를 가질 수 있는 이미지 센서들(406)을 포함한다. 증대된 해상도는 차량의 전방에서의 장면의 가능한 한 많은 세부사항들을 지각 시스템에 제공하기 위하여, 차량의 전방을 대면하는 카메라들을 위하여 특히 유익할 수 있다. 도 4는 더 많거나 더 적은 이미지 센서들이 이용될 수 있지만, 제2 서브시스템의 3 개의 이미지 센서들을 예시한다. 본 예에서는, 제2 서브시스템으로부터의 3 개 및 제1 서브시스템으로부터의 8 개의 쌍들을 포함하는 총 19 개의 이미지 센서들이 카메라 조립체에서 채용된다. 다시, 더 많거나 더 적은 이미지 센서들이 카메라 조립체에서 채용될 수 있다.
자동-노출된 이미지 센서들(402), 고정된 노출 이미지 센서들(404), 및 고해상도 이미지 센서들(506)은 지각 시스템이 차량을 포위하는 환경에서의 객체들 및 이러한 환경의 특징부들을 식별하는 것을 돕는 확장된 동적 범위(dynamic range)를 제공하도록 선택된다. 특히, 자동-노출된 이미지 센서들(402)은 10 내지 5,000 cd/m2(니트들)의 범위에서와 같은 낮은 광 레벨 상황들을 취급하도록 구성되는 반면, 고정된 노출 이미지 센서들(404)은 1,000 내지 200,000 니트들 이상의 범위에서와 같은 높은 광 레벨 상황을 취급하도록 구성된다. 그리고 고해상도 이미지 센서들(406)은 .01 내지 25 니트(nit)들의 범위에서와 같은 매우 낮은 광 상황들을 취급할 수 있을 수 있다. 전반적으로, 3 개의 유형들의 이미지 센서들의 동적 범위는 10-2 니트들 내지 105 니트들 사이일 수 있다. 각각의 유형의 이미지 센서를 위한 정확한 동적 범위는 특정 시스템 요건들 및 이용된 센서 엘리먼트들에 따라 변동될 수 있다.
도 5a 및 도 5b는 이미지 센서들(402, 404, 및 406)을 위한 시야들을 예시한다. 특히, 도 5a는 이미지 센서들(402 및 404)을 위한 일 예의 FOV를 도시하고, 도 5b는 이미지 센서들(406)을 위한 일 예의 FOV를 도시한다. 도 5a에 따르면, 8 개의 쌍들의 이미지 센서들(402 및 404)은 대략 45° FOV를 각각 커버한다. 이것은 각각 0° 및 180°에서 중심들을 갖는 전방 및 후방 FOV들 뿐만 아니라, 90° 및 270°에서 중심들을 갖는 우측 및 좌측 측부 FOV들을 포함한다. 다른 FOV들은 도면에서 도시된 바와 같이, 이들 사이에서 균등하게 이격된다. 이미지 센서들의 쌍들은 공동-위치되고, 예를 들어, 동일한 수직(또는 Z) 축을 따라 정렬된다. 특히, 이미지 센서들(404)은 이미지 센서들(402)의 바로 위에 위치결정될 수 있다. 이것은 각 개개의 쌍에서의 센서들에 의해 획득된 이미지들이 일치를 위하여 비교되는 것을 허용하고, 이미지 프로세싱의 복잡성을 감소시킬 수 있다. 그리고 도 5b에 따르면, 3 개의 이미지 센서들(406)은 90° FOV를 함께 커버하고, 중앙 이미지 센서는 0°에서 정렬된 FOV를 가지고, 우측 및 좌측 이미지 센서들은 각각 30° 및 330°에서 중심들을 갖는 FOV들을 가진다.
각각의 이미지 센서를 위한 정확한 시야는 예를 들어, 센서 엘리먼트의 특징부들에 따라 변동될 수 있다. 예로서, 이미지 센서들(402 및 404)은 대략 50° FOV들, 예컨대, 49° 내지 51°를 가질 수 있는 반면, 이미지 센서들(406)은 대략 30° 또는 약간 초과, 예컨대, 5 내지 10% 초과인 FOV를 가질 수 있다. 이것은 인접한 이미지 센서들에 대한 FOV에서의 중첩을 허용한다. 중첩은 카메라 조립체의 링의 중심으로부터의 선택된 거리인 지점에 대하여 측정될 수 있다. 예를 들어, 지점은 조립체의 중심으로부터 대략 4 미터일 수 있다.
다양한 이미지 센서들에 의해 생성된 화상에서의 심(seam)들이 바람직하지 않으므로, 중첩의 선택된 양이 유익하다. 추가적으로, 선택된 중첩은 프로세싱 시스템이 이미지들을 함께 스티칭(stitching)하는 것을 회피하는 것을 가능하게 한다. 이미지 스티칭은 기존의 파노라마 이미지 프로세싱에서 행해질 수 있지만, 차량이 자체-운전 모드에서 동작하고 있는 실시간 상황에서 행하는 것은 연산적으로 도전적일 수 있다. 요구된 시간의 양 및 프로세싱 자원들을 감소시키는 것은 차량이 운전할 때에 지각 시스템의 응답성을 대폭 증대시킨다.
도 6a 내지 도 6c는 이미지 센서 중첩의 예들을 예시한다. 특히, 이미지 센서들(402)에 대하여, 0.5 내지 2° 사이의 중첩(602)(도 6a), 또는 대안적으로, 기껏해야 1°의 중첩이 있을 수 있다. 이미지 센서들(404)에 대하여, 2 내지 4° 사이의 중첩(604)(도 6b), 또는 대안적으로, 기껏해야 3.5° 중첩이 있을 수 있다. 그리고 이미지 센서들(406)에 대하여, 3 내지 4° 사이의 중첩(606)(도 6c), 또는 대안적으로, 기껏해야 5° 중첩이 있을 수 있다.
도 7a는 링 구조체(700)로서 배열된 카메라 조립체의 사시도를 예시한다. 도 7b는 도시된 카메라 컴포넌트들을 오직 갖는 탑다운 뷰(top down view)를 예시한다. 카메라들(702, 704, 및 706)은 도 4의 이미지 센서들(402, 404, 및 406)에 대응할 수 있다. 파선 투영들(708)은 다양한 카메라들의 예시적인 시야들을 예시한다. 링 구조체의 또 다른 컴포넌트는 데이터 및/또는 전력 케이블일 수 있는 케이블(710)이다. 예를 들어, 케이블은 카메라들로부터 원시 이미지 데이터를 수신할 수 있고, 그것을 보드(712)를 통해 이미지 프로세서들에 제공한다. 팬(714)은 센서 하우징 내의 다양한 컴포넌트들에 대한 냉각을 제공하고, 배플(baffle)(716)은 냉각된 공기를 선택된 컴포넌트들을 향해 지향할 수 있거나 선택된 컴포넌트들로부터 가열된 공기를 제거할 수 있다. 링 구조체의 다른 부분들은 이하에서 상세하게 논의된다.
카메라들(702 및 704)은 공동-위치되고, 동일한 수직 축을 따라 정렬될 수 있다. 도 7a에서 도시된 바와 같이, 카메라들(704)은 하부 카메라들, 예컨대, 카메라들(702)에 대해 후방으로 또는 리세싱(recess)되어 설정될 수 있다. 하나의 예에서, 카메라들(704)은 1 내지 5 cm 사이에서 리세싱될 수 있다. 각각의 쌍의 카메라들은 카메라 모듈의 하우징에서 밀폐될 수 있다. 도 8a는 카메라 배플(802)에 의해 수납되는, 이미지 센서들(402 및 404)에 대응하는 카메라들(702 및 704)을 포함하는 카메라 하우징(800)을 예시한다. 도시된 바와 같이, 나사들 또는 다른 체결기들(804 및 806)의 쌍들이 장착 홀들 내에 삽입된다. 이 체결기들은 링 구조체에서 카메라들을 정위치에 유지하는 것을 돕는다. 그러나, 카메라 모듈에서의 카메라들 중의 하나 또는 둘다는 피치(pitch) 및 롤(roll)에 종속될 수 있다. 따라서, 중첩하는 시야들에 추가적으로, 카메라 조립체는 또한, 카메라 모듈들에서의 이미징 엘리먼트들을 위한 피치 및 롤을 참작한다. 그리고 도 8b는 카메라 배플(812)에 의해 수납된 카메라(706)를 예시한다.
도 9a 내지 도 9b는 각각 피치 및 롤의 예들을 예시한다. 도 9a의 측면도에서 도시된 바와 같은 피치-관련된 이동에 관하여, 이것은 카메라 모듈 표면들에서의 불규칙성들, 카메라 포인팅(camera pointing) 불규칙성들, 또는 다른 인자들로 인해 발생할 수 있다. 예를 들어, 카메라 모듈은 링 구조체의 지지 판에 장착될 수 있다. 그러나, 지지판, 또는 카메라 모듈을 지지 판에 접속하는 브라켓 상에서 불균등한 표면이 있을 수 있다. 그리고 도 9b의 정면도에서 도시된 바와 같은 롤-관련된 이동에 관하여, 이러한 이동은 장착 홀들(900)에 대한 체결기들의 회전 및 "슬롭(slop)"으로 인해 발생할 수 있다. 이동은 또한, 카메라 모듈의 내부적인 불규칙성들로 기인할 수 있다. 다양한 카메라 모듈들을 지지하는 링 구조체는 피치, 롤, 및/또는 요(yaw)에 대한 총 분산(variance)은 명목 포지션으로부터 +/- 2 도가 되도록 구성된다.
도 8로 돌아가면, 카메라 모듈은 각각의 카메라(702 및 704)를 위한 배플들을 포함할 수 있다. 배플들은 바람직하지 않은 미광(stray light)을 차단하도록 작용한다. 배플들은 하우징에서 카메라들을 유지하는 것을 또한 도울 수 있다. 추가적으로, 배플들은 더 대형 카메라들을 위한 정정 광학기기를 또한 유지할 수 있다.
도 10a는 카메라 조립체의 선택된 컴포넌트들의 사시도(1000)를 예시한다. 도 10b는 이 컴포넌트들의 분해도이고, 도 10c는 상면도이다. 도시된 바와 같이, 카메라 조립체는 일반적으로 원형인 샤시(1002)를 포함하고, 샤시(1002)에 고착된 상단 판(1004) 및 카메라 모듈들(1006 및 1008)을 가진다. 팬들(1010)은 또한, 예를 들어, 접속에 의해 상단 판(1004)에 부착된다. 케이블류(cabling)(1012)는 카메라 모듈들 및 팬들로의 데이터 및 전력 라인들을 위한 와이어링(wiring)을 포함할 수 있다. 그리고 도 10b에서 최상으로 보여진 바와 같이, 샤시(1002)는 카메라 모듈들(1006 및 1008)을 수납하도록 구비된 카메라 마운트들(1014)을 포함한다.
팬들은 통풍 및/또는 냉각을 카메라 조립체의 컴포넌트들에 제공한다. 이중 팬들의 이용은 카메라 조립체를 포함하는 센서 조립체(도 3 참조)의 하우징 내에서 2 개의 기류 경로들을 제공할 수 있다. 기류 경로들은 또한, 공기가 광학적 표면들을 깨끗하게 그리고 먼지, 입자들, 또는 잔해 없이 유지하기 위하여 광학적 표면들, 예컨대, 카메라 렌즈들 상으로 공기가 송풍되도록 지향될 수 있다.
도 11a 내지 도 11b는 추가적인 컴포넌트들을 갖는 도 10a 내지 도 10c의 카메라 조립체의 측면도 및 저면도를 예시한다. 여기에서 도시된 바와 같이, 카메라 조립체는 카메라들의 링 주위의 외부 커버(1100) 뿐만 아니라 기저 판(1102)을 또한 포함한다. 외부 커버(1100)는 카메라 모듈들의 카메라들을 위한 가시성을 제공하는 개방부들과 함께, 상단 판(1004)과 기저 판(1102) 사이에서 배치되고, 상단 판(1004) 및 기저 판(1102)에 접속된다. 하나의 예에서, 외부 커버(1100)는 돔 밀폐부의 내부로 스냅(snap)하도록 구성된다. 상단 판, 외부 커버, 및/또는 기저 판은 히트 싱크들로서 작용하기 위한 능력을 가지고, 센서들을 냉각시키기 위한 팬들과 함께 작동한다. 상단 커버(1104)는 상단 판에 고착된다. 도 3으로 돌아가면, 센서(306)는 상단 커버(1104)에 부착될 수 있거나, 또는 그렇지 않을 경우에 상단 커버(1104)에 결합될 수 있다. 센서(308)는 기저 판(1102) 아래에 배치될 수 있다. 도 11c는 시스템의 분해도를 예시하지만, 카메라 조립체(1106)는 조립된 카메라 모듈들, 샤시, 및 상단 판을 포함한다. 카메라 조립체(1106)는 외부 커버(1100)에 볼트결합될 수 있거나, 또는 그렇지 않을 경우에 외부 커버(1100)에 체결될 수 있다. 기저 판(1102)은 그 다음으로, 외부 커버(1100)에 볼트결합될 수 있거나, 또는 그렇지 않을 경우에 외부 커버(1100)에 체결될 수 있다. 위의 예에서, 기저 판(1102)은 외부 커버(1100)가 돔 밀폐부 외부로 스냅핑하는 것을 방지하도록 구성되고, 컴포넌트들을 강성으로 유지하기 위하여 클램핑 하중(clamping load)을 제공한다. 상단 커버(1104)는 외부 커버(1100)로의 고착 이전에, LIDAR와 같은 센서를 수납하도록 구성된다. 도시된 바와 같이, 하나 이상의 플랜지(flange)들(1108)은 예를 들어, 컴포넌트들의 조립 동안에 안내부들 또는 보조부들로서 작용하기 위하여 기저 판(1102) 상에서 제공될 수 있다.
도 12a 내지 도 12b는 카메라 모듈들 또는 다른 컴포넌트들을 갖지 않는 샤시(1002) 및 상단 판(1004)을 예시한다. 도시된 바와 같이, 샤시는 카메라 마운트들(1014)을 보가하기 위한 지지 브레이스(support brace)들(1200)을 포함한다. 상단 판(1004)은 팬들로부터 기류를 허용하기 위한 개방부들(1202)을 포함한다. 슬롯 엘리먼트(1204)가 또한 제공된다. 슬롯 엘리먼트는 케이블류가 다른 센서들 중의 하나, 예컨대, 도 3의 센서(308)로부터 시스템의 진행 및/또는 동력 모듈들까지 이어지는 것을 허용하기 위하여 이용될 수 있다.
도 13a 내지 도 13c는 도 11의 기저 판(1102)을 예시한다. 도 13a는 다른 컴포넌트들을 갖지 않는 기저 판을 예시한다. 상단 판과 유사하게, 기저 판은 케이블류(1012)(도 10a)를 위한 통로를 제공하기 위한 슬롯(1300)을 포함한다. 기저 판은 테두리(rim)의 원주(circumference) 주위의 일련의 장착 지점들(1302)을 포함한다. 이 장착 지점들은 기저 판을 카메라 조립체의 카메라 모듈들, 다른 센서들, 또는 센서 조립체의 지지 구조체에 고착하기 위하여 이용될 수 있다. 하나 이상의 버팀대(strut)들(1304)은 구조적 강성을 위하여 또한 제공된다.
도시된 바와 같이, 커버링(1306)은 기저 판을 가로질러 연장된다. 고체 또는 메쉬-유형 배열체일 수 있는 커버링(1306)은 예를 들어, LIDAR 또는 레이더와 같은 다른 센서들로부터, 또는 차량의 GPS 수신기와 같은 다른 컴포넌트들로부터의 간섭을 감소시킴으로써 EMI 보호를 제공하도록 구성된다. 상단 판(1004)(도 10a) 및 외부 커버(1100)는 EMI 보호를 카메라 모듈들 및 센서 조립체의 다른 컴포넌트들에 또한 제공할 수 있다. 추가적으로, 이 컴포넌트들은 또한, 카메라 모듈들에 의한 방출들로부터 다른 센서들을 보호할 수 있다. 이러한 EMI 컴포넌트들은 금속 또는 전기도금된 플라스틱 구조체들로 이루어질 수 있고, 집합적으로, 패러데이 케이지(Faraday cage)로서 작용할 수 있다. 추가적으로, EMI 절연 폼 패드(EMI insulating foam pad)들(1308)은 추가의 EMI 보호를 제공하기 위하여 기저 판의 테두리 주위에서 배열될 수 있다. 유사한 패드들에는 상단 판(1004) 및/또는 상단 커버(1104)가 제공될 수 있다. 도 13b는 기저 판 뿐만 아니라, 센서 조립체의 팬들의 상대적인 포지션들을 예시한다. 그리고 도 13c는 케이블류가 슬롯을 어떻게 통과하는지를 도시하는 확대도를 제공한다.
도 10 내지 도 13에서 도시된 바와 같은 배열은 카메라 조립체의 상대적인 강성도를 제공한다. 바람직하게는, 이 배열은 카메라 모듈들에서의 이미지 센서들에 대한 1 내지 1.5 픽셀들 미만의 이동을 허용하는 강성도를 제공한다. 그것은 카메라들에 의해 획득된 화상에서의 이미징 아티팩트(imaging artifact)들, 갭들, 및 다른 결합들을 최소화하는 것을 돕는다.
도 14a는 도 3의 하우징(302)과 같은 하우징 내의 카메라 조립체의 부분들을 예시한다. 위에서 주목된 바와 같이, 하우징은 도시된 바와 같은 돔-형상, 원통형, 반구형일 수 있거나, 상이한 기하학적 형상을 가질 수 있다. 특정한 형상은 하우징 내의 카메라 조립체 및 다른 센서들의 특정 구성에 종속될 수 있다. 명확함을 위하여, 카메라 모듈들, 상단 판, 및 커버는 생략된다. 하우징은 단일 조각 단위 컴포넌트일 수 있거나, 다수의 컴포넌트들로 형성될 수 있다. 어느 하나의 실시예에서, 카메라 조립체는 하우징 내에서 장착되고, 바람직하게는, 하우징에 직접적으로 고정된다. 예를 들어, 도 14b 및 도 14c의 단면도들에서 도시된 바와 같이, 카메라 조립체는 하우징을 따라 다양한 장착 지점들에 체결될 수 있다. 거셋(gusset)들, 폼 테이프(foam tape), 및 다른 엘리먼트들은 카메라 하우징 상에서 진동들을 감소시키기 위하여 이용될 수 있다.
본원에서 논의된 카메라 조립체는 360° 가시성을 차량의 지각 시스템에 부여하도록 배열된 카메라들의 다수의 세트들을 제공한다. 중심 축 주위에서 링으로 배열된 다수의 카메라 모듈들을 포함할 수 있는 카메라 조립체는 LIDAR 및 레이더 센서들과 같은 다른 센서들을 갖는 하우징에서 위치될 수 있다. 카메라 조립체는 단일 유닛으로서 구성되므로, 카메라 조립체는 용이하게 삽입될 수 있고, 센서 하우징으로부터 제거될 수 있다. 이것은 개별적인 카메라 모듈들의 수리 또는 교체를 신속하게 그리고 효율적으로 허용한다. 하나의 카메라 모듈에서 이미지 센서들의 쌍들을 공동-위치시킴으로써, 그 이미지 센서들은 동일한 유효 시야를 가질 수 있다. 공동-위치는 또한, 이미지 프로세싱, 및 자율 모드에서 운전하는 차량들을 위하여 또한 중요한 카메라들의 세정을 돕는다.
이와 다르게 기재되었을 경우, 상기한 대안적인 예들은 상호 배타적이지 않지만, 고유한 장점들을 달성하기 위하여 다양한 조합들로 구현될 수 있다. 위에서 논의된 특징들의 이러한 그리고 다른 변형들 및 조합들은 청구항들에 의해 정의된 발명 요지로부터 이탈하지 않으면서 사용될 수 있으므로, 실시예들의 상기 설명은 청구항들에 의해 정의된 발명 요지의 제한을 통하는 것이 아니라, 예시를 통해 취해져야 한다. 게다가, 본원에서 설명된 예들의 제공뿐만 아니라, "~와 같은", "~포함하는" 등으로서 표현된 어절들은 청구항들의 발명 요지를 특정 예들로 제한하는 것으로 해석되지 않아야 하고; 오히려, 예들은 많은 가능한 실시예들 중의 오직 하나를 예시하도록 의도된다. 또한, 상이한 도면들에서의 동일한 참조 번호들은 동일하거나 유사한 엘리먼트들을 식별할 수 있다.

Claims (20)

  1. 자율 운전 모드에서 동작하도록 구성된 차량 상에서의 이용을 위한 카메라 조립체로서,
    샤시 - 상기 샤시는 상기 샤시의 둘레(perimeter)를 따라 분포되는 일련의 카메라 마운트들을 포함함 -;
    상기 샤시에 고착된 상단 판;
    카메라 모듈들의 세트 - 상기 카메라 모듈들 중 각각의 카메라 모듈은 상기 일련의 카메라 마운트들 중 각각의 카메라 마운트에 고착되고, 상기 카메라 모듈들의 세트는 제1 서브세트 및 제2 서브세트를 포함하고, 상기 제1 서브세트의 카메라 모듈들은 각각 한 쌍의 이미지 센서들을 포함하고, 상기 제2 서브세트의 카메라 모듈들은 각각 하나의 이미지 센서를 포함하고, 상기 제1 서브세트의 카메라 모듈들은 상기 차량 주위의 360° 시야를 제공하도록 배열됨 -;
    상기 카메라 모듈들의 세트에 고착된 기저 판; 및
    상기 상단 판 및 상기 기저 판에 접속된 외부 커버 - 상기 외부 커버는 상기 제1 및 제2 서브세트들의 상기 이미지 센서들의 시야들에 대응하는 일련의 개방부들을 포함함 - 를 포함하는, 카메라 조립체.
  2. 제1항에 있어서, 상기 제2 서브세트의 카메라 모듈들은 상기 차량의 전방을 따라 60 내지 135° 사이의 시야를 제공하도록 배열되는, 카메라 조립체.
  3. 제1항 또는 제2항에 있어서, 상기 제1 서브세트의 각 개개의 카메라 모듈에서의 상기 한 쌍의 이미지 센서들은 공동-위치되고, 공통 수직 축을 따라 정렬되는, 카메라 조립체.
  4. 제3항에 있어서, 상기 한 쌍의 이미지 센서들의 둘다의 이미지 센서들은 실질적으로 동등한 시야들을 가지는, 카메라 조립체.
  5. 제4항에 있어서, 상기 실질적으로 동등한 시야들은 대략 45°인, 카메라 조립체.
  6. 제1항에 있어서,
    상기 제1 서브세트에서의 각각의 카메라 모듈의 상기 이미지 센서들은 상기 제1 서브세트의 각각의 인접한 카메라 모듈로부터의 상기 이미지 센서들과의 중첩하는 시야들을 가지고;
    상기 제2 서브세트에서의 각각의 카메라 모듈의 상기 이미지 센서는 상기 제2 서브세트의 각각의 인접한 카메라 모듈로부터의 상기 이미지 센서와의 중첩하는 시야들을 가지는, 카메라 조립체.
  7. 제6항에 있어서, 상기 카메라 모듈들의 제1 서브세트의 상기 이미지 센서들에 대한 중첩하는 시야들은 0.5 내지 4° 사이이고, 상기 카메라 모듈들의 제2 서브세트의 상기 이미지 센서들에 대한 중첩하는 시야들은 3 내지 4° 사이인, 카메라 조립체.
  8. 제1항에 있어서, 상기 상단 판, 기저 판, 및 외부 커버는 다른 센서들에 의한 방출들로부터의 상기 카메라 모듈들을 위한 전자기 간섭 보호, 및 상기 카메라 모듈들에 의한 방출들로부터의 상기 다른 센서들을 위한 전자기 간섭 보호 중의 적어도 하나를 제공하도록 구성되는, 카메라 조립체.
  9. 제1항에 있어서, 상기 상단 판과 상기 기저 판 사이에서 배치된 적어도 하나의 팬을 더 포함하는, 카메라 조립체.
  10. 자율 운전 모드에서 동작하도록 구성된 차량 상에서의 이용을 위한 센서 조립체로서,
    상기 차량의 표면에 부착하도록 구성된 기저 영역, 상기 기저 영역에 대향하는 상단 영역, 및 상기 기저 영역과 상기 상단 영역 사이에서 연장되는 측벽을 가지는 하우징;
    상기 하우징 내에서 배치된 제1 센서; 및
    상기 하우징 내에서 배치되고 상기 측벽에 결합된 카메라 조립체를 포함하고, 상기 카메라 조립체는,
    샤시 - 상기 샤시는 상기 샤시의 둘레를 따라 분포되는 일련의 카메라 마운트들을 포함함 -;
    상기 샤시에 고착된 상단 판;
    카메라 모듈들의 세트 - 상기 카메라 모듈들 중 각각의 카메라 모듈은 상기 일련의 카메라 마운트들 중 각각의 카메라 마운트에 고착되고, 상기 카메라 모듈들의 세트는 제1 서브세트 및 제2 서브세트를 포함하고, 상기 제1 서브세트의 카메라 모듈들은 각각 한 쌍의 이미지 센서들을 포함하고, 상기 제2 서브세트의 카메라 모듈들은 각각 하나의 이미지 센서를 포함하고, 상기 제1 서브세트의 카메라 모듈들은 상기 차량 주위의 360° 시야를 제공하도록 배열됨 -;
    상기 카메라 모듈들의 세트에 고착된 기저 판; 및
    상기 상단 판 및 상기 기저 판에 접속된 외부 커버 - 상기 외부 커버는 상기 제1 및 제2 서브세트들의 상기 이미지 센서들의 시야들에 대응하는 일련의 개방부들을 포함함 - 를 포함하는, 센서 조립체.
  11. 제10항에 있어서, 상기 하우징 내에서 배치된 제2 센서를 더 포함하고, 상기 제1 센서는 상기 카메라 조립체의 상기 상단 판과 상기 하우징의 상기 상단 영역 사이에서 배열되고, 상기 제2 센서는 상기 카메라 조립체의 상기 기저 판과 상기 하우징의 상기 기저 영역 사이에서 배열되는, 센서 조립체.
  12. 제11항에 있어서, 상기 제1 및 제2 센서들 중의 적어도 하나는 광 검출 및 레인징(light detection and ranging)(LIDAR) 센서인, 센서 조립체.
  13. 제10항, 제11항, 또는 제12항 중 어느 한 항에 있어서, 상기 카메라 모듈들의 세트에 인접한 상기 측벽의 적어도 부분은 광학적으로 투명한, 센서 조립체.
  14. 제10항에 있어서, 상기 하우징 내에서 배치된 하나 이상의 프로세서들을 더 포함하고, 상기 하나 이상의 프로세서들은 상기 제1 센서 및 상기 카메라 모듈들의 제1 및 제2 서브세트들에 동작가능하게 결합되는, 센서 조립체.
  15. 자율 모드에서 동작하도록 구성된 차량으로서,
    운전 동작들을 수행하도록 구성된 운전 시스템;
    상기 차량을 포위하는 환경에서 객체들을 검출하도록 구성된 지각 시스템; 및
    상기 운전 시스템 및 상기 지각 시스템에 동작가능하게 결합된 제어 시스템 - 상기 제어 시스템은 상기 지각 시스템으로부터 데이터를 수신하고 상기 자율 모드에서 동작할 때에 상기 운전 시스템을 지시하도록 구성된 하나 이상의 컴퓨터 프로세서들을 가짐 - 을 포함하고;
    상기 지각 시스템은 카메라 조립체를 포함하고, 상기 카메라 조립체는,
    샤시 - 상기 샤시는 상기 샤시의 둘레를 따라 분포되는 일련의 카메라 마운트들을 포함함 -;
    상기 샤시에 고착된 상단 판;
    카메라 모듈들의 세트 - 상기 카메라 모듈들 중 각각의 카메라 모듈은 상기 일련의 카메라 마운트들 중 각각의 카메라 마운트에 고착되고, 상기 카메라 모듈들의 세트는 제1 서브세트 및 제2 서브세트를 포함하고, 상기 제1 서브세트의 카메라 모듈들은 각각 한 쌍의 이미지 센서들을 포함하고, 상기 제2 서브세트의 카메라 모듈들은 각각 하나의 이미지 센서를 포함하고, 상기 제1 서브세트의 카메라 모듈들은 상기 차량 주위의 360° 시야를 제공하도록 배열됨 -;
    상기 카메라 모듈들의 세트에 고착된 기저 판; 및
    상기 상단 판 및 상기 기저 판에 접속된 외부 커버 - 상기 외부 커버는 상기 제1 및 제2 서브세트들의 상기 이미지 센서들의 시야들에 대응하는 일련의 개방부들을 포함함 - 를 포함하는, 차량.
  16. 제15항에 있어서, 상기 제2 서브세트의 카메라 모듈들은 상기 차량의 전방을 따라 60 내지 135° 사이의 시야를 제공하도록 배열되는, 차량.
  17. 제15항 또는 제16항에 있어서, 상기 제1 서브세트의 각 개개의 카메라 모듈에서의 상기 한 쌍의 이미지 센서들은 공동-위치되고, 공통 수직 축을 따라 정렬되는, 차량.
  18. 제15항에 있어서,
    상기 제1 서브세트에서의 각각의 카메라 모듈의 상기 이미지 센서들은 상기 제1 서브세트의 각각의 인접한 카메라 모듈로부터의 상기 이미지 센서들과의 중첩하는 시야들을 가지고;
    상기 제2 서브세트에서의 각각의 카메라 모듈의 상기 이미지 센서는 상기 제2 서브세트의 각각의 인접한 카메라 모듈로부터의 상기 이미지 센서와의 중첩하는 시야들을 가지는, 차량.
  19. 제15항에 있어서, 상기 지각 시스템은,
    상기 차량의 지붕에 부착하도록 구성된 기저 영역, 상기 기저 영역에 대향하는 상단 영역, 및 상기 기저 영역과 상기 상단 영역 사이에서 연장되는 측벽을 가지는 하우징; 및
    상기 하우징 내에서 배치된 제1 센서를 더 포함하고;
    상기 카메라 조립체는 상기 하우징 내에서 배치되고 상기 측벽에 결합되는, 차량.
  20. 제19항에 있어서,
    상기 지각 시스템은 상기 하우징 내에서 배치된 제2 센서를 더 포함하고;
    상기 제1 센서는 상기 카메라 조립체의 상기 상단 판과 상기 하우징의 상기 상단 영역 사이에서 배열되고;
    상기 제2 센서는 상기 카메라 조립체의 상기 기저 판과 상기 하우징의 상기 기저 영역 사이에서 배열되는, 차량.
KR1020207035483A 2018-06-14 2019-06-13 자율 차량들을 위한 카메라 링 구조체 KR102452887B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/008,462 US11181619B2 (en) 2018-06-14 2018-06-14 Camera ring structure for autonomous vehicles
US16/008,462 2018-06-14
PCT/US2019/036955 WO2019241510A1 (en) 2018-06-14 2019-06-13 Camera ring structure for autonomous vehicles

Publications (2)

Publication Number Publication Date
KR20200144147A KR20200144147A (ko) 2020-12-28
KR102452887B1 true KR102452887B1 (ko) 2022-10-11

Family

ID=68840729

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207035483A KR102452887B1 (ko) 2018-06-14 2019-06-13 자율 차량들을 위한 카메라 링 구조체

Country Status (8)

Country Link
US (4) US11181619B2 (ko)
EP (1) EP3791569A4 (ko)
JP (2) JP7078754B2 (ko)
KR (1) KR102452887B1 (ko)
CN (1) CN112335221B (ko)
AU (2) AU2019285161B2 (ko)
IL (2) IL303313B2 (ko)
WO (1) WO2019241510A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017101945A1 (de) * 2017-02-01 2018-08-02 Osram Opto Semiconductors Gmbh Messanordnung mit einem optischen Sender und einem optischen Empfänger
WO2019072750A1 (en) * 2017-10-13 2019-04-18 Lumileds Holding B.V. DRIVING VIDEO RECORDER FOR AUTOMOBILE
US10921142B2 (en) 2017-12-14 2021-02-16 Waymo Llc Methods and systems for sun-aware vehicle routing
DE102018209001A1 (de) * 2018-06-07 2019-12-12 Robert Bosch Gmbh Steuergerätvorrichtung für ein Kraftfahrzeug, Kraftfahrzeug
US10900723B2 (en) * 2018-09-17 2021-01-26 Pony Ai Inc. Cover for creating circular airflows inside an enclosure
US11733072B2 (en) * 2018-10-03 2023-08-22 Pony Ai Inc. Sensor enclosure drainage
US11479185B2 (en) * 2019-02-01 2022-10-25 Gentex Corporation Active infrared illumination for enhancing rear vision from a vehicle
US11148609B2 (en) * 2019-02-05 2021-10-19 Ford Global Technologies, Llc Sensor airflow apparatus
US11150644B2 (en) * 2019-05-29 2021-10-19 GM Cruise Holdings, LLC Rotating sensor suite for autonomous vehicles
US11557127B2 (en) 2019-12-30 2023-01-17 Waymo Llc Close-in sensing camera system
US11493922B1 (en) 2019-12-30 2022-11-08 Waymo Llc Perimeter sensor housings
FR3112215B1 (fr) * 2020-07-01 2023-03-24 Renault Sas Système et procédé de détection d’un obstacle dans un environnement d’un véhicule
CN111907427A (zh) * 2020-08-20 2020-11-10 福建牧月科技有限公司 无人驾驶汽车扁平环视传感器装置和无人驾驶汽车
US11921208B2 (en) * 2020-08-27 2024-03-05 Ford Global Technologies, Llc Sensor apparatus with cleaning
CN112158168B (zh) * 2020-09-10 2022-02-18 一汽解放汽车有限公司 一种摄像头清洗设备、控制方法及车辆
SE544537C2 (en) * 2020-11-10 2022-07-05 Scania Cv Ab Multi-modality corner vehicle sensor module
GB2602154A (en) * 2020-12-21 2022-06-22 Nissan Motor Mfg Uk Ltd Lidar sensor assembly and mount
US11680830B2 (en) * 2021-01-25 2023-06-20 Ford Global Technologies, Llc Rotating sensor assembly
KR102465189B1 (ko) * 2021-11-17 2022-11-09 주식회사 에스씨 선박용 어라운드뷰 장치
USD1014398S1 (en) 2021-12-23 2024-02-13 Waymo Llc Vehicle
USD1018337S1 (en) 2021-12-23 2024-03-19 Waymo Llc Sensor assembly
AU2022200797A1 (en) * 2022-02-04 2023-08-24 Kelvin Chin Yeoh Lim All seeing eyes housing system
DE102022115360B3 (de) 2022-06-21 2023-04-20 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Intelligente Kamera mit eigener Ausrichtungssteuerung sowie Verfahren und Computerprogrammprodukt
CN115174813B (zh) * 2022-07-28 2024-05-17 哈尔滨越长科技有限公司 一种环境vr图像探测车

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100295945A1 (en) * 2009-04-14 2010-11-25 Danny Plemons Vehicle-Mountable Imaging Systems and Methods
US20160291134A1 (en) * 2015-04-06 2016-10-06 Google Inc. Long Range Steerable LIDAR System

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5246193A (en) 1992-12-23 1993-09-21 Faidley Warren E Mobile camera mount
JP3571893B2 (ja) 1997-12-03 2004-09-29 キヤノン株式会社 画像記録装置及び画像記録方法、画像データベース生成装置及び画像データベース生成方法
EP2243290A4 (en) 2008-01-29 2011-06-22 Enforcement Video Llc OMNIDIRECTIONAL CAMERA FOR USE AT THE POLICE AUTOPE EVENT RECORD
EP2253131B1 (en) 2008-02-08 2014-06-25 Google, Inc. Panoramic camera with multiple image sensors using timed shutters
KR100955483B1 (ko) * 2008-08-12 2010-04-30 삼성전자주식회사 3차원 격자 지도 작성 방법 및 이를 이용한 자동 주행 장치의 제어 방법
US8698875B2 (en) 2009-02-20 2014-04-15 Google Inc. Estimation of panoramic camera orientation relative to a vehicle coordinate frame
CN101852979A (zh) 2009-03-30 2010-10-06 鸿富锦精密工业（深圳）有限公司 全景相机
US20110164108A1 (en) * 2009-12-30 2011-07-07 Fivefocal Llc System With Selective Narrow FOV and 360 Degree FOV, And Associated Methods
JP5787577B2 (ja) * 2011-04-04 2015-09-30 株式会社トプコン 全周カメラ及びレンズフード
JP5717494B2 (ja) * 2011-03-24 2015-05-13 株式会社トプコン 全周カメラ
US8937643B1 (en) 2012-02-28 2015-01-20 Carlos Esteban Offset rolling shutter camera model, and applications thereof
CN202794836U (zh) * 2012-09-21 2013-03-13 纵横皆景（武汉）信息技术有限公司 全景图像采集装置
JP6078317B2 (ja) * 2012-12-07 2017-02-08 株式会社トプコン 全方位カメラ
US8811812B1 (en) 2014-03-27 2014-08-19 Michael Shawn Lawler Camera rig
US9849836B2 (en) * 2014-04-24 2017-12-26 Gentex Corporation Roof mounted imager module
EP3034359B1 (en) 2014-12-15 2018-05-16 Ricoh Company, Ltd. Monitoring system, and vehicle mountable with monitoring system
US10531071B2 (en) * 2015-01-21 2020-01-07 Nextvr Inc. Methods and apparatus for environmental measurements and/or stereoscopic image capture
CN112923937B (zh) 2015-02-10 2022-03-15 御眼视觉技术有限公司 沿着路段自主地导航自主车辆的系统、自主车辆及方法
US9807376B2 (en) 2015-03-12 2017-10-31 Lg Display Co., Ltd. Stereopsis display device
US9625582B2 (en) 2015-03-25 2017-04-18 Google Inc. Vehicle with multiple light detection and ranging devices (LIDARs)
EP3304195A1 (en) * 2015-05-27 2018-04-11 Google LLC Camera rig and stereoscopic image capture
US20170363949A1 (en) * 2015-05-27 2017-12-21 Google Inc Multi-tier camera rig for stereoscopic image capture
US10205930B2 (en) 2015-09-15 2019-02-12 Jaunt Inc. Camera allay including camera modules with heat sinks
DE102015118997A1 (de) * 2015-11-05 2017-05-11 Berliner Kta Shareholder Gmbh Kamerahalterung für stereoskopische Panoramaaufnahmen
DE102016103965A1 (de) * 2016-03-04 2017-09-07 Connaught Electronics Ltd. Kamera mit einem Gehäuse, einer Leiterplatte und einem haubenartigen, federnden Halteelement, Kraftfahrzeug und Verfahren zur Montage einer Kamera
US10230904B2 (en) * 2016-04-06 2019-03-12 Facebook, Inc. Three-dimensional, 360-degree virtual reality camera system
EP3229073B1 (en) * 2016-04-06 2018-10-31 Facebook, Inc. Three-dimensional, 360-degree virtual reality camera system
CN205523964U (zh) 2016-04-15 2016-08-31 山东省科学院自动化研究所 一种多功能车辆先进驾驶辅助系统
US10343620B2 (en) 2016-04-22 2019-07-09 Uber Technologies, Inc. External sensor assembly for vehicles
JP6354085B2 (ja) * 2016-05-20 2018-07-11 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
WO2018031441A1 (en) * 2016-08-09 2018-02-15 Contrast, Inc. Real-time hdr video for vehicle control
KR102629569B1 (ko) 2016-08-17 2024-01-29 삼성전자주식회사 카메라를 포함하는 전자 장치
JP6821154B2 (ja) * 2016-11-16 2021-01-27 株式会社岩根研究所 基準映像地図を用いた自己位置姿勢標定装置
CN107585320A (zh) * 2017-10-31 2018-01-16 深圳市中航佳智能科技有限公司 一种云台装置及无人机
US10757320B2 (en) 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100295945A1 (en) * 2009-04-14 2010-11-25 Danny Plemons Vehicle-Mountable Imaging Systems and Methods
US20160291134A1 (en) * 2015-04-06 2016-10-06 Google Inc. Long Range Steerable LIDAR System

Also Published As

Publication number Publication date
US11561282B2 (en) 2023-01-24
JP2021526752A (ja) 2021-10-07
IL303313B2 (en) 2024-07-01
AU2021266362A1 (en) 2021-12-09
US20230125032A1 (en) 2023-04-20
US20190384313A1 (en) 2019-12-19
IL279294B1 (en) 2023-07-01
JP2022122893A (ja) 2022-08-23
WO2019241510A1 (en) 2019-12-19
IL279294A (en) 2021-01-31
IL303313A (en) 2023-07-01
AU2021266362B2 (en) 2022-11-17
AU2019285161A1 (en) 2020-12-03
EP3791569A4 (en) 2022-01-12
US20220035005A1 (en) 2022-02-03
AU2019285161B2 (en) 2021-11-18
KR20200144147A (ko) 2020-12-28
IL279294B2 (en) 2023-11-01
CN112335221B (zh) 2022-09-13
US11762063B2 (en) 2023-09-19
US11181619B2 (en) 2021-11-23
IL303313B1 (en) 2024-03-01
JP7078754B2 (ja) 2022-05-31
US20230393244A1 (en) 2023-12-07
EP3791569A1 (en) 2021-03-17
CN112335221A (zh) 2021-02-05
JP7419435B2 (ja) 2024-01-22

Similar Documents

Publication Publication Date Title
KR102452887B1 (ko) 자율 차량들을 위한 카메라 링 구조체
US11899466B2 (en) Sensor integration for large autonomous vehicles
US10761534B2 (en) Fused sensor view for self-driving truck
KR102649924B1 (ko) 주변 센서 하우징
KR102665624B1 (ko) 근접 감지 카메라 시스템
US10871780B2 (en) Intermediate mounting component and sensor system for a Mansfield bar of a cargo trailer

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant