KR20230113101A - 내부 교정을 사용한 광학 어셈블리의 능동 정렬 - Google Patents

내부 교정을 사용한 광학 어셈블리의 능동 정렬 Download PDF

Info

Publication number
KR20230113101A
KR20230113101A KR1020220030283A KR20220030283A KR20230113101A KR 20230113101 A KR20230113101 A KR 20230113101A KR 1020220030283 A KR1020220030283 A KR 1020220030283A KR 20220030283 A KR20220030283 A KR 20220030283A KR 20230113101 A KR20230113101 A KR 20230113101A
Authority
KR
South Korea
Prior art keywords
image sensor
image
doe
lens
internal calibration
Prior art date
Application number
KR1020220030283A
Other languages
English (en)
Other versions
KR102669539B1 (ko
Inventor
니주무드힌 무하씬
제이에쉬 드위베디
유 쾅 로우
Original Assignee
모셔널 에이디 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모셔널 에이디 엘엘씨 filed Critical 모셔널 에이디 엘엘씨
Publication of KR20230113101A publication Critical patent/KR20230113101A/ko
Application granted granted Critical
Publication of KR102669539B1 publication Critical patent/KR102669539B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4233—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application
    • G02B27/4255—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application for alignment or positioning purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02—Testing optical properties
    • G01M11/0221—Testing optical properties by determining the optical axis or position of lenses
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02—Testing optical properties
    • G01M11/0242—Testing optical properties by measuring geometrical properties or aberrations
    • G01M11/0257—Testing optical properties by measuring geometrical properties or aberrations by analyzing the image formed by the object to be tested
    • G01M11/0264—Testing optical properties by measuring geometrical properties or aberrations by analyzing the image formed by the object to be tested by using targets or reference patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/30—Collimators
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4205—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/62—Optical apparatus specially adapted for adjusting optical elements during the assembly of optical systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/003—Alignment of optical elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/003—Alignment of optical elements
    • G02B7/005—Motorised alignment
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9318—Controlling the steering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/93185—Controlling the brakes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9319—Controlling the accelerator
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Geometry (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

내부 교정을 사용한 광학 어셈블리의 능동 정렬을 위한 방법들이 제공된다. 설명된 일부 방법들은 다중 콜리메이터 어셈블리를 사용하여 제1 능동 정렬을 수행하는 단계, 회절 광학 요소(DOE) 내부 교정 모듈을 사용하여 카메라 어셈블리의 주점을 결정하는 단계, 및 카메라 어셈블리의 주점을 이미지 센서의 이미지 중심과 정렬시키고 제2 능동 정렬을 수행하기 위해 렌즈 및 이미지 센서 중 하나 이상의 상대 위치를 조정하는 단계를 포함한다. 시스템들 및 컴퓨터 프로그램 제품들이 또한 제공된다.

Description

내부 교정을 사용한 광학 어셈블리의 능동 정렬{ACTIVE ALIGNMENT OF AN OPTICAL ASSEMBLY WITH INTRINSIC CALIBRATION}
카메라 어셈블리와 같은, 광학 어셈블리에서의 렌즈와 이미지 센서의 정렬은 광학 어셈블리의 광학 성능에 중요할 수 있다. 일반적으로, 능동 정렬(active alignment)은 렌즈의 광학 중심과 센서의 광학 중심을 정렬시키는 것을 포함하는 프로세스이다. 추가적으로, 광학 어셈블리의 이미지 중심으로부터의 주점(principal point)의 중심이탈(decentration)은 많은 광학 어셈블리들에 대한 통상적인 문제이며, 중간 시야 내지 좁은 시야를 가진 광학 어셈블리들에 특히 통상적일 수 있다.
도 1은 자율 주행 시스템(autonomous system)의 하나 이상의 컴포넌트를 포함하는 차량이 구현될 수 있는 예시적인 환경이다.
도 2는 자율 주행 시스템을 포함하는 차량의 하나 이상의 시스템의 다이어그램이다.
도 3은 도 1 및 도 2의 하나 이상의 디바이스 및/또는 하나 이상의 시스템의 컴포넌트들의 다이어그램이다.
도 4는 자율 주행 시스템의 특정 컴포넌트들의 다이어그램이다.
도 5는 카메라 시스템의 주점을 결정하기 위한 프로세스의 예를 예시한다.
도 6은 회절 광학 요소를 사용하는 기하학적 내부 카메라 교정(geometric intrinsic camera calibration) 프로세스의 구현의 다이어그램이다.
도 7은 회절 광학 요소를 포함하는 기하학적 내부 카메라 교정 시스템의 구현의 다이어그램이다.
도 8 및 도 9는 기하학적 내부 카메라 교정을 위한 회절 광학 요소들의 구현들의 다이어그램들이다.
도 10은 회절 광학 요소를 포함하는 기하학적 내부 카메라 교정 시스템을 제조하기 위한 프로세스의 플로차트이다.
도 11은 기하학적 내부 카메라 교정을 위한 회절 광학 요소의 구현의 추가의 다이어그램이다.
도 12는 회절 광학 요소를 사용하는 기하학적 내부 카메라 교정 프로세스의 플로차트이다.
도 13은 회절 광학 요소를 사용하는 추가의 기하학적 내부 카메라 교정 프로세스의 플로차트이다.
도 14는 회절 광학 요소를 사용하는 기하학적 내부 카메라 교정 프로세스의 일부로서 캡처되는 예시적인 이미지를 보여주는 다이어그램이다.
도 15는 회절 광학 요소를 사용하는 기하학적 내부 카메라 교정 프로세스의 일부로서 도 14의 샘플 이미지에서 식별되는 형상들을 보여주는 다이어그램이다.
도 16은 회절 광학 요소를 사용하는 기하학적 내부 카메라 교정 프로세스의 일부로서 도 15의 이미지에서 식별되는 중앙 형상을 보여주는 다이어그램이다.
도 17은 회절 광학 요소를 사용하는 기하학적 내부 카메라 교정 프로세스의 일부로서 일정한 순서로 정렬된 도 15의 이미지의 형상들을 보여주는 다이어그램이다.
도 18은 내부 교정 프로세스를 사용한 능동 정렬 동안 사용될 수 있는 다중 콜리메이터 어셈블리의 실시예를 예시한다.
도 19는 내부 교정 프로세스를 사용한 능동 정렬 동안 사용될 수 있는 회절 광학 요소(diffractive optical element, DOE) 내부 교정 모듈의 실시예를 예시한다.
도 20a는 내부 교정 프로세스를 사용한 능동 정렬 동안의 제1 스테이지의 예를 예시한다.
도 20b는 내부 교정 프로세스를 사용한 능동 정렬 동안의 제2 스테이지의 예를 예시한다.
도 20c는 내부 교정 프로세스를 사용한 능동 정렬 동안의 제3 스테이지의 예를 예시한다.
도 21은 내부 교정을 사용한 능동 정렬을 위한 예시적인 프로세스를 도시하는 플로차트이다.
도 22는 내부 교정을 사용한 능동 정렬을 위한 다른 예시적인 프로세스를 도시하는 플로차트이다.
이하의 설명에서는, 설명 목적으로 본 개시에 대한 완전한 이해를 제공하기 위해 다수의 특정 세부 사항들이 제시된다. 그렇지만, 본 개시에 의해 기술되는 실시예들이 이러한 특정 세부 사항들이 없더라도 실시될 수 있다는 것이 명백할 것이다. 일부 경우에, 본 개시의 양태들을 불필요하게 모호하게 하는 것을 피하기 위해 잘 알려진 구조들 및 디바이스들은 블록 다이어그램 형태로 예시되어 있다.
시스템들, 디바이스들, 모듈들, 명령어 블록들, 데이터 요소들 등을 나타내는 것들과 같은, 개략적인 요소들의 특정 배열들 또는 순서들이 설명의 편의를 위해 도면들에 예시되어 있다. 그렇지만, 본 기술 분야의 통상의 기술자라면 도면들에서의 개략적인 요소들의 특정 순서 또는 배열이, 그러한 것으로 명시적으로 기술되지 않는 한, 프로세스들의 특정 프로세싱 순서 또는 시퀀스, 또는 프로세스들의 분리가 필요하다는 것을 암시하는 것으로 의미되지 않는다는 것을 이해할 것이다. 게다가, 도면에 개략적인 요소를 포함시키는 것은, 그러한 것으로 명시적으로 기술되지 않는 한 일부 실시예들에서, 그러한 요소가 모든 실시예들에서 필요하다는 것 또는 그러한 요소에 의해 표현되는 특징들이 다른 요소들에 포함되지 않을 수 있거나 다른 요소들과 결합되지 않을 수 있다는 것을 암시하는 것으로 의미되지 않는다.
게다가, 2 개 이상의 다른 개략적인 요소 사이의 연결, 관계 또는 연관을 예시하기 위해 실선 또는 파선 또는 화살표와 같은 연결 요소들이 도면들에서 사용되는 경우에, 임의의 그러한 연결 요소들의 부재는 연결, 관계 또는 연관이 존재할 수 없다는 것을 암시하는 것으로 의미되지 않는다. 환언하면, 본 개시를 모호하게 하지 않기 위해 요소들 사이의 일부 연결들, 관계들 또는 연관들이 도면들에 예시되어 있지 않다. 추가적으로, 예시의 편의를 위해, 요소들 사이의 다수의 연결들, 관계들 또는 연관들을 나타내기 위해 단일의 연결 요소가 사용될 수 있다. 예를 들어, 연결 요소가 신호들, 데이터 또는 명령어들(예를 들면, "소프트웨어 명령어들")의 통신을 나타내는 경우에, 본 기술 분야의 통상의 기술자라면 그러한 요소가, 통신을 수행하기 위해 필요하게 될 수 있는, 하나 또는 다수의 신호 경로(예를 들면, 버스)를 나타낼 수 있다는 것을 이해할 것이다.
제1, 제2, 제3 등의 용어들이 다양한 컴포넌트들을 기술하는 데 사용되지만, 이러한 요소들이 이러한 용어들에 의해 제한되어서는 안된다. 제1, 제2, 제3 등의 용어들은 하나의 요소를 다른 요소와 구별하는 데만 사용된다. 예를 들어, 기술된 실시예들의 범위를 벗어나지 않으면서, 제1 접촉은 제2 접촉이라고 지칭될 수 있고, 유사하게 제2 접촉은 제1 접촉이라고 지칭될 수 있다. 제1 접촉과 제2 접촉은 양쪽 모두 접촉이지만, 동일한 접촉은 아니다.
본원에서의 다양한 기술된 실시예들에 대한 설명에서 사용되는 전문용어는 특정 실시예들을 기술하기 위해서만 포함되어 있으며, 제한하는 것으로 의도되지 않는다. 다양한 기술된 실시예들에 대한 설명 및 첨부된 청구항들에서 사용되는 바와 같이, 단수 형태들("a", "an" 및 "the")은 복수 형태들도 포함하는 것으로 의도되고, 문맥이 달리 명확히 나타내지 않는 한, "하나 이상" 또는 "적어도 하나"와 상호 교환 가능하게 사용될 수 있다. "및/또는"이라는 용어가, 본원에서 사용되는 바와 같이, 연관된 열거된 항목들 중 하나 이상의 항목의 임의의 및 모든 가능한 조합들을 지칭하고 포괄한다는 것이 또한 이해될 것이다. "포함한다(includes)", 포함하는(including), 포함한다(comprises)" 및/또는 "포함하는(comprising)"이라는 용어들이, 본 설명에서 사용될 때, 언급된 특징들, 정수들, 단계들, 동작들, 요소들, 및/또는 컴포넌트들의 존재를 명시하지만, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 컴포넌트, 및/또는 이들의 그룹들의 존재 또는 추가를 배제하지 않는다는 것이 추가로 이해될 것이다.
본원에서 사용되는 바와 같이, "통신" 및 "통신하다"라는 용어들은 정보(또는, 예를 들어, 데이터, 신호들, 메시지들, 명령어들, 커맨드들 등에 의해 표현되는 정보)의 수신, 접수, 송신, 전달, 제공 등 중 적어도 하나를 지칭한다. 하나의 유닛(예를 들면, 디바이스, 시스템, 디바이스 또는 시스템의 컴포넌트, 이들의 조합들 등)이 다른 유닛과 통신한다는 것은 하나의 유닛이 직접 또는 간접적으로 다른 유닛으로부터 정보를 수신하고/하거나 다른 유닛으로 정보를 전송(예를 들면, 송신)할 수 있다는 것을 의미한다. 이것은 본질적으로 유선 및/또는 무선인 직접 또는 간접 연결을 지칭할 수 있다. 추가적으로, 송신되는 정보가 제1 유닛과 제2 유닛 사이에서 수정, 프로세싱, 중계 및/또는 라우팅될 수 있을지라도 2 개의 유닛은 서로 통신하고 있을 수 있다. 예를 들어, 제1 유닛이 정보를 수동적으로 수신하고 정보를 제2 유닛으로 능동적으로 송신하지 않을지라도 제1 유닛은 제2 유닛과 통신하고 있을 수 있다. 다른 예로서, 적어도 하나의 중간 유닛(예를 들면, 제1 유닛과 제2 유닛 사이에 위치하는 제3 유닛)이 제1 유닛으로부터 수신되는 정보를 프로세싱하고 프로세싱된 정보를 제2 유닛으로 송신하는 경우 제1 유닛은 제2 유닛과 통신하고 있을 수 있다. 일부 실시예들에서, 메시지는 데이터를 포함하는 네트워크 패킷(예를 들면, 데이터 패킷 등)을 지칭할 수 있다.
본원에서 사용되는 바와 같이, "~ 경우"라는 용어는, 선택적으로, 문맥에 따라 "~할 때", 또는 "~시에" 또는 "~라고 결정하는 것에 응답하여", "~을 검출하는 것에 응답하여" 등을 의미하는 것으로 해석된다. 유사하게, 문구 "~라고 결정되는 경우" 또는 "[언급된 조건 또는 이벤트]가 검출되는 경우"는, 선택적으로, 문맥에 따라, "~라고 결정할 시에", "~라고 결정하는 것에 응답하여", "[언급된 조건 또는 이벤트]를 검출할 시에", "[언급된 조건 또는 이벤트]를 검출하는 것에 응답하여" 등을 의미하는 것으로 해석된다. 또한, 본원에서 사용되는 바와 같이, "갖는다"(has, have), "갖는(having)" 등의 용어들은 개방형(open-ended) 용어들인 것으로 의도된다. 게다가, 문구 "~에 기초하여"는, 달리 명시적으로 언급되지 않는 한, "~에 적어도 부분적으로 기초하여"를 의미하는 것으로 의도된다.
그 예가 첨부 도면들에 예시되어 있는 실시예들에 대해 이제 상세하게 언급될 것이다. 이하의 상세한 설명에서, 다양한 기술된 실시예들에 대한 완전한 이해를 제공하기 위해 수많은 특정 세부 사항들이 기재된다. 그렇지만, 다양한 기술된 실시예들이 이러한 특정 세부 사항들이 없더라도 실시될 수 있다는 것이 본 기술 분야의 통상의 기술자에게 명백할 것이다. 다른 경우에, 실시예들의 양태들을 불필요하게 모호하게 하지 않기 위해 잘 알려진 방법들, 절차들, 컴포넌트들, 회로들, 및 네트워크들은 상세하게 기술되지 않았다.
일반적 개관
일부 양태들 및/또는 실시예들에서, 본원에 기술된 시스템들, 방법들 및 컴퓨터 프로그램 제품들은 내부 교정을 사용한 능동 정렬을 포함하고/하거나 구현한다. 예를 들어, 본 출원은 카메라 어셈블리의 렌즈와 이미지 센서를 능동적으로 정렬시키기 위한 개선된 프로세스들을 위한 시스템들 및 방법들을 제공한다. 일부 실시예들에서, 먼저, 다중 콜리메이터 어셈블리에 의해 투사되는 복수의 타깃들에 기초하여 능동 정렬이 먼저 수행된다. 이어서, 카메라 어셈블리의 광학 경로 내로 이동되는 DOE 내부 교정 모듈을 사용하여 수행되는 내부 교정 프로세스에 기초하여 카메라 어셈블리의 주점이 결정된다. 다음으로, DOE 내부 교정 모듈이 제거되고, 이미지 센서의 이미지 중심이 주점과 정렬된다. 마지막으로, 변조 전달 함수(modulation transfer function, MTF)가 복수의 MTF 타깃들에 기초하여 최적화된다.
본원에 기술된 시스템들, 방법들 및 컴퓨터 프로그램 제품들의 구현에 의해, 내부 교정을 사용한 능동 정렬을 위한 기술들은 렌즈와 이미지 센서 사이의 중심이탈 또는 오정렬을 최소화하는 것에 의해 조립된 광학 시스템들의 개선된 성능을 제공한다. 일반적으로, 카메라 어셈블리에서의 렌즈와 이미지 센서의 능동 정렬은 카메라 어셈블리의 광학 성능에 매우 중요하다. 일부 실시예들에서, 본 출원의 방법들 및 시스템들은 크기가 상대적으로 작고 능동 정렬 프로세스에서 구현될 수 있는 DOE-콜리메이터 내부 교정 모듈을 사용하는 능동 정렬을 제공한다.
이제 도 1을 참조하면, 자율 주행 시스템들을 포함하는 차량들은 물론 그렇지 않은 차량들이 작동되는 예시적인 환경(100)이 예시되어 있다. 예시된 바와 같이, 환경(100)은 차량들(102a 내지 102n), 대상체들(104a 내지 104n), 루트들(106a 내지 106n), 구역(108), 차량 대 인프라스트럭처(vehicle-to-infrastructure, V2I) 디바이스(110), 네트워크(112), 원격 자율 주행 차량(AV) 시스템(114), 플릿 관리 시스템(fleet management system)(116), 및 V2I 시스템(118)을 포함한다. 차량들(102a 내지 102n), 차량 대 인프라스트럭처(V2I) 디바이스(110), 네트워크(112), 자율 주행 차량(AV) 시스템(114), 플릿 관리 시스템(116), 및 V2I 시스템(118)은 유선 연결들, 무선 연결들, 또는 유선 또는 무선 연결들의 조합을 통해 상호연결한다(예를 들면, 통신 등을 위해 연결을 확립한다). 일부 실시예들에서, 대상체들(104a 내지 104n)은 유선 연결들, 무선 연결들 또는 유선 또는 무선 연결들의 조합을 통해 차량들(102a 내지 102n), 차량 대 인프라스트럭처(V2I) 디바이스(110), 네트워크(112), 자율 주행 차량(AV) 시스템(114), 플릿 관리 시스템(116), 및 V2I 시스템(118) 중 적어도 하나와 상호연결한다.
차량들(102a 내지 102n)(개별적으로 차량(102)이라고 지칭되고 집합적으로 차량들(102)이라고 지칭됨)은 상품 및/또는 사람을 운송하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 실시예들에서, 차량들(102)은 네트워크(112)를 통해 V2I 디바이스(110), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된다. 일부 실시예들에서, 차량들(102)은 자동차들, 버스들, 트럭들, 기차들 등을 포함한다. 일부 실시예들에서, 차량들(102)은 본원에 기술된 차량들(200)(도 2 참조)과 동일하거나 유사하다. 일부 실시예들에서, 일단의 차량들(200) 중의 한 차량(200)은 자율 주행 플릿 관리자와 연관된다. 일부 실시예들에서, 차량들(102)은, 본원에 기술된 바와 같이, 각자의 루트들(106a 내지 106n)(개별적으로 루트(106)라고 지칭되고 집합적으로 루트들(106)이라고 지칭됨)을 따라 주행한다. 일부 실시예들에서, 하나 이상의 차량(102)은 자율 주행 시스템(예를 들면, 자율 주행 시스템(202)과 동일하거나 유사한 자율 주행 시스템)을 포함한다.
대상체들(104a 내지 104n)(개별적으로 대상체(104)라고 지칭되고 집합적으로 대상체들(104)이라고 지칭됨)은, 예를 들어, 적어도 하나의 차량, 적어도 하나의 보행자, 적어도 하나의 자전거 타는 사람, 적어도 하나의 구조물(예를 들면, 건물, 표지판, 소화전(fire hydrant) 등) 등을 포함한다. 각각의 대상체(104)는 정지해(예를 들면, 일정 시간 기간 동안 고정 위치에 위치해) 있거나 움직이고(예를 들면, 속도를 가지며 적어도 하나의 궤적과 연관되어) 있다. 일부 실시예들에서, 대상체들(104)은 구역(108) 내의 대응하는 위치들과 연관되어 있다.
루트들(106a 내지 106n)(개별적으로 루트(106)라고 지칭되고 집합적으로 루트들(106)이라고 지칭됨)은 각각 AV가 운행할 수 있는 상태들을 연결하는 행동들의 시퀀스(궤적이라고도 함)와 연관된다(예를 들면, 이를 규정한다). 각각의 루트(106)는 초기 상태(예를 들면, 제1 시공간적 위치, 속도 등에 대응하는 상태) 및 최종 목표 상태(예를 들면, 제1 시공간적 위치와 상이한 제2 시공간적 위치에 대응하는 상태) 또는 목표 영역(예를 들면, 허용 가능한 상태들(예를 들면, 종료 상태들(terminal states))의 부분 공간(subspace))에서 시작된다. 일부 실시예들에서, 제1 상태는 개인 또는 개인들이 AV에 의해 픽업(pick-up)되어야 하는 위치를 포함하고 제2 상태 또는 영역은 AV에 의해 픽업된 개인 또는 개인들이 하차(drop-off)해야 하는 위치 또는 위치들을 포함한다. 일부 실시예들에서, 루트들(106)은 복수의 허용 가능한 상태 시퀀스들(예를 들면, 복수의 시공간적 위치 시퀀스들)을 포함하며, 복수의 상태 시퀀스들은 복수의 궤적들과 연관된다(예를 들면, 이를 정의한다). 일 예에서, 루트들(106)은, 도로 교차로들에서의 회전 방향들을 지시하는 일련의 연결된 도로들과 같은, 상위 레벨 행동들 또는 부정확한 상태 위치들만을 포함한다. 추가적으로 또는 대안적으로, 루트들(106)은, 예를 들어, 특정 목표 차선들 또는 차선 구역들 내에서의 정확한 위치들 및 해당 위치들에서의 목표 속력과 같은, 보다 정확한 행동들 또는 상태들을 포함할 수 있다. 일 예에서, 루트들(106)은 중간 목표들에 도달하기 위해 제한된 룩어헤드 구간(lookahead horizon)을 갖는 적어도 하나의 상위 레벨 행동 시퀀스를 따른 복수의 정확한 상태 시퀀스들을 포함하며, 여기서 제한된 구간 상태 시퀀스들의 연속적인 반복들의 조합은 누적되어 복수의 궤적들에 대응하며 이 복수의 궤적들은 집합적으로 최종 목표 상태 또는 영역에서 종료하는 상위 레벨 루트를 형성한다.
구역(108)은 차량들(102)이 운행할 수 있는 물리적 구역(예를 들면, 지리적 영역)을 포함한다. 일 예에서, 구역(108)은 적어도 하나의 주(state)(예를 들면, 국가, 지방, 국가에 포함된 복수의 주들의 개개의 주 등), 주의 적어도 하나의 부분, 적어도 하나의 도시, 도시의 적어도 하나의 부분 등을 포함한다. 일부 실시예들에서, 구역(108)은 간선 도로(highway), 주간 간선 도로(interstate highway), 공원 도로, 도시 거리 등과 같은 적어도 하나의 명명된 주요 도로(thoroughfare)(본원에서 "도로"라고 지칭됨)를 포함한다. 추가적으로 또는 대안적으로, 일부 예들에서, 구역(108)은 진입로(driveway), 주차장의 섹션, 공터 및/또는 미개발 부지의 섹션, 비포장 경로 등과 같은 적어도 하나의 명명되지 않은 도로를 포함한다. 일부 실시예들에서, 도로는 적어도 하나의 차선(예를 들면, 차량(102)에 의해 횡단될 수 있는 도로의 일 부분)을 포함한다. 일 예에서, 도로는 적어도 하나의 차선 마킹과 연관된(예를 들면, 이에 기초하여 식별되는) 적어도 하나의 차선을 포함한다.
차량 대 인프라스트럭처(V2I) 디바이스(110)(때때로 차량 대 인프라스트럭처(V2X) 디바이스라고 지칭됨)는 차량들(102) 및/또는 V2I 인프라스트럭처 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 실시예들에서, V2I 디바이스(110)는 네트워크(112)를 통해 차량들(102), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된다. 일부 실시예들에서, V2I 디바이스(110)는 RFID(radio frequency identification) 디바이스, 사이니지(signage), 카메라(예를 들면, 2차원(2D) 및/또는 3차원(3D) 카메라), 차선 마커, 가로등, 주차 미터기 등을 포함한다. 일부 실시예들에서, V2I 디바이스(110)는 차량들(102)과 직접 통신하도록 구성된다. 추가적으로 또는 대안적으로, 일부 실시예들에서, V2I 디바이스(110)는 V2I 시스템(118)을 통해 차량들(102), 원격 AV 시스템(114), 및/또는 플릿 관리 시스템(116)과 통신하도록 구성된다. 일부 실시예들에서, V2I 디바이스(110)는 네트워크(112)를 통해 V2I 시스템(118)과 통신하도록 구성된다.
네트워크(112)는 하나 이상의 유선 및/또는 무선 네트워크를 포함한다. 일 예에서, 네트워크(112)는 셀룰러 네트워크(예를 들면, LTE(long term evolution) 네트워크, 3G(third generation) 네트워크, 4G(fourth generation) 네트워크, 5G(fifth generation) 네트워크, CDMA(code division multiple access) 네트워크 등), PLMN(public land mobile network), LAN(local area network), WAN(wide area network), MAN(metropolitan area network), 전화 네트워크(예를 들면, PSTN(public switched telephone network)), 사설 네트워크, 애드혹 네트워크, 인트라넷, 인터넷, 광섬유 기반 네트워크, 클라우드 컴퓨팅 네트워크 등, 이러한 네트워크들의 일부 또는 전부의 조합 등을 포함한다.
원격 AV 시스템(114)은 네트워크(112)를 통해 차량들(102), V2I 디바이스(110), 네트워크(112), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일 예에서, 원격 AV 시스템(114)은 서버, 서버들의 그룹, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, 원격 AV 시스템(114)은 플릿 관리 시스템(116)과 동일 위치에 배치된다(co-located). 일부 실시예들에서, 원격 AV 시스템(114)은 자율 주행 시스템, 자율 주행 차량 컴퓨터, 자율 주행 차량 컴퓨터에 의해 구현되는 소프트웨어 등을 포함한, 차량의 컴포넌트들의 일부 또는 전부의 설치에 관여된다. 일부 실시예들에서, 원격 AV 시스템(114)은 차량의 수명 동안 그러한 컴포넌트들 및/또는 소프트웨어를 유지 관리(예를 들면, 업데이트 및/또는 교체)한다.
플릿 관리 시스템(116)은 차량들(102), V2I 디바이스(110), 원격 AV 시스템(114), 및/또는 V2I 인프라스트럭처 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일 예에서, 플릿 관리 시스템(116)은 서버, 서버들의 그룹, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, 플릿 관리 시스템(116)은 라이드 셰어링(ridesharing) 회사(예를 들면, 다수의 차량들(예를 들면, 자율 주행 시스템들을 포함하는 차량들 및/또는 자율 주행 시스템들을 포함하지 않는 차량들)의 작동을 제어하는 조직 등)와 연관된다.
일부 실시예들에서, V2I 시스템(118)은 네트워크(112)를 통해 차량들(102), V2I 디바이스(110), 원격 AV 시스템(114), 및/또는 플릿 관리 시스템(116)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, V2I 시스템(118)은 네트워크(112)와 상이한 연결을 통해 V2I 디바이스(110)와 통신하도록 구성된다. 일부 실시예들에서, V2I 시스템(118)은 서버, 서버들의 그룹, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, V2I 시스템(118)은 지자체 또는 사설 기관(예를 들면, V2I 디바이스(110) 등을 유지 관리하는 사설 기관)과 연관된다.
도 1에 예시된 요소들의 수 및 배열은 예로서 제공된다. 도 1에 예시된 것들보다 추가적인 요소들, 더 적은 요소들, 그와 상이한 요소들 및/또는 상이하게 배열된 요소들이 있을 수 있다. 추가적으로 또는 대안적으로, 환경(100)의 적어도 하나의 요소는 도 1의 적어도 하나의 상이한 요소에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다. 추가적으로 또는 대안적으로, 환경(100)의 적어도 하나의 요소 세트는 환경(100)의 적어도 하나의 상이한 요소 세트에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다.
이제 도 2를 참조하면, 차량(200)은 자율 주행 시스템(202), 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 및 브레이크 시스템(208)을 포함한다. 일부 실시예들에서, 차량(200)은 차량(102)(도 1 참조)과 동일하거나 유사하다. 일부 실시예들에서, 차량(102)은 자율 주행 능력을 갖는다(예를 들면, 완전 자율 주행 차량들(예를 들면, 인간 개입에 의존하지 않는 차량들), 고도 자율 주행 차량들(예를 들면, 특정 상황들에서 인간 개입에 의존하지 않는 차량들) 등을, 제한 없이, 포함한, 차량(200)이 인간 개입 없이 부분적으로 또는 완전히 작동될 수 있게 하는 적어도 하나의 기능, 특징, 디바이스 등을 구현한다). 완전 자율 주행 차량들 및 고도 자율 주행 차량들에 대한 상세한 설명에 대해서는, 그 전체가 참고로 포함되는, SAE 국제 표준 J3016: 온로드 자동차 자동 운전 시스템에 관한 용어의 분류 및 정의(SAE International's standard J3016: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems)가 참조될 수 있다. 일부 실시예들에서, 차량(200)은 자율 주행 플릿 관리자 및/또는 라이드 셰어링 회사와 연관된다.
자율 주행 시스템(202)은 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 및 마이크로폰들(202d)과 같은 하나 이상의 디바이스를 포함하는 센서 스위트(sensor suite)를 포함한다. 일부 실시예들에서, 자율 주행 시스템(202)은 보다 많거나 보다 적은 디바이스들 및/또는 상이한 디바이스들(예를 들면, 초음파 센서들, 관성 센서들, GPS 수신기들(아래에서 논의됨), 차량(200)이 주행한 거리의 표시와 연관된 데이터를 생성하는 주행 거리 측정 센서들 등)을 포함할 수 있다. 일부 실시예들에서, 자율 주행 시스템(202)은 자율 주행 시스템(202)에 포함되는 하나 이상의 디바이스를 사용하여 본원에서 기술되는 환경(100)과 연관된 데이터를 생성한다. 자율 주행 시스템(202)의 하나 이상의 디바이스에 의해 생성되는 데이터는 차량(200)이 위치하는 환경(예를 들면, 환경(100))을 관측하기 위해 본원에 기술된 하나 이상의 시스템에 의해 사용될 수 있다. 일부 실시예들에서, 자율 주행 시스템(202)은 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f), 및 드라이브 바이 와이어(drive-by-wire, DBW) 시스템(202h)을 포함한다.
카메라들(202a)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f) 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 카메라들(202a)은 물리적 대상체들(예를 들면, 자동차들, 버스들, 연석들, 사람들 등)을 포함하는 이미지들을 캡처하기 위한 적어도 하나의 카메라(예를 들면, CCD(charge-coupled device)와 같은 광 센서를 사용하는 디지털 카메라, 열 카메라, 적외선(IR) 카메라, 이벤트 카메라 등)를 포함한다. 일부 실시예들에서, 카메라(202a)는 출력으로서 카메라 데이터를 생성한다. 일부 예들에서, 카메라(202a)는 이미지와 연관된 이미지 데이터를 포함하는 카메라 데이터를 생성한다. 이 예에서, 이미지 데이터는 이미지에 대응하는 적어도 하나의 파라미터(예를 들면, 노출, 밝기 등과 같은 이미지 특성들, 이미지 타임스탬프 등)를 명시할 수 있다. 그러한 예에서, 이미지는 한 포맷(예를 들면, RAW, JPEG, PNG 등)으로 되어 있을 수 있다. 일부 실시예들에서, 카메라(202a)는 입체시(stereopsis)(스테레오 비전(stereo vision))를 위해 이미지들을 캡처하도록 차량 상에 구성된(예를 들면, 차량 상에 위치된) 복수의 독립적인 카메라들을 포함한다. 일부 예들에서, 카메라(202a)는 복수의 카메라들을 포함하고, 이 복수의 카메라들은 이미지 데이터를 생성하고 이미지 데이터를 자율 주행 차량 컴퓨터(202f) 및/또는 플릿 관리 시스템(예를 들면, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템)으로 전송한다. 그러한 예에서, 자율 주행 차량 컴퓨터(202f)는 적어도 2 개의 카메라로부터의 이미지 데이터에 기초하여 복수의 카메라들 중 적어도 2 개의 카메라의 시야 내의 하나 이상의 대상체까지의 깊이를 결정한다. 일부 실시예들에서, 카메라들(202a)은 카메라들(202a)로부터 일정한 거리(예를 들면, 최대 100 미터, 최대 1 킬로미터 등) 내의 대상체들의 이미지들을 캡처하도록 구성된다. 그에 따라, 카메라들(202a)은 카메라들(202a)로부터 하나 이상의 거리에 있는 대상체들을 인지하도록 최적화된 센서들 및 렌즈들과 같은 특징부들을 포함한다.
일 실시예에서, 카메라(202a)는 시각적 운행 정보를 제공하는 하나 이상의 교통 신호등, 거리 표지판 및/또는 다른 물리적 대상체와 연관된 하나 이상의 이미지를 캡처하도록 구성된 적어도 하나의 카메라를 포함한다. 일부 실시예들에서, 카메라(202a)는 하나 이상의 이미지와 연관된 교통 신호등 데이터를 생성한다. 일부 예들에서, 카메라(202a)는 한 포맷(예를 들면, RAW, JPEG, PNG 등)을 포함하는 하나 이상의 이미지와 연관된 TLD 데이터를 생성한다. 일부 실시예들에서, TLD 데이터를 생성하는 카메라(202a)는, 카메라(202a)가 가능한 한 많은 물리적 대상체들에 관한 이미지들을 생성하기 위해 넓은 시야를 갖는 하나 이상의 카메라(예를 들면, 광각 렌즈, 어안 렌즈, 대략 120도 이상의 시야각을 갖는 렌즈 등)를 포함할 수 있다는 점에서, 카메라들을 포함하는 본원에 기술된 다른 시스템들과 상이하다.
LiDAR(Laser Detection and Ranging) 센서들(202b)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f), 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. LiDAR 센서들(202b)은 광 방출기(예를 들면, 레이저 송신기)로부터 광을 송신하도록 구성된 시스템을 포함한다. LiDAR 센서들(202b)에 의해 방출되는 광은 가시 스펙트럼 밖에 있는 광(예를 들면, 적외선 광 등)을 포함한다. 일부 실시예들에서, 작동 동안, LiDAR 센서들(202b)에 의해 방출되는 광은 물리적 대상체(예를 들면, 차량)와 조우하고 LiDAR 센서들(202b)로 다시 반사된다. 일부 실시예들에서, LiDAR 센서들(202b)에 의해 방출되는 광은 광이 조우하는 물리적 대상체들을 투과하지 않는다. LiDAR 센서들(202b)은 광 방출기로부터 방출된 광이 물리적 대상체와 조우한 후에 그 광을 검출하는 적어도 하나의 광 검출기를 또한 포함한다. 일부 실시예들에서, LiDAR 센서들(202b)과 연관된 적어도 하나의 데이터 프로세싱 시스템은 LiDAR 센서들(202b)의 시야에 포함된 대상체들을 나타내는 이미지(예를 들면, 포인트 클라우드, 결합된 포인트 클라우드(combined point cloud) 등)를 생성한다. 일부 예들에서, LiDAR 센서(202b)와 연관된 적어도 하나의 데이터 프로세싱 시스템은 물리적 대상체의 경계들, 물리적 대상체의 표면들(예를 들면, 표면들의 토폴로지) 등을 나타내는 이미지를 생성한다. 그러한 예에서, 이미지는 LiDAR 센서들(202b)의 시야 내의 물리적 대상체들의 경계들을 결정하는 데 사용된다.
레이더(radar, Radio Detection and Ranging) 센서들(202c)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f) 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 레이더 센서들(202c)은 전파들을 (펄스형으로 또는 연속적으로) 송신하도록 구성된 시스템을 포함한다. 레이더 센서들(202c)에 의해 송신되는 전파들은 미리 결정된 스펙트럼 내에 있는 전파들을 포함한다. 일부 실시예들에서, 작동 동안, 레이더 센서들(202c)에 의해 송신되는 전파들은 물리적 대상체와 조우하고 레이더 센서들(202c)로 다시 반사된다. 일부 실시예들에서, 레이더 센서들(202c)에 의해 송신되는 전파들이 일부 대상체들에 의해 반사되지 않는다. 일부 실시예들에서, 레이더 센서들(202c)과 연관된 적어도 하나의 데이터 프로세싱 시스템은 레이더 센서들(202c)의 시야에 포함된 대상체들을 나타내는 신호들을 생성한다. 예를 들어, 레이더 센서(202c)와 연관된 적어도 하나의 데이터 프로세싱 시스템은 물리적 대상체의 경계들, 물리적 대상체의 표면들(예를 들면, 표면들의 토폴로지) 등을 나타내는 이미지를 생성한다. 일부 예들에서, 이미지는 레이더 센서들(202c)의 시야 내의 물리적 대상체들의 경계들을 결정하는 데 사용된다.
마이크로폰들(202d)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f) 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 마이크로폰들(202d)은 오디오 신호들을 캡처하고 오디오 신호들과 연관된(예를 들면, 이를 나타내는) 데이터를 생성하는 하나 이상의 마이크로폰(예를 들면, 어레이 마이크로폰, 외부 마이크로폰 등)을 포함한다. 일부 예들에서, 마이크로폰들(202d)은 트랜스듀서 디바이스들 및/또는 유사 디바이스들을 포함한다. 일부 실시예들에서, 본원에 기술된 하나 이상의 시스템은 마이크로폰들(202d)에 의해 생성되는 데이터를 수신하고 데이터와 연관된 오디오 신호들에 기초하여 차량(200)을 기준으로 대상체의 위치(예를 들면, 거리 등)를 결정할 수 있다.
통신 디바이스(202e)는 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 자율 주행 차량 컴퓨터(202f), 안전 제어기(202g), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 예를 들어, 통신 디바이스(202e)는 도 3의 통신 인터페이스(314)와 동일하거나 유사한 디바이스를 포함할 수 있다. 일부 실시예들에서, 통신 디바이스(202e)는 차량 대 차량(vehicle-to-vehicle, V2V) 통신 디바이스(예를 들면, 차량들 간의 데이터의 무선 통신을 가능하게 하는 디바이스)를 포함한다.
자율 주행 차량 컴퓨터(202f)는 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 통신 디바이스(202e), 안전 제어기(202g), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 자율 주행 차량 컴퓨터(202f)는 클라이언트 디바이스, 모바일 디바이스(예를 들면, 셀룰러 전화, 태블릿 등), 서버(예를 들면, 하나 이상의 중앙 프로세싱 유닛, 그래픽 프로세싱 유닛 등을 포함하는 컴퓨팅 디바이스) 등과 같은 디바이스를 포함한다. 일부 실시예들에서, 자율 주행 차량 컴퓨터(202f)는 본원에 기술된 자율 주행 차량 컴퓨터(400)와 동일하거나 유사하다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 자율 주행 차량 컴퓨터(202f)는 자율 주행 차량 시스템(예를 들면, 도 1의 원격 AV 시스템(114)과 동일하거나 유사한 자율 주행 차량 시스템), 플릿 관리 시스템(예를 들면, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템), V2I 디바이스(예를 들면, 도 1의 V2I 디바이스(110)와 동일하거나 유사한 V2I 디바이스), 및/또는 V2I 시스템(예를 들면, 도 1의 V2I 시스템(118)과 동일하거나 유사한 V2I 시스템)과 통신하도록 구성된다.
안전 제어기(202g)는 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 안전 제어기(202g)는 차량(200)의 하나 이상의 디바이스(예를 들면, 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 브레이크 시스템(208) 등)를 작동시키기 위한 제어 신호들을 생성 및/또는 송신하도록 구성된 하나 이상의 제어기(전기 제어기, 전기기계 제어기 등)를 포함한다. 일부 실시예들에서, 안전 제어기(202g)는 자율 주행 차량 컴퓨터(202f)에 의해 생성 및/또는 송신되는 제어 신호들보다 우선하는(예를 들면, 이를 오버라이드하는) 제어 신호들을 생성하도록 구성된다.
DBW 시스템(202h)은 통신 디바이스(202e) 및/또는 자율 주행 차량 컴퓨터(202f)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, DBW 시스템(202h)은 차량(200)의 하나 이상의 디바이스(예를 들면, 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 브레이크 시스템(208) 등)를 작동시키기 위한 제어 신호들을 생성 및/또는 송신하도록 구성된 하나 이상의 제어기(예를 들면, 전기 제어기, 전기기계 제어기 등)를 포함한다. 추가적으로 또는 대안적으로, DBW 시스템(202h)의 하나 이상의 제어기는 차량(200)의 적어도 하나의 상이한 디바이스(예를 들면, 방향 지시등, 헤드라이트, 도어록, 윈도실드 와이퍼 등)를 작동시키기 위한 제어 신호들을 생성 및/또는 송신하도록 구성된다.
파워트레인 제어 시스템(204)은 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 파워트레인 제어 시스템(204)은 적어도 하나의 제어기, 액추에이터 등을 포함한다. 일부 실시예들에서, 파워트레인 제어 시스템(204)은 DBW 시스템(202h)으로부터 제어 신호들을 수신하고, 파워트레인 제어 시스템(204)은 차량(200)이 전진하는 것을 시작하게 하고, 전진하는 것을 중지하게 하며, 후진하는 것을 시작하게 하고, 후진하는 것을 중지하게 하며, 한 방향으로 가속하게 하고, 한 방향으로 감속하게 하며, 좌회전을 수행하게 하고, 우회전을 수행하게 하는 등을 한다. 일 예에서, 파워트레인 제어 시스템(204)은 차량의 모터에 제공되는 에너지(예를 들면, 연료, 전기 등)가 증가하게 하거나, 동일하게 유지되게 하거나, 또는 감소하게 하여, 이에 의해 차량(200)의 적어도 하나의 바퀴가 회전하게 하거나 회전하지 않게 한다.
조향 제어 시스템(206)은 차량(200)의 하나 이상의 바퀴를 회전시키도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 조향 제어 시스템(206)은 적어도 하나의 제어기, 액추에이터 등을 포함한다. 일부 실시예들에서, 조향 제어 시스템(206)은 차량(200)이 좌측 또는 우측으로 방향 전환하게 하기 위해 차량(200)의 2 개의 앞바퀴 및/또는 2 개의 뒷바퀴가 좌측 또는 우측으로 회전하게 한다.
브레이크 시스템(208)은 차량(200)이 속력을 감소시키게 하고/하거나 정지해 있는 채로 유지하게 하기 위해 하나 이상의 브레이크를 작동시키도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 브레이크 시스템(208)은 차량(200)의 대응하는 로터(rotor)에서 차량(200)의 하나 이상의 바퀴와 연관된 하나 이상의 캘리퍼(caliper)가 닫히게 하도록 구성된 적어도 하나의 제어기 및/또는 액추에이터를 포함한다. 추가적으로 또는 대안적으로, 일부 예들에서, 브레이크 시스템(208)은 자동 긴급 제동(automatic emergency braking, AEB) 시스템, 회생 제동 시스템 등을 포함한다.
일부 실시예들에서, 차량(200)은 차량(200)의 상태 또는 조건의 속성들을 측정 또는 추론하는 적어도 하나의 플랫폼 센서(명시적으로 예시되지 않음)를 포함한다. 일부 예들에서, 차량(200)은 GPS(global positioning system) 수신기, IMU(inertial measurement unit), 바퀴 속력 센서, 바퀴 브레이크 압력 센서, 바퀴 토크 센서, 엔진 토크 센서, 조향각 센서 등과 같은 플랫폼 센서들을 포함한다.
이제 도 3을 참조하면, 디바이스(300)의 개략 다이어그램이 예시되어 있다. 예시된 바와 같이, 디바이스(300)는 프로세서(304), 메모리(306), 저장 컴포넌트(308), 입력 인터페이스(310), 출력 인터페이스(312), 통신 인터페이스(314), 및 버스(302)를 포함한다. 일부 실시예들에서, 디바이스(300)는 차량들(102)의 적어도 하나의 디바이스(예를 들면, 차량들(102)의 시스템의 적어도 하나의 디바이스), 차량들(200)의 적어도 하나의 디바이스, 및/또는 네트워크(112)의 하나 이상의 디바이스(예를 들면, 네트워크(112)의 시스템의 하나 이상의 디바이스)에 대응한다. 일부 실시예들에서, 차량들(102)의 하나 이상의 디바이스(예를 들면, 차량들(102)의 시스템의 하나 이상의 디바이스), 차량(200)의 하나 이상의 디바이스 및/또는 네트워크(112)의 하나 이상의 디바이스(예를 들면, 네트워크(112)의 시스템의 하나 이상의 디바이스)는 적어도 하나의 디바이스(300) 및/또는 디바이스(300)의 적어도 하나의 컴포넌트를 포함한다. 도 3에 도시된 바와 같이, 디바이스(300)는 버스(302), 프로세서(304), 메모리(306), 저장 컴포넌트(308), 입력 인터페이스(310), 출력 인터페이스(312), 및 통신 인터페이스(314)를 포함한다.
버스(302)는 디바이스(300)의 컴포넌트들 간의 통신을 가능하게 하는 컴포넌트를 포함한다. 일부 실시예들에서, 프로세서(304)는 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로 구현된다. 일부 예들에서, 프로세서(304)는 적어도 하나의 기능을 수행하도록 프로그래밍될 수 있는, 프로세서(예를 들면, 중앙 프로세싱 유닛(CPU), 그래픽 프로세싱 유닛(GPU), 가속 프로세싱 유닛(APU) 등), 마이크로폰, 디지털 신호 프로세서(DSP), 및/또는 임의의 프로세싱 컴포넌트(예를 들면, FPGA(field-programmable gate array), ASIC(application specific integrated circuit) 등)를 포함한다. 메모리(306)는 프로세서(304)가 사용할 데이터 및/또는 명령어들을 저장하는, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 및/또는 다른 유형의 동적 및/또는 정적 저장 디바이스(예를 들면, 플래시 메모리, 자기 메모리, 광학 메모리 등)를 포함한다.
저장 컴포넌트(308)는 디바이스(300)의 작동 및 사용에 관련된 데이터 및/또는 소프트웨어를 저장한다. 일부 예들에서, 저장 컴포넌트(308)는 하드 디스크(예를 들면, 자기 디스크, 광학 디스크, 광자기 디스크, 솔리드 스테이트 디스크 등), CD(compact disc), DVD(digital versatile disc), 플로피 디스크, 카트리지, 자기 테이프, CD-ROM, RAM, PROM, EPROM, FLASH-EPROM, NV-RAM 및/또는 다른 유형의 컴퓨터 판독 가능 매체를, 대응하는 드라이브와 함께, 포함한다.
입력 인터페이스(310)는 디바이스(300)가, 예컨대, 사용자 입력(예를 들면, 터치스크린 디스플레이, 키보드, 키패드, 마우스, 버튼, 스위치, 마이크로폰, 카메라 등)을 통해, 정보를 수신할 수 있게 하는 컴포넌트를 포함한다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 입력 인터페이스(310)는 정보를 감지하는 센서(예를 들면, GPS(global positioning system) 수신기, 가속도계, 자이로스코프, 액추에이터 등)를 포함한다. 출력 인터페이스(312)는 디바이스(300)로부터의 출력 정보를 제공하는 컴포넌트(예를 들면, 디스플레이, 스피커, 하나 이상의 발광 다이오드(LED) 등)를 포함한다.
일부 실시예들에서, 통신 인터페이스(314)는 디바이스(300)가 유선 연결, 무선 연결, 또는 유선 연결과 무선 연결의 조합을 통해 다른 디바이스들과 통신할 수 있게 하는 트랜시버 유사 컴포넌트(예를 들면, 트랜시버, 개별 수신기 및 송신기 등)를 포함한다. 일부 예들에서, 통신 인터페이스(314)는 디바이스(300)가 다른 디바이스로부터 정보를 수신하고/하거나 다른 디바이스에 정보를 제공할 수 있게 한다. 일부 예들에서, 통신 인터페이스(314)는 이더넷 인터페이스, 광학 인터페이스, 동축 인터페이스, 적외선 인터페이스, RF(radio frequency) 인터페이스, USB(universal serial bus) 인터페이스, Wi-Fi® 인터페이스, 셀룰러 네트워크 인터페이스 등을 포함한다.
일부 실시예들에서, 디바이스(300)는 본원에 기술된 하나 이상의 프로세스를 수행한다. 디바이스(300)는 프로세서(304)가, 메모리(305) 및/또는 저장 컴포넌트(308)와 같은, 컴퓨터 판독 가능 매체에 의해 저장된 소프트웨어 명령어들을 실행하는 것에 기초하여 이러한 프로세스들을 수행한다. 컴퓨터 판독 가능 매체(예를 들면, 비일시적 컴퓨터 판독 가능 매체)는 본원에서 비일시적 메모리 디바이스로서 정의된다. 비일시적 메모리 디바이스는 단일의 물리 저장 디바이스 내부에 위치한 메모리 공간 또는 다수의 물리 저장 디바이스들에 걸쳐 분산된 메모리 공간을 포함한다.
일부 실시예들에서, 소프트웨어 명령어들은 통신 인터페이스(314)를 통해 다른 컴퓨터 판독 가능 매체로부터 또는 다른 디바이스로부터 메모리(306) 및/또는 저장 컴포넌트(308)로 판독된다. 실행될 때, 메모리(306) 및/또는 저장 컴포넌트(308)에 저장된 소프트웨어 명령어들은 프로세서(304)로 하여금 본원에 기술된 하나 이상의 프로세스를 수행하게 한다. 추가적으로 또는 대안적으로, 고정 배선(hardwired) 회로는 본원에 기술된 하나 이상의 프로세스를 수행하기 위해 소프트웨어 명령어들 대신에 또는 소프트웨어 명령어들과 함께 사용된다. 따라서, 본원에 기술된 실시예들은, 달리 명시적으로 언급되지 않는 한, 하드웨어 회로와 소프트웨어의 임의의 특정 조합으로 제한되지 않는다.
메모리(306) 및/또는 저장 컴포넌트(308)는 데이터 스토리지 또는 적어도 하나의 데이터 구조(예를 들면, 데이터베이스 등)를 포함한다. 디바이스(300)는 데이터 스토리지 또는 메모리(306) 또는 저장 컴포넌트(308) 내의 적어도 하나의 데이터 구조로부터 정보를 수신하는 것, 그에 정보를 저장하는 것, 그에게로 정보를 전달하는 것, 또는 그에 저장된 정보를 검색하는 것을 할 수 있다. 일부 예들에서, 정보는 네트워크 데이터, 입력 데이터, 출력 데이터, 또는 이들의 임의의 조합을 포함한다.
일부 실시예들에서, 디바이스(300)는 메모리(306)에 및/또는 다른 디바이스(예를 들면, 디바이스(300)와 동일하거나 유사한 다른 디바이스)의 메모리에 저장된 소프트웨어 명령어들을 실행하도록 구성된다. 본원에서 사용되는 바와 같이, "모듈"이라는 용어는, 프로세서(304)에 의해 및/또는 다른 디바이스(예를 들면, 디바이스(300)와 동일하거나 유사한 다른 디바이스)의 프로세서에 의해 실행될 때, 디바이스(300)(예를 들면, 디바이스(300)의 적어도 하나의 컴포넌트)로 하여금 본원에 기술된 하나 이상의 프로세스를 수행하게 하는 메모리(306)에 및/또는 다른 디바이스의 메모리에 저장된 적어도 하나의 명령어를 지칭한다. 일부 실시예들에서, 모듈은 소프트웨어, 펌웨어, 하드웨어 등으로 구현된다.
도 3에 예시된 컴포넌트들의 수 및 배열은 예로서 제공된다. 일부 실시예들에서, 디바이스(300)는 도 3에 예시된 것보다, 추가적인 컴포넌트들, 더 적은 컴포넌트들, 상이한 컴포넌트들, 또는 상이하게 배열된 컴포넌트들을 포함할 수 있다. 추가적으로 또는 대안적으로, 디바이스(300)의 컴포넌트 세트(예를 들면, 하나 이상의 컴포넌트)는 디바이스(300)의 다른 컴포넌트 또는 다른 컴포넌트 세트에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다.
이제 도 4를 참조하면, 자율 주행 차량 컴퓨터(400)(때때로 "AV 스택"이라고 지칭됨)의 예시적인 블록 다이어그램이 예시되어 있다. 예시된 바와 같이, 자율 주행 차량 컴퓨터(400)는 인지 시스템(402)(때때로 인지 모듈이라고 지칭됨), 계획 시스템(404)(때때로 계획 모듈이라고 지칭됨), 로컬화 시스템(406)(때때로 로컬화 모듈이라고 지칭됨), 제어 시스템(408)(때때로 제어 모듈이라고 지칭됨) 및 데이터베이스(410)를 포함한다. 일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408) 및 데이터베이스(410)는 차량의 자율 주행 운행 시스템(예를 들면, 차량(200)의 자율 주행 차량 컴퓨터(202f))에 포함되고/되거나 구현된다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408), 및 데이터베이스(410)는 하나 이상의 독립형 시스템(예를 들면, 자율 주행 차량 컴퓨터(400) 등과 동일하거나 유사한 하나 이상의 시스템)에 포함된다. 일부 예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408), 및 데이터베이스(410)는 본원에 기술된 바와 같이 차량 및/또는 적어도 하나의 원격 시스템에 위치하는 하나 이상의 독립형 시스템에 포함된다. 일부 실시예들에서, 자율 주행 차량 컴퓨터(400)에 포함된 시스템들 중 임의의 것 및/또는 모두는 소프트웨어(예를 들면, 메모리에 저장된 소프트웨어 명령어들), 컴퓨터 하드웨어(예를 들면, 마이크로프로세서, 마이크로컨트롤러, ASIC(application-specific integrated circuit), FPGA(Field Programmable Gate Array) 등), 또는 컴퓨터 소프트웨어와 컴퓨터 하드웨어의 조합으로 구현된다. 일부 실시예들에서, 자율 주행 차량 컴퓨터(400)가 원격 시스템(예를 들면, 원격 AV 시스템(114)과 동일하거나 유사한 자율 주행 차량 시스템, 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템, V2I 시스템(118)과 동일하거나 유사한 V2I 시스템 등)과 통신하도록 구성된다는 것이 또한 이해될 것이다.
일부 실시예들에서, 인지 시스템(402)은 환경에서의 적어도 하나의 물리적 대상체와 연관된 데이터(예를 들면, 적어도 하나의 물리적 대상체를 검출하기 위해 인지 시스템(402)에 의해 사용되는 데이터)를 수신하고 적어도 하나의 물리적 대상체를 분류한다. 일부 예들에서, 인지 시스템(402)은 적어도 하나의 카메라(예를 들면, 카메라들(202a))에 의해 캡처되는 이미지 데이터를 수신하고, 이미지는 적어도 하나의 카메라의 시야 내의 하나 이상의 물리적 대상체와 연관되어 있다(예를 들면, 이를 표현한다). 그러한 예에서, 인지 시스템(402)은 물리적 대상체들(예를 들면, 자전거들, 차량들, 교통 표지판들, 보행자들 등)의 하나 이상의 그룹화에 기초하여 적어도 하나의 물리적 대상체를 분류한다. 일부 실시예들에서, 인지 시스템(402)이 물리적 대상체들을 분류하는 것에 기초하여 인지 시스템(402)은 물리적 대상체들의 분류와 연관된 데이터를 계획 시스템(404)으로 송신한다.
일부 실시예들에서, 계획 시스템(404)은 목적지와 연관된 데이터를 수신하고 차량(예를 들면, 차량들(102))이 목적지를 향해 주행할 수 있는 적어도 하나의 루트(예를 들면, 루트들(106))와 연관된 데이터를 생성한다. 일부 실시예들에서, 계획 시스템(404)은 인지 시스템(402)으로부터의 데이터(예를 들면, 위에서 기술된, 물리적 대상체들의 분류와 연관된 데이터)를 주기적으로 또는 연속적으로 수신하고, 계획 시스템(404)은 인지 시스템(402)에 의해 생성되는 데이터에 기초하여 적어도 하나의 궤적을 업데이트하거나 적어도 하나의 상이한 궤적을 생성한다. 일부 실시예들에서, 계획 시스템(404)은 로컬화 시스템(406)으로부터 차량(예를 들면, 차량들(102))의 업데이트된 위치와 연관된 데이터를 수신하고, 계획 시스템(404)은 로컬화 시스템(406)에 의해 생성되는 데이터에 기초하여 적어도 하나의 궤적을 업데이트하거나 적어도 하나의 상이한 궤적을 생성한다.
일부 실시예들에서, 로컬화 시스템(406)은 한 구역에서의 차량(예를 들면, 차량들(102))의 한 위치와 연관된(예를 들면, 이를 나타내는) 데이터를 수신한다. 일부 예들에서, 로컬화 시스템(406)은 적어도 하나의 LiDAR 센서(예를 들면, LiDAR 센서들(202b))에 의해 생성되는 적어도 하나의 포인트 클라우드와 연관된 LiDAR 데이터를 수신한다. 특정 예들에서, 로컬화 시스템(406)은 다수의 LiDAR 센서들로부터의 적어도 하나의 포인트 클라우드와 연관된 데이터를 수신하고 로컬화 시스템(406)은 포인트 클라우드들 각각에 기초하여 결합된 포인트 클라우드를 생성한다. 이러한 예들에서, 로컬화 시스템(406)은 적어도 하나의 포인트 클라우드 또는 결합된 포인트 클라우드를 데이터베이스(410)에 저장되어 있는 해당 구역의 2차원(2D) 및/또는 3차원(3D) 맵과 비교한다. 로컬화 시스템(406)이 적어도 하나의 포인트 클라우드 또는 결합된 포인트 클라우드를 맵과 비교하는 것에 기초하여 로컬화 시스템(406)은 이어서 해당 구역에서의 차량의 위치를 결정한다. 일부 실시예들에서, 맵은 차량의 운행 이전에 생성되는 해당 구역의 결합된 포인트 클라우드를 포함한다. 일부 실시예들에서, 맵은, 제한 없이, 도로 기하학적 특성들의 고정밀 맵, 도로 네트워크 연결 특성들을 기술하는 맵, 도로 물리적 특성들(예컨대, 교통 속력, 교통량, 차량 교통 차선과 자전거 타는 사람 교통 차선의 수, 차선 폭, 차선 교통 방향, 또는 차선 마커 유형 및 위치, 또는 이들의 조합)을 기술하는 맵, 및 도로 특징물, 예컨대, 횡단보도, 교통 표지판 또는 다양한 유형의 다른 주행 신호들의 공간적 위치들을 기술하는 맵을 포함한다. 일부 실시예들에서, 맵은 인지 시스템에 의해 수신되는 데이터에 기초하여 실시간으로 생성된다.
다른 예에서, 로컬화 시스템(406)은 GPS(global positioning system) 수신기에 의해 생성되는 GNSS(Global Navigation Satellite System) 데이터를 수신한다. 일부 예들에서, 로컬화 시스템(406)은 해당 구역 내에서의 차량의 위치와 연관된 GNSS 데이터를 수신하고 로컬화 시스템(406)은 해당 구역 내에서의 차량의 위도 및 경도를 결정한다. 그러한 예에서, 로컬화 시스템(406)은 차량의 위도 및 경도에 기초하여 해당 구역에서의 차량의 위치를 결정한다. 일부 실시예들에서, 로컬화 시스템(406)은 차량의 위치와 연관된 데이터를 생성한다. 일부 예들에서, 로컬화 시스템(406)이 차량의 위치를 결정하는 것에 기초하여 로컬화 시스템(406)은 차량의 위치와 연관된 데이터를 생성한다. 그러한 예에서, 차량의 위치와 연관된 데이터는 차량의 위치에 대응하는 하나 이상의 시맨틱 속성과 연관된 데이터를 포함한다.
일부 실시예들에서, 제어 시스템(408)은 계획 시스템(404)으로부터 적어도 하나의 궤적과 연관된 데이터를 수신하고 제어 시스템(408)은 차량의 작동을 제어한다. 일부 예들에서, 제어 시스템(408)은 계획 시스템(404)으로부터 적어도 하나의 궤적과 연관된 데이터를 수신하고, 제어 시스템(408)은 파워트레인 제어 시스템(예를 들면, DBW 시스템(202h), 파워트레인 제어 시스템(204) 등), 조향 제어 시스템(예를 들면, 조향 제어 시스템(206)) 및/또는 브레이크 시스템(예를 들면, 브레이크 시스템(208))이 작동하게 하는 제어 신호들을 생성하여 송신하는 것에 의해 차량의 작동을 제어한다. 궤적이 좌회전을 포함하는 예에서, 제어 시스템(408)은 조향 제어 시스템(206)으로 하여금 차량(200)의 조향각을 조정하게 함으로써 차량(200)이 좌회전하게 하는 제어 신호를 송신한다. 추가적으로 또는 대안적으로, 제어 시스템(408)은 차량(200)의 다른 디바이스들(예를 들면, 헤드라이트, 방향 지시등, 도어록, 윈도실드 와이퍼 등)로 하여금 상태들을 변경하게 하는 제어 신호들을 생성하여 송신한다.
일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 적어도 하나의 머신 러닝 모델(예를 들면, 적어도 하나의 다층 퍼셉트론(MLP), 적어도 하나의 콘볼루션 신경 네트워크(CNN), 적어도 하나의 순환 신경 네트워크(RNN), 적어도 하나의 오토인코더, 적어도 하나의 트랜스포머(transformer) 등)을 구현한다. 일부 예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 단독으로 또는 위에서 언급된 시스템들 중 하나 이상과 함께 적어도 하나의 머신 러닝 모델을 구현한다. 일부 예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 파이프라인(예를 들면, 환경에 위치한 하나 이상의 대상체를 식별하기 위한 파이프라인 등)의 일부로서 적어도 하나의 머신 러닝 모델을 구현한다.
데이터베이스(410)는 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406) 및/또는 제어 시스템(408)으로 송신되며, 이들로부터 수신되고/되거나 이들에 의해 업데이트되는 데이터를 저장한다. 일부 예들에서, 데이터베이스(410)는 작동에 관련된 데이터 및/또는 소프트웨어를 저장하고 자율 주행 차량 컴퓨터(400)의 적어도 하나의 시스템을 사용하는 저장 컴포넌트(예를 들면, 도 3의 저장 컴포넌트(308)와 동일하거나 유사한 저장 컴포넌트)를 포함한다. 일부 실시예들에서, 데이터베이스(410)는 적어도 하나의 구역의 2D 및/또는 3D 맵과 연관된 데이터를 저장한다. 일부 예들에서, 데이터베이스(410)는 도시의 일 부분, 다수의 도시들의 다수의 부분들, 다수의 도시들, 카운티, 주, 국가(State)(예를 들면, 나라(country)) 등의 2D 및/또는 3D 맵과 연관된 데이터를 저장한다. 그러한 예에서, 차량(예를 들면, 차량들(102) 및/또는 차량(200)과 동일하거나 유사한 차량)은 하나 이상의 운전 가능한 영역(예를 들면, 단일 차선 도로, 다중 차선 도로, 간선도로, 시골 길(back road), 오프로드 트레일 등)을 따라 운전할 수 있고, 적어도 하나의 LiDAR 센서(예를 들면, LiDAR 센서들(202b)과 동일하거나 유사한 LiDAR 센서)로 하여금 적어도 하나의 LiDAR 센서의 시야에 포함된 대상체들을 나타내는 이미지와 연관된 데이터를 생성하게 할 수 있다.
일부 실시예들에서, 데이터베이스(410)는 복수의 디바이스들에 걸쳐 구현된다. 일부 예들에서, 데이터베이스(410)는 차량(예를 들면, 차량들(102) 및/또는 차량(200)과 동일하거나 유사한 차량), 자율 주행 차량 시스템(예를 들면, 원격 AV 시스템(114)과 동일하거나 유사한 자율 주행 차량 시스템), 플릿 관리 시스템(예를 들면, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템), V2I 시스템(예를 들면, 도 1의 V2I 시스템(118)과 동일하거나 유사한 V2I 시스템) 등에 포함될 수 있다.
위에서 기술된 바와 같이, 도 1 내지 도 4와 관련하여 기술된 것들과 같은, 자율 주행 시스템들은, 무엇보다도, 하나 이상의 광학 또는 카메라 시스템 또는 어셈블리의 입력에 의존할 수 있다. 예를 들어, 차량(200)의 자율 주행 시스템(202)은 위에서 기술된 카메라들(202a)을 포함한다. 일부 경우에, 이러한 광학 또는 카메라 어셈블리들의 품질을 개선시키는 것은 자율 주행 시스템의 기능성을 개선시킬 수 있다. 예를 들어, 카메라들(202a)에 의해 수집되는 이미지들의 품질 및/또는 정확도를 개선시키는 것은 자율 주행 시스템(202)이 안전하고 효율적이며 정확한 방식으로 차량(200)을 작동시키는 능력을 개선시킬 수 있다.
많은 인자들이 광학 또는 카메라 어셈블리들의 품질에 기여한다. 예를 들어, 카메라 시스템의 렌즈와 이미지 센서 간의 정렬이 중요할 수 있다. 일부 경우에, 카메라 어셈블리들을 구성할 때, 렌즈와 이미지 센서를 정렬시키기 위한 노력의 일환으로 능동 정렬 프로세스가 완료된다. 렌즈와 이미지 센서의 능동 정렬은 카메라 시스템의 광학 성능에 매우 중요할 수 있다. 일반적으로, 능동 정렬은 렌즈의 광학 중심을 이미지 센서의 광학 중심과 정렬시키기 위한 프로세스를 포함할 수 있다.
전통적인 정렬 기술들(예를 들면, 본 출원에 기술된 개념들 이전에 사용된 것들)은 여러 대형 장비들의 사용을 필요로 했으며, 따라서 전통적인 능동 정렬 기술들은 비용이 많이 들었고 수행하기 어려웠다. 이러한 기술들은 일반적으로 능동 정렬 프로세스 동안 예비적으로 사전 경화된(pre-cured) 정렬된 카메라 시스템의 주점을 계산하기 위해 대형 장비들을 사용하였다. 이러한 전통적인 기술들의 경우, 카메라 어셈블리의 능동 정렬 동안 광학 축 또는 주점의 중심이탈을 측정하고 제어하는 것이 일반적으로 매우 어렵거나 불가능하였다. 이러한 단점들은, 일부 실시예들에서, 본원에 기술된 신규하고 비자명한 능동 정렬 프로세스들을 사용하여 해결되거나 개선될 수 있다. 본 출원의 능동 정렬 프로세스들은, 일부 실시예들에서, 능동 정렬 프로세스 내에서 콤팩트하고 축소된 크기의 회절 광학 요소(DOE)-콜리메이터 내부 교정 모듈을 활용할 수 있다.
카메라 어셈블리의 이미지 중심으로부터 주점의 중심이탈(예를 들면, 렌즈와 이미지 센서 사이의 오정렬)은, 도 1 내지 도 4를 참조하여 위에서 기술된 것들과 같은, 자율 주행 시스템들에서 자주 사용되는 것들을 포함한, 많은 카메라 어셈블리들에 대한 통상적인 문제일 수 있다. 일부 경우에, 중심이탈과 연관된 문제들이 중간 시야(FOV) 내지 좁은 시야를 가진 카메라 어셈블리들에서 특히 존재하거나 영향력이 강하다.
카메라 시스템의 중심이탈(예를 들면, 오정렬)의 정도가 측정될 수 있다. 그렇지만, 이전의 방법론들은 전형적으로 카메라 어셈블리가 조립된 후에 중심이탈을 측정하는 것을 포함하였다. 이는 문제가 될 수 있는데, 왜냐하면 일단 카메라 어셈블리가 조립되면(예를 들면, 렌즈가 이미지 센서에 대해 고정되면), 중심이탈에 대한 물리적 보정을 하는 것이 더 이상 가능하지 않기 때문이다. 특정 정도의 중심이탈이 바람직하지 않거나 심지어 허용되지 않는 자율 주행 시스템들에서 사용될 카메라 시스템들의 경우, 이는 많은 카메라 시스템들이 사용에 적합하지 않는 것에 이르게 할 수 있다. 예를 들어, 자율 주행 시스템들의 제조업체는 다수의 사전 조립된 카메라 시스템을 이들의 중심이탈의 정도로 인해 효과적으로 불합격 처리(throw out)할 수 있다. 이것은, 물론, 효율적이지만 바람직하지 않을 수 있다.
이전의 능동 정렬 장비(예를 들면, 위에서 기술된 대형 장비들)는 능동 정렬 프로세스 동안 카메라 시스템의 주점을 측정할 수 없다. 이러한 이유는 주점을 측정할 수 있는 장비가 일반적으로 능동 정렬 프로세스에 포함시키기에는 너무 컸기 때문이다.
그렇지만, 본 출원에 기술된 바와 같이, 능동 정렬 장비에 맞도록 충분히 콤팩트할 수 있고 능동 정렬 동안 주점을 측정할 수 있도록 구성될 수 있는 DOE 내부 교정 모듈을 포함시키는 것이 가능하다. 이러한 방식으로, 능동 정렬 프로세스 동안 이미지 센서의 이미지 중심이 측정된 주점 위치에 후속적으로 정렬될 수 있다. 이는 유리하게도 중심이탈을 최소화하는 것에 의해 카메라 시스템들의 품질을 크게 개선시킬 수 있다.
상세하게는, 본원에 기술된 일부 실시예들은 DOE에 의해 투사되는 도트들(또는 다른 패턴들)을 카메라 어셈블리의 시야 상으로 반사시키기 위해 DOE에 대해 정렬되어 있는 폴딩 미러를 활용할 수 있다. 일부 경우에, 미러와 DOE 사이의 정렬은 고정될 수 있다. n x m 회절 포인트 그리드(grid of diffraction points)를 갖는 이미지의 캡처를 가능하게 하기 위해 알려진 격자 각도의 DOE들이 빔 스플리터들로서 사용될 수 있다. 이 회절 포인트 그리드로부터, 주점을 포함한 광학 시스템의 다양한 내부 파라미터들이 결정될 수 있다.
도 5는 카메라 시스템의 주점을 결정하기 위한 종래의 프로세스의 예를 예시한다. 이 예에서, 주점을 결정하기 위해, 카메라(502)는 복수의 상이한 위치들에 있는, 도 5에 예시된 체커보드 타깃(504)과 같은, 타깃의 복수의 이미지들을 캡처해야 한다. 카메라(502)의 주점을 결정하는 데 사용되는 알고리즘들은 비선형 오차 함수를 최소화하는 것에 의해 카메라 파라미터들을 추정하기 위해 상이한 배향들을 갖는 타깃의 여러 상이한 포즈들 또는 관측들에 의존하였다. 타깃(504)의 크기, 복수의 다양한 포즈들을 통해 타깃(504)을 조작할 필요성, 및/또는 카메라(502)의 큰 과초점 거리들로 인해, 이 방법은 전형적인 능동 정렬 계측에 포함되기에 적합하지 않다.
본 출원은 능동 정렬 프로세스 동안 DOE-콜리메이터 내부 교정 계측을 사용하는 것을 기술한다. DOE-콜리메이터 내부 교정 계측의 여러 양태들이, 모든 목적들을 위해 그 전체가 참고로 본원에 포함되는, 2021년 6월 28일에 출원된 미국 특허 출원 제17/360,842호에 기술되어 있다. 이 계측에 따르면, 가상 소스들(예를 들면, 카메라에 의해 관측되는 레이저 빔들)이 무한대를 가리킬 때 회절 빔들의 포인트 그리드가 제공된다. 이것은 결과적인 이미지들이, 어떤 점들에서, 별이 총총한 하늘과 유사하도록 할 수 있고, 이는 캡처된 이미지들이 변환에 대해 불변이도록 만들 수 있다. 이것은 카메라 교정이 단일 이미지로 수행되어 복잡한 번들 조정들을 피하도록 할 수 있는 이 방법의 일부 실시예들의 주요 특징 및 장점일 수 있다. 추가적으로, DOE-콜리메이터 내부 교정이 능동 정렬 프로세스에 포함될 수 있는 콤팩트한 규모로 생산될 수 있다.
도 6 내지 도 17은 일 실시예에 따른 DOE-콜리메이터 내부 교정 모듈은 물론, 그의 관련 제조 및 사용 방법들의 예들을 예시한다. 아래에서 더 기술될 것인 바와 같이, 그러한 DOE-콜리메이터 내부 교정 모듈은 중심이탈을 감소시키기 위해 능동 정렬 프로세스 동안 활용될 수 있다.
이제 도 6을 참조하면, 회절 광학 요소를 사용하는 기하학적 내부 카메라 교정 프로세스(600)의 구현의 다이어그램이 예시되어 있다. 일부 실시예들에서, 프로세스(600)와 관련하여 기술되는 단계들 중 하나 이상은, 위에서와 같이, 자율 주행 차량(102)에 의해 (예를 들면, 전체적으로, 부분적으로 등) 수행된다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 프로세스(600)와 관련하여 기술되는 하나 이상의 단계는, 위의 계산들 중 일부 또는 전부를 수행하는 원격 서버(예를 들면, 도 1의 원격 AV 시스템(114) 및/또는 플릿 관리 시스템(116)과 동일하거나 유사한 원격 서버)와 같은, 자율 주행 차량(102)과 별개이거나 자율 주행 차량(102)을 포함하는 다른 디바이스 또는 디바이스 그룹에 의해 (예를 들면, 전체적으로, 부분적으로 등) 수행될 수 있다.
도 6에 도시된 바와 같이, 회절 광학 요소(604)를 포함하는 디바이스(602)는 (예를 들면, 일부 예들에서 자율 주행 차량(102)에 부착될 수 있는) 카메라(202a)의 광학 축과 정렬된다. 디바이스(602)는 회절 광학 요소(604)를 통해 카메라(202a) 상으로 광 빔들(604)을 투사한다. 광 빔들(604) 각각은 카메라(202a)의 다수의 시야각들 중의 대응하는 시야각과 연관된 전파 방향을 갖는다. 카메라(202a)는 광 빔들(604)에 기초하여 이미지(606)를 캡처하고 이미지를 데이터 포트(610)를 통해 하나 이상의 프로세서(608)로 포워딩한다. 프로세서(608)는 수신된 이미지(606)에서 형상들을 식별(614)하고, 이미지(606)에서의 형상들과 광 빔들(604) 간의 대응 관계를 결정(616)하며, 형상들에 대한 픽셀 좌표들을 계산(618)하고, 픽셀 좌표들을 광 빔들(604)의 대응하는 전파 방향들과 연관시키는 테이블을 저장(620)하며, 이미지(606)에서의 형상들 및 전파 방향들에 기초하여 재투사 오차 함수(reprojection error function)를 최소화하는 카메라의 하나 이상의 내부 파라미터를 식별(622)하기 위해 메모리(612)에 저장된 명령어들을 실행한다.
이제 도 7을 참조하면, 기하학적 내부 카메라 교정 시스템(700)의 구현의 다이어그램이 예시되어 있다. 일부 실시예들에서, 시스템(700)은 레이저(702)(예를 들면, 고체 레이저(solid-state laser)), 빔 확장 렌즈(704), 콜리메이터(706), 회절 광학 요소(708)(예를 들어, 본원의 다른 곳에서 기술되는 하나 이상의 회절 광학 요소(들)와 동일하거나 유사할 수 있음), 및 보호 창(712)을 포함한다. 레이저(702)는, 선택적으로 빔 확장 렌즈(704)를 통해, 콜리메이터(706)를 향해 제1 광 빔(712)을 출력하도록 구성된다. 일부 예들에서, 빔 확장 렌즈(704)는 제1 광 빔(712)을 확장된 광 빔(714)으로 확장시키고 확장된 광 빔을 콜리메이터(706)에 제공하도록 구성된다. 또 다른 예들에서, 콜리메이터(706)는 레이저(702)에 의해 출력되는 제1 광 빔(712)을 확장시키도록 구성된 빔 확장 유형의 콜리메이터이며, 이에 의해 콜리메이팅된 광 빔(716)의 직경이 레이저(702)에 의해 출력되는 제1 광 빔(712)의 직경보다 크게 되도록 한다. 콜리메이터(706)는 레이저(702)의 광학 경로를 따라 배열되고, 레이저(702)(및/또는 빔 확장 렌즈(704))로부터 수신되는 제1 광 빔(712)(또는 경우에 따라, 확장된 광 빔(714))에 기초하여 콜리메이팅된 광 빔(716)을 출력하도록 구성된다.
회절 광학 요소(708)는 콜리메이터(706)의 광학 경로를 따라 배열되고 제1 표면(718) 및 제2 표면(720)을 포함한다. 제1 표면(718)(예를 들면, 평평한 측면)은 카메라(예를 들면, 카메라(202a), 도 7에 별도로 도시되지 않음)의 시야각들에 대응하는 애퍼처들을 갖는 마스크(도 7에 별도로 도시되지 않음)를 포함한다. 제2 표면(720)은 시야각들에 대응하는 리지들(도 7에 별도로 도시되지 않음)을 포함하고, 각각의 리지는 대응하는 시야각과 연관된 리지 각도(ridge angle)를 갖는다. 회절 광학 요소(708)는 콜리메이팅된 광 빔(716)을 (예를 들면, 도 8에 도시된 애퍼처들(808)과 같은) 애퍼처들을 통과시키는 것에 의해 콜리메이팅된 광 빔(716)을 다수의 광 빔들(722)로 분할하고, 교정을 위해 광 빔들(722)을 리지들을 통해 카메라의 렌즈(도 7에 별도로 도시되지 않음)에 출력하도록 구성되는데, 광 빔들(722)은 리지 각도들에 기초한 각자의 전파 방향들로 출력된다. 일 예에서, 광 빔들(722)은 DOE(708)의 설계 단계 동안 구성된다. 그러한 예에서, DOE(708)의 격자 각도(grating angle)는, 예를 들어, 아래에 기술되는 방식으로 수학식 1, 수학식 2, 및 수학식 3을 활용하는 것에 의해 1차 광 빔(712)이 분할되어야 하는 광 빔들(예를 들면, 광 빔들(722))의 원하는 수에 기초하여 미리 결정된다. 다른 예에서, DOE(708)의 다양한 측면들이 DOE(708)를 활용하여 테스트될 카메라의 시야 및/또는 분해능에 기초하여 설계 단계 동안 구성된다. 예를 들어, 30도의 시야 및 2도의 분해능을 갖는 카메라의 경우, DOE(708)는 30도의 시야 중 각각의 2도 분해능 간격을 커버하기 위해 1차 광 빔(예를 들면, 광 빔(712)과 동일하거나 유사함)을 15 개의 광 빔(예를 들면, 광 빔(722)과 동일하거나 유사함)으로 분할하도록 구성될 수 있다. 1차 광 빔(예를 들면, 광 빔(712)과 동일하거나 유사함)의 크기 및/또는 1차 광 빔이 DOE(708)에 의해 분할되는 다수의 광 빔들(예를 들면, 광 빔들(722)과 동일하거나 유사함)의 크기가, 다른 양태에서, DOE(708)의 단면적에 기초하여, 예컨대, DOE(708)의 측면(예를 들면, 도 8의 측면(806))의 최대 양의 단면적을 활용하기 위해 애퍼처들(예를 들면, 도 8의 애퍼처들(808))의 크기를 조정하는 것에 의해, 정의될 수 있다. 일부 예들에서, 회절 광학 요소(708)는 이미지 센서가 내부 교정을 위한 광 빔들(722)의 이미지를 캡처할 수 있게 하기 위해, 레이저(702), 빔 확장 렌즈(704), 콜리메이터(706), 회절 광학 요소(708) 및 카메라의 광학 축들이 서로 정렬될 때, 광 빔들(722)을 카메라의 렌즈를 통해 카메라의 이미지 센서 상으로 투사하도록 더 구성된다. 그러한 예들에서, 회절 광학 요소(708)는 투사된 광 빔들에 기초하여 카메라의 이미지 센서 상에 포인트 그리드가 형성되게 하도록 더 구성될 수 있으며, 포인트 그리드는 카메라의 시야각들에 대응하고 적어도 하나의 내부 파라미터(예를 들면, 회절 광학 요소(708)의 배향, 카메라의 초점 거리, 카메라의 주점, 카메라의 배향의 왜곡)의 계산을 가능하게 한다. 일부 실시예들에서, 포인트 그리드의 각각의 포인트는, 자율 주행 차량(102)의 카메라들(202a)의 사용 사례와 유사하게 교정 "타깃"을 에뮬레이션하기 위해, 카메라로부터 무한한 거리에서 시작되는 것처럼 보인다.
이제 도 8 및 도 9를 참조하면, 회절 광학 요소들(예를 들어, 회절 광학 요소(708) 또는 본원에 기술된 임의의 다른 회절 광학 요소(들)와 동일하거나 유사할 수 있음)의 구현들의 다이어그램들(800 및 900)이 예시되어 있다. 일부 실시예들에서, 도 8에 도시된 바와 같이, 회절 광학 요소(802)는 제1 표면(804) 및 제2 표면(806)을 포함한다. 제1 표면(804)은, 일부 실시예들에서, 십자선 패턴으로 배열되는 애퍼처들(808)을 포함한다. 일 예에서, 애퍼처들(808)은 회절 광학 요소(802)의 제1 표면(804) 상에 마스크를 형성하기 위해 평평한 표면으로 에칭된다. 일부 예들에서, 회절 광학 요소(802) 및 애퍼처들(808)은 원형이고, 애퍼처들(808)의 직경들은 회절 광학 요소(802)의 에지로부터 회절 광학 요소(802)의 중심을 향하는 방향으로 감소된다. 도 8 및 도 9를 계속 참조하면, 일부 예들에서, 회절 광학 요소(802)는 회절 광학 요소(802)의 제2 표면(806) 상에 동심원들로 배열되는 리지들(902)을 포함한다. 그러한 예들에서, 애퍼처들(808)은 리지들(902)의 광학 경로들을 따라 배열된다.
이제 도 10을 참조하면, 회절 광학 요소를 포함하는 기하학적 내부 카메라 교정 시스템을 제조하기 위한 프로세스(1000)의 플로차트가 예시되어 있다. 일부 실시예들에서, 프로세스(1000)와 관련하여 기술되는 단계들 중 하나 이상은, 위에서와 같이, 자율 주행 차량(102)에 의해 (예를 들면, 전체적으로, 부분적으로 등) 수행된다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 프로세스(1000)와 관련하여 기술되는 하나 이상의 단계는, 위의 계산들 중 일부 또는 전부를 수행하는 원격 서버(예를 들면, 도 1의 원격 AV 시스템(114) 및/또는 플릿 관리 시스템(116)과 동일하거나 유사한 원격 서버)와 같은, 자율 주행 차량(102)과 별개이거나 자율 주행 차량(102)을 포함하는 다른 디바이스 또는 디바이스 그룹에 의해 (예를 들면, 전체적으로, 부분적으로 등) 수행될 수 있다.
도 10을 계속 참조하면, 교정될 카메라의 복수의 시야각들에 대응하는 애퍼처들이 회절 광학 요소의 제1 표면 상에 형성된다(블록(1002)). 프로세서(608)(또는 임의의 다른 적합한 프로세서)는, 도 11과 관련하여 더 상세히 기술되는 바와 같이, 시야각들에 기초하여 그리고 미리 결정된 수식(예를 들면, 스넬의 법칙)에 기초하여 리지 각도들을 결정한다(블록(1004)). 리지 각도들에 기초하여 회절 광학 요소의 제2 표면 상에 리지들이 형성된다(블록(1006)). 레이저와 회절 광학 요소 사이에 콜리메이터가 배열되고, 레이저, 콜리메이터 및 회절 광학 요소의 광학 축들은 상호 정렬된다(블록(1008)). 레이저와 회절 광학 요소 사이에 콜리메이터를 배열하는 것은, 일부 예들에서, 레이저로부터 콜리메이터까지의 거리를 고정시키는 것, 및 콜리메이터로부터 회절 광학 요소까지의 거리를 고정시키는 것을 포함한다. 일부 예들에서, 렌즈는 콜리메이터 내에 배열되고 레이저에 의해 출력되는 광 빔을 확장시키도록 구성된다(블록(1010)).
이제 도 11을 참조하면, 회절 광학 요소(1102)(예를 들어, 회절 광학 요소(708) 또는 본원에 기술된 임의의 다른 회절 광학 요소(들)와 동일하거나 유사할 수 있음)의 구현의 다이어그램(1100)이 예시되어 있다. 회절 광학 요소(1102)는 제1 표면(1104)(예를 들어, 제1 표면(718 및/또는 804)과 동일하거나 유사할 수 있음) 및 제2 표면(1106)(예를 들어, 제2 표면(720 및/또는 806)과 동일하거나 유사할 수 있음)을 포함한다. 도 11은 리지 각도(1116)(DOE 표면 각도라고도 지칭됨), 시야각(1110), θ1(1112), 및 θ2(1114)를 갖는 회절 광학 요소(1102)의 단일 리지(1108)의 부분 단면도를 포함한다. 일부 실시예들에서, 회절 광학 요소(1102)는 다수의(예를 들면, 15 개의) 시야각들, 및 다수의(예를 들면, 15 개의) 대응하는 리지들(예를 들면, 리지(1108)와 유사함)를 포함한다. 그러한 실시예들에서, 교정될 카메라 렌즈로의 원하는 필드각 투사(field angle projection)를 달성하기 위해 각각의 리지의 기하학적 구조(예를 들면, 각도들)가 스넬의 법칙, 회절 광학 요소를 형성하는 재료의 굴절률, 및/또는 다른 인자들에 기초하여 결정된다. 예를 들어, 리지 각도들(예를 들면, 리지 각도(1116))은, 일부 예들에서, 특정 시야각들(예를 들면, 시야각들(1110))에서 콜리메이터로부터 테스트 대상 카메라를 향해 콜리메이팅된 빔들을 편향시키도록 구성된 리지 각도들을 식별하는 것에 의해 결정된다. 일 예에 따르면, 스넬의 법칙(본원에서 수학식 1로서 재현됨) 및 수학식 2는, 반복적인 방식으로, 원하는 시야각(1110)을 결과하는 θ1 및 θ2의 값들이 결정될 때까지 θ1(1112)의 연속적으로 입력되는 추정치들에 기초하여 θ2(1114)의 값들을 결정하는 데 활용된다.
[수학식 1]
N1　x　sin(θ1) = N2　x　sin(θ2)
[수학식 2]
시야각 = θ2 - (90° - θ1)
일단 원하는 시야각(1110)을 결과하는 θ1 및 θ2의 값들이 결정되면, 원하는 시야각에 대한 각자의 리지 각도(1116)가 수학식 3에 따라 결정된다.
[수학식 3]
리지 각도 = 90° - θ1
표 1118은 15 개의 시야각을 갖는 예시적인 회절 광학 요소(1102)에 대해 결정될 수 있는 시야각들(1110), N1 및 N2(제각기, 회절 광학 요소(1102) 및 진공을 형성하는 재료의 굴절률들)의 대응하는 값들, 및 θ1(1112), θ2(1114), 및 리지 각도들(1116)의 값들의 예시적인 리스트를 보여준다.
이제 도 12를 참조하면, 회절 광학 요소를 사용하는 기하학적 내부 카메라 교정 프로세스(1200)의 플로차트가 예시되어 있다. 일부 실시예들에서, 프로세스(1200)와 관련하여 기술되는 단계들 중 하나 이상은, 위에서와 같이, 자율 주행 차량(102)에 의해 (예를 들면, 전체적으로, 부분적으로 등) 수행된다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 프로세스(1200)와 관련하여 기술되는 하나 이상의 단계는, 위의 계산들 중 일부 또는 전부를 수행하는 원격 서버(예를 들면, 도 1의 원격 AV 시스템(114) 및/또는 플릿 관리 시스템(116)과 동일하거나 유사한 원격 서버)와 같은, 자율 주행 차량(102)과 별개이거나 자율 주행 차량(102)을 포함하는 다른 디바이스 또는 디바이스 그룹에 의해 (예를 들면, 전체적으로, 부분적으로 등) 수행될 수 있다.
도 12를 계속 참조하면, 광학 축들이 상호 정렬된 상태로 카메라(예를 들면, 카메라(202a))가 회절 광학 요소(예를 들어, 회절 광학 요소(708) 또는 본원에 기술된 임의의 다른 회절 광학 요소(들)와 동일하거나 유사할 수 있음) 전방에 배열된다(블록(1202)). 광 빔들이 본원의 다른 곳에서 기술되는 방식으로 회절 광학 요소를 통해 카메라 상으로 투사되고, 카메라는 투사된 광 빔들에 기초하여 하나 이상의 이미지를 캡처한다(블록(1204)). 프로세서(608)(또는 임의의 적합한 프로세서)는 카메라의 광학 축과 정렬되는 회절 광학 요소로부터 수신되는 광 빔들에 기초하여 카메라에 의해 캡처되는 적어도 하나의 이미지를 수신하며, 광 빔들은 카메라의 시야각들과 연관된 전파 방향들을 갖는다(블록(1206)). 일 예에서, 광 빔들의 방향들은 회절 광학 요소의 좌표계에서의 좌표들을 포함한다. 프로세서(608)는, 예를 들어, 도 13과 관련하여 아래에서 더 상세히 기술되는 방식으로, 이미지에서 형상들을 식별한다(블록(1208)). 프로세서(608)는, 예를 들어, 도 13과 관련하여 아래에서 더 상세히 기술되는 방식으로, 이미지에서의 형상들과 광 빔들 사이의 대응 관계를 결정한다. 일 예에서, 이미지에서의 형상들과 광 빔들 사이의 대응 관계를 결정하는 것은 리스트(예를 들면, (pU1, DA1), (pU2, DA2), ..., (pUN, DAN))를 생성하는 것을 포함하며, 여기서 pUi는 이미지에서의 도트들의 픽셀 좌표들을 나타내고, DAi는 DOE 중심적 좌표들로 광 빔들의 대응하는 방향들을 나타낸다(블록(1210)). 예를 들어, 이미지에서의 도트들의 픽셀 좌표들이 센트로이드 검출 알고리즘(centroid detection algorithm)에 기초하여 계산될 수 있다(블록(1212)). 프로세서(608)는 이미지에서의 형상들과 광 빔들 사이의 결정된 대응 관계에 기초하여 픽셀 좌표들을 전파 방향들과 연관시키는 테이블을 메모리(예를 들면, 메모리(612))에 저장한다(블록(1214)). 프로세서(608)는 이미지에서의 형상들 및 전파 방향들에 기초하여 재투사 오차 함수를 최소화하는 카메라의 하나 이상의 내부 파라미터(예를 들면, 카메라의 초점 거리, 카메라의 주점, 및/또는 카메라의 렌즈의 왜곡)를 식별한다(예를 들면, 수학식 4에 나와 있는 제곱합 재투사 오차 함수와 같은, 재투사 오차 함수를 최소화하는 내부 파라미터들(Θ) 및 회전 행렬 CRD를 찾아내며, 여기서 는 2-노름을 나타낸다)(블록(1216)).
[수학식 4]
이제 도 13을 참조하면, 회절 광학 요소를 사용하는 추가의 기하학적 내부 카메라 교정 프로세스(1300)의 플로차트가 예시되어 있다. 일부 실시예들에서, 프로세스(1300)는 도 12와 관련하여 위에서 기술된 블록들(1208, 1210, 및/또는 1212)의 프로세스들과 동일하거나 유사하다. 일부 실시예들에서, 프로세스(1300)와 관련하여 기술되는 단계들 중 하나 이상은, 위에서와 같이, 자율 주행 차량(102)에 의해 (예를 들면, 전체적으로, 부분적으로 등) 수행된다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 프로세스(1300)와 관련하여 기술되는 하나 이상의 단계는, 프로세서(608), 위의 계산들 중 일부 또는 전부를 수행하는 원격 서버(예를 들면, 도 1의 원격 AV 시스템(114) 및/또는 플릿 관리 시스템(116)과 동일하거나 유사한 원격 서버)와 같은, 자율 주행 차량(102)과 별개이거나 자율 주행 차량(102)을 포함하는 다른 디바이스 또는 디바이스 그룹에 의해 (예를 들면, 전체적으로, 부분적으로 등) 수행될 수 있다.
도 13을 계속 참조하면, 프로세서(608)(또는 임의의 적합한 프로세서)는 회절 광학 요소(예를 들어, 회절 광학 요소(708) 또는 본원에 기술된 임의의 다른 회절 광학 요소(들)와 동일하거나 유사할 수 있음)를 통해 그 위에 투사되는 광 빔들에 기초하여 카메라(예를 들면, 카메라(202a))에 의해 캡처된 도 14에서의 이미지(1400)와 같은 이미지를 로드한다(1302). 프로세서(608)는 로드된 이미지를 임의의 적합한 디모자이크(de-mosaic) 알고리즘을 사용하여 디모자이크한다(1304). 프로세서(608)는 디모자이크된 이미지에 기초하여 가중 센트로이드 검출 알고리즘을 실행하는 것에 의해 디모자이크된 이미지에서 형상들(예를 들면, 도 15의 이미지(1500)에 나와 있는 바와 같은 블롭들(blobs), 도트들 및/또는 센트로이드들)을 식별한다(1306). 프로세서(608)는 식별된 형상들 중 하나(예를 들면, 도 16의 형상(1602))를 이미지(1500) 내의 형상들 중에서의 중앙 형상(1602)에 대응하는 것으로 지정한다(1308). 프로세서(608)는 중앙 형상(1602)에 대한 복수의 형상들의 위치들에 적어도 부분적으로 기초하여 이미지(1500)의 형상들을 일정한 순서로(예를 들면, 도 17에 도시된 중앙 형상(1602)에 기초하여 인덱싱되는 행 및 열 순서로) 정렬한다(1310). 프로세서(608)는 형상들의 순서에 적어도 부분적으로 기초하여 각각의 형상을 광 빔들 중에서의 대응하는 광 빔과 연관시킨다(1312).
도 6 내지 도 17을 참조하여 위에서 기술된 바와 같이, DOE-콜리메이터 내부 교정 모듈은 내부 교정(무엇보다도, 카메라 시스템의 주점을 결정하는 것)에 활용될 수 있다. 본원에 더 기술될 것인 바와 같이, 그러한 DOE-콜리메이터 내부 교정 모듈은 중심이탈을 최소화하고 카메라 시스템의 전체 품질을 개선시키기 위해 능동 정렬 프로세스에 통합될 수 있다.
본원에 기술된 바와 같은 내부 교정을 갖는 능동 정렬 시스템은 2 개의 모듈: (예를 들면, 도 18에 도시된 바와 같은) 다중 콜리메이터 어셈블리(1800) 및 (예를 들면, 도 19에 도시된 바와 같은) DOE 내부 교정 모듈(1900)을 포함할 수 있다. 카메라 어셈블리의 렌즈와 이미지 센서가 위치되고 조작될 수 있는 스테이지들과 같은, 다른 컴포넌트들도 포함될 수 있다.
먼저 도 18을 참조하면, 다중 콜리메이터 어셈블리는 렌즈(1802)를 통해 이미지 센서(1804) 상으로 복수의 타깃들(1806)을 투사하도록 구성된 복수의 콜리메이터들을 포함할 수 있다. 일부 실시예들에서, 적어도 9 개의 콜리메이터가 사용되는데, 하나는 이미지의 중앙에 대한 것이고, 추가의 4 개는 0.5F 및 0.85F 필드 위치들 각각에 있다. 다른 수들 및 위치들이 또한 사용될 수 있다. 렌즈(1802)는 3차원 공간에서 렌즈(1802)의 위치를 조작하도록 구성된 스테이지와 같은 스테이지 내에 또는 스테이지 상에 장착될 수 있다. 이미지 센서(1804)도 3차원 공간에서 이미지 센서(1804)의 위치를 조작하도록 구성될 수 있는 스테이지 상에 위치될 수 있다. 렌즈(1802) 및/또는 이미지 센서(1084)의 위치들을 조작하는 것에 의해, 둘 사이의 정렬이 조정될 수 있다. 다중 콜리메이터 어셈블리(1800)는 타깃들(1086)의 이미지가 이미지 센서에 의해 캡처될 수 있도록 타깃들(1806)을 렌즈(1802)를 통해 이미지 센서 상으로 투사한다. 일부 실시예들에서, 타깃들(1806)은 (예를 들어, 예시된 바와 같은) 변조 전달 함수(MTF) 타깃들을 포함한다. 다른 유형들의 대상들도 사용될 수 있다.
도 19를 참조하면, 예시적인 DOE 내부 교정 모듈(1900)이 예시되어 있다. 예시된 실시예에서, DOE 내부 교정 모듈은 회절 광학 요소를 포함하는 디바이스(1902)(예를 들면, 도 6 내지 도 17을 참조하여 위에서 기술된 것과 유사한 디바이스)를 포함한다. 이 디바이스는 타깃 평면 상으로(예를 들면, 이미지 센서 상으로) 미리 정의된 필드 포인트들에 투사하기 위해 광 빔을 분할하도록 구성될 수 있다. DOE 내부 교정 모듈(1900)은 경사진 반사 표면(1904)을 또한 포함할 수 있다. 표면(1904)은 광 소스(예를 들면, 포인트 그리드(1906))를 디바이스(1902)로부터 렌즈(1802)를 통해 이미지 센서(1804) 상으로 재지향시키도록 구성된다. 일부 실시예들에서, 반사 표면(1904)은 45도의 반사 표면을 갖는 유리 블록을 포함하지만, 다른 재료들 및 각도들이 가능하다. 일부 경우에, 표면(1904)의 목적은 광 소스(예를 들면, 그리드 포인트 타깃(1906))를 카메라 어셈블리(예를 들면, 렌즈(1802) 및 이미지 센서(1804)) 상으로 투사하는 것이다. 반사 표면(1904)의 각도는 디바이스(1902)에 대한 카메라 어셈블리의 상대 위치에 기초한다(예를 들면, 전체 각도 차이의 1/2이다). 도 20a 내지 도 20c를 참조하여 아래에서 더 상세히 기술될 것인 바와 같이, DOE 내부 교정 모듈(1900)은 다중 콜리메이터 어셈블리(1800)와 카메라 어셈블리 사이에 있지 않은 위치와 다중 콜리메이터 어셈블리(1800)와 카메라 어셈블리 사이에 있는 위치 사이에서 이동 가능하도록 구성될 수 있다. 이러한 방식으로, DOE 내부 교정 모듈(1900)은 능동 정렬 어셈블리에 통합될 수 있다. 일부 실시예들에서, 반사 표면(1904)이 제거될 수 있고 디바이스(1902)가 이미지 센서(1804) 상으로 직접 투사할 수 있다.
도 20a 내지 도 20c는 사용 동안의 내부 교정을 사용한 정렬 시스템을 예시한다. 도 20a에서 시작하여, 프로세스에서의 제1 스테이지에서, 다중 콜리메이터 어셈블리(1800)는 렌즈(1802)를 통해 이미지 센서(1804) 상으로 타깃(1806)을 투사한다. 위에서 언급된 바와 같이, 렌즈(1802) 및 이미지 센서(1804)는 그 각자의 광학 중심들에 대해 정렬될 수 있도록 다축 스테이지들 상에 위치될 수 있다.
이 스테이지에서, DOE 내부 교정 모듈(1900)은 광학 경로 외부로 이동된다. 이 위치에서, 렌즈(1802)와 이미지 센서(1804)의 제1 능동 정렬이 타깃들(1806)의 이미지에 기초하여 수행될 수 있다. 이것은 다축 스테이지들을 사용하여 렌즈(1802) 및 이미지 센서(1804) 중 하나 또는 양쪽 모두를 이동시키는 것을 포함할 수 있다.
도 20b를 참조하면, 제2 스테이지에서, DOE 내부 교정 모듈(1900)이 카메라 어셈블리(예를 들면, 렌즈(1802) 및 이미지 센서(1804))의 광학 경로 내로 이동될 수 있다. 예를 들어, 예시된 바와 같이, DOE 내부 교정 모듈(1900)이 다중 콜리메이터 어셈블리와 카메라 어셈블리 사이에서 이동될 수 있다. 이 위치에서, DOE 내부 교정 모듈(1900)은 (반사 표면(1904)에 의해 반사되는 바와 같이) 그리드 포인트 타깃(1906)을 이미지 센서 상으로 투사한다. 위에서 기술된 바와 같이, 무엇보다도, 카메라 어셈블리의 주점을 결정하기 위해 내부 교정 프로세스가 수행될 수 있다. 도 20b에 도시된 바와 같이, 오정렬로 인해, 주점과 이미지 센서가 정렬되지 않을 수 있다.
도 20c를 참조하면, 다음으로, DOE 내부 교정 모듈(1900)이 광학 경로 외부로 이동될 수 있다. 이것은 다중 콜리메이터 어셈블리(1800)가 그의 타깃들(1806)을 이미지 센서(1804) 상으로 다시 한번 투사하게 할 수 있다. 이 위치에서, 이미지 센서(1804)의 이미지 중심을 이전에 결정된 카메라 어셈블리의 주점과 정렬시키기 위해 제2 능동 정렬이 수행될 수 있다. 동시에, MTF를 최적화하기 위해 정렬이 행해질 수 있다. 이전과 같이, 렌즈(1802) 및 이미지 센서(1804) 중 하나 또는 양쪽 모두를 이들의 연관된 스테이지들을 사용하여 이동시키는 것에 의해 정렬이 달성될 수 있다. 이것은 반복적인 프로세스일 수 있으며: 내부 교정 이후에, MTF 최적화가 시작될 수 있다. MTF 최적화 이후에, 내부 교정이 또다시 반복될 수 있다. 이것은 MTF 최적화 사이클 전후의 주점 위치가 무시할 정도로 되거나 중심 정렬(centering) 정확도 요구사항 내로 될 때까지 반복될 수 있다. 일부 실시예들에서, 이것은 중심 정렬 요구사항들의 정밀도에 따라 5회 미만의 반복으로 달성될 수 있다. 일단 정렬되면, 렌즈(1802)와 이미지 센서(1804)의 상대 위치들을 고정시키기 위해 접착제가 사용될 수 있다. 이것은 렌즈(1802) 및 이미지 센서(1804)가 개선된 정렬 및 성능을 갖는 카메라 어셈블리를 결과할 수 있다.
도 21은 내부 교정을 사용한 능동 정렬 프로세스의 예(프로세스(2100))를 제공한다. 예시된 예에서, 프로세스(2100)는 접착제가 렌즈 및/또는 이미지 센서 상에 도포(dispense)되는 블록(2102)에서 시작한다. 블록(2104)에서, 렌즈 및 이미지 센서가 그 각자의 스테이지들에 위치될 수 있다. 위에서 언급된 바와 같이, 스테이지들은 렌즈와 이미지 센서의 상대 위치들의 조정을 가능하게 하는 다축 스테이지들일 수 있다. 블록(2016)에서, 렌즈와 센서가 다중 콜리메이터 어셈블리를 사용하여 정렬된다(예를 들면, 제1 능동 정렬)(도 20a). 블록(2108)에서, DOE 내부 교정 모듈이 제자리로 이동될 수 있고, 카메라 어셈블리의 내부 파라미터들 중에서도, 주점 위치를 계산하는 데 사용될 수 있다. 도 6 내지 도 17을 참조하여 위에서 기술된 내부 교정 프로세스에 대한 추가적인 세부 사항을 갖는, 예가 도 20b에 도시되어 있다. 블록(2110)에서, DOE 내부 교정 모듈이 카메라의 광학 경로로부터, 예를 들어, 도 20c에 도시된 위치로, 제거된다. 블록(2112)에서, 제2 능동 정렬은 이미지 센서의 이미지 중심을 결정된 주점와 정렬시키고 MTF를 최적화한다. 블록(2114)에서, 이미지 센서와 렌즈가 이제 정렬된 상태에서, 접착제가 (예를 들면, 자외선 광을 사용하여) 경화되어, 렌즈와 이미지 센서를 제자리에 고정시킬 수 있다. 일부 실시예들에서, 블록(2116)에서, DOE 내부 교정 모듈은 이어서 광학 경로 내로 재삽입될 수 있고, 조립된 카메라 어셈블리의 최종 내부 교정이 수행될 수 있다. 내부 교정 동안 결정되는 파라미터들은 향후 사용을 위해 저장될 수 있다.
도 22는 내부 교정을 사용한 능동 정렬 프로세스의 다른 예(프로세스(2200))를 제공한다. 이 예에서, 이 방법은 카메라 어셈블리의 렌즈를 제1 스테이지 상에 위치시키고 카메라 어셈블리의 이미지 센서를 제2 스테이지 상에 위치시키는 것을 포함하는 블록(2202)에서 시작한다. 일부 실시예들에서, 제1 및 제2 스테이지들 중 하나 이상은 위에서 기술된 바와 같이 렌즈와 이미지 센서의 상대 위치를 조정하도록 구성된다. 블록(2204)에서, 다중 콜리메이터 어셈블리는 (예를 들면, 도 20a에 도시된 바와 같이) 복수의 타깃들이 이미지 센서에 의해 캡처되는 제1 이미지에서 보이도록 복수의 타깃들을 렌즈를 통해 이미지 센서 상으로 투사한다. 블록(2206)에서, 캡처되는 제1 이미지에 기초하여 카메라 어셈블리의 제1 능동 정렬을 수행하기 위해 렌즈 및 이미지 센서 중 하나 이상의 상대 위치가 제1 및 제2 스테이지들 중 하나 이상을 사용하여 조정될 수 있다. 블록(2208)에서, 회절 광학 요소(DOE) 내부 교정 모듈이 (예를 들면, 도 20b에 도시된 바와 같이) 카메라 어셈블리의 광학 경로 내로 이동된다. 이전에 기술된 바와 같이, DOE 내부 교정 모듈은, 블록(2210)에서, 포인트 그리드가 이미지 센서에 의해 캡처되는 제2 이미지에서 보이도록 포인트 그리드를 이미지 센서 상으로 투사하도록 구성된다. 블록(2212)에서, 제2 이미지에 기초하여 카메라 어셈블리의 주점이 결정될 수 있다. 이것은, 예를 들어, 도 6 내지 도 17을 참조하여 위에서 기술된 내부 교정 계측을 사용하여 달성될 수 있다. 블록(2214)에서, 복수의 타깃들이 이미지 센서에 의해 캡처되는 제3 이미지에서 보이도록 다중 콜리메이터 어셈블리가 복수의 타깃들을 렌즈를 통해 이미지 센서 상으로 투사하도록 DOE 내부 교정 모듈이 이어서 카메라 어셈블리의 광학 경로 외부로 이동된다. 블록(2216)에서, 카메라 어셈블리의 주점을 이미지 센서의 이미지 중심과 정렬시키고 제3 이미지에 기초하여 제2 능동 정렬을 수행하기 위해 제1 및 제2 스테이지들 중 하나 이상을 사용하여 렌즈 및 이미지 센서 중 하나 이상의 상대 위치가 더 조정된다.
일부 실시예들에서, 이 프로세스는 제1 능동 정렬을 수행하기 전에 렌즈와 이미지 센서 사이에 접착제를 도포하고 제2 능동 정렬을 수행한 후에 접착제를 경화시키는 단계를 또한 포함할 수 있다.
일부 실시예들에서, 이 프로세스는, DOE 내부 교정 모듈이 포인트 그리드를 이미지 센서 상으로 투사하도록, DOE 내부 교정 모듈을 카메라 어셈블리의 광학 경로 내로 다시 이동시키는 단계 - 포인트 그리드는 이미지 센서에 의해 캡처되는 제4 이미지에서 보임 -, 및 제4 이미지에 기초하여 카메라 어셈블리의 최종 주점을 결정하는 단계를 또한 포함할 수 있다.
전술한 설명에서, 본 개시의 양태들 및 실시예들은 구현마다 달라질 수 있는 다수의 특정 세부 사항들을 참조하여 기술되었다. 그에 따라, 설명 및 도면들은 제한적인 의미가 아니라 예시적인 의미로 간주되어야 한다. 본 발명의 범위의 유일한 독점적인 지표, 및 출원인들이 본 발명의 범위이도록 의도한 것은, 본 출원에서 특정 형태로 나오는 일련의 청구항들의 문언적 등가 범위이며, 임의의 후속 보정을 포함한다. 그러한 청구항들에 포함된 용어들에 대한 본원에서 명시적으로 기재된 임의의 정의들은 청구항들에서 사용되는 그러한 용어들의 의미를 결정한다. 추가적으로, 전술한 설명 및 이하의 청구항들에서 "더 포함하는"이라는 용어가 사용될 때, 이 문구에 뒤따르는 것은 추가적인 단계 또는 엔티티, 또는 이전에 언급된 단계 또는 엔티티의 서브단계/서브엔티티일 수 있다.
본 개시의 다양한 추가적인 예시적인 실시예들은 다음 조항들에 의해 기술될 수 있다:
조항 1: 방법으로서,
적어도 하나의 프로세서를 사용하여, 카메라 어셈블리의 렌즈를 제1 스테이지 상에 위치시키고 카메라 어셈블리의 이미지 센서를 제2 스테이지 상에 위치시키는 단계 - 제1 및 제2 스테이지들 중 하나 이상은 렌즈와 이미지 센서의 상대 위치를 조정하도록 구성됨 -;
적어도 하나의 프로세서를 사용하여, 복수의 타깃들이 이미지 센서에 의해 캡처되는 제1 이미지에서 보이도록, 다중 콜리메이터 어셈블리로부터, 복수의 타깃들을 렌즈를 통해 이미지 센서 상으로 투사하는 단계;
적어도 하나의 프로세서를 사용하여, 캡처되는 제1 이미지에 기초하여 카메라 어셈블리의 제1 능동 정렬을 수행하기 위해 제1 및 제2 스테이지들 중 하나 이상을 사용하여 렌즈 및 이미지 센서 중 하나 이상의 상대 위치를 조정하는 단계;
적어도 하나의 프로세서를 사용하여, 회절 광학 요소(DOE) 내부 교정 모듈을 카메라 어셈블리의 광학 경로 내로 이동시키는 단계 - DOE 내부 교정 모듈은 포인트 그리드가 이미지 센서에 의해 캡처되는 제2 이미지에서 보이도록 포인트 그리드를 이미지 센서 상으로 투사하도록 구성됨 -;
적어도 하나의 프로세서를 사용하여, 제2 이미지에 기초하여 카메라 어셈블리의 주점을 결정하는 단계;
적어도 하나의 프로세서를 사용하여, 복수의 타깃들이 이미지 센서에 의해 캡처되는 제3 이미지에서 보이도록 다중 콜리메이터 어셈블리가 복수의 타깃들을 렌즈를 통해 이미지 센서 상으로 투사하도록 DOE 내부 교정 모듈을 카메라 어셈블리의 광학 경로 외부로 이동시키는 단계; 및
적어도 하나의 프로세서를 사용하여, 카메라 어셈블리의 주점을 이미지 센서의 이미지 중심과 정렬시키고 제3 이미지에 기초하여 제2 능동 정렬을 수행하기 위해 제1 및 제2 스테이지들 중 하나 이상을 사용하여 렌즈 및 이미지 센서 중 하나 이상의 상대 위치를 더 조정하는 단계를 포함하는, 방법.
조항 2: 조항 1에 있어서, 제1 능동 정렬을 수행하기 전에 렌즈와 이미지 센서 사이에 접착제를 도포하는 단계를 더 포함하는, 방법.
조항 3: 조항 2에 있어서, 제2 능동 정렬을 수행한 후에 접착제를 경화시키는 단계를 더 포함하는, 방법.
조항 4: 조항 1 내지 조항 3 중 어느 한 조항에 있어서,
DOE 내부 교정 모듈이 포인트 그리드를 이미지 센서 상으로 투사하도록, DOE 내부 교정 모듈을 카메라 어셈블리의 광학 경로 내로 이동시키는 단계 - 포인트 그리드는 이미지 센서에 의해 캡처되는 제4 이미지에서 보임 -; 및
제4 이미지에 기초하여 카메라 어셈블리의 최종 주점을 결정하는 단계를 더 포함하는, 방법.
조항 5: 조항 1 내지 조항 4 중 어느 한 조항에 있어서, DOE 내부 교정 모듈은:
광 소스, 콜리메이터, 및 제1 축을 따라 포인트 그리드를 투사하도록 구성된 회절 광학 요소; 및
제1 축을 따라 위치되고 제1 축과 상이한 제2 축을 따라 포인트 그리드를 반사하도록 구성된 반사 표면을 포함하는, 방법.
조항 6: 조항 5에 있어서, 제1 축과 제2 축은 직교하는, 방법.
조항 7: 조항 1 내지 조항 6 중 어느 한 조항에 있어서, 복수의 타깃들은 복수의 변조 전달 함수(modular transfer function, MTF) 타깃들을 포함하는, 방법.
조항 8: 조항 1 내지 조항 7 중 어느 한 조항에 있어서, 제1 및 제2 스테이지들 중 하나 이상을 사용하여 렌즈 및 이미지 센서 중 하나 이상의 상대 위치를 조정하는 단계는 제1 및 제2 스테이지들 중 하나 이상의 위치를 조정하는 단계를 포함하는, 방법.
조항 9: 시스템으로서,
카메라 어셈블리의 렌즈를 수용하도록 구성된 제1 스테이지 및 카메라 어셈블리의 이미지 센서를 수용하도록 구성된 제2 스테이지 - 제1 및 제2 스테이지들 중 하나 이상은 렌즈와 이미지 센서의 상대 위치를 조정하도록 구성됨 -;
카메라 어셈블리의 광학 축을 따라 복수의 타깃들을 투사하도록 구성된 다중 콜리메이터 어셈블리;
광 소스, 콜리메이터, 및 포인트 그리드를 투사하도록 구성된 회절 광학 요소를 포함하는 이동 가능한 회절 광학 요소(DOE) 내부 교정 모듈 - 이동 가능한 DOE 내부 교정 모듈의 위치는
DOE 내부 교정 모듈이 광학 축 외부에 위치하는 제1 위치와,
DOE 내부 교정 모듈이 광학 축 상에 위치하는 제2 위치
사이에서 이동 가능함 -;
적어도 하나의 프로세서; 및
명령어들을 저장하는 적어도 하나의 비일시적 저장 매체를 포함하며, 명령어들은, 적어도 하나의 프로세서에 의해 실행될 때, 적어도 하나의 프로세서로 하여금:
제1 및 제2 스테이지들 중 하나 이상이 렌즈와 이미지 센서의 상대 위치를 조정하도록 구성되게 하고;
다중 콜리메이터 어셈블리를 사용하여 복수의 타깃들을 투사하게 하며;
DOE 내부 교정 모듈을 제1 위치와 제2 위치 사이에서 이동시키게 하고 포인트 그리드를 투사하게 하는, 시스템.
조항 10: 조항 9에 있어서, DOE 내부 교정 모듈은 제1 축을 따라 포인트 그리드를 투사하도록 구성되고; 제1 축을 따라 위치되고 제1 축과 상이한 제2 축을 따라 포인트 그리드를 반사하도록 구성된 반사 표면을 더 포함하는, 시스템.
조항 11: 조항 10에 있어서, 제1 축과 제2 축은 직교하는, 시스템.
조항 12: 조항 9 내지 조항 11 중 어느 한 조항에 있어서, 복수의 타깃들은 복수의 변조 전달 함수(MTF) 타깃들을 포함하는, 시스템.
조항 13: 조항 9 내지 조항 12 중 어느 한 조항에 있어서, 제1 및 제2 스테이지들 중 하나 이상의 위치는 원격으로 제어 가능한, 시스템.
조항 14: 명령어들을 저장하는 적어도 하나의 비일시적 저장 매체로서, 명령어들은, 적어도 하나의 프로세서에 의해 실행될 때, 적어도 하나의 프로세서로 하여금:
복수의 타깃들이 이미지 센서에 의해 캡처되는 제1 이미지에서 보이도록, 다중 콜리메이터 어셈블리로 하여금 복수의 타깃들을 카메라 어셈블리의 렌즈를 통해 카메라 어셈블리의 이미지 센서 상으로 투사하게 하고 - 렌즈는 제1 스테이지 상에 위치되고 이미지 센서는 제2 스테이지 상에 위치되며, 제1 및 제2 스테이지들 중 하나 이상은 렌즈와 이미지 센서의 상대 위치를 조정하도록 구성됨 -;
캡처되는 제1 이미지에 기초하여 카메라 어셈블리의 제1 능동 정렬을 수행하기 위해 제1 및 제2 스테이지들 중 하나 이상을 사용하여 렌즈 및 이미지 센서 중 하나 이상의 상대 위치를 조정하게 하며;
회절 광학 요소(DOE) 내부 교정 모듈을 카메라 어셈블리의 광학 경로 내로 이동시키게 하고 - DOE 내부 교정 모듈은 포인트 그리드가 이미지 센서에 의해 캡처되는 제2 이미지에서 보이도록 포인트 그리드를 이미지 센서 상으로 투사하도록 구성됨 -
제2 이미지에 기초하여 카메라 어셈블리의 주점을 결정하게 하며;
복수의 타깃들이 이미지 센서에 의해 캡처되는 제3 이미지에서 보이도록 다중 콜리메이터 어셈블리가 복수의 타깃들을 렌즈를 통해 이미지 센서 상으로 투사하도록 DOE 내부 교정 모듈을 카메라 어셈블리의 광학 경로 외부로 이동시키게 하고;
카메라 어셈블리의 주점을 이미지 센서의 이미지 중심과 정렬시키고 제3 이미지에 기초하여 제2 능동 정렬을 수행하기 위해 제1 및 제2 스테이지들 중 하나 이상을 사용하여 렌즈 및 이미지 센서 중 하나 이상의 상대 위치를 더 조정하게 하는, 적어도 하나의 비일시적 저장 매체.
조항 15: 조항 14에 있어서, 명령어들은 추가로 적어도 하나의 프로세서로 하여금 제1 능동 정렬을 수행하기 전에 렌즈와 이미지 센서 사이에 접착제를 도포하게 하는, 적어도 하나의 비일시적 저장 매체.
조항 16: 조항 15에 있어서, 명령어들은 추가로 적어도 하나의 프로세서로 하여금 제2 능동 정렬을 수행한 후에 접착제를 경화시키게 하는, 적어도 하나의 비일시적 저장 매체.
조항 17: 조항 14 내지 조항 16 중 어느 한 조항에 있어서, 명령어들은 추가로 적어도 하나의 프로세서로 하여금, DOE 내부 교정 모듈이 포인트 그리드를 이미지 센서 상으로 투사하도록, DOE 내부 교정 모듈을 카메라 어셈블리의 광학 경로 내로 이동시키게 하고, 포인트 그리드는 이미지 센서에 의해 캡처되는 제4 이미지에서 보이는, 적어도 하나의 비일시적 저장 매체.
조항 18: 조항 17에 있어서, 명령어들은 추가로 적어도 하나의 프로세서로 하여금 제4 이미지에 기초하여 카메라 어셈블리의 최종 주점을 결정하게 하는, 적어도 하나의 비일시적 저장 매체.
조항 19: 조항 14 내지 조항 18 중 어느 한 조항에 있어서, DOE 내부 교정 모듈은:
광 소스, 콜리메이터, 및 제1 축을 따라 포인트 그리드를 투사하도록 구성된 회절 광학 요소; 및
제1 축을 따라 위치되고 제1 축과 상이한 제2 축을 따라 포인트 그리드를 반사하도록 구성된 반사 표면을 포함하는, 적어도 하나의 비일시적 저장 매체.
조항 20: 조항 14 내지 조항 19 중 어느 한 조항에 있어서, 복수의 타깃들은 복수의 변조 전달 함수(MTF) 타깃들을 포함하는, 적어도 하나의 비일시적 저장 매체.

Claims (20)

  1. 방법으로서,
    적어도 하나의 프로세서를 사용하여, 카메라 어셈블리의 렌즈를 제1 스테이지 상에 위치시키고 상기 카메라 어셈블리의 이미지 센서를 제2 스테이지 상에 위치시키는 단계 - 상기 제1 및 제2 스테이지들 중 하나 이상은 상기 렌즈와 상기 이미지 센서의 상대 위치를 조정하도록 구성됨 -;
    상기 적어도 하나의 프로세서를 사용하여, 복수의 타깃들이 상기 이미지 센서에 의해 캡처되는 제1 이미지에서 보이도록, 다중 콜리메이터 어셈블리로부터, 상기 복수의 타깃들을 상기 렌즈를 통해 상기 이미지 센서 상으로 투사하는 단계;
    상기 적어도 하나의 프로세서를 사용하여, 캡처되는 상기 제1 이미지에 기초하여 상기 카메라 어셈블리의 제1 능동 정렬(active alignment)을 수행하기 위해 상기 제1 및 제2 스테이지들 중 하나 이상을 사용하여 상기 렌즈 및 상기 이미지 센서 중 하나 이상의 상기 상대 위치를 조정하는 단계;
    상기 적어도 하나의 프로세서를 사용하여, 회절 광학 요소(diffractive optical element; DOE) 내부 교정(intrinsic calibration) 모듈을 상기 카메라 어셈블리의 광학 경로 내로 이동시키는 단계 - 상기 DOE 내부 교정 모듈은 포인트 그리드가 상기 이미지 센서에 의해 캡처되는 제2 이미지에서 보이도록 상기 포인트 그리드를 상기 이미지 센서 상으로 투사하도록 구성됨 -;
    상기 적어도 하나의 프로세서를 사용하여, 상기 제2 이미지에 기초하여 상기 카메라 어셈블리의 주점(principal point)을 결정하는 단계;
    상기 적어도 하나의 프로세서를 사용하여, 상기 복수의 타깃들이 상기 이미지 센서에 의해 캡처되는 제3 이미지에서 보이도록 상기 다중 콜리메이터 어셈블리가 상기 복수의 타깃들을 상기 렌즈를 통해 상기 이미지 센서 상으로 투사하도록 상기 DOE 내부 교정 모듈을 상기 카메라 어셈블리의 상기 광학 경로 외부로 이동시키는 단계; 및
    상기 적어도 하나의 프로세서를 사용하여, 상기 카메라 어셈블리의 상기 주점을 상기 이미지 센서의 이미지 중심과 정렬시키고 상기 제3 이미지에 기초하여 제2 능동 정렬을 수행하기 위해 상기 제1 및 제2 스테이지들 중 하나 이상을 사용하여 상기 렌즈 및 상기 이미지 센서 중 하나 이상의 상기 상대 위치를 추가 조정하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서, 상기 제1 능동 정렬을 수행하기 전에 상기 렌즈와 상기 이미지 센서 사이에 접착제를 도포하는 단계를 더 포함하는, 방법.
  3. 제2항에 있어서, 상기 제2 능동 정렬을 수행한 후에 상기 접착제를 경화시키는 단계를 더 포함하는, 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 DOE 내부 교정 모듈이 포인트 그리드를 상기 이미지 센서 상으로 투사하도록, 상기 DOE 내부 교정 모듈을 상기 카메라 어셈블리의 상기 광학 경로 내로 이동시키는 단계 - 상기 포인트 그리드는 상기 이미지 센서에 의해 캡처되는 제4 이미지에서 보임 -; 및
    상기 제4 이미지에 기초하여 상기 카메라 어셈블리의 최종 주점을 결정하는 단계
    를 더 포함하는, 방법.
  5. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 DOE 내부 교정 모듈은:
    광 소스, 콜리메이터, 및 제1 축을 따라 포인트 그리드를 투사하도록 구성된 회절 광학 요소; 및
    상기 제1 축을 따라 위치되고 상기 제1 축과 상이한 제2 축을 따라 상기 포인트 그리드를 반사하도록 구성된 반사 표면을 포함하는 것인, 방법.
  6. 제5항에 있어서, 상기 제1 축과 상기 제2 축은 직교하는 것인, 방법.
  7. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 복수의 타깃들은 복수의 변조 전달 함수(modulation transfer function, MTF) 타깃들을 포함하는 것인, 방법.
  8. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 제1 및 제2 스테이지들 중 하나 이상을 사용하여 상기 렌즈 및 상기 이미지 센서 중 하나 이상의 상기 상대 위치를 조정하는 단계는, 상기 제1 및 제2 스테이지들 중 하나 이상의 위치를 조정하는 단계를 포함하는 것인, 방법.
  9. 시스템으로서,
    카메라 어셈블리의 렌즈를 수용하도록 구성된 제1 스테이지 및 상기 카메라 어셈블리의 이미지 센서를 수용하도록 구성된 제2 스테이지 - 상기 제1 및 제2 스테이지들 중 하나 이상은 상기 렌즈와 상기 이미지 센서의 상대 위치를 조정하도록 구성됨 -;
    상기 카메라 어셈블리의 광학 축을 따라 복수의 타깃들을 투사하도록 구성된 다중 콜리메이터 어셈블리;
    광 소스, 콜리메이터, 및 포인트 그리드를 투사하도록 구성된 회절 광학 요소를 포함하는 이동 가능한 회절 광학 요소(DOE) 내부 교정 모듈 - 상기 이동 가능한 DOE 내부 교정 모듈의 위치는,
    상기 DOE 내부 교정 모듈이 상기 광학 축 외부에 위치되는 제1 위치와,
    상기 DOE 내부 교정 모듈이 상기 광학 축 상에 위치되는 제2 위치
    간에 이동 가능함 -;
    적어도 하나의 프로세서; 및
    명령어들을 저장하는 적어도 하나의 비일시적 저장 매체
    를 포함하며, 상기 명령어들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금:
    상기 제1 및 제2 스테이지들 중 상기 하나 이상이 상기 렌즈와 상기 이미지 센서의 상대 위치를 조정하도록 구성되게 하고;
    상기 다중 콜리메이터 어셈블리를 사용하여 상기 복수의 타깃들을 투사하게 하며;
    상기 DOE 내부 교정 모듈을 상기 제1 위치와 상기 제2 위치 간에 이동시키게 하고 상기 포인트 그리드를 투사하게 하는 것인, 시스템.
  10. 제9항에 있어서, 상기 DOE 내부 교정 모듈은 제1 축을 따라 포인트 그리드를 투사하도록 구성되고; 상기 제1 축을 따라 위치되고 상기 제1 축과 상이한 제2 축을 따라 상기 포인트 그리드를 반사하도록 구성된 반사 표면
    을 더 포함하는 것인, 시스템.
  11. 제10항에 있어서, 상기 제1 축과 상기 제2 축은 직교하는 것인, 시스템.
  12. 제9항 내지 제11항 중 어느 한 항에 있어서, 상기 복수의 타깃들은 복수의 변조 전달 함수(MTF) 타깃들을 포함하는 것인, 시스템.
  13. 제9항 내지 제11항 중 어느 한 항에 있어서, 상기 제1 및 제2 스테이지들 중 하나 이상의 위치는 원격으로 제어 가능한 것인, 시스템.
  14. 명령어들을 저장하는 적어도 하나의 비일시적 저장 매체로서, 상기 명령어들은, 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금:
    복수의 타깃들이 이미지 센서에 의해 캡처되는 제1 이미지에서 보이도록, 다중 콜리메이터 어셈블리로 하여금 상기 복수의 타깃들을 카메라 어셈블리의 렌즈를 통해 상기 카메라 어셈블리의 이미지 센서 상으로 투사하게 하고 - 상기 렌즈는 제1 스테이지 상에 위치되고 상기 이미지 센서는 제2 스테이지 상에 위치되며, 상기 제1 및 제2 스테이지들 중 하나 이상은 상기 렌즈와 상기 이미지 센서의 상대 위치를 조정하도록 구성됨 -;
    캡처되는 상기 제1 이미지에 기초하여 상기 카메라 어셈블리의 제1 능동 정렬을 수행하기 위해 상기 제1 및 제2 스테이지들 중 하나 이상을 사용하여 상기 렌즈 및 상기 이미지 센서 중 하나 이상의 상대 위치를 조정하게 하며;
    회절 광학 요소(DOE) 내부 교정 모듈을 상기 카메라 어셈블리의 광학 경로 내로 이동시키게 하고 - 상기 DOE 내부 교정 모듈은 포인트 그리드가 상기 이미지 센서에 의해 캡처되는 제2 이미지에서 보이도록 상기 포인트 그리드를 상기 이미지 센서 상으로 투사하도록 구성됨 -;
    상기 제2 이미지에 기초하여 상기 카메라 어셈블리의 주점을 결정하게 하며;
    상기 복수의 타깃들이 상기 이미지 센서에 의해 캡처되는 제3 이미지에서 보이도록 상기 다중 콜리메이터 어셈블리가 상기 복수의 타깃들을 상기 렌즈를 통해 상기 이미지 센서 상으로 투사하도록 상기 DOE 내부 교정 모듈을 상기 카메라 어셈블리의 상기 광학 경로 외부로 이동시키게 하고;
    상기 카메라 어셈블리의 상기 주점을 상기 이미지 센서의 이미지 중심과 정렬시키고 상기 제3 이미지에 기초하여 제2 능동 정렬을 수행하기 위해 상기 제1 및 제2 스테이지들 중 하나 이상을 사용하여 상기 렌즈 및 상기 이미지 센서 중 하나 이상의 상기 상대 위치를 추가 조정하게 하는 것인, 적어도 하나의 비일시적 저장 매체.
  15. 제14항에 있어서, 상기 명령어들은 또한, 상기 적어도 하나의 프로세서로 하여금 상기 제1 능동 정렬을 수행하기 전에 상기 렌즈와 상기 이미지 센서 사이에 접착제의 도포가 행해지게 하는 것인, 적어도 하나의 비일시적 저장 매체.
  16. 제15항에 있어서, 상기 명령어들은 또한, 상기 적어도 하나의 프로세서로 하여금 상기 제2 능동 정렬을 수행한 후에 상기 접착제의 경화가 행해지게 하는 것인, 적어도 하나의 비일시적 저장 매체.
  17. 제14항 내지 제16항 중 어느 한 항에 있어서, 상기 명령어들은 또한, 상기 적어도 하나의 프로세서로 하여금 상기 DOE 내부 교정 모듈이 포인트 그리드를 상기 이미지 센서 상으로 투사하도록, 상기 DOE 내부 교정 모듈을 상기 카메라 어셈블리의 상기 광학 경로 내로 이동시키게 하고, 상기 포인트 그리드는 상기 이미지 센서에 의해 캡처되는 제4 이미지에서 보이는 것인, 적어도 하나의 비일시적 저장 매체.
  18. 제17항에 있어서, 상기 명령어들은 또한, 상기 적어도 하나의 프로세서로 하여금 상기 제4 이미지에 기초하여 상기 카메라 어셈블리의 최종 주점을 결정하게 하는 것인, 적어도 하나의 비일시적 저장 매체.
  19. 제14항 내지 제16항 중 어느 한 항에 있어서, 상기 DOE 내부 교정 모듈은:
    광 소스, 콜리메이터, 및 제1 축을 따라 포인트 그리드를 투사하도록 구성된 회절 광학 요소; 및
    상기 제1 축을 따라 위치되고 상기 제1 축과 상이한 제2 축을 따라 상기 포인트 그리드를 반사하도록 구성된 반사 표면을 포함하는 것인, 적어도 하나의 비일시적 저장 매체.
  20. 제14항 내지 제16항 중 어느 한 항에 있어서, 상기 복수의 타깃들은 복수의 변조 전달 함수(MTF) 타깃들을 포함하는 것인, 적어도 하나의 비일시적 저장 매체.
KR1020220030283A 2022-01-21 2022-03-10 내부 교정을 사용한 광학 어셈블리의 능동 정렬 KR102669539B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/581,712 2022-01-21
US17/581,712 US20230237701A1 (en) 2022-01-21 2022-01-21 Active alignment of an optical assembly with intrinsic calibration

Publications (2)

Publication Number Publication Date
KR20230113101A true KR20230113101A (ko) 2023-07-28
KR102669539B1 KR102669539B1 (ko) 2024-05-28

Family

ID=81175303

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220030283A KR102669539B1 (ko) 2022-01-21 2022-03-10 내부 교정을 사용한 광학 어셈블리의 능동 정렬

Country Status (5)

Country Link
US (1) US20230237701A1 (ko)
KR (1) KR102669539B1 (ko)
CN (1) CN116524036A (ko)
DE (1) DE102022104718A1 (ko)
GB (1) GB2614929A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11636623B2 (en) 2021-06-28 2023-04-25 Motional Ad Llc Systems and methods for camera alignment using pre-distorted targets

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170136545A (ko) * 2015-03-27 2017-12-11 자빌 인코퍼레이티드 레이저 프로젝션 모듈
KR20200120552A (ko) * 2019-04-12 2020-10-21 에이에스엠 테크놀러지 싱가포르 피티이 엘티디 렌즈 모듈에 대한 이미지 센서 정렬

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3912395A (en) * 1970-04-06 1975-10-14 Itek Corp Optical system calibration method
US10788316B1 (en) * 2016-09-21 2020-09-29 Apple Inc. Multi-sensor real-time alignment and calibration
AU2018369622A1 (en) * 2017-11-15 2020-05-14 Magic Leap, Inc. System and methods for extrinsic calibration of cameras and diffractive optical elements
US12061350B2 (en) * 2018-05-17 2024-08-13 Interdigital Madison Patent Holdings, Sas 3D display directional backlight based on diffractive elements
US11480793B2 (en) * 2018-10-24 2022-10-25 Google Llc Systems, devices, and methods for aligning a lens in a laser projector
CA3116006C (en) * 2018-10-31 2023-09-19 Leia Inc. Multiview backlight, display, and method having optical mask elements
WO2021137032A1 (en) * 2019-12-30 2021-07-08 Amo Development, Llc Optical measurement systems and processes with fixation target having bokeh compensation
US11074720B1 (en) * 2020-02-07 2021-07-27 Aptiv Technologies Limited System and method for calibrating intrinsic parameters of a camera using optical raytracing techniques
EP4165450A4 (en) * 2020-06-16 2023-12-06 Magic Leap, Inc. INTRINSIC CAMERA CALIBRATION

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170136545A (ko) * 2015-03-27 2017-12-11 자빌 인코퍼레이티드 레이저 프로젝션 모듈
KR20200120552A (ko) * 2019-04-12 2020-10-21 에이에스엠 테크놀러지 싱가포르 피티이 엘티디 렌즈 모듈에 대한 이미지 센서 정렬

Also Published As

Publication number Publication date
CN116524036A (zh) 2023-08-01
GB2614929A (en) 2023-07-26
KR102669539B1 (ko) 2024-05-28
US20230237701A1 (en) 2023-07-27
GB202203178D0 (en) 2022-04-20
DE102022104718A1 (de) 2023-07-27

Similar Documents

Publication Publication Date Title
US11295477B1 (en) Deep learning-based camera calibration
US12051224B2 (en) Systems and methods for camera alignment using pre-distorted targets
US20230041031A1 (en) Systems and methods for efficient vehicle extent estimation
KR102631148B1 (ko) 센서 데이터를 사용하여 자동으로 교통 신호 검출
KR20230043028A (ko) 교정 코스 및 타깃
KR102669539B1 (ko) 내부 교정을 사용한 광학 어셈블리의 능동 정렬
KR20230001499A (ko) 회절 광학 요소를 사용한 기하학적 인트린직 카메라 캘리브레이션
US20230252678A1 (en) Universal sensor performance and calibration target for multi-sensor imaging systems
US20230160778A1 (en) Systems and methods for measurement of optical vignetting
US11812128B2 (en) Methods and systems for determination of boresight error in an optical system
US20230231989A1 (en) Performance verification of an image sensor mounted to a vehicle
US20230236432A1 (en) Correcting multi-zone motion blur
US20230147392A1 (en) Two-axis test fixture
WO2024182787A1 (en) Camera-to-lidar calibration and validation model

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant