KR20190055230A - 공간적 광 변조를 갖는 프로젝터 - Google Patents
공간적 광 변조를 갖는 프로젝터 Download PDFInfo
- Publication number
- KR20190055230A KR20190055230A KR1020197012447A KR20197012447A KR20190055230A KR 20190055230 A KR20190055230 A KR 20190055230A KR 1020197012447 A KR1020197012447 A KR 1020197012447A KR 20197012447 A KR20197012447 A KR 20197012447A KR 20190055230 A KR20190055230 A KR 20190055230A
- Authority
- KR
- South Korea
- Prior art keywords
- light
- light source
- detection system
- depth detection
- sensor
- Prior art date
Links
- 238000005286 illumination Methods 0.000 claims abstract description 120
- 238000001514 detection method Methods 0.000 claims abstract description 48
- 230000000295 complement effect Effects 0.000 claims abstract description 11
- 230000003287 optical effect Effects 0.000 claims description 42
- 238000003384 imaging method Methods 0.000 claims description 37
- 238000000034 method Methods 0.000 claims description 24
- 238000007493 shaping process Methods 0.000 claims description 23
- 239000000758 substrate Substances 0.000 claims description 21
- 238000001914 filtration Methods 0.000 claims description 8
- 230000000712 assembly Effects 0.000 description 9
- 238000000429 assembly Methods 0.000 description 9
- 230000000644 propagated effect Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000009977 dual effect Effects 0.000 description 4
- 235000013601 eggs Nutrition 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000010363 phase shift Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 240000004160 Capsicum annuum Species 0.000 description 1
- 235000008534 Capsicum annuum var annuum Nutrition 0.000 description 1
- 206010000496 acne Diseases 0.000 description 1
- PNEYBMLMFCGWSK-UHFFFAOYSA-N aluminium oxide Inorganic materials [O-2].[O-2].[O-2].[Al+3].[Al+3] PNEYBMLMFCGWSK-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 229920000515 polycarbonate Polymers 0.000 description 1
- 239000004417 polycarbonate Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
- G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
-
- G01S17/107—
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
- G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/484—Transmitters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/487—Extracting wanted echo signals, e.g. pulse detection
- G01S7/4876—Extracting wanted echo signals, e.g. pulse detection by removing unwanted signals
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B19/00—Condensers, e.g. light collectors or similar non-imaging optics
- G02B19/0004—Condensers, e.g. light collectors or similar non-imaging optics characterised by the optical means employed
- G02B19/0009—Condensers, e.g. light collectors or similar non-imaging optics characterised by the optical means employed having refractive surfaces only
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B19/00—Condensers, e.g. light collectors or similar non-imaging optics
- G02B19/0033—Condensers, e.g. light collectors or similar non-imaging optics characterised by the use
- G02B19/009—Condensers, e.g. light collectors or similar non-imaging optics characterised by the use for use with infrared radiation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
- G02B27/4233—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application
- G02B27/425—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application in illumination systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Abstract
다수의 상보적 조명 패턴들을 순차적으로 방출하도록 구성된 프로젝터를 포함하는 비행 시간 기반 깊이 검출 시스템이 개시된다. 깊이 검출 시스템의 센서는 센서 시야 내의 객체들로부터 반사되는, 조명 패턴들로부터의 광을 캡처하도록 구성된다. 센서에 의해 캡처된 데이터는 센서로 리턴하기 전에 다수의 표면들로부터 반사되는 광에 의해 야기된 잘못된 판독값들을 필터링하는 데 사용할 수 있다.
Description
[0001]
다수의 상이한 애플리케이션들에서 상당히 유용할 수 있는, 범위 이미징을 위한 다수의 기술들이 존재한다. 하나의 특정 유형의 범위 이미징은 비행 시간 카메라를 사용하여 수행될 수 있다. 비행 시간 카메라는, 센서와 센서 시야의 객체들 사이의 거리를 결정하기 위해 광 펄스가 센서 시야의 객체들로 그리고 이 객체들로부터 이동하는데 소요되는 시간을 측정할 수 있다. 불행하게도, 깊이 검출 시스템에 의해 방출된 광은 항상 센서 시야 내의 객체로 그리고 역으로 센서로 직접 이동하는 것은 아닐 수 있다. 광이 객체로부터 반사되기 전에 다른 객체로부터 바운싱(bouncing)되는 경우, 광이 센서로 리턴하는 데 소요되는 시간이 증가되고 그리하여 반사된 광 펄스에 대한 측정된 비행 시간을 증가시킨다. 더 긴 비행 시간 측정은 깊이 검출 시스템이 센서와 객체 사이의 측정된 거리를 잘못되게 증가시키게 할 수 있다. 따라서, 이 에러를 바로잡는 방식이 바람직하다.
[0002]
본 개시내용은 다수의 표면들로부터 바운싱(bouncing)되는 광 펄스들로 인한 잘못된 판독값(reading)들을 필터링하도록 구성된 비행 시간 카메라를 설명한다.
[0003]
본 개시내용은 깊이 검출 시스템의 성능을 개선하는 방식들에 관한 것이다. 깊이 검출 시스템은 깊이 검출 시스템의 이미징 센서에 의해 모니터링되는 구역으로 상보적 조명 패턴들을 순차적으로 방출하도록 구성될 수 있다. 이미징 센서는, 조명 패턴들을 형성하는 광이 객체들로부터 반사되고 이미징 센서로 리턴하는 데 소요되는 시간을 측정함으로써 깊이 검출 시스템과 구역 내의 객체들 사이의 거리를 결정하는 비행 시간 센서로서 작용할 수 있다. 이미징 센서에서 수신된 광 중 일부는 이미징 센서에 도달하기 전에 다른 표면들로부터 바운싱되는 간접 광일 수 있다. 이는, 더 많은 간접 광이 이미징 센서로 리턴할 가능성이 높은 룸 코너(room corner)들에서 특히 문제가 될 수 있다. 이 반사들은 광이 이미징 센서로 리턴하는 데 소요되는 시간의 양을 증가시키고, 그리하여 센서 데이터의 정확성을 감소시킨다. 이러한 간접 광 중 일부는, 제1 조명 패턴이 활성일 때 제1 조명 패턴 외부에 있는 이미징 센서에 의해 모니터링되는 구역의 부분들로부터 반사되는 광을 식별함으로써 깊이 검출 시스템에 의한 고려로부터 필터링될 수 있다. 그 후, 이 식별된 광은 제2 조명 패턴이 활성일 때 고려로부터 제외될 수 있다. 유사하게, 제2 조명 패턴이 활성일 때 제2 조명 패턴의 외부에 있는 광은 제1 조명 패턴으로부터 감산될 수 있다. 이러한 방식으로, 보다 정확한 깊이 검출 정보가 획득될 수 있다.
[0004]
상보적인 조명 패턴들을 방출하는 광원들은 광원들이 서로 오정렬되는 것을 방지하도록 공통 기판에 장착될 수 있다. 공통 기판은 또한 광원들이 오정렬 상태가 되게 하는 임의의 열 효과들을 감소시키는 데 도움을 줄 수 있다.
[0005]
깊이 검출 시스템이 개시되며, 적어도 다음들, 즉 프로젝션 시스템 ― 프로젝션 시스템은 강성 기판을 갖는 프로젝터 하우징, 제1 복수의 광 성형 컴포넌트들을 통해 광을 방출하도록 구성된 제1 광원 ― 제1 광원은 강성 기판에 장착됨 ― , 및 제2 복수의 광 성형 컴포넌트들을 통해 광을 방출하도록 구성된 제2 광원을 포함하고, 제2 광원은 제1 광원에 인접하게 강성 기판에 장착됨 ― ; 프로젝션 시스템에 근접하고, 이미징 센서의 시야 내의 객체들로부터 반사된 후에 제1 광원 및 제2 광원에 의해 방출된 광을 수신하도록 구성된 이미징 센서; 및 제1 광원 및 제2 광원에 의해 방출된 광이 센서 시야 내의 객체들로부터 반사되고 이미징 센서로 리턴하는 데 걸리는 시간의 양을 측정함으로써 깊이 검출 시스템과 센서 시야 내의 객체들 사이의 거리를 계산하도록 구성되는 프로세서를 포함한다.
[0006]
다른 깊이 검출 시스템이 개시되며, 복수의 광 성형 컴포넌트들 ― 복수의 광 성형 컴포넌트들은, 시준 광학 엘리먼트, 굴절 광학 엘리먼트, 회절 광학 엘리먼트, 및 마이크로-렌즈 어레이를 포함함 ― ; 복수의 광 성형 컴포넌트들을 통해 광을 방출하도록 구성된 광원; 광원에 의해 방출되고 이미징 센서의 시야 내의 객체들로부터 반사된 광을 검출하도록 구성된 이미징 센서; 및 이미징 센서의 시야 외부의 표면들로부터 반사된 광과 연관된 센서 판독값들을 필터링함으로써 깊이 검출 시스템과 객체들 사이의 거리를 결정하도록 구성된 프로세서를 포함한다.
[0007]
깊이 검출 시스템이 개시되며, 프로젝션 시스템 ― 프로젝션 시스템은, 강성 기판을 갖는 프로젝터 하우징, 제1 복수의 광 성형 컴포넌트들을 통해 광을 방출하고 제1 조명 패턴을 생성하도록 구성된 제1 광원 ― 제1 광원은 강성 기판에 장착됨 ― ; 및 제2 복수의 광 성형 컴포넌트들을 통해 광을 방출하고 제1 조명 패턴에 대해 상보적인 제2 조명 패턴을 생성하도록 구성된 제2 광원을 포함하고, 제2 광원은 제1 광원에 인접하게 강성 기판에 장착됨 ― ; 프로젝션 시스템에 근접하고, 이미징 센서의 시야 내의 객체들로부터 반사된 후에 제1 광원 및 제2 광원에 의해 방출된 광을 수신하도록 구성된 이미징 센서; 및 제1 광원 및 제2 광원에 의해 방출된 광이 센서 시야 내의 객체들로부터 반사되고 이미징 센서로 리턴하는 데 걸리는 시간의 양을 측정하고 이미징 센서의 시야 외부의 표면들로부터 반사된 광과 연관된 센서 판독값들을 필터링함으로써 깊이 검출 시스템과 센서 시야 내의 객체들 사이의 거리를 계산하도록 구성되는 프로세서를 포함한다.
[0008]
본 발명의 다른 양상들 및 이점들은, 예로서 설명된 실시예들의 원리들을 예시하는 첨부 도면들과 함께 취해진 다음의 상세한 설명으로부터 명백해질 것이다.
[0009]
본 개시내용은 유사한 참조 번호들이 유사한 구조적 엘리먼트들을 지정하는 첨부 도면들과 함께 다음의 상세한 설명에 의해 쉽게 이해될 것이다.
[0010] 도 1a는 사용중인 예시적인 깊이 검출 센서를 도시한다.
[0011] 도 1b는 일부 실시예들에 따라 객체로 입사되는 광이 확산 및/또는 정반사에 의해 어떻게 반사될 수 있는지를 도시한다.
[0012] 도 1c는 일부 실시예들에 따라 프로젝션 시스템에 의해 조명되는 상이한 유형들의 객체들의 예들을 도시한다.
[0013] 도 2a는 일부 실시예들에 따라 2개의 프로젝터들을 포함하는 프로젝션 시스템(102)을 도시한다.
[0014] 도 2b는 일부 실시예들에 따른 예시적인 조명 패턴들(A 및 B)을 도시한다.
[0015] 도 2c는 일부 실시예들에 따른 조명 패턴들(C 및 D)을 도시한다.
[0016] 도 2d는 일부 실시예들에 따른 조명 패턴들(E, F 및 G)을 도시한다.
[0017] 도 2e는 일부 실시예들에 따라 이산 픽셀들 또는 샘플링 포인트들이 다수의 조명 패턴들에 걸쳐 어떻게 분포될 수 있는지를 도시한다.
[0018] 도 3a 내지 도 3c는 일부 실시예들에 따라 광원 앞에 포지셔닝된 광 성형 컴포넌트들의 그룹으로 각각 구성되는 다양한 광학기 조립체 실시예들을 도시한다.
[0019] 도 4a 내지도 4b는 일부 실시예들에 따라 도 3에 도시된 광학기 조립체와 유사한, 각각의 광원에 대한 광학기 조립체들을 통합하는 2개의 광원들을 갖는 프로젝터 조립체를 도시한다.
[0020] 도 5a 내지 도 5c는 일부 실시예들에 따라 폴딩된 광학기를 활용하는 다중 광원 프로젝터 조립체의 도면들을 도시한다.
[0021] 도 6a 및 도 6b는 일부 실시예들에 따라 단일 광원을 사용하는 프로젝션 조립체의 측면도들을 도시한다.
[0022] 도 7은 일부 실시예들에 따라 상술된 깊이 검출 시스템의 상이한 컴포넌트들 사이의 상호작용을 도시하는 도면이다.
[0010] 도 1a는 사용중인 예시적인 깊이 검출 센서를 도시한다.
[0011] 도 1b는 일부 실시예들에 따라 객체로 입사되는 광이 확산 및/또는 정반사에 의해 어떻게 반사될 수 있는지를 도시한다.
[0012] 도 1c는 일부 실시예들에 따라 프로젝션 시스템에 의해 조명되는 상이한 유형들의 객체들의 예들을 도시한다.
[0013] 도 2a는 일부 실시예들에 따라 2개의 프로젝터들을 포함하는 프로젝션 시스템(102)을 도시한다.
[0014] 도 2b는 일부 실시예들에 따른 예시적인 조명 패턴들(A 및 B)을 도시한다.
[0015] 도 2c는 일부 실시예들에 따른 조명 패턴들(C 및 D)을 도시한다.
[0016] 도 2d는 일부 실시예들에 따른 조명 패턴들(E, F 및 G)을 도시한다.
[0017] 도 2e는 일부 실시예들에 따라 이산 픽셀들 또는 샘플링 포인트들이 다수의 조명 패턴들에 걸쳐 어떻게 분포될 수 있는지를 도시한다.
[0018] 도 3a 내지 도 3c는 일부 실시예들에 따라 광원 앞에 포지셔닝된 광 성형 컴포넌트들의 그룹으로 각각 구성되는 다양한 광학기 조립체 실시예들을 도시한다.
[0019] 도 4a 내지도 4b는 일부 실시예들에 따라 도 3에 도시된 광학기 조립체와 유사한, 각각의 광원에 대한 광학기 조립체들을 통합하는 2개의 광원들을 갖는 프로젝터 조립체를 도시한다.
[0020] 도 5a 내지 도 5c는 일부 실시예들에 따라 폴딩된 광학기를 활용하는 다중 광원 프로젝터 조립체의 도면들을 도시한다.
[0021] 도 6a 및 도 6b는 일부 실시예들에 따라 단일 광원을 사용하는 프로젝션 조립체의 측면도들을 도시한다.
[0022] 도 7은 일부 실시예들에 따라 상술된 깊이 검출 시스템의 상이한 컴포넌트들 사이의 상호작용을 도시하는 도면이다.
[0023]
본 출원에 따른 방법들 및 장치의 대표적인 애플리케이션들이 이 섹션에서 설명된다. 이들 예들은 단지 설명된 실시예들의 이해를 돕고 맥락을 추가하기 위해 제공되었다. 따라서, 설명된 실시예들은 이들 특정한 세부사항들 중 일부 또는 전부 없이도 실시될 수 있다는 것이 당업자에게 명백할 것이다. 다른 경우들에서, 잘 알려진 프로세스 단계들은 설명된 실시예들을 불필요하게 모호하게 하는 것을 피하기 위해 상세히 설명되지 않았다. 다른 애플리케이션들이 가능하여서, 다음의 예들은 제한하는 것으로 받아 들여지지 않아야 한다.
[0024]
깊이 검출 시스템은 깊이 검출 시스템의 시야 내의 환경을 특성화하도록 구성될 수 있다. 결과적인 특성화는 깊이 검출 시스템을 향한 객체들의 부분들의 외형 및 포지션을 결정하는 데 사용될 수 있다. 깊이 검출 시스템의 하나의 유형은 TOF(time of flight) 카메라이다. TOF 카메라는 변조된 광 펄스들을 방출하기 위한 프로젝터 및 센서의 시야 내의 다양한 객체들로부터 반사되는 광 펄스들 각각의 부분을 수신하기 위한 센서를 활용한다. 센서로부터 판독값(reading)들을 수신하는 프로세서는, 광이 센서로부터 이동하고 시야의 객체들 중 하나로부터 바운싱되고 센서로 리턴하는 데 소요되는 시간을 결정할 수 있다. 광의 속도가 알려져 있기 때문에, 시스템은 그 시간에 기초하여 깊이 검출 센서와 객체 사이의 거리를 결정할 수 있다. 불행하게도, 이 방법은 광이 객체로부터 바운싱되고 센서로 직접 되돌아올 때 거리를 결정하는 데 잘 작동하지만, 센서로 리턴하는 임의의 광(다른 객체로부터 먼저 바운싱됨)은 깊이 데이터에 부정확성을 야기할 수 있다.
[0025]
이 문제에 대한 하나의 가지 해결책은 부정확성들을 감소시키기 위해 센서에서 수신된 간접적으로 반사된 광을 필터링하는 것이다. 이것이 달성될 수 있는 하나의 방식은 환경이 광으로 조명되는 방식을 조정하는 것이다. 광은 시야의 객체들의 상이한 부분들을 순차적으로 조명하도록 교번적인 조명 패턴들로 프로젝션 시스템에 의해 방출될 수 있다. 일부 실시예들에서, 조명 패턴은 실질적으로 평행한 스트라이프(stripe)들로 배열될 수 있지만, 상이한 패턴들이 또한 가능하다. 스트라이프들 각각은 각각의 스트라이프와 거의 동일한 두께를 갖는 갭에 의해 분리될 수 있다. 이러한 방식으로, 시야의 약 절반이 조명 패턴이 방출될 때마다 조명될 수 있다. 상이한 스트라이프 및 갭 두께들이 사용될 수 있지만 일련의 상이한 조명 패턴들 동안의 일부 포인트에서, 시야의 각각의 부분은 조명되지 않아야 한다는 것이 인지되어야 한다. 특정 광 패턴에 의해 조명되어선 안 되는 프레임의 영역으로부터 리턴하는 임의의 광은 반사된 광을 식별하는 데 사용될 수 있다. 상이한 조명 패턴이, 반사된 광이 이전에 검출되었던 객체의 그 부분을 조명할 때, 반사된 광은 검출된 광으로부터 감산되어 프로젝션 시스템으로부터 객체로 그리고 센서로 역으로 직접 이동하는 광의 그 부분만을 식별할 수 있다. 센서 시야와의 영역의 깊이 맵을 만들 목적으로 임의의 다른 광이 무시될 수 있다. 이러한 방식으로, 깊이 데이터의 정확도가 실질적으로 개선될 수 있다.
[0026]
상술된 방법을 수행하기 위한 프로젝션 시스템은 조명 패턴들을 생성하기 위한 둘 이상 광원들을 포함할 수 있다. 일부 실시예들에서, 프로젝션 시스템은 변하는 조건들을 따라가기 위해 매우 신속하게 작동하도록 구성될 수 있다. 예컨대, 일부 실시예들에서, 광원들은 초당 100개 초과의 펄스들을 방출하도록 구성될 수 있다. 프로젝션 시스템과 연관된 센서는 광이 되돌아올 때 그 광을 캡처하도록 구성될 수 있고, 센서의 픽셀들 각각이 동시에 판독될 수 있게 하는 글로벌 셔터를 가질 수 있다. 이러한 방식으로, 픽셀들의 순차적 판독으로 인해 도입되는 임의의 에러들이 회피될 수 있다.
[0027]
일부 실시예들에서, 광원들은 단일 프로젝터 하우징 내에 통합될 수 있다. 광원들을 단일 프로젝터에 패키징하는 것은, 둘 이상 별개의 프로젝션 유닛들 중 하나가 부딪치거나 다른 유닛들과 상이한 양으로 떠밀리는 상황(이는 조명 패턴들의 오정렬을 초래함)을 방지한다. 다수의 조명 패턴들을 프로젝팅하도록 구성된 단일 프로젝터의 정렬에서의 약간의 변화는 센서 시야의 부분이 조명 패턴에 의해 커버되지 않게 할 수 있지만, 센서 시야의 대부분은 조명 패턴들의 정렬을 손상시키지 않으면서 커버된 채로 유지될 수 있다. 일부 실시예들에서, 단일 프로젝터 하우징은 광범위한 온도들에 걸쳐 광원들 사이의 분리를 일정하게 유지하는 낮은 열팽창 계수를 갖는 단일의 강성 기판을 포함할 수 있다. 광원들 각각은 광을 다양한 조명 패턴들로 지향시키는 상이한 광학기를 가질 수 있다. 일부 실시예들에서, 단일 광원을 갖는 프로젝션 시스템(시프팅 광학기를 가짐)이 사용될 수 있다. 이러한 실시예에서, 광학기는 단일 광원으로부터 2개 이상의 조명 패턴들을 생성하기 위해 둘 이상의 포지션들 사이에서 오실레이팅(oscillate)할 수 있다.
[0028]
이들 및 다른 실시예들이 도 1a 내지 도 7을 참조하여 아래에서 논의되지만, 당업자들은 이들 도면들과 관련하여 본원에서 주어진 상세한 설명이 단지 설명 목적들을 위한 것이며 제한적인 것으로 해석되어서는 안 된다는 것을 쉽게 인지할 것이다.
[0029]
도 1a는 사용중인 예시적인 깊이 검출 시스템(100)을 도시한다. 깊이 검출 시스템(100)은 프로젝션 시스템(102) 및 센서(104)를 포함한다. 프로젝션 시스템(102)은 객체(106)를 향해 광을 방출하도록 구성될 수 있다. 일부 실시예들에서, 프로젝션 시스템(102)에 의해 방출된 광은 적외선 광 또는 근적외선 광일 수 있다. 프로젝션 시스템(102)에 의해 방출된 광은 센서(104)의 시야에 대응하는 넓은 영역을 커버하도록 구성될 수 있기 때문에, 예시적인 광파(108)는 벽(110)으로부터 바운싱될 수 있고, 벽(110)의 각도로 인해, 광파(108)는 도시된 바와 같이, 벽(110)으로부터 역으로 반사되는 대신에, 객체(106)로부터 바운싱되고 그 후 센서(104)로 되돌아간다. 이는 객체(106)가, 객체(106)에 입사되는 광을 산란시키는 불규칙한 표면들(즉, 곡선형 또는 원통형 표면들)을 가질 때 특히 문제가 될 수 있다. 반사된 광의 산란은 도시된 바와 같이 반사된 광이 센서(104)로 역으로 도달할 가능성을 증가시킨다.
[0030]
도 1b는 객체(106)로 입사되는 광이 확산 및/또는 정반사에 의해 어떻게 반사될 수 있는지를 도시한다. 정반사를 생성하는 데 편평한 표면이 일반적으로 필요하지만, 편평한 표면은 또한 객체(106)의 표면 아래에 로케이팅된 산란 중심들로 인해 일부 확산 반사를 생성하는 경향이 있다. 곡선형 또는 다양한 표면들은 다수의 방향들로 산란하는 훨씬 더 많은 확산 반사들을 생성한다. 벽(110)으로부터 반사된 광을 직접 광과 구별하기 어려울 수 있는 이유들 중 하나는, 벽(110)의 표면이 비교적 편평할 때, 상당한 양의 광파(108)가 벽(110)으로부터의 정반사로서 반사될 수 있고, 그리하여 광파(108)로부터의 객체(106)에서의 결과적인 확산 반사가 광파(112)로부터 발생하는 객체(106)에서의 확산 반사와 유사한 강도를 갖게 한다는 것이다. 프로젝터로부터 객체(106)로 진행되고 그 후 벽(110)으로부터 센서를 향해 역으로 바우싱되는 광은, 벽(110)이 센서 시야에 있지 않은 경우에는 문제로 간주되지 않는다는 것이 주의되어야 한다. 이러한 경우에, 센서에 진입하는 광의 높은 입사각은, 센서가 특정 시야로부터 도달하는 광만을 수신하도록 구성되기 때문에 센서에 의해 검출되지 않을 것이다. 높은 입사각의 광은 센서 위에 포지셔닝되는 슈라우드(shroud) 또는 집광 렌즈를 사용하여 센서에 도달하는 것이 방지될 수 있다.
[0031]
도 1c는 프로젝션 시스템(102)에 의해 조명되는 상이한 유형들의 객체들의 예들을 도시한다. 이미지들의 제1 열은 객체들로부터 반사되고 센서(104)에 의해 캡처된 모든 광을 사용하여 생성된 이미지들을 도시한다. 제2 열의 이미지들은 객체들로부터 직접 반사되는 광만을 도시한다. 제3 열의 이미지들은 센서 시야의 객체에 부딪히기 전에 다른 객체들로부터 먼저 반사된 광(간접 광)만을 도시한다. 계란 사진들의 제1 행은 확산 상호반사(diffuse interreflection)들의 예를 제공한다. 구 형상의 계란들은 계란들 각각의 표면에 충돌하는 광에 의해 생성되는 확산 반사의 양을 강조한다. 특히, 제1 행에서의 간접 광 이미지는 어떻게 계란들의 하위 에지들이 상당한 양의 간접 광을 캡처하고 결과적으로 센서로부터 멀리 떨어져 있는 것처럼 보일 수 있게 하는지를 도시한다. 나무 블록 사진들의 제2 행은 확산 및 정 상호반사(diffuse and specular interreflection) 둘 모두의 예를 제공한다. 나무 블록들의 편평한 표면들은 소정의 양의 정반사를 허용하는 반면, 블록들의 기본 나뭇결 구조 및 코너들은 확산 상호반사를 생성한다. 마지막으로, 피망들의 제3 행은 서브-표면 산란이 소량의 광만으로 하여금, 어떻게 센서(104)로 역으로 직접 반사될 수 있게 하는지를 도시한다. 이러한 제한된 양의 직접 광은, 센서(104)와 피망들 사이의 실제 거리를 결정하기 위해, 간접 광의 필터링을 훨씬 더 중요하게 만들 수 있다. 도 1c는 원래, Krishnan에 의한 "Fast Separation of Direct and Global Components of a Scene using High Frequency Illumination"란 논문의 부분으로서 공개되었다.
[0032]
도 2a는 프로젝터들(202 및 204)을 포함하는 프로젝션 시스템(102)을 도시한다. 프로젝터들(202 및 204)은 상보적 조명 패턴들(A 및 B)을 방출하는 데 사용될 수 있다. 조명 패턴들(A 및 B)은, 조명 패턴들 중 단 하나만이 임의의 주어진 시간에 활성이 되도록 순차적으로 펄싱될 수 있다. 일부 실시예들에서, 조명 패턴들은 교번적인 패턴으로(예컨대, A, B, A, B 패턴으로) 펄싱될 수 있다. 펄싱된 방출들은 또한, 다른 주변 광원들로부터 펄싱된 방출을 구별하는 데 도움이 되도록 변조될 수 있다. 결과적으로, 조명 패턴(A)이 활성일 때, 조명 패턴(A)의 어떠한 외부 영역도 광이 없어야 한다. 그러나, 일반적으로, 먼저 다른 표면들로부터 반사되는 조명 패턴(A)의 부분 및 소정의 환경들에서, 조명 패턴(A)에 의해 직접 조명되지 않는 영역들로부터 반사되는 다른 주변 광이 센서(104)에 의해 검출될 수 있다. 객체(106)의 조명되지 않은 영역들에서 검출된 이 반사된 광은 조명 패턴(B)이 활성일 때, 반사된 광을 식별하기 위해 후속적으로 사용될 수 있다. 유사하게, 조명 패턴(B)이 활성일 때, 조명 패턴(B)의 외부로부터 도달한 반사된 광은 조명 패턴(A)의 다음 펄스 동안 반사된 광을 식별하는데 후속적으로 사용될 수 있다. 따라서, 일반적으로, 활성 조명 패턴의 외부로부터 발생한 것으로 검출된 반사된 광 또는 간접 광(IINDIRECT)이 레코딩될 수 있다. 그 다음 조명 패턴이 활성화될 때, 현재 활성 조명 패턴으로부터 이전에 레코딩된 간접 광(IINDIRECT)은 수식(1)에 따라 활성 조명 패턴으로부터 수신된 모든 광(ITOTAL)으로부터 감산되어, 직접 광을 식별할 수 있다.
IDIRECT = ITOTAL ― IINDIRECT 수식(1)
[0033]
일부 실시예들에서, 객체(106)로부터 반사되고 센서(104)로 되돌아오는 임의의 주변 광은 조명 패턴들과 연관된 변조와 매칭하지 않는 광을 거부함으로써 필터링될 수 있다는 것이 주의되어야 한다.
[0034]
도 2b는 예시적인 조명 패턴들(A 및 B)을 도시한다. 조명 패턴들(A 및 B)의 강도는 수직 포지션의 함수로써 정현파 패턴으로 분포될 수 있다. 도시된 바와 같이, 조명 패턴(A)은 조명 패턴(B)과 180 °이위상(out of phase)일 수 있어, 조명 패턴(B)이 최소 강도 값에 있을 때 조명 패턴(A)이 최대 강도 값을 갖게 한다. 이러한 방식으로, 2개의 조명 패턴들이 동시에 방출된 경우, 실질적으로 균일한 광 패턴이 생성되었을 것이다. 그래프(206)는 조명 패턴(A)을 예시하는 반면, 그래프(208)는 조명 패턴(B)을 예시한다. 수학적으로, 결합된 패턴의 강도는 강도 값이 1과 동일한 실질적으로 일정한 값을 갖게 할 것이다. 보다 일반적으로, 조명 강도는 수식(2)를 사용하여 모델링될 수 있다.
[0035]
수식(2)에서, i는 전체 N개의 조명 패턴들 중 어떤 조명 패턴이 계산되는지를 나타낸다. A0는 조명 패턴의 진폭이다. f는 광 바(light bar)들의 공간 주파수이다. β는 센서의 수직 시야각이다. φi는 조명 패턴에 대한 위상 시프트를 나타내며, 그 값은 수식(3)에 의해 결정된다.
[0036]
인지될 수 있는 바와 같이, 수식(3)은 위상 시프트가 2개의 패턴들의 경우 180도, 3개의 패턴들의 경우 120도, 4개의 패턴들의 경우 90도 등이 될 수 있음을 명확히 한다. 일반적으로, 더 정확한 결과들을 달성하기 위해 더 많은 조명 패턴들이 사용될 수 있다. 또한, 일부 실시예들에서, 위상 시프트는 또한 상이한 방식으로 변동될 수 있다.
[0037]
도 2c는 조명 패턴들(C 및 D)을 도시한다. 조명 패턴들(C 및 D)의 강도 프로파일들은 정현파 대신에 사다리꼴이다. 급격한 상승 및 하강 강도들을 가짐으로써, 조명 패턴들(C 및 D)의 광 바들 사이의 보다 갑작스런 트랜지션이 달성될 수 있다. 보다 명확한(crisp) 트랜지션은 아래에서 더 상세히 설명될 바와 같이, 직접 광으로부터 간접 광을 필터링할 때 모호성을 최소화하는 데 유익할 수 있다.
[0038]
도 2d는 조명 패턴들(E, F 및 G)을 도시한다. 조명 패턴들(E, F 및 G)의 강도가 수직 패턴으로 분포되어서, 조명 패턴(F)은 조명 패턴(E)으로부터 120°이위상이다. 이러한 방식으로, 연속적인 광 바들은 본질적으로 상보적이지 않지만, 수직으로 시프트될 수 있다. 그래프들(214, 216 및 218)은 수직 포지션에 따라 각각의 조명 패턴들(E, F 및 G)이 어떻게 변동되는지를 정량적으로 도시한다. 제3 조명 패턴은 제3 광원에 의해 또는 제2 및 제3 패턴들 둘 모두를 생성하도록 시프트할 수 있는 광학기에 의해 생성될 수 있다.
[0039]
도 2e는 이산 픽셀들 또는 샘플링 포인트들이 다수의 조명 패턴들에 걸쳐 어떻게 분포될 수 있는지를 도시한다. 확대도(220)는 조명 패턴들(A 및 B) 내에 분포된 3개의 상이한 샘플링 포인트들(p1, p2 및 p3)을 도시한다. 샘플링 포인트들 각각에서의 간접 광은 각각의 픽셀/샘플링 포인트에 대해 다수의 계산들을 수행함으로써 식별될 수 있다. 특히, 수식(4)은 각각의 순차적 조명 패턴 동안 센서에 의해 수집된 광(Si)를 합산하는 데 사용될 수 있다.
[0040]
그 후, 수식(5)은 각각의 조명 패턴의 강도가 정현파형으로(sinusoidally) 변동될 때, 직접 광의 양을 계산하는 데 사용될 수 있다.
[0041]
수식(5)은, 조명 패턴들의 하나의 세트의 스팬(span)에 걸쳐 방출된 광의 전체량을 나타내기 위해, 조명 패턴들 각각이 활성일 때, 수신된 광의 각각의 컴포넌트의 진폭을 합산한다. 2개의 조명 패턴 프로젝션 시스템에서, 감산된 이미지는, 조명 패턴(A)이 활성일 때 조명 패턴(B) 내로부터 검출된 반사된 광 뿐만 아니라, 조명 패턴(B)이 활성일 때 조명 패턴(A) 내로부터 검출된 반사된 광을 나타낸다. 반사된 광의 2개의 세트들을 함께 더함으로써, 전체 시야에 걸친 반사된 광의 분포가 결정될 수 있다. 일반적으로, 이 계산은 어떤 조명 패턴이 활성인지에 관계없이 반사된 광이 실질적으로 동일하게 유지된다고 가정한다. 결과적으로, 전체 광으로부터 감산된 이미지를 감산하는 것은 시야 내의 직접 광을 식별한다. 수식(6)은 전체 광(T)으로부터 계산된 직접 광(D)을 감산함으로써 간접 광(I)이 어떻게 계산될 수 있는지를 보여준다.
I = T ― D ― const[GL] 수식(6)
[0042]
일부 실시예들에서, const[GL]은 전체 광으로부터 감산될 수 있다. 이 상수는 센서 시야에서 간접 광을 식별할 때 그레이 레벨 바이어스(grey level bias)를 제거하는 데 선택적으로 사용될 수 있다. 일부 실시예들에서, 그레이 레벨 바이어스를 감산하는 것은 센서에 의해 검출된 깊이 데이터의 정확도를 개선할 수 있다. 그레이 레벨 바이어스는, 깊이 검출 시스템이 잘 작동하게 유지하기 위해 주기적으로 교정될 수 있는 값 또는 공장 설정일 수 있다.
[0043]
도 2e는 또한 포지션(p2)에서의 깊이 검출이 단 2개의 조명 패턴들만을 갖는 시스템에 대해 어떻게 문제가 될 수 있는지를 보여준다. 조명 패턴들 사이의 경계로부터 떨어져서 안전하게 위치되는 p1 및 p3에 대해, 간접 광 거부는 고려할 조명 패턴들이 단지 2개만 존재하기 때문에 간단할 수 있다. p1의 경우, 조명 패턴(A)이 활성일 때, 수신된 신호는 직접 광 + 임의의 반사된 광과 동일하다. 조명 패턴(B)이 활성일 때, p1에서의 수신된 신호는 제로 직접 광 + 임의의 반사된 광과 동일하다. 직접 광은 2개의 신호들 사이의 차이를 구함으로써 계산될 수 있다. 이는, 반사된 광이 상쇄되고 조명 패턴(B) 동안의 직접 광이 제로와 동일하기 때문에 직접 광만을 산출한다. p3의 경우, 계산은 비슷한 방식으로 작동하여 직접 광만을 산출한다. 불행하게도, 조명 패턴들 사이의 계면 상에 정확히 로케이팅되는 p2에서, 패턴들(A 및 B) 둘 모두로부터의 직접 광은 거의 동일한 강도로 검출될 것이다. 이는, 값들의 차이를 구하는 것이 제로 값을 발생시킨다는 것을 의미한다. 또한, 계면 근처의 영역들은 둘 모두의 조명 패턴들로부터의 직접 광이 상당한 양으로 존재할 때마다 일부 부정확성들을 또한 겪을 것이다. 결과적으로, 조명 패턴들 사이의 선명한 경계들을 갖는 조명 패턴들은 조명 패턴들 사이의 계면들에서 더 적은 부정확성들을 가질 것이다. 그러나 계면 근처의 포인트들에 대한 직접 광 값들은 보간에 의해 여전히 계산될 수 있다. p3에 대한 직접 광 값은 p4 및 p5에 대한 직접 광 값으로부터의 보간에 의해 계산될 수 있다. 일반적으로, p4 및 p5는 가능한 한 p2에 가까워야 한다. 예컨대, 프로세서는 미리 결정된 임계치 아래로 떨어지는, 조명 패턴(B)으로부터의 직접 광을 갖는 보간 포인트(p4)를 선택하도록 구성될 수 있다.
[0044]
도 3a는 광원(302) 앞에 포지셔닝된 광 성형 컴포넌트들의 그룹으로 구성되는 제1 광학기 조립체(300)를 도시한다. 일부 실시예들에서, 광원(302)은 적외선 레이저 다이오드일 수 있다. 광원(302)은 제1 광 성형 컴포넌트인 시준 렌즈(304)를 통과하는 광을 방출한다. 시준 렌즈(304)는 제2 광 성형 컴포넌트인 굴절 광학 엘리먼트(308)를 향해, 광원(302)에 의해 방출된 광(306)을 포커싱하도록 구성될 수 있다. 굴절 광학 엘리먼트(308)는 포커싱된 광(306)을 각도 θ만큼 기울이고 광을 수직으로 길게 연장시켜 제3 광 성형 컴포넌트인 회절 광학 엘리먼트(312)로 지향되는 수퍼-가우시안 빔(310)을 생성한다. 그 후, 회절 광학 엘리먼트(312)는 수퍼-가우시안 빔(310)을 증식시킨다(multiply). 수퍼-가우시안 빔(310)이 예시 목적들로 5번 증식되는 것으로 도시되지만, 이 수는 변동될 수 있다. 예컨대, 일부 실시예들에서, 회절 광학 엘리먼트(312)는 수퍼-가우시안 빔을 25번 증식시키도록 구성될 수 있다. 증식된 수퍼-가우시안 빔들(310)의 수 및 두께는 연관된 이미징 센서의 수직 시야와 매칭하도록 선택될 수 있다. 수퍼-가우시안 빔들이 마이크로-렌즈 어레이(314)를 통과할 때, 마이크로-렌즈 어레이(314)는 도시된 바와 같이 구역들(316)을 조명하는 조명 패턴을 생성하도록 각각의 수퍼-가우시안 빔을 수평으로 확산시킨다. 마이크로-렌즈 어레이(314)는 (도시된 바와 같이) 양면 또는 단면 또는 원통형일 수 있다. 일부 실시예들에서, 구역들(318) 및 구역들(316)은 거의 동일한 크기일 수 있다. 제2 광학기 조립체로부터의 광은 구역들(318)을 조명하도록 구성될 수 있다. 일부 실시예들에서, 광학기 조립체들은 상보적 패턴들로 광을 방출할 수 있어서, 수평 구역들(316 및 318) 중 하나가 임의의 주어진 시간에 조명된다.
[0045]
도 3b는 광원(322) 앞에 포지셔닝된 광 성형 컴포넌트들의 그룹으로 구성되는 제2 광학기 조립체(320)를 도시한다. 일부 실시예들에서, 광원(322)은 적외선 레이저 다이오드일 수 있다. 광원(322)은 제1 광 성형 컴포넌트인 시준 렌즈(324)를 통과하는 광을 방출한다. 시준 렌즈(324)는 광원(322)에 의해 방출된 광(326)을 제2 광 성형 컴포넌트인 굴절 광학 엘리먼트(328)를 향해 포커싱하도록 구성될 수 있다. 굴절 광학 엘리먼트(328)는 포커싱된 광(326)을 각도 -θ만큼 기울이고 광을 수직으로 길게 연장시켜 제3 광 성형 컴포넌트인 회절 광학 엘리먼트(332)로 지향되는 수퍼-가우시안 빔(330)을 생성한다. 일부 실시예들에서, 슈퍼-가우시안 빔(310)의 방향과 반대 방향으로 수퍼 가우시안 빔(330)을 배향시키는 것은 광원들 사이의 크로스토크의 위험을 감소시킬 수 있다. 그 후, 회절 광학 엘리먼트(332)는 수퍼-가우시안 빔(330)을 증식시킨다(multiply). 수퍼-가우시안 빔(330)이 예시 목적들로 5번 증식되는 것으로 도시되지만, 이 수는 변동될 수 있다. 예컨대, 일부 실시예들에서, 회절 광학 엘리먼트(312)는 수퍼-가우시안 빔을 25번 증식시키도록 구성될 수 있다. 증식된 수퍼-가우시안 빔들(330)의 수 및 두께는 연관된 이미징 센서의 수직 시야와 매칭하도록 선택될 수 있다. 수퍼-가우시안 빔들이 마이크로-렌즈 어레이(334)를 통과할 때, 마이크로-렌즈 어레이(334)는 도시된 바와 같이 구역들(318)을 조명하는 조명 패턴을 생성하도록 각각의 수퍼-가우시안 빔을 수평으로 확산시킨다. 이러한 방식으로, 광원들(322 및 302)은 구역들(316 및 318)을 협력적으로 조명할 수 있다. 구역들(316 및 318)의 조명은 상이한 패턴들로 엇갈릴 수 있다(staggered). 예컨대, 구역들(316 및 318)은 순차적으로 조명될 수 있어서, 광은 거의 동일한 양의 시간 동안 둘 모두의 구역들에서 빛난다.
[0046]
도 3c는 광원(342) 앞에 포지셔닝된 3개의 광 성형 컴포넌트로 구성되는 다른 광학기 조립체(340)를 도시한다. 일부 실시예들에서, 광원(342)은 적외선 레이저 다이오드일 수 있다. 광원(342)은 시준 렌즈(344)의 형태를 취하는 제1 광 성형 컴포넌트를 통과하는 광을 방출한다. 시준 렌즈(344)는 광학 엘리먼트(348)의 형태를 취하는 제2 광 성형 컴포넌트를 향해 이동하는, 광원(342)에 의해 방출된 광(346)을 시준하도록 구성될 수 있다. 광학 엘리먼트(348)는 광학 엘리먼트(348)의 제1 측 상의 굴절 표면(350) 및 광학 엘리먼트(348)의 제2 측 상의 회절 표면(352) 둘 모두를 포함할 수 있다. 굴절 표면들(350) 및 회절 표면들(352)은 유리 또는 폴리카보네이트 기판의 대향하는 측들 상에 성형된 중합체 재료의 형태를 취할 수 있다. 시준 광(336)이 굴절 표면(340)을 통과할 때, 광은 각도 θ만큼 기울어지고 광학 엘리먼트(348) 내에서 수퍼-가우시안 빔(354)으로 길게 연장된다. 수퍼-가우시안 빔(354)이 회절 표면(352)을 통과할 때, 수퍼-가우시안 빔(354)은 다수의 수퍼-가우시안 빔들(354)로 증식될 수 있다. 수퍼-가우시안 빔들(354)이 마이크로-렌즈 어레이(356)를 통과할 때, 마이크로-렌즈 어레이(356)는 도시된 바와 같이 구역들(316)을 조명하는 조명 패턴을 생성하도록 각각의 수퍼-가우시안 빔(354)을 수평으로 확산시킨다. 이러한 방식으로, 광원(342)은 구역들(316)을 조명한다.
[0047]
도 4a 및 도 4b는 광학기 조립체(300)와 유사하게 각각의 광원에 대한 광학기 조립체들을 통합하는, 2개의 광원들을 갖는 프로젝터 조립체(400)를 도시한다. 도 4a는 프로젝션 조립체(400)의 평면도를 도시한다. 프로젝션 조립체(400)는 광원들(402, 404)을 포함한다. 광원들(402, 404)은 둘 모두 강성 기판(406)에 장착될 수 있다. 일부 실시예들에서, 강성 기판(406)은 알루미나 세라믹으로 형성될 수 있다. 강성 기판(406)은 광원들(402 및 404)이 서로에 대해 포지션을 시프트하는 것을 방지한다. 강성 기판(406)은 또한 광학기 조립체들에 대한 광원들(402, 404)의 시프팅을 감소시키는 낮은 열팽창 계수를 가질 수 있다.
[0048]
광원(402)은 광학기 조립체(410)를 향해 광을 포커싱하는, 이중 시준 렌즈(408)의 제1 부분을 통해 광을 비춘다. 이중 시준 렌즈(408)의 제2 부분은 광원(404)에 의해 방출된 광을 광학기 조립체(412)를 향해 포커싱한다. 일부 실시예들에서, 이중 시준 렌즈(408)는 동일한 기능을 달성하는 2개의 별개의 시준 렌즈들로 대체될 수 있다. 광학기 조립체(410, 412)는 308과 유사한 굴절 광학 엘리먼트, 312와 유사한 회절 광학 엘리먼트 및 조명 패턴으로 각각의 광원으로부터의 광을 확산시키기 위한, 314와 유사한 마이크로-렌즈 어레이를 각각 포함할 수 있다. 광학기 조립체(410)는 조명 패턴들이 상보적이도록, 광원(404)에 의해 생성된 조명 패턴이 광원(402)에 의해 생성된 조명 패턴으로부터 수직으로 오프셋되게 하도록 광학기 조립체(412)와 약간 상이할 수 있다. 이는 하나의 조명 패턴으로부터의 광 바들이 다른 조명 패턴의 광 바들 사이에 포지셔닝될 수 있게 한다. 이러한 방식으로, 광원들(402 및 404)에 의해 생성된 조명 패턴들은 표면을 균일하게 커버하기 위해 협력한다. 일부 실시예들에서, 굴절 광학 엘리먼트는 광원(402)에 의해 생성된 광과 반대 방향으로 광원(404)으로부터의 광을 시프트할 수 있다.
[0049]
프로젝터 조립체(400)는 또한 PCB(416) 상에 장착되고 광원들(402 및 404)로부터의 출력을 동기화하도록 구성된 프로세서(414)를 포함할 수 있다. 예컨대, 프로세서(414)는 PCB(416)에 장착될 수 있고, 어떠한 조명 패턴도 동시에 활성이 아니도록 엇갈린 광 펄스들을 전송하도록 광원들(402 및 404)에 지시하도록 구성될 수 있다. 프로세서(414)는 또한 깊이 센서가 다른 주변 광원들로부터의 광 펄스들을 구별하는 것을 돕기 위해 광원들(404)의 변조를 지시할 수 있다. 일부 실시예들에서, 프로세서(414)는 또한 센서와 통신할 수 있고, 센서는 센서 시야 내의 객체들로부터 광 펄스들이 반사된 후에 그러한 광 펄스들을 수신하도록 구성된다.
[0050]
도 4b는 프로젝션 조립체(400)의 측면도를 도시한다. 특히, 광원(404)은 강성 기판(406)에 의해 상승되는 것으로 도시된다. 강성 기판은 PCB(416)에 의해 정의된 노치 내로 삽입될 수 있다. 강성 기판(406)은 또한 프로젝터 조립체(400)의 프로젝터 하우징(418)을 위한 베이스를 형성할 수 있다. 프로젝터 하우징(418)은 이중 시준 렌즈(408)를 지지하기 위한 선반부(420)를 정의할 수 있다.
[0051]
도 5a 및 도 5b는 폴딩된 광학기를 활용하는 다수의 광원 프로젝터 조립체(500)의 도면들을 도시한다. 도 5a는 프로젝터 조립체(500)가, 시준 렌즈(408)의 폴딩된 광학기(502)로부터 방출된 광을 수신하는 2개의 별개의 광학기들의 세트들인 광학기 조립체들(410 및 412)을 어떻게 포함하는지를 도시한다. 폴딩된 광학기(502)는 광 경로(504)를 측방향으로 시프팅함으로써 광원들(402 및 404)이 시준 렌즈(408)에 더 근접하게 포지셔닝될 수 있게 하고, 그리하여 프로젝터 조립체(500)의 높이의 전반적인 감소를 허용한다.
[0052]
도 5b는, 광 경로(504)를 측방향으로 시프트함으로써 프로젝터 조립체(500)의 높이가 감소될 수 있고, 그리하여 프로젝터 조립체(500)가 어떻게 더 작은 폼-팩터 디바이스 내에 패키징될 수 있게 하는지를 도시한다. 특히, 측방향으로 시프트된 광 경로(504)는 광 경로의 길이가 수평 및 수직 세그먼트들로 분할될 수 있게 한다. 수평 세그먼트 내의 광 경로의 부분이 프로젝터 조립체(500)의 전체 높이 내에 통합될 필요가 없기 때문에, 프로젝터 조립체(500)의 전체 높이는 감소된다. 폴딩된 광학기(502)를 통한 광 경로의 방향은, 광을 수평 배향으로부터 수직 배향으로 재배향시키는 광학적 반사 표면(506)에 의해 재지향된다. 일부 실시예들에서, 광학적 반사 표면(506)은 미러링될 수 있다.
[0053]
도 5c는 프로젝터 조립체(500) 보다 짧은 전체 높이를 가질 수 있는 프로젝터 조립체(510)를 도시한다. 시준 렌즈(408)가 폴딩된 광학기(502) 및 원통형 렌즈 표면(508) 둘 모두를 포함할 수 있다. 원통형 렌즈 표면(508)은 시준 렌즈(408)에 진입하는 광의 폭을 좁힘으로써, 광원(404)에 의해 방출된 광을 부분적으로 시준할 수 있다. 폴딩된 광학기(502)는 광원(404)에 의해 방출된 광의 좁혀진 빔 폭으로 인해 수직으로 더 짧을 수 있다. 그 후, 광은 시준 렌즈(408)를 빠져나갈 때 완전히 시준된다. 이러한 방식으로, 시준 렌즈(408)의 높이가 감소될 수 있다.
[0054]
도 6a 및 도 6b는 단일 광원(602)을 사용하는 프로젝션 조립체(600)의 측면도들을 도시한다. 도 6a는 비활성 구성의 프로젝션 조립체(600)를 도시한다. 프로젝션 조립체(600)는 단일 광원(602)만을 포함하기 때문에, 2개의 상이한 조명 패턴들을 생성하기 위해서, 프로젝션 조립체(600)는 2개의 상보적 조명 패턴들을 생성하도록 구성된 선형 작동 광학기(606)를 포함한다. 광학기(606)는, 링키지(610)를 회전시킴으로써 둘 이상의 포지션들(2개의 포지션들이 도 6b에 도시됨) 사이에서 광학기(606)를 작동시키는 압전기 모터(608)에 의해 선형으로 작동될 수 있다. 압전기 모터(608)는 광원(602)이 상보적 조명 패턴들(612 및 614)을 순차적으로 프로젝팅할 수 있게 하는 레이트로 광학기(606)를 앞뒤로 오실레이팅하도록 구성될 수 있다. 광원(602)은, 광학기(606)가 상보적 조명 패턴들 중 하나에 대응하는 포지션에 있을 때에만 광원(602)이 광을 방출하도록 광학기(606)의 오실레이션 레이트와 동기화될 수 있다. 단 2개의 조명 패턴들만이 도시되지만, 압전기 모터(608)는 또한 3개 이상의 상이한 조명 패턴들을 정의하도록 구성될 수 있다는 것이 주의되어야 한다.
[0055]
도 7은 위에서 설명된 깊이 검출 시스템의 상이한 컴포넌트들 사이의 상호작용을 도시하는 도면이다. 흐름도의 최상부는 상호작용의 시작을 나타내고 흐름도 아래로 이동하면서 진행된다. 깊이 검출 시스템의 프로젝터는 교번적인 제1 및 제2 조명 패턴들을 전송한다. 깊이 검출 시스템의 센서 시야 내의 객체들은 제1 및 제2 조명 패턴들의 부분들을 깊이 검출 시스템의 센서 내로 역으로 반사한다. 프로젝터로부터 객체로 그리고 역으로 직접 이동하는 광(직접 광)은, 센서로 리턴하기 전에 다른 표면으로부터 바운싱되는 광(간접 광)이 센서에 되돌아오기 전에 센서에 되돌아올 것이다. 결과적으로, 비행 시간 깊이 검출 시스템은 간접 광이 고려될 때 센서로부터의 객체의 거리를 올바르지 않게 증가시킨다. 그 후, 센서는 제1 및 제2 조명 패턴들로부터 수신된 광을 프로세서에 전송한다. 그 후, 프로세서는 수신된 전체 광으로부터 간접 광을 필터링하도록 구성될 수 있어서, 센서와 센서 시야 내의 객체들 사이의 거리를 결정할 때 프로젝트로부터 객체로 그리고 센서로 역으로 직접 이동하는 광만이 고려되게 된다. 그 후, 프로세서는 센서 시야 내의 객체들을 깊이 검출 센서와 연관된 디스플레이의 적절한 깊이 평면들에 할당할 수 있다. 마지막으로, 프로세서는 센서 시야 내의 다양한 객체들에 대응하는 깊이 평면들에 이미저리를 전송할 수 있다.
[0056]
설명된 실시예들의 다양한 양상들, 실시예들, 구현들 또는 특징들은 개별적으로 또는 임의의 조합으로 사용될 수 있다. 설명된 실시예들의 다양한 양상들은 소프트웨어, 하드웨어 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다. 설명된 실시예들은 또한 제조 동작들을 제어하기 위해 컴퓨터 판독 가능 매체 상의 컴퓨터 판독 가능 코드로서 또는 제조 라인을 제어하기 위해 컴퓨터 판독 가능 매체 상의 컴퓨터 판독 가능 코드로서 구체화될 수 있다. 컴퓨터 판독 가능 매체는 데이터를 저장할 수 있는 임의의 데이터 저장 디바이스이며, 이는 이후에 컴퓨터 시스템에 의해 판독될 수 있다. 컴퓨터 판독 가능 매체의 예들은 판독-전용 메모리, 랜덤-액세스 메모리, CD-ROM들, HDD들, DVD들, 자기 테이프 및 광학 데이터 저장 디바이스들을 포함한다. 컴퓨터 판독 가능 매체는 또한 네트워크-커플링된 컴퓨터 시스템들에 걸쳐 분배될 수 있어서, 컴퓨터 판독 가능 코드는 분배된 방식으로 저장 및 실행될 수 있다.
[0057]
위의 설명은 설명 목적들을 위해, 설명된 실시예들의 완전한 이해를 제공하기 위해 특정 명칭을 사용하였다. 그러나, 설명된 실시예들을 실시하기 위해 특정한 세부사항들이 요구되는 것은 아니라는 것이 당업자에게 명백할 것이다. 따라서, 특정 실시예들의 위의 설명은 예시 및 설명의 목적들로 제시된다. 이들은 설명된 실시예들을 개시된 그 형태들로 제한하거나 총망라하려는 것은 아니다. 위의 교시들의 관점에서 다수의 수정들 및 변형들이 가능하다는 것이 당업자에게 명백할 것이다.
Claims (20)
- 깊이 검출 시스템으로서,
프로젝션 시스템 ― 상기 프로젝션 시스템은,
강성 기판을 갖는 프로젝터 하우징,
제1 복수의 광 성형 컴포넌트들을 통해 광을 방출하도록 구성된 제1 광원 ― 상기 제1 광원은 상기 강성 기판에 장착됨 ― , 및
제2 복수의 광 성형 컴포넌트들을 통해 광을 방출하도록 구성된 제2 광원을 포함하고, 상기 제2 광원은 상기 제1 광원에 인접하게 상기 강성 기판에 장착됨 ― ;
상기 프로젝션 시스템에 근접하고, 이미징 센서의 시야 내의 객체들로부터 반사된 후에 상기 제1 광원 및 상기 제2 광원에 의해 방출된 광을 수신하도록 구성된 상기 이미징 센서; 및
상기 제1 광원 및 상기 제2 광원에 의해 방출된 광이 상기 센서 시야 내의 객체들로부터 반사되고 상기 이미징 센서로 리턴하는 데 걸리는 시간의 양을 측정함으로써 상기 깊이 검출 시스템과 상기 센서 시야 내의 객체들 사이의 거리를 계산하도록 구성되는 프로세서를 포함하는,
깊이 검출 시스템. - 제1 항에 있어서,
상기 제1 광원 및 상기 제2 광원은 적외선 레이저 다이오드들인,
깊이 검출 시스템. - 제1 항에 있어서,
상기 이미징 센서는 글로벌 셔터를 갖는,
깊이 검출 시스템. - 제1 항에 있어서,
상기 제1 광원 및 상기 제2 광원은 비-중첩 패턴들로 펄스들을 방출하도록 구성되는,
깊이 검출 시스템. - 제1 항에 있어서,
상기 제1 복수의 광 성형 컴포넌트들은 회절 광학 엘리먼트 및 마이크로-렌즈 어레이를 포함하는,
깊이 검출 시스템. - 제5 항에 있어서,
상기 제1 복수의 광 성형 컴포넌트들은 상기 제1 광원에 의해 방출된 광을, 상기 이미징 센서의 시야에 걸쳐 분포된 제1 복수의 평행 광 바(light bar)들로 성형하는,
깊이 검출 시스템. - 제6 항에 있어서,
상기 제2 복수의 광 성형 컴포넌트들은 상기 제2 광원에 의해 방출된 광을, 상기 제1 복수의 평행 광 바들 사이의 갭들을 커버하는 제2 복수의 평행 광 바들로 성형하는,
깊이 검출 시스템. - 제1 항에 있어서,
상기 제1 복수의 광 성형 컴포넌트들은 폴딩된 광학기들을 갖는 시준 렌즈를 포함하는,
깊이 검출 시스템. - 제8 항에 있어서,
상기 제2 복수의 광 성형 컴포넌트들은 폴딩된 광학기들을 갖는 상기 시준 렌즈를 포함하는,
깊이 검출 시스템. - 제9 항에 있어서,
상기 제1 광원 및 상기 제2 광원에 의해 프로젝팅된 광은 상기 시준 렌즈의 반사 표면에 의해 약 90도만큼 재배향되는,
깊이 검출 시스템. - 제1 항에 있어서,
상기 거리를 계산하는 것은 또한, 상기 이미징 센서의 시야 외부의 표면들로부터 반사된 광과 연관된 센서 판독값들을 필터링하는 것을 포함하는,
깊이 검출 시스템. - 깊이 검출 시스템으로서,
복수의 광 성형 컴포넌트들 ― 상기 복수의 광 성형 컴포넌트들은,
시준 광학 엘리먼트,
굴절 광학 엘리먼트,
회절 광학 엘리먼트, 및
마이크로-렌즈 어레이를 포함함 ― ;
상기 복수의 광 성형 컴포넌트들을 통해 광을 방출하도록 구성된 광원;
상기 광원에 의해 방출되고 이미징 센서의 시야 내의 객체들로부터 반사된 광을 검출하도록 구성된 상기 이미징 센서; 및
상기 이미징 센서의 시야 외부의 표면들로부터 반사된 광과 연관된 센서 판독값들을 필터링함으로써 상기 깊이 검출 시스템과 상기 객체들 사이의 거리를 결정하도록 구성된 프로세서를 포함하는,
깊이 검출 시스템. - 제12 항에 있어서,
상기 복수의 광 성형 컴포넌트들은, 상기 회절 광학 엘리먼트에 대해 측방향으로 시프트하도록 구성된 선형 작동 광학기(linearly actuated optic)를 더 포함하는,
깊이 검출 시스템. - 제12 항에 있어서,
상기 광원은 제1 광원이고,
상기 깊이 검출 시스템은,
인쇄 회로 보드; 및
제2 광원을 더 포함하고,
상기 제1 광원 및 상기 제2 광원은 상기 인쇄 회로 보드에 전기적으로 그리고 기계적으로 커플링되는,
깊이 검출 시스템. - 제14 항에 있어서,
상기 복수의 광 성형 컴포넌트들은 제1 복수의 광 성형 컴포넌트들이고, 상기 깊이 검출 시스템은, 상기 제2 광원이 광을 방출하게 하도록 구성되는 제2 복수의 광 성형 컴포넌트들을 더 포함하는,
깊이 검출 시스템. - 제12 항에 있어서,
상기 시준 광학 엘리먼트는 상기 광원에 의해 방출된 광의 방향을 변경하도록 구성된 반사 표면을 갖는 폴딩된 광학기들을 포함하는,
깊이 검출 시스템. - 깊이 검출 시스템으로서,
프로젝션 시스템 ― 상기 프로젝션 시스템은,
강성 기판을 갖는 프로젝터 하우징,
제1 복수의 광 성형 컴포넌트들을 통해 광을 방출하고 제1 조명 패턴을 생성하도록 구성된 제1 광원 ― 상기 제1 광원은 상기 강성 기판에 장착됨 ― , 및
제2 복수의 광 성형 컴포넌트들을 통해 광을 방출하고 상기 제1 조명 패턴에 대해 상보적인 제2 조명 패턴을 생성하도록 구성된 제2 광원을 포함하고, 상기 제2 광원은 상기 제1 광원에 인접하게 상기 강성 기판에 장착됨 ― ;
상기 프로젝션 시스템에 근접하고, 이미징 센서의 시야 내의 객체들로부터 반사된 후에 상기 제1 광원 및 상기 제2 광원에 의해 방출된 광을 수신하도록 구성된 상기 이미징 센서; 및
상기 제1 광원 및 상기 제2 광원에 의해 방출된 광이 상기 센서 시야 내의 객체들로부터 반사되고 상기 이미징 센서로 리턴하는 데 걸리는 시간의 양을 측정함으로써 그리고 상기 이미징 센서의 시야 외부의 표면들로부터 반사된 광과 연관된 센서 판독값들을 필터링함으로써 상기 깊이 검출 시스템과 상기 센서 시야 내의 객체들 사이의 거리를 계산하도록 구성되는 프로세서를 포함하는,
깊이 검출 시스템. - 제17 항에 있어서,
상기 프로세서는 상기 제2 조명 패턴에 대응하는, 상기 이미징 센서의 시야 내의 영역들로부터 반사되는, 상기 제1 광원에 의해 방출된 광을 식별함으로써 상기 이미징 센서의 시야 외부의 표면들로부터 반사된 광과 연관된 센서 판독값들을 필터링하는,
깊이 검출 시스템. - 제17 항에 있어서,
상기 제1 조명 패턴 및 상기 제2 조명 패턴은 일련의 평행 바들을 포함하는,
깊이 검출 시스템. - 제17 항에 있어서,
상기 제1 복수의 광 성형 컴포넌트들은, 시준 광학 엘리먼트, 굴절 광학 엘리먼트, 회절 광학 엘리먼트 및 마이크로-렌즈 어레이를 포함하는,
깊이 검출 시스템.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662402871P | 2016-09-30 | 2016-09-30 | |
| US62/402,871 | 2016-09-30 | ||
| PCT/US2017/054385 WO2018064520A1 (en) | 2016-09-30 | 2017-09-29 | Projector with spatial light modulation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190055230A true KR20190055230A (ko) | 2019-05-22 |
| KR102455389B1 KR102455389B1 (ko) | 2022-10-14 |
Family
ID=61756967
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197012447A KR102455389B1 (ko) | 2016-09-30 | 2017-09-29 | 공간적 광 변조를 갖는 프로젝터 |
Country Status (9)
| Country | Link |
|---|---|
| US (3) | US10859676B2 (ko) |
| EP (1) | EP3519850A4 (ko) |
| JP (2) | JP6999658B2 (ko) |
| KR (1) | KR102455389B1 (ko) |
| CN (1) | CN109791201B (ko) |
| AU (1) | AU2017336066B2 (ko) |
| CA (1) | CA3037058C (ko) |
| IL (1) | IL265660B2 (ko) |
| WO (1) | WO2018064520A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11635492B2 (en) | 2016-09-30 | 2023-04-25 | Magic Leap, Inc. | Projector with spatial light modulation |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11592530B2 (en) | 2017-11-30 | 2023-02-28 | Cepton Technologies, Inc. | Detector designs for improved resolution in lidar systems |
| US11592527B2 (en) | 2018-02-16 | 2023-02-28 | Cepton Technologies, Inc. | Systems for incorporating LiDAR sensors in a headlamp module of a vehicle |
| US10705189B2 (en) * | 2018-09-30 | 2020-07-07 | Suteng Innovation Technology Co., Ltd. | Multi-beam LiDAR systems with two types of laser emitter boards and methods for detection using the same |
| US20200136340A1 (en) * | 2018-10-26 | 2020-04-30 | The Charles Stark Draper Laboratory, Inc. | Beam Scanning Methods for Improved Eye Safety in LiDAR Systems |
| US11698441B2 (en) * | 2019-03-22 | 2023-07-11 | Viavi Solutions Inc. | Time of flight-based three-dimensional sensing system |
| WO2020218282A1 (ja) * | 2019-04-22 | 2020-10-29 | 株式会社小糸製作所 | イメージング装置、車両用灯具、自動車、イメージング方法 |
| CN110261872A (zh) * | 2019-06-24 | 2019-09-20 | 业成科技（成都）有限公司 | 激光侦测装置 |
| WO2021030034A1 (en) | 2019-08-15 | 2021-02-18 | Apple Inc. | Depth mapping using spatial multiplexing of illumination phase |
| EP3798679B1 (en) * | 2019-09-30 | 2023-06-21 | STMicroelectronics (Research & Development) Limited | Laser safety verification |
| EP3835720B1 (en) | 2019-12-10 | 2023-08-09 | Melexis Technologies NV | Method for multipath error compensation and multipath error-compensated indirect time of flight range calculation apparatus |
| US11580654B2 (en) * | 2019-12-30 | 2023-02-14 | Qualcomm Incorporated | Alternating light distributions for active depth sensing |
| US20210215798A1 (en) * | 2020-01-10 | 2021-07-15 | Continental Automotive Systems, Inc. | Lidar system |
| US11763472B1 (en) | 2020-04-02 | 2023-09-19 | Apple Inc. | Depth mapping with MPI mitigation using reference illumination pattern |
| WO2021196192A1 (zh) * | 2020-04-03 | 2021-10-07 | 深圳市速腾聚创科技有限公司 | 激光收发系统、激光雷达及自动驾驶设备 |
| DE102020110052A1 (de) | 2020-04-09 | 2021-10-14 | Hybrid Lidar Systems Ag | Vorrichtung zur erfassung von bilddaten |
| US11558569B2 (en) | 2020-06-11 | 2023-01-17 | Apple Inc. | Global-shutter image sensor with time-of-flight sensing capability |
| US11681048B2 (en) * | 2020-07-31 | 2023-06-20 | Uatc, Llc | Multi-channel light detection and ranging (LIDAR) unit having a telecentric lens assembly and single circuit board for emitters and detectors |
| GB2597930B (en) * | 2020-08-05 | 2024-02-14 | Envisics Ltd | Light detection and ranging |
| WO2022201848A1 (ja) * | 2021-03-22 | 2022-09-29 | ソニーグループ株式会社 | 情報処理装置、情報処理方法およびプログラム |
| US20230095000A1 (en) * | 2021-09-24 | 2023-03-30 | Apple Inc. | Adaptive-Flash Photography, Videography, and/or Flashlight Using Camera, Scene, or User Input Parameters |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001133231A (ja) * | 1999-11-02 | 2001-05-18 | Olympus Optical Co Ltd | ３次元画像取得生成装置 |
| JP2006284573A (ja) * | 2005-04-01 | 2006-10-19 | Baumer Electric Ag | 散乱光によるエラーを抑制するための方法及び光学センサー |
| US8836922B1 (en) * | 2013-08-20 | 2014-09-16 | Google Inc. | Devices and methods for a rotating LIDAR platform with a shared transmit/receive path |
| JP2015514965A (ja) * | 2012-02-15 | 2015-05-21 | アップル インコーポレイテッド | 走査深度エンジン |
| US20150253429A1 (en) * | 2014-03-06 | 2015-09-10 | University Of Waikato | Time of flight camera system which resolves direct and multi-path radiation components |
| US20150373322A1 (en) * | 2014-06-20 | 2015-12-24 | Qualcomm Incorporated | Automatic multiple depth cameras synchronization using time sharing |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2761180B2 (ja) * | 1993-06-30 | 1998-06-04 | 株式会社リコー | 微小変位測定装置及び光ピックアップ装置 |
| US6763133B1 (en) * | 1999-05-29 | 2004-07-13 | Sun Moon University | Moire image capturing apparatus and method therefor |
| US20020163573A1 (en) * | 2001-04-11 | 2002-11-07 | Bieman Leonard H. | Imaging system |
| TW520148U (en) | 2002-06-14 | 2003-02-01 | Yeou Chih Corp | Device for improving heat dissipation and noise of computer power supply |
| JP3939224B2 (ja) * | 2002-08-30 | 2007-07-04 | 住友大阪セメント株式会社 | 領域監視装置 |
| US7544945B2 (en) * | 2006-02-06 | 2009-06-09 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Vertical cavity surface emitting laser (VCSEL) array laser scanner |
| WO2010006081A1 (en) * | 2008-07-08 | 2010-01-14 | Chiaro Technologies, Inc. | Multiple channel locating |
| US8723923B2 (en) * | 2010-01-14 | 2014-05-13 | Alces Technology | Structured light system |
| US20110187878A1 (en) * | 2010-02-02 | 2011-08-04 | Primesense Ltd. | Synchronization of projected illumination with rolling shutter of image sensor |
| US20130016203A1 (en) * | 2011-07-13 | 2013-01-17 | Saylor Stephen D | Biometric imaging devices and associated methods |
| US9297889B2 (en) * | 2012-08-14 | 2016-03-29 | Microsoft Technology Licensing, Llc | Illumination light projection for a depth camera |
| US9729860B2 (en) * | 2013-05-24 | 2017-08-08 | Microsoft Technology Licensing, Llc | Indirect reflection suppression in depth imaging |
| KR101827180B1 (ko) * | 2013-06-19 | 2018-02-07 | 애플 인크. | 통합 구조화된 광 프로젝터 |
| US9443310B2 (en) * | 2013-10-09 | 2016-09-13 | Microsoft Technology Licensing, Llc | Illumination modules that emit structured light |
| US10091494B2 (en) * | 2013-10-23 | 2018-10-02 | Facebook, Inc. | Three dimensional depth mapping using dynamic structured light |
| US9696424B2 (en) * | 2014-05-19 | 2017-07-04 | Rockwell Automation Technologies, Inc. | Optical area monitoring with spot matrix illumination |
| US9897698B2 (en) | 2015-02-23 | 2018-02-20 | Mitsubishi Electric Research Laboratories, Inc. | Intensity-based depth sensing system and method |
| US10408922B2 (en) * | 2015-07-10 | 2019-09-10 | Ams Sensors Singapore Pte. Ltd. | Optoelectronic module with low- and high-power illumination modes |
| TWM520148U (zh) * | 2015-08-21 | 2016-04-11 | 高準精密工業股份有限公司 | 結構光產生模組總成 |
| KR102597579B1 (ko) * | 2015-10-21 | 2023-11-01 | 프린스톤 옵트로닉스, 인크. | 코딩된 패턴 투영기 |
| WO2017131585A1 (en) * | 2016-01-26 | 2017-08-03 | Heptagon Micro Optics Pte. Ltd. | Multi-mode illumination module and related method |
| JP6999658B2 (ja) | 2016-09-30 | 2022-01-18 | マジック リープ， インコーポレイテッド | 空間光変調を伴うプロジェクタ |
| DE102017205623A1 (de) * | 2017-04-03 | 2018-10-04 | Robert Bosch Gmbh | LIDAR-Vorrichtung und Verfahrens zum Abtasten eines Abtastwinkels |
-
2017
- 2017-09-29 JP JP2019516929A patent/JP6999658B2/ja active Active
- 2017-09-29 AU AU2017336066A patent/AU2017336066B2/en active Active
- 2017-09-29 CN CN201780060530.7A patent/CN109791201B/zh active Active
- 2017-09-29 KR KR1020197012447A patent/KR102455389B1/ko active IP Right Grant
- 2017-09-29 EP EP17857523.9A patent/EP3519850A4/en active Pending
- 2017-09-29 WO PCT/US2017/054385 patent/WO2018064520A1/en unknown
- 2017-09-29 US US15/721,232 patent/US10859676B2/en active Active
- 2017-09-29 CA CA3037058A patent/CA3037058C/en active Active
-
2019
- 2019-03-27 IL IL265660A patent/IL265660B2/en unknown
-
2020
- 2020-11-03 US US17/088,495 patent/US11635492B2/en active Active
-
2021
- 2021-12-22 JP JP2021208192A patent/JP2022031977A/ja active Pending
-
2023
- 2023-03-13 US US18/120,903 patent/US20230213620A1/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001133231A (ja) * | 1999-11-02 | 2001-05-18 | Olympus Optical Co Ltd | ３次元画像取得生成装置 |
| JP2006284573A (ja) * | 2005-04-01 | 2006-10-19 | Baumer Electric Ag | 散乱光によるエラーを抑制するための方法及び光学センサー |
| JP2015514965A (ja) * | 2012-02-15 | 2015-05-21 | アップル インコーポレイテッド | 走査深度エンジン |
| US8836922B1 (en) * | 2013-08-20 | 2014-09-16 | Google Inc. | Devices and methods for a rotating LIDAR platform with a shared transmit/receive path |
| US20150253429A1 (en) * | 2014-03-06 | 2015-09-10 | University Of Waikato | Time of flight camera system which resolves direct and multi-path radiation components |
| US20150373322A1 (en) * | 2014-06-20 | 2015-12-24 | Qualcomm Incorporated | Automatic multiple depth cameras synchronization using time sharing |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11635492B2 (en) | 2016-09-30 | 2023-04-25 | Magic Leap, Inc. | Projector with spatial light modulation |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109791201A (zh) | 2019-05-21 |
| AU2017336066A1 (en) | 2019-04-11 |
| EP3519850A1 (en) | 2019-08-07 |
| CA3037058A1 (en) | 2018-04-05 |
| KR102455389B1 (ko) | 2022-10-14 |
| JP6999658B2 (ja) | 2022-01-18 |
| US20210116546A1 (en) | 2021-04-22 |
| US10859676B2 (en) | 2020-12-08 |
| JP2019529924A (ja) | 2019-10-17 |
| CN109791201B (zh) | 2023-04-04 |
| WO2018064520A1 (en) | 2018-04-05 |
| US20180095165A1 (en) | 2018-04-05 |
| US11635492B2 (en) | 2023-04-25 |
| IL265660B1 (en) | 2023-03-01 |
| IL265660B2 (en) | 2023-07-01 |
| CA3037058C (en) | 2024-04-02 |
| JP2022031977A (ja) | 2022-02-22 |
| AU2017336066B2 (en) | 2022-04-14 |
| EP3519850A4 (en) | 2019-10-16 |
| IL265660A (en) | 2019-05-30 |
| US20230213620A1 (en) | 2023-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102455389B1 (ko) | 공간적 광 변조를 갖는 프로젝터 | |
| CN109521435B (zh) | 距离计测装置 | |
| US20200142070A1 (en) | Multiple Pixel Scanning LIDAR | |
| EP2989588B1 (en) | Scanning system | |
| US6862097B2 (en) | Three-dimensional shape measuring method, and three-dimensional shape measuring apparatus | |
| US6466305B1 (en) | High speed laser triangulation measurements of shape and thickness | |
| TW201632912A (zh) | 深度感測模組及深度感測方法 | |
| US20040246473A1 (en) | Coded-light dual-view profile scanning apparatus | |
| US9645681B2 (en) | Optical touch display system | |
| JP2020008344A (ja) | 距離測定装置 | |
| JP5715822B2 (ja) | 光学三角法、コンピュータプログラム、電子制御ユニット及び測定システム | |
| EP3287737B1 (en) | System and method for parallax-based determination of dimension related to an object | |
| US10085013B2 (en) | 3D camera module | |
| US20230206478A1 (en) | Imaging arrangement and corresponding methods and systems for depth map generation | |
| JP7421438B2 (ja) | 測量装置 | |
| CN110476080A (zh) | 用于对扫描角进行扫描并且用于分析处理探测器的激光雷达设备和方法 | |
| US11906284B2 (en) | Method and device for detecting the edge of an object | |
| US11567565B2 (en) | Sensor and use of a sensor in a 3-D position detection system | |
| KR20190092957A (ko) | 거리 측정 방법 | |
| JP2023101803A (ja) | 走査装置及び測距装置 | |
| JP2023050683A (ja) | 測量装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |