KR20190129693A - 3d 구조의 광 적용을 위한 고감도 저전력 카메라 시스템 - Google Patents

3d 구조의 광 적용을 위한 고감도 저전력 카메라 시스템 Download PDF

Info

Publication number
KR20190129693A
KR20190129693A KR1020190017432A KR20190017432A KR20190129693A KR 20190129693 A KR20190129693 A KR 20190129693A KR 1020190017432 A KR1020190017432 A KR 1020190017432A KR 20190017432 A KR20190017432 A KR 20190017432A KR 20190129693 A KR20190129693 A KR 20190129693A
Authority
KR
South Korea
Prior art keywords
sub
predetermined number
projector
scene
pattern
Prior art date
Application number
KR1020190017432A
Other languages
English (en)
Inventor
이빙 미쉘 왕
한승훈
릴롱 쉬
나병훈
일리아 오브시안니코브
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20190129693A publication Critical patent/KR20190129693A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G01S13/426—Scanning radar, e.g. 3D radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

구조화된 광 이미징 시스템은 프로젝터, 이미지 센서, 및 컨트롤러를 포함한다. 프로젝터는 구조화된 광 패턴을 하나 또는 그 이상의 객체들을 포함하는 장면의 선택된 슬라이스에 투영하되, 장면의 상기 선택된 슬라이스는 제 1 방향으로의 제 1 미리 정해진 크기 및 제 1 방향에 수직인 제 2 방향으로의 제 2 미리 정해진 크기를 갖는다. 이미지 센서는 장면의 상기 선택된 슬라이스를 스캔 하고 선택된 슬라이스의 영역에 대응하는 출력을 생성하며, 이미지 센서 및 프로젝터는 등극선 방식으로 동기화 된다. 컨트롤러는 객체가 스캔 된 영역 내에 위치하는지 여부를 탐지하고 그리고 객체가 스캔 된 영역에서 탐지된 경우 상기 프로젝터를 제어하여 구조화된 광 패턴을 장면의 선택된 슬라이스의 다른 영역들을 향하여 스캔 된 영역으로부터 떨어져 제 1 복수 회 투영하는 이미지 센서에 연결된다.

Description

3D 구조의 광 적용을 위한 고감도 저전력 카메라 시스템{HIGH-SENSITIVITY LOW-POWER CAMERA SYSTEM FOR 3D STRUCTURED LIGHT APPLICATION}
본 명세서에서 개시되는 주제는 구조화된 광 시스템을 위한 시스템 및 방법에 관한 것으로, 좀 더 상세하게는, 고감도를 갖는 저전력의 구조화된 광 시스템을 위한 시스템 및 방법에 관한 것이다.
고-주변광 조건들 하에서, 3차원(3D)의 구조화된 광 카메라(structured light camera)는 더 멀리 떨어진 객체들을 탐지할 수 있으면서 대략 4미터 이내의 객체들을 탐지하기 위한 높은 동적 범위(dynamic range)를 필요로 한다. 고-주변광 조건들은 원거리(longer-range)의 객체들에 대하여 신호 대 잡음 비(signal-to-noise ratio; SNR)를 상당히 줄이면서 근거리(short-range)의 객체들에 대하여 카메라의 센서의 픽셀들을 포화시킬 수 있다.
본 발명의 기술 사상은 고감도를 갖는 저전력의 구조화된 광 시스템을 위한 시스템 및 방법을 제공한다.
본 개시의 예시적인 실시 예에 따른 구조화된 광 이미징 시스템은, 구조화된 광 패턴을 하나 또는 그 이상의 객체들을 포함하는 장면의 선택된 슬라이스에 투영하되, 상기 장면의 상기 선택된 슬라이스는 제 1 방향으로의 제 1 미리 정해진 크기 및 상기 제 1 방향에 수직인 제 2 방향으로의 제 2 미리 정해진 크기를 갖는 프로젝터, 상기 장면의 상기 선택된 슬라이스를 스캔 하고 상기 선택된 슬라이스의 영역에 대응하는 출력을 생성하는 이미지 센서, 그리고 객체가 상기 스캔 된 영역 내에 위치하는지 여부를 탐지하고 그리고 상기 객체가 상기 스캔 된 영역에서 탐지된 경우 상기 프로젝터를 제어하여 상기 구조화된 광 패턴을 상기 장면의 상기 선택된 슬라이스의 다른 영역들을 향하여 상기 스캔 된 영역으로부터 떨어져 제 1 복수 회 투영하는 상기 이미지 센서에 연결된 컨트롤러를 포함하되, 상기 이미지 센서 및 상기 프로젝터는 등극선 방식으로 동기화된다.
본 개시의 다른 예시적인 실시 예에 따른 구조화된 광 이미징 시스템은, 구조화된 광 패턴을 하나 또는 그 이상의 객체들을 포함하는 장면의 선택된 슬라이스에 투영하되, 상기 장면의 상기 선택된 슬라이스는 제 1 방향으로의 제 1 미리 정해진 크기 및 상기 제 1 방향에 수직인 제 2 방향으로의 제 2 미리 정해진 크기를 갖고, 상기 제 1 방향으로의 상기 선택된 슬라이스의 상기 제 1 미리 정해진 크기는, 상기 제 2 방향으로의 상기 선택된 슬라이스의 상기 제 2 미리 정해진 크기보다 큰 프로젝터, 상기 장면의 상기 선택된 슬라이스를 스캔 하고 상기 선택된 슬라이스의 영역에 대응하는 출력을 생성하는 이미지 센서, 그리고 상기 이미지 센서에 연결되고, 객체가 상기 스캔 된 영역 내에 위치하는지 여부를 탐지하고, 그리고 상기 객체가 상기 스캔 된 영역에서 탐지된 경우 상기 프로젝터를 제어하여 상기 구조화된 광 패턴을 상기 장면의 상기 선택된 슬라이스의 다른 영역들을 향하여 상기 스캔 된 영역으로부터 떨어져 제 1 복수 회 투영하는 컨트롤러를 포함하되, 상기 이미지 센서 및 상기 프로젝터는 등극선 방식으로 동기화된다.
본 개시의 또 다른 예시적인 실시 예에 따른 장면을 스캔 하는 구조화된 광 이미징 시스템의 동작 방법은, 프로젝터를 이용하여 구조화된 광 패턴을 하나 또는 그 이상의 객체들을 포함하는 장면의 선택된 슬라이스에 투영하되, 상기 장면의 상기 선택된 슬라이스는 제 1 방향으로의 제 1 미리 정해진 크기 및 상기 제 1 방향에 수직인 제 2 방향으로의 제 2 미리 정해진 크기를 갖는 단계, 이미지 센서를 이용하여 상기 장면의 상기 선택된 슬라이스를 스캔 하는 단계, 상기 선택된 슬라이스의 영역에 대응하는 출력을 생성하는 단계, 객체가 상기 스캔 된 영역 내에 위치하는지 여부를 탐지하는 단계, 그리고 상기 객체가 상기 스캔 된 영역에서 탐지된 경우, 컨트롤러를 이용하여 상기 프로젝터를 제어하여 상기 구조화된 광 패턴을 상기 장면의 상기 선택된 슬라이스의 다른 영역들을 향하여 상기 스캔 된 영역으로부터 떨어져 제 1 복수 회 투영하는 단계를 포함하되, 상기 이미지 센서 및 상기 프로젝터는 등극선 방식으로 동기화 된다.
본 발명에 의하면, 고감도를 갖는 저전력의 구조화된 광 시스템을 위한 시스템 및 방법을 제공할 수 있다.
도 1은 본 명세서에서 개시된 주제에 따른 구조화된 광 이미징 시스템의 예시적인 실시 예의 블록도를 도시한다.
도 2a는 기준 광 패턴의 예시적인 실시 예를 도시한다.
도 2b는 기본 광 패턴의 예시적인 실시 예를 도시한다.
도 3은 본 개시의 일 실시 예에 따라 등극선 스캔 또는 포인트 스캔이 3D-깊이 측정을 위해 수행되는 방법의 예시를 도시한다.
도 4a는, 등극선 이미징 기법을 사용하지 않는 카메라에 의해 이미징 된, 빛을 반사하는 디스코 볼의 장면이다.
도 4b는, 등극선 이미징 기법을 사용하여 이미징 된, 빛을 반사하는 디스코 볼의 동일한 장면이다.
도 5는 본 명세서에서 개시되는 주제에 따라 슬라이스-바이-슬라이스 방식으로 장면에 투영되는 슬라이스들로 분할된 예시적인 기준 광 패턴을 도시한다.
도 6은 본 명세서에서 개시된 주제에 따라 슬라이스-바이-슬라이스 방식으로 장면을 선택적으로 투영/스캔하기 위한 구조화된 광 카메라를 사용하는 방법의 예시적인 순서도를 도시한다.
도 7a는 본 명세서에서 개시된 주제에 따른 카메라의 센서를 위해 사용되는 예시적인 스택드 아키텍처를 도시한다.
도 7b는 본 명세서에서 개시된 주제에 따른 픽셀 어레이의 픽셀들의 예시적인 실시 예들을 도시한다.
도 8은 본 명세서에서 개시된 주제에 따른 장면의 감지된 슬라이스의 출력의 예시적인 부분을 도시한다.
이하의 본문에서, 다양한 상세한 설명들은 본문의 이해를 제공하기 위하여 제시된다. 그러나 이러한 상세한 설명 없이 기재된 본 발명의 사상이 통상의 기술자에 의해 용이하게 구현될 수 있음은 잘 이해될 것이다. 다른 예에서, 잘 알려진 방법들, 절차들, 구성들, 및 회로들은 본문을 모호하게 하지 않기 위하여 설명되지 않는다.
상세한 설명에서 "하나의 실시 예" 또는 "일 실시 예"를 참조하는 것은 실시 예와 연관된 특정한 특징, 구조, 또는 특성이 본문의 적어도 하나의 실시 예에 포함될 수 있음을 의미한다. 즉, 본문의 다양한 위치에서 사용되는 "하나의 실시 예에서" 또는 "일 실시 예에서" 또는 "하나의 실시 예에 따라" 또는 유사한 의미를 갖는 다른 표현들은 동일한 실시 예를 참조하는 것을 요구하지 않는다. 더욱이, 특정한 특징들, 구조들, 또는 특성들은 적절한 방식으로 하나 또는 그 이상의 실시 예들에서 조합될 수 있다. 또는, 본문에서 언급된 내용에 따라, 단수 용어는 복수의 형태를 포함하고, 복수 용어는 단수 형태를 포함할 수 있다. 구성 도면들을 포함하는 다양한 도면들은 오직 설명의 목적을 위하여 본문에서 언급되고, 도시되며, 정량화되지 않는다. 유사하게, 다양한 파형들 및 타이밍도들은 단순히 설명의 목적을 위하여 도시된다. 예를 들어, 일부 요소들의 치수들은 명확성을 위해 다른 요소들에 비해 과장될 수 있다. 또한, 적절한 것으로 고려되는 경우, 참조 번호들은 대응하는 요소들 및/또는 유사한 요소들을 나타내기 위해 도면들에서 반복된다. 본문에서 사용된 용어들은 특정한 실시 예들을 기술하기 위한 목적으로만 사용되는 것이며, 본 발명의 장치와 방법으로 한정하는 의도로는 사용되지 않는다. 문맥상 명백히 다르게 지시하지 않는 한 단수 형태는 본 발명의 개념의 설명 및 부가된 청구항에 사용될 때, 복수의 형태를 포함하는 의도로 사용된 것으로 이해되어야 한다. 그리고 "포함하는" 또는 "포함하며, 한정되지 않는"의 용어가 본 명세서에 사용되는 경우, 기술된 특징, 숫자, 단계, 동작, 구성, 및/또는 부품들의 존재를 명기하는 것이며, 이들의 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성, 부품, 및/또는 그룹의 존재 또는 부가를 배제하지 않는 것으로 더 이해되어야 한다. "제 1", "제 2"와 같은 용어들은 앞서 설명된 구성에 대한 라벨로써 사용되고, 별도의 정의가 없는 한 특정한 순서(예를 들어, 공간적, 시간적, 논리적, 등)를 의도하는 것은 아니다. 더욱이, 동일한 참조 번호들은 동일하거나 또는 유사한 기능을 갖는 부분들, 구성들, 블록들, 회로들, 유닛들, 또는 모듈들을 지칭하기 위하여 둘 이상의 도면들에 걸쳐 사용될 수 있다. 그러나 이러한 사용은 단순히 설명의 간결성 및 편의를 위한 것이며, 이러한 구성들 및 유닛들의 구성 또는 구조적인 세부 사항들이 모든 실시 예들 또는 공통적으로 참조되는 부분들/모듈들에서 동일한 것으로 의도되지 않으며, 단순히, 본 발명의 특정 실시 예들을 지칭하기 위한 하나의 수단이다.
다르게 정의되지 않는 한, 본 명세서에서 사용된 모든 용어들(기술적 그리고 과학적 용어들을 포함하는)은 본 발명이 속한 기술 분야에서 통상의 기술자에 의해 일반적으로 이해되는 동일한 의미를 갖는다. 일반적으로 사용되는 사전에 정의된 이러한 용어들은 본 명세서 그리고/또는 관련 기술의 문맥에서 그들의 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의되지 않는 한 이상화되거나 지나지게 형식적인 감각으로 해석되지 않아야 한다.
본 명세서에서 개시되는 실시 예들은 중거리(mid-range)의 적용을 위해 실외에서 사용되는 구조화된 광 3D 시스템을 제공하며, 예를 들어, 스마트 폰, 드론, 및 증강 현실(altered reality)/가상 현실(virtual reality) 장치들에서의 사용을 위해 적합할 수 있다.
본 명세서에서 개시되는 일 실시 예는, 슬라이스-바이-슬라이스(slice-by-slice) 방식으로 장면을 선택적으로 투영/스캔하기 위해 제어되는 프로젝터/스캐너를 포함하는, 구조화된 광 이미징 시스템을 제공한다. 일 실시 예에서, 프로젝터/스캐너가 제어되는 선택된 순서는 랜덤한 순서일 수 있다. 프로젝터/스캐너는 상대적으로 높은 피크의 광 출력(optical power) 및 상대적으로 짧은 펄스 지속 시간(pulse duration)을 갖는 펄스들을 사용할 수 있다. 이미지 센서는 프로젝터/스캐너에 동기화되어 프로젝터의 등극선(epipolar) 평면들에 대응하는 광역 셔터 배치를 갖는 서브픽셀 어레이들을 사용하는 이미지들을 캡쳐할 수 있다. 그 결과, 깊이 에러들을 야기하는 다중 반사들을 제거할 수 있으며, 높은 SNR을 제공하면서 광 센서의 포화를 방지할 수 있다. 각 슬라이스의 스캔 반복은 슬라이스 내의 객체들의 감지된 거리 및 감지된 반사도에 기반하여 판별될 수 있다. 대안적으로, 각 등극선 평면의 스캔 반복은 등극선 평면 내의 객체들의 감지된 거리 및 감지된 반사도에 기반하여 판별될 수 있다. 투영된 광은 동일한 슬라이스 또는 평면 상의 객체가 탐지된 후 슬라이스 또는 평면의 다른 부분들을 향해 다시 방향지어질(redirect) 수 있다. 따라서, 중거리의 3D 탐지를 위해 필요한 광출력은, 일반적인 CMOS 이미지 센서(CIS)를 사용하는 일반적인 방식보다 몇 백배 적을 수 있다.
일 실시 예에서, 이미지 센서는 고-변환 이득 및 빠른 읽기를 갖는 이미지 센서일 수 있으며, 고-주변광 조건들을 극복하기 위한 등극선-평면 이미징 기법을 제공하는 광 프로젝터/스캐너와 함께 사용될 수 있다. 일반적인 CIS는 근거리 및 원거리에서 객체가 반사시킨 모든 광전자들을 탐지하기 위한 충분히 높은 변환 이득을 갖지 않을 수 있다. 큰 픽셀 피치 및 광역 셔터를 포함하는 일반적인 CIS가 3D 이미징을 위한 충분히 정교한 불일치(disparity) 해상도를 갖기에 충분히 큰 공간 해상도를 갖지 않음에 반하여, 2D 이미징을 위한 작은 픽셀 피치(pitch)를 갖는 일반적인 CIS는, 대개 모든 범위의 객체들을 탐지하기에 충분히 높은 동적 범위를 갖지 않는 풀 웰(full well)을 포함한다. 다른 실시 예에서, 본 명세서에서 개시된 시스템을 위한 이미지 센서는 매우 작은 픽셀 피치, 고감도, 낮은 풀 웰 용량(full well capacity), 및 빠른 읽기 시간을 갖는 특별한 CIS일 수 있다.
본 명세서에서 개시되는 다른 실시 예는 일반적인 기법과는 달리 적은 전력을 사용하는 깊이 맵 정보를 생성하는 방법과 관련될 수 있다. 짧은 지속 시간의 펄스들과 함께 높은 피크 광출력(optical power)을 갖는 프로젝터는 구조화된 광 패턴을 투영하는데 사용될 수 있다. 광역 셔터 및 센서의 각 서브 어레이에 대한 짧은 노출 시간을 갖는 센서는, 강한 주변광 조건들을 상당히 억제하기 위해 그리고 프로젝터에 의해 사용되는 평균 광출력을 줄이기 위해 프로젝터와의 등극선 동기(epipolar synchronism) 식으로 제어될 수 있다. 카메라에 인접한 객체들은 이미지 센서의 작은 픽셀 피치로부터 이용 가능한 더 정교한 불일치 때문에 더 깊은 해상도를 가질 수 있다. 만일 이미지 센서에 가까운 객체가 탐지되면, 투영된 광이 더 멀리 떨어진 어떤 객체들을 탐지하기 위해 장면의 다른 영역들로 다시 방향지어질 수 있다. 객체의 반사율은 객체로부터 반사된 빛에서 주변광을 뺀 것에 기반하여 판별될 수 있다.
도 1은 본 명세서에서 개시된 주제에 따른 구조화된 광 이미징 시스템(100)의 예시적인 실시 예의 블록도를 도시한다. 구조화된 광 시스템(100)은 프로젝터(101), 카메라(102), 및 컨트롤러 또는 프로세싱 장치(103)를 포함할 수 있다. 동작 시, 컨트롤러(103)는 기준 광 패턴(104)을 프로젝터(101)로 송신하고, 프로젝터(101)는 기준 광 패턴(104)을 도 1의 선(105)으로 표시된 장면에 투영할 수 있다. 카메라(102)는 투영된 기준 광 패턴(104)을 갖는 장면을 이미지(106)로서 캡쳐할 수 있다. 이미지(106)는 컨트롤러(103)로 송신될 수 있고, 컨트롤러(103)는 기준 광 패턴(104)에 대해 이미지(106)에 캡쳐된 기준 광 패턴(104)의 불일치에 기반하여 깊이 맵(107)을 생성할 수 있다. 깊이 맵(107)은 이미지(106)의 조각들에 대응하는 추정된 깊이 정보를 포함할 수 있다.
실시 예에 있어서, 컨트롤러(103)는 프로젝터(101) 및 카메라(102)를 등극선 방식으로 동기화되도록 제어할 수 있다. 게다가, 프로젝터(101) 및 카메라(102)는, 높은 피크 전력 및 짧은 지속 시간의 광 펄스들을 이용하여, 등극선 방식으로 한 라인씩, 장면(105)을 밝히는데 사용될 수 있는 메타포토닉스(metaphotonics)프로젝터/스캐너 시스템을 형성할 수 있다.
컨트롤러(103)는 소프트웨어 명령어들, 전용 집적 회로 또는 이들의 조합을 통하여 프로그램 된 마이크로 프로세서 또는 개인용 컴퓨터일 수 있다. 실시 예에 있어서, 컨트롤러(103)에 의해 제공되는 프로세싱은 소프트웨어를 통하여, GPU (graphics processing unit), 멀티코어 시스템, 또는 프로세싱 동작들을 구현할 수 있는 전용 하드웨어에 의해 가속되는 소프트웨어를 통하여 완전히 구현될 수 있다. 하드웨어 및 소프트웨어 구성들 모두 병렬성의 상이한 단계들을 제공할 수 있다. 구조화된 광 이미징 시스템(100)의 일 실시 예는 스마트 폰(smart phone), 셀룰라 폰(cell phone), 또는 디지털 카메라(digital camera)와 같은 휴대용 장치의 일부일 수 있지만, 이에 한정되지는 않는다.
실시 예에 있어서, 프로젝터(101) 및 카메라(102)는 가시광 또는 사람의 눈에 보이지 않는 적외선 스펙트럼에서 매칭될 수 있다. 투영된 기준 광 패턴은 프로젝터(101) 및 카메라(102) 모두의 스펙트럼 범위 내에 있을 수 있다. 게다가, 프로젝터(101) 및 카메라(102)의 해상도들은 상이할 수 있다. 예를 들어, 프로젝터(101)는 비디오 그래픽스 어레이(video graphics array; VGA) 해상도(예를 들어, 640×480 픽셀)로 기준 광 패턴(104)을 투영할 수 있고, 카메라(102)는 더 높은 해상도(예를 들어, 1280×720 픽셀)를 가질 수 있다. 이러한 구성에서, 깊이 맵(107)을 생성하기 위해, 이미지(106)는 다운 샘플링 되거나 및/또는 프로젝터(101)에 의해 조명된 영역만 분석될 수 있다.
도 2a는 도 1에 도시된 일반적인 기준 광 패턴(104)의 예시적인 실시 예를 도시한다. 실시 예에 있어서, 기준 광 패턴(104)은 기준 광 패턴(104)을 완전히 채우기 위해 수평 및 수직 방향으로 반복되는 복수의 기준 광 패턴 요소들을 포함할 수 있다. 도 2b는 수평 방향(즉, 도 2b의 x 방향)으로 48 도트(dot) 너비이고 수직 방향(즉, 도 2b의 y 방향)으로 4 도트 높이인 기본 광 패턴(108)의 예시적인 실시 예를 도시한다. 다른 기본 광 패턴들도 가능하다. 단순화를 위해, 도트 대 픽셀의 비는 1:1일 수 있으며, 즉 각 투영된 도트는 카메라(102)와 같은 카메라의 정확히 하나의 픽셀에 의해 캡쳐될 수 있다. 실시 예에 있어서, 도 2a의 기준 광 패턴(104)은, 기본 광 패턴(108)을 수평 방향으로 10회 수직 방향으로 160회 반복함으로써 형성될 수 있다.
예를 들어, 만일 4×4 픽셀 윈도우가 기본 광 패턴(108)에 중첩되고 (엣지들을 감싸면서) 수평 방향으로 슬라이딩 하면, 48개의 고유의 서브-패턴들이 있을 수 있다. 만일 4×4 픽셀 윈도우가 수직 방향으로 슬라이딩 할 때 4×4 픽셀 윈도우가 (감싸면서) 기본 광 패턴(108)의 4 픽셀 높이에 걸쳐 수직 방향으로 슬라이딩 하면, 192개의 고유 서브-패턴들이 있을 수 있다.
다시 도 1을 참조하면, x축은 구조화된 광 이미징 시스템(100)의 전면을 따라 수평 방향으로 취해지고, y축은 (도면에서 페이지 밖으로) 수직 방향을 나타내고, z축은 이미징 되는 장면(105)의 일반적인 방향으로 이미징 시스템(100)으로부터 멀리 연장된다. 깊이 측정을 위해, 프로젝터(101) 및 카메라(102)의 광 축들은 z축에 평행할 수 있다. 다른 광 배열들이 본 명세서에서 개시된 원리들을 구현하는데 사용될 수 있을 뿐만 아니라 본 명세서에 개시된 주제의 범위 내에서 고려될 수 있다.
실시 예에 있어서, 프로젝터(101)는 다이오드 레이저, 가시광을 발하는 LED (Light Emitting Diode), NIR (near infrared) 레이저, 점광원(point light source), 가시광 스펙트럼 내의 (백색 램프와 모노크로메이터(monochromator)의 조합과 같은) 단색 조명광(monochromatic illumination source), 또는 다른 레이저 광원들과 같은, 그러나, 이에 한정되지 않는 광원을 포함할 수 있다. 실시 예에 있어서, 레이저 광원은 이미징 시스템(100)의 하우징 내의 어떤 위치에 고정될 수 있으며, x방향 및 y방향으로 회전할 수 있다. 게다가, 프로젝터(101)는 포커싱 렌즈, 유리/플라스틱 표면, 및/또는 레이저 광원으로부터의 레이저 빔을 장면(105)의 객체들의 표면 상에 점(point) 또는 스팟(spot)으로 모으는 다른 원통형의 광 요소와 같은, 그러나, 이에 한정되지 않는 투영 기구들을 포함할 수 있다.
카메라(102)는 픽셀 어레이를 포함할 수 있는 이미지 센서상의 광 스팟으로서 장면(105)내의 객체상에 광 스팟을 포커싱할 수 있는 광학기를 포함할 수 있다. 카메라(102)는 또한 초점 렌즈, 유리/플라스틱 표면, 또는 장면(105)의 객체로부터 수신된 반사된 빛을 2차원(2D) 어레이의 하나 또는 그 이상의 픽셀들에 모으는 다른 원통형의 광 요소를 포함할 수 있다. 2D의 픽셀들의 어레이는 픽셀들의 각 행이 장면(105) 상의 주사선(scanning line)의 등극선 라인을 형성하는 이미지 평면을 형성할 수 있다. 실시 예에 있어서, 카메라(102)의 이미지 센서는 고-변환 이득 및 빠른 읽기 속도를 갖는 이미지 센서일 수 있으며, 고 주변광 조건들을 극복하기 위해 등극선 평면 이미징 기법을 제공하는 광 프로젝터/스캐너의 일부로써 사용될 수 있다. 실시 예에 있어서, 이미지 센서의 각 픽셀은 약 200e- 미만의 풀 웰 용량을 갖는 포토다이오드를 포함할 수 있으며, 약 500　μV/e-보다 큰 변환 이득을 가질 수 있다. 이미지 센서는 약 1　μm 의 작은 픽셀 피치(pitch)를 가질 수 있다.
프로젝터(101)는, 포인트-스캔 또는 등극선-스캔 기법을 사용하여, 도트 라인들(108, 109)에 의해 지시되는 것과 같이, 장면을 조명할 수 있다. 즉, 레이저 광원으로부터의 광 빔은 장면(105)을 가로질러 x-y 방향으로 프로세싱 장치(103)의 제어 하에 포인트-스캐닝 될 수 있다. 포인트-스캔 기법은, 도 3을 참조하여 보다 상세하게 설명될 것과 같이, 스캔 라인을 따라 장면(105)의 어떤 객체들의 표면 상에 광점들을 투영할 수 있다. 장면(105)의 포인트 스캔으로부터 반사된 빛은 프로젝터(101)의 레이저 소스로부터 빛을 수신하자마자 장면(105)의 객체들의 표면들로부터 반사된 또는 표면들에 의해 흩뿌려진 포톤(photon)들을 포함할 수 있다. 예를 들어, 조명된 객체로부터 수신된 빛은 카메라(102)의 집광 수단들을 통하여 2D 픽셀 어레이의 하나 또는 그 이상의 픽셀들에 포커싱 될 수 있다. 카메라의 픽셀 어레이는 수집된 포톤들을 대응하는 전기적 신호들로 변환시킬 수 있으며, 이후, 전기적 신호들은 컨트롤러(103)에 의해 장면(105)의 3D-깊이 이미지로 처리될 수 있다. 실시 예에 있어서, 컨트롤러(103)는 깊이 측정을 위한 삼각측량 기법을 사용할 수 있다.
도 3은 본 개시의 일 실시 예에 따라 등극선 스캔 또는 포인트 스캔이 3D-깊이 측정을 위해 수행되는 방법의 예시를 도시한다. 도 3에서, 프로젝터(101)의 일부인 레이저 광원(203)의 x-y 회전 능력은 화살표들(201, 202)에 의해 지시되며, (각 "β"를 갖는) x방향 및 (각 "α"를 갖는) y방향으로의 레이저의 각운동(angular motion)들을 각각 나타낸다. 실시 예에 있어서, 컨트롤러(103)는, 예를 들어, 스캔 명령어들에 기반하여, 레이저 광원(203)의 x-y 회전 움직임들을 제어할 수 있다.
도 3에 도시된 바와 같이, 레이저 광원(203)은, 1차원(1D) 수평 스캐닝 라인들을 따라 광점들을 주사함으로써, 객체(204)의 표면을 포인트-스캐닝 할 수 있다. 여기서, 수평 스캐닝 라인들 중 두 개(205, 206)는 도 3의 점선으로 표시되었다. 객체(204)의 표면의 굴곡은 광점들(207 내지 210)이 스캐닝 라인(SR)을 형성하도록 야기한다. 용이함 및 명확화를 위해, 스캔 라인(206)을 형성하는 광점들은 기준 지표(indicator)들을 사용하여 식별되지 않는다. 레이저(203)는, 예를 들어, 왼쪽에서 오른쪽 방향으로 한 번에 하나의 스팟씩, 스캐닝 행들(SR, SR+1, SR+2 등)을 따라 객체(204)를 스캔 할 수 있다.
값들(R, R+1 등)은 카메라(102)의 2D 픽셀 어레이(211)의 픽셀들의 특정 행들을 일컬으며, 이 값들은 알려져 있다. 예를 들어, 도 3의 2D 픽셀 어레이(211)에서, 픽셀 행(R)은 참조 번호(212)를 사용하여 식별되고, 행(R+1)은 참조 번호(213)을 사용하여 식별된다. 픽셀 어레이(211)의 행들(R, R+1)은 단지 도시의 목적을 위해 픽셀들의 복수의 행들로부터 선택되었음이 이해되어야 한다.
2D 픽셀 어레이(211)의 픽셀들의 행들을 포함하는 평면은 이미지 평면으로 불릴 수 있으며, 라인들(SR, SR+1)과 같은 스캐닝 라인들을 포함하는 평면은 스캐닝 평면으로 불릴 수 있다. 도 3의 실시 예에서, 이미지 평면과 스캐닝 평면은 등극선 기하를 사용하여 배치되어 2D 픽셀 어레이(211)의 픽셀들의 각 행(R, R+1 등)은 대응하는 스캐닝 라인(SR, SR+1 등)의 등극선 라인을 형성할 수 있다. 만일 (스캐닝 라인(SR)에서) 조명된 스팟의 이미지 평면으로의 투영이 행(R) 그 자체인 라인을 따라 뚜렷한 스팟을 형성한다면, 픽셀들의 행(R)은 대응하는 스캐닝 라인(SR, SR+1 등)에 등극선인 것으로 고려될 수 있다. 예를 들어, 도 3에서, 화살표(214)는 레이저 광원(203)에 의한 광점(208)의 빛을 나타내며, 화살표(215)는 포커싱 렌즈(216)에 의해 픽셀 어레이(211)의 행(212)을 따라 이미징 되거나 투영되는 광점(208)을 나타낸다. 비록 도 3에 표시되지는 않았지만, 광점들(207 내지 210) 모두 픽셀 어레이(211)의 행(R)에서 대응하는 픽셀들에 의해 이미징 되는 것으로 이해되어야 할 것이다. 즉, 실시 예에 있어서, 레이저(203) 및 픽셀 어레이(211)의 위치 및 방향과 같은 물리적 배치는, 객체(204)의 표면 상의 스캐닝 라인의 조명된 광점들이 픽셀 어레이(211)의 대응하는 행의 픽셀들에 의해 캡쳐되거나 탐지될 수 있는 그런 것이며, 따라서, 픽셀들의 행은 스캐닝 라인의 등극선 라인을 형성할 수 있다.
2D 픽셀 어레이(211)의 픽셀들은 행들과 열들로 배열될 수 있다. 조명된 광점은 픽셀 어레이(211)의 대응하는 행 및 열에 의해 참조될 수 있다. 예를 들어, 도 3에서, 스캐닝 라인(SR)의 광점(208)은 XR,i로 표기되어 스팟(208)이 픽셀 어레이(211)의 행(R) 및 열(i)(즉, Ci)에 의해 이미징 되는 것을 나타낼 수 있다. 열(Ci)은 점선(217)으로 표시된다. 다른 조명된 스팟들도 유사하게 식별된다. 둘 또는 그 이상의 광점들로부터 반사된 빛이 행의 하나의 픽셀에 의해 수신될 수 있으며, 또는, 대안적으로, 하나의 광점으로부터 반사된 빛은 픽셀들의 행의 하나 이상의 픽셀에 의해 수신될 수 있음이 이해되어야 한다. 타임스탬프가 광점들을 식별하는데 사용될 수 있다.
도 3에서, 화살표(218)는, 도 1에 도시된 x축과 같은, 카메라(102)의 전방을 따라 x축으로부터 광점(208)의 (z축을 따른) 깊이 또는 길이(Z)를 나타낸다. 도 3에서, x축은, 프로젝터(101)의 투영 기구들(미도시) 및 카메라(102)의 집광 수단들(미도시) 역시 포함하는 수직 평면에 포함됨으로써 시각화 될 수 있는, 219에 의해 표시된다. 그러나, 삼각측량 방법의 설명의 용이함을 위해, 도 3에서, 투영 기구들 대신에 레이저 소스(203)가 x축(219)에서 묘사되었다. 삼각측량 기반의 접근법을 사용함으로써, 아래의 수학식을 사용하여 Z의 값이 판별될 수 있다.
Figure pat00001
수학식 1에서, 파라미터(h)는 집광 수단들(collection optics)(미도시) 및 (집광 수단들 후방의 수직 평면에 있는 것으로 가정되는) 이미지 센서(211) 사이의 (z축에 따른) 거리이며, 파라미터(d)는 광원(203) 및 카메라(102)와 관련된 (렌즈들(216)로 대표되는) 집광 수단들 사이의 오프셋 거리이며, 파라미터(q)는 카메라(102)의 집광 수단들 및 대응하는 광점을 탐지하는 픽셀 사이의 오프셋 거리이며(도 3의 예에서, 픽셀(i)를 탐지/이미징 하는 것은 광점(XR,i, 208)과 관련된 열(Ci)에 의해 표시됨), 파라미터(θ)는 고려중인 광점을 위한 광원의 스캔 각도 또는 빔 각도이다(도 2의 예에서, 광점(208)). 대안적으로, 파라미터(q)는 픽셀 어레이(211)의 관측 시야 내의 광점의 오프셋으로써 고려될 수 있다. 수학식 1의 파라미터들은 도 3에 도시되었다. 이미징 시스템(100)의 물리적 구성에 기반하여, 수학식 1의 우변의 파라미터들의 값들이 판별될 수 있다.
수학식 1에서 파라미터들(θ, q)만이 주어진 포인트 스캔에 대해 이용 가능하다는 것을 볼 수 있다. 파라미터들(h, d)은 이미징 시스템(100)의 물리적 기하학으로 인하여 근본적으로 고정된다. 행(R, 212)은 스캐닝 라인(SR)의 등극선 라인이기 때문에, 깊이 차이 또는 객체(204)의 깊이 프로파일은, 이미징 되는 다른 광점들에 대한 파라미터(q)의 값들에 의해 표시된 것과 같이, 수평 방향으로의 이미지 쉬프트에 의해 반영될 수 있다. 따라서, 스캔 각도(θ) 및 (파라미터(q)에 의해 표시된 것과 같은) 대응하는 이미징 된 광점의 위치로부터, 광점까지의 거리(Z)는 수학식 1을 사용하여 판별될 수 있다. 거리 측정을 위한 삼각법은, 예를 들어, 삼각측량 기반의 거리 측정과 관련된 개시가 본원의 참조 문헌으로 인용되는, 미국 특허 출원 번호 2011/0102763　A1(Brown 외)를 포함하는 관련 문헌에 설명되었음이 이해되어야 한다.
고-주변광 조건들은, 원거리의 객체들의 신호 대 잡음 비(signal-to-noise ratio; SNR)를 상당히 줄이면서도, 근거리의 객체들을 위한 센서의 픽셀들을 포화시킬 수 있다. 등극선, 또는 포인트-스캔 기법은 추정된 깊이 정보를 생성할 때 높은 주변광 조건들에 의해 야기되는 악영향들을 줄이기 위해 사용될 수 있다. 예를 들어, 도 4a는, 등극선 이미징 기법을 사용하지 않는 카메라에 의해 이미징 된, 밝혀진 반사된 디스코 볼(illuminated mirrored disco ball)의 장면이다. 도 4a에서 이미징된 장면은 디스코 볼에서 반사된 복수의 멀티패스(multipath) 반사들을 포함한다. 멀티패스 반사들은 3D 깊이 측정에서 에러를 야기할 수 있다.
도 4a와는 달리, 도 4b는, 등극선 이미징 기법을 사용하여 이미징 된, 밝혀진 반사된 디스코 볼의 동일한 장면이다. 등극선 이미징 기법이 멀티패스 반사들을 제거하기 때문에, 도 4a에 비하여 도 4b의 이미지에서, 디스코 볼로부터 반사된 상당히 적어진 광점들이 관측될 수 있다. 게다가, 거리와 관련된 불일치는 오직 센서 등극선 라인에서 감지될 것이다.
도 1을 다시 참조하면, 구조화된 광 이미지 시스템(100)의 컨트롤러(103)는 프로젝터(101) 및 카메라(102)를 제어하여 등극선 기법으로 장면의 슬라이스들을 이미징할 수 있다. 예를 들어, 도 5는 본 명세서에서 개시되는 주제에 따라 슬라이스-바이-슬라이스(slice-by-slice) 방식으로 장면에 투영되는 슬라이스들(401 내지 408)로 분할된 예시적인 기준 광 패턴(400)을 도시한다. 비록 도 5에서 예시적인 기준 광 패턴(400)이 8개의 슬라이스들로 분할되었으나, 다양한 수의 슬라이스들이 장면을 스캔하기 위해 사용될 수 있음이 이해되어야 한다.
기준 광 패턴(400)의 각 슬라이스(401 내지 408)는 상대적으로 높은 피크 광출력 및 상대적으로 짧은 주기의 펄스들을 사용하여 등극선 방식으로 프로젝터(101)에 의해 선택적으로 투영될 수 있다. 실시 예에 있어서, 피크 광출력은 약 0.2　μs 의 펄스 지속시간을 가지며 약 4W일 수 있다. 카메라(102)는 프로젝터(101)에 동기될 수 있으며, 저-비트의 아날로그 디지털 컨버터(analog-to-digital converter; ADC)를 갖춘 빠른 읽기 회로를 포함할 수 있다.
상대적으로 짧은 범위에 있는 스캔된 슬라이스의 객체들은 대개 한 번의 스캔으로 카메라(102)의 밖에서 탐지될 것이다. 객체가 탐지된 후, 객체가 아직 탐지되지 않은 스캔 된 슬라이스의 영역들을 향해 펄스들을 다시 방향지음으로써(redirect), 프로젝터(101)의 광출력은 보다 효율적으로 사용될 수 있다. 실시 예에 있어서, 프로젝터(101)의 광출력은 다시 방향 지어져 단거리의 객체들이 탐지되지 않은 슬라이스의 선택된 복수의 영역들을 반복적으로 스캔할 수 있다. 반사된 포톤들을 축적하거나 비닝하는 것(binning)에 기반하여, 광출력이 다시 방향지어진 슬라이스의 영역들에 있는 어떤 객체들이라도 탐지될 수 있다. 반복적으로 스캔 된 영역들은 순서에 상관없을 수 있다.
장면의 슬라이스들이 스캔 되는 순서(sequence)는, 랜덤한 순서를 포함하며, 순서에 상관없을 수 있다. 게다가, 슬라이스들이 도 5에서 일반적으로 수평의 직사각형의 모양을 갖는 것으로 도시되었다 하더라도, 만일 카메라 및 프로젝터/스캐너가 수직의 변위(displacement)를 갖는다면, 대안적으로, 슬라이스들은 일반적으로 수직의 사각형의 모양을 가질 수 있다. 다른 실시 예로써, 슬라이스들을 사용하는 대신에, 어떤 닫힌 모양을 갖는 장면의 영역들은 선택적으로 스캔 될 수 있다.
도 6은 본 명세서에서 개시된 주제에 따라 슬라이스-바이-슬라이스 방식으로 장면을 선택적으로 투영/스캔하기 위한 구조화된 광 카메라를 사용하는 방법(500)의 예시적인 순서도를 도시한다. 방법은 501에서 시작한다. 502에서, 인덱스(n)가 초기화된다. 503에서, 구조화된 광 패턴이 등극선 이미징 기법을 사용하여 장면의 선택된 슬라이스를 향해 투영될 수 있다. 프로젝터는 상대적으로 짧은 펄스들을 갖는 상대적으로 높은 광출력을 사용하도록 제어될 수 있다. 504에서, 503의 투영된 펄스들에 동기화된 등극선 이미징 기법을 사용하여 장면이 스캔 될 수 있다. 505에서, 객체가 선택된 슬라이스 내에서 탐지되는지 여부가 판별될 수 있다. 근거리의 객체들이 수신된 복수의 광전자(photoelectron)들에 기반하여 탐지될 수 있다.
만일 505에서 객체가 탐지되면, 절차는 506으로 이어지며, 506에서, 객체가 탐지되지 않은 선택된 슬라이스의 영역들이 등극선 이미징 기법을 사용하여 스캔 된다. 즉, 프로젝터의 광출력은 객체가 탐지되지 않은 선택된 슬라이스의 영역으로 다시 방향지어질 수 있으며, 등극선 이미징 기법을 사용하여 영역들이 스캔 될 수 있다. 구조화된 광 패턴의 반복적인 투영은 객체가 탐지되지 않은 영역만으로 다시 방향지어질 수 있고 원거리의 객체들을 드러낼 수 있다. 507에서, 스캔 되는 영역들에서 객체들이 탐지되는지 여부가 판단된다. 절차는 508로 이어지며, 인덱스(n)는 증가한다. 509에서, 인덱스(n)는, 8과 같은, 미리 정해진 수(N)와 동일한지 여부가 판별될 수 있다. 그러나, 미리 정해진 수(N)로써 다른 미리 정해진 값들이 사용될 수 있다.
만일 509에서 인덱스(n)가 미리 정해진 수(N)과 동일하지 않다고 판단되면, 절차는 506으로 이어지며, 506에서 객체들이 탐지되지 않은 선택된 슬라이스의 영역들이 등극선 이미징 방식으로 스캔 된다. 만일 509에서 인덱스(n)가 미리 정해진 수(N)과 동일하다고 판단되면, 절차는 512로 이어지며, 512에서 모든 슬라이스들이 스캔 되는지 여부가 판별된다. 만일 모든 슬라이스들이 스캔된다면, 절차는 513으로 이어지며, 방법은 종료한다. 만일 512에서 모든 슬라이스들이 스캔 되지 않는다면, 절차는 502로 돌아간다.
만일 505에서 객체들이 탐지되지 않았다고 판단되면, 절차는 510으로 이어지며, 인덱스(n)는 증가하고 511에서 테스트된다. 만일 511에서 인덱스(n)이 미리 정해진 수(N)과 동일하지 않으면, 절차는 503으로 되돌아간다. 만일 511에서 인덱스(n)이 미리 정해진 수(N)과 동일하다면, 절차는 512로 이어지며, 512에서 모든 슬라이스들이 스캔 되는지 여부가 판별된다.
도 7a는 본 명세서에서 개시된 주제에 따른 카메라(102)의 센서를 위해 사용되는 예시적인 스택드 아키텍처(stacked architecture)(600)를 도시한다. 스택드 아키텍처(600)는 최상층의 픽셀 어레이(601)를 포함할 수 있으며, 최하층의 주변 및 ADC 회로(602)를 포함할 수 있다. 픽셀 어레이(601)는 복수의 픽셀들(603)을 포함할 수 있으며, 하나의 픽셀(603)만이 도 7a에 도시되었다. 픽셀 어레이(601)는 복수의 광역 셔터 어레이들을 포함하도록 배치될 수 있으며, 하나의 광역 셔터 어레이(604)만이 도시되었다. 실시 예에 있어서, 각 광역 셔터 어레이(604)는 하나의 등극선 투영/스캔 라인에 대응할 수 있다. 광역 셔터 어레이를 위한 다른 사이즈들이 가능하다. 또 다른 실시 예에 있어서, 픽셀 어레이(601)는 롤링 셔터(rolling shutter mode) 모드에서 동작하는 셔터 어레이를 포함하도록 배치될 수 있다. 최하층(602)은 복수의 ADC들(606)을 포함하는 저-비트의 ADC 어레이(605)를 포함할 수 있으며, 하나의 ADC(606)만이 도시되었다. 실시 예에 있어서, 각 ADC(606)는 (점선들로 표시된 것과 같은) 빠른 읽기 회로를 통하여 대응하는 픽셀(603)에 연결될 수 있고, 4 비트 이하의 해상도를 가질 수 있다. 최하층(602)은 행 드라이버 어레이(607) 그리고 바이어스 및 다른 회로(608)를 포함할 수 있다.
도 7b는 본 명세서에서 개시된 주제에 따른 픽셀 어레이(601)의 픽셀들(603)의 예시적인 실시 예들을 도시한다. 실시 예에 있어서, 픽셀(603)은 QIS 광검출기(photodetector)를 포함하는 잘 알려진 4 트랜지스터(4T) 구조를 가질 수 있다. 다른 실시 예에 있어서, 픽셀들(603)은 공유된 구조를 가질 수 있다. 각 픽셀(603)은 약 200e-이하의 풀 웰 용량을 갖고 약 500　μV/e-이상의 변환 이득을 갖는 광검출기를 포함할 수 있다. 약 1　μm의 작은 픽셀 피치가 사용될 수 있다.
도 8은 본 명세서에서 개시된 주제에 따른 장면의 감지된 슬라이스의 출력의 예시적인 부분(700)을 도시한다. 실시 예에 있어서, 슬라이스는 픽셀들로부터의 탐지된 출력들이 4×4의 박스들로 비닝(binning)되는 480 개의 스캔 라인들을 포함할 수 있다. 검은색으로 표시된 예시적인 부분(700)의 영역들은 오직 주변광 포톤들을 수신한 픽셀들을 나타낸다. 흰색으로 표시된 픽셀들은 주변광 포톤들과 기준 광 패턴의 반사된 포톤들의 합을 수신한 픽셀들을 나타낸다. 예를 들어, 예시적인 부분(700)의 영역(701)은 0.3m의 범위를 갖는 탐지된 객체를 포함할 수 있다. 흰 픽셀은 30개의 전자들을 수신함에 반하여, 검은 픽셀은 하나 미만의 전자를 수신한다. 영역(702)은 1m의 범위를 갖는 탐지된 객체를 포함한다. 열 번의 스캔으로, 검은 픽셀은 총 0.2개의 전자들을 수신하고, 흰 픽셀은 30개의 전자들을 수신한다. 영역(703)은 4m의 범위를 갖는 탐지된 객체를 포함할 수 있다. 열 번의 스캔 및 4×4 비닝으로, 검은 픽셀은 3.2개의 전자들을 수신할 수 있고, 흰 픽셀은 40개의 전자들을 수신할 수 있다.
멀리 떨어진 객체들이 픽셀 어레이에 의해 탐지된 보다 적은 포톤들을 반사함에 반하여, 카메라에 가장 가까운 객체들은 픽셀 어레이에 의해 탐지된 보다 많은 포톤들을 반사한다. 객체의 거리에 기반하는 탐지된 포톤들의 개수의 차이가 탐지된 기준 광 패턴의 흰 부분의 세기로써 도 8에 도시되었다. 일단 객체가 탐지되면, 예를 들어, 도 1의 프로젝터(101)로부터의 투영된 광은, 객체가 탐지될 때까지 아주 적은 반사된 포톤들이 탐지되거나 반사된 포톤들이 탐지되지 않는, 다른 영역들로 반복적으로 다시 방향지어질 수 있다. 비닝이 사용되어 객체를 탐지하기 위해 충분한 반사된 포톤들이 수집될 수 있다. 예를 들어, 열 번의 스캔이 영역들(703, 704)의 객체들을 탐지하는데 필요할 수 있음에 반하여, 영역(702)은 한 번의 스캔만으로 객체를 탐지할 수 있다.
객체들의 반사도는 검은 픽셀과 흰 픽셀의 차이에 기반하여 추정될 수 있다. 즉, 흰색으로 표시된 픽셀들이 주변광 포톤들과 기준 광 패턴의 반사된 포톤들의 합을 수신한 픽셀들을 나타냄에 반하여, 검은색으로 표시된 예시적인 부분(700)의 영역들은 주변광 포톤만을 수신하는 픽셀들을 나타낼 수 있다. 둘 사이의 차이는 활성 전하들의 개수를 나타낼 수 있다. 활성 전하들의 이론적인 개수는, 수학식 1의 삼각측량 기반의 접근법을 사용하여 획득될 수 있는, 객체의 거리와 관련될 수 있다. 활성 전자들의 수신된 개수와 이론적인 개수의 차이의 비율을 판별함으로써, 특정한 픽셀에 의해 캡쳐된 객체의 반사도가 판별될 수 있다.
본 발명이 속하는 기술 분야에서 통상의 지식을 지닌 자에 의해 인식될 것과 같이, 본 명세서에서 개시된 기술 사상은 넓은 범위의 적용들에서 변형되고 응용될 수 있다. 따라서, 권리화된 주제의 범위는 전술된 특정한 예시들에 한정되지 않으며, 뒤따르는 청구항들에 의해 정해질 것이다.
100: 구조화된 광 시스템
101: 프로젝터
102: 카메라
103: 컨트롤러 또는 프로세싱 장치
104: 기준 광 패턴

Claims (20)

  1. 구조화된 광 패턴을 하나 또는 그 이상의 객체들을 포함하는 장면의 선택된 슬라이스에 투영하되, 상기 장면의 상기 선택된 슬라이스는 제 1 방향으로의 제 1 미리 정해진 크기 및 상기 제 1 방향에 수직인 제 2 방향으로의 제 2 미리 정해진 크기를 갖는 프로젝터;
    상기 장면의 상기 선택된 슬라이스를 스캔 하고 상기 선택된 슬라이스의 영역에 대응하는 출력을 생성하는 이미지 센서; 그리고
    객체가 상기 스캔 된 영역 내에 위치하는지 여부를 탐지하고 상기 객체가 상기 스캔 된 영역에서 탐지된 경우 상기 프로젝터를 제어하여 상기 구조화된 광 패턴을 라이스의 다른 영역들을 향하여 상기 스캔 된 영역으로부터 떨어져 제 1 복수 회 투영하는 상기 이미지 센서에 연결되는 컨트롤러를 포함하되,
    상기 이미지 센서 및 상기 프로젝터는 등극선 방식으로 동기화되는 구조화된 광 이미징 시스템.
  2. 제 1 항에 있어서,
    상기 구조화된 광 패턴은 상기 제 1 방향으로 연장하는 복수의 서브-패턴들의 행을 포함하되,
    각 서브-패턴은 적어도 하나의 다른 서브-패턴에 인접하고,
    각 서브-패턴은 각 다른 서브-패턴과는 다르고,
    각 서브-패턴은 서브-행에 상기 제 1 미리 정해진 수의 영역들 및 서브-열에 제 2 미리 정해진 수의 영역들을 포함하고(상기 제 1 미리 정해진 수 및 상기 제 2 미리 정해진 수는 정수),
    각 영역은 동일한 크기를 갖고,
    각 서브-행은 상기 제 1 방향으로 연장하고, 그리고
    각 서브-열은 상기 제 2 방향으로 연장하는 구조화된 광 이미징 시스템.
  3. 제 2 항에 있어서,
    상기 복수의 서브-패턴들은 48개의 서브-패턴들을 포함하고,
    상기 제 1 미리 정해진 수와 상기 제 2 미리 정해진 수는 서로 동일하고, 그리고
    영역은 상기 구조화된 광 패턴의 도트에 대응하는 구조화된 광 이미징 시스템.
  4. 제 2 항에 있어서,
    상기 제 1 복수 회는 10회인 구조화된 광 이미징 시스템.
  5. 제 1 항에 있어서,
    상기 컨트롤러는, 상기 스캔 된 영역의 검정 픽셀들과 흰 픽셀들 사이의 세기 차이에 기반하여, 탐지된 객체의 반사도를 판별하는 구조화된 광 이미징 시스템.
  6. 제 1 항에 있어서,
    상기 제 1 방향으로의 상기 선택된 슬라이스의 상기 제 1 미리 정해진 크기는, 상기 제 2 방향으로의 상기 선택된 슬라이스의 상기 제 2 미리 정해진 크기보다 크고,
    상기 컨트롤러는 상기 프로젝터를 제어하여 선택된 순서로 제 1 미리 정해진 수의 슬라이스들을 향해 상기 구조화된 광 패턴을 투영하고, 그리고
    상기 이미지 센서는 상기 선택된 순서로 상기 제 1 미리 정해진 수의 슬라이스들을 스캔 하는 구조화된 광 이미징 시스템.
  7. 제 6 항에 있어서,
    상기 선택된 순서는 랜덤 순서인 구조화된 광 이미징 시스템.
  8. 구조화된 광 패턴을 하나 또는 그 이상의 객체들을 포함하는 장면의 선택된 슬라이스에 투영하되, 상기 장면의 상기 선택된 슬라이스는 제 1 방향으로의 제 1 미리 정해진 크기 및 상기 제 1 방향에 수직인 제 2 방향으로의 제 2 미리 정해진 크기를 갖고, 상기 제 1 방향으로의 상기 선택된 슬라이스의 상기 제 1 미리 정해진 크기는, 상기 제 2 방향으로의 상기 선택된 슬라이스의 상기 제 2 미리 정해진 크기보다 큰 프로젝터;
    상기 장면의 상기 선택된 슬라이스를 스캔 하고 상기 선택된 슬라이스의 영역에 대응하는 출력을 생성하는 이미지 센서; 그리고
    상기 이미지 센서에 연결되고, 객체가 상기 스캔 된 영역 내에 위치하는지 여부를 탐지하고, 그리고 상기 객체가 상기 스캔 된 영역에서 탐지된 경우 상기 프로젝터를 제어하여 상기 구조화된 광 패턴을 상기 장면의 상기 선택된 슬라이스의 다른 영역들을 향하여 상기 스캔 된 영역으로부터 떨어져 제 1 복수 회 투영하는 컨트롤러를 포함하되,
    상기 이미지 센서 및 상기 프로젝터는 등극선 방식으로 동기화되는 구조화된 광 이미징 시스템.
  9. 제 8 항에 있어서,
    상기 컨트롤러는 상기 프로젝터를 제어하여 선택된 순서로 제 1 미리 정해진 수의 슬라이스들을 향해 상기 구조화된 광 패턴을 투영하고, 그리고
    상기 이미지 센서는 상기 선택된 순서로 상기 제 1 미리 정해진 수의 슬라이스들을 스캔 하고,
    상기 선택된 순서는 랜덤 순서인 구조화된 광 이미징 시스템.
  10. 제 9 항에 있어서,
    상기 구조화된 광 패턴은 상기 제 1 방향으로 연장하는 복수의 서브-패턴들의 행을 포함하되,
    각 서브-패턴은 적어도 하나의 다른 서브-패턴에 인접하고,
    각 서브-패턴은 각 다른 서브-패턴과는 다르고,
    각 서브-패턴은 서브-행에 상기 제 1 미리 정해진 수의 영역들 및 서브-열에 제 2 미리 정해진 수의 영역들을 포함하고(상기 제 1 미리 정해진 수 및 상기 제 2 미리 정해진 수는 정수),
    각 영역은 동일한 크기를 갖고,
    각 서브-행은 상기 제 1 방향으로 연장하고, 그리고
    각 서브-열은 상기 제 2 방향으로 연장하는 구조화된 광 이미징 시스템.
  11. 제 10 항에 있어서,
    상기 복수의 서브-패턴들은 48개의 서브-패턴들을 포함하고, 그리고
    상기 제 1 미리 정해진 수와 상기 제 2 미리 정해진 수는 서로 동일한 구조화된 광 이미징 시스템.
  12. 제 11 항에 있어서,
    상기 제 1 복수 회는 10회인 구조화된 광 이미징 시스템.
  13. 제 10 항에 있어서,
    상기 컨트롤러는, 상기 스캔 된 영역의 검정 픽셀들과 흰 픽셀들 사이의 세기 차이에 기반하여, 탐지된 객체의 반사도를 판별하는 구조화된 광 이미징 시스템.
  14. 장면을 스캔 하는 구조화된 광 이미징 시스템의 동작 방법에 있어서:
    프로젝터를 이용하여 구조화된 광 패턴을 하나 또는 그 이상의 객체들을 포함하는 장면의 선택된 슬라이스에 투영하되, 상기 장면의 상기 선택된 슬라이스는 제 1 방향으로의 제 1 미리 정해진 크기 및 상기 제 1 방향에 수직인 제 2 방향으로의 제 2 미리 정해진 크기를 갖는 단계;
    이미지 센서를 이용하여 상기 장면의 상기 선택된 슬라이스를 스캔 하는 단계;
    상기 선택된 슬라이스의 영역에 대응하는 출력을 생성하는 단계;
    객체가 상기 스캔 된 영역 내에 위치하는지 여부를 탐지하는 단계; 그리고
    상기 객체가 상기 스캔 된 영역에서 탐지된 경우, 컨트롤러를 이용하여 상기 프로젝터를 제어하여 상기 구조화된 광 패턴을 상기 장면의 상기 선택된 슬라이스의 다른 영역들을 향하여 상기 스캔 된 영역으로부터 떨어져 제 1 복수 회 투영하는 단계를 포함하되,
    상기 이미지 센서 및 상기 프로젝터는 등극선 방식으로 동기화 되는 방법.
  15. 제 14 항에 있어서,
    상기 구조화된 광 패턴은 상기 제 1 방향으로 연장하는 복수의 서브-패턴들의 행을 포함하되,
    각 서브-패턴은 적어도 하나의 다른 서브-패턴에 인접하고,
    각 서브-패턴은 각 다른 서브-패턴과는 다르고,
    각 서브-패턴은 서브-행에 상기 제 1 미리 정해진 수의 영역들 및 서브-열에 제 2 미리 정해진 수의 영역들을 포함하고(상기 제 1 미리 정해진 수 및 상기 제 2 미리 정해진 수는 정수),
    각 영역은 동일한 크기를 갖고,
    각 서브-행은 상기 제 1 방향으로 연장하고, 그리고
    각 서브-열은 상기 제 2 방향으로 연장하는 방법.
  16. 제 15 항에 있어서,
    상기 복수의 서브-패턴들은 48개의 서브-패턴들을 포함하고,
    상기 제 1 미리 정해진 수와 상기 제 2 미리 정해진 수는 서로 동일하고, 그리고
    상기 제 1 미리 정해진 수는 10회인 방법.
  17. 제 14 항에 있어서,
    상기 제 1 방향으로의 상기 선택된 슬라이스의 상기 제 1 미리 정해진 크기는, 상기 제 2 방향으로의 상기 선택된 슬라이스의 상기 제 2 미리 정해진 크기보다 크고,
    상기 프로젝터를 제어하여 선택된 순서로 제 1 미리 정해진 수의 슬라이스들을 향해 상기 구조화된 광 패턴을 투영하는 단계; 그리고
    상기 선택된 순서로 상기 제 1 미리 정해진 수의 슬라이스들을 스캔 하는 단계를 더 포함하되,
    상기 선택된 순서는 랜덤 순서인 방법.
  18. 제 14 항에 있어서,
    상기 이미지 센서는, 광역 셔터 어레이가 등극선 스캔 라인에 대응하는, 복수의 광역 셔터 어레이들을 포함하되,
    상기 이미지 센서를 랜덤 셔터 모드 및 롤링 셔터 모드 중 하나로 동작시키는 단계를 더 포함하는 방법.
  19. 제 14 항에 있어서,
    상기 프로젝터를 이용하여, 상기 구조화된 광 패턴을 상기 스캔 된 영역으로부터 털어져 상기 제 1 복수 회 투영하여, 상기 스캔 된 영역에서 탐지된 상기 객체보다 멀리 떨어진 객체를 탐지하는 단계를 더 포함하는 방법.
  20. 제 14 항에 있어서,
    상기 컨트롤러를 이용하여, 상기 스캔 된 영역의 검정 픽셀들과 흰 픽셀들 사이의 세기 차이에 기반하여, 상기 스캔 된 영역에서 탐지된 상기 객체의 반사도를 판별하는 단계를 더 포함하는 방법.
KR1020190017432A 2018-05-10 2019-02-14 3d 구조의 광 적용을 위한 고감도 저전력 카메라 시스템 KR20190129693A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862669931P 2018-05-10 2018-05-10
US62/669,931 2018-05-10
US16/038,146 US20190349569A1 (en) 2018-05-10 2018-07-17 High-sensitivity low-power camera system for 3d structured light application
US16/038,146 2018-07-17

Publications (1)

Publication Number Publication Date
KR20190129693A true KR20190129693A (ko) 2019-11-20

Family

ID=68463427

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190017432A KR20190129693A (ko) 2018-05-10 2019-02-14 3d 구조의 광 적용을 위한 고감도 저전력 카메라 시스템

Country Status (5)

Country Link
US (1) US20190349569A1 (ko)
JP (1) JP2019197055A (ko)
KR (1) KR20190129693A (ko)
CN (1) CN110471050A (ko)
TW (1) TW202002626A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11689708B2 (en) * 2020-01-08 2023-06-27 Corephotonics Ltd. Multi-aperture zoom digital cameras and methods of using same
TWI771112B (zh) 2021-07-21 2022-07-11 舞蘊股份有限公司 用於合光的超穎光學元件

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5003166A (en) * 1989-11-07 1991-03-26 Massachusetts Institute Of Technology Multidimensional range mapping with pattern projection and cross correlation
US6754370B1 (en) * 2000-08-14 2004-06-22 The Board Of Trustees Of The Leland Stanford Junior University Real-time structured light range scanning of moving scenes
EP1191306B1 (en) * 2000-09-26 2006-11-22 Fuji Photo Film Co., Ltd. Distance information obtaining apparatus and distance information obtaining method
US9939233B2 (en) * 2007-10-02 2018-04-10 Doubleshot, Inc. Laser beam pattern projector
JP2012150054A (ja) * 2011-01-20 2012-08-09 Ricoh Co Ltd 物体検出装置及びこれを備えた車両衝突回避システム
US8890953B1 (en) * 2011-06-27 2014-11-18 Rawles Llc Optical-based scene detection and audio extraction
US9396382B2 (en) * 2012-08-17 2016-07-19 Flashscan3D, Llc System and method for a biometric image sensor with spoofing detection
JP2014077668A (ja) * 2012-10-09 2014-05-01 Optex Co Ltd 寸法計測装置および寸法計測方法
US10368053B2 (en) * 2012-11-14 2019-07-30 Qualcomm Incorporated Structured light active depth sensing systems combining multiple images to compensate for differences in reflectivity and/or absorption
US9547222B2 (en) * 2013-02-08 2017-01-17 University Of South Australia Method and apparatus for calibration of multiple projector systems
US9524059B2 (en) * 2013-03-15 2016-12-20 Texas Instruments Incorporated Interaction detection using structured light images
JP6547104B2 (ja) * 2013-10-23 2019-07-24 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーＦａｃｅｂｏｏｋ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｌｌｃ 動的構造化光を用いた三次元深度マッピング
US20150138320A1 (en) * 2013-11-21 2015-05-21 Antoine El Daher High Accuracy Automated 3D Scanner With Efficient Scanning Pattern
US20160150219A1 (en) * 2014-11-20 2016-05-26 Mantisvision Ltd. Methods Circuits Devices Assemblies Systems and Functionally Associated Computer Executable Code for Image Acquisition With Depth Estimation
US20180364045A1 (en) * 2015-01-06 2018-12-20 Discovery Robotics Robotic platform with mapping facility
KR102287958B1 (ko) * 2015-02-06 2021-08-09 한국전자통신연구원 차량 창유리 가시광선 투과율 원격 검사 시스템 및 방법
CN107637074B (zh) * 2015-03-22 2020-09-18 脸谱科技有限责任公司 使用立体摄像机与结构化光的头戴显示器的深度绘制
US10225544B2 (en) * 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US10973581B2 (en) * 2016-06-17 2021-04-13 7D Surgical Inc. Systems and methods for obtaining a structured light reconstruction of a 3D surface
US10306203B1 (en) * 2016-06-23 2019-05-28 Amazon Technologies, Inc. Adaptive depth sensing of scenes by targeted light projections
US9947099B2 (en) * 2016-07-27 2018-04-17 Microsoft Technology Licensing, Llc Reflectivity map estimate from dot based structured light systems
CN109891187A (zh) * 2016-08-18 2019-06-14 特拉维夫大学拉莫特有限公司 结构光投影仪
US10380749B2 (en) * 2016-09-26 2019-08-13 Faro Technologies, Inc. Device and method for indoor mobile mapping of an environment
GB2556910A (en) * 2016-11-25 2018-06-13 Nokia Technologies Oy Virtual reality display
CN110402399B (zh) * 2017-01-03 2023-07-18 应诺维思科技有限公司 用于检测和分类物体的激光雷达系统和方法
US10007001B1 (en) * 2017-03-28 2018-06-26 Luminar Technologies, Inc. Active short-wave infrared four-dimensional camera
US10545240B2 (en) * 2017-03-28 2020-01-28 Luminar Technologies, Inc. LIDAR transmitter and detector system using pulse encoding to reduce range ambiguity
JP2018189443A (ja) * 2017-04-28 2018-11-29 キヤノン株式会社 距離測定装置、距離測定方法及び撮像装置
US20180373348A1 (en) * 2017-06-22 2018-12-27 Microsoft Technology Licensing, Llc Systems and methods of active brightness depth calculation for object tracking
US20190072771A1 (en) * 2017-09-05 2019-03-07 Facebook Technologies, Llc Depth measurement using multiple pulsed structured light projectors
US11297300B2 (en) * 2018-01-29 2022-04-05 Samsung Electronics Co., Ltd. Robust structured-light patterns for 3D camera system

Also Published As

Publication number Publication date
CN110471050A (zh) 2019-11-19
JP2019197055A (ja) 2019-11-14
US20190349569A1 (en) 2019-11-14
TW202002626A (zh) 2020-01-01

Similar Documents

Publication Publication Date Title
KR102277447B1 (ko) 동기화된 회전식 lidar 및 롤링 셔터 카메라 시스템
CN108431626B (zh) 光检测和测距传感器
CN102947726B (zh) 扫描3d成像仪
CN101124453B (zh) 用于二维和三维图像检测的系统
US6600168B1 (en) High speed laser three-dimensional imager
WO2021072802A1 (zh) 一种距离测量系统及方法
EP1016028B1 (en) Method and system for imaging an object or pattern
US9797708B2 (en) Apparatus and method for profiling a depth of a surface of a target object
KR20160045670A (ko) 비행-시간 카메라 시스템
WO2021212916A1 (zh) 一种tof深度测量装置、方法及电子设备
CN112384167A (zh) 用于在相机中生成动态投影图案的设备、方法和系统
WO2019076072A1 (zh) 一种光学测距的方法及装置
US8243264B2 (en) Measuring apparatus
CN212694038U (zh) 一种tof深度测量装置及电子设备
CN110780312B (zh) 一种可调距离测量系统及方法
JP2018152632A (ja) 撮像装置および撮像方法
US8144968B2 (en) Method and apparatus for scanning substrates
KR20190129693A (ko) 3d 구조의 광 적용을 위한 고감도 저전력 카메라 시스템
CN211148917U (zh) 一种距离测量系统
US10697887B2 (en) Optical characteristic measuring apparatus
CN108885260B (zh) 具有单轴扫描的渡越时间探测器
Wang High resolution 2D imaging and 3D scanning with line sensors
JP7215472B2 (ja) 撮像装置および撮像方法
Maas Close range photogrammetry sensors
WO2022201502A1 (ja) センサ装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application