KR20170017927A - 시간 공유를 이용한 자동적인 다수의 심도 카메라들 동기화 - Google Patents

시간 공유를 이용한 자동적인 다수의 심도 카메라들 동기화 Download PDF

Info

Publication number
KR20170017927A
KR20170017927A KR1020167035279A KR20167035279A KR20170017927A KR 20170017927 A KR20170017927 A KR 20170017927A KR 1020167035279 A KR1020167035279 A KR 1020167035279A KR 20167035279 A KR20167035279 A KR 20167035279A KR 20170017927 A KR20170017927 A KR 20170017927A
Authority
KR
South Korea
Prior art keywords
light
scene
transmitter
depth sensing
sensing device
Prior art date
Application number
KR1020167035279A
Other languages
English (en)
Other versions
KR102376285B1 (ko
Inventor
세르지우 라두 고마
칼린 미트코브 아타나소브
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20170017927A publication Critical patent/KR20170017927A/ko
Application granted granted Critical
Publication of KR102376285B1 publication Critical patent/KR102376285B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/38—Releasing-devices separate from shutter
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/21—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/38—Transmitter circuitry for the transmission of television signals according to analogue transmission standards
    • H04N5/40—Modulation circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2206/00—Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Exposure Control For Cameras (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Stroboscope Apparatuses (AREA)
  • Shutters For Cameras (AREA)

Abstract

양태들은 객체의 심도 정보를 포함하는 이미지를 캡처하기 위한 심도 센싱 시스템에 관한 것이다. 하나의 실시형태에서, 객체의 심도 정보를 포함하는 이미지를 캡처하기 위한 다수의 심도 센싱 디바이스들과 함께 이용하기 위한 심도 센싱 디바이스는 근적외선 광 빔을 생성할 수 있는 레이저를 포함하는 근적외선 송신기, 레이저, 회절 광학 엘리먼트, 및 콜리메이팅 렌즈로부터 방출된 광 빔을 수신하도록 위치된 회절 광학 엘리먼트, 및 상대적인 위치에서 송신기에 결합된 근적외선 수신기를 포함하고, 수신기는 수신된 광의 이미지를 생성할 수 있는 센서 어셈블리를 포함하고, 심도 센싱 디바이스는 심도 센싱 디바이스와 통신하는 디바이스들의 2 개 이상의 송신기-수신기 쌍들의 다른 것 중의 임의의 것과는 상이한 시간 주기 동안에 근적외선 광 빔들을 송신하고 수신하도록 구성된다.

Description

시간 공유를 이용한 자동적인 다수의 심도 카메라들 동기화{AUTOMATIC MULTIPLE DEPTH CAMERAS SYNCHRONIZATION USING TIME SHARING}
본 개시물은 심도 카메라 (depth camera) 들을 포함하는 이미징 시스템들 및 방법들에 관한 것이다. 특히, 개시물은 다수의 심도 카메라들이 간섭 없이 동시에 이용되는 것을 가능하게 하는 시스템들 및 방법들에 관한 것이다.
능동 센싱 (active sensing) 은 3 차원 모델들을 결정하기 위하여 이용될 수 있다. 능동 센싱 시스템들은 예를 들어, 비행-시간 (time-of-flight) 시스템들 및 구조화된 광 (structured light) 시스템들을 포함한다. 객체의 3 차원 (three dimensional; 3D) 모델을 추출하기 위하여, 다수의 능동 센싱 디바이스들이 이용될 수도 있다. 심도 센싱 시스템 (또한, 심도 카메라들로서 지칭됨) 의 일부 실시형태들은 비가시적인 IR 구조화된 광 패턴을 환경으로 그리고 객체 상으로 투영하기 위하여 적외선 (infra-red; IR) 송신기를 이용한다. IR 방사선 (radiation) 은 객체로부터 반사되고, 심도 센싱 시스템의 IR 센서 또는 카메라에 의해 검출된다. 환경 내의 객체들은 광원에 비해 비-축 (off-axis) 인 카메라에 의해 보여지는 바와 같은 구조화된 광 패턴들에서 왜곡들을 야기시키고, 이 왜곡들은 장면에 대한 심도 정보를 분석하기 위하여 이용될 수 있다.
단일 카메라를 가지는 심도 센싱 시스템은 심도 카메라에 근접한 객체가 환경의 많은 부분을 가릴 수도 있도록, 제한된 관측 시야 (field of view) 를 가지고 단일 시점 (viewpoint) 으로부터의 심도 정보를 제공한다. 맵핑될 수 있는 환경의 영역을 확장하는 하나의 해결책은 하나를 초과하는 IR 심도 카메라를 이용하는 것이다. 이것은 상이한 관점들로부터의 장면의 뷰 (view) 들을 제공하고, 객체의 360 도 모델이 형성되는 것을 가능하게 한다. 그러나, 어떤 구성들에서는, 능동 센싱 (active sensing) 에서 이용된 다수의 디바이스들이 서로 간섭할 수도 있다. 게다가, 구조화된 광 패턴들이 중첩할 경우, 각각의 IR 심도 카메라의 정확도가 열화된다.
따라서, 이 쟁점들을 극복하는 심도 센싱 시스템들을 가지는 것이 유리할 것이다. 이하에서 설명된 실시형태들은 알려진 IR 심도 카메라 시스템들의 단점들 중의 임의의 것 또는 전부를 해결하는 구현예들로 제한되지는 않는다.
심도 센싱은 전형적으로 더 낮은 이미징 해상도들에서 행해진다. 그러나, 이미징 애플리케이션에서 이용되는 이미징 디바이스들 (광원/수신기) 의 수가 더 높을수록, 일반적으로, 복원된 3D 모델의 잠재적인 품질이 더 양호하다. 심도 센싱을 위하여 이용된 기술들 (예컨대, 구조화된 광 또는 비행-시간 (TOF)) 에 대하여, 다수의 심도 이미징 디바이스들 (예를 들어, 각각의 디바이스는 광원 (예를 들어, 레이저) 및 이미징 디바이스 (예를 들어, 카메라) 를 포함함) 을 이용할 때, 개별적인 심도 이미징 디바이스는 예를 들어, 카메라들이 모두 동일할 때에 서로 간섭할 수 있다. 하나의 혁신에서, 광원에서의 레이저는 펄스화된 광 (패턴들) 을 생성하도록 제어될 수도 있다. 펄스의 기간들은 예를 들어, 레이저 피크 파워 (laser peak power) 에 기초하여 조절될 수도 있다. 특정한 프레임 레이트가 희망될 경우, 다수의 카메라들은 전체 프레임의 작은 부분에서 동시에 송신하고 수신함으로써 예를 들어, 1/프레임-레이트의 시간량을 공유할 수 있다. 다음으로, 이미지들은 다수의 심도 이미징 디바이스들 사이의 간섭 없이 객체의 3D 모델을 만들기 위하여 생성될 수도 있다.
하나의 혁신은 장면의 심도 정보를 포함하는 이미지를 캡처하기 위한, 그리고 적어도 하나의 다른 심도 센싱 디바이스를 포함하는 심도 센싱 시스템에서의 이용을 위한 심도 센싱 디바이스를 포함한다. 심도 센싱 디바이스는 장면 상에서 광을 투영할 수 있는 송신기로서, 송신기는 일련의 레이저 펄스들을 포함하는 광 빔을 생성할 수 있는 레이저를 포함하고, 각각의 펄스는 펄스 길이를 가지며 일련의 펄스들은 펄스 주파수에서 생성되는, 상기 송신기와, 알려진 상대적인 방위에서 송신기에 결합된 수신기로서, 수신기는 송신기에 의해 투영되고 장면으로부터 반사된 광을 센싱하는 것에 기초하여 이미지를 생성할 수 있는 셔터 (shutter) 및 센서 어셈블리를 포함하는, 상기 수신기를 포함한다. 심도 센싱 시스템은 프로세서를 포함하는 제어기를 더 포함하고, 제어기는 송신기 및 수신기에 결합되고, 제어기는, 수신기를 이용하여 장면에서의 광의 존재를 결정하고, 일련의 레이저 펄스들의 펄스 길이를 제어하고, 장면 상에서 광을 투영하도록, 그리고 장면으로부터 반사된 광을 센싱하는 것을 시작하기 위하여 수신기를 작동시키도록, 노출 윈도우 (exposure window) 동안에 송신기가 작동되는 상기 노출 윈도우가 언제 시작되는지를 제어하도록 구성되고, 노출 윈도우의 시작 및 펄스 길이는 적어도 하나의 다른 심도 센싱 디바이스로부터의 장면 상의 광의 결정된 존재에 기초하여 제어되므로, 노출 윈도우는 시스템에서의 적어도 하나의 다른 심도 센싱 디바이스들 중의 임의의 다른 것이 장면을 조명하고 있을 때와는 시간적으로 상이하다. 하나의 양태에서, 레이저는 근적외선 (near infrared; NIR) 광 빔을 생성할 수 있고, 송신기는 레이저로부터 방출된 NIR 광 빔을 수신하도록 위치된 광학 엘리먼트를 더 포함하고, 광학 엘리먼트는 NIR 광 빔이 광학 엘리먼트를 통해 전파할 때에 알려진 구조화된 광 패턴을 생성하도록 구성된 복수의 특징부들을 포함하고, 제어기는 NIR 수신기를 이용하여 장면에서 구조화된 광 패턴을 표시하는 NIR 광의 존재를 결정하도록 추가로 구성된다. 또 다른 양태에서, 제어기는, 장면 상에서 구조화된 광 패턴을 투영하기 위하여 송신기를 작동시키고, 제어기가 장면 상에서 존재하는 구조화된 광 패턴을 표시하는 NIR 광이 없는 것으로 결정할 경우에 NIR 광 빔의 펄스 길이와 동기화되도록 하기 위하여 셔터를 조절하도록 추가로 구성된다. 또 다른 양태에서, 제어기는, 제어기가 장면 상에서 구조화된 광 패턴을 표시하는 NIR 광의 존재를 결정할 경우에 지연 주기 동안에 NIR 광 빔을 생성하는 것으로부터 송신기를 지연시키고, 지연 주기의 종료 시에, 장면 상에서 구조화된 광 패턴을 표시하는 NIR 광의 존재에 대하여 다시 검사하도록 추가로 구성된다.
또 다른 양태에서, 복수의 특징부들은 복수의 회절 광학 특징부들을 포함한다. 또 다른 양태에서, 송신기는 비행-시간 (TOF) 송신기를 포함한다. 또 다른 양태에서, 셔터는 롤링 셔터 (rolling shutter) 를 포함하고, 노출 시간 동안, 제어기는 장면이 송신기에 의해 투영된 광에 의해 조명될 때에 장면을 가로질러 스캔하기 위하여 롤링 셔터를 작동시킨다. 또 다른 양태에서, 제어기는 적어도 하나의 다른 디바이스 또는 또 다른 동기화 시스템과 통신하지 않으면서, 노출 윈도우를 결정하도록 구성된다. 또 다른 양태에서, 제어기는, 송신기가 적어도 하나의 심도 센싱 디바이스 중의 임의의 다른 것이 장면을 조명하고 있을 때와는 시간적으로 상이한 노출 윈도우 동안에 광을 장면 상으로 투영하도록, 장면에서의 광의 결정된 존재에 기초하여 펄스 주파수를 조절하도록 추가로 구성된다.
또 다른 혁신은 적어도 2 개의 심도 센싱 디바이스들을 포함하는 심도 센싱 시스템에서 장면의 심도 정보를 포함하는 이미지를 캡처하기 위한 심도 센싱 디바이스 상에서 동작하는 방법을 포함하고, 방법은 센서를 이용하여 장면으로부터 반사된 광을 검출하는 것을 포함하고, 광은 심도 센싱 디바이스에 의해 조명되는 장면을 표시한다. 장면으로부터의 광이 검출되지 않을 경우, 방법은 노출 윈도우 동안에 장면 상에서 광을 투영하기 위하여 심도 센싱 디바이스의 송신기를 작동시킬 수도 있고, 노출 시간 동안에 광의 반사로부터 정보를 캡처하기 위하여 심도 센싱 디바이스의 셔터를 작동시킬 수도 있고, 투영된 광은 펄스 길이 및 펄스 주파수를 가지는 일련의 펄스들을 포함한다. 장면으로부터의 광이 검출될 경우, 방법은 심도 센싱 디바이스의 셔터를 검출된 레이저 펄스 길이로 조절할 수도 있고, 장면으로부터 광을 다시 센싱할 수도 있다. 광이 다시 검출될 경우, 방법은 노출 윈도우 동안에 심도 센싱 디바이스의 송신기가 장면 상에서 광을 투영하고 심도 센싱 디바이스의 셔터가 장면으로부터의 광의 반사로부터 정보를 캡처하는 상기 노출 윈도우의 시작을 지연시킬 수 있고, 광이 장면 상에서 존재할 경우에 센싱을 반복적으로 반복시킬 수 있고, 광이 검출되지 않을 때까지 노출 윈도우의 시작을 지연시킬 수 있다. 장면으로부터의 광이 검출되지 않을 경우, 방법은 노출 윈도우 동안에 송신기 및 수신기를 작동시킬 수 있고, 일련의 펄스들로 장면 상에서 광을 투영할 수 있고, 일련의 펄스들은 펄스 주파수를 가지며 각각의 펄스는 펄스 길이를 가지고, 수신기를 이용하여 장면으로부터 광 투영된 광을 검출할 수 있다. 방법의 하나의 양태에서, 송신기는 근적외선 (NIR) 광 빔을 생성하고, 송신기는 레이저로부터 방출된 NIR 광 빔을 수신하도록 위치된 광학 엘리먼트를 포함하고, 광학 엘리먼트는 NIR 광 빔이 광학 엘리먼트를 통해 전파할 때에 알려진 구조화된 광 패턴을 생성하도록 구성된 복수의 특징부들을 포함하고, 장면으로부터 광을 검출하는 것은 수신기를 이용하여 장면에서 구조화된 광 패턴을 표시하는 NIR 광의 존재를 검출하는 것을 포함한다. 방법의 하나의 양태에서, 제어기는 적어도 하나의 다른 디바이스 또는 또 다른 동기화 시스템과 통신하지 않으면서 노출 윈도우를 결정한다. 또 다른 양태에서, 방법은, 송신기가 적어도 하나의 심도 센싱 디바이스 중의 임의의 다른 것이 장면을 조명하고 있을 때와는 시간적으로 상이한 노출 윈도우 동안에 광을 장면 상으로 투영하도록, 장면에서의 광의 결정된 존재에 기초하여 펄스 주파수를 조절할 수 있다.
또 다른 혁신은 장면의 심도 정보를 포함하는 이미지를 캡처하기 위한, 그리고 적어도 하나의 다른 심도 센싱 디바이스를 포함하는 심도 센싱 시스템에서의 이용을 위한 근적외선 (NIR) 심도 센싱 디바이스를 포함한다. 심도 센싱 디바이스는 장면 상에서 NIR 구조화된 광 패턴을 투영할 수 있는 NIR 송신기로서, NIR 송신기는 펄스 길이를 가지는 NIR 광 빔을 생성할 수 있는 레이저를 포함하는, 상기 NIR 송신기와, 레이저로부터 방출된 NIR 광 빔을 수신하도록 위치된 광학 엘리먼트로서, 광학 엘리먼트는 NIR 광 빔이 광학 엘리먼트를 통해 전파할 때에 알려진 구조화된 광 패턴을 생성하도록 구성된 복수의 특징부들을 포함하는, 상기 광학 엘리먼트를 포함한다. 심도 센싱 디바이스는 또한, 알려진 상대적인 방위에서 NIR 송신기에 결합된 NIR 수신기로서, NIR 수신기는 장면에서 센싱된 NIR 구조화된 광 패턴으로부터 이미지를 생성할 수 있는 셔터 및 센서 어셈블리를 포함하는, 상기 NIR 수신기와, 프로세서를 포함하는 제어기로서, 제어기는 NIR 송신기 및 NIR 수신기에 결합되고, 제어기는 NIR 수신기를 이용하여 NIR 광의 존재를 결정하도록 구성되고, 제어기는, NIR 송신기를 작동시키며 구조화된 광 패턴으로 장면을 조명하고, 장면으로부터의 구조화된 광 패턴의 반사로부터 정보를 캡처하기 위하여 노출 시간 동안에 셔터를 작동시키기 위한 시간을 결정하도록 추가로 구성되고, 송신기를 작동시키고 셔터를 작동시키기 위한 시간은, 송신기 및 셔터가 시스템에서의 적어도 하나의 다른 심도 센싱 디바이스들 중의 임의의 다른 것이 NIR 광으로 장면을 조명하고 있을 때와는 상이한 시간 주기 동안에 작동되도록, 장면에서의 NIR 광의 결정된 존재에 기초하는, 상기 제어기를 포함할 수 있다. 일부 실시형태들에서, 제어기는, 구조화된 광 패턴을 투영하기 위하여 송신기를 작동시키고, 제어기가 장면 상에서 존재하는 NIR 광이 없는 것으로 결정할 경우에 NIR 광의 펄스 길이와 동기화되도록 하기 위하여 셔터를 조절하도록 추가로 구성된다. 일부 실시형태들에서, 제어기는, 제어기가 (장면 상에서 구조화된 광 패턴을 표시하는) NIR 광의 존재를 결정할 경우에 지연 주기 동안에 NIR 광 빔을 생성하는 것으로부터 NIR 송신기를 지연시키고, 지연 주기의 종료 시에, 장면 상에서 구조화된 광 패턴을 표시하는 NIR 광의 존재에 대하여 다시 검사하도록 추가로 구성된다.
또 다른 혁신은 장면의 심도 정보를 포함하는 이미지를 캡처하기 위한, 그리고 적어도 하나의 다른 심도 센싱 디바이스를 포함하는 심도 센싱 시스템에서의 이용을 위한 심도 센싱 디바이스를 포함한다. 일부 실시형태들에서, 심도 센싱 디바이스는 장면 상에서 광을 투영하기 위한 수단으로서, 광 투영 수단은 일련의 레이저 펄스들을 포함하는 레이저 광 빔을 생성하도록 구성되고, 각각의 펄스는 펄스 길이를 가지며 일련의 펄스들은 펄스 주파수에서 생성되는, 상기 광을 투영하기 위한 수단과, 알려진 상대적인 방위에서 투영 수단에 결합된 광을 수신하기 위한 수단으로서, 광 수신 수단은 광 투영 수단에 의해 투영되고 장면으로부터 반사된 광을 검출하는 것에 기초하여 이미지를 생성하도록 구성되는, 상기 광을 수신하기 위한 수단을 포함한다. 디바이스는 또한, 투영 수단 및 광 수신 수단에 결합된 제어하기 위한 수단을 포함할 수도 있고, 제어 수단은 광 수신 수단을 이용하여 장면에서의 광의 존재를 결정하고, 일련의 레이저 펄스들의 펄스 길이를 제어하고, 장면 상에서 광을 투영하도록, 그리고 장면으로부터 반사된 광을 센싱하는 것을 시작하기 위하여 광 수신 수단을 작동시키도록, 노출 윈도우 동안에 광 투영 수단이 작동되는 상기 노출 윈도우가 언제 시작되는지를 제어하도록 구성되고, 노출 윈도우의 시작 및 펄스 길이는 적어도 하나의 다른 심도 센싱 디바이스로부터의 장면 상의 광의 결정된 존재에 기초하여 제어되므로, 노출 윈도우는 시스템에서의 적어도 하나의 다른 심도 센싱 디바이스들 중의 임의의 다른 것이 장면을 조명하고 있을 때와는 시간적으로 상이하다.
다양한 다른 특징부들이 또한, 상이한 구현예들 내에 포함될 수도 있다. 심도 센싱 디바이스의 일부 실시형태들에서, 광 투영 수단은 레이저를 포함하는 송신기를 포함한다. 광 수신 수단은 광 투영 수단에 의해 투영되고 장면으로부터 반사된 광을 센싱하는 것에 기초하여 이미지를 생성할 수 있는 셔터 및 센서 어셈블리를 포함하는 수신기를 포함할 수도 있다. 제어 수단은 적어도 하나의 프로세서를 포함할 수도 있다. 다양한 실시형태들에서, 레이저는 근적외선 (NIR) 광 빔을 방출할 수 있고, 광 투영 수단은 레이저로부터 방출된 NIR 광 빔에 의해 조명되도록 위치된 광학 엘리먼트를 포함하는 송신기를 포함하고, 광학 엘리먼트는 NIR 광 빔이 광학 엘리먼트를 통해 전파할 때에 알려진 구조화된 광 패턴을 생성하도록 구성된 복수의 특징부들을 포함하고, 제어 수단은 NIR 수신기를 이용하여 장면에서 구조화된 광 패턴을 표시하는 NIR 광의 존재를 결정하도록 구성된 제어기를 포함한다. 복수의 특징부들은 복수의 회절 광학 특징부들을 포함할 수도 있다. 송신기는 비행-시간 (TOF) 송신기를 포함할 수도 있다. 제어기는, 장면 상에서 구조화된 광 패턴을 투영하기 위하여 송신기를 작동시키고, 제어기가 장면 상에서 존재하는 구조화된 광 패턴을 표시하는 NIR 광이 없는 것으로 결정할 경우에 NIR 광 빔의 펄스 길이와 동기화되도록 하기 위하여 셔터를 조절하도록 추가로 구성될 수도 있다. 제어기는, 제어기가 장면 상에서 구조화된 광 패턴을 표시하는 NIR 광의 존재를 결정할 경우에 지연 주기 동안에 NIR 광 빔을 생성하는 것으로부터 송신기를 지연시키고, 지연 주기의 종료 시에, 장면 상에서 구조화된 광 패턴을 표시하는 NIR 광의 존재에 대하여 다시 검사하도록 추가로 구성될 수도 있다. 수신하기 위한 수단은 롤링 셔터를 포함할 수도 있고, 노출 시간 동안, 제어기는 장면이 송신기에 의해 투영된 광에 의해 조명될 때에 장면을 가로질러 스캔하기 위하여 롤링 셔터를 작동시킨다. 제어 수단은 적어도 하나의 다른 디바이스 또는 또 다른 동기화 시스템과 통신하지 않으면서, 노출 윈도우를 결정하도록 구성될 수도 있다. 제어기는, 송신기가 적어도 하나의 심도 센싱 디바이스 중의 임의의 다른 것이 장면을 조명하고 있을 때와는 시간적으로 상이한 노출 윈도우 동안에 광을 장면 상으로 투영하도록, 장면에서의 광의 결정된 존재에 기초하여 펄스 주파수를 조절하도록 추가로 구성될 수도 있다.
또 다른 혁신은 명령들을 실행하기 위하여 적어도 하나의 프로세서를 제어하는 비-일시적 명령들을 포함하는 컴퓨터 판독가능 매체를 포함하고, 방법은, 센서를 이용하여 장면으로부터 반사된 광을 검출하는 단계로서, 광은 심도 센싱 디바이스에 의해 조명되는 장면을 표시하는 상기 반사된 광을 검출하는 단계, 장면으로부터의 광이 검출되지 않을 경우, 노출 윈도우 동안에 장면 상에서 광을 투영하기 위하여 심도 센싱 디바이스의 송신기를 작동시키고, 노출 시간 동안에 광의 반사로부터 정보를 캡처하기 위하여 심도 센싱 디바이스의 셔터를 작동시키는 단계로서, 투영된 광은 펄스 길이 및 펄스 주파수를 가지는 일련의 펄스들을 포함하는, 상기 심도 센싱 디바이스의 송신기를 작동시키고 상기 심도 센싱 디바이스의 셔터를 작동시키는 단계, 장면으로부터의 광이 검출될 경우, 심도 센싱 디바이스의 셔터를 검출된 레이저 펄스 길이로 조절하고 장면으로부터 광을 다시 센싱하는 단계, 광이 다시 검출될 경우, 노출 윈도우 동안에 심도 센싱 디바이스의 송신기가 장면 상에서 광을 투영하고 심도 센싱 디바이스의 셔터가 장면으로부터의 광의 반사로부터 정보를 캡처하는 상기 노출 윈도우의 시작을 지연시키고, 광이 장면 상에 존재할 경우에 센싱을 반복적으로 반복시키고, 광이 검출되지 않을 때까지 노출 윈도우의 시작을 지연시키는 단계, 및 장면으로부터의 광이 검출되지 않을 경우, 노출 윈도우 동안에 송신기 및 수신기를 작동시키고, 일련의 펄스들로 장면 상에서 광을 투영시키는 것으로서, 일련의 펄스들은 펄스 주파수를 가지고 각각의 펄스는 펄스 길이를 가지는, 상기 일련의 펄스들로 장면 상에서 광을 투영시키고, 수신기를 이용하여 장면으로부터 광 투영된 광을 검출하는 단계를 포함한다. 송신기가 근적외선 (NIR) 광 빔을 생성하는 일부 실시형태들에서, 송신기는 레이저로부터 방출된 NIR 광 빔을 수신하도록 위치된 광학 엘리먼트를 포함하고, 광학 엘리먼트는 NIR 광 빔이 광학 엘리먼트를 통해 전파할 때에 알려진 구조화된 광 패턴을 생성하도록 구성된 복수의 특징부들을 포함하고, 장면으로부터 광을 검출하는 것은 수신기를 이용하여 장면에서 구조화된 광 패턴을 표시하는 NIR 광의 존재를 검출하는 것을 포함한다.
개시된 양태들은 유사한 호칭들이 유사한 엘리먼트들을 나타내는, 개시된 양태들을 제한하는 것이 아니라 예시하도록 제공된, 첨부된 도면들 및 첨부들과 함께 이하에서 설명될 것이다.
도 1 은 객체의 심도, 예를 들어, 3 차원 (three-dimensional; 3D) 토포그래피 (topography) 를 센싱하기 위하여 능동 광 센싱을 위한 다수의 시스템들을 포함하는 시스템의 예를 예시하는 도면이다.
도 2 는 예를 들어, 도 1 에서 예시된 구조화된 광 송신기일 수도 있는 구조화된 광 송신기의 예를 예시하는 도면이다.
도 3 은 "방사선 수신기", "센서", 또는 간단하게 "수신기" 로서 또한 지칭될 수도 있는 카메라의 예를 예시하는 도면이다.
도 4 는 펄스화된 광 출력 및 카메라 노출 윈도우 (예를 들어, 센서를 방사선에 노출하기 위한 시간의 기간) 를 가지도록 각각 구성되는 3 개의 광원/카메라 이미징 디바이스들의 예를 예시하는 도면이고, 각각의 디바이스의 펄스화된 광 출력 및 카메라 노출 윈도우들은 다른 디바이스들의 펄스 광 출력 및 카메라 노출 윈도우와는 상이한 시간에서 발생한다.
도 5 는 펄스화된 광 출력 및 카메라 노출 윈도우 (시간의 기간) 를 가지도록 각각 구성되는 3 개의 광원/카메라 이미징 디바이스들의 예를 예시하고, 여기서, 카메라들 중의 하나 이상은 글로벌 셔터를 가지지 않고 (예를 들어, 롤러 셔터 카메라들) 카메라들은 (예를 들어, 더 낮은 프레임 레이트로) 여전히 시간 스위칭될 수도 있거나 제어될 수도 있다.
도 6 은 객체의 3D 모델을 생성하기 위한 이미지들을 생성함에 있어서 적어도 하나의 다른 심도 센싱 디바이스와 상호작용하기 위하여 심도 센싱 디바이스를 추가하기 위한, 그리고 예를 들어, 본원에서 개시된 디바이스들 중의 하나 이상에 의해 수행될 수 있는 프로세스 흐름도이다.
도 7 은 본원에서 개시된 시스템들 또는 다른 시스템들 중의 하나 이상에 의해 수행될 수도 있는, 다수의 심도 센싱 카메라들을 조정하기 위한 방법을 예시하는 프로세스 흐름도이다.
다음의 설명에서는, 예들의 철저한 이해를 제공하기 위하여 특정 세부사항들이 주어진다. 그러나, 예들은 이 특정 세부사항들 없이 실시될 수도 있고, 본원에서 설명되고 청구된 실시형태들의 범위에 있어서 유지하면서, 설명된 예들보다 더 많은 특징들 또는 더 적은 특징들을 포함할 수도 있다.
본원에서 개시된 구현예들은 객체의 3D 모델을 형성하기 위하여 이용될 수 있는, 이미지들을 생성하기 위한 시스템들, 방법들, 및 장치를 제공한다. 이러한 이미지들을 생성하기 위한 능동 센싱을 이용하는 것은 지난 몇 년 내에 매우 보편적으로 되었다. 객체 3D 모델을 추출하기 위하여, 다수의 능동 센싱 디바이스들/시스템들은 예를 들어, 다수의 능동 센싱 디바이스들에 의해 생성된 이미지들이 요약하면, 전체 장면 또는 객체의 심도 정보를 포함하도록, 객체 또는 장면을 둘러싸는 배열에서 이용되었다. 객체의 3D 모델을 결정하기 위하여, 객체의 상이한 시점들을 가지는 다수의 이미지들이 수집된다. 다수의 이미지들의 포스트-프로세싱은 3D 모델을 생성할 수 있다. 포스트-프로세싱은 충분하게 고속인 컴퓨터들 및 기법들이 다수의 이미지들의 포스트 프로세싱을 위하여 채용될 경우에 실시간에 근접할 수도 있다. 심도 센싱 이미징은 상대적으로 더 낮은 해상도에서 행해질 수도 있으므로, 심도 정보를 갖는 이미지들을 생성하기 위하여 이용되는 디바이스들의 수가 더 높을수록, 이미지들을 이용하여 만들어지는 복원된 3D 모델의 품질이 더 양호하다. 따라서, 다수의 이미징 시스템들을 이용하는 것이 바람직할 수 있다.
능동 (심도) 센싱 시스템들의 예들은 구조화된 광 시스템들 및 비행-시간 (TOF) 시스템들을 포함하지만, 이것으로 제한되지는 않는다. 구조화된-광 3D 이미징 시스템들 (때때로 "카메라들" 로서 본원에서 지칭됨) 은 객체 상에서 광의 패턴을 투영할 수도 있고, 객체 상에서 패턴의 변형을 볼 수도 있다. 즉, 이들은 투영 컴포넌트 (또는 송신기) 및 수신기 컴포넌트를 포함한다. 패턴은 안정된 광원을 이용하여 객체 상으로 투영된다. 패턴 투영기로부터 약간 오프셋되고 패턴의 지식을 가지는 이미징 시스템 (예를 들어, 카메라) 은 투영된 패턴으로부터 광을 수신하고, 패턴의 형상으로부터, 관측 시야에서의 포인트들의 거리를 결정한다. TOF 시스템 (또는 카메라) 은 광의 알려진 속력에 기초하여 거리를 분석하여, 이미지의 포인트들에 대하여, 카메라와 장면/객체 사이, 그리고 다시 카메라까지의 광 신호의 비행의 시간을 측정하는 범위 이미징 시스템이다. 다양한 TOF 시스템들은 장면 또는 객체를 조명하기 위하여 자외선, 가시광선, 또는 근적외선 (NIR) 광을 이용할 수도 있고, 그것은 폭넓게 다양한 재료들과 함께 이용될 수 있다. 개별적인 심도 카메라들의 송신들은 서로 간섭할 수도 있다.
효율성을 위하여, 다수의 이미지들을 동시에 수집하는 것이 유리할 수 있다. 그러나, 심도 센싱을 위한 기술이 구조화된 광인지, TOF 인지, 또는 또 다른 기술인지 여부에 관계 없이, 다수의 송신기들을 이용하는 것은 시스템들 사이의 간섭을 야기시킬 수 있어서, 각각의 시스템이 또 다른 시스템이 수신할 수도 있는 광을 방출하고 있으므로, 카메라들에 의해 생성된 이미지들에 있어서 수차 (aberration) 들을 야기시킬 수 있다. 일부 시스템들에서는, 광의 패턴을 생성하기 위하여 이용된 레이저 광원이 일정하게 방출하고 있다. 이하에서 설명된 바와 같이, 다수의 송신기/수신기 쌍들을 이용하는 시스템들에서는, 각각의 심도 센싱 시스템 (예를 들어, 송신기/수신기 쌍) 이 레이저가 펄스화되도록 구성될 수도 있고, 펄스의 기간은 다수의 송신기/수신기 쌍들이 상이한 광 펄스/카메라 노출 시간들을 가지도록 (예를 들어, 레이저 피크 파워에 기초하여) 조절될 수 있다. 특정한 프레임 레이트가 희망될 경우, 다수의 카메라들은 이하에서 예시된 바와 같은 1/프레임-레이트의 시간 퀀트 (quant) 를 공유할 수 있다 (이 특정한 예에 대하여, 글로벌 셔터 카메라들이 고려됨). 심도 센싱 시스템의 광원 ("레이저" 로서 집합적으로 지칭된 광원들) 은 그것이 작동될 때에 광을 일정하게 방출하고 있을 수도 있다. 일부 실시형태들에서, 레이저는 어떤 폭의 광의 펄스들을, 그리고 어떤 시간에서 방출하기 위하여 제어될 수도 있다. 카메라 노출 윈도우는 레이저 펄스의 주기 동안에 방사선을 수신하기 위하여 이에 대응하여 제어될 수도 있다. 이하에서 더욱 상세하게 설명된 바와 같이, 다수의 심도 센싱 시스템들이 함께 이용될 때, 각각의 심도 센싱 시스템에서의 레이저들의 펄스들은 상이한 시간들에서 펄스들을 생성하기 위하여 제어될 수 있다. 각각의 심도 센싱 시스템에서의 연관된 카메라는 레이저 펄스 시간 동안에 노출 윈도우를 가지도록 이에 대응하여 제어된 제어기일 수 있다.
본원에서 설명된 실시형태들의 장점들 중의 일부는, 동일한 타입의 디바이스가 단일 및 다수의 심도 카메라 디바이스 센싱을 위하여 이용될 수 있다는 것, 디바이스 하드웨어 (예를 들어, 카메라 또는 송신기) 에 있어서의 변경들이 없다는 것, 송신기-카메라 동기화를 구현하기가 용이한 것, 사용자 투명한 인터-카메라 동기화, 및 임의적인 수의 카메라들이 추가될 수 있다는 것을 포함한다. 객체의 심도 정보를 수집하기 위하여 다수의 송신기/수신기 쌍들을 이용하는 일부 실시형태들에서, 각각의 송신기/수신기 쌍은 패턴을 투영하고 상이한 캐리어 주파수의 광을 수신하도록 구성될 수도 있고, 이것은 카메라들 사이의 간섭을 최소화하거나 방지할 것이다.
도 1 은 하나 이상의 객체들을 포함하는 장면의 심도, 예를 들어, 3 차원 (3D) 토포그래피를 센싱하기 위하여 능동 광 센싱을 위한 다수의 시스템들을 포함하는 시스템의 예를 예시하는 도면이다. 도 1 에서 예시된 실시형태에서, 시스템은 상이한 시점들로부터 IR 방사선으로 객체 (135) 를 조명하기 위하여, 예를 들어, 관심 있는 객체 (객체) (135) 를 둘러싸고 객체 (135) 의 모든 표면들로부터 광을 조명하고 수신하기 위하여, 객체 (135) 를 향해 지시된 4 개의 심도 센싱 시스템들 (예를 들어, 송신기 (100a 내지 100d) / 수신기 (200a 내지 200d) 시스템들) 을 포함한다. 일부 실시형태들에서는, 4 개를 초과하는 송신기/수신기 쌍들이 이용될 수도 있거나, 더 적은 것이 이용될 수도 있다. 예를 들어, 심도 센싱 시스템 (100a) 은 객체 (135) 를 조명하기 위하여 구조화된 광 (105a) 을 제공하고, 그 다음으로, 객체 (135) 로부터 반사된 (반사된) 구조화된 광 (110) 을 검출한다. 일부 실시형태들에서는, 4 개를 초과하는 송신기/수신기 쌍들이 이용될 수도 있거나, 더 적은 것이 이용될 수도 있다. 이 실시형태에서, 각각의 심도 센싱 시스템 (또는 카메라) (100a 내지 100d) 은 구조화된 광 송신기 (200) 를 포함한다. 송신기 (200) 의 예는 도 2 를 참조하여 추가로 설명된다. 각각의 심도 센싱 시스템 (100a 내지 100d) 은 또한, 수신기 (300) 를 포함할 수도 있다. 수신기 (300) 의 예는 도 3 을 참조하여 추가로 설명된다.
다양한 심도 센싱 시스템들이 이용될 수도 있다. 배열에서의 심도 센싱 디바이스들의 각각은 구조화된 광 송신기, 비행-시간 (TOF) 송신기, 또는 또 다른 조명 소스를 포함할 수도 있다. 다양한 실시형태들에서, 각각의 심도 센싱 디바이스의 조명 소스는 자외선, 가시광선, 또는 적외선 (infra-red; IR), 또는 근적외선 (NIR) 조명을 생성하도록 구성될 수도 있다. 일부 실시형태들에서, 각각의 심도 센싱 시스템 (100a 내지 100d) 은 광 패턴을 생성하기 위하여 광학적으로 조작되는 근적외선 (NIR) 광 빔을 생성하는 레이저를 포함할 수도 있고, 광 패턴은 객체 (135) 상에서 투영된다. 일반적으로, 근적외선 광은 700 나노미터를 초과하여 약 1 mm 까지인 광이다. 심도 센싱 시스템 (100) 은 파장들의 매우 좁은 스펙트럼에서, 예를 들어, 파장들의 약 1 내지 5 나노미터의 좁은 범위 내에서 NIR 빔을 생성하도록 구성될 수도 있다. 일부 실시형태들에서, 송신기/수신기 시스템들의 각각은, 다수의 디바이스들이 서로 간섭하지 않도록 상이한 NIR 캐리어 주파수 (또는 NIR 캐리어 주파수들의 매우 좁은 범위) 를 투영하고 수신한다. 그리고 각각의 구성에서, 쌍을 이룬 디바이스들의 각각은 상이한 NIR 캐리어 주파수를 송신하고 수신할 수도 있다.
상기 설명된 시스템의 장점은 다수의 심도 카메라 시스템들의 더욱 간단한 설계를 포함한다. 무시가능한 (또는 전혀 없는) 간섭은 이 실시형태에 의해 달성될 수 있다. 또한, 이러한 시스템들에 있어서는, 대역 통과 필터의 대역폭을 조작함으로써 간섭 대 잡음을 제어하는 것이 상대적으로 용이하다. 게다가, N 개의 카메라들을 갖는 시스템들을 설계하기 위하여 시스템을 스케일링하는 것은 간단하여, 상이한 캐리어 주파수들을 오직 정의할 필요가 있다. 일부 실시형태들에서, 양자의 송신기 및 수신기는 튜닝가능하고, 이러한 시스템들에서, 송신기들 및 수신기들은 비용을 낮출 수 있고 더욱 용이한 유지보수 및 수리를 허용할 수 있도록 동일하게 모두 설계될 수 있다.
심도 센싱 시스템 (100) 은 어떤 펄스 폭 및/또는 어떤 주파수의 광을 방출하기 위하여, 어떤 타이밍 기준들에 따라 광의 펄스들을 방출하기 위하여 레이저를 제어하는 제어기를 포함할 수도 있다. 게다가, 송신기는 프로세서를 포함할 수도 있는 통신 모듈을 포함할 수 있다. 통신 모듈 (예를 들어, 프로세서) 은 펄스 폭의 길이, 펄스 폭의 주파수, 및 광의 펄스를 언제 방출할 것인지를 조정하기 위하여 다른 디바이스들과 정보를 통신하도록 구성될 수도 있다. 심도 센싱 시스템의 이러한 컴포넌트들 및 다른 컴포넌트들은 도 2 (송신기) 및 도 3 (수신기) 을 참조하여 추가로 설명된다.
도 2 는 예를 들어, 도 1 에서 예시된 구조화된 광 송신기일 수도 있는 구조화된 광 송신기 (200) 의 예를 예시하는 도면이다. 구조화된 광 송신기 (200) 는 도 1 에서의 실시형태에서 예시된 바와 같이, 심도 센싱 시스템 (100) 의 하우징 내부에 포함될 수도 있다. 일부 실시형태들에서, 구조화된 광 송신기 (200) 는 심도 센싱 시스템에서 수신기 (300) 와 하우징된다. 일부 실시형태들에서, 구조화된 광 송신기 (200) 및 수신기 (300) 는 별도로 하우징되지만, 이들이 함께 하우징되는 심도 센싱 시스템과 동일한 기능성을 수행하도록 함께 근접하게 위치된다.
송신기 (200) 는 좁은 파장을 가지는 방사선을 생성하는 레이저 (210) 를 포함한다. 이 예에서, 레이저 (210) 는 근적외선 (NIR) 광 빔 (130) 을 생성한다. 송신기 (200) 는 또한, 광 빔 (230) 이 콜리메이팅 렌즈 (collimating lens) (215) 와, 그 다음으로, 회절 광학 엘리먼트 (220) 를 통과하도록 정렬된 콜리메이팅 렌즈 (215) 및 회절 광학 엘리먼트 (또는 마스크) (220) 를 포함한다. 회절 광학 엘리먼트 (220) 상의 회절 특징부들 (225) 은 객체 (135) 상으로 투영되는 광 패턴을 생성한다.
도 3 은 일부 실시형태들에 따라, 카메라 (300) (또는 수신기) 의 예를 예시하는 도면이다. 수신기 (300) 는 심도 센싱 디바이스에서 송신기 (예를 들어, 도 2 에서의 송신기 (200) 와 하우징될 수도 있다. 일부 실시형태들에서, 도 3 을 참조하여 설명된 컴포넌트들 중의 하나 이상은 송신기에 결합될 수 있고, 송신기의 기능성, 예를 들어, 송신기에 의해 생성된 레이저 펄스의 길이, 송신기로부터 레이저 펄스를 언제 방출할 것인지, 또는 송신기로부터 레이저 펄스를 방출하기 위한 주파수를 제어할 수 있다. 일부 실시형태들에서, 디바이스 (300) 는 구조화된 광 심도 센싱을 위하여 고의로 구성된 센싱 디바이스일 수도 있다. 일부 다른 실시형태들에서, 디바이스 (300) 는 비행 시간 (TOF) 시스템으로서 구성될 수도 있다. 다양한 실시형태들은 추가적인 컴포넌트들 또는 도 3 에서 예시된 것보다 더 적은 컴포넌트들, 또는 상이한 컴포넌트들을 가질 수도 있다.
도 3 은 이미지 센서 어셈블리 (315) 에 연결된 이미지 프로세서 (320), 및 트랜시버 (355) 를 포함하는 컴포넌트들의 세트를 가지는 디바이스 (300) (이미지 캡처 디바이스) 의 하이-레벨 블록도를 도시한다. 이미지 프로세서 (320) 는 또한, 작업 메모리 (305), 메모리 (330), 및 디바이스 프로세서 (350) 와 통신하고, 이 디바이스 프로세서 (350) 는 저장장치 (310) 및 전자 디스플레이 (325) 와 궁극적으로 통신한다. 일부 실시형태들에서, 디바이스 (300) 는 셀 전화, 디지털 카메라, 태블릿 컴퓨터, 개인 정보 단말, 또는 심도 센싱을 위하여 구체적으로 만들어진 하이-엔드 카메라 또는 이미징 시스템들일 수도 있다. 디바이스 (300) 는 전통적인 사진 및 비디오 애플리케이션들, 높은 동적 범위 (high dynamic range) 이미징, 파노라마 사진 및 비디오, 또는 3D 이미지들 또는 3D 비디오와 같은 입체 이미징을 위한 애플리케이션들을 포함할 수도 있다.
도 3 에서 예시된 예에서, 이미지 캡처 디바이스 (300) 는 외부 이미지들을 캡처하기 위한 이미지 센서 어셈블리 (315) 를 포함한다. 이미지 센서 어셈블리 (315) 는 센서, 렌즈 어셈블리, 및 타겟 이미지의 부분을 각각의 센서로 다시 보내기 위한 1 차 및 2 차 반사 또는 회절 표면을 포함할 수도 있다. 일부 실시형태들은 하나를 초과하는 센서를 가질 수도 있다. 이미지 센서 어셈블리는 캡처된 이미지를 이미지 프로세서로 송신하기 위하여 이미지 프로세서 (320) 에 결합될 수도 있다.
이미지 프로세서 (320) 는 이미지 데이터가 심도 정보를 포함할 경우에 장면의 전부 또는 부분들을 포함하는 수신된 이미지 데이터에 대한 다양한 프로세싱 동작들을 수행하도록 구성될 수도 있다. 이미지 프로세서 (320) 는 범용 프로세싱 유닛, 또는 이미징 애플리케이션들을 위하여 특수하게 설계된 프로세서일 수도 있다. 이미지 프로세싱 동작들의 예들은 크롭핑 (cropping), (예컨대, 상이한 해상도로의) 스케일링 (scaling), 이미지 스티칭 (image stitching), 이미지 포맷 변환, 컬러 보간, 컬러 프로세싱, 이미지 필터링 (예를 들어, 공간적 이미지 필터링), 렌즈 아티팩트 또는 결함 보정 등을 포함한다. 이미지 프로세서 (320) 는 일부 실시형태들에서, 복수의 프로세서들을 포함할 수도 있다. 어떤 실시형태들은 각각의 이미지 센서에 전용인 프로세서를 가질 수도 있다. 이미지 프로세서 (320) 는 하나 이상의 전용 이미지 신호 프로세서 (image singal processor; ISP) 들 또는 프로세서의 소프트웨어 구현예일 수도 있다.
도 3 에서의 예에서 도시된 바와 같이, 이미지 프로세서 (320) 는 메모리 (330) 및 작업 메모리 (305) 에 접속된다. 예시된 실시형태에서, 메모리 (330) 는 캡처 제어 모듈 (335), 센서 모듈 (340), 및 오퍼레이팅 시스템 (345) 을 저장한다. 이 모듈들은 하나 이상의 이미지들로부터 심도 정보를 결정하기 위한 다양한 이미지 프로세싱과, 디바이스 관리 태스크들을 수행하도록 디바이스 프로세서 (350) 의 이미지 프로세서 (320) 를 구성하는 명령들을 포함한다. 작업 메모리 (305) 는 메모리 (330) 의 모듈들 내에 포함된 프로세서 명령들의 작업 세트를 저장하기 위하여 이미지 프로세서 (320) 에 의해 이용될 수도 있다. 대안적으로, 작업 메모리 (305) 는 또한, 디바이스 (300) 의 동작 동안에 생성된 동적 데이터 (dynamic data) 를 저장하기 위하여 이미지 프로세서 (320) 에 의해 이용될 수도 있다.
디바이스 (300) 는 또한, 어떤 캐리어 주파수가 도 1 의 송신기 (100) 에 의해 생성된 예를 들어, 캐리어 주파수를 통과하는 것을 허용하도록 튜닝 (또는 구성) 되는 대역 통과 필터 (360) 를 포함할 수도 있다. 일부 실시형태들에서, 대역 통과 필터는 튜닝가능할 수도 있고, 예를 들어, 캡처 제어 모듈 (335) 에 의해, 몇몇 주파수들 중의 하나가 센서 어셈블리 (315) 를 통과하는 것을 허용하도록 제어될 수도 있다. 이것은 디바이스 (300) 가 송신기에 의해 이용된 주파수에 대응하는 캐리어 주파수로 튜닝되는 것을 허용할 것이고, 이것은 각각의 송신기/이미지 캡처 디바이스 (수신기) 쌍이 NIR 광의 상이한 캐리어 주파수를 투영하고 수신할 경우에 다수의 이미징 시스템 애플리케이션들을 용이하게 할 것이다.
위에서 언급된 바와 같이, 이미지 프로세서 (320) 는 메모리들에서 저장된 몇몇 모듈들에 의해 구성된다. 캡처 제어 모듈 (335) 은 이미징 센서 어셈블리 (315) 의 포커스 위치 (focus position) 를 조절하도록 이미지 프로세서 (320) 를 구성하는 명령들을 포함할 수도 있다. 캡처 제어 모듈 (335) 은 심도 정보를 가지는 이미지들을 캡처하는 것에 관련된 기능들을 포함하는 디바이스 (300) 의 전체적인 이미지 캡처 기능들을 제어하는 명령들을 더 포함할 수도 있다. 예를 들어, 캡처 제어 모듈 (335) 은 노출 시간을 증가시키거나 감소시키거나, 노출 윈도우의 시작 또는 종료 시간을 조절하기 위하여 센서 어셈블리의 셔터를 제어하는 명령들을 포함할 수도 있다. 캡처 모듈 (335) 은 단독으로, 또는 센서 제어 모듈 (340) 과 집합적으로, 센서 어셈블리 (315) 를 이용하여 장면의 심도 센싱 이미지들을 캡처하도록 이미지 프로세서 (320) 를 구성하기 위한 서브루틴 (subroutine) 들을 호출할 수도 있다. 캡처 제어 모듈 (335) 은 또한, 심도 센싱 디바이스의 송신기를 제어하기 위한 기능성을 포함할 수도 있다. 캡처 제어 모듈 (335) 은 또한, 예를 들어, 레이저 펄스를 방출하는 송신기와 조정하여, 그리고 다른 이미지 캡처 디바이스들과 조정하여, 이미지를 캡처하기 위하여 센서 어셈블리를 제어할 수도 있다.
센서 제어 모듈 (340) 은 캡처된 이미지 데이터에 대해 스티칭 및 크롭핑 기법들을 수행하도록 이미지 프로세서 (320) 를 구성하는 명령들을 포함할 수도 있다. 타겟 이미지 생성은 알려진 이미지 스티칭 기법들을 통해 발생할 수도 있다.
오퍼레이팅 시스템 모듈 (345) 은 디바이스 (300) 의 작업 메모리 (305) 및 프로세싱 자원들을 관리하도록 이미지 프로세서 (320) 를 구성한다. 예를 들어, 오퍼레이팅 시스템 모듈 (345) 은 이미징 센서 어셈블리 (315) 와 같은 하드웨어 자원들을 관리하기 위한 디바이스 드라이버 (device driver) 들을 포함할 수도 있다. 그러므로, 일부 실시형태들에서, 위에서 논의된 이미지 프로세싱 모듈들 내에 포함된 명령들은 이 하드웨어 자원들과 직접적으로 상호작용할 수도 있는 것이 아니라, 그 대신에, 오퍼레이팅 시스템 컴포넌트 (370) 에서 위치된 표준 서브루틴들 또는 API 들을 통해 상호작용할 수도 있다. 다음으로, 오퍼레이팅 시스템 (345) 내의 명령들은 이 하드웨어 컴포넌트들과 직접적으로 상호작용할 수도 있다. 오퍼레이팅 시스템 모듈 (345) 은 디바이스 프로세서 (350) 와 정보를 공유하도록 이미지 프로세서 (320) 를 추가로 구성할 수도 있다.
디바이스 프로세서 (350) 는 캡처된 이미지, 또는 캡처된 이미지의 프리뷰 (preview) 를 사용자에게 디스플레이하기 위하여 디스플레이 (325) 를 제어하도록 구성될 수도 있다. 디스플레이 (325) 는 이미징 디바이스 (300) 의 외부에 있을 수도 있거나, 이미징 디바이스 (300) 의 일부일 수도 있다. 디스플레이 (325) 는 또한, 이미지를 캡처하기 이전의 이용을 위한 프리뷰 이미지를 디스플레이하는 뷰 파인더 (view finder) 를 제공하도록 구성될 수도 있거나, 메모리 내에 저장되거나 사용자에 의해 최근에 캡처되는 캡처된 이미지를 디스플레이하도록 구성될 수도 있다. 디스플레이 (325) 는 LCD 또는 LED 스크린을 포함할 수도 있거나, 터치 감지식 기술들을 구현할 수도 있다.
디바이스 프로세서 (350) 는 데이터, 예를 들어, 캡처된 이미지들을 나타내는 데이터를 저장 모듈 (310) 에 기록할 수도 있다. 저장 모듈 (310) 은 전통적인 디스크 디바이스로서 그래픽으로 표현되지만, 당해 분야의 당업자들은 저장 모듈 (310) 이 임의의 저장 매체 디바이스로서 구성될 수도 있다는 것을 이해할 것이다. 예를 들어, 저장 모듈 (310) 은 플로피 디스크 드라이브, 하드 디스크 드라이브, 광학 디스크 드라이브 또는 자기-광학 디스크 드라이브와 같은 디스크 드라이브, 또는 FLASH 메모리, RAM, ROM, 및/또는 EEPROM 과 같은 솔리드 스테이트 메모리를 포함할 수도 있다. 저장 모듈 (310) 은 또한, 다수의 메모리 유닛들을 포함할 수 있고, 메모리 유닛들 중의 임의의 하나는 이미지 캡처 디바이스 (300) 내부에 있도록 구성될 수도 있거나, 이미지 캡처 디바이스 (300) 의 외부에 있을 수도 있다. 예를 들어, 저장 모듈 (310) 은 이미지 캡처 디바이스 (300) 내부에 저장된 시스템 프로그램 명령들을 포함하는 ROM 메모리를 포함할 수도 있다. 저장 모듈 (310) 은 또한, 카메라로부터 분리가능할 수도 있는, 캡처된 이미지들을 저장하도록 구성된 메모리 카드들 또는 고속 메모리들을 포함할 수도 있다. 트랜시버 (355) 는 각각의 디바이스가 이미지를 캡처해야 하는 것으로 결정하기 위하여, 다른 이미지 캡처 디바이스들과 정보를 통신하도록 구성될 수 있다.
도 3 은 프로세서, 이미징 센서, 및 메모리를 포함하기 위하여 별도의 컴포넌트들을 가지는 디바이스를 도시하지만, 당해 분야의 당업자는 이 별도의 컴포넌트들이 특정한 설계 목적들을 달성하기 위하여 다양한 방법들로 조합될 수도 있다는 것을 인식할 것이다. 예를 들어, 대안적인 실시형태에서, 메모리 컴포넌트들은 비용을 절약하고 성능을 개선시키기 위하여 프로세서 컴포넌트들과 조합될 수도 있다.
추가적으로, 도 3 은 몇몇 모듈들을 포함하는 메모리 컴포넌트 (330)와, 작업 메모리를 포함하는 별도의 메모리 (305) 를 포함하는 2 개의 메모리 컴포넌트들을 예시하지만, 당해 분야의 당업자는 상이한 메모리 아키텍처들을 사용하는 몇몇 실시형태들을 인식할 것이다. 예를 들어, 설계는 메모리 (330) 내에 포함된 모듈들을 구현하는 프로세서 명령들의 저장을 위하여 ROM 또는 정적 RAM 메모리를 사용할 수도 있다. 프로세서 명령들은 이미지 프로세서 (320) 에 의한 실행을 용이하게 하기 위하여 RAM 으로 로딩될 수도 있다. 예를 들어, 작업 메모리 (305) 는 RAM 메모리를 포함할 수도 있고, 명령들은 프로세서 (320) 에 의한 실행 전에 작업 메모리 (305) 로 로딩될 수도 있다.
도 4 는 펄스화된 광 출력 (예를 들어, 각각 406a, 411a, 및 416a) 및 노출 윈도우 (예를 들어, 각각 407a, 412a, 및 417a) 를 가지도록 각각 구성되는 3 개의 광원/카메라 이미징 디바이스들 (심도 센싱 시스템들) (405, 410, 및 415) 의 예를 예시하는 도면이다. 펄스화된 광 출력은 장면을 조명하는 레이저 펄스가 발생할 때의 시간의 기간으로서 일반적으로 정의될 수도 있다. 노출 윈도우는 장면으로부터의 방사선을 센싱하기 위하여 이미징 디바이스의 센서를 장면에 노출하기 위한 시간의 기간으로서 일반적으로 정의될 수도 있다. 도 4 는 각각의 이미징 디바이스를 위한 펄스화된 광 출력들 (406a, 411a, 및 416a) 이 다른 디바이스들과는 상이한 시간에 발생하는 예를 예시한다. 도 4 는 또한, 각각의 이미징 디바이스를 위한 노출 윈도우들 (407a, 412a, 및 417a) 이 다른 이미징 디바이스들과는 상이한 시간에 발생하는 것을 예시한다.
예를 들어, 도 4 는 3 개의 심도 센싱 시스템들 (405, 410, 및 415) 을 예시하고, 상이한 심도 센싱 시스템들이 레이저 펄스를 생성하고 각각의 시스템에 대하여 상이한 대응하는 카메라 노출 시간을 가지는 실시형태를 예시한다. 심도 센싱 시스템 (405) 은 펄스 폭 시간 주기 (1a, 1b, ...) 및 이미지가 취득될 때의 대응하는 동일한 (또는 거의 그러한) 카메라 시간 주기 (노출 윈도우) (407a, 407b) 시간 주기 동안에 레이저 펄스 (406a, 406b) 를 생성한다. 심도 센싱 시스템 (410) 은 펄스 폭 시간 주기 (2a, 2b, ...) 및 이미지가 취득될 때 (예컨대, 카메라 노출) 의 대응하는 동일한 (또는 거의 그러한) 카메라 시간 주기 (노출 윈도우) (412a, 412b) 동안에 레이저 펄스 (411a, 411b) 를 생성한다. 심도 센싱 시스템 (415) 은 펄스 폭 시간 주기 (3a, 3b, ...) 및 이미지가 취득될 때의 대응하는 동일한 (또는 거의 그러한) 카메라 시간 주기 (노출 윈도우) (417a, 417b) 동안에 레이저 펄스 (416a, 416b) 를 생성한다.
이미징 디바이스들의 일부 실시형태들에서, 레이저는 일정하게, 또는 특정한 프레임 레이트에서 방출되고 있을 수도 있다. 이미징 디바이스들 사이의 간섭을 방지하기 위하여, 레이저는 어떤 프레임 레이트의 주기적인 또는 비-주기적인 레이저 펄스를 생성하도록 동작될 수도 있고, 레이저 펄스의 기간은 조절될 수도 있다. 장면을 조명하기 위한 특정한 프레임 레이트가 심도 센싱 디바이스들의 전부에 대하여 설계될 경우, 다수의 이미징 디바이스들은 1/프레임-레이트의 시간을 공유할 수 있다. 예를 들어, 장면 (또는 객체) 을 이미징하기 위한 배열에서 4 개의 심도 센싱 디바이스들이 있고 각각의 심도 센싱 디바이스의 프레임 레이트는 1 초 당 프레임 (frame per second) 일 경우, 심도 센싱 디바이스들의 각각은 1/4 초의 펄스 길이를 생성할 수도 있고, 희망하는 1 초 당 프레임을 여전히 달성할 수도 있다. 이 예에서, 심도 센싱 디바이스는 장면이 또 다른 디바이스에 의해 조명되고 있다는 반복적인 검출에 기초하여 그 펄스 조명 방출들의 시작을 지연시키도록 구성되고, 1/4 초의 레이저 펄스를 생성하기 위한 시간을 결정하고 1 초 당 프레임의 프레임 레이트를 달성하는 대응하는 노출 윈도우를 가지기 위하여 (즉, 다른 심도 센싱 디바이스들과의 통신 없이) 자체-조정할 수 있다. 이러한 프로세스들은 (도 4 에서 예시된 바와 같은) 글로벌 셔터들 또는 (도 5 에서 예시된 바와 같은) 롤링 셔터들을 갖는 이미징 디바이스들을 가지는 구성들을 위하여 구현될 수도 있다.
따라서, 다양한 실시형태들에서, 다수의 카메라들은 서로 간섭하지 않으면서 이용가능한 총 노출 시간을 공유할 수 있다. 예를 들어, 일부 실시형태들에서, 심도 센싱 시스템은 장면이 그 자신의 심도 센싱과의 간섭을 야기시킬 (예를 들어, 다른 심도 센싱 시스템들 중의 하나로부터의) 광원에 의해 조명되고 있지 않을 때에 센싱하고, 그렇지 않을 경우에는, (예를 들어, 구조화된 광 또는 TOF 기술을 이용하여) 시스템을 조명하고 투영된 방사선을 센싱하도록 구성될 수도 있다. 심도 센싱 시스템이 장면이 그 자신의 심도 센싱 프로세스와 간섭할 수도 있는 광을 포함하는 것으로 검출할 경우, 심도 센싱 시스템은 그 조명을 투영하는 것을 지연시킬 수 있고, 그 다음으로, 장면이 그 자신의 심도 센싱 프로세스와 간섭할 수도 있는 광을 포함할 경우에 다시 센싱하도록 진행할 수 있다. 이것은 심도 센싱 시스템이 장면이 그 심도 센싱 프로세스와 간섭할 광을 포함하지 않는 것으로 결정할 때가지 반복될 수도 있고, 그 다음으로, 장면을 조명하고 투영된 방사선을 센싱하도록 진행할 수도 있다. 일부 예들에서, 지연은 미리 결정될 수도 있거나 미리 결정되지 않을 수도 있는 어떤 지연 주기 동안에 있다. 일관된 지연 주기를 가지는 것은 다수의 디바이스들의 간섭들의 더욱 용이한 분석을 용이하게 할 수도 있다. 예를 들어, 도 4 에서 예시된 바와 같이, 심도 센싱 시스템들 (405) 은 시간 주기 (1a, 2a 등) 동안에 어떤 프레임 레이트에서 조명 펄스를 지속적으로 생성하고 있다. 심도 센싱 시스템 (410) 이 제 1 레이저 펄스 (406a) 를 회피하기 위하여 지연시키고, 그 다음으로, 시간 주기 (2a) 동안에 심도 센싱 시스템 (405) 과 동일한 프레임 레이트에서 조명할 경우, 그 후속 펄스 (411b 는 시간 주기 (2b) 동안에 장면을 조명할 것이고, 시간 주기 (1b) 동안에 생성된 레이저 펄스 (406b) 를 회피할 것이다. 이러한 지연 프로세스는 또한, 심도 센싱 시스템 (415) 과, 장면을 이미징함에 있어서 관여된 임의의 다른 추가적인 심도 센싱 시스템에 의해 수행될 수도 있다. 이러한 방법으로, 다수의 심도 센싱 디바이스들은 디바이스들 사이에서 발생하는 임의의 통신 없이, 또는 또 다른 제어 디바이스, 예를 들어, 이들이 언제 장면을 각각 이미징하는지를 제어하기 위하여 각각의 심도 센싱 시스템과 통신하는 네트워크 디바이스에 의해 지시되는 이러한 조정 없이, 다른 디바이스들과 장면의 그 조명/센싱을 조정할 수도 있다.
다른 예들에서, 상이한 기간의 다수의 지연들이 이용될 수도 있고, 이것은 미리 결정될 수도 있거나 미리 결정되지 않을 수도 있다. 예를 들어, 기간들을 갖는 상이한 다수의 지연들을 이용하는 것은 유사한 프레임 레이트의 동일한 것에서, 그리고 동일하거나 유사한 시작 시간을 가지는 심도 센싱 액션을 양자 모두 진행하는 것을 시도하고 있는 2 개의 시스템들의 간섭을 방지할 수도 있다. 일부 예에서, 지연은 동적으로 결정되고, 예를 들어, 그것은 반복적인 간섭들을 회피하는 것을 시도하기 위하여 무작위적으로 결정될 수도 있다. 지연 기간들은 하나의 배열에서의 다수의 심도 센싱 시스템들 사이의 통신 없이 그 자신에 대해 각각의 이미징 시스템에 의해 완전히 결정될 수도 있다.
도 5 는 펄스화된 광 출력 및 카메라 노출 윈도우 (시간의 기간) 을 가지도록 각각 구성되는 3 개의 광원/카메라 이미징 디바이스들 (심도 센싱 디바이스들) 의 예를 예시하고, 여기서, 심도 센싱 디바이스들은 글로벌 셔터들 대신에 롤링 셔터들을 가진다 (펄스화된 광 출력은 조명 펄스로서 본원에서 지칭될 수도 있음). 심도 센싱 디바이스들 중의 하나 이상이 글로벌 셔터를 가지지 않는 (예를 들어, 그 대신에, 롤러 셔터를 가짐) 일부 실시형태들에서, 심도 센싱 디바이스들은 동일한 시스템에서 여전히 이용될 수도 있고, 서로 간섭하지 않도록 구성되고 동작될 수도 있다. 예를 들어, 일부 실시형태들에서, 심도 센싱 카메라들은 이들이 하나 이상의 조명 펄스들을 방출하는 것을 시작하는 시간을 조절하도록 구성될 수 있고, 및/또는 이들은 조명 펄스의 길이를 조절하도록 구성될 수 있고, 및/또는 이들은 조명 펄스 프레임 레이트를 조절하도록 구성될 수 있다. 예를 들어, 일부 실시형태들에서, 심도 센싱 디바이스들의 각각은 시간 스위칭되거나 (예를 들어 더 낮은 프레임 레이트로) 제어되는 시간을 제어할 수도 있다. 특히, 심도 센싱 디바이스들 (505, 510, 및 515) 은 펄스화된 광 출력 (예를 들어, 각각 506a 및 506b, 511a 및 511b, 및 516a 및 516b) 및 노출 윈도우 (예를 들어, 각각 507a 및 507b, 512a 및 512b, 및 517a 및 517b) 를 가지도록 각각 구성된다.
각각의 심도 센싱 디바이스 (505, 510, 및 515) 의 펄스화된 광 출력들 (506a, 511a, 및 516a) 은 각각, 다른 심도 센싱 디바이스들과는 상이한 시간에 발생한다. 심도 센싱 디바이스들은 장면의 부분들 (예를 들어, 심도 센싱 시스템에서의 센서의 행 (들), 예를 들어, 도 3 에서의 센서 어셈블리 (315) 에 대응하는 장면의 수평 세그먼트) 을 한 번에 노출시키는 롤링 셔터들을 가지므로, 노출 윈도우들은 사다리꼴 노출 윈도우들에 의해 예시된 바와 같이, 장면의 상이한 부분들에 대하여 상이하다. 심도 센싱 디바이스 (505) 를 참조하면, 글로벌 셔터 실시형태들에 대한 도 4 에서 예시된 실시형태와 유사하게, 레이저 펄스는 시간 주기 (1a) 동안에 장면 또는 객체를 조명하고, 노출 윈도우는 또한, 시간 주기 (1a) 동안에 있다. 당해 분야의 당업자가 인식하는 바와 같이, 롤링 셔터가 임의의 하나의 순간에 센서의 부분을 오직 노출하므로, 모든 다른 조건들이 동일할 경우에, 노출 윈도우의 총 기간은 일반적으로 더 길 것이다. 이것은 어떤 수의 디바이스들에 대한 더 낮은 전체적인 프레임 레이트를 이용하는 것, 또는 더 적은 디바이스들을 이용하고 어떤 프레임 레이트를 유지하는 것으로 귀착될 수도 있다. 그러나, 펄스 길이의 조절과, 장면을 조명하기 위하여 펄스를 방출하는 것의 지연은 도 4 를 참조하여 설명된 바와 같이, 그리고 본원의 다른 곳에서 설명된 바와 같이 수행될 수 있다.
도 6 은 장면, 예를 들어, 객체의 3D 모델을 생성하기 위한 이미지들을 생성하기 위한 배열에서 적어도 하나의 다른 심도 센싱 디바이스와 함께 상호작용하기 위하여 심도 센싱 디바이스를 추가하기 위한 프로세스 (600) 의 예를 예시하는 흐름도이다. 이것은 2 개 이상의 심도 센싱 디바이스들이 심도 정보를 포함하는 이미지들을 생성하도록 동작하면서 서로 간섭하지 않도록, 서로 함께 작동하는 2 개 이상의 심도 센싱 디바이스들의 맥락에서 논의되지만, 심도 센싱 디바이스들은 동작시키기 위한 이 프로세스를 위하여, 직접적으로 또는 간접적으로 서로 통신할 필요가 없다. 그 대신에, 각각의 심도 센싱 디바이스는 그것이 조명 펄스를 방출하는 시간을 조절하고, 조명 펄스의 길이를 조절하고, 및/또는 조명 펄스를 방출하는 주파수를 조절하도록 구성될 수도 있다. 프로세스 (600) 는 예를 들어, 본원에서 개시된 디바이스들 중의 하나 이상에 의해 수행될 수 있다. 예를 들어, 그것은 심도 센싱 디바이스 (300) (도 3) 의 하나 이상의 컴포넌트들에 의해 수행될 수 있다. 일부 실시형태들에서, (또한, 제어기로서 지칭될 수도 있는) 프로세서 (350) 는 디바이스 추가 프로세스를 수행하기 위하여 메모리 (예를 들어, 작업 메모리 (305)) 내에 저장되는 명령들로 구성될 수도 있다.
프로세스 (600) 는 블록 (605) 에서 시작하고, 여기서, 심도 센싱 디바이스는 장면의 심도 정보를 포함하는 이미지들을 수집하기 위하여 하나 이상의 다른 심도 센싱 디바이스들을 갖는 배열에서 배치될 수도 있다. 4 개의 심도 센싱 디바이스들을 가지는 일 예의 배열이 도 1 에서 예시되어 있다. 프로세스 (600) 는 디바이스들의 배열 내로 추가되는 심도 센싱 디바이스들의 각각에 대해 수행될 수도 있고, 추가되어야 할 디바이스의 맥락에서 설명된다. 블록 (610) 에서, 프로세스 (600) 는 심도 센싱 시스템의 카메라 (또는 센서) 를 턴 온 (turn on) 하고, 장면의 적어도 부분의 조명을 센싱한다. 일부 실시형태들에서, 카메라는 전체 장면에서 방사선을 센싱하도록 동작한다. 예를 들어, 카메라는 그 특정한 심도 센싱 디바이스를 위하여 이용될 방사선 (예컨대, IR, NIR, UV, 또는 가시광선) 과 유사한 방사선을 센싱하도록 동작된다. 디바이스 카메라를 턴 온 - 전체 프레임 셔터.
블록 (615) 에서, 프로세스 (600) 는 카메라가 배열에서 또 다른 능동 심도 센싱 디바이스의 존재를 표시하는 관련된 방사선, 이 예에서는, NIR 광을 검출하였는지를 결정한다. 프로세스 (600) 는 NIR 이외의 방사선의 타입들에 동일하게 적용가능하다.
블록 (625) 에서, 방사선이 검출되지 않을 경우, 프로세스 (600) 는 송신기를 턴 온 하고, 셔터를 예를 들어, 펄스 길이로 조절한다. 다음으로, 프로세스 (600) 는 디바이스가 추가되었다는 것을 표시하는 블록 (645) 으로 계속된다. 이것은 배열에 추가된 제 1 심도 센싱 디바이스가 그것이 먼저 추가될 때에 임의의 조절들을 행하지 않을 수도 있지만, 그것은 추가적인 심도 센싱 디바이스들이 추가될 때에 추후에 조절들을 행할 수도 있다는 것을 예시한다.
블록 (620) 에서, 방사선이 검출될 경우, 카메라 셔터는 레이저 펄스 길이로 조절된다. 이것은 예를 들어, 도 3 에서 예시된 캡처 제어 모듈 (335) 및 프로세서 (350) 에 의해 집합적으로 행해질 수도 있다.
다음으로, 프로세스 (600) 는 카메라가 잠재적으로 간섭하는 방사선 (예를 들어, NIR) 이 장면에서 존재하는지를 다시 결정하는 블록 (630) 으로 계속된다. 방사선이 장면에서 존재할 경우, 프로세스 (600) 는 블록 (635) 으로 계속된다. 잠재적으로 간섭하는 방사선이 검출되지 않을 경우, 프로세스 (600) 는 블록 (640) 으로 계속된다.
블록 (635) 에서, 프로세스는 즉, 그것이 그 조명 펄스 및 그 노출 윈도우를 송출할 것이므로, 장면을 조명하는 프로세스에서 또 다른 디바이스를 표시하는 장면에서의 방사선과 간섭하지 않을 때, 시간에 있어서 프레임의 시작부를 시프트시킨다. 다음으로, 프로세스 (600) 는 그것이 카메라가 장면에서 NIR 파워를 검출하는지를 다시 결정하는 블록 (630) 으로 다시 계속된다.
블록 (640) 에서, 장면에서 잠재적으로 간섭하는 방사선이 없는 것으로 지금 검출하였으면, 프로세스 (600) 는 송신기 (640) 를 작동시키고 장면을 조명한다. 이 때, 디바이스는 어떤 프레임 레이트에서, 그리고 어떤 레이저 펄스 길이로 장면을 조명하는 것을 계속할 수도 있다. 다음으로, 프로세스는 그것이 장면을 조명하고 심도 정보를 센싱하는 또 다른 프로세스를 진행할 수도 있다. 프레임 레이트가 변동될 수도 있는 일부 실시형태들에서, 심도 센싱 디바이스는 그것이 장면을 조명하기 전에 잠재적으로 간섭하는 방사선에 대하여 장면을 센싱할 수도 있다. 이것은 매 시간, 또는 주기적으로, 또는 또 다른 센싱 스케줄에 따라 행해질 수도 있다.
블록 (645) 에서, 디바이스를 추가하기 위한 프로세스 (600) 가 종료된다.
도 7 은 본원에서 개시된 시스템들 또는 다른 시스템들 중의 하나 이상에 의해 수행될 수도 있는, 다수의 심도 센싱 카메라들을 조정하기 위한 방법 (700) 의 예를 예시하는 프로세스 흐름도이다. 방법 (700) 은 적어도 2 개의 심도 센싱 디바이스들을 포함하는 심도 센싱 시스템에서 장면의 심도 정보를 포함하는 이미지를 캡처하기 위한 심도 센싱 디바이스 상에서 동작할 수도 있다. 일부 실시형태들에서, 도 3 에서 예시된 디바이스는 예시된 방법을 수행할 수도 있다.
블록 (705) 에서, 방법 (700) 은 센서를 이용하여 장면으로부터 반사된 광을 센싱하고, 장면을 표시하는 광은 심도 센싱 디바이스에 의해 조명된다. 판단 블록 (708) 에서, 센싱된 광은 (또 다른 심도 센싱 디바이스를 표시하는) 광이 장면에서 검출되었는지를 결정하기 위하여 평가된다.
블록 (710) 에서, 장면으로부터의 광이 검출될 경우, 방법 (700) 은 심도 센싱 디바이스의 셔터 (예를 들어, 셔터가 개방되어 있는 시간) 를 검출된 레이저 펄스 길이로 조절하고, 장면으로부터의 광을 다시 센싱하고 블록 (715) 으로 진행한다. 이것은, 또 다른 디바이스로부터 투영되는 광을 수신하는 것을 회피하고, 동일한 일반적인 시간프레임 (timeframe) 내에서, 즉, 하나의 디바이스가 먼저 동작하고 그 다음으로 완전히 셧 다운 (shut down) 하도록 하지 않으면서, 심도 센싱 맵들을 형성하고 그 다음으로, 제 2 디바이스가 동작하도록 하기 위하여, 양자의 디바이스들이 작동하는 것을 허용하기 위한 충분히 작은 주기로 셔터를 조절하는 효과를 가질 수도 있다.
블록 (720) 에서, 장면으로부터의 광이 검출되지 않을 경우, 방법 (700) 은 노출 윈도우 동안에 광의 반사로부터 정보를 캡처하기 위하여 심도 센싱 디바이스의 셔터를 작동시키고 블록 (730) 으로 진행한다.
블록 (715) 에서, 방법 (700) 은 광이 장면으로부터 검출되는지를 결정한다. 지금 광이 검출되지 않을 경우, 방법은 블록 (720) 으로 진행한다. 광이 다시 검출될 경우, 방법은 노출 윈도우의 시작 및/또는 광을 캡처하기 위하여 셔터가 개방되어 있는 시간에 대해 추가의 조절들이 행해질 수도 있는 블록 (725) 으로 진행한다. 일단 (예를 들어, 노출 윈도우의 시작을 지연시키기 위하여) 추가의 조절이 행해지면, 방법은 블록 (725) 으로부터, 그것이 광이 장면으로부터 검출되는지를 다시 결정하는 블록 (715) 으로 다시 진행하고, 광은 또 다른 심도 센싱 시스템이 동작하고 광을 장면 상으로 투영하는 것을 표시한다. 방법 (700) 은 반복적으로, 광이 장면 상에 존재하는지를 센싱하는 것을 반복시키고, 노출 윈도우의 시작을 지연시키고, 및/또는 광이 검출되지 않을 때까지 셔터 윈도우를 조절할 수도 있다.
블록 (730) 에서, 방법 (700) 은 노출 윈도우 동안에 송신기 및 수신기를 작동시키고, 일련의 펄스들로 장면 상에서 광을 투영하고, 일련의 펄스들은 펄스 주파수를 가지고 각각의 펄스는 펄스 길이를 가지고, 장면으로부터 광 투영된 광을 검출하는 것은 노출 윈도우 동안에 장면 상에서 광을 투영하기 위하여 심도 센싱 디바이스의 수신기 송신기를 이용한다. 이것은 노출 윈도우 동안에 광의 반사로부터 정보를 캡처하기 위하여 심도 센싱 디바이스의 셔터를 작동시키는 것을 포함하고, 투영된 광은 펄스 길이 및 펄스 주파수를 가지는 일련의 펄스들을 포함한다.
시스템들의 구현 및 용어
본원에서 개시된 구현예들은 시차 (parallax) 및 틸트 아티팩트 (tilt artifact) 들이 없는 다수의 개구 어레이 카메라들을 위한 시스템들, 방법들, 및 장치를 제공한다. 당해 분야의 당업자는 이 실시형태들이 하드웨어, 소프트웨어, 펌웨어, 또는 그 임의의 조합으로 구현될 수도 있다는 것을 인식할 것이다.
일부 실시형태들에서, 위에서 논의된 회로들, 프로세스들, 및 시스템들은 무선 통신 디바이스에서 사용될 수도 있다. 무선 통신 디바이스는 다른 전자 디바이스들과 무선으로 통신하기 위하여 이용된 일 종의 전자 디바이스일 수도 있다. 무선 통신 디바이스들의 예들은 셀룰러 전화들, 스마트 폰들, 개인 정보 단말 (Personal Digital Assistant; PDA) 들, 전자-판독기 (e-reader) 들, 게임용 시스템들, 음악 플레이어들, 넷북들, 무선 모뎀들, 랩톱 컴퓨터들, 태블릿 디바이스들 등을 포함한다.
무선 통신 디바이스는 하나 이상의 이미지 센서들, 2 개 이상의 이미지 신호 프로세서들, 위에서 논의된 CNR 프로세스를 수행하기 위한 명령들 또는 모듈들을 포함하는 메모리를 포함할 수도 있다. 디바이스는 또한, 데이터, 프로세서 로딩 명령들, 및/또는 메모리, 하나 이상의 통신 인터페이스들, 하나 이상의 입력 디바이스들, 디스플레이 디바이스와 같은 하나 이상의 출력 디바이스들, 및 전원/인터페이스로부터의 데이터를 가질 수도 있다. 무선 통신 디바이스는 송신기 및 수신기를 추가적으로 포함할 수도 있다. 송신기 및 수신기는 트랜시버로서 공동으로 지칭될 수도 있다. 트랜시버는 무선 신호들을 송신하고 및/또는 수신하기 위한 하나 이상의 안테나들에 결합될 수도 있다.
무선 통신 디바이스는 또 다른 전자 디바이스 (예컨대, 기지국) 에 무선으로 접속할 수도 있다. 무선 통신 디바이스는 대안적으로, 이동 디바이스, 이동국, 가입자국, 사용자 장비 (user equipment; UE), 원격국, 액세스 단말, 이동 단말, 단말, 사용자 단말, 가입자 유닛 등으로서 지칭될 수도 있다. 무선 통신 디바이스들의 예들은 랩톱 또는 데스크톱 컴퓨터들, 셀룰러 전화들, 스마트폰들, 무선 모뎀들, 전자-판독기들, 태블릿 디바이스들, 게임용 시스템들 등을 포함한다. 무선 통신 디바이스들은 3 세대 파트너십 프로젝트 (3rd Generation Partnership Project; 3GPP) 와 같은 하나 이상의 산업 표준들에 따라 동작할 수도 있다. 이에 따라, 일반적인 용어 "무선 통신 디바이스" 는 산업 표준들에 따라 변동되는 명명법들로 설명된 무선 통신 디바이스들 (예컨대, 액세스 단말, 사용자 장비 (UE), 원격 단말 등) 을 포함할 수도 있다.
본원에서 설명된 기능들은 프로세서-판독가능 또는 컴퓨터-판독가능 매체 상에 하나 이상의 명령들로서 저장될 수도 있다. 용어 "컴퓨터-판독가능 매체" 는 컴퓨터 또는 프로세서에 의해 액세스될 수 있는 임의의 이용가능한 매체를 지칭한다. 제한이 아닌 예로서, 이러한 매체는 RAM, ROM, EEPROM, 플래시 메모리, CD-ROM 또는 다른 광학 디스크 저장, 자기 디스크 저장 또는 다른 자기 저장 디바이스들, 또는 희망하는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 저장하기 위하여 이용될 수 있으며 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수도 있다. 본원에서 이용된 바와 같은 디스크(disk) 및 디스크(disc) 는 컴팩트 디스크(compact disc; CD), 레이저 디스크(laser disc), 광학 디스크(optical disc), 디지털 다기능 디스크(digital versatile disc; DVD), 플로피 디스크(floppy disk) 및 Blu-ray® 디스크 (disc) 를 포함하고, 여기서, 디스크(disk) 들은 통상 데이터를 자기적으로 재생하는 반면, 디스크(disc) 들은 데이터를 레이저들로 광학적으로 재생한다. 컴퓨터-판독가능 매체는 유형적 (tangible) 이고 비-일시적 (non-transitory) 일 수도 있다는 것에 주목해야 한다. 용어 "컴퓨터-프로그램 제품" 은 컴퓨팅 디바이스 또는 프로세서에 의해 실행될 수도 있거나, 프로세싱될 수도 있거나, 또는 컴퓨팅될 수도 있는 코드 또는 명령들 (예컨대, "프로그램") 과 조합하여 컴퓨팅 디바이스 또는 프로세서를 지칭한다. 본원에서 이용된 바와 같이, 용어 "코드" 는 컴퓨팅 디바이스 또는 프로세서에 의해 실행가능한 소프트웨어, 명령들, 코드, 또는 데이터를 지칭할 수도 있다.
소프트웨어 또는 명령들은 또한, 송신 매체 상에서 송신될 수도 있다. 예를 들어, 동축 케이블, 광섬유 케이블, 트위스티드 페어 (twisted pair), 디지털 가입자 회선 (digital subscriber line; DSL), 또는 적외선, 라디오 (radio), 및 마이크로파 (microwave) 와 같은 무선 기술들을 이용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 소프트웨어가 송신될 경우, 동축 케이블, 광섬유 케이블, 트위스트 페어, DSL, 또는 적외선, 라디오, 및 마이크로파와 같은 무선 기술들은 송신 매체의 정의 내에 포함된다.
본원에서 개시된 방법들은 설명된 방법을 달성하기 위한 하나 이상의 단계들 또는 액션들을 포함한다. 방법 단계들 및/또는 액션들은 청구항들의 범위로부터 이탈하지 않으면서 서로 상호 교환될 수도 있다. 다시 말해서, 설명되고 있는 방법의 적당한 동작을 위하여 단계들 또는 액션들의 특정 순서가 요구되지 않는 한, 특정 단계들 및/또는 액션들의 순서 및/또는 이용은 청구항들의 범위로부터 이탈하지 않으면서 수정될 수도 있다.
용어들 "결합", "결합하는", "결합된", 또는 본원에서 이용된 바와 같은 단어 결합의 다른 변형들은 간접적인 접속 또는 직접적인 접속의 어느 하나를 표시할 수도 있다는 것에 주목해야 한다. 예를 들어, 제 1 컴포넌트가 제 2 컴포넌트에 "결합될" 경우, 제 1 컴포넌트는 제 2 컴포넌트에 간접적으로 접속될 수도 있거나 제 2 컴포넌트에 직접적으로 접속될 수도 있다. 본원에서 이용된 바와 같이, 용어 "복수" 는 2 개 이상을 나타낸다. 예를 들어, 복수의 컴포넌트들은 2 개 이상의 컴포넌트들을 표시한다.
용어 "결정하는 것" 은 광범위한 액션들을 포괄하고, 그러므로, "결정하는 것" 은 계산하는 것, 컴퓨팅하는 것, 프로세싱하는 것, 유도하는 것, 조사하는 것, 룩업하는 것 (예컨대, 테이블, 데이터베이스, 또는 또 다른 데이터 구조에서 룩업하는 것), 확인하는 것, 및 기타 등등을 포함할 수 있다. 또한, "결정하는 것" 은 수신하는 것 (예컨대, 정보를 수신하는 것), 액세스하는 것 (예컨대, 메모리 내의 데이터를 액세스하는 것), 및 기타 등등을 포함할 수 있다. 또한, "결정하는 것" 은 분석하는 것, 선택하는 것, 선정하는 것, 설정하는 것 등을 포함할 수 있다.
어구 “에 기초하여 (based on)” 는 명백히 이와 달리 규정되지 않는 한, "에 오직 기초하여" 를 의미하지 않는다. 다시 말해서, 어구 "~ 에 기초하여" 는 "~ 에 오직 기초하여" 및 "~ 에 적어도 기초하여" 의 양자를 설명한다.
다음의 설명에서는, 예들의 철저한 이해를 제공하기 위하여 특정 세부사항들이 주어진다. 그러나, 예들은 이 특정 세부사항들 없이 실시될 수도 있다는 것이 당해 분야의 당업자에 의해 이해될 것이다. 예를 들어, 전기적 컴포넌트들/디바이스들은 불필요하게 상세하게 예들을 이해하기 어렵게 하지 않도록 하기 위하여 블록도들로 도시될 수도 있다. 다른 사례들에서는, 예들을 더욱 설명하기 위하여 다른 구조들 및 기법들이 상세하게 도시될 수도 있다.
제목들은 참조를 위하여, 그리고 다양한 섹션들을 위치시키는 것을 돕기 위하여 본원에서 포함된다. 이 제목들은 그것에 대하여 설명된 개념들의 범위를 제한하도록 의도된 것이 아니다. 이러한 개념들은 전체 명세서의 전반에 걸쳐 적용가능성을 가질 수도 있다.
또한, 예들은 플로우차트, 흐름도, 유한 상태 다이어그램, 구조도, 또는 블록도로서 도시되어 있는 프로세스로서 설명될 수도 있다는 것에 주목해야 한다. 플로우차트는 동작들을 순차적인 프로세스로서 설명할 수도 있지만, 동작들 중의 다수는 병렬로 또는 동시에 수행될 수 있고, 프로세스는 반복될 수 있다. 게다가, 동작들의 순서는 재배열될 수도 있다. 프로세스는 그 동작들이 완료될 때에 종결된다. 프로세스는 방법, 함수, 프로시저 (procedure), 서브루틴, 서브프로그램 등에 대응할 수도 있다. 프로세스가 소프트웨어 함수에 대응할 때, 그 종결은 호출 함수 또는 주요 함수로의 함수의 복귀에 대응한다.
개시된 구현예들의 이전의 설명은 당해 분야의 임의의 숙련자가 본 발명을 제조하거나 이용하는 것을 가능하게 하도록 제공된다. 이 구현예들에 대한 다양한 수정들은 당해 분야의 당업자들에게 용이하게 분명할 것이고, 본원에서 정의된 일반적인 원리들은 발명의 사상 또는 범위로부터 이탈하지 않으면서 다른 구현예들에 적용될 수도 있다. 이에 따라, 본 발명은 본원에서 도시된 구현예들에 제한되도록 의도된 것이 아니라, 본원에서 개시된 원리들 및 신규한 특징들과 일관되는 가장 넓은 범위를 따르도록 하기 위한 것이다.

Claims (30)

  1. 장면의 심도 정보를 포함하는 이미지를 캡처하기 위한, 그리고 적어도 하나의 다른 심도 센싱 디바이스를 포함하는 심도 센싱 시스템에서의 이용을 위한 심도 센싱 디바이스로서,
    장면 상에서 광을 투영할 수 있는 송신기로서, 상기 송신기는 일련의 레이저 펄스들을 포함하는 광 빔을 생성할 수 있는 레이저를 포함하고, 각각의 펄스는 펄스 길이를 가지고, 일련의 펄스들은 펄스 주파수에서 생성되는, 상기 송신기, 및
    알려진 상대적인 방위에서 상기 송신기에 결합된 수신기로서, 상기 수신기는 상기 송신기에 의해 투영되고 상기 장면으로부터 반사된 광을 센싱하는 것에 기초하여 이미지를 생성할 수 있는 셔터 및 센서 어셈블리를 포함하는, 상기 수신기; 및
    프로세서를 포함하는 제어기로서, 상기 제어기는 상기 송신기 및 상기 수신기에 결합되고, 상기 제어기는,
    상기 수신기를 이용하여 상기 장면에서의 광의 존재를 결정하고,
    상기 일련의 레이저 펄스들의 상기 펄스 길이를 제어하고,
    상기 장면 상에서 광을 투영하도록, 그리고 상기 장면으로부터 반사된 광을 센싱하는 것을 시작하기 위하여 상기 수신기를 작동시키도록, 노출 윈도우 (exposure window) 동안에 상기 송신기가 작동되는 상기 노출 윈도우가 언제 시작되는지를 제어하는 것으로서, 상기 노출 윈도우의 시작 및 상기 펄스 길이는 상기 적어도 하나의 다른 심도 센싱 디바이스로부터의 상기 장면 상의 상기 광의 결정된 존재에 기초하여 제어되어서, 상기 노출 윈도우는 상기 시스템에서의 상기 적어도 하나의 다른 심도 센싱 디바이스들 중의 임의의 다른 것이 상기 장면을 조명하고 있을 때와는 시간적으로 상이한, 상기 노출 윈도우가 언제 시작되는지를 제어하도록 구성되는, 상기 제어기를 포함하는, 심도 센싱 디바이스.
  2. 제 1 항에 있어서,
    상기 레이저는 근적외선 (near infrared; NIR) 광 빔을 생성할 수 있고,
    상기 송신기는 상기 레이저로부터 방출된 상기 NIR 광 빔을 수신하도록 위치된 광학 엘리먼트를 더 포함하고, 상기 광학 엘리먼트는 상기 NIR 광 빔이 상기 광학 엘리먼트를 통해 전파할 때에 알려진 구조화된 광 패턴을 생성하도록 구성된 복수의 특징부들을 포함하고, 그리고
    상기 제어기는 NIR 수신기를 이용하여 상기 장면에서 구조화된 광 패턴을 표시하는 NIR 광의 존재를 결정하도록 추가로 구성되는, 심도 센싱 디바이스.
  3. 제 1 항에 있어서,
    상기 복수의 특징부들은 복수의 회절 광학 특징부들을 포함하는, 심도 센싱 디바이스.
  4. 제 1 항에 있어서,
    상기 송신기는 비행-시간 (time-of-flight; TOF) 송신기를 포함하는, 심도 센싱 디바이스.
  5. 제 2 항에 있어서,
    상기 제어기는, 상기 장면 상에서 구조화된 광 패턴을 투영하기 위하여 상기 송신기를 작동시키고, 상기 제어기가 상기 장면 상에서 존재하는 구조화된 광 패턴을 표시하는 NIR 광이 없는 것으로 결정할 경우에 상기 NIR 광 빔의 상기 펄스 길이와 동기화되도록 하기 위하여 상기 셔터를 조절하도록 추가로 구성되는, 심도 센싱 디바이스.
  6. 제 5 항에 있어서,
    상기 제어기는, 상기 제어기가 상기 장면 상에서 구조화된 광 패턴을 표시하는 NIR 광의 존재를 결정할 경우에 지연 주기 동안에 NIR 광 빔을 생성하는 것으로부터 상기 송신기를 지연시키고, 상기 지연 주기의 종료 시에, 상기 장면 상에서 구조화된 광 패턴을 표시하는 NIR 광의 존재에 대하여 다시 검사하도록 추가로 구성되는, 심도 센싱 디바이스.
  7. 제 1 항에 있어서,
    상기 셔터는 롤링 셔터 (rolling shutter) 를 포함하고, 상기 노출 시간 동안, 상기 제어기는 상기 장면이 상기 송신기에 의해 투영된 광에 의해 조명될 때에 상기 장면을 가로질러 스캔하기 위하여 상기 롤링 셔터를 작동시키는, 심도 센싱 디바이스.
  8. 제 1 항에 있어서,
    상기 제어기는 적어도 하나의 다른 디바이스 또는 또 다른 동기화 시스템과 통신하지 않으면서 노출 윈도우를 결정하도록 구성되는, 심도 센싱 디바이스.
  9. 제 1 항에 있어서,
    상기 제어기는, 상기 송신기가 상기 적어도 하나의 심도 센싱 디바이스 중의 임의의 다른 것이 상기 장면을 조명하고 있을 때와는 시간적으로 상이한 노출 윈도우 동안에 광을 상기 장면 상으로 투영하도록, 상기 장면에서의 광의 결정된 존재에 기초하여 상기 펄스 주파수를 조절하도록 추가로 구성되는, 심도 센싱 디바이스.
  10. 적어도 2 개의 심도 센싱 디바이스들을 포함하는 심도 센싱 시스템에서 장면의 심도 정보를 포함하는 이미지를 캡처하기 위한 심도 센싱 디바이스 상에서 동작하는 방법으로서,
    센서를 이용하여 장면으로부터 반사된 광을 검출하는 단계로서, 상기 장면을 표시하는 상기 광은 심도 센싱 디바이스에 의해 조명되는, 상기 반사된 광을 검출하는 단계;
    상기 장면으로부터의 광이 검출되지 않을 경우, 노출 윈도우 동안에 상기 장면 상에서 광을 투영하기 위하여 상기 심도 센싱 디바이스의 송신기를 작동시키고, 상기 노출 윈도우 동안에 상기 광의 상기 반사로부터 정보를 캡처하기 위하여 상기 심도 센싱 디바이스의 셔터를 작동시키는 단계로서, 상기 투영된 광은 펄스 길이 및 펄스 주파수를 가지는 일련의 펄스들을 포함하고;
    상기 장면으로부터의 광이 검출될 경우,
    상기 심도 센싱 디바이스의 셔터를 검출된 레이저 펄스 길이로 조절하고, 상기 장면으로부터 광을 다시 센싱하고;
    광이 다시 검출될 경우, 노출 윈도우 동안에 상기 심도 센싱 디바이스의 상기 송신기가 상기 장면 상에서 광을 투영하고 상기 심도 센싱 디바이스의 상기 셔터가 상기 장면으로부터의 상기 광의 상기 반사로부터 정보를 캡처하는 상기 노출 윈도우의 시작을 지연시키고, 광이 상기 장면 상에서 존재할 경우에 센싱을 반복적으로 반복시키고 광이 검출되지 않을 때까지 노출 윈도우의 시작을 지연시키고; 그리고
    상기 장면으로부터의 광이 검출되지 않을 경우, 상기 노출 윈도우 동안에 상기 송신기 및 수신기를 작동시키고, 일련의 펄스들로 상기 장면 상에서 광을 투영하고, 일련의 펄스들은 펄스 주파수를 가지며 각각의 펄스는 펄스 길이를 가지고, 상기 수신기를 이용하여 상기 장면으로부터 광 투영된 광을 검출하는, 상기 심도 센싱 디바이스의 송신기를 작동시키고 상기 심도 센싱 디바이스의 셔터를 작동시키는 단계를 포함하는, 심도 센싱 디바이스 상에서 동작하는 방법.
  11. 제 10 항에 있어서,
    상기 송신기는 근적외선 (NIR) 광 빔을 생성하고,
    상기 송신기는 상기 레이저로부터 방출된 상기 NIR 광 빔을 수신하도록 위치된 광학 엘리먼트를 포함하고, 상기 광학 엘리먼트는 상기 NIR 광 빔이 상기 광학 엘리먼트를 통해 전파할 때에 알려진 구조화된 광 패턴을 생성하도록 구성된 복수의 특징부들을 포함하고, 그리고
    상기 장면으로부터 광을 검출하는 단계는, 상기 수신기를 이용하여 상기 장면에서 구조화된 광 패턴을 표시하는 NIR 광의 존재를 검출하는 단계를 포함하는, 심도 센싱 디바이스 상에서 동작하는 방법.
  12. 제 11 항에 있어서,
    상기 복수의 특징부들은 복수의 회절 광학 특징부들을 포함하는, 심도 센싱 디바이스 상에서 동작하는 방법.
  13. 제 10 항에 있어서,
    상기 송신기는 비행-시간 (TOF) 송신기를 포함하는, 심도 센싱 디바이스 상에서 동작하는 방법.
  14. 제 10 항에 있어서,
    상기 셔터는 롤링 셔터를 포함하고, 상기 노출 시간 동안, 상기 제어기는 상기 장면이 상기 송신기에 의해 투영된 광에 의해 조명될 때에 상기 장면을 가로질러 스캔하기 위하여 상기 롤링 셔터를 작동시키는, 심도 센싱 디바이스 상에서 동작하는 방법.
  15. 제 10 항에 있어서,
    제어기는 적어도 하나의 다른 디바이스 또는 또 다른 동기화 시스템과 통신하지 않으면서 상기 노출 윈도우를 결정하는, 심도 센싱 디바이스 상에서 동작하는 방법.
  16. 제 10 항에 있어서,
    상기 송신기가 적어도 하나의 심도 센싱 디바이스 중의 임의의 다른 것이 상기 장면을 조명하고 있을 때와는 시간적으로 상이한 노출 윈도우 동안에 광을 상기 장면 상으로 투영하도록, 상기 장면에서의 광의 결정된 존재에 기초하여 상기 펄스 주파수를 조절하는 단계를 더 포함하는, 심도 센싱 디바이스 상에서 동작하는 방법.
  17. 장면의 심도 정보를 포함하는 이미지를 캡처하기 위한, 그리고 적어도 하나의 다른 심도 센싱 디바이스를 포함하는 심도 센싱 시스템에서의 이용을 위한 심도 센싱 디바이스로서,
    장면 상에서 광을 투영하기 위한 수단으로서, 상기 광 투영 수단은 일련의 레이저 펄스들을 포함하는 레이저 광 빔을 생성하도록 구성되고, 각각의 펄스는 펄스 길이를 가지고, 일련의 펄스들은 펄스 주파수에서 생성되는, 상기 광 투영 수단, 및
    알려진 상대적인 방위에서 상기 투영 수단에 결합된 광을 수신하기 위한 수단으로서, 상기 광 수신 수단은 상기 광 투영 수단에 의해 투영되고 상기 장면으로부터 반사된 광을 검출하는 것에 기초하여 이미지를 생성하도록 구성되는, 상기 광 수신 수단;
    상기 투영 수단 및 상기 광 수신 수단에 결합된 제어하기 위한 수단으로서, 상기 제어 수단은,
    상기 광 수신 수단을 이용하여 상기 장면에서의 광의 존재를 결정하고,
    상기 일련의 레이저 펄스들의 상기 펄스 길이를 제어하고,
    상기 장면 상에서 광을 투영하도록, 그리고 상기 장면으로부터 반사된 광을 센싱하는 것을 시작하기 위하여 상기 광 수신 수단을 작동시키도록, 노출 윈도우 동안에 상기 광 투영 수단이 작동되는 상기 노출 윈도우가 언제 시작되는지를 제어하는 것으로서, 상기 노출 윈도우의 시작 및 상기 펄스 길이는 상기 적어도 하나의 다른 심도 센싱 디바이스로부터의 상기 장면 상의 상기 광의 결정된 존재에 기초하여 제어되어서, 상기 노출 윈도우는 상기 시스템에서의 상기 적어도 하나의 다른 심도 센싱 디바이스들 중의 임의의 다른 것이 상기 장면을 조명하고 있을 때와는 시간적으로 상이한, 상기 노출 윈도우가 언제 시작되는지를 제어하도록 구성되는, 상기 제어 수단을 포함하는, 심도 센싱 디바이스.
  18. 제 17 항에 있어서,
    상기 광 투영 수단은 레이저를 포함하는 송신기를 포함하는, 심도 센싱 디바이스.
  19. 제 17 항에 있어서,
    상기 광 수신 수단은 상기 광 투영 수단에 의해 투영되고 상기 장면으로부터 반사된 광을 센싱하는 것에 기초하여 이미지를 생성할 수 있는 셔터 및 센서 어셈블리를 포함하는, 심도 센싱 디바이스.
  20. 제 17 항에 있어서,
    상기 제어 수단은 적어도 하나의 프로세서를 포함하는, 심도 센싱 디바이스.
  21. 제 18 항에 있어서,
    상기 레이저는 근적외선 (NIR) 광 빔을 방출할 수 있고,
    상기 광 투영 수단은 상기 레이저로부터 방출된 상기 NIR 광 빔에 의해 조명되도록 위치된 광학 엘리먼트를 포함하는 송신기를 포함하고, 상기 광학 엘리먼트는 상기 NIR 광 빔이 상기 광학 엘리먼트를 통해 전파할 때에 알려진 구조화된 광 패턴을 생성하도록 구성된 복수의 특징부들을 포함하고, 그리고
    상기 제어 수단은 NIR 수신기를 이용하여 상기 장면에서 구조화된 광 패턴을 표시하는 NIR 광의 존재를 결정하도록 구성된 제어기를 포함하는, 심도 센싱 시스템.
  22. 제 21 항에 있어서,
    상기 복수의 특징부들은 복수의 회절 광학 특징부들을 포함하는, 심도 센싱 시스템.
  23. 제 21 항에 있어서,
    상기 송신기는 비행-시간 (TOF) 송신기를 포함하는, 심도 센싱 디바이스.
  24. 제 21 항에 있어서,
    상기 제어기는, 상기 장면 상에서 구조화된 광 패턴을 투영하기 위하여 상기 송신기를 작동시키고, 상기 제어기가 상기 장면 상에서 존재하는 구조화된 광 패턴을 표시하는 NIR 광이 없는 것으로 결정할 경우에 상기 NIR 광 빔의 상기 펄스 길이와 동기화되도록 하기 위하여 상기 셔터를 조절하도록 추가로 구성되는, 심도 센싱 디바이스.
  25. 제 24 항에 있어서,
    상기 제어기는, 상기 제어기가 상기 장면 상에서 구조화된 광 패턴을 표시하는 NIR 광의 존재를 결정할 경우에 지연 주기 동안에 NIR 광 빔을 생성하는 것으로부터 상기 송신기를 지연시키고, 상기 지연 주기의 종료 시에, 상기 장면 상에서 구조화된 광 패턴을 표시하는 NIR 광의 존재에 대하여 다시 검사하도록 추가로 구성되는, 심도 센싱 디바이스.
  26. 제 25 항에 있어서,
    상기 수신하기 위한 수단은 롤링 셔터를 포함하고, 상기 노출 시간 동안, 상기 제어기는 상기 장면이 상기 송신기에 의해 투영된 광에 의해 조명될 때에 상기 장면을 가로질러 스캔하기 위하여 상기 롤링 셔터를 작동시키는, 심도 센싱 시스템.
  27. 제 17 항에 있어서,
    상기 제어 수단은 상기 적어도 하나의 다른 디바이스 또는 또 다른 동기화 시스템과 통신하지 않으면서 노출 윈도우를 결정하도록 구성되는, 심도 센싱 시스템.
  28. 제 27 항에 있어서,
    상기 제어기는, 상기 송신기가 상기 적어도 하나의 심도 센싱 디바이스 중의 임의의 다른 것이 상기 장면을 조명하고 있을 때와는 시간적으로 상이한 노출 윈도우 동안에 광을 상기 장면 상으로 투영하도록, 상기 장면에서의 광의 결정된 존재에 기초하여 상기 펄스 주파수를 조절하도록 추가로 구성되는, 심도 센싱 시스템.
  29. 명령들을 실행하도록 적어도 하나의 프로세서를 제어하는 비-일시적 명령들을 포함하는 컴퓨터 판독가능 매체로서,
    방법은,
    센서를 이용하여 장면으로부터 반사된 광을 검출하는 단계로서, 상기 장면을 표시하는 상기 광은 심도 센싱 디바이스에 의해 조명되는, 상기 반사된 광을 검출하는 단계;
    상기 장면으로부터의 광이 검출되지 않을 경우, 노출 윈도우 동안에 상기 장면 상에서 광을 투영하기 위하여 상기 심도 센싱 디바이스의 송신기를 작동시키고, 노출 시간 동안에 상기 광의 상기 반사로부터 정보를 캡처하기 위하여 상기 심도 센싱 디바이스의 셔터를 작동시키는 단계로서, 상기 투영된 광은 펄스 길이 및 펄스 주파수를 가지는 일련의 펄스들을 포함하고;
    상기 장면으로부터의 광이 검출될 경우,
    상기 심도 센싱 디바이스의 셔터를 검출된 레이저 펄스 길이로 조절하고, 상기 장면으로부터 광을 다시 센싱하고;
    광이 다시 검출될 경우, 노출 윈도우 동안에 상기 심도 센싱 디바이스의 상기 송신기가 상기 장면 상에서 광을 투영하고 상기 심도 센싱 디바이스의 상기 셔터가 상기 장면으로부터의 상기 광의 상기 반사로부터 정보를 캡처하는 상기 노출 윈도우의 시작을 지연시키고, 광이 상기 장면 상에서 존재할 경우에 센싱을 반복적으로 반복시키고 광이 검출되지 않을 때까지 노출 윈도우의 시작을 지연시키고; 그리고
    상기 장면으로부터의 광이 검출되지 않을 경우, 상기 노출 윈도우 동안에 상기 송신기 및 상기 수신기를 작동시키고, 일련의 펄스들로 상기 장면 상에서 광을 투영하고, 일련의 펄스들은 펄스 주파수를 가지며 각각의 펄스는 펄스 길이를 가지고, 수신기를 이용하여 상기 장면으로부터 광 투영된 광을 검출하는, 상기 심도 센싱 디바이스의 송신기를 작동시키고 상기 심도 센싱 디바이스의 셔터를 작동시키는 단계를 포함하는, 컴퓨터 판독가능 매체.
  30. 제 29 항에 있어서,
    상기 송신기는 근적외선 (NIR) 광 빔을 생성하고,
    상기 송신기는 상기 레이저로부터 방출된 상기 NIR 광 빔을 수신하도록 위치된 광학 엘리먼트를 포함하고, 상기 광학 엘리먼트는 상기 NIR 광 빔이 상기 광학 엘리먼트를 통해 전파할 때에 알려진 구조화된 광 패턴을 생성하도록 구성된 복수의 특징부들을 포함하고, 그리고
    상기 장면으로부터 광을 검출하는 단계는, 상기 수신기를 이용하여 상기 장면에서 구조화된 광 패턴을 표시하는 NIR 광의 존재를 검출하는 단계를 포함하는, 컴퓨터 판독가능 매체.
KR1020167035279A 2014-06-20 2015-06-02 시간 공유를 이용한 자동적인 다수의 심도 카메라들 동기화 KR102376285B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201462015232P 2014-06-20 2014-06-20
US201462015358P 2014-06-20 2014-06-20
US62/015,358 2014-06-20
US62/015,232 2014-06-20
US14/599,248 2015-01-16
US14/599,248 US10419703B2 (en) 2014-06-20 2015-01-16 Automatic multiple depth cameras synchronization using time sharing
PCT/US2015/033695 WO2015195318A1 (en) 2014-06-20 2015-06-02 Automatic multiple depth cameras synchronization using time sharing

Publications (2)

Publication Number Publication Date
KR20170017927A true KR20170017927A (ko) 2017-02-15
KR102376285B1 KR102376285B1 (ko) 2022-03-17

Family

ID=54870855

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167035279A KR102376285B1 (ko) 2014-06-20 2015-06-02 시간 공유를 이용한 자동적인 다수의 심도 카메라들 동기화

Country Status (10)

Country Link
US (1) US10419703B2 (ko)
EP (1) EP3158286B1 (ko)
JP (1) JP6517244B2 (ko)
KR (1) KR102376285B1 (ko)
CN (1) CN106461783B (ko)
BR (1) BR112016029603A2 (ko)
CA (1) CA2951461A1 (ko)
ES (1) ES2690270T3 (ko)
HU (1) HUE039700T2 (ko)
WO (1) WO2015195318A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200026315A (ko) * 2017-08-01 2020-03-10 웨이모 엘엘씨 Lidar(light detection and ranging) 시스템에서의 범위 에일리어싱 검출 및 완화를 위한 연장된 검출 주기들의 사용

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9953428B2 (en) * 2015-03-03 2018-04-24 Microsoft Technology Licensing, Llc Digital camera unit with simultaneous structured and unstructured illumination
US10721420B2 (en) * 2015-06-02 2020-07-21 Intel Corporation Method and system of adaptable exposure control and light projection for cameras
WO2017178711A1 (en) * 2016-04-13 2017-10-19 Oulun Yliopisto Distance measuring device and transmitter, receiver and method thereof
KR20180006782A (ko) 2016-07-11 2018-01-19 삼성전자주식회사 영상의 초점을 제어하는 전자 장치와 이의 동작 방법
US10451713B2 (en) * 2016-09-16 2019-10-22 Analog Devices, Inc. Interference handling in time-of-flight depth sensing
CN109791201B (zh) * 2016-09-30 2023-04-04 奇跃公司 具有空间光调制的投影仪
TWI678121B (zh) * 2016-10-20 2019-11-21 宏達國際電子股份有限公司 用於一燈塔定位系統之輔助裝置
US10033988B2 (en) * 2016-10-31 2018-07-24 Verizon Patent And Licensing Inc. Methods and systems for capturing depth data using frequency-segregated structured light
US10451714B2 (en) 2016-12-06 2019-10-22 Sony Corporation Optical micromesh for computerized devices
US10536684B2 (en) 2016-12-07 2020-01-14 Sony Corporation Color noise reduction in 3D depth map
KR20180065756A (ko) * 2016-12-08 2018-06-18 삼성전자주식회사 무인비행체를 제어하는 전자 장치 및 그 제어 방법
US10178370B2 (en) 2016-12-19 2019-01-08 Sony Corporation Using multiple cameras to stitch a consolidated 3D depth map
US10181089B2 (en) 2016-12-19 2019-01-15 Sony Corporation Using pattern recognition to reduce noise in a 3D map
US10495735B2 (en) 2017-02-14 2019-12-03 Sony Corporation Using micro mirrors to improve the field of view of a 3D depth map
US10795022B2 (en) 2017-03-02 2020-10-06 Sony Corporation 3D depth map
US10554958B2 (en) * 2017-03-13 2020-02-04 Microsoft Technology Licensing, Llc Systems and methods for interleaving multiple active camera frames
US10979687B2 (en) * 2017-04-03 2021-04-13 Sony Corporation Using super imposition to render a 3D depth map
US20180295338A1 (en) * 2017-04-10 2018-10-11 Eys3D Microelectronics, Co. Depth processing system capable of capturing depth information from multiple viewing points
KR101938668B1 (ko) * 2017-05-29 2019-01-15 엘지전자 주식회사 청소기 및 그 제어방법
WO2019005260A1 (en) 2017-06-29 2019-01-03 Apple Inc. FLIGHT TIME DEPTH MAPPING WITH PARALLAX COMPENSATION
US11280908B2 (en) * 2017-08-15 2022-03-22 Black Sesame Technologies Inc. Obstacle detection by global shutter image sensor
US20190072771A1 (en) * 2017-09-05 2019-03-07 Facebook Technologies, Llc Depth measurement using multiple pulsed structured light projectors
EP3474541A1 (en) * 2017-10-17 2019-04-24 ams AG 3d camera system with rolling-shutter image sensor and array of addressable light sources
US10484667B2 (en) 2017-10-31 2019-11-19 Sony Corporation Generating 3D depth map using parallax
CN107911575B (zh) * 2017-11-02 2018-10-26 中国矿业大学 一种高精度低功耗多相机同步触发系统
CN108802746B (zh) * 2017-11-30 2024-02-13 北醒（北京）光子科技有限公司 一种抗干扰的测距方法及装置
WO2019104613A1 (zh) * 2017-11-30 2019-06-06 北醒（北京）光子科技有限公司 一种抗干扰的测距方法及装置
CN108124466B (zh) * 2017-12-11 2021-12-17 达闼机器人有限公司 激光探测方法及系统
CN111465870B (zh) 2017-12-18 2023-08-29 苹果公司 使用可寻址发射器阵列的飞行时间感测
DE112018006100T5 (de) * 2017-12-26 2020-10-29 Robert Bosch Gmbh Einzelchip-rgb-d-kamera
CN109996057B (zh) * 2017-12-29 2021-06-18 技嘉科技股份有限公司 深度相机的控制方法及驱动装置
CN108174180B (zh) * 2018-01-02 2019-07-30 京东方科技集团股份有限公司 一种显示装置、显示系统及三维显示方法
EP3514574A1 (en) 2018-01-19 2019-07-24 Koninklijke Philips N.V. Time-of-flight imaging system for autonomous movable objects
CN110072065B (zh) * 2018-01-23 2021-04-27 舜宇光学（浙江）研究院有限公司 适用于卷帘曝光深度相机的投射器工作时间控制方法及其应用
WO2019147829A2 (en) * 2018-01-24 2019-08-01 Cyberoptics Corporation Structured light projection for specular surfaces
CN108333859B (zh) * 2018-02-08 2024-03-12 宁波舜宇光电信息有限公司 结构光投射装置、深度相机以基于深度相机的深度图像成像方法
DE102018105219A1 (de) * 2018-03-07 2019-09-12 Ifm Electronic Gmbh Optisches Messsystem zur tiefensensitiven Messung und dessen Verwendung
DE102018203584B4 (de) 2018-03-09 2024-06-13 Robert Bosch Gmbh Betriebsverfahren für ein LiDAR-System, Steuereinheit für ein LiDAR-System, LiDAR-System und Arbeitsvorrichtung
KR102549434B1 (ko) * 2018-04-02 2023-06-28 엘지전자 주식회사 깊이 센서 제어 시스템
US10330789B1 (en) * 2018-04-10 2019-06-25 Facebook Technologies, Llc Proximity sensor system with an infrared optical element
US10999524B1 (en) 2018-04-12 2021-05-04 Amazon Technologies, Inc. Temporal high dynamic range imaging using time-of-flight cameras
CN108955641B (zh) * 2018-04-23 2020-11-17 维沃移动通信有限公司 一种深度摄像方法、深度摄像设备及移动终端
CN108563084B (zh) * 2018-05-25 2020-10-23 深圳新亮智能技术有限公司 多结构光图案三维传感系统
CN109459738A (zh) * 2018-06-06 2019-03-12 杭州艾芯智能科技有限公司 一种多台tof相机相互避免干扰的方法及系统
CN108897000B (zh) * 2018-06-19 2022-02-08 北京旷视科技有限公司 一种串扰抑制方法、装置、电子设备和计算机可读介质
US10708484B2 (en) * 2018-06-20 2020-07-07 Amazon Technologies, Inc. Detecting interference between time-of-flight cameras using modified image sensor arrays
US10674063B2 (en) 2018-06-20 2020-06-02 Amazon Technologies, Inc. Synchronizing time-of-flight cameras
US10549186B2 (en) 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
AU2019295740B2 (en) 2018-06-28 2022-02-03 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Depth processor and three-dimensional image device
CN112714858B (zh) * 2018-07-13 2024-07-09 拉布拉多系统公司 能够在不同环境照明条件下操作的移动设备的视觉导航
US10681338B1 (en) 2018-07-24 2020-06-09 Amazon Technologies, Inc. Detecting interference in depth images captured using overlapping depth cameras
US10901310B2 (en) * 2018-07-24 2021-01-26 Qualcomm Incorporated Adjustable light distribution for active depth sensing systems
KR102473494B1 (ko) 2018-08-17 2022-12-02 삼성전자주식회사 심도센싱장치 및 심도센싱장치의 동작 방법
CN108965732B (zh) * 2018-08-22 2020-04-14 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
US10812731B2 (en) * 2018-08-22 2020-10-20 Qualcomm Incorporated Adjustable receiver exposure times for active depth sensing systems
CN109104583B (zh) * 2018-08-22 2021-01-15 Oppo广东移动通信有限公司 控制方法及装置、深度相机、电子装置及可读存储介质
US11237256B2 (en) * 2018-09-19 2022-02-01 Waymo Llc Methods and systems for dithering active sensor pulse emissions
US10732285B2 (en) 2018-09-26 2020-08-04 Qualcomm Incorporated Multi-phase active light depth system
US11212456B2 (en) * 2018-12-21 2021-12-28 Sony Group Corporation Synchronized projection and image capture
CN109788195B (zh) * 2019-01-04 2021-04-16 Oppo广东移动通信有限公司 电子设备和移动平台
CN109660732B (zh) * 2019-01-04 2021-07-23 Oppo广东移动通信有限公司 电子设备和移动平台
CN109729250B (zh) * 2019-01-04 2021-04-30 Oppo广东移动通信有限公司 电子设备和移动平台
CN109618085B (zh) * 2019-01-04 2021-05-14 Oppo广东移动通信有限公司 电子设备和移动平台
CN109660733B (zh) * 2019-01-04 2021-04-16 Oppo广东移动通信有限公司 电子设备和移动平台
CN109587303B (zh) * 2019-01-04 2021-07-30 Oppo广东移动通信有限公司 电子设备和移动平台
CN109660731B (zh) * 2019-01-04 2021-04-23 Oppo广东移动通信有限公司 电子设备和移动平台
WO2020149981A1 (en) * 2019-01-17 2020-07-23 Gentex Corporation Alignment system
CN109862275A (zh) * 2019-03-28 2019-06-07 Oppo广东移动通信有限公司 电子设备和移动平台
US20220225958A1 (en) * 2019-05-30 2022-07-21 Koninklijke Philips N.V. Encoded synchronized medical intervention image signals and sensor signals
CN110198409B (zh) * 2019-05-30 2021-07-09 Oppo广东移动通信有限公司 终端的控制方法及控制装置、终端及计算机可读存储介质
CN110266394B (zh) * 2019-06-10 2021-08-31 Oppo广东移动通信有限公司 调节方法、终端及计算机可读存储介质
US11500094B2 (en) 2019-06-10 2022-11-15 Apple Inc. Selection of pulse repetition intervals for sensing time of flight
US11555900B1 (en) 2019-07-17 2023-01-17 Apple Inc. LiDAR system with enhanced area coverage
US11438486B2 (en) 2019-08-26 2022-09-06 Qualcomm Incorporated 3D active depth sensing with laser pulse train bursts and a gated sensor
WO2021054342A1 (ja) * 2019-09-20 2021-03-25 ソニー株式会社 情報処理装置および制御方法
CN110850426B (zh) * 2019-11-20 2022-02-11 浙江光珀智能科技有限公司 一种tof深度相机
US11733359B2 (en) 2019-12-03 2023-08-22 Apple Inc. Configurable array of single-photon detectors
US20210255327A1 (en) * 2020-02-17 2021-08-19 Mediatek Inc. Emission And Reception Of Patterned Light Waves For Range Sensing
CN113447954B (zh) * 2020-03-25 2024-06-04 深圳市光鉴科技有限公司 场景深度测量方法、系统、设备及存储介质
US11394860B2 (en) * 2020-04-03 2022-07-19 Qualcomm Incorporated Multiple optical path imaging techniques and shared emitter for active depth sensing techniques
JP7494625B2 (ja) * 2020-07-29 2024-06-04 株式会社Ｊｖｃケンウッド 赤外線撮像装置
JP7000511B1 (ja) 2020-07-31 2022-01-19 株式会社東芝 レーダ装置および電波干渉低減方法
JP7260513B2 (ja) * 2020-08-20 2023-04-18 京セラ株式会社 測距装置、車両及び測距方法
CN112098979A (zh) * 2020-09-16 2020-12-18 青岛维感科技有限公司 一种多台tof相机联合工作防干扰方法、tof相机及电子设备
WO2022080014A1 (ja) * 2020-10-13 2022-04-21 ソニーセミコンダクタソリューションズ株式会社 センサ制御システム及びセンサ
CN112729114A (zh) * 2020-12-29 2021-04-30 广州艾目易科技有限公司 一种具有多通讯方式的光学定位方法及系统
US11528434B1 (en) 2021-02-09 2022-12-13 Verily Life Sciences Llc Pulsed light imaging using rolling shutter image sensors
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities
JP2022138211A (ja) * 2021-03-10 2022-09-26 オムロン株式会社 物体検出システム、制御装置
US11681028B2 (en) 2021-07-18 2023-06-20 Apple Inc. Close-range measurement of time of flight using parallax shift
CN114643580B (zh) * 2022-03-29 2023-10-27 杭州海康机器人股份有限公司 一种机器人控制方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060214121A1 (en) * 2003-10-29 2006-09-28 Olaf Schrey Distance sensor and method for detecting a distance
US20070285554A1 (en) * 2005-10-31 2007-12-13 Dor Givon Apparatus method and system for imaging
US20120194650A1 (en) * 2011-01-31 2012-08-02 Microsoft Corporation Reducing Interference Between Multiple Infra-Red Depth Cameras
JP2013093847A (ja) * 2011-10-25 2013-05-16 Samsung Electronics Co Ltd 三次元映像獲得装置、及び三次元映像獲得装置における奥行き情報の算出方法
JP2013520751A (ja) * 2010-02-23 2013-06-06 マイクロソフト コーポレーション デバイスレスな拡張現実およびインタラクションのためのプロジェクタおよび深度カメラ

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6445814B2 (en) * 1996-07-01 2002-09-03 Canon Kabushiki Kaisha Three-dimensional information processing apparatus and method
EP1262751B1 (de) * 2001-06-01 2011-04-06 Ivoclar Vivadent AG Vorrichtung und Verfahren zur Lichtanalyse
WO2005022900A2 (en) 2003-08-26 2005-03-10 Redshift Systems Corporation Infrared camera system
WO2008066742A1 (en) * 2006-11-22 2008-06-05 Geng Z Jason Wide field-of-view reflector and method of designing and making same
CN101453662B (zh) 2007-12-03 2012-04-04 华为技术有限公司 立体视频通信终端、系统及方法
GB0921461D0 (en) 2009-12-08 2010-01-20 Qinetiq Ltd Range based sensing
JP5696872B2 (ja) * 2010-03-26 2015-04-08 アイシン精機株式会社 車両周辺監視装置
US8896668B2 (en) 2010-04-05 2014-11-25 Qualcomm Incorporated Combining data from multiple image sensors
US20110273379A1 (en) * 2010-05-05 2011-11-10 Google Inc. Directional pad on touchscreen
EP2487504A1 (en) * 2011-02-10 2012-08-15 Technische Universität München Method of enhanced depth image acquisition
US20120249740A1 (en) * 2011-03-30 2012-10-04 Tae-Yon Lee Three-dimensional image sensors, cameras, and imaging systems
HUE063498T2 (hu) * 2011-06-30 2024-01-28 Microsoft Technology Licensing Llc Késleltetés csökkentése video kódolásnál és dekódolásnál
TWI450156B (zh) 2011-07-15 2014-08-21 Wistron Corp 光學影像式觸控裝置與觸控影像處理方法
US20130095920A1 (en) 2011-10-13 2013-04-18 Microsoft Corporation Generating free viewpoint video using stereo imaging
US8523076B2 (en) * 2012-01-10 2013-09-03 Metrologic Instruments, Inc. Omnidirectional laser scanning bar code symbol reader generating a laser scanning pattern with a highly non-uniform scan density with respect to line orientation
KR101975971B1 (ko) * 2012-03-19 2019-05-08 삼성전자주식회사 깊이 카메라, 다중 깊이 카메라 시스템, 그리고 그것의 동기 방법
US10477184B2 (en) 2012-04-04 2019-11-12 Lifetouch Inc. Photography system with depth and position detection
US9188433B2 (en) * 2012-05-24 2015-11-17 Qualcomm Incorporated Code in affine-invariant spatial mask
JP6235022B2 (ja) 2012-09-10 2017-11-22 アエマス，インコーポレイテッド 複数デバイスを使用した周辺環境の多次元データキャプチャ
US9625994B2 (en) * 2012-10-01 2017-04-18 Microsoft Technology Licensing, Llc Multi-camera depth imaging
US20150002734A1 (en) * 2013-07-01 2015-01-01 Motorola Mobility Llc Electronic Device with Modulated Light Flash Operation for Rolling Shutter Image Sensor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060214121A1 (en) * 2003-10-29 2006-09-28 Olaf Schrey Distance sensor and method for detecting a distance
US20070285554A1 (en) * 2005-10-31 2007-12-13 Dor Givon Apparatus method and system for imaging
JP2013520751A (ja) * 2010-02-23 2013-06-06 マイクロソフト コーポレーション デバイスレスな拡張現実およびインタラクションのためのプロジェクタおよび深度カメラ
US20120194650A1 (en) * 2011-01-31 2012-08-02 Microsoft Corporation Reducing Interference Between Multiple Infra-Red Depth Cameras
JP2013093847A (ja) * 2011-10-25 2013-05-16 Samsung Electronics Co Ltd 三次元映像獲得装置、及び三次元映像獲得装置における奥行き情報の算出方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200026315A (ko) * 2017-08-01 2020-03-10 웨이모 엘엘씨 Lidar(light detection and ranging) 시스템에서의 범위 에일리어싱 검출 및 완화를 위한 연장된 검출 주기들의 사용

Also Published As

Publication number Publication date
CA2951461A1 (en) 2015-12-23
KR102376285B1 (ko) 2022-03-17
WO2015195318A1 (en) 2015-12-23
CN106461783A (zh) 2017-02-22
HUE039700T2 (hu) 2019-01-28
BR112016029603A2 (pt) 2017-08-22
CN106461783B (zh) 2019-10-25
EP3158286B1 (en) 2018-07-18
ES2690270T3 (es) 2018-11-20
US20150373322A1 (en) 2015-12-24
JP2017527777A (ja) 2017-09-21
EP3158286A1 (en) 2017-04-26
US10419703B2 (en) 2019-09-17
JP6517244B2 (ja) 2019-05-22

Similar Documents

Publication Publication Date Title
KR102376285B1 (ko) 시간 공유를 이용한 자동적인 다수의 심도 카메라들 동기화
US9945936B2 (en) Reduction in camera to camera interference in depth measurements using spread spectrum
CN108513078B (zh) 用于通过深度传感相机使用光发射在弱光条件下捕获视频影像的方法和系统
CN104253947B (zh) 智能相机闪光灯
CN112739980B (zh) 多阶段有源光深度系统
US9888225B2 (en) Method of recording an image and obtaining 3D information from the image, camera system
CN108370438A (zh) 范围选通的深度相机组件
US10962764B2 (en) Laser projector and camera
WO2018194759A1 (en) Methods and apparatus for controlling exposure and synchronization of image sensors
US9049369B2 (en) Apparatus, system and method for projecting images onto predefined portions of objects
CN112055820B (zh) 利用不同发射场的飞行时间测距
CN107852475A (zh) 投影系统
CN107836112B (zh) 投影系统
US11763425B2 (en) High resolution time-of-flight depth imaging
US20200386893A1 (en) Systems, methods, and media for asynchronous single photon depth imaging with improved precision in ambient light
WO2019200577A1 (zh) 图像获取装置以及图像获取方法
CN114270220A (zh) 利用激光脉冲串突发和门控传感器的3d主动深度感测
US20240070886A1 (en) Mixed-mode depth imaging
US20240127401A1 (en) Active depth sensing
US20240163563A1 (en) Lighting control for multi-view image capture
WO2024081491A1 (en) Active depth sensing

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant